RU2542946C2 - Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения - Google Patents

Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения Download PDF

Info

Publication number
RU2542946C2
RU2542946C2 RU2012124836/08A RU2012124836A RU2542946C2 RU 2542946 C2 RU2542946 C2 RU 2542946C2 RU 2012124836/08 A RU2012124836/08 A RU 2012124836/08A RU 2012124836 A RU2012124836 A RU 2012124836A RU 2542946 C2 RU2542946 C2 RU 2542946C2
Authority
RU
Russia
Prior art keywords
feature descriptors
descriptors
interest
tracking
image
Prior art date
Application number
RU2012124836/08A
Other languages
English (en)
Other versions
RU2012124836A (ru
Inventor
Гэбриель ТАКАКС
Радек ГРЖЕЗЧУК
Виджай ЧАНДРАСЕХАР
Бернд ДЖИРОД
Original Assignee
Нокиа Корпорейшн
Де Боард оф Трастиз оф де Лилэнд Стенфорд Джуниор Юниверсити
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Корпорейшн, Де Боард оф Трастиз оф де Лилэнд Стенфорд Джуниор Юниверсити filed Critical Нокиа Корпорейшн
Publication of RU2012124836A publication Critical patent/RU2012124836A/ru
Application granted granted Critical
Publication of RU2542946C2 publication Critical patent/RU2542946C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

Группа изобретений относится к устройствам обработки изображения. Технический результат заключается в повышении скорости обработки данных. Способ содержит: формирование пирамиды изображений для кадра изображения; обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении, при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и извлечение дескрипторов признаков включает выполнение градиентного разбиения и/или пространственного разбиения. 4 н. и 18 з. п. ф-лы, 9 ил.

Description

Область техники
Варианты выполнения настоящей группы изобретений, в целом, относятся к обработке изображений и, в частности, к способу и устройству для формирования и использования дескрипторов признаков для отслеживания и распознавания объектов.
Уровень техники
В некоторых приложениях желательно иметь возможность идентификации признаков в последовательности изображений, таких как видеокадры, и слежения за перемещением этих признаков в изображениях. Например, может быть захвачена последовательность видеокадров, включающих различимый объект, и может быть желательно уметь идентифицировать этот объект, следить за его относительным перемещением в видеокадрах и автоматически опознавать этот объект. В связи с этим, идентификация признаков в пределах изображения используется в приложениях компьютерного зрения, таких как «дополненная реальность». Эти приложения все шире используются для распознавания объектов в реальном времени, восстановления трехмерных объектов, сшивания панорамы, формирования карты роботами и отслеживания видеообъектов.
В настоящее время переносные устройства, такие как мобильные телефоны, обычно снабжаются оборудованием с возможностями захвата видеоизображения. Возможности захвата видеоизображения могут быть использованы для мобильных приложений и подходящих приложений компьютерного зрения, таких как мобильная дополненная реальность (MAR, mobile augmented reality). Однако, по меньшей мере в некоторых примерах использования, мощности переносного устройства может оказаться недостаточно для реализации таких возможностей обработки изображений в переносном устройстве.
Сущность изобретения
Ниже описаны различные примеры способов и устройств согласно настоящему изобретению, предназначенные для отслеживания и распознавания объектов с помощью дескрипторов признаков, инвариантных относительно вращения. Согласно некоторым вариантам выполнения настоящего изобретения, можно формировать дескрипторы признаков, инвариантные относительно вращения и требующие относительно небольшой объем вычислений, но достаточно надежные для обеспечения точного отслеживания и распознавания объектов. Кроме того, согласно различным вариантам выполнения настоящего изобретения, те же дескрипторы признаков, которые используются для отслеживания, используются и для распознавания объектов.
Пример одного из способов включает формирование пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример способа может включать отслеживание перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра и выполнение распознавания объекта в пределах кадра изображения на основе этих дескрипторов признаков.
Соответствующий пример устройства для отслеживания и распознавания объектов с помощью дескрипторов признаков, инвариантных относительно вращения, содержит по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом по меньшей мере одна память и компьютерный программный код сконфигурированы так, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять различные функции. В связи с этим, устройство обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример устройства может выполнять отслеживание перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра и выполнение распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.
Еще один вариант выполнения настоящего изобретения представляет собой машиночитаемый носитель данных, на котором хранятся исполняемые машиночитаемые инструкции программного кода. Эти машиночитаемые инструкции программного кода на машиночитаемом носителе данных заставляют устройство выполнять различные функции. В связи с этим, пример устройства обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример устройства может обеспечивать отслеживание перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра и выполнение распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.
Еще один пример варианта выполнения настоящего изобретения представляет собой устройство для отслеживания и распознавания дескрипторов признаков, инвариантных относительно вращения. Это устройство содержит средство для формирования пирамиды изображений для кадра изображения, средство для обнаружения множества представляющих интерес точек в пирамиде изображений и средство для извлечения дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым примерам вариантов выполнения настоящего изобретения, указанные дескрипторы признаков инвариантны относительно вращения. Кроме того, пример устройства может также включать средство для отслеживания перемещения путем установления соответствия дескрипторов признаков дескрипторам признаков в предыдущем кадре и средство для распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
После общего описания настоящего изобретения рассмотрим приложенные чертежи, которые не обязательно выполнены в масштабе.
На фиг.1 иллюстрируется формирование радиальных градиентов согласно примеру варианта выполнения настоящего изобретения.
На фиг.2 иллюстрируется инвариантность относительно вращения с использованием преобразования радиального градиента согласно одному из вариантов выполнения настоящего изобретения.
На фиг.3а-3d показана сегментация изображений на ячейки для осуществления разбиения согласно варианту выполнения настоящего изобретения.
На фиг.4а-4b показаны конфигурации пространственного разбиения согласно варианту выполнения настоящего изобретения.
На фиг.5а-5b показано преобразование радиального градиента и базисные вектора приближенного преобразования радиального градиента согласно варианту выполнения настоящего изобретения.
На фиг.6 показана структурная схема устройства для отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.
На фиг.7 показана структурная схема мобильного терминала для отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.
На фиг.8 показана блок-схема способа отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.
На фиг.9 показана другая блок-схема способа отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, согласно варианту выполнения настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Ниже более подробно описаны примеры вариантов выполнения настоящего изобретения со ссылками на приложенные чертежи, на которых показаны некоторые, но не все варианты выполнения настоящего изобретения. Изобретение может быть реализовано во многих разных формах и не ограничивается описываемыми вариантами его выполнения; эти варианты выполнения настоящего изобретения представлены для выполнения требования промышленной применимости изобретения. В данном описании одинаковые позиции соответствуют одинаковым элементам. В некоторых вариантах выполнения настоящего изобретения термины "данные", "контент", "информация" и аналогичные термины могут использоваться взаимозаменяемо для описания данных, которые можно передавать, принимать, хранить и/или которыми можно управлять.
Используемый в описании термин "схема" относится к следующему: (а) только к аппаратными реализациям (таким как реализации только на аналоговых и/или цифровых схемах) и (б) к комбинациям схем и программного обеспечения (и/или встроенного программного обеспечения) (таким как, применительно к конкретному контексту, (i) комбинация процессора(процессоров) или (ii) части процессора/программного обеспечения (включая процессор (процессоры) цифровой обработки сигналов, программное обеспечение и модуль (модули) памяти, которые работают совместно, чтобы заставить устройство, такое как мобильный телефон или сервер, выполнять различные функции) (в) к схемам, таким как микропроцессор (микропроцессоры) или часть микропроцессора (микропроцессоров), для работы которого необходимо программное обеспечение или встроенное программное обеспечение, даже если это программное обеспечение или встроенное программное обеспечение физически не присутствует.
Это определение термина "схема" используется везде в данном описании, включая формулу изобретения. В качестве другого примера использования в данном описании этого термина в применении к конкретному контексту, термин "схема" также охватывает реализацию просто процессора (или множества процессоров) и сопровождающего его (или их) программного или встроенного программного обеспечения. Термин "схема" охватывает также в применении к конкретному признаку формулы изобретения, например интегральную схему основной полосы частот или интегральную схему процессора приложений в мобильном телефоне или аналогичную интегральную схему в сервере, устройстве сотовой сети связи или других сетевых устройствах.
Примеры вариантов выполнения настоящего изобретения включают способы и устройства для унификации отслеживания и распознавания видеоконтента в приложениях обработки изображений, таких как мобильные приложения дополненной реальности (Mobile Augmented Reality (MAR)), с использованием формируемого дескриптора признаков, как будет описано ниже. Этот дескриптор признаков может называться инвариантным относительно вращения быстрым дескриптором признаков (RIFF, Rotation Invariant Fast Feature). Дескриптор RIFF может формироваться с использованием преобразования радиального градиента (RGT, Radial gradient transform) и/или приближенного преобразования радиального градиента (ARGT, approximate radial gradient transform). Согласно различным примерам вариантов выполнения настоящего изобретения, дескрипторы RIFF формируются достаточно быстро для обеспечения отслеживания объектов со скоростью следования кадров или близко к скорости следования кадров и достаточно устойчиво для решения задач крупномасштабного распознавания. Например, согласно некоторым примерам вариантов выполнения настоящего изобретения, схемы отслеживания, в которых используются дескрипторы RIFF, способны формировать модели глобальных аффинных движений, сопоставимые с моделью отслеживания признаков Kanade-Lucas-Tomasi (KLT), и позволяют достичь улучшенной точности распознавания для базы данных изображений.
Приложения обработки изображений, такие как приложения MAR, могут использовать отслеживание и распознавание визуальных объектов. В примерах вариантов выполнения настоящего изобретения используется межкадровая избыточность для унификации отслеживания и распознавания объектов путем формирования дескрипторов признаков, которые могут извлекаться со скоростью следования кадров или с близкой скоростью и могут использоваться как для отслеживания, так и распознавания. Дескрипторы признаков согласно примерам выполнения настоящего изобретения можно формировать, извлекая со скоростью следования кадров такую информацию, которая полезна как для распознавания, так и для отслеживания объектов. При таком формировании дескрипторов признаков эти дескрипторы признаков могут поддерживать как отслеживание, так и распознавание объектов. Кроме того, для преодоления ограничений, связанных с ограниченной вычислительной мощностью многих переносных устройств, дескрипторы признаков согласно различным вариантам выполнения настоящего изобретения являются надежными и быстро вычисляются.
Формирование дескриптора RIFF может начинаться с процедуры формирования дескриптора сжатой гистограммы градиентов (CHoG, compressed histogram of gradient), который, как было выяснено, хорошо работает при очень низких скоростях передачи битов. Однако, согласно некоторым вариантам выполнения настоящего изобретения, процедуру CHoG можно модифицировать для устранения фазы назначения ориентации при обнаружении ключевой точки, что позволяет увеличить скорость и формировать дескриптор признаков, инвариантный относительно вращения.
В связи с этим можно формировать два типа дескрипторов RIFF: дескрипторы на основе градиентного разбиения и дескрипторы на основе пространственного разбиения. Инвариантность относительно вращения может быть важным признаком надежных систем распознавания изображений. Некоторые дескрипторы достигают инвариантности относительно ориентации путем обнаружения ориентации и интерполяции соответствующих пикселей. Однако согласно вариантам выполнения настоящего изобретения формирование дескрипторов RIFF может быть выполнено без определения ориентации и интерполяции пикселей. В связи с этим, можно использовать дескриптор гистограммы градиентов (HoG, histogram of gradient), а инвариантность относительно вращения может быть достигнута путем градиентного разбиения и пространственного разбиения.
Согласно некоторым вариантам выполнения настоящего изобретения, градиентное разбиение может использоваться для формирования рационально инвариантных дескрипторов. Чтобы сделать градиентное разбиение инвариантным, можно использовать инвертируемое пространственно-переменное преобразование. Путем поворота градиентов на заданный угол инвариантность относительно вращения может быть достигнута при небольшой потере или вообще без потери информации, давая в результате преобразование радиального градиента (RGT).
Как показано на фиг.1, могут быть выбраны два ортогональных базисных вектора для обеспечения локального полярного опорного кадра для описания градиента. Базисные векторы r и t могут быть направлены радиально и по касательной в точке p относительно центра с области. Re может быть задана как стандартная матрица поворота на угол θ, что дает
Figure 00000001
Путем проектирования на r и t градиент g может быть разложен в локальной системе координат как
Figure 00000002
так что градиент может быть представлен в локальной радиальной системе координат как вектор (gTr, gTt). Если область поворачивается относительно ее центра с на угол θ, формируется новая локальная система координат и градиент:
Rθp=p', Rθr=r', Rθt=t', Rθg=g'.
В результате, координаты градиента в локальном кадре оказываются инвариантными относительно вращения, поскольку g и g' отображаются на одни и те же координаты в соответствующих опорных кадрах.
Figure 00000003
Поэтому некоторые или все градиенты могут быть повернуты на один и тот же угол, и Rθ может формировать взаимно-однозначное отображение. Таким образом, множество градиентов на любом заданном круге с центром в указанной области может быть инвариантным относительно вращения. На фиг.2 иллюстрируется инвариантность относительно вращения благодаря выполнению преобразования радиального градиента. На фиг.2 область базы данных (слева вверху) создает гистограмму градиента как в области xy (вверху в середине), так и в радиальной области (справа вверху). Аналогичные гистограммы извлечены из вертикальной запрашиваемой области (слева в центре) и ее повернутой версии (снизу слева). Следует отметить, что гистограммы xy-градиента (центральный столбец) вращаются вместе с областью, в то время как гистограммы радиального градиента (правый столбец) сохраняют одну и ту же форму во всех строках.
При наличии градиентов, инвариантных относительно вращения, можно использовать технику разбиения для создания гистограмм градиентов, которые включают дескриптор. Гистограмма градиентов может быть разбита, чтобы понизить размерность гистограммы до разумных размеров при сохранении надежности. На фиг.3а-3d показаны центры ячеек градиентного разбиения и ячейки Вороного, которые используются для формирования дескриптора RIFF.
Для квантования гистограммы могут использоваться центры разбиения (точки в пределах ячеек) и ячейки Вороного. Векторные квантователи (VQ), как показано на фиг.3с и 3d, могут быть более гибкими, в то время как скалярные квантователи (SQ), как показано на фиг.3а и 3b, могут быть более быстрыми.
После описания градиентного разбиения, инвариантного относительно вращения, можно рассмотреть пространственное разбиение для формирования дескрипторов RIFF. Пространственное разбиение может быть сделано инвариантным путем использования колец для разбиения, таких как кольца, изображенные на фиг.4А. Альтернативно, кольца могут быть разделены на угловые ячейки, давая полярную конфигурацию, как показано на фиг.4b.
Согласно некоторым вариантам выполнения настоящего изобретения, техника полярного пространственного разбиения может повысить надежность дескриптора. Однако может быть потеряна инвариантность относительно ориентации. Для возврата инвариантности относительно ориентации можно использовать меру расстояния, Dori, которая оценивает минимальное расстояние, D, по некоторым или всем углам дескриптора. Таким образом, если Dθ - дескриптор, повернутый на угол θ, то
Figure 00000004
Для осуществления полярного пространственного разбиения можно провести, например, шесть угловых разделений для возможности грубой оценки расстояния в зависимости от угла. Для высокоточной оценки угла и расстояния может использоваться квадратичная интерполяция.
После описания формирования дескрипторов RIFF с использованием градиентного разбиения и пространственного разбиения для достижения инвариантности относительно ориентации ниже описаны дальнейшие модификации процедур, обеспечивающие повышение скорости формирования признаков. Поскольку в формирование признаков не было включено назначение ориентации, дескрипторы могут быть извлечены непосредственно из вертикальной области вокруг представляющей интерес точки. Кроме того, согласно различным вариантам выполнения настоящего изобретения, нет необходимости в выполнении операций интерполяции пикселей, требующих большого объема вычислений.
Кроме того, приближенное преобразование радиального градиента может быть использовано для уменьшения вычислительной сложности при достижении инвариантности относительно ориентации посредством преобразования RGT. В то время как в некоторых вариантах выполнения настоящего изобретения можно использовать преобразование RGT, которое может потребовать большого количества операций матричного умножения с плавающей запятой или арифметических операций с фиксированной запятой, альтернативно можно использовать приближение, позволяющее снизить объем вычислений.
В связи с этим базисные векторы r и t можно приближенно представить более простой парой,
Figure 00000005
и
Figure 00000006
. Сравнивая фиг.5а с фиг.5b, можно заметить, что приближенные базисные векторы могут быть квантованы по отношению к данному углу, такому как угол 45 градусов, как показано на фиг.5b. При этом градиент может быть вычислен непосредственно вдоль соответствующего направления без дополнительных расходов, а приближенное преобразование радиального градиента (ARGT) может быть вычислено путем выявления разности между соседними пикселями при соответствующей нормализации.
Чтобы построить дескриптор RIFF, после вычисления преобразования ARGT можно выполнить скалярное квантование гистограмм градиентов. Согласно некоторым вариантам выполнения настоящего изобретения, для увеличения скорости вместо векторных квантователей можно использовать скалярные квантователи 3×3 и 5×5 для полярной и кольцевой конфигураций, соответственно. В некоторых вариантах выполнения настоящего изобретения могут быть получены 100-мерные кольцевые дескрипторы и/или 117-мерные полярные дескрипторы.
Согласно различным вариантам выполнения настоящего изобретения, локальные дескрипторы HoG могут захватывать статистику контента изображения вокруг представляющей интерес точки. В предположении, что контент изображения двух представляющих интерес точек является одним и тем же, распределение градиентов может быть также одинаковым. Поэтому лежащее в основе распределение может быть оценено гистограммой выборок, при этом большее количество выборок обеспечивает лучшую оценку. Однако каждая выборка может потребовать вычисления и квантования градиента. Следовательно, между скоростью вычисления и качеством оценки в зависимости от количества выборок имеется компромиссное соотношение. Для улучшения скорости при незначительном ухудшении оценки можно выбирать чередующиеся пиксели вокруг представляющей интерес точки. На фиг.4а и 4b показаны чередующиеся пиксели в виде шахматной доски, при этом пиксели, представленные темными областями, составляют выборку для оценки гистограммы градиентов (HoG), а пиксели, представленные светлыми областями, - нет.
Кроме того, формируемый дескриптор RIFF может унифицировать отслеживание и распознавание объектов путем использования этих дескрипторов для обеих задач. Для отслеживания объектов можно использовать детектор представляющей интерес точки, например признаки детектора ускоренного теста сегментов (FAST), на каждом уровне пирамиды изображений. Согласно некоторым вариантам выполнения настоящего изобретения, для увеличения скорости могут быть опущены нецелочисленные уровни пирамиды, что оставляет достаточное покрытие шкалы, не требуя интерполяции пикселей вне 2×субдискретизации. Далее, согласно некоторым вариантам выполнения настоящего изобретения, когда дескрипторы используются для распознавания, любое отсутствие покрытия шкалы может быть исправлено благодаря избыточности в базе данных.
Для задач отслеживания дескрипторы RIFF могут быть сопоставлены с пространственно соседними дескрипторами RIFF в предыдущем кадре. Если два дескриптора находятся в пределах фиксированного радиуса (например, 8 пикселей), тогда эти дескрипторы можно считать кандидатами на соответствие. Наилучший кандидат можно затем выбрать как тот, который имеет минимальное расстояние в области дескрипторов согласно порогу расстояния. Согласно некоторым вариантам выполнения настоящего изобретения, для установления соответствия можно использовать расходимость Кульбака-Лейблера.
Для установления соответствия дескрипторов при очень высоких скоростях следования кадров можно выполнить быстрое хэширование и пространственное разбиение для кандидатов на соответствие согласно положению дескрипторов в кадре. В связи с этим, кадр можно разделить, например пространственной сеткой, и текущие дескрипторы кадров можно разместить в ячейки разбиения, ассоциированные с теми частями сетки, в которых обнаружены эти дескрипторы. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы могут быть также размещены в соседних ячейках разбиения, например в восьми соседних ячейках в пространственной сетке. Такое разбиение обеспечивает быстрый поиск пространственных соседей между кадрами. Для определения кандидатов на соответствие ячейки разбиения можно проанализировать, чтобы определить, какая из ячеек текущего кадра содержит дескриптор. Согласно некоторым вариантам выполнения настоящего изобретения, ячейки разбиения могут содержать короткий список некоторых или всех соседних дескрипторов из предыдущего кадра.
Согласно различным вариантам выполнения настоящего изобретения, техника сопоставления обеспечивает сопоставление признаков, которое является достаточно надежным и свободным от «выбросов» и поэтому не требует удаления выбросов. В связи с этим, для отслеживания глобального перемещения в кадре для аффинной модели может быть использован метод наименьших квадратов между текущим и предыдущим кадрами.
Кроме того, для поддержки функциональности распознавания можно сохранить последовательность из дескрипторов предыдущих кадров наряду с любыми соответствиями и аффинными моделями. Согласно некоторым вариантам выполнения настоящего изобретения, имея такой плотный по времени набор информации, можно обеспечить качественное распознавание при небольшом количестве дескрипторов на кадр.
Как сказано выше, дескрипторы RIFF также могут использоваться для распознавания. В связи с этим, можно применить извлечение дескрипторов RIFF и отслеживание объектов в реальном времени или в почти реальном времени, например, в переносном устройстве. Кроме того, может формироваться буфер ранее отслеженных признаков и глобальных аффинных моделей. Для формирования буфера в некоторых вариантах выполнения настоящего изобретения могут извлекаться 100 признаков на кадр, а в течение одной секунды при частоте 15 кадров в секунду могут быть извлечены и отслежены 1500 признаков. На основе дескрипторов и соответствующей информации отслеживания можно осуществить распознавание видеоконтента в отношении буфера.
Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, унификация отслеживания и распознавания объектов посредством одних и тех же дескрипторов дает дополнительные преимущества обеспечения временной когерентности данных распознавания. Надежность дескрипторов признаков можно понять, исследуя траекторию дескрипторов в видеопотоке. На основе информации отслеживания можно осуществить отсечение нерелевантных данных от запрашиваемых признаков. В дополнение к отсечению фиктивных точек описание надежной представляющей интерес точки можно улучшить, получая больше выборок из соседних кадров.
Для многих приложений, таких как приложения MAR, могут быть использованы запросы видеопотока из локальной или удаленной базы данных. Запрос может выполняться периодически через регулярные интервалы, например с частотой 1 Гц, или когда в кадре присутствует по существу новый контент. Присутствие нового контента может быть легко установлено по данным отслеживания.
Для некоторых приложений MAR может использоваться информация о местоположении, такая как информация о местоположении от системы глобального позиционирования, для предварительной установки соответствующей локальной базы данных для распознавания. Такая предварительная установка базы данных может ограничить размер базы данных для распознавания объекта. Кроме того, для некоторых вариантов выполнения настоящего изобретения в больших базах данных, таких как компакт-диск или другие базы данных для распознавания объекта, информация отслеживания может быть сжата и запрошена из сервера.
На основе техники распознавания, описанной выше, может быть достигнуто попарное сопоставление изображений и поиск. Согласно некоторым вариантам выполнения настоящего изобретения, для выполнения распознавания можно идентифицировать представляющие интерес точки, например разность гауссианов (DoG, difference of Gaussian), представляющих интерес точек, и извлечь соответствующие дескрипторы. Используя дескрипторы, можно «обучать» словарное дерево. Например, если извлекаются 600 представляющих интерес точек, то можно построить дерево, имеющее глубину, равную 6, и коэффициент ветвления 10, в результате чего получится дерево со 106 концевыми узлами. В качестве критерия расстояния как для обучения, так и для запросов, можно использовать симметричную KL-дивергенцию. Альтернативно, согласно некоторым вариантам выполнения настоящего изобретения для сравнения дескрипторов HoG можно использовать норму L2. KL-дивергенция может быть включена в кластерную структуру k-средних, поскольку представляет собой дивергенцию Брегмана. Для улучшения надежности можно также использовать мягкое назначение дескрипторов относительно 3 ближайших центроидов.
Для запроса может быть вычислено значение схожести между каждым запросом и использованием вектора базы данных, например, стандартная схема «частотность термина-обратная частотность документа» (TF-IDF), которая представляет запрос и изображения базы данных в виде разреженных векторов появления визуальных слов. Можно также использовать схему весов, которая уменьшает вклад менее различимых дескрипторов. После выбора набора изображений в результате голосования TF-IDF, можно выполнить попарное сопоставление, чтобы завершить распознавание с использованием, например, согласованности проверки соотношения и случайных выборок (RANSAC).
Приведенное выше и последующее описание иллюстрирует примеры способов и устройств для формирования признаков RIFF и для отслеживания и распознавания объектов с использованием признаков RIFF. Примеры способов и устройств могут быть осуществлены с обеспечением унифицированного отслеживания и распознавания видеоконтента для приложений мобильной дополненной реальности (MAR). Можно использовать преобразование радиального градиента (RGT) и приближенное преобразование, получая в результате инвариантный относительно вращения быстрый дескриптор признаков (RIFF). Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы RIFF достаточно быстры для отслеживания в реальном времени или почти в реальном времени и достаточно надежны для задач крупномасштабного поиска.
Например, при скорости 26× варианты выполнения схемы отслеживания, описанные здесь, получают модель глобальных аффинных движений, сопоставимую с моделью KLT. Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, модели и совпадение признаков, используемые для отслеживания, используются также для повышения надежности распознавания видеоконтента. При унификации отслеживания и распознавания объектов достигаются взаимные преимущества.
На основе вышеизложенного фиг.6 и 7 иллюстрируют варианты выполнения настоящего изобретения, предназначенные для выполнения различных функций, описанных в настоящем документе. На фиг.8 иллюстрируется способ отслеживания и распознавания объектов, описанный ниже.
Как показано на фиг.6, устройство 200, в соответствии с некоторыми примерами осуществления настоящего изобретения, может быть выполнено в виде устройства связи (или может входить в него как компонент) с функциями проводной или беспроводной связи. В некоторых из примеров настоящего изобретения устройство 200 может являться частью устройства связи, такого как стационарный или мобильный терминал. В качестве стационарного терминала устройство 200 может быть частью компьютера, сервера, точки доступа (например, базовой станции, беспроводного маршрутизатора и т.п.), устройства, которое поддерживает сетевое взаимодействие, и т.п. В качестве мобильного терминала устройство 200 может быть мобильным компьютером, мобильным телефоном, карманным персональным компьютером (portable digital assistant, PDA), пейджером, мобильным телевизором, игровым устройством, мобильным компьютером, портативным компьютером, например, с беспроводным модемом, фотокамерой, видеокамерой, аудио/видеоплеером, радиостанцией и/или устройством системы глобального позиционирования (GPS), или любой комбинацией перечисленного и т.п. Независимо от типа устройства связи устройство 200 может также включать вычислительные возможности.
Пример устройства 200 включает процессор 205, запоминающее устройство 210, интерфейс 206 ввода/вывода, интерфейс 215 связи, пользовательский интерфейс 220, менеджер 230 исходного соединения или осуществляет с ними связь. Процессор 205 может быть выполнен в виде различных средств, реализующих различную функциональность примеров осуществления настоящего изобретения, включая, например, микропроцессор, сопроцессор, контроллер, интегральную схему специального назначения, например, ASIC (application specific integrated circuit, заказная интегральная схема), FPGA (field programmable gate array, программируемая вентильная карта) или аппаратный ускоритель, процессорные схемы и т.п. В соответствии с одним из примеров осуществления настоящего изобретения процессор 205 может представлять множество процессоров, или один или более многоядерных процессоров, функционирующих совместно. Процессор 205 может включать множество транзисторов, логических вентилей, тактирующих схем (например, генераторов) или других подобных схем для обеспечения выполнения описанной функциональности. Процессор 205 может, но не обязательно, включать один или более сопровождающих цифровых сигнальных процессоров. В некоторых примерах осуществления настоящего изобретения процессор 205 сконфигурирован для исполнения инструкций, хранимых в запоминающем устройстве 210 или доступных процессору 205 другим способом. Процессор 205 может быть сконфигурирован для функционирования таким образом, чтобы обеспечивать выполнение устройством 200 различной функциональности, описанной здесь.
Процессор 205, сконфигурированный в виде аппаратного обеспечения или посредством инструкций, хранимых на машиночитаемом носителе данных, или в виде их комбинации, может представлять собой объект, способный, при соответствующем конфигурировании, выполнять операции в соответствии с вариантами осуществления настоящего изобретения. Соответственно, в примерах осуществления настоящего изобретения, в которых процессор 205 выполнен в виде схемы ASIC, FPGA и т.п., процессор 205 представляет собой специальным образом сконфигурированное аппаратное обеспечение для выполнения описанных операций. Альтернативно, в примерах осуществления настоящего изобретения, в которых процессор 205 выполнен как средство исполнения инструкций, хранимых на машиночитаемом носителе данных, эти инструкции конфигурируют процессор 205 для выполнения описанных алгоритмов и операций. В некоторых примерах осуществления настоящего изобретения процессор 205 является процессором конкретного устройства (например, мобильного терминала), сконфигурированным для применения примеров осуществления настоящего изобретения путем дальнейшей конфигурации процессора 205 посредством исполняемых инструкций для выполнения описанных алгоритмов, способов и операций.
Запоминающее устройство 210 может представлять собой один или более машиночитаемых носителей данных, которые могут включать энергозависимую и/или энергонезависимую память. В некоторых примерах осуществления настоящего изобретения запоминающее устройство 210 включает память с произвольным доступом (Random Access Memory, RAM), включающую динамическую и/или статическую память RAM, кэш-память, расположенную внутри или вне интегральной схемы и т.п. Также запоминающее устройство 210 может включать энергонезависимую память, которая может быть встроенной и/или съемной и может включать, например, постоянную память, флэш-память, магнитные устройства хранения (например, жесткие диски, приводы гибких дисков, магнитную пленку и т.п.), приводы оптических дисков и/или оптические носители, энергонезависимую память с произвольным доступом (non-volatile random access memory, NVRAM) и т.п. Запоминающее устройство 210 может включать кэш-область для временного хранения данных. В связи с этим, устройство 210 или его часть может входить в состав процессора 205. Запоминающее устройство 210 может включать область кэш для временного хранения данных. Устройство 210, или его часть, может входить в состав процессора 205.
Запоминающее устройство 210 может быть также сконфигурировано для хранения информации, данных, приложений, машиночитаемых инструкций программного кода и т.п., обеспечивающих возможность выполнения процессором 205 и устройством 200 различных функций в соответствии с описанными примерами осуществления настоящего изобретения. Например, запоминающее устройство 210 может быть сконфигурировано для буферизации входных данных, предназначенных для обработки процессором 205. Дополнительно или альтернативно, запоминающее устройство 210 может быть сконфигурировано для хранения инструкций, предназначенных для исполнения процессором 205.
Интерфейс 206 ввода/вывода может представлять собой любое устройство, схемы или средства, выполненные в виде аппаратного обеспечения, программного обеспечения или в виде комбинации аппаратного и программного обеспечения, сконфигурированных для обеспечения интерфейса между процессором 205 и другими схемами или устройствами, например интерфейсом 215 связи или пользовательским интерфейсом 220. В некоторых из примеров осуществления настоящего изобретения процессор 205 может взаимодействовать с памятью 210 через интерфейс 206 ввода/вывода. Интерфейс 206 ввода/вывода может быть сконфигурирован для преобразования сигналов и данных в форму, которая может интерпретироваться процессором 205. Интерфейс 206 ввода/вывода может также выполнять буферизацию входных и выходных данных для поддержки функционирования процессора 205. В соответствии с некоторыми примерами осуществления настоящего изобретения процессор 205 и интерфейс 206 ввода/вывода могут быть объединены на одном кристалле или в одной микросхеме, сконфигурированной для выполнения или для обеспечения выполнения устройством 200 различной функциональности в соответствии с настоящим изобретением.
Интерфейс 215 связи может представлять собой любое устройство или средства, выполненные в виде аппаратного обеспечения, компьютерного программного продукта или комбинации аппаратного обеспечения и компьютерного программного продукта, которые сконфигурированы для приема данных из сети и/или передачи данных в сеть и/или любое другое устройство или модуль, осуществляющий связь с вариантом устройства 200. В некоторых вариантах выполнения настоящего изобретения интерфейс связи может быть частью беспроводного модема, связанного с персональным компьютером, или может содержать такой модем. Процессор 205 может также быть сконфигурирован для обеспечения связи через интерфейс связи, например, путем управления аппаратным обеспечением, входящим в состав интерфейса 215 связи. В связи с этим, интерфейс 215 связи может включать, например, одну или более антенн, передатчик, приемник, приемопередатчик и/или аппаратное обеспечение поддержки, включающее, например, процессор для обеспечения связи. Посредством интерфейса 215 связи пример устройства 200 может осуществлять связь с различными другими сетевыми объектами по типу "устройство-устройство" и/или посредством непрямых соединений через базовую станцию, точку доступа, сервер, шлюз, маршрутизатор и т.п.
Интерфейс 215 связи может быть сконфигурирован для обеспечения связи в соответствии с любыми стандартами или технологиями проводной или беспроводной связи. Интерфейс 215 связи может быть сконфигурирован для поддержки связи в среде с множеством антенн, например с множеством входов и множеством выходов (Multiple Input Multiple Output, MIMO). Также интерфейс 215 связи может быть сконфигурирован для поддержки сигнализации мультиплексирования с ортогональным частотным разделением (Orthogonal Frequency Division Multiplexing, OFDM). В некоторых примерах осуществления настоящего изобретения интерфейс 215 связи может быть сконфигурирован для осуществления связи по различным технологиям, таким как протоколы беспроводной связи второго поколения (second-generation, 2G) IS-136 (множественный доступ с временным разделением каналов (Time Division Multiple Access, TDMA), глобальная система мобильной связи (Global System for Mobile communications, GSM), IS-95 (множественный доступ с кодовым разделением каналов (Code Division Multiple Access, CDMA)), протоколы беспроводной связи третьего поколения (third-generation, 3G), например, универсальная система мобильной связи (Universal Mobile Telecommunications System, UMTS), множественный доступ с кодовым разделением каналов 2000 (CDMA2000), широкополосный множественный доступ с кодовым разделением каналов (Wideband Code Division Multiple Access, WCDMA), синхронный множественный доступ с кодовым и временным разделением каналов (Time Division-Syncronous Code Division Multiple Access, TD-SCDMA), протоколы беспроводной связи поколения 3.9 (3.9G), например, развитая универсальная наземная сеть радиодоступа (Evolved Universal Terrestrial Radio Access Network, E-UTRAN), протоколы беспроводной связи четвертого поколения (4G), протоколы усовершенствованной международной системы телекоммуникаций (international mobile telephony advanced, IMT-Advanced), протоколы технологии долгосрочного развития (Long Term Evolution, LTE), включая усовершенствованную технологию долгосрочного развития (LTE-advanced) и т.п. Также интерфейс 215 связи может быть сконфигурирован для обеспечения связи в соответствии с такими технологиями, как, например, связь в радиочастотном, инфракрасном диапазонах, или с использованием любых других технологий беспроводных сетей, включая технологии WLAN, например, IEEE 802.11 (например, 802.11а, 802.11b, 802.11g, 802.11n и т.п.), протоколы беспроводной локальной сети (wireless local area network, WLAN), технологии всемирной совместимости для доступа в СВЧ-диапазоне (Worldwide Interoperability for Microwave Access, WiMAX), например, IEEE 802.16, и/или технологии беспроводной персональной сети (Wireless Personal Area Network. WPAN), например, IEEE 802.15, BlueTooth (ВТ), версии BlueTooth с малой мощностью, сверхширокополосной связи, Wibree, Zigbee и т.п. Интерфейс 215 связи может быть также сконфигурирован для поддержки связи на сетевом уровне, возможно, посредством протокола Интернента.
Пользовательский интерфейс 220 может осуществлять связь с процессором 205 для приема пользовательского ввода посредством пользовательского интерфейса 220 и/или для представления пользователю вывода в виде, например, звуковой, визуальной, механической или иной выходной индикации. Пользовательский интерфейс 220 может включать, например, клавиатуру, мышь, джойстик, дисплей (например, дисплей с сенсорным экраном), микрофон, динамик или другие механизмы ввода/вывода. Кроме того, процессор 205 может включать схемы пользовательского интерфейса, сконфигурированные для управления по меньшей мере частью функций одного или более элементов пользовательского интерфейса или осуществлять связь с ними. Процессор 205 и/или схемы пользовательского интерфейса могут быть сконфигурированы для управления одной или более функциями одного или более элементов пользовательского интерфейса посредством инструкций компьютерной программы (например, программного и/или встроенного программного обеспечения), которые хранятся в памяти, доступной процессору 205 (например, энергозависимая память, энергонезависимая память и т.п.). В некоторых из примеров осуществления настоящего изобретения схемы пользовательского интерфейса сконфигурированы для обеспечения пользовательского управления по меньшей мере некоторыми функциями устройства 200 с использованием дисплея, а также сконфигурированы для реагирования на пользовательский ввод. Процессор 205 может также включать схемы дисплея, сконфигурированные для отображения по меньшей мере части пользовательского интерфейса, или осуществлять связь с ними, при этом упомянутые дисплей и схемы дисплея сконфигурированы для обеспечения пользовательского управления по меньшей мере частью функций устройства 200.
Блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов в примере устройства 200 могут представлять собой любые средства или устройства, выполненные, полностью или частично, в виде аппаратного обеспечения, компьютерного программного продукта или в виде комбинации аппаратного обеспечения и компьютерного программного продукта, например, в виде процессора 205, исполняющего хранимые инструкции для конфигурирования устройства 200, запоминающего устройства 210, хранящего исполняемые инструкции программного кода, сконфигурированные для выполнения описанных функций, или процессора 205, аппаратно сконфигурированного для выполнения функций блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов в соответствии с настоящим описанием. В одном из примеров осуществления настоящего изобретения процессор 205 включает блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов или управляет ими. Упомянутые блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов могут быть, полностью или частично, выполнены в виде процессоров, аналогичных процессору 205, но отдельных от него. В связи с этим, блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов могут осуществлять связь с процессором 205. В различных примерах осуществления настоящего изобретения упомянутые блок формирования 235 дескрипторов, блок 240 отслеживания объектов и/или блок 245 распознавания объектов могут, полностью или частично, располагаться в различных устройствах, так что часть функциональности или вся функциональность блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов может выполняться первым устройством, а остальная функциональность блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов может выполняться одним или более другими устройствами.
С помощью блока формирования 235 дескрипторов устройство 200 и процессор 205 могут выполнять следующие функции. Блок формирования 235 дескрипторов может выполнять набор операций способа, например способа, показанного на фиг.8. В связи с этим, на шаге 400 блок формирования 235 дескрипторов может формировать пирамиду изображений для кадра изображения и на шаге 410 обнаруживать множество представляющих интерес точек в пирамиде изображений. Блок формирования 235 дескрипторов может на шаге 420 извлекать дескрипторы признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиальных градиентов. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать осуществление градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор для установления соответствия может быть выбран на основе минимального порогового расстояния между дескрипторами.
Устройство 200 и процессор 205 посредством блока 240 отслеживания объектов могут выполнять следующие функции. Блок 240 отслеживания объектов может выполнять набор операций в рамках способа, например способа, показанного на фиг.8. В связи с этим, блок 240 отслеживания объектов может следить за перемещением путем установления соответствия дескрипторов признаков дескрипторам признаков предыдущего кадра.
Устройство 200 и процессор 205 посредством блока 245 распознавания объектов могут выполнять следующие функции. Блок 245 распознавания объектов может выполнять набор операций в рамках способа, например способа, иллюстрируемого на фиг.8. В связи с этим, блок 245 распознавания объектов может выполнять распознавание объекта в пределах кадра изображения на основе дескрипторов признаков.
На фиг.7 приведен более конкретный пример устройства в соответствии с различными вариантами осуществления настоящего изобретения. Пример устройства фиг.7 представляет собой мобильный терминал 10, сконфигурированный для связи в беспроводной сети, например, в сети сотовой связи. Мобильный терминал 10 может быть сконфигурирован для выполнения функциональности устройства 200 и/или другого устройства в соответствии с настоящим описанием. Более конкретно, может обеспечиваться выполнение мобильным терминалом 10 функциональности блока формирования 235 дескрипторов, блока 240 отслеживания объектов и/или блока 245 распознавания объектов посредством процессора 20. В связи с этим, процессор 20 может представлять собой интегральную схему или микросхему, сконфигурированную аналогично процессору 205, например, вместе с интерфейсом 206 ввода/вывода. При этом энергозависимая память 40 и энергонезависимая память 42 могут быть сконфигурированы для поддержки функционирования процессора 20 в качестве машиночитаемых носителей.
Мобильный терминал 10 может также включать антенну 12, передатчик 14 и приемник 16, которые могут входить в состав интерфейса связи мобильного терминала 10. Динамик 24, микрофон 26, дисплей 28 и клавиатура 30 могут входить в состав пользовательского интерфейса.
На фиг.9 показан другой способ согласно различным вариантам выполнения настоящего изобретения. Способ на фиг.9 может быть выполнен устройством 200, процессором 205, мобильным терминалом 10 и т.п. Этот способ включает формирование на шаге 500 пирамиды изображений для кадра изображения и обнаружение на шаге 510 представляющих интерес точек из выбранных уровней пирамиды изображений. Выбранные уровни пирамиды изображений могут быть целочисленными уровнями пирамиды изображений, а нецелочисленные уровни могут быть опущены. На шаге 520 может формироваться преобразование радиального градиента или приближенное преобразование радиального градиента. Кроме того, на шаге 530 можно формировать гистограммы выборок на основе выбранных пикселей. В связи с этим, для выборок гистограммы можно использовать чередующиеся пиксели. На шаге 540 дескрипторы признаков, инвариантные относительно вращения, могут быть извлечены для каждой соответствующей представляющей интерес точки с использованием градиентного разбиения и/или пространственного разбиения. На шаге 550 может быть выполнено отслеживание перемещения путем установления соответствия дескрипторов дескрипторам предыдущего кадра на основе минимального порогового расстояния. Пример способа может также включать на шаге 560 буферизацию дескрипторов признаков и информации отслеживания. На шаге 570 на основе этих буферизированных дескрипторов признаков и информации отслеживания может быть выполнено распознавание объекта в пределах кадра изображения.
На фиг.8 и 9 показаны блок-схемы алгоритмов для примеров систем, способов и/или компьютерных программных продуктов в соответствии с примерами осуществления настоящего изобретения. Следует понимать, что все блоки или операции упомянутых блок-схем, а также комбинации блоков или операций в них, могут быть реализованы различными средствами. Средства реализации блоков или операций упомянутых блок-схем, комбинаций блоков или операций блок-схем алгоритмов, или другой функциональности описанных примеров осуществления настоящего изобретения могут включать аппаратное обеспечение и/или компьютерный программный продукт, включающий машиночитаемый носитель данных (в отличие от термина "машиночитаемая среда передачи данных", который описывает распространяющийся сигнал) с хранимыми на нем одной или более инструкциями компьютерного программного кода, программными инструкциями или исполняемыми машиночитаемыми инструкциями программного кода. Инструкции программного кода могут храниться в запоминающем устройстве, например запоминающем устройстве 210 примера устройства, например примера устройства 200, и исполняться процессором, например процессором 205. Следует понимать, что все подобные инструкции программного кода могут быть загружены в компьютер или иное программируемое устройство (например, процессор 205, запоминающее устройство 210 и т.д.) с машиночитаемого носителя для формирования конкретного механизма таким образом, что он становится средством реализации функций, указанных в операциях упомянутых блок-схем. Упомянутые инструкции программного кода могут также храниться на машиночитаемом носителе данных, который может управлять компьютером, процессором или иным программируемым устройством, для выполнения конкретных функций, посредством чего формируется конкретный механизм или изделие. Инструкции, хранимые на упомянутом машиночитаемом носителе, могут образовывать изделие, при этом данное изделие становится средством реализации функций, указанных в операциях упомянутых блок-схем. Упомянутые инструкции компьютерной программы могут извлекаться из машиночитаемого носителя и загружаться в компьютер, процессор или иное программируемое устройство и конфигурировать компьютер, процессор или иное программируемое устройство для исполнения операций, подлежащих выполнению на этом компьютере, процессоре или ином программируемом устройстве. Извлечение, загрузка и исполнение инструкций программного кода может осуществляться последовательно, так что за один раз извлекают, загружают и исполняют одну инструкцию. В некоторых примерах осуществления настоящего изобретения извлечение, загрузка и/или исполнение может осуществляться параллельно, так что несколько инструкций извлекают, загружают или исполняют совместно. Исполнение упомянутых инструкций программного кода может формировать реализуемый компьютером процесс, в котором инструкции, исполняемые компьютером, процессором или иным программируемым устройством обеспечивают операции для реализации функций, указанных в операциях упомянутых блок-схем.
Соответственно, исполнение инструкций, связанных с операциями блок-схем, с помощью процессора или хранение инструкций, связанных с операциями блок-схем, на машиночитаемом носителе данных поддерживает комбинации операций для исполнения указанных функций. Следует также понимать, что одна или более операций упомянутых блок-схем, а также комбинации операций блок-схем могут быть реализованы специализированными аппаратными компьютерными системами и/или процессорами, выполняющими указанные функции или с помощью комбинации специализированного аппаратного обеспечения и инструкций программного кода.
Ниже даны примеры дополнительных вариантов выполнения настоящего изобретения. Один из способов включает формирование пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в этой пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Далее, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.
Соответствующее устройство для отслеживания и распознавания объектов с использованием дескрипторов признаков, инвариантных относительно вращения, содержит по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанная по меньшей мере одна память и компьютерный программный код выполнены так, чтобы с помощью по меньшей мере одного процессора заставлять устройство выполнять по меньшей мере различные функции. В связи с этим, указанное устройство обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Кроме того, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.
Еще один вариант выполнения настоящего изобретения относится к машиночитаемому носителю данных, содержащему хранимые на нем исполняемые машиночитаемые инструкции программного кода. Машиночитаемые инструкции программного кода на указанном машиночитаемом носителе данных предназначены для обеспечения выполнения устройством различных функций. В связи с этим, указанное устройство обеспечивает выполнение формирования пирамиды изображений для кадра изображения, обнаружение множества представляющих интерес точек в указанной пирамиде изображений и извлечение дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Далее, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.
Еще один вариант выполнения настоящего изобретения относится к устройству для отслеживания и распознавания дескрипторов признаков, инвариантных относительно вращения. Указанное устройство содержит средство для формирования пирамиды изображений для кадра изображения, средство для обнаружения множества представляющих интерес точек в пирамиде изображений и средство для извлечения дескрипторов признаков для каждой соответствующей представляющей интерес точки. Согласно некоторым вариантам выполнения настоящего изобретения, дескрипторы признаков являются инвариантными относительно вращения. Далее, согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может включать выполнение градиентного разбиения и/или пространственного разбиения. Согласно некоторым вариантам выполнения настоящего изобретения, извлечение дескрипторов признаков может также включать задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента. В некоторых вариантах выполнения настоящего изобретения дескриптор может быть выбран для установления соответствия на основе минимального порогового расстояния между дескрипторами.
Множество модификаций или других вариантов осуществления настоящего изобретения могут быть очевидны специалистам в области техники, к которой относится данное изобретение, при этом оно имеет приоритет принципов, представленных в данном описании и на соответствующих чертежах. Таким образом, следует понимать, что настоящее изобретение не ограничено конкретными описанными вариантами его осуществления, и что модификации и другие варианты его осуществления находятся в рамках приложенной формулы изобретения. Более того, несмотря на то что в предшествующем описании и на соответствующих чертежах представлены примеры осуществления настоящего изобретения в контексте конкретных примеров комбинаций элементов и/или функций, следует понимать, что в альтернативных вариантах осуществления изобретения могут быть обеспечены другие комбинации элементов и/или функций в пределах сущности приложенной формулы изобретения. В связи с этим, например, различные комбинации элементов и/или функций, отличных от явно описанных выше, также могут быть заявлены в некоторых из пунктов формулы изобретения. Несмотря на использование в настоящем документе конкретных терминов, они использованы исключительно в общем смысле для описания, а не для ограничения изобретения.

Claims (22)

1. Способ формирования и использования дескрипторов признаков для отслеживания и распознавания объектов, включающий:
формирование пирамиды изображений для кадра изображения;
обнаружение множества представляющих интерес точек в пирамиде изображений и
извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении,
при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и
извлечение дескрипторов признаков включает выполнение градиентного разбиения и/или пространственного разбиения.
2. Способ по п. 1, в котором дескрипторы признаков образуют из представляющих интерес точек при различных масштабах и ориентациях.
3. Способ по п. 1 или 2, также включающий:
отслеживание перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
выполнение распознавания объекта в пределах кадра изображения на основе упомянутых дескрипторов признаков.
4. Способ по п. 1 или 2, в котором извлечение дескрипторов признаков включает задание приближенных базисных векторов и использование приближенных базисных векторов для формирования приближенного преобразования радиального градиента.
5. Способ по п. 1 или 2, также включающий выбор по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.
6. Устройство для отслеживания и распознавания объекта с помощью дескрипторов признаков, содержащее по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанная по меньшей мере одна память и компьютерный программный код выполнены так, что с помощью по меньшей мере одного процессора заставляют устройство выполнять следующее:
формирование пирамиды изображений для кадра изображения;
обнаружение множества представляющих интерес точек в пирамиде изображений и
извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении,
при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и
извлечение дескрипторов признаков включает выполнение градиентного разбиения или пространственного разбиения.
7. Устройство по п. 6, в котором дескрипторы признаков образуются из представляющих интерес точек при различных масштабах и ориентациях.
8. Устройство по п. 6 или 7, которое также выполняет
отслеживание перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
выполнение распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.
9. Устройство по п. 6 или 7, в котором извлечение дескрипторов признаков включает задание приближенных базисных векторов и использование этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента.
10. Устройство по п. 6 или 7, которое обеспечивает также выбор по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.
11. Устройство по п. 6 или 7, включающее мобильный терминал.
12. Устройство по п. 6 или 7, которое содержит дисплей, сконфигурированный для представления отслеживания объекта на основе дескрипторов признаков.
13. Машиночитаемый носитель, содержащий исполняемые машиночитаемые инструкции программного кода, сконфигурированные для обеспечения выполнения устройством по меньшей мере следующего:
формирования пирамиды изображений для кадра изображения;
обнаружения множества представляющих интерес точек в пирамиде изображений и
извлечение дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении,
при этом извлечение дескрипторов признаков включает поворот градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, и
извлечение дескрипторов признаков включает выполнение градиентного разбиения или пространственного разбиения.
14. Машиночитаемый носитель по п. 13, в котором дескрипторы признаков образуются из представляющих интерес точек при различных масштабах и ориентациях.
15. Машиночитаемый носитель по п. 13 или 14, в котором указанные инструкции обеспечивают выполнение устройством
отслеживания перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.
16. Машиночитаемый носитель по п. 13 или 14, в котором извлечение дескрипторов признаков включает задание приближенных базисных векторов и использование этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента.
17. Машиночитаемый носитель по п. 13 или 14, в котором инструкции также обеспечивают выполнение устройством выбора по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.
18. Устройство для отслеживания и распознавания объекта с помощью дескрипторов признаков, содержащее:
средство для формирования пирамиды изображений для кадра изображения;
средство для обнаружения множества представляющих интерес точек в пирамиде изображений и
средство для извлечения дескрипторов признаков для каждой точки из множества представляющих интерес точек в изображении, при этом средство для извлечения дескрипторов признаков включает средство для поворота градиентов представляющей интерес точки на заданный угол для получения преобразования радиального градиента, а также средство для выполнения градиентного разбиения или пространственного разбиения.
19. Устройство по п. 18, в котором средство для извлечения дескрипторов признаков включает средство для извлечения дескрипторов признаков, инвариантных относительно вращения.
20. Устройство по п. 18 или 19, также содержащее:
средство для отслеживания перемещения путем установления соответствия упомянутых дескрипторов признаков дескрипторам признаков предыдущего кадра и
средство для выполнения распознавания объекта в пределах кадра изображения на основе дескрипторов признаков.
21. Устройство по п. 18 или 19, в котором средство для извлечения дескрипторов признаков включает средство для задания приближенных базисных векторов и средство для использования этих приближенных базисных векторов для формирования приближенного преобразования радиального градиента.
22. Устройство по п. 18 или 19, также включающее средство для выбора по меньшей мере одного из дескрипторов признаков для установления соответствия на основе минимального порогового расстояния между дескрипторами признаков.
RU2012124836/08A 2009-11-19 2010-11-18 Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения RU2542946C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US26274009P 2009-11-19 2009-11-19
US61/262,740 2009-11-19
PCT/IB2010/055280 WO2011061709A1 (en) 2009-11-19 2010-11-18 Method and apparatus for tracking and recognition with rotation invariant feature descriptors

Publications (2)

Publication Number Publication Date
RU2012124836A RU2012124836A (ru) 2013-12-27
RU2542946C2 true RU2542946C2 (ru) 2015-02-27

Family

ID=44059265

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012124836/08A RU2542946C2 (ru) 2009-11-19 2010-11-18 Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения

Country Status (6)

Country Link
US (1) US8687891B2 (ru)
EP (1) EP2502184A4 (ru)
KR (1) KR101399804B1 (ru)
CN (1) CN102844771B (ru)
RU (1) RU2542946C2 (ru)
WO (1) WO2011061709A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2635267C2 (ru) * 2015-11-25 2017-11-09 Сяоми Инк. Способ и устройство выделения характеристики
RU2718158C1 (ru) * 2017-01-30 2020-03-30 Зе Эдж Компани С.Р.Л. Способ распознавания объектов для движков дополненной реальности посредством электронного устройства
RU2801917C1 (ru) * 2020-09-09 2023-08-18 Бейджин Цзытяо Нетворк Текнолоджи Ко., Лтд. Способ и устройство для отображения изображений на основе дополненной реальности и носитель для хранения информации

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US8902971B2 (en) * 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
CN101622874A (zh) 2007-01-23 2010-01-06 欧几里得发现有限责任公司 对象存档系统和方法
CN101939991A (zh) 2007-01-23 2011-01-05 欧几里得发现有限责任公司 用于处理图像数据的计算机方法和装置
JP2010517427A (ja) 2007-01-23 2010-05-20 ユークリッド・ディスカバリーズ・エルエルシー 個人向けのビデオサービスを提供するシステムおよび方法
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
JP5639764B2 (ja) 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US20120182442A1 (en) * 2011-01-14 2012-07-19 Graham Kirsch Hardware generation of image descriptors
JP6099640B2 (ja) 2011-06-23 2017-03-22 シンク−アールエックス，リミティド 管腔の背景の鮮明化
US8948518B2 (en) * 2011-07-14 2015-02-03 Futurewei Technologies, Inc. Scalable query for visual search
US8666169B2 (en) 2011-10-24 2014-03-04 Hewlett-Packard Development Company, L.P. Feature descriptors
EP2780861A1 (en) * 2011-11-18 2014-09-24 Metaio GmbH Method of matching image features with reference features and integrated circuit therefor
US8737737B1 (en) * 2012-03-23 2014-05-27 A9.Com, Inc. Representing image patches for matching
JP6134789B2 (ja) 2012-06-26 2017-05-24 シンク−アールエックス，リミティド 管腔器官における流れに関連する画像処理
WO2014043748A1 (en) * 2012-09-18 2014-03-27 Fink Eric A server for selecting tag data
ITTO20120986A1 (it) * 2012-11-14 2014-05-15 St Microelectronics Srl Procedimento per l'estrazione di informazioni distintive da un flusso di frame video digitali, sistema e prodotto informatico relativi
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
CN103871073B (zh) * 2012-12-18 2017-08-25 华为技术有限公司 一种基于增强现实的目标跟踪方法、设备及系统
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US20140233859A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Electronic device and method of determining descriptor thereof
KR102127673B1 (ko) * 2013-02-15 2020-06-30 삼성전자주식회사 전자장치 및 전자장치의 디스크립터 결정방법
CN103530881B (zh) * 2013-10-16 2016-03-09 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN103632374B (zh) * 2013-12-10 2017-04-26 深圳先进技术研究院 无标记增强现实系统及无标记增强现实系统目标跟踪方法
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
KR20180081837A (ko) * 2014-03-11 2018-07-17 가부시끼가이샤 리서치 앤드 이노베이션 구매 정보 활용 시스템 및 구매 정보 활용 방법 및 프로그램
US9766628B1 (en) * 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
CN107148632B (zh) 2014-04-24 2020-10-27 河谷控股Ip有限责任公司 用于基于图像的目标识别的稳健特征识别
WO2015173821A1 (en) * 2014-05-14 2015-11-19 Sync-Rx, Ltd. Object identification
US9392293B2 (en) * 2014-05-21 2016-07-12 Alcatel Lucent Accelerated image processing
US20150355309A1 (en) * 2014-06-05 2015-12-10 University Of Dayton Target tracking implementing concentric ringlets associated with target features
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
US10423858B2 (en) 2014-07-21 2019-09-24 Ent. Services Development Corporation Lp Radial histogram matching
US9940726B2 (en) * 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
US9791541B2 (en) * 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
US9454713B2 (en) * 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
US9483706B2 (en) 2015-01-08 2016-11-01 Linear Algebra Technologies Limited Hardware accelerator for histogram of gradients
EP3073444A3 (en) 2015-03-25 2017-01-04 Tata Consultancy Services Limited A computer implemented system and method for image texture determination
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
US9830528B2 (en) 2015-12-09 2017-11-28 Axis Ab Rotation invariant object feature recognition
WO2017131744A1 (en) * 2016-01-29 2017-08-03 Hewlett Packard Enterprise Development Lp Radial histogram verification
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
WO2017156043A1 (en) 2016-03-08 2017-09-14 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
CN108073857B (zh) 2016-11-14 2024-02-27 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
KR102257226B1 (ko) * 2017-02-16 2021-05-28 현대자동차주식회사 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
US10916031B2 (en) * 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
CN112184776A (zh) * 2020-09-30 2021-01-05 珠海大横琴科技发展有限公司 一种目标跟踪方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1594078A3 (en) * 2004-04-27 2006-08-09 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
EP1850270A1 (en) * 2006-04-28 2007-10-31 Toyota Motor Europe NV Robust interest point detector and descriptor
RU2322694C2 (ru) * 2006-03-09 2008-04-20 Общество с ограниченной ответственностью "Комэксп" Способ обработки изображений

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694311B1 (en) * 1999-01-25 2004-02-17 International Business Machines Corporation Method and apparatus for fast query approximation using adaptive query vector projection
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US6385332B1 (en) * 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE19928231C2 (de) * 1999-06-21 2003-03-27 Max Planck Gesellschaft Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
KR100354207B1 (ko) * 2000-05-22 2002-09-27 (주)인터정보 인터넷상의 음란물을 차단하는 방법 및 장치
DE60123596T2 (de) 2001-07-13 2007-08-16 France Telecom Verfahren zur Komprimierung einer Baumhierarchie, zugehöriges Signal und Verfahren zur Dekodierung eines Signals
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US6819117B2 (en) * 2002-01-30 2004-11-16 Credence Systems Corporation PICA system timing measurement & calibration
US7774158B2 (en) 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
KR100584320B1 (ko) * 2003-07-30 2006-05-26 삼성전자주식회사 휴대 단말기의 손금 인식방법
JP4865557B2 (ja) * 2003-08-15 2012-02-01 スカーペ テクノロジーズ アクティーゼルスカブ 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
US7912291B2 (en) 2003-11-10 2011-03-22 Ricoh Co., Ltd Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7738705B2 (en) * 2004-06-30 2010-06-15 Stefano Casadei Hierarchical method and system for pattern recognition and edge detection
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US20070009159A1 (en) 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
AU2005211665A1 (en) 2005-09-23 2007-04-19 Canon Kabushiki Kaisha Vectorisation of colour gradients
WO2007130688A2 (en) 2006-05-10 2007-11-15 Evolution Robotics, Inc. Mobile computing device with imaging capability
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
US8160880B2 (en) * 2007-04-30 2012-04-17 K-Nfb Reading Technology, Inc. Generalized object recognition for portable reading machine
US8285118B2 (en) * 2007-07-16 2012-10-09 Michael Bronstein Methods and systems for media content control
US8358840B2 (en) * 2007-07-16 2013-01-22 Alexander Bronstein Methods and systems for representation and matching of video content
US7761466B1 (en) * 2007-07-30 2010-07-20 Hewlett-Packard Development Company, L.P. Hash-based image identification
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
WO2009124151A2 (en) * 2008-04-01 2009-10-08 University Of Southern California Video feed target tracking
US8549556B2 (en) 2008-04-15 2013-10-01 Shlomo Selim Rakib Contextual advertising
GB0807411D0 (en) * 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8244044B2 (en) * 2008-04-25 2012-08-14 Microsoft Corporation Feature selection and extraction
US8189866B1 (en) * 2008-08-26 2012-05-29 Adobe Systems Incorporated Human-action recognition in images and videos
US8131074B2 (en) * 2008-09-11 2012-03-06 Raytheon Company Specific emitter identification using histogram of oriented gradient features
US8363973B2 (en) * 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
US8396286B1 (en) * 2009-06-25 2013-03-12 Google Inc. Learning concepts for video annotation
US8336761B1 (en) * 2011-09-15 2012-12-25 Honeywell International, Inc. Barcode verification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1594078A3 (en) * 2004-04-27 2006-08-09 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
RU2322694C2 (ru) * 2006-03-09 2008-04-20 Общество с ограниченной ответственностью "Комэксп" Способ обработки изображений
EP1850270A1 (en) * 2006-04-28 2007-10-31 Toyota Motor Europe NV Robust interest point detector and descriptor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2635267C2 (ru) * 2015-11-25 2017-11-09 Сяоми Инк. Способ и устройство выделения характеристики
US10282637B2 (en) 2015-11-25 2019-05-07 Xiaomi Inc. Method, device, and storage medium for image characteristic extraction
RU2718158C1 (ru) * 2017-01-30 2020-03-30 Зе Эдж Компани С.Р.Л. Способ распознавания объектов для движков дополненной реальности посредством электронного устройства
RU2801917C1 (ru) * 2020-09-09 2023-08-18 Бейджин Цзытяо Нетворк Текнолоджи Ко., Лтд. Способ и устройство для отображения изображений на основе дополненной реальности и носитель для хранения информации

Also Published As

Publication number Publication date
US20110286627A1 (en) 2011-11-24
EP2502184A4 (en) 2017-03-22
RU2012124836A (ru) 2013-12-27
EP2502184A1 (en) 2012-09-26
CN102844771B (zh) 2015-08-05
WO2011061709A1 (en) 2011-05-26
US8687891B2 (en) 2014-04-01
CN102844771A (zh) 2012-12-26
KR20120095445A (ko) 2012-08-28
KR101399804B1 (ko) 2014-05-27

Similar Documents

Publication Publication Date Title
RU2542946C2 (ru) Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения
US11727594B2 (en) Augmented reality for three-dimensional model reconstruction
US10726264B2 (en) Object-based localization
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
JP5932992B2 (ja) ロケーションを利用した認識
US20190130603A1 (en) Deep-learning based feature mining for 2.5d sensing image search
KR100714724B1 (ko) 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
EP3100210B1 (en) Dynamically updating a feature database that contains features corresponding to a known target object
US11861999B2 (en) Object detection based on object relation
KR101479387B1 (ko) 얼굴 검출을 위한 방법 및 장치
US10055672B2 (en) Methods and systems for low-energy image classification
Soo Park et al. 3d point cloud reduction using mixed-integer quadratic programming
US10268886B2 (en) Context-awareness through biased on-device image classifiers
Piciarelli Visual indoor localization in known environments
US20160066150A1 (en) Dynamic Configuration of a Positioning System
Sui et al. An accurate indoor localization approach using cellphone camera
Bernabé et al. A new system to perform unsupervised and supervised classification of satellite images from Google Maps
US10362553B2 (en) Determining location of wireless-enabled device
US11688094B1 (en) Method and system for map target tracking
CN115953462A (zh) 基于视觉几何结构配准的增强现实中网络设备识别方法
CN117576364A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN113950609A (zh) 使用信号指纹和会话特定标识符的粗略重定位