RU2220452C2 - Способ, устройство, компьютерная программа, компьютерная система и считываемое компьютером запоминающее устройство для представления и поиска объекта в изображении - Google Patents

Способ, устройство, компьютерная программа, компьютерная система и считываемое компьютером запоминающее устройство для представления и поиска объекта в изображении Download PDF

Info

Publication number
RU2220452C2
RU2220452C2 RU2001110113/09A RU2001110113A RU2220452C2 RU 2220452 C2 RU2220452 C2 RU 2220452C2 RU 2001110113/09 A RU2001110113/09 A RU 2001110113/09A RU 2001110113 A RU2001110113 A RU 2001110113A RU 2220452 C2 RU2220452 C2 RU 2220452C2
Authority
RU
Russia
Prior art keywords
contour
image
ipc
additional parameter
additional
Prior art date
Application number
RU2001110113/09A
Other languages
English (en)
Other versions
RU2001110113A (ru
Inventor
Мирослав З. БОБЕР
Original Assignee
Мицубиси Денки Кабусики Кайся
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Мицубиси Денки Кабусики Кайся filed Critical Мицубиси Денки Кабусики Кайся
Publication of RU2001110113A publication Critical patent/RU2001110113A/ru
Application granted granted Critical
Publication of RU2220452C2 publication Critical patent/RU2220452C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Eye Examination Apparatus (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Holo Graphy (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Изобретение относится к представлению объекта, появляющегося в изображении. Его использование при обработке изображений, запомненных в мультимедийной базе данных, позволяет обеспечить технический результат в виде повышения точности поиска объектов в изображениях. Этот технический результат достигается благодаря тому, что получают представление масштабированного пространства кривизны (МПК) для контура объекта путем сглаживания этого контура объекта, получают по меньшей мере один дополнительный параметр, отражающий распределение формы или массы сглаженного варианта исходной кривой, и связывают представление МПК и дополнительный параметр в качестве дескриптора формы объекта. Этот дополнительный параметр может соответствовать эксцентриситету или округлости контура, наивысшему пику в изображении в МПК, он может быть основан на дескрипторах Фурье или моментах Цернике и т.п. 5 с. и 12 з.п. ф-лы, 3 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к представлению объекта, появляющегося в неподвижном изображении или видеоизображении, таком как изображение, запомненное в мультимедийной базе данных, особенно для целей поиска, и к способу и устройству для поиска объекта с помощью такого представления.
Уровень техники
В таких приложениях, как библиотеки образов или видеоизображений, желательно иметь эффективное представление и хранение контура или формы объектов или частей объектов, появляющихся в неподвижных изображениях или видеоизображениях. Известный метод, основанный на форме индексирования и поиска, использует представление масштабированного пространства кривизны (МПК) (CSS). Подробности представления МПК можно найти в статьях "Robust and Efficient Shape Indexing through Curvature Scale Space" (Устойчивое и эффективное индексирование формы посредством пространства с искривленным масштабом) Proc. British Machine Vision conference, pp. 53-62, Edinburgh, UK, 1996, и "Indexing an Image Database by Shape Content using Curvature Scale Space" (Индексирование базы данных изображений посредством контекста формы с помощью пространства с искривленным масштабом) Рrос. IEE Colloquium on Intelligent Databases, London 1996, обе написаны F. Mokhtarian, S. Abbasi and J. Kittler, библиографические данные которых приведены здесь в качестве ссылки.
Представление МПК использует функцию кривизны для контура объекта, начиная с произвольной точки на этом контуре. Эта функция кривизны изучается по мере того, как форма контура развертывается через ряд деформаций, которые сглаживают форму. Конкретнее, вычисляются пересечения нуля для производной функции кривизны, над которой осуществляется свертка семейством гауссовых фильтров. Пересечения нуля откладываются на графике, известном как пространство искривленного масштаба, где ось х представляет собой нормированную длину дуги кривой, а ось у является параметром развертывания, конкретно, параметром примененного фильтра. Точки на этом графике образуют петлевую характеристику контура. Каждая выпуклая или вогнутая часть в контуре объекта соответствует петле в изображении МПК. Координаты пиков наиболее выдающихся петель в изображении МПК используются в качестве представления контура.
Чтобы искать объекты в хранящемся в базе данных изображении, согласующиеся с формой входного объекта, вычисляется представление МПК входного объекта. Подобие между входной формой и запомненными формами определяется сравнением положения и высоты пиков в соответствующих изображениях МПК с помощью алгоритма сопряжения.
Из первой упомянутой выше статьи известно также использование двух дополнительных параметров - округлости и эксцентриситета исходной формы - для исключения из процесса сопряжения форм со значительно отличающимися параметрами округлости и эксцентриситета.
Проблема с представлением, описанным выше, состоит в том, что точность поиска иногда оказывается низкой, особенно для кривых, которые имеют малое число выпуклостей или вогнутостей. В частности, это представление не может различать разные выпуклые кривые.
Предмет настоящего изобретения состоит в том, чтобы ввести дополнительное средство описания формы для "формы контура-прототипа". Эта форма контура-прототипа определяется здесь как:
1) исходная форма, если в контуре нет выпуклостей или вогнутостей (т.е., например, в изображении МПК нет пиков), или
2) контур формы после сглаживания эквивалентен наивысшему пику в изображении МПК.
Отметим, что форма контура-прототипа всегда выпуклая.
К примеру, форма контура-прототипа может быть описана посредством инвариантов, основанных на моментах области, как описано в статье "Visual Pattern Recognition by Moments Invariants" (Визуальное распознавание образов посредством моментных инвариантов), IEEE Transactions on Information Theory, Vol. IT-8, 179-187, 1962, написанной М.К. Нu, библиографические данные которой приведено здесь в качестве ссылки, либо с помощью дескрипторов Фурье, как описано в статье "On Image Analysis by the Methods of Moments" (Об анализе изображений посредством методов моментов), IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 10, No. 4, July 1988, написанной Cho-Huak The, библиографические данные которой приведены здесь в качестве ссылки, либо с помощью параметров, таких как эксцентриситет, округлость и т. п. В упомянутых выше известных способах эксцентриситет и округлость используются только в отношении исходной формы.
Здесь заявитель использует их в отношении "формы контура-прототипа", которая отличается для кривых, имеющих, по меньшей мере, один пик МПК. Другим отличием является то, что в известном способе эксцентриситет и округлость используются для исключения некоторых форм из сопряжения для нахождения подобия, а здесь заявитель использует их (в дополнение к пикам МПК) для получения значения меры подобия. Наконец, заявитель расширяет дополнительные параметры, используемые в процессе сопряжения, до моментных инвариантов, дескрипторов Фурье и моментов Цернике.
В результате осуществления изобретения можно повысить точность поиска.
Сущность изобретения
Способ представления объекта, появляющегося в неподвижном изображении или видеоизображении, посредством обработки соответствующих изображению сигналов, согласно одному объекту изобретения, включает в себя получение представления пространства с искривленным масштабом (МПК) для контура объекта путем сглаживания контура объекта, получение, по меньшей мере, одного дополнительного параметра, отражающего распределение формы или массы сглаженного варианта исходной кривой, и связывание представления МПК и дополнительного параметра в качестве дескриптора формы объекта.
В заявленном способе дополнительный параметр может относиться к сглаженному контуру, соответствующему пику в изображении МПК.
Дополнительный параметр может относиться к сглаженному контуру, соответствующему наивысшему пику в изображении МПК.
Дополнительный параметр может соответствовать эксцентриситету контура.
Дополнительный параметр может соответствовать округлости контура.
По меньшей мере, один дополнительный параметр может использовать основанное на области представление.
Дополнительный параметр может являться моментным инвариантом области.
Дополнительный параметр может быть основан на дескрипторах Фурье.
Дополнительный параметр может быть основан на моментах Цернике для области, охваченной контуром.
Способ представления множества объектов, появляющихся в неподвижном изображении или видеоизображении, посредством обработки сигналов, соответствующих изображениям, согласно второму объекту изобретения содержит, для каждого контура объекта, определение того, имеются ли значительные изменения в кривизне в контуре объекта, и если в кривизне в контуре объекта имеются значительные изменения, то получение дескриптора формы, а если в кривизне в контуре объекта нет значительных изменений, то получение дескриптора формы, включающего, по меньшей мере, упомянутый дополнительный параметр, отражающий форму контура объекта.
По способу согласно второму объекту изобретения дополнительный параметр для контура объекта, не имеющего значительных изменений в кривизне, может быть основан на моментных инвариантах областей, дескрипторах Фурье или моментах Цернике контура.
Способ поиска объекта в неподвижном изображении или видеоизображении посредством обработки сигналов, соответствующих изображениям, согласно третьему объекту изобретения содержит введение запроса в виде двумерного контура, получение дескриптора упомянутого контура, сравнение упомянутого запросного дескриптора с каждым дескриптором для запомненных объектов с помощью процедуры сопряжения, использующей значения МПК и дополнительные параметры для получения меры подобия, и выбор и отображение по меньшей мере одного результата, соответствующего изображению, содержащему объект, для которого сравнение указывает степень подобия между запросом и упомянутым объектом.
По способу согласно третьему объекту изобретения мера подобия может быть основана на М, где М=a*GP-S+CSS-S, где GP-S - мера подобия между дополнительными параметрами контуров сравниваемых объекта, CSS-S - мера подобия между значениями МПК для контуров сравниваемых объектов, а - постоянная.
По способу согласно третьему объекту изобретения а может зависеть от числа и высоты пиков МПК.
А может быть равно 1, когда нет пиков, связанных с каким-либо контуром, и а может быть равно 0, когда, по меньшей мере, один контур имеет пик МПК.
Способ поиска объекта в неподвижном изображении или видеоизображении посредством обработки сигналов, соответствующих изображениям согласно четвертому объекту изобретения содержит вычисление меры подобия между контурами двух объектов с помощью представления МПК упомянутых контуров и дополнительных параметров, отражающих распределение формы или массы в исходном контуре и сглаженном варианте этого контура.
Краткое описание чертежей
Фиг.1 является блок-схемой системы базы видеоданных.
Фиг.2 является рисунком контура объекта.
Фиг.3 является представлением МПК контура по фиг.2.
Наилучшее выполнение изобретения
Первое выполнение
Фиг. 1 показывает автоматизированную систему базы видеоданных согласно выполнению данного изобретения. Эта система включает в себя управляющий блок 2 в виде компьютера, дисплейный блок 4 в виде монитора, указывающее устройство 6 в виде мыши, базу 8 данных изображений, включающую запомненные неподвижные изображения и видеоизображения, и базу 10 данных дескрипторов, хранящую дескрипторы объектов или частей объектов, появляющихся в изображениях, запомненных в базе 8 данных изображений.
Дескриптор для формы каждого вызывающего интерес объекта, появляющегося в изображении в базе данных изображений, получают управляющим блоком 2 и запоминают в базе 10 данных дескрипторов. Управляющий блок 2 получает дескрипторы в процессе работы под управлением соответствующей программы, воплощающей способ, описанный ниже.
Сначала для контура данного объекта получают представление МПК контура. Это делается с помощью известного способа, как описано в одной из вышеупомянутых статей.
Конкретнее, контур выражается представлением Ψ={(х(u), y(u), u∈[0, 1]}, где u - параметр нормированной дуговой длины.
Контур сглаживают путем свертки Ψ с ядром g (u, σ) Гауссиана идентификатора. Пересечения нуля кривизны развертывающейся кривой проверяют по мере изменения σ. Пересечения нуля идентифицируют с помощью следующего выражения для кривизны:
Figure 00000002
,
где Х(u,σ)=х(u)*g(u,σ); Y(u,σ)=y(u)*g(u,σ);
Хu(u,σ)=x(u)*gu(u,σ); Xuu(u,σ)=х(u)*guu(u,σ).
В вышеприведенных выражениях * представляет свертку, а подстрочные знаки представляют производные.
Число пересечений нуля кривизны изменяется по мере изменения σ, и когда σ значительно выше, Ψ является выпуклой кривой без пересечений нуля.
Точки (u, σ) пересечений нуля строятся на графике, известном как пространство изображения МПК. Это выражается во множестве характеристик кривых исходного контура. Пики характеристических кривых идентифицируются и соответствующие координаты выделяются и запоминаются. В общем, это дает набор из n координатных пар [(х1,y1), (х2,y2),... (хn,yn)], где n - число пиков, xi - положение дуговой длины i-го пика, yi - высота этого пика. Эти координаты пиков составляют представление МПК.
В дополнение к представлению МПК дополнительные параметры связываются с данной формой для получения дескриптора формы. В данном выполнении дополнительными параметрами являются эксцентриситет и округлость "области прототипа" для данной формы, где "область прототипа" данной формы представляет собой контур этой формы после окончательного шага сглаживания, т.е. в точке, эквивалентной значению σ наивысшего пика. Для области прототипа могут выбираться и другие значения σ. В результате получается дескриптор формы для формы S в виде: {EPR, CPR, PEAK}, где EPR представляет эксцентриситет области прототипа, CPR - округлость области прототипа, a PEAK - представление МПК.
Теперь будет описан способ поиска объекта в изображении в соответствии с выполнением данного изобретения.
Здесь база 10 данных дескрипторов в системе по фиг.1 хранит дескрипторы формы, полученные согласно описанному выше способу.
Пользователь инициирует поиск, рисуя контур объекта на дисплее с помощью указывающего устройства. Управляющий блок 2 затем получает дескриптор формы входного контура вышеописанным образом. Управляющий блок затем выполняет сопрягающее сравнение с каждым дескриптором формы, запомненным в этой базе данных.
Предположим, что входной контур, форма S1, сравнивается с запомненной формой S2, причем S1 и S2 являются соответствующими дескрипторами:
S1: {EPR1, CPR1, РЕАК1},
S2: {EPR2, CPR2, РЕАК2},
где EPR означает эксцентриситет области прототипа, CPR означает округлость области прототипа, a PEAK означают набор координат пиков в изображении МПК (этот набор может быть пустым). Мера подобия между двумя формами вычисляется следующим образом.
М=a*abs((EPR2-EPR1)/(EPR2+EPR1))+b*abs((CPR2-CPR1)/((CPR2+CPR1))+SM(PEAKS1, PEAKS2),
где а и b являются двумя коэффициентами, SМ - стандартная мера подобия, определенная на двух наборах пиков [1], a abs обозначает абсолютное значение. SM вычисляется с помощью известного алгоритма сопряжения, в качестве которого можно использовать алгоритмы, описанные в вышеупомянутых статьях. Эта процедура сопряжения вкратце описывается ниже.
При заданных двух замкнутых контурных формах, кривой Ψi изображения и модельной кривой Ψm и их соответствующих наборах пиков {(xi1,yi1), (xi2, yi2), . . ., (xin,yin)} и {(xm1,ym1), (xm2, ym2),..., (xmn,ymn)} вычисляется мера подобия. Эта мера подобия определяется как общая цена сопряжения пиков в модели с пиками в изображении. Сопряжение, которое минимизирует общую цену, определяется с помощью динамического программирования. Алгоритм рекурсивно сопрягает пики из модели с пиками из изображения и вычисляет цену каждого такого сопряжения. Каждый пик модели может быть сопряжен только с одним пиком изображения, а каждый пик изображения может быть сопряжен только с одним пиком модели. Некоторые из пиков модели и изображения могут остаться несопряженными, и за каждый несопряженный пик назначается дополнительная штрафная цена. Два пика могут быть сопряжены, если их расстояние по горизонтали меньше 0,2. Цена сопряжения представляет собой длину прямой линии между двумя сопряженными пиками. Цена несопряженного пика является его высотой.
Более подробно этот алгоритм работает путем создания и расширения древовидной структуры, где узлы соответствуют сопряженным пикам:
1. Создать начальный узел, состоящий из наибольшего максимума изображения (xik, yik) и наибольшего максимума модели (xir, yir).
2. Для каждого остающегося пика модели, который попадает в 80% от наибольшего максимума пиков изображения, создать дополнительный начальный узел.
3. Инициализировать цену каждого начального узла, созданного в 1 и 2, до абсолютной разности y-координаты пиков модели и изображения, связанных с этим узлом.
4. Для каждого начального узла в 3 вычислить параметр альфа сдвига МПК, определенный как разность по (горизонтальным) координатам х пиков модели и изображения, сопряженных в этом начальном узле. Параметр сдвига будет различным для каждого узла.
5. Для каждого начального узла создать список пиков модели и пиков изображения. Этот список содержит информацию, какие пики еще подлежат сопряжению. Для каждого начального узла пометить пики, сопряженные в этом узле, как "сопряженные", а все остальные пики как "несопряженные".
6. Рекурсивно расширять узел нижней цены (начинающийся из каждого узла, созданного на шагах 1-6 и сопровождаемый своими дочерними узлами) до тех пор, пока не будут выполнены условия пункта 8. Для расширения узла использовать следующую процедуру:
7. Расширение узла.
Если остались несопряженными по меньшей мере один пик изображения и один пик модели: выбрать максимум МПК кривой изображения наибольшего масштаба, который не сопряжен (xip, yip). Приложить параметр сдвига начального узла (вычисленный на шаге 4) для отображения выбранного максимума к изображению МПК модели, - теперь выбранный пик имеет координаты (xip-альфа, yip). Определить положение ближайшего пика кривой модели, который не сопряжен (xms, yms). Если расстояние по горизонтали между этими двумя пиками меньше чем 0,2 (т. е. |xip-альфа-xms|<0,2), произвести сопряжение этих двух пиков и определить цену этого сопряжения как длину прямой линии между этими двумя пиками. Добавить цену этого сопряжения к общей цене этого узла. Удалить сопряженные пики из соответствующих списков, пометив их как "сопряженные". Если расстояние по горизонтали между этими двумя пиками больше чем 0,2, этот пик (xip,yip) изображения не может быть сопряжен. В этом случае добавить его высоту yip к общей цене и удалить только этот пик (xip,yip) из списка пиков изображения, пометив его как "несопряженный".
В противном случае (имеются только пики изображения или имеются только пики модели, оставшиеся несопряженными):
Определить цену сопряжения как высоту наивысшего несопряженного пика изображения или модели и удалить этот пик из списка.
8. Если после расширения узла в п.7 в обоих списках изображения и модели нет несопряженных узлов, процедура сопряжения завершается. Цена этого узла является мерой подобия между кривой изображения и модели. В противном случае перейти к п.7 и расширять узел наименьшей цены.
Вышеприведенная процедура повторяется с обмененными пиками кривой изображения и пиками кривой модели. Конечное значение сопряжения является наименьшим из двух.
Вышеуказанные шаги повторяются для каждой модели в базе данных.
Меры подобия, появляющиеся в результате сравнения сопряжения, располагаются по порядку, и объекты, соответствующие дескрипторам, имеющим меры подобия, указывающие само тесное сопряжение (т.е. здесь наинизшие меры подобия), отображаются затем на дисплейном блоке 4 для пользователя. Число объектов, подлежащих отображению, может устанавливаться заранее или выбираться пользователем.
В альтернативном воплощении для описания формы "области прототипа" могут использоваться различные параметры. Например, можно использовать три коэффициента Фурье для кривой. Мера подобия может определяться следующим образом:
М=a*EUC(F1,F2)+SM(PEAKS1+PEAKS2),
где EUC - эвклидово расстояние между векторами F1 и F2, сформированными из трех основных коэффициентов Фурье для формы изображения и модели, а - постоянная, SM представляет меру подобия для пиков МПК, вычисленных с помощью способа, по существу описанного выше.
Промышленная применимость
Система согласно этому изобретению может, к примеру, предусматриваться в библиотеке изображений. Альтернативно, база данных может быть удалена от управляющего блока системы и подключена к этому управляющему блоку временной линией связи, такой как телефонная линия, или сетью, такой как Интернет. Базы данных изображений и дескрипторов могут предусматриваться, к примеру, в постоянном запоминающем устройстве или на портативном запоминающем данные носителе, таком как CD-ROM или DVD.
Компоненты системы, как они описаны, могут быть реализованы в программной или аппаратной форме. Хотя изобретение описано в виде компьютерной системы, оно может быть воплощено и в других формах, к примеру с помощью специализированной ИС.
Приведены конкретные примеры способов представления двумерной формы объекта и способы вычисления значений, представляющих подобия между двумя формами, но могут использоваться любые пригодные такие способы.
Изобретение можно также использовать, к примеру, для сопряжения изображений объектов для целей верификации или для фильтрации.

Claims (17)

1. Способ представления объекта, появляющегося в изображении, посредством обработки сигналов, соответствующих изображению, согласно которому получают представление масштабированного пространства кривизны (МПК) для контура объекта путем сглаживания контура объекта, получают по меньшей мере один дополнительный параметр, отражающий распределение формы или массы сглаженного варианта исходной кривой, и связывают представление МПК и дополнительный параметр в качестве дескриптора формы объекта.
2. Способ по п.1, в котором дополнительный параметр относится к сглаженному контуру, соответствующему пику в изображении в МПК.
3. Способ по п.2, в котором дополнительный параметр относится к сглаженному контуру, соответствующему наивысшему пику в изображении в МПК.
4. Способ по любому из пп.1-3, в котором дополнительный параметр соответствует эксцентриситету контура.
5. Способ по любому из пп.1-4, в котором дополнительный параметр соответствует округлости контура.
6. Способ по любому из пп.1-5, в котором по меньшей мере один дополнительный параметр использует основанное на области представление.
7. Способ по п.6, в котором дополнительный параметр является моментным инвариантом области.
8. Способ по п.6 или 7, в котором дополнительный параметр основан на дескрипторах Фурье.
9. Способ по п.6, в котором дополнительный параметр основан на моментах Цернике для области, охваченной контуром.
10. Способ представления множества объектов, появляющихся в изображении, посредством обработки сигналов, соответствующих изображениям, согласно которому для каждого контура объекта определяют, имеются ли в контуре объекта выпуклости и вогнутости, и если в кривизне в контуре объекта имеются выпуклости и вогнутости, то получают дескриптор формы с использованием способа по любому из пп.1-9, а если в кривизне в контуре объекта нет выпуклостей и вогнутостей, то получают дескриптор формы, включающий по меньшей мере упомянутый дополнительный параметр, отражающий форму контура объекта.
11. Способ по п.10, в котором дополнительный параметр для контура объекта, не имеющего выпуклостей и вогнутостей, основан на моментных инвариантах областей, дескрипторах Фурье или моментах Цернике контура.
12. Способ поиска объекта в изображении посредством обработки сигналов, соответствующих изображениям, согласно которому вводят запрос в виде двумерного контура, получают дескриптор упомянутого контура с использованием способа по любому из пп.1-9, сравнивают упомянутый запросный дескриптор с каждым дескриптором для запомненных объектов с помощью процедуры сопоставления, использующей значения МПК и дополнительные параметры для получения меры подобия, и выбирают и отображают по меньшей мере один результат, соответствующий изображению, содержащему объект, для которого сравнение указывает степень подобия между запросом и упомянутым объектом.
13. Способ по п.12, в котором мера подобия основана на М, где М=a·GP-S+CSS-S, где GP-S есть мера подобия между дополнительными параметрами контуров сравниваемых объектов, CSS-S есть мера подобия между значениями МПК для контуров сравниваемых объектов, а а есть постоянная.
14. Способ по п.13, в котором а зависит от числа и высоты пиков МПК.
15. Способ по п.13 или 14, в котором а=1, когда нет пиков МПК, связанных с каким-либо контуром, и а=0, когда по меньшей мере один контур имеет пик МПК.
16. Компьютерная система, запрограммированная работать согласно способу, согласно любому одному из пп.1-15.
17. Считываемый компьютером носитель записи, хранящий этапы выполнимого на компьютере процесса для воплощения способа согласно любому одному из пп.1-15.
RU2001110113/09A 1999-07-15 2000-07-12 Способ, устройство, компьютерная программа, компьютерная система и считываемое компьютером запоминающее устройство для представления и поиска объекта в изображении RU2220452C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9916684A GB2352076B (en) 1999-07-15 1999-07-15 Method and apparatus for representing and searching for an object in an image
GB9916684.5 1999-07-15

Publications (2)

Publication Number Publication Date
RU2001110113A RU2001110113A (ru) 2003-04-20
RU2220452C2 true RU2220452C2 (ru) 2003-12-27

Family

ID=10857347

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2001110113/09A RU2220452C2 (ru) 1999-07-15 2000-07-12 Способ, устройство, компьютерная программа, компьютерная система и считываемое компьютером запоминающее устройство для представления и поиска объекта в изображении

Country Status (11)

Country Link
US (4) US7613342B1 (ru)
EP (4) EP2128796B1 (ru)
JP (2) JP4727879B2 (ru)
KR (4) KR100626261B1 (ru)
CN (4) CN101609468A (ru)
AT (1) ATE381740T1 (ru)
BR (1) BR0006938B1 (ru)
DE (2) DE60043171D1 (ru)
GB (1) GB2352076B (ru)
RU (1) RU2220452C2 (ru)
WO (1) WO2001006457A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2538938C2 (ru) * 2013-04-11 2015-01-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) Способ формирования двумерного изображения биосигнала и его анализа
RU2661795C2 (ru) * 2012-07-09 2018-07-19 Сисвел Текнолоджи С. Р. Л. Способ преобразования дескриптора изображения на основе гистограммы градиентов и соответствующее устройство обработки изображений

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2352076B (en) * 1999-07-15 2003-12-17 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US6625607B1 (en) 1999-07-22 2003-09-23 Parametric Technology Corporation Method of comparing parts
GB2384095B (en) * 2001-12-10 2004-04-28 Cybula Ltd Image recognition
JP4477468B2 (ja) * 2004-10-15 2010-06-09 富士通株式会社 組み立て図面の装置部品イメージ検索装置
US8281281B1 (en) * 2006-06-07 2012-10-02 Pixar Setting level of detail transition points
US8031947B2 (en) * 2007-04-03 2011-10-04 Jacobsen Kenneth P Method and system for rapid matching of video streams
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
KR101033366B1 (ko) * 2009-09-17 2011-05-09 고려대학교 산학협력단 효과적인 3차원 객체 인식을 위한 외형 기반 인덱스 구축 및 검색 방법
KR101032533B1 (ko) * 2009-10-14 2011-05-04 중앙대학교 산학협력단 특징값 정제를 통한 모양 기술 장치 및 방법
KR101767269B1 (ko) * 2011-04-25 2017-08-10 한국전자통신연구원 영상 검색 장치 및 방법
US10060749B2 (en) * 2015-02-19 2018-08-28 Here Global B.V. Method and apparatus for creating a clothoid road geometry
CN110737796B (zh) * 2019-10-17 2022-06-10 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
US11941863B2 (en) * 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2170373B (en) * 1984-12-28 1989-03-15 Canon Kk Image processing apparatus
GB9014122D0 (en) * 1990-06-25 1990-08-15 Gersan Ets Shape sorting
US5537494A (en) * 1990-05-29 1996-07-16 Axiom Innovation Limited Video image data encoding and compression system using edge detection and luminance profile matching
US5504318A (en) * 1991-09-13 1996-04-02 Symbol Technologies, Inc. Analog waveform decoder using peak locations
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JPH06309465A (ja) * 1993-04-21 1994-11-04 Nippon Telegr & Teleph Corp <Ntt> 線図形学習認識方法
JP3574170B2 (ja) * 1994-03-17 2004-10-06 富士通株式会社 分散型画像処理装置
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US6014461A (en) * 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US5751853A (en) * 1996-01-02 1998-05-12 Cognex Corporation Locating shapes in two-dimensional space curves
US6005978A (en) * 1996-02-07 1999-12-21 Cognex Corporation Robust search for image features across image sequences exhibiting non-uniform changes in brightness
JPH09289584A (ja) * 1996-02-21 1997-11-04 Canon Inc 画像処理方法及び装置
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
JPH1055447A (ja) 1996-05-21 1998-02-24 Monorisu:Kk オブジェクト認識方法およびその方法を用いた装置
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
JP3815704B2 (ja) * 1997-10-28 2006-08-30 株式会社リコー 図形分類処理方法、図形検索処理方法、図形分類システム、図形検索システム、図形分類用特徴抽出処理方法、図形分類用表作成処理方法、情報記録媒体、図形間の類似度又は相異度の評価処理方法、図形正規化処理方法、及び、図形間対応付け処理方法
US6029173A (en) * 1997-11-26 2000-02-22 Navigation Technologies Corporation Method and system for representation and use of shape information in geographic databases
US6714679B1 (en) * 1998-02-05 2004-03-30 Cognex Corporation Boundary analyzer
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
KR100301113B1 (ko) * 1998-08-05 2001-09-06 오길록 윤곽선 추적에 의한 동영상 객체 분할 방법
US6256409B1 (en) * 1998-10-19 2001-07-03 Sony Corporation Method for determining a correlation between images using multi-element image descriptors
JP2000187731A (ja) * 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100671098B1 (ko) * 1999-02-01 2007-01-17 주식회사 팬택앤큐리텔 모양정보를 이용한 멀티미디어 데이터의 검색 방법 및 장치
GB2375212B (en) * 1999-04-29 2003-06-11 Mitsubishi Electric Inf Tech Method and apparatus for searching for an object using shape
US6307964B1 (en) * 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
US6400846B1 (en) * 1999-06-04 2002-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to search for object surfaces
GB2391099B (en) * 1999-07-05 2004-06-16 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
GB2352076B (en) * 1999-07-15 2003-12-17 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US6941323B1 (en) * 1999-08-09 2005-09-06 Almen Laboratories, Inc. System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images
JP3316758B2 (ja) * 1999-12-13 2002-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーション モルフィング処理装置、記憶媒体、および動画作成装置
JP4570207B2 (ja) * 2000-06-12 2010-10-27 株式会社富士通長野システムエンジニアリング ３次元モデル解析装置および記録媒体
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
KR100370220B1 (ko) * 2000-12-27 2003-02-12 삼성전자 주식회사 직선 기반의 영상 정합 방법
US7616818B2 (en) * 2003-02-19 2009-11-10 Agfa Healthcare Method of determining the orientation of an image
KR20060011828A (ko) * 2003-04-03 2006-02-03 더블린 시티 유니버시티 멀티미디어 데이터를 인덱싱 및 검색하기 위한 형상 매칭방법
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7868900B2 (en) * 2004-05-12 2011-01-11 General Electric Company Methods for suppression of items and areas of interest during visualization
US20050276443A1 (en) * 2004-05-28 2005-12-15 Slamani Mohamed A Method and apparatus for recognizing an object within an image
DE102005049017B4 (de) * 2005-10-11 2010-09-23 Carl Zeiss Imaging Solutions Gmbh Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
US8745162B2 (en) * 2006-08-22 2014-06-03 Yahoo! Inc. Method and system for presenting information with multiple views

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2661795C2 (ru) * 2012-07-09 2018-07-19 Сисвел Текнолоджи С. Р. Л. Способ преобразования дескриптора изображения на основе гистограммы градиентов и соответствующее устройство обработки изображений
US10713523B2 (en) 2012-07-09 2020-07-14 New Luck Global Limited Method for transforming an image descriptor based on a gradient histogram and relative image processing apparatus
RU2538938C2 (ru) * 2013-04-11 2015-01-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Юго-Западный государственный университет" (ЮЗГУ) Способ формирования двумерного изображения биосигнала и его анализа

Also Published As

Publication number Publication date
CN1317126A (zh) 2001-10-10
KR20030086321A (ko) 2003-11-07
GB2352076A (en) 2001-01-17
CN100520825C (zh) 2009-07-29
CN101609469A (zh) 2009-12-23
BR0006938B1 (pt) 2013-05-07
US7574049B2 (en) 2009-08-11
CN101609468A (zh) 2009-12-23
DE60037497D1 (de) 2008-01-31
EP1115088B1 (en) 2007-12-19
KR100626261B1 (ko) 2006-09-21
EP1901204B1 (en) 2009-10-14
EP1115088A1 (en) 2001-07-11
JP4727879B2 (ja) 2011-07-20
KR20060054492A (ko) 2006-05-22
DE60037497T2 (de) 2008-12-04
JP2011100465A (ja) 2011-05-19
US20080063312A1 (en) 2008-03-13
BR0006938A (pt) 2001-06-26
US20080065613A1 (en) 2008-03-13
US20080063311A1 (en) 2008-03-13
ATE381740T1 (de) 2008-01-15
KR100626260B1 (ko) 2006-09-21
EP1115088A4 (en) 2003-07-16
KR20010075098A (ko) 2001-08-09
GB2352076B (en) 2003-12-17
GB9916684D0 (en) 1999-09-15
US7646920B2 (en) 2010-01-12
EP1901204A1 (en) 2008-03-19
KR100804326B1 (ko) 2008-02-15
EP2128796B1 (en) 2012-12-05
US7664327B2 (en) 2010-02-16
DE60043171D1 (de) 2009-11-26
EP2259209A1 (en) 2010-12-08
EP2128796A1 (en) 2009-12-02
US7613342B1 (en) 2009-11-03
WO2001006457A1 (fr) 2001-01-25
CN101609469B (zh) 2011-10-05
KR100436532B1 (ko) 2004-06-22
CN101609467A (zh) 2009-12-23
KR20030088465A (ko) 2003-11-19

Similar Documents

Publication Publication Date Title
US7574049B2 (en) Method, apparatus, computer program, computer system and computer-readable storage for representing and searching for an object in an image
JP5236719B2 (ja) 画像中に現れるオブジェクトを表示または検索する方法、その装置、コンピュータ・システム、及びコンピュータ・プログラム
US6882756B1 (en) Method and device for displaying or searching for object in image and computer-readable storage medium
MXPA01002841A (en) Method and device for displaying or searching for object in image and computer-readable storage medium

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20190715