RU2489752C2 - Способ сегментации изображений - Google Patents

Способ сегментации изображений Download PDF

Info

Publication number
RU2489752C2
RU2489752C2 RU2011134204/07A RU2011134204A RU2489752C2 RU 2489752 C2 RU2489752 C2 RU 2489752C2 RU 2011134204/07 A RU2011134204/07 A RU 2011134204/07A RU 2011134204 A RU2011134204 A RU 2011134204A RU 2489752 C2 RU2489752 C2 RU 2489752C2
Authority
RU
Russia
Prior art keywords
segmentation
image
price
value
regions
Prior art date
Application number
RU2011134204/07A
Other languages
English (en)
Other versions
RU2011134204A (ru
Inventor
Дмитрий Валерьевич Шмунк
Original Assignee
Дмитрий Валерьевич Шмунк
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Дмитрий Валерьевич Шмунк filed Critical Дмитрий Валерьевич Шмунк
Priority to RU2011134204/07A priority Critical patent/RU2489752C2/ru
Priority to KR1020147006768A priority patent/KR101807352B1/ko
Priority to US14/238,871 priority patent/US9076216B2/en
Priority to JP2014525964A priority patent/JP5973572B2/ja
Priority to DE112012003377.9T priority patent/DE112012003377T5/de
Priority to CN201280039682.6A priority patent/CN103733207B/zh
Priority to PCT/RU2012/000478 priority patent/WO2013025123A1/ru
Publication of RU2011134204A publication Critical patent/RU2011134204A/ru
Application granted granted Critical
Publication of RU2489752C2 publication Critical patent/RU2489752C2/ru
Priority to IN1819DEN2014 priority patent/IN2014DN01819A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области получения фото- и видеоизображений, в частности, с помощью мобильных устройств со встроенными фото- и видеокамерами и может быть использовано, например, для улучшения качества результирующего изображения, полученного из нескольких исходных снимков. Техническим результатом является оптимальная сегментация изображения, при которой достигается глобальный минимум суммы ценовых функций швов и данных изображения (основанных на цвете, яркости, и др. параметрах); близость полученной сегментации к абсолютно-оптимальной при отсутствии необходимости в дополнительных ресурсах памяти мобильного устройства, устойчивости к шумам в изображении и быстродействии. Результат достигается тем, что сегментацию осуществляют в один этап, от более грубой к более детализированной, а поиск производят на N-количестве уровней детализации исходного изображения, на каждом уровне детализации изображение разделяют на области, для каждой области путем n-количества последовательных итераций назначают единое значение сегментации, подсчитывают значение ценовой функции швов на границах областей при разных вариантах сегментации изображения и для каждой области выбирают значение сегментации, приводящее к минимизации суммы ценовых функций швов и данных. 2 з.п. ф-лы, 8 ил.

Description

Изобретение относится к области получения фото- и видеоизображений, в частности, с помощью мобильных устройств со встроенными фото- и видеокамерами и может быть использовано, например, для улучшения качества результирующего изображения, полученного из нескольких исходных снимков.
Так как экспозиция исходных кадров (снимков), как правило, происходит в разные моменты времени, то возникают несоответствия в изображении сцены между различными снимками, выражающиеся в различном расположении нестационарных (движущихся) объектов, изменении условий освещения сцены (например, в результате изменений в облачности), что влияет на качество результирующего изображения и выражается в:
- двоении контуров движущихся объектов, а, в некоторых случаях, и в удвоении числа движущихся объектов на изображении;
- появлении полупрозрачности у движущихся объектов;
- выраженной неравномерности яркости или цветового баланса различных областей изображения.
В настоящее время одним из направлений повышения качества снимков при помощи мобильных устройств является съемка нескольких кадров в короткий промежуток времени с последующим их объединением - сшивкой нескольких изображений в одно результирующее (получение панорамного снимка, снимка с повышенным динамическим диапазоном, понижение уровня шума, и т.д.). При этом сшивка должна производиться таким образом, чтобы шов проходил по траектории наименьших различий в соседних исходных изображениях и обходил движущиеся объекты. Распространенным способом определения оптимальной траектории шва являются различные способы сегментации изображений [Александр Вежневец, Ольга Баринова. Методы сегментации изображений: автоматическая сегментация. Компьютерная графика и мультимедиа. Выпуск №4(4)/2006. http://cgm.computergraphics.ru/content/view/147].
Сегментация и сшивка изображений наиболее востребована в следующих случаях получения одного изображения из нескольких исходных. Это:
- создание панорамного снимка из нескольких кадров, каждый из которых изображает лишь часть панорамы;
- создание снимка с высоким динамическим диапазоном из нескольких исходных снимков с низким динамическим диапазоном.
Известны различные способы улучшения качества изображений с применением их сегментации.
Способ кластеризации [Bishop, С.М. Neural Networks for Pattern Recognition. Oxford, England: Oxford University Press, 1995], при котором задают отображение точек изображения в некоторое пространство признаков и вводят метрику (меру близости) на этом пространстве признаков.
Недостатком этого способа является то, что пространственное расположение точек либо не учитывается совсем, либо учитывается косвенно (например, используя координаты точки как один из признаков). Поэтому обычно после кластеризации точек изображения проводят процедуру выделения связных компонент. Кроме того, методы кластеризации плохо работают на зашумленных изображениях: часто теряют отдельные точки регионов, образуется много мелких регионов, и. т.п.
Способ выращивания регионов [A. Tremeau and n. Borel, "A Region growing and erging Algorithm to color segmentation," Pattern Recognition, 1997]; [Y. Kanai, "Image Segmentation Using Intensity and Color Information," SPIE-Visual Communications and Image Processing'98]; [B. Cramariuc, М. Gabbouj, and J. Astola, "Clustering Based Region Growing Algorithm for Color Imag Segmentation," Int. Conf. on Digital signal Processing, 1997]; [Y. Deng, B. S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999], при котором учитывают пространственное расположение точек напрямую. Вначале, по некоторому правилу, выбирают центры регионов, к которым поэтапно присоединяют соседние точки, удовлетворяющие некоторому критерию. Процесс выращивания регионов останавливается, когда ни одна точка изображения не может быть присоединена ни к одному региону. Применяются разные критерии, на основании которых точка присоединяется или не присоединяется к региону: близость точки к центру региона; близость к соседней точке, присоединенной к региону на предыдущем шаге; близость по некоторой статистике региона; стоимость кратчайшего пути от точки до центра региона, и т.п. В основном процедура выращивания региона используется для получения отдельных регионов, однако, применяя эту процедуру последовательно или одновременно для нескольких регионов, можно получить разбиение всего изображения.
Недостатком этого способа является неприменимость к задачам сшивки изображений, он применим лишь в случаях одного исходного изображения и требует значительных ресурсов памяти мобильных устройств, кроме того, недостаточно высока скорость обработки данных.
Способы дробления-слияния [A. Tremeau and n. Borel, "A Region growing and Merging Algorithm to color segmentation," Pattern Recognition, 1997];[В. Cramariuc, M. Gabbouj, and J. Astola, "Clustering Based Region Growing Algorithm for Color Imag Segmentation," Int. Conf. on Digital signal Processing, 1997]; [H. Digabel and C. Lantujoul, "Iterative Algorithms," Proc. of the 2nd European Symp. on Quantitative Analysis of Microstructures in Material Science, Biology and / Medicine, 1977]; [M. Celenk, "Hierarchical Color Clustering for Segmentation of Textured Images," Proc. of the 29th Southeastern Symposium on system Theory, 1997]; [S. Ji and H.W. Park, "Image Segmentation of Color Image Based on Region Coherency," Proc. of ICIP'98];[L. Shafarenko, M. Petrov, and J. Kittler, "Automatic Watershed segmentation of Randomly Textured Color Images," IEEE Trans. on Image Processing, 1997]; [M. Barni, S. Rossi, and A. Mecocci, "A Fuzzy Expert System for Low Level Image Segmentation," EUSIPCO-96], состоящие из двух основных этапов: дробления и слияния. Дробление начинается с некоторого разбиения изображения, не обязательно на однородные области. Процесс дробления областей происходит до тех пор, пока не будет получено разбиение изображения (пересегментация), удовлетворяющее свойству однородности сегментов. Затем происходит объединение схожих соседних сегментов до тех пор, пока не будет получено разбиение изображения на однородные области максимального размера.
Недостатком этих способов является низкая скорость обработки данных, необходимость увеличения ресурсов памяти, применимость только в случае одного исходного изображения.
Способ моделирования Марковским полем [G. R. Cross and А. К. Jain, "Markov Random Field Texture Models," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1983]; [S. German and D. German, "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1984]; [R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen, C. Rother «A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol.30, no.6, June 2008], который основан на предположении, что цвет каждой точки изображения зависит от цветов некоторого множества соседних точек. Предложено обобщение модели изображения, также возможно обобщение на текстурную сегментацию [Y. Deng, В. S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999].
Недостатком этого способа является сложность в реализации.
Способы, основанные на операторах выделения краев [М. Jacob, M. Unser, "Design of Steerable Filters for Feature Detection Using Canny-Like Criteria," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26, no.8, pp.1007-1019]; [Edge Detection Using steerable Filters and CN1M, Atilla Ozmen and Emir Tufan Akman, 2002], при которых задача сегментации формулируется как поиск границ регионов и хорошо решается для полутоновых изображений. Полутоновое изображение рассматривается как функция двух переменных, и предполагается, что границы регионов соответствуют максимумам градиента этой функции. Для их поиска применяется аппарат дифференциальной геометрии. Для повышения устойчивости к шуму, перед применением фильтрации, изображение обычно размывают. Благодаря коммутативности оператора Лапласа и Гауссова фильтра, можно одновременно осуществлять размытие и поиск границ.
Недостатком такого способа является неустойчивость к шуму. Кроме того, поскольку понятие границы свое для каждой задачи, то и каждый раз при применении способов поиска границ требуется дополнительно выбирать способ доработки результатов фильтрации.
Оптимизационные способы [Y. Deng, В.S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999], при которых задачу разбиения изображения на однородные области сводят к задаче оптимизации. Для этого задачу сегментации формулируют как задачу поиска разбиения изображения, обладающего определенными свойствами, затем вводится функционал, который отражает степень соответствия полученной сегментации предъявляемым требованиям. Например, вводится функционал качества сегментации, использующий распределение цветов на изображении.
Недостатки - трудоемкость способа, высокие требования к ресурсам мобильных устройств.
Общими недостатками всех этих способов являются:
- неприменимость полученной сегментации к задачам сшивки ввиду того, что способы могут работать лишь на одном исходном изображении (способы выращивания регионов, дробления-слияния, выделения краев);
- неприемлемые для мобильных устройств требования к ресурсам системы - объему памяти и скорости работы вычислительного блока (способы кластеризации, выращивания регионов, дробления-слияния, моделирования Марковским полем, способ теории графов, оптимизационные подходы),
- плохая работа назашумленных изображениях (способы кластеризации, выделения краев),
- отсутствие учета пространственного расположения точек (кластеризация).
Наиболее близким к заявляемому решению является способ минимизации с помощью нарезки графа [US Patent 6,744,923. «System and method for fast approximate energy minimization via graph cuts»]; [R.Szeliski, R.Zabih, D.Scharstein, O.Veksler, V.Kolmogorov, A.Agarwala, M.Tappen, C.Rother « A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol. 30, no.6, June 2008]. Изображение представляется в виде взвешенного графа, с вершинами в точках изображения. Вес ребра графа отражает сходство точек (например, расстояние между точками по некоторой метрике). Разбиение изображения моделируется разрезами графа. В способах теории графов вводится функционал «стоимости» разреза, отражающий качество полученной сегментации. Так, задача разбиения изображения на однородные области сводится к оптимизационной задаче поиска разреза минимальной стоимости на графе. Такой подход позволяет, помимо однородности цвета и текстуры сегментов, управлять также формой сегментов, их размером, сложностью границ и т.п. Для поиска разреза минимальной стоимости применяются различные методы: жадные алгоритмы (на каждом шаге выбирается такое ребро, чтобы суммарная стоимость разреза была минимальной), способы динамического программирования (гарантируется, что, выбирая на каждом шаге оптимальное ребро, получат в итоге оптимальный путь), и т.п.
Недостатком данного способа является большое количество вычислений, требуемых для получения решения, что снижает быстродействие, а также необходимость выделения большого объема дополнительной памяти для поиска оптимального разреза.
Перед автором стояла задача разработки такого способа сегментации изображений, который отвечал бы следующим требованиям:
- быстродействие;
- оптимальная сегментация изображения, т.е. такая, при которой достигается глобальный минимум суммы ценовой функции швов и ценовой функции данных изображения (основанных на цвете, яркости, и др. параметрах); близость полученной сегментации к абсолютно-оптимальному разбиению, аналогичную лучшим известным способам;
- отсутствие необходимости в дополнительных ресурсах памяти мобильного устройства;
- устойчивость к шумам в изображении.
Сущность заявляемого технического решения заключается в том, что в известном способе сегментации изображений путем поиска минимума ценовых функций, поиск производят на N-количестве уровней детализации изображения, от более грубой к более детализированной, при этом на каждом уровне детализации изображение разделяют на области; для каждой области путем n-количества последовательных итераций назначают единое значение сегментации, затем подсчитывают значение ценовой функции швов на границах областей при разных вариантах сегментации изображения и для каждой области выбирают значение сегментации, приводящее к минимизации суммы ценовых функций швов и данных. В тех случаях, когда необходимо исключить влияние швов на результат сегментации (например, при необходимости получения одинаковой сегментации вне зависимости от ориентации изображения), поиск минимума на каждой итерации производят путем обработки областей изображения, не имеющих общих границ, а выбор областей для обработки изменяют при каждой последующей итерации. Чтобы исключить остановку (застревание) поиска глобального минимума в одном из локальных минимумов, созданных высокой стоимостью шва вокруг какой-либо локальной области вследствие шумов в изображении, несколько исходных итераций на каждом уровне детализации проводят с уменьшением вклада функции швов в сумму ценовых функций. Это дает возможность швам перескакивать (протекать) сквозь пики стоимости.
На фиг.1 приведен пример исходного изображения, цветовое пространство которого будет оптимально сегментировано на 12 цветов.
На фиг.2 приведен пример исходной сегментации для самой грубой детализации, исходя из ценовой функции данных. Ценовая функция швов принята равной нулю.
На фиг.3 изображено состояние сегментации после первой итерации. Прямоугольники с закругленными вершинами - обработанные на данной итерации. Горизонтальной штриховкой отмечены квадраты с измененной на данной итерации сегментацией, вертикальной штриховкой - квадраты, где сегментация была сохранена.
На фиг.4 изображено состояние сегментации после второй итерации.
На фиг.5 показаны окончательные результаты сегментирования на каждом из уровней детализации. В нижнем правом углу изображено найденное результирующее решение сегментации.
На фиг.6 представлены графики схождения различных способов [R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen, C. Rother "A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors" IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 30, no. 6, June 2008] к глобальному минимуму на задаче сшивки панорамы. Вертикальная ось - отклонение от глобального минимума (в %), горизонтальная ось - логарифмическая ось времени (в секундах). На графиках (фиг.6; фиг.7; фиг.8):
Figure 00000001
- способ моделирования Марковским полем ′Iterated Conditional Modes′;
Figure 00000002
- варианты способа нарезки графа ′Loopy Belief Propagation′;
Figure 00000003
- аналогичный способу ′Loopy Belief Propagation′ способ ′Tree-Reweighted Message Passing′;
Figure 00000004
- предсказание нижней границы глобального минимума;
Figure 00000005
- различные варианты исполнения способа нарезки графа [2] (прототип);
Figure 00000006
- предлагаемый способ (окружностью отмечено полное время обработки и достигнутое отклонение от глобального минимума).
На фиг.7 и фиг.8 представлены укрупненные варианты графика, изображенного на фиг.6 с увеличенным масштабом отклонения от глобального минимума.
Заявляемый способ осуществляют следующим образом: исходное изображение подвергают N-количеству операций детализации (произвольной разбивке на области, близкие, например, по размерам). На каждом уровне детализации производят n-количество итераций до тех пор, пока остаются изменения в сегментации областей, приводящие к уменьшению общего значения функций данных и швов, т.е. для определения близости конкретной сегментации к оптимальной. Либо до тех пор, пока не достигнуто максимально допустимое количество итераций для данной детализации, которое ограничено общим временем обработки на мобильном устройстве. При этом используют две ценовые функции:
- Ценовая функция данных, которая указывает, насколько оптимальным является определение конкретного пикселя изображения в один из сегментов. Например, абсолютная величина разности между числовым значением цвета пикселя и цвета сегмента.
- Ценовая функция шва - указывает, насколько оптимальным является прохождение границы сегментов в данном месте.
На каждом из уровней детализации швы могут проходить лишь вдоль границ областей. Форма областей остается неизменной для каждого из уровней детализации. Так как корректирующие итерации, следующие за первичной, допускают перескок (перетекание) через локальные минимумы ценовых функций, а результирующая сегментация находится вблизи глобального минимума, то такое ограничение на прохождение швов является допустимым.
В качестве первичной используется сегментация, полученная путем разбиения изображения, исходя лишь из значения ценовой функции данных, без учета цены швов. При такой сегментации каждой области пикселей изображения присваивается значение сегмента, дающее минимальную цену для всех пикселей данной области. Итерации с первичной (грубой) детализацией производятся на обобщенных значениях областей пикселей. При каждой последующей итерации находится более оптимальная, по сравнению с предыдущей, сегментация.
При каждой итерации над каждой из областей пикселей производят следующие действия:
- подсчитывают локальное значение ценовой функции, включая цену данных и цену швов, окружающих данную область;
- ценовую функцию рассчитывают для всех возможных значений сегментации для данной области;
- в случае, если первоначальный выбор сегментации для данной области не оптимален
(значение функции выше, чем для какой-либо другой сегментации) - значение для данной области заменяют на оптимальное (с минимальным значением ценовых функций).
Области обрабатывают последовательно, при этом значение сегментации в конкретной области влияет на цену шва, проходящего по границе данной области, что приводит к зависимости результирующей сегментации от порядка обработки областей. В тех случаях, когда необходимо исключить влияние швов на результат сегментации (например, при необходимости получения одинаковой сегментации вне зависимости от ориентации изображения), поиск минимума на каждом проходе итерации производят путем обработки областей изображения, не имеющих общих границ, а выбор областей для обработки изменяют при каждой последующей итерации.
Чтобы исключить остановку (застревание) поиска глобального минимума в одном из локальных минимумов, созданных высокой стоимостью шва вокруг какой-либо локальной области, вследствие шумов в изображении, несколько исходных итераций на каждом уровне детализации проводят с уменьшением вклада функции швов в сумму ценовых функций. Это дает возможность швам перескакивать (протекать) сквозь пики стоимости. Последующие итерации производят с обычным уровнем вклада функции швов.
На фиг.1 - фиг.5 проиллюстрирован конкретный пример реализации заявляемого способа, когда исходное изображение разбивают на квадраты, при этом швы могут проходить лишь вдоль границ квадратов. Пояснения приведены для сегментации цветового пространства одного исходного изображения. При сегментации нескольких изображений изменятся лишь ценовые функции данных и швов, т.к. вместо использования в качестве параметров функций цветовых значений пикселей изображения будут использованы другие, отражающие меру близости разных изображений (например, разница яркостей).
При каждой итерации над каждым из квадратов производят следующие действия:
- подсчитывают локальное значение ценовой функции, включая цену данных и цену швов, окружающих данный квадрат;
- ценовую функцию рассчитывают для всех возможных значений сегментации для данного квадрата;
- в случае, если первоначальный выбор сегментации для данного квадрата не оптимален (значение функции выше, чем для какой-либо другой сегментации) - значение для данного квадрата заменяют на оптимальное (с минимальным значением ценовых функций).
Четные и нечетные итерации производят в шахматном порядке. При этом результат обработки на отдельной итерации не зависит от направления прохождения по изображению. Таким образом, на каждый шов (находящийся на стороне квадрата) влияет лишь один квадрат, и никакой другой соседний из данной итерации.
С целью исключения нерационально длинных границ сегментов, в качестве ценовой функции шва для конкретного пикселя используют абсолютную разность числовых значений цвета соседних пикселей плюс некоторая положительная константа. Константа в данном случае повышает значение ценовой функции шва при увеличении его общей длины.
С целью исключения остановки (застревания) поиска глобального минимума в одном из локальных минимумов, первые три итерации на каждом уровне детализации производят с уменьшением цены шовной функции и коэффициентами 0.6; 0.75; 0.9 соответственно.
Скорость обработки может быть дополнительно увеличена за счет сохранения текущего приближения к оптимальной сегментации и сегментации, обусловленной лишь ценовой функцией данных на каждой итерации. Размер этих данных равен удвоенному числу пикселей изображения. Дополнительная память необходима лишь для хранения исходных данных, необходимых для вычисления ценовых функций данных и швов, либо, при необходимости, предвычисленных значений данных функций, т.к. они остаются неизменными для каждого пикселя в течение всего времени обработки.
Заявляемый способ обладает следующими преимуществами по сравнению с существующими в настоящее время аналогами:
1. Быстродействие. Общее время обработки на распространенных в данное время мобильных устройствах (выпуска 2011 г.) - в пределах одной секунды.
2. Качество сегментации (близость к абсолютно-оптимальной сегментации) аналогично лучшим известным способам.
3. Весьма низкие требования к ресурсам памяти при реализации способа.
4. Способ устойчив к шумам в изображении, т.к. отсутствует остановка (застревание) в локальных минимумах.
СПИСОК ЛИТЕРАТУРЫ
[1] Александр Вежневец, Ольга Баринова. Методы сегментации изображений: автоматическая сегментация. Компьютерная графика и мультимедиа. Выпуск №4(4)/2006. http://cgm.computergraphics.ru/content/view/147
[2] US Patent 6,744,923. «System and method for fast approximate energy minimization via graph cuts».
[3] Bishop, С.М. Neural Networks for Pattern Recognition. Oxford, England: Oxford University Press, 1995
[4] A. Tremeau and n. Borel, "A Region growing and Merging Algorithm to color segmentation," Pattern Recognition, 1997
[5] Y. Kanai, "Image Segmentation Using Intensity and Color Information," SPIE-Visual Communications and Image Processing'98
[6] В. Cramariuc, М. Gabbouj, and J. Astola, "Clustering Based Region Growing Algorithm for Color Imag Segmentation," Int. Conf. on Digital signal Processing, 1997
[7] Y. Deng, B. S. Manjunath, and H, Shin, "Color Image Segmentation", CVPR 1999
[8] H. Digabel and C. Lantujoul, "Iterative Algorithms," Proc. of the 2nd European Symp. on Quantitative Analysis ofMicrostructures in Material Science, Biology and Medicine, 1977
[9] М. Celenk, "Hierarchical Color Clustering for Segmentation of Textured Images," Proc. of the 29th Southeastern Symposium on system Theory, 1997
[10] S. Ji and H. W. Park, "Image Segmentation of Color Image Based on Region Coherency," Proc. of ICIP′98
[11] L. Shafarenko, М. Petrov, and J. Kittler, "Automatic Watershed segmentation of Randomly Textured Color Images," IEEE Trans. on Image Processing, 1997
[12] М. Barni, S. Rossi, and A. Mecocci, "A Fuzzy Expert System for Low Level Image Segmentation," EUSIPCO-96
[13] G. R. Cross and A. K. Jain, "Markov Random Field Texture Models," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1983
[14] S. German and D. German, "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images," IEEE Trans. on Pattern Analysis and Machine Intelligence, 1984
[15] М. Jacob, М. Unser, "Design of Steerable Filters for Feature Detection Using Canny-Like Criteria," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 8, pp.1007-1019
[16] Edge Detection Using steerable Filters and CNN, Atilla Ozmen and Emir Tufan Akman, 2002
[17] Normalized Cuts and Image Segmentation -J. Shi, J. Malik(1997) University of California at Berkeley
[18] Image Segmentation by Nested Cuts (2000) - Olga Veksler, NEC Research Institute
[19] R. Szeliski, R. Zabih, D. Scharstein, O. Veksler, V. Kolmogorov, A. Agarwala, M. Tappen, C. Rother «A Comparative Study of Energy Minimization Methods for Markov Random Fields with Smoothness-Based Priors» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol.30, no.6, June 2008.

Claims (3)

1. Способ сегментации изображений путем поиска минимума ценовых функций, отличающийся тем, что сегментацию осуществляют в один этап, от более грубой к более детализированной, а поиск производят на N-количестве уровней детализации исходного изображения, на каждом уровне детализации изображение разделяют на области, для каждой области путем n-количества последовательных итераций назначают единое значение сегментации, подсчитывают значение ценовой функции швов на границах областей при разных вариантах сегментации изображения и для каждой области выбирают значение сегментации, приводящее к минимизации суммы ценовых функций швов и данных.
2. Способ по п.1, отличающийся тем, что поиск минимума при каждой итерации производят путем обработки областей изображения, не имеющих общих границ, при этом выбор областей для обработки изменяют при каждой итерации.
3. Способ по п.1, отличающийся тем, что вклад ценовой функции швов в общую сумму ценовых функций швов и данных уменьшают на подмножестве итераций.
RU2011134204/07A 2011-08-15 2011-08-15 Способ сегментации изображений RU2489752C2 (ru)

Priority Applications (8)

Application Number Priority Date Filing Date Title
RU2011134204/07A RU2489752C2 (ru) 2011-08-15 2011-08-15 Способ сегментации изображений
KR1020147006768A KR101807352B1 (ko) 2011-08-15 2012-06-19 이미지 분할 방법
US14/238,871 US9076216B2 (en) 2011-08-15 2012-06-19 Method of image segmentation
JP2014525964A JP5973572B2 (ja) 2011-08-15 2012-06-19 映像セグメンテーション方法
DE112012003377.9T DE112012003377T5 (de) 2011-08-15 2012-06-19 Bildsegmentierungsverfahren
CN201280039682.6A CN103733207B (zh) 2011-08-15 2012-06-19 图像分割方法
PCT/RU2012/000478 WO2013025123A1 (ru) 2011-08-15 2012-06-19 Способ сегментации изображений
IN1819DEN2014 IN2014DN01819A (ru) 2011-08-15 2014-03-10

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2011134204/07A RU2489752C2 (ru) 2011-08-15 2011-08-15 Способ сегментации изображений

Publications (2)

Publication Number Publication Date
RU2011134204A RU2011134204A (ru) 2013-02-20
RU2489752C2 true RU2489752C2 (ru) 2013-08-10

Family

ID=47715296

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011134204/07A RU2489752C2 (ru) 2011-08-15 2011-08-15 Способ сегментации изображений

Country Status (8)

Country Link
US (1) US9076216B2 (ru)
JP (1) JP5973572B2 (ru)
KR (1) KR101807352B1 (ru)
CN (1) CN103733207B (ru)
DE (1) DE112012003377T5 (ru)
IN (1) IN2014DN01819A (ru)
RU (1) RU2489752C2 (ru)
WO (1) WO2013025123A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2550534C1 (ru) * 2014-07-15 2015-05-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рыбинский государственный авиационный технический университет имени П.А. Соловьева" Способ автоматического определения толщины слоя с нечеткими границами по изображению

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2489752C2 (ru) * 2011-08-15 2013-08-10 Дмитрий Валерьевич Шмунк Способ сегментации изображений
US9420121B2 (en) * 2012-09-28 2016-08-16 Interactive Memories Inc. Method for tracking theme-based digital assets for clients engaged in image-based project creation through an electronic interface
CN103996189B (zh) * 2014-05-05 2017-10-03 小米科技有限责任公司 图像分割方法及装置
US9633444B2 (en) 2014-05-05 2017-04-25 Xiaomi Inc. Method and device for image segmentation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2004121993A (ru) * 2001-12-18 2006-01-20 Бурбэй Лимитед (Gb) Сегментация изображений с использщованием метода водораздела
US7349922B2 (en) * 2001-11-14 2008-03-25 Yeda Research And Development Co. Ltd. Method and apparatus for data clustering including segmentation and boundary detection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787194A (en) * 1994-11-08 1998-07-28 International Business Machines Corporation System and method for image processing using segmentation of images and classification and merging of image segments using a cost function
US6078688A (en) * 1996-08-23 2000-06-20 Nec Research Institute, Inc. Method for image segmentation by minimizing the ratio between the exterior boundary cost and the cost of the enclosed region
US6058210A (en) * 1997-09-15 2000-05-02 Xerox Corporation Using encoding cost data for segmentation of compressed image sequences
US6744923B1 (en) 1999-08-30 2004-06-01 Cornell Research Foundation, Inc. System and method for fast approximate energy minimization via graph cuts
KR100378351B1 (ko) * 2000-11-13 2003-03-29 삼성전자주식회사 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치
JP2004258750A (ja) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd 画像の特徴ベクトルのクラスタリング方法および装置
US8428354B2 (en) * 2009-06-23 2013-04-23 Los Alamos National Security, Llc Image segmentation by hierarchial agglomeration of polygons using ecological statistics
US8345974B2 (en) 2009-07-14 2013-01-01 Hewlett-Packard Development Company, L.P. Hierarchical recursive image segmentation
CN102103744A (zh) * 2011-01-28 2011-06-22 武汉大学 基于最小生成树与统计学习理论的图像分割方法
RU2489752C2 (ru) * 2011-08-15 2013-08-10 Дмитрий Валерьевич Шмунк Способ сегментации изображений
EP2637139A1 (en) * 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
US8792013B2 (en) * 2012-04-23 2014-07-29 Qualcomm Technologies, Inc. Method for determining the extent of a foreground object in an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349922B2 (en) * 2001-11-14 2008-03-25 Yeda Research And Development Co. Ltd. Method and apparatus for data clustering including segmentation and boundary detection
RU2004121993A (ru) * 2001-12-18 2006-01-20 Бурбэй Лимитед (Gb) Сегментация изображений с использщованием метода водораздела

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Чочиа П.А. Пирамидальный алгоритм сегментации изображений. Информационные процессы. Т.10, №1, 2010, сс.23-37. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2550534C1 (ru) * 2014-07-15 2015-05-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рыбинский государственный авиационный технический университет имени П.А. Соловьева" Способ автоматического определения толщины слоя с нечеткими границами по изображению

Also Published As

Publication number Publication date
CN103733207A (zh) 2014-04-16
WO2013025123A1 (ru) 2013-02-21
CN103733207B (zh) 2017-08-11
IN2014DN01819A (ru) 2015-05-15
KR101807352B1 (ko) 2017-12-08
US9076216B2 (en) 2015-07-07
KR20140071367A (ko) 2014-06-11
JP2014527671A (ja) 2014-10-16
JP5973572B2 (ja) 2016-08-23
RU2011134204A (ru) 2013-02-20
DE112012003377T5 (de) 2014-04-30
US20140254935A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
Zeng et al. Towards high-resolution salient object detection
Yang et al. Where is my mirror?
Mishra et al. Active segmentation with fixation
Wang et al. Occlusion-aware depth estimation using light-field cameras
Yi et al. Image segmentation: A survey of graph-cut methods
Gracias et al. Fast image blending using watersheds and graph cuts
Peng Parameter selection for graph cut based image segmentation
Lu et al. Salient object detection using concavity context
US8213726B2 (en) Image labeling using multi-scale processing
RU2489752C2 (ru) Способ сегментации изображений
CN110517283A (zh) 姿态跟踪方法、装置及计算机可读存储介质
Boumediene et al. Triangular traffic signs detection based on RSLD algorithm
Qu et al. Stripnet: Towards topology consistent strip structure segmentation
Yamashita et al. Boundary-aware image inpainting with multiple auxiliary cues
CN110046623B (zh) 一种图像特征点提取方法和相机
CN113177956B (zh) 一种面向无人机遥感影像的语义分割方法
US11080861B2 (en) Scene segmentation using model subtraction
Nagahashi et al. Image segmentation using iterated graph cuts based on multi-scale smoothing
Reichenbach et al. Comparison of lane detection algorithms for adas using embedded hardware architectures
CN113343987B (zh) 文本检测处理方法、装置、电子设备及存储介质
Manousis et al. Enabling high-resolution pose estimation in real time using active perception
Kalboussi et al. A spatiotemporal model for video saliency detection
Casas et al. Mutual feedback scheme for face detection and tracking aimed at density estimation in demonstrations
Ji et al. Saliency detection using Multi-layer graph ranking and combined neural networks
Vaudrey et al. Space-time multi-resolution banded graph-cut for fast segmentation

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20151019