RU2630744C2 - Method of detecting periodical textures - Google Patents
Method of detecting periodical textures Download PDFInfo
- Publication number
- RU2630744C2 RU2630744C2 RU2014114218A RU2014114218A RU2630744C2 RU 2630744 C2 RU2630744 C2 RU 2630744C2 RU 2014114218 A RU2014114218 A RU 2014114218A RU 2014114218 A RU2014114218 A RU 2014114218A RU 2630744 C2 RU2630744 C2 RU 2630744C2
- Authority
- RU
- Russia
- Prior art keywords
- textures
- periodically repeating
- power spectrum
- image
- texture
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение относится к области цифрового видео и обработки изображений и, в частности, к способу обнаружения периодических (повторяющихся) текстур.The present invention relates to the field of digital video and image processing and, in particular, to a method for detecting periodic (repeating) textures.
Уровень техникиState of the art
Способы оценки движения, используемые при сжатии, преобразовании частоты кадров, подавлении шума, устранении чересстрочности и преобразовании формата, как правило, основываются на методе сопоставления блоков, в котором для части изображения (как правило, прямоугольного блока) в опорном кадре находят часть такого же размера в целевом кадре таким образом, чтобы обеспечить минимальное различие между пикселями этих частей. Такое соответствие объясняется движением или, иными словами, вектором смещения, выбранным среди нескольких возможных векторов.The motion estimation methods used in compression, frame rate conversion, noise reduction, interlacing and format conversion are generally based on a block matching method in which a portion of the same size is found in a reference frame for a part of an image (usually a rectangular block) in the target frame so as to provide a minimal difference between the pixels of these parts. This correspondence is explained by the motion or, in other words, the displacement vector selected among several possible vectors.
В случае нерегулярных текстур на естественном изображении, поверхность ошибки согласования, построенная для всех возможных смещений, имеет один четкий минимум, что делает возможным применение метода сопоставления блоков для оценки движения. Повторяющиеся текстуры, вне зависимости от того, были ли они синтезированы средствами компьютерной графики или имеют естественное происхождение, имеют поверхность ошибки согласования, построенную для всех возможных смещений, которая имеет несколько минимумов. В этом случае алгоритмы оценки движения на основе сопоставления блоков не способны различить между верными векторами движения и векторами движения, кратными периоду текстуры.In the case of irregular textures in a natural image, the surface of the matching error constructed for all possible offsets has one clear minimum, which makes it possible to use the block matching method to estimate motion. Repeating textures, regardless of whether they were synthesized by computer graphics or have a natural origin, have a matching error surface constructed for all possible offsets, which has several minima. In this case, motion estimation algorithms based on block matching are not able to distinguish between valid motion vectors and motion vectors that are multiples of the texture period.
В US 8243161 B2 предложен способ обнаружения периодических текстур, основанный на вычислении разностей между опорными пикселями и пикселями, отдаленными от опорных на k пикселей для множества возможных расстояний k. Устройство сравнения на основании вычисленных разностей решает, относится ли определенный пиксель к повторяющейся текстуре. Заявлено, что данный способ может определять горизонтальные и вертикальные полосы. Но он не предназначен для определения двухмерных повторяющихся структур.US 8243161 B2 proposes a method for detecting periodic textures based on calculating differences between reference pixels and pixels distant from reference pixels by k for a plurality of possible distances k. The comparison device, based on the calculated differences, decides whether a particular pixel refers to a repeating texture. It is claimed that this method can determine horizontal and vertical stripes. But it is not intended to define two-dimensional repeating structures.
US 8223831 B2 раскрывает способ обнаружения периодических текстур, основанный на вычислении преобразования Фурье для пикселей, находящихся внутри определенного окна. Данный способ включает в себя анализ спектра преобразования Фурье для обнаружения максимума. Цель анализа - установить, указывает ли соответствующий максимум на наличие в изображении периодической текстуры. Поиск максимума осуществляется для горизонтального и вертикального спектров мощности. При наличии выраженного максимума анализатор спектра определяет, превышает ли отношение величины этого максимума к общей энергии спектра мощности некое предопределенное пороговое значение. Результатом работы системы обнаружения периодических текстур является логическое значение «истина» или «ложь». Это значение передается блоку интерполяции устройства повышения частоты кадров, которое формирует выходной пиксель, смешивая пиксель из предыдущего кадра и пиксель, полученный при помощи интерполяции с учетом движения. При этом для значения «истина», соответствующего наличию периодической текстуры, вес пикселя из предыдущего кадра увеличивается. Однако у данного способа есть несколько недостатков:US 8223831 B2 discloses a method for detecting periodic textures based on the calculation of the Fourier transform for pixels inside a specific window. This method includes analyzing the spectrum of the Fourier transform to detect the maximum. The purpose of the analysis is to establish whether the corresponding maximum indicates the presence of a periodic texture in the image. The maximum search is carried out for horizontal and vertical power spectra. If there is a pronounced maximum, the spectrum analyzer determines whether the ratio of this maximum to the total energy of the power spectrum exceeds a certain predetermined threshold value. The result of the periodic texture detection system is the logical value “true” or “false”. This value is transmitted to the interpolation unit of the frame rate increasing device, which forms the output pixel by mixing the pixel from the previous frame and the pixel obtained by interpolation taking into account the movement. At the same time, for the value “true” corresponding to the presence of a periodic texture, the weight of the pixel from the previous frame increases. However, this method has several disadvantages:
- в случае высокой общей яркости и низко-контрастной периодической текстуры, способ не сможет определить периодическую текстуру в связи с тем, что отношение максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение;- in the case of a high overall brightness and a low-contrast periodic texture, the method will not be able to determine the periodic texture due to the fact that the ratio of the maximum power spectrum corresponding to the periodic texture to the total energy of the power spectrum does not exceed the threshold value;
- в случае наличия тренда, т.е. четко просматривающегося направления изменения яркости (например, в случае с постепенным изменением освещенности) способ не сможет определить периодическую текстуру в связи с тем, что отношение максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение;- in the case of a trend, i.e. a clearly visible direction of the brightness change (for example, in the case of a gradual change in illumination), the method cannot determine the periodic texture due to the fact that the ratio of the maximum of the power spectrum corresponding to the periodic texture to the total energy of the power spectrum does not exceed the threshold value;
- в случае наличия более одного доминирующего направления периодичности, энергия делится между несколькими максимумами спектра мощности, что может являться причиной того, что отношение максимального локального максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение, и наличие периодической текстуры не определится;- if there is more than one dominant direction of periodicity, the energy is divided between several maxima of the power spectrum, which may be the reason that the ratio of the maximum local maximum of the power spectrum corresponding to the periodic texture to the total energy of the power spectrum does not exceed the threshold value, and the presence of a periodic texture not determined;
- в случае неярко выраженных (размытых) пиков, соответствующих периодической текстуре, энергия делится между несколькими соседними точками, и, таким образом, отношение максимального локального максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение, и наличие периодической текстуры не определится.- in the case of weakly expressed (blurry) peaks corresponding to a periodic texture, the energy is divided between several neighboring points, and thus, the ratio of the maximum local maximum of the power spectrum corresponding to the periodic texture to the total energy of the power spectrum will not exceed the threshold value, and the presence of periodic texture is not defined.
В US 8253854 B2 представлен механизм обработки изображения, состоящий из системы преобразования частоты кадров, управляемой устройством определения периодических текстур. Обнаружение повторяющейся текстуры выполняется за счет анализа автокорреляционной функции, которая может быть вычислена как скалярное произведение блока пикселей и сдвинутой копии этого блока. Посредством одномерного преобразования Фурье автокорреляционной функции вдоль горизонтальных, вертикальных или диагональных направлений и анализа количества и положения локальных максимумов абсолютной величины результата этого преобразования, получают векторы периодичности, характеризующие период и направление текстуры. В данной публикации рассматриваются только горизонтальные, вертикальные или диагональные возможные направления периодичности. Данное известное решение в основном фокусируется на том, каким образом результаты детектирования могут быть использованы при оценке движения, однако не раскрывает, как именно производится анализ спектра мощности автокорреляционной функции для получения направлений периодичности.US 8253854 B2 discloses an image processing mechanism consisting of a frame rate conversion system controlled by a periodic texture determination device. Detection of a repeating texture is performed by analyzing the autocorrelation function, which can be calculated as the scalar product of a block of pixels and a shifted copy of this block. By means of the one-dimensional Fourier transform of the autocorrelation function along horizontal, vertical or diagonal directions and analysis of the number and position of local maxima of the absolute value of the result of this transformation, periodicity vectors characterizing the period and direction of the texture are obtained. This publication considers only horizontal, vertical, or diagonal possible directions of periodicity. This well-known solution mainly focuses on how the detection results can be used in motion estimation, but it does not disclose how the power spectrum of the autocorrelation function is analyzed to obtain periodicity directions.
С точки зрения программной реализации, два последних способа довольно дороги по вычислительным затратам, поскольку требуют вычисления преобразования Фурье для каждого блока изображения, даже в случае, если отсутствие периодической текстуры можно легко обнаружить с помощью более простого подхода.From the point of view of software implementation, the last two methods are quite expensive in terms of computational cost, since they require calculating the Fourier transform for each image block, even if the absence of a periodic texture can be easily detected using a simpler approach.
Настоящее изобретение направлено на создание способа обнаружения периодических текстур, преодолевающего по меньшей мере некоторые проблемы вышеописанного предшествующего уровня техники и позволяющего достичь следующих результатов:The present invention is directed to a method for detecting periodic textures that overcomes at least some of the problems of the above-described prior art and allows to achieve the following results:
- возможность определения периодических текстур низкого контраста;- the ability to determine periodic textures of low contrast;
- возможность определения периодических текстур при наличии градиента освещенности;- the ability to determine periodic textures in the presence of a gradient of illumination;
- возможность определения периодических текстур, имеющих более одного доминирующего направления;- the ability to determine periodic textures having more than one dominant direction;
- возможность обнаружения периодических текстур в случае нечетких максимумов спектра мощности;- the ability to detect periodic textures in the case of fuzzy maxima of the power spectrum;
- возможность предоставления точной информации о направлениях периодичности и величинах периодов, которая может быть использована для улучшения поля вектора движения, как это описано в US 8253854 B2;- the ability to provide accurate information about the directions of the frequency and magnitude of the periods, which can be used to improve the field of the motion vector, as described in US 8253854 B2;
- более низкие вычислительные затраты в случае программной реализации за счет вычисления преобразования Фурье только для предварительно выбранных блоков.- lower computational costs in the case of software implementation due to the calculation of the Fourier transform only for pre-selected blocks.
Сущность изобретенияSUMMARY OF THE INVENTION
Вышеуказанные результаты достигаются тем, что предложен способ обнаружения периодических текстур на изображении, содержащий этапы предварительной обработки изображения, причем этап предварительной обработки включает в себя: выявление областей с постоянной яркостью (областей, не содержащих текстуры), детектирование малоинформативных областей (т.е. областей, в которых локальные изменения яркости хорошо объясняются линейной регрессией и также не являются текстурой), компенсацию тренда и удаление выявленных областей с постоянной яркостью и малоинформативных областей для получения блоков изображения, потенциально содержащих периодические текстуры; и обнаружения периодических текстур в блоках изображения, потенциально содержащих периодические текстуры, причем этап обнаружения периодических структур в блоках изображения, потенциально содержащих периодические текстуры, включает в себя: нормализацию блоков изображения, вычисление спектра мощности, анализ свойств локальных максимумов спектра мощности, определение наличия периодических или квазипериодических текстур, оценку количества доминирующих направлений, оценку их ориентации и периодов доминирующих направлений для областей, в которых обнаружены периодические или квазипериодические текстуры. Следует отметить, что компенсация тренда и нормализация изображения осуществляются до этапа анализа спектра мощности, что отличает предложенный способ от уже известного уровня техники.The above results are achieved by the fact that a method for detecting periodic textures in an image comprising the steps of preprocessing an image is proposed, the preprocessing step including: identifying areas with constant brightness (areas not containing textures), detecting uninformative areas (i.e., areas , in which local changes in brightness are well explained by linear regression and are also not a texture), trend compensation and the removal of identified areas with constant brightness new and uninformative areas for obtaining image blocks potentially containing periodic textures; and detecting periodic textures in image blocks potentially containing periodic textures, the step of detecting periodic structures in image blocks potentially containing periodic textures includes: normalizing image blocks, calculating the power spectrum, analyzing the properties of local maxima of the power spectrum, determining the presence of periodic or quasiperiodic textures, an estimate of the number of dominant directions, an assessment of their orientation and periods of dominant directions for the region to it, in which periodic or quasiperiodic textures are found. It should be noted that trend compensation and image normalization are carried out before the power spectrum analysis stage, which distinguishes the proposed method from the already known prior art.
Согласно варианту осуществления, блок нормализуется так, чтобы среднее значение стало равно нулю, а среднеквадратичное отклонение равно единице.According to an embodiment, the block is normalized so that the average value becomes zero and the standard deviation is unity.
Согласно варианту осуществления, спектр мощности вычисляют как абсолютное значение двумерного преобразования Фурье.According to an embodiment, the power spectrum is calculated as the absolute value of the two-dimensional Fourier transform.
Блоки изображения, которые хорошо аппроксимируются плоскостью, отмечают как малоинформативные, а изображение с удаленным трендом вычисляют как разность между результатами морфологических преобразований «верх шляпы» и «дно шляпы» (смотрите [1-2]).Blocks of the image that are well approximated by the plane are marked as uninformative, and the image with a remote trend is calculated as the difference between the results of the morphological transformations “top of the hat” and “bottom of the hat” (see [1-2]).
Согласно варианту осуществления, на этапе обнаружения периодических текстур в блоках изображения, потенциально содержащих периодические текстуры, вычисление спектра мощности и анализ свойств локальных максимумов вычисленного спектра мощности выполняют путем вычисления суммарной энергии спектра мощности, порогового преобразования спектра мощности путем приравнивания нулю спектральных коэффициентов, абсолютная величина которых ниже предварительно заданного порогового значения, выполнения для спектра мощности преобразования «расширенный максимум», при котором локальные максимумы, расстояние между которыми меньше предопределенного порогового значения, объединяются в один, и для центра каждого «объединенного» максимума вычисляют общую мощность и среднеквадратичное отклонение спектральных коэффициентов, относящихся к этому «объединенному» максимуму. При определении наличия периодических или квазипериодических текстур, если «объединенные» максимумы находятся дальше предопределенного порогового значения от начала координат и имеют небольшие среднеквадратичные отклонения спектральных коэффициентов, относящихся к этому максимуму, то упомянутые объединенные максимумы обозначают как потенциально относящиеся к периодическим текстурам, и, если общая энергия спектральных коэффициентов, обозначенных как потенциально относящиеся к повторяющимся текстурам, превышает общую спектральную мощность блока изображения, умноженную на первое заданное пороговое значение, и превышает спектральную мощность блока изображения после порогового преобразования, умноженную на второе заданное пороговое значение, то соответствующий блок изображения обозначают как содержащий периодическую текстуру.According to an embodiment, at the stage of detecting periodic textures in image blocks potentially containing periodic textures, the calculation of the power spectrum and the analysis of the properties of the local maxima of the calculated power spectrum are performed by calculating the total energy of the power spectrum, the threshold transformation of the power spectrum by setting spectral coefficients equal to zero, the absolute value of which below a predetermined threshold value, performing for a conversion power spectrum of "pa maximum extension ", wherein the local maxima, the distance between which is less than a predetermined threshold value, are combined into one, and the center of each" combined "maximum total power is calculated and the standard deviation of the spectral coefficients belonging to this" combined "maximum. When determining the presence of periodic or quasiperiodic textures, if the “combined” maxima are located beyond a predetermined threshold value from the coordinate origin and have small standard deviations of the spectral coefficients related to this maximum, then the aforementioned combined maxima are designated as potentially related to periodic textures, and, if the general the energy of spectral coefficients, designated as potentially related to repeating textures, exceeds the total spectral Since the power of the image block multiplied by the first predetermined threshold value and exceeds the spectral power of the image block after the threshold transformation multiplied by the second predetermined threshold value, the corresponding image block is designated as containing a periodic texture.
Согласно варианту осуществления, спектр мощности блока изображения, обозначенного как содержащий периодическую текстуру, анализируют сектор за сектором с малым угловым шагом для обнаружения всех направлений повторяющейся текстуры.According to an embodiment, the power spectrum of an image block designated as containing a periodic texture is analyzed sector by sector with a small angular pitch to detect all directions of the repeating texture.
Краткое описание чертежейBrief Description of the Drawings
Вышеуказанные и другие признаки настоящего изобретения станут более понятны при обращении к последующему описанию, формуле изобретения и сопроводительным чертежам, где:The above and other features of the present invention will become clearer when referring to the following description, claims and accompanying drawings, where:
фиг.1 иллюстрирует спектр мощности для повторяющихся текстур с одним доминирующим направлением;1 illustrates a power spectrum for repeating textures with one dominant direction;
фиг.2 иллюстрирует спектр мощности для повторяющихся текстур с двумя доминирующими направлениями;2 illustrates a power spectrum for repeating textures with two dominant directions;
фиг.3 иллюстрирует спектр мощности для непериодических текстур;figure 3 illustrates the power spectrum for non-periodic textures;
фиг.4 иллюстрирует одномерные периодические сигналы с трендом и без тренда;4 illustrates one-dimensional periodic signals with a trend and without a trend;
фиг.5 иллюстрирует абсолютное значение преобразования Фурье одномерного периодического сигнала с трендом и без тренда;5 illustrates the absolute value of the Fourier transform of a one-dimensional periodic signal with a trend and without a trend;
фиг.6 является блок-схемой последовательности операций способа обнаружения повторяющихся текстур, соответствующего изобретению;6 is a flowchart of a repeating texture detection method according to the invention;
фиг.7 представляет пример классификации типов текстур изображения;7 is an example of a classification of image texture types;
фиг.8 иллюстрирует удаление тренда морфологическими операциями;Fig. 8 illustrates trend removal by morphological operations;
фиг.9 иллюстрирует морфологическую операцию «верх шляпы»;Fig.9 illustrates the morphological operation "top of the hat";
фиг.10 иллюстрирует морфологическую операцию «дно шляпы»;figure 10 illustrates the morphological operation of the "bottom of the hat";
фиг.11 представляет собой пример результата удаления тренда;11 is an example of a trend removal result;
фиг.12 представляет анализ спектра мощности: исходный блок изображения (а), нормализованный серошкальный блок изображения (b), спектр мощности (с), спектр мощности после порогового преобразования (d), спектр мощности после порогового преобразования и преобразования «расширенный максимум» (e);12 represents an analysis of a power spectrum: an initial image block (a), a normalized gray-scale image block (b), a power spectrum (c), a power spectrum after a threshold transform (d), a power spectrum after a threshold transform and an “expanded maximum” transform ( e)
фиг.13 представляет собой пример результатов обнаружения периодической текстуры;13 is an example of a periodic texture detection result;
фиг.14 представляет собой пример результатов обнаружения периодической текстуры.14 is an example of a periodic texture detection result.
Осуществление изобретенияThe implementation of the invention
Некоторые варианты осуществления настоящего изобретения будут подробно описаны ниже со ссылкой на сопроводительные чертежи.Some embodiments of the present invention will be described in detail below with reference to the accompanying drawings.
Наличие периодических текстур и их ориентацию определяют при помощи анализа спектра мощности. Максимумы спектра мощности могут указывать на наличие периодических текстур. На фиг.1 представлен спектр мощности для периодических текстур с одним доминирующим направлением, на фиг.2 - для периодических текстур с двумя доминирующими направлениями, а на фиг.3 - для непериодических текстур. Количество максимумов зависит от количества доминирующих направлений. Расположение данных максимумов в частотной плоскости зависит от периода текстуры и ориентации ее доминирующих направлений периодичности.The presence of periodic textures and their orientation is determined by analyzing the power spectrum. Power spectrum maxima may indicate the presence of periodic textures. Figure 1 shows the power spectrum for periodic textures with one dominant direction, figure 2 for periodic textures with two dominant directions, and figure 3 for non-periodic textures. The number of highs depends on the number of dominant directions. The location of these maxima in the frequency plane depends on the texture period and the orientation of its dominant periodicity directions.
Энергия спектра мощности непериодических текстур сосредоточена в области низких частот, что соответствует медленным изменениям яркости. Спектральные коэффициенты могут также постепенно уменьшаться с ростом частоты, что соответствует шумоподобным текстурам. Максимумы в спектре подобных текстур почти отсутствуют, или их величина относительно низка по сравнению с общей мощностью сигнала.The energy of the power spectrum of non-periodic textures is concentrated in the low-frequency region, which corresponds to slow changes in brightness. Spectral coefficients can also gradually decrease with increasing frequency, which corresponds to noise-like textures. The maxima in the spectrum of such textures are almost absent, or their value is relatively low compared to the total signal power.
Периодические текстуры определяются при помощи следующих свойств спектра мощности:Periodic textures are determined using the following power spectrum properties:
- расстояние от расположения максимума до начала координат превышает заданное пороговое значение;- the distance from the location of the maximum to the origin exceeds the specified threshold value;
- площадь максимума (если он размыт) сравнительно небольшая;- the area of the maximum (if it is blurry) is relatively small;
- мощность, сосредоточенная во всех выраженных локальных максимумах, сравнительно высока.- power concentrated in all pronounced local maxima is relatively high.
Для того чтобы обеспечить точное обнаружение периодических текстур даже в случае очень низкой контрастности, участки с постоянной яркостью и низкой информативностью (малоинформативные) удаляются в ходе предварительной обработки. Это позволяет использовать очень низкие пороговые значения. Более того, в случае программной реализации алгоритма это позволяет снизить вычислительные затраты. Текстуры с плавным изменением яркости, вызванным, например, постепенным изменением освещенности, считаются малоинформативными. Эти текстуры имеют следующие свойства:In order to ensure accurate detection of periodic textures even in the case of very low contrast, areas with constant brightness and low information content (uninformative) are removed during pre-processing. This allows very low thresholds to be used. Moreover, in the case of a software implementation of the algorithm, this reduces the computational cost. Textures with a smooth change in brightness, caused, for example, by a gradual change in illumination, are considered to be uninformative. These textures have the following properties:
- двумерная функция яркости изображения может быть описана плоскостью в пределах окна, размер которого превышает максимальный период обнаруживаемой периодической текстуры;- a two-dimensional image brightness function can be described by a plane within a window whose size exceeds the maximum period of a detected periodic texture;
- угол между данной плоскостью и горизонтальной плоскостью относительно невелик (большие значения соответствуют границам объектов);- the angle between this plane and the horizontal plane is relatively small (large values correspond to the boundaries of the objects);
- яркость анализируемого фрагмента может быть искажена шумом со среднеквадратичным отклонением в 2-3 градации яркости.- the brightness of the analyzed fragment can be distorted by noise with a standard deviation of 2-3 gradations of brightness.
Перед проведением анализа спектра мощности блока также производится удаление тренда. Тренд в яркости изображения может появляться при изменении освещенности. Следствием этого может быть то, что алгоритм оценки движения учитывает изменение освещенности, а не смещение текстуры. На фиг.4 представлен одномерный периодический сигнал с трендом и без тренда, а на фиг.5 изображено абсолютное значение преобразования Фурье данных сигналов. Видно, что наличие тренда затрудняет анализ периодичности сигнала. Период и ориентация текстуры определяются на основе анализа локальных максимумов спектра мощности.Before analyzing the power spectrum of a block, a trend is also removed. A trend in image brightness may appear when light changes. The consequence of this may be that the motion estimation algorithm takes into account a change in illumination rather than a shift in texture. Figure 4 presents a one-dimensional periodic signal with a trend and without a trend, and figure 5 shows the absolute value of the Fourier transform of these signals. It can be seen that the presence of a trend makes it difficult to analyze the periodicity of the signal. The period and orientation of the texture are determined based on the analysis of local maxima of the power spectrum.
Как показано на фиг.6, в способе обнаружения периодической текстуры, применяемом к входному изображению 12-1, на этапе 12-05 выполняется предварительная обработка, включающая в себя подэтап 12-02 выявления областей с постоянной яркостью, подэтап 12-03 определения малоинформативных областей и подэтап 12-04 компенсации тренда. Затем, на этапе 12-11 выполняется обнаружение периодической текстуры во всех областях изображения, за исключением малоинформативных областей, включающее в себя подэтап 12-06 нормализации изображений, подэтап 12-07 вычисления спектра мощности, подэтап 12-08 анализа свойств локальных максимумов спектра мощности, подэтап 12-09 определения наличия периодических или квазипериодических текстур и подэтап 12-10 оценки количества доминирующих направлений и их ориентации, а также их периодов для областей, в которых обнаружены периодические или квазипериодические текстуры.As shown in FIG. 6, in the periodic texture detection method applied to the input image 12-1, a preliminary processing is performed in step 12-05 including a sub-step 12-02 of identifying areas with constant brightness, a sub-step 12-03 of determining uninformative areas and sub-step 12-04 of trend compensation. Then, at step 12-11, a periodic texture is detected in all areas of the image, with the exception of low-informative areas, including sub-step 12-06 of normalizing images, sub-step 12-07 of calculating the power spectrum, sub-step 12-08 of analyzing the properties of the local maxima of the power spectrum, sub-step 12-09 of determining the presence of periodic or quasiperiodic textures and sub-step 12-10 of estimating the number of dominant directions and their orientation, as well as their periods for areas in which periodic or quasiperiod is found cal texture.
В предпочтительном варианте осуществления способа обнаружения периодической текстуры, определение областей с постоянной яркостью (подэтап 12-02 на фиг.6) выполняется следующим образом:In a preferred embodiment of the method for detecting periodic texture, the determination of areas with constant brightness (sub-step 12-02 in FIG. 6) is performed as follows:
- Локальное среднеквадратичное отклонение D3×3 вычисляется как- The local standard deviation D 3 × 3 is calculated as
D3×3(i,j)=(z(i,j)-m3×3(i,j))2*h3×3 D 3 × 3 (i, j) = (z (i, j) -m 3 × 3 (i, j)) 2 * h 3 × 3
гдеWhere
z(i,j) является яркостью пикселя с координатами (i,j),z (i, j) is the brightness of the pixel with coordinates (i, j),
m3×3(i,j) является средней яркостью значений пикселей, вычисленной в окрестности 3×3,m 3 × 3 (i, j) is the average brightness of the pixel values calculated in the neighborhood of 3 × 3,
h3×3 является сглаживающим ядром оператора свертки,h 3 × 3 is the smoothing kernel of the convolution operator,
и * - оператор свертки.and * is the convolution operator.
- Если локальное среднеквадратичное отклонение D3x3 ниже заранее определенного порогового значения, то пиксель обозначается как принадлежащий области с постоянной яркостью.- If the local standard deviation D 3x3 is below a predetermined threshold value, then the pixel is designated as belonging to a region with constant brightness.
- Выполняется анализ связанных компонентов для областей, отмеченных как обладающие постоянной яркостью, при этом небольшие компоненты связности, площадь которых меньше определенного порогового значения, маркируются как не имеющие постоянную яркость. Отверстия внутри областей, отмеченные как имеющие постоянную яркость, площадью меньше определенного порогового значения, обозначаются как имеющие постоянную яркость.- An analysis of related components is performed for areas marked as having constant brightness, while small connected components whose area is less than a certain threshold value are marked as not having constant brightness. Holes within regions marked as having a constant brightness with an area less than a certain threshold value are indicated as having a constant brightness.
Использование среднеквадратичного отклонения в качестве основной метрики позволяет добиться независимости от конкретного уровня яркости.Using the standard deviation as the main metric allows you to achieve independence from a specific level of brightness.
В предпочтительном варианте осуществления способа определения периодических текстур, определение малоинформативных областей (подэтап 12-03 на фиг. 6) осуществляется, как представлено ниже. Яркость внутри окна аппроксимируется плоскостьюIn a preferred embodiment of the method for determining periodic textures, the determination of uninformative areas (sub-step 12-03 in FIG. 6) is carried out as follows. The brightness inside the window is approximated by a plane
A⋅i+B⋅j+C⋅z(i,j)+D=0A⋅i + B⋅j + C⋅z (i, j) + D = 0
где z(i,j) является яркостью пикселя с координатами (i,j),where z (i, j) is the brightness of the pixel with coordinates (i, j),
А, В, С - неизвестные коэффициенты, которые находятся при помощи минимизации квадрата функции ошибки:A, B, C - unknown coefficients that are found by minimizing the squared error function:
где 
Оценка параметра отклонения D вычисляется какThe estimate of the deviation parameter D is calculated as
Косинус угла между данной плоскостью и горизонтальной плоскостью может быть найден какThe cosine of the angle between a given plane and a horizontal plane can be found as
где оценки 
соответствующего минимальному собственному числу. Здесь var(·) обозначает среднеквадратичное отклонение, а cov(·) - ковариационный момент. Погрешность аппроксимации оценивается следующим образом:corresponding to the minimum eigenvalue. Here var (·) stands for the standard deviation, and cov (·) stands for the covariance moment. The approximation error is estimated as follows:
Если косинус угла между данной плоскостью и горизонтальной плоскостью большой (близок к единице), и погрешность аппроксимации низкая, то блок относится к текстуре с плавным изменением яркости. На фиг.7 представлен пример определения малоинформативных областей и областей с постоянной яркостью, которые были получены в соответствии с процедурой, представленной выше. Области с постоянной яркостью отмечены ссылочным номером 1, области с низким уровнем контрастности и низким среднеквадратичным отклонением после удаления тренда обозначены ссылочным номером 2, малоинформативные области с плавным изменением яркости обозначены ссылочным номером 3, а области, которые могут содержать периодические текстуры, обозначены ссылочным номером 4.If the cosine of the angle between this plane and the horizontal plane is large (close to unity), and the approximation error is low, then the block refers to a texture with a smooth change in brightness. Figure 7 presents an example of the determination of uninformative areas and areas with constant brightness, which were obtained in accordance with the procedure presented above. Areas with constant brightness are indicated by
Следующим этапом обработки является удаление (компенсация) тренда. В предпочтительном варианте осуществления способа определения периодических текстур удаление тренда (подэтап 12-04 на фиг.6) осуществляется по формуле zTR=zt-zb (на фиг.8 представлен одномерный пример), где zt=z-z0 представляет морфологические операции «верх шляпы» (на фиг.9 представлен одномерный пример), который равен разности исходного изображения и его морфологического открытия z0, и zb=zc-z представляют морфологическую операцию «дно шляпы» (на фиг.10 представлен одномерный пример), равный разности исходного изображения и его морфологического закрытия zc. Размер элементов структуры выбирается равным максимальному обнаруженному периоду. Пример результата по удалению тренда представлен на фиг.11.The next stage of processing is the removal (compensation) of the trend. In a preferred embodiment of the method for determining periodic textures, trend removal (sub-step 12-04 in FIG. 6) is carried out according to the formula z TR = z t -z b (FIG. 8 shows a one-dimensional example), where z t = zz 0 represents morphological operations "Top of the hat" (Fig. 9 presents a one-dimensional example), which is equal to the difference of the original image and its morphological opening z 0 , and z b = z c -z represent the morphological operation "bottom of the hat" (Fig. 10 presents a one-dimensional example) equal to the difference of the original image and its morphological on closing the z c. The size of the structural elements is selected equal to the maximum detected period. An example of a trend removal result is shown in FIG. 11.
Для определения периодической текстуры для каждого блока изображения, полученного путем удаления тренда, обозначенного как потенциально содержащий периодические текстуры (фиг.12-a), применяются следующие этапы:To determine the periodic texture for each block of the image obtained by removing the trend, designated as potentially containing periodic texture (Fig-a), the following steps are applied:
- блок нормализуется так, чтобы среднее значение стало равно нулю, а среднеквадратичное отклонение равно единице (фиг.12-b);- the block is normalized so that the average value becomes equal to zero, and the standard deviation is equal to unity (Fig.12-b);
- спектр мощности вычисляется как абсолютное значение двумерного преобразования Фурье (фиг.12-c);- the power spectrum is calculated as the absolute value of the two-dimensional Fourier transform (Fig.12-c);
- вычисляется суммарная энергия спектра мощности блока;- the total energy of the power spectrum of the block is calculated;
- выполняется пороговое преобразование путем приравнивания нулю спектральных коэффициентов, абсолютная величина которых ниже предварительно заданного порогового значения (фиг.12-d);- a threshold transformation is performed by equating to zero spectral coefficients, the absolute value of which is below a predetermined threshold value (Fig-d);
- спектр мощности подвергается преобразованию «расширенный максимум» (фиг.12-e);- the power spectrum is subjected to the transformation of the "expanded maximum" (Fig-e);
- локальные максимумы, расстояние между которыми меньше предопределенного порогового значения, объединяются в один. Для центра каждого «объединенного» максимума вычисляются общая мощность и среднеквадратичное отклонение Sp спектральных коэффициентов, относящихся к этому «объединенного» максимума;- local maxima, the distance between which is less than a predetermined threshold value, are combined into one. For the center of each “combined” maximum, the total power and the standard deviation S p of the spectral coefficients related to this “combined” maximum are calculated;
- «объединенные» максимумы, находящиеся дальше предопределенного порогового значения от начала координат (что означает соответствие высоким частотам изображения) и имеющие небольшие среднеквадратичные отклонения Sp, помечаются как потенциально относящиеся к периодическим текстурам;- “combined” maxima located beyond a predetermined threshold value from the coordinate origin (which means correspondence to high image frequencies) and having small standard deviations S p are marked as potentially related to periodic textures;
- в случае, если общая энергия спектральных коэффициентов, обозначенных как потенциально относящиеся к повторяющимся текстурам, превышает общую спектральную мощность блока изображения, умноженную на первое заданное пороговое значение, и превышает спектральную мощность блока изображения после порогового преобразования, умноженную на второе заданное пороговое значение, то блок помечается как содержащий периодическую текстуру.- if the total energy of the spectral coefficients designated as potentially related to repeating textures exceeds the total spectral power of the image block multiplied by the first predetermined threshold value and exceeds the spectral power of the image block after the threshold transformation multiplied by the second predetermined threshold value, then a block is marked as containing a periodic texture.
Среднеквадратичное отклонение спектральных коэффициентов, относящихся к «объединенному» максимуму, вычисляются как:The standard deviation of the spectral coefficients related to the “combined” maximum is calculated as:
где интегрирование выполняется по точкам, принадлежащим данному «объединенному» максимуму и f(x,y) является двумерным спектром мощности.where integration is performed over points belonging to a given “combined” maximum and f (x, y) is a two-dimensional power spectrum.
Если блок обозначен как содержащий периодическую текстуру, доминирующие направления текстуры могут быть вычислены на основе следующих правил:If a block is designated as containing a periodic texture, the dominant directions of the texture can be calculated based on the following rules:
- Текстура имеет одно доминирующее направление, если все максимумы спектра мощности расположены в одном и том же секторе (около ±15° относительно ориентации самого большого локального максимума), ориентация текстуры совпадает с ориентацией самого большого локального максимума спектра мощности относительно начала координат.- The texture has one dominant direction, if all the maxima of the power spectrum are located in the same sector (about ± 15 ° relative to the orientation of the largest local maximum), the orientation of the texture coincides with the orientation of the largest local maximum of the power spectrum relative to the origin.
- Если не все локальные максимумы спектра мощности расположены в одном и том же секторе, подразумевается, что текстура имеет два (или более) доминирующих направления; их ориентация считается совпадающей с ориентациями двух наибольших локальных максимумов спектра мощности, лежащих в различных секторах, относительно начала координат.- If not all local maxima of the power spectrum are located in the same sector, it is assumed that the texture has two (or more) dominant directions; their orientation is considered to coincide with the orientations of the two largest local maxima of the power spectrum lying in different sectors relative to the origin.
- Оценивается только один период вдоль каждого из доминирующих направлений, который считается обратно пропорциональным расстоянию от соответствующего максимума спектра мощности до начала координат.- Only one period is estimated along each of the dominant directions, which is considered inversely proportional to the distance from the corresponding maximum of the power spectrum to the origin.
На фиг.13-14 представлены примеры результатов обнаружения периодических текстур с обозначением доминирующих направлений.13-14 are examples of the results of the detection of periodic textures with the designation of the dominant directions.
Настоящее изобретение может быть использовано как часть любого устройства, которое включает в себя системы для оценки движения, например, телевизор, видеокамера, Blu-Ray или DVD плеер, телевизионная приставка и прочее.The present invention can be used as part of any device that includes motion estimation systems, for example, a television, camcorder, Blu-ray or DVD player, set-top box, etc.
Следует отметить, что вышеприведенные варианты осуществления предназначены лишь для описания технических решений настоящего изобретения, а не его ограничения. Хотя настоящее изобретение описано со ссылкой на его примерные варианты осуществления, для специалиста в данной области техники должно быть понятно, что могут выполняться различные модификации и изменения до тех пор, пока они попадают в пределы объема прилагаемой формулы изобретения или ее эквивалентов.It should be noted that the above embodiments are intended only to describe the technical solutions of the present invention, and not its limitations. Although the present invention has been described with reference to its exemplary embodiments, it will be understood by one skilled in the art that various modifications and changes can be made as long as they fall within the scope of the appended claims or their equivalents.
Дополнительная литератураadditional literature
[1] Image Analysis and Mathematical Morphology by Jean Serra, ISBN 0-12-637240-3; 1982[1] Image Analysis and Mathematical Morphology by Jean Serra, ISBN 0-12-637240-3; 1982
[2] Цифровая обработка изображений, Р. Гонсалес, Р. Вудс, ISBN 5-94836-028-8; 2006 г.[2] Digital Image Processing, R. Gonzalez, R. Woods, ISBN 5-94836-028-8; 2006 year
Claims (23)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014114218A RU2630744C2 (en) | 2014-04-10 | 2014-04-10 | Method of detecting periodical textures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014114218A RU2630744C2 (en) | 2014-04-10 | 2014-04-10 | Method of detecting periodical textures |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014114218A RU2014114218A (en) | 2015-10-20 |
| RU2630744C2 true RU2630744C2 (en) | 2017-09-12 |
Family
ID=54326857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014114218A RU2630744C2 (en) | 2014-04-10 | 2014-04-10 | Method of detecting periodical textures |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2630744C2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409881A (en) * | 2021-05-11 | 2022-11-29 | 北京字跳网络技术有限公司 | Image processing method, device and equipment |
| CN115393303B (en) * | 2022-08-17 | 2023-11-17 | 上海精积微半导体技术有限公司 | Periodic structure period extraction method and wafer defect detection method |
| CN116631319B (en) * | 2023-05-29 | 2024-05-14 | 上海傲显科技有限公司 | Screen display compensation method, intelligent terminal and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2109304C1 (en) * | 1997-01-15 | 1998-04-20 | Московский государственный университет леса | Method of detection of sea surface anomalies |
| WO1999044010A1 (en) * | 1998-02-27 | 1999-09-02 | Gutkowicz Krusin Dina | Systems and methods for the multispectral imaging and characterization of skin tissue |
| US6504951B1 (en) * | 1999-11-29 | 2003-01-07 | Eastman Kodak Company | Method for detecting sky in images |
| US7319788B2 (en) * | 2002-05-10 | 2008-01-15 | Calgary Scientific Inc. | Visualization of S transform data using principal-component analysis |
| RU2422081C2 (en) * | 2007-01-05 | 2011-06-27 | Майскин, Инк. | System, device and method of skin image |
-
2014
- 2014-04-10 RU RU2014114218A patent/RU2630744C2/en not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2109304C1 (en) * | 1997-01-15 | 1998-04-20 | Московский государственный университет леса | Method of detection of sea surface anomalies |
| WO1999044010A1 (en) * | 1998-02-27 | 1999-09-02 | Gutkowicz Krusin Dina | Systems and methods for the multispectral imaging and characterization of skin tissue |
| US6504951B1 (en) * | 1999-11-29 | 2003-01-07 | Eastman Kodak Company | Method for detecting sky in images |
| US7319788B2 (en) * | 2002-05-10 | 2008-01-15 | Calgary Scientific Inc. | Visualization of S transform data using principal-component analysis |
| RU2422081C2 (en) * | 2007-01-05 | 2011-06-27 | Майскин, Инк. | System, device and method of skin image |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2014114218A (en) | 2015-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | A new edge detection approach based on image context analysis | |
| KR101766536B1 (en) | Method and apparatus of image denoising using multi-scale block region detection | |
| EP2579212B1 (en) | Detecting image impairments in an interpolated image | |
| US20150063641A1 (en) | Image processing apparatus, image processing method, and computer-readable recording device | |
| US20140241626A1 (en) | Method and apparatus for analyzing video based on spatiotemporal patterns | |
| WO2017193414A1 (en) | Image corner detection method based on turning radius | |
| Muduli et al. | A novel technique for wall crack detection using image fusion | |
| CN107292900A (en) | A kind of method for detecting image edge and device based on Canny algorithms | |
| Serir et al. | No-reference blur image quality measure based on multiplicative multiresolution decomposition | |
| RU2630744C2 (en) | Method of detecting periodical textures | |
| CN111667516A (en) | Infrared polarization information fusion method based on Laplacian pyramid decomposition structure | |
| CN104915930B (en) | The method and device of grey level compensation and noise suppressed is carried out to image | |
| CN115511907B (en) | Scratch detection method for LED screen | |
| US9818178B1 (en) | Method and system for detection of ghosting artifact in a video | |
| JP2015021823A (en) | Radar image processing apparatus and radar image processing method | |
| Purnima et al. | Non-Gradient Based Design Metrics for Underwater Image Enhancement | |
| CN118429375A (en) | Image edge detection method based on improved canny algorithm | |
| CN116958182B (en) | Quick concrete crack detection method based on image data | |
| Kumar et al. | A luminance-and contrast-invariant edge-similarity measure | |
| Ji et al. | A novel method of image segmentation using watershed transformation | |
| Gao et al. | Multiscale phase congruency analysis for image edge visual saliency detection | |
| Scharfenberger et al. | Image saliency detection via multi-scale statistical non-redundancy modeling | |
| KR101311309B1 (en) | Detecting method of image operation and detecting device of image operation | |
| Tomaszewska | Blind noise level detection | |
| Zare-Baghbidi et al. | Improving the RX anomaly detection algorithm for hyperspectral images using FFT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20160520 |
|
| FZ9A | Application not withdrawn (correction of the notice of withdrawal) |
Effective date: 20170407 |