RU2509366C1 - System and method of converting hue of flat and three-dimensional images - Google Patents
System and method of converting hue of flat and three-dimensional images Download PDFInfo
- Publication number
- RU2509366C1 RU2509366C1 RU2012144223/08A RU2012144223A RU2509366C1 RU 2509366 C1 RU2509366 C1 RU 2509366C1 RU 2012144223/08 A RU2012144223/08 A RU 2012144223/08A RU 2012144223 A RU2012144223 A RU 2012144223A RU 2509366 C1 RU2509366 C1 RU 2509366C1
- Authority
- RU
- Russia
- Prior art keywords
- parameters
- tone conversion
- conversion function
- image
- tones
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
Изобретение относится к области цифровой обработки изображений и может применяться для улучшения качества плоских и объемных изображений, а точнее для адаптивного повышения глобального и локального контраста.The invention relates to the field of digital image processing and can be used to improve the quality of flat and three-dimensional images, and more specifically for adaptively increasing global and local contrast.
Известно большое число патентов и публикаций, посвященных трансформации или коррекции тонов (или градаций) для улучшения визуального качества 2D и 3D изображений. Десятки патентов описывают различные варианты применения способов, основанных на выравнивании гистограмм (histogram equalization), для адаптивной коррекции тонов, например, патент США 7020333 [1]. В способах, основанных на выравнивании гистограмм, функция преобразования тонов является результатом процедуры оптимизации, которая пытается подобрать такую функцию преобразования, которая приведет существующую гистограмму тонов изображения к некоему желаемому виду. Однако невозможно установить желаемый вид гистограммы для всех возможных типов изображений, поэтому способы, основанные на выравнивании гистограмм, имеют ограниченное применение.A large number of patents and publications are known on the transformation or correction of tones (or gradations) to improve the visual quality of 2D and 3D images. Dozens of patents describe various applications of methods based on histogram equalization for adaptive tone correction, for example, US patent 7020333 [1]. In methods based on the alignment of histograms, the tone conversion function is the result of an optimization procedure that attempts to select a conversion function that will bring the existing histogram of image tones to some desired form. However, it is not possible to establish the desired type of histogram for all possible types of images, therefore, methods based on the alignment of histograms have limited application.
Большая часть существующих патентов и опубликованных заявок посвящена явному заданию функции преобразования тонов и подбору параметров данной функции в автоматическом режиме. Например, патент США 7023580 [2] описывает способ преобразования тонов, использующий адаптивную сигмоидную функцию. В патенте США 6026181 [3] подходящая единая для всего изображения функция преобразования выбирается на основе классификации сцены на изображении. Такая единая функция преобразования тонов не может обеспечить коррекцию локального контраста в ряде областей изображения.Most of the existing patents and published applications are devoted to explicitly setting the tone conversion function and selecting the parameters of this function in automatic mode. For example, US Pat. No. 7,023,580 [2] describes a tone conversion method using an adaptive sigmoid function. In US Pat. No. 6,026,181 [3], a suitable conversion function common to the whole image is selected based on the classification of the scene in the image. Such a single tone conversion function cannot provide correction of local contrast in a number of image areas.
Существует несколько патентов и выложенных патентных заявок, в которых функция преобразования тонов устанавливается для локальных областей изображения. Патент США 7724981 [4] заявляет способ, включающий выполнение следующих этапов: разбиение изображения на непересекающиеся блоки, для каждого блока определяются значения точки черного (наиболее темных тонов) и точки белого (наиболее светлых тонов), для каждого пикселя получают новое значение, используя его предыдущее значение, его положение в плоскости изображения, значения точек черного и белого для данного блока и для соседних блоков.There are several patents and patent applications laid out in which the tone conversion function is set for local areas of the image. US patent 7724981 [4] claims a method comprising the following steps: splitting an image into disjoint blocks, for each block, the values of the black point (darkest tones) and white point (brightest tones) are determined, for each pixel a new value is obtained using it the previous value, its position in the image plane, the values of the black and white points for this block and for neighboring blocks.
Патент США 6771814 [5] описывает способ, включающий в себя разбиение изображения на блоки, вычисление среднего значения для каждого блока, определение значения насыщения для того, чтобы найти возможную степень улучшения контраста, получение гистограммы тонов для каждого блока, генерация для каждого блока функции трансформации тонов на основе данной гистограммы и значений насыщения, преобразование всех пикселов изображения с помощью функций преобразования тонов.US patent 6771814 [5] describes a method that includes dividing the image into blocks, calculating the average value for each block, determining the saturation value in order to find a possible degree of improvement in contrast, obtaining a histogram of tones for each block, generating a transformation function for each block tones based on this histogram and saturation values, the conversion of all pixels in the image using the tone conversion functions.
В патенте США 8160387 [6] интенсивность изображения изменяется в соответствии с коэффициентами усиления, которые устанавливаются для локальных областей и зависят от значений коэффициентов усиления соседних областей.In US patent 8160387 [6] the image intensity varies in accordance with the gains that are set for local areas and depend on the values of the gains of neighboring areas.
Выложенная патентная заявка США 20090097747 [7] описывает процесс контрастирования, при котором для каждой локальной области используется специфическая кривая преобразования тонов. Затем, для того чтобы подавить возникающие артефакты на краях областей, эти пикселы на краях областей подвергают преобразованию с помощью функции, получаемой из функций преобразования соседних областей.U.S. Patent Laid-Open No. 20090097747 [7] describes a contrast process in which a specific tone conversion curve is used for each local area. Then, in order to suppress arising artifacts at the edges of regions, these pixels at the edges of regions are transformed using a function obtained from the transformation functions of neighboring regions.
Это техническое решение выбрано в качестве прототипа заявляемого изобретения.This technical solution is selected as a prototype of the claimed invention.
Все упомянутые здесь способы применения функций преобразования уровней в локальных областях не выполняют глобальной коррекции изображения и не гарантируют отсутствия резкого скачкообразного изменения функции преобразования тонов на границе между локальными областями. Подобные скачкообразные изменения функции преобразования могут вести к образованию нежелательных визуальных искажений в виде ложных контуров.All the methods mentioned here for applying level conversion functions in local areas do not perform global image correction and do not guarantee that there is no sudden jump in the tone conversion function at the boundary between local areas. Such abrupt changes in the conversion function can lead to the formation of unwanted visual distortions in the form of false contours.
Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы в автоматическом режиме улучшить визуальное качество плоских и объемных изображений, а именно повысить глобальный и локальный контраст изображений без формирования нежелательных артефактов и искажений.The problem to which the claimed invention is directed is to automatically improve the visual quality of flat and three-dimensional images, namely to increase global and local contrast of images without generating unwanted artifacts and distortions.
Технический результат достигается за счет разработки способа преобразования тонов плоских и объемных изображений. Способ преобразования тонов плоских и объемных изображений заключается в выполнении следующих операций:The technical result is achieved by developing a method for converting tones of flat and three-dimensional images. The method of converting tones of flat and three-dimensional images is to perform the following operations:
- выбирают функцию преобразования тонов, основываясь на анализе распределения тонов элементов всего изображения.- choose the function of the conversion of tones, based on the analysis of the distribution of tones of the elements of the whole image.
- изменяют для каждого элемента изображения параметры функции преобразования тонов, основываясь на анализе распределения тонов элементов локальной окружающей области, и таким образом, что параметры изменяются плавно для соседних элементов изображения;- change the parameters of the tone conversion function for each image element, based on the analysis of the distribution of tones of the elements of the local surrounding area, and so that the parameters change smoothly for neighboring image elements;
- преобразуют тон каждого элемента изображения с помощью функции преобразования тонов с параметрами, полученными для данного элемента изображения на предыдущем этапе.- convert the tone of each image element using the tone conversion function with the parameters obtained for this image element in the previous step.
Также технический результат достигается за счет разработки системы преобразования тонов плоских и объемных изображений.Also, the technical result is achieved by developing a system for converting tones of flat and three-dimensional images.
Заявляемая система содержит:The inventive system contains:
- модуль выбора функции преобразования тонов, выполненный с возможностью осуществления выбора типа функции и ряда параметров функции преобразования тонов на основе анализа распределения тонов всего изображения, при этом исходное изображение поступает на вход данного модуля, а функция преобразования тонов с рядом параметров передается в модуль изменения параметров функции преобразования тонов и в модуль преобразования тонов;- a tone conversion function selection module, configured to select a function type and a number of parameters of a tone conversion function based on an analysis of the distribution of tones of the entire image, while the original image is input to this module, and the tone conversion function with a number of parameters is transmitted to the parameter changing module tone conversion functions and into the tone conversion module;
- модуль изменения параметров функции преобразования тонов, выполненный с возможностью изменения парамеров функции преобразования тонов для каждого элемента изображения на основе анализа распределения тонов элементов локальной окружающей области, причем параметры изменяются плавно для соседних элементов изображения, исходное изображение и функция преобразования тонов с рядом параметров поступают на вход данного модуля, а измененные для каждого пиксела параметры функции преобразования тонов передаются в модуль преобразования тонов;- a module for changing the parameters of the tone conversion function, configured to change the parameters of the tone conversion function for each image element based on the analysis of the distribution of tones of the elements of the local surrounding area, the parameters changing smoothly for neighboring image elements, the original image and the tone conversion function with a number of parameters are sent to the input of this module, and the parameters of the tone conversion function changed for each pixel are transmitted to the tone conversion module at;
- модуль преобразования тонов, выполненный с возможностью преобразования тона каждого элемента изображения посредством функции преобразования тонов с параметрами, специфичными для данного элемента изображения и полученными из модуля изменения параметров функции преобразования тонов, причем на вход данного модуля поступают исходное изображение, функция преобразования тонов и измененные для каждого элемента изображения параметры данной функции.- a tone conversion module, configured to convert the tones of each image element by means of a tone conversion function with parameters specific to a given image element and obtained from a module for changing the parameters of a tone conversion function, and the input image, a tone conversion function and changed for each image element is the parameters of this function.
Далее сущность заявляемого изобретения поясняется в деталях со ссылками на графические материалы.Further, the essence of the claimed invention is explained in detail with reference to graphic materials.
Фиг.1. Блок-схема основных этапов способа преобразования тонов плоских и объемных изображений.Figure 1. The block diagram of the main steps of the method for converting tones of flat and three-dimensional images.
Фиг.2. Иллюстрация выбора параметров кубического слайна Эрмита, используемого в качестве функции преобразования тонов в предпочтительном варианте реализации изобретения.Figure 2. An illustration of a selection of parameters of a Hermite cubic slice used as a tone conversion function in a preferred embodiment of the invention.
Фиг.3. Блок-схема этапа изменения для каждого элемента изображения параметров функции преобразования тонов на основе анализа распределения тонов элементов локальной окружающей области, где параметры изменяются плавно для соседних элементов изображения.Figure 3. A block diagram of the change stage for each image element of the parameters of the tone conversion function based on the analysis of the distribution of tones of the elements of the local surrounding area, where the parameters change smoothly for neighboring image elements.
Фиг.4. Иллюстрация для предпочтительного варианта реализации изобретения этапа изменения для каждого элемента изображения параметров функции преобразования тонов.Figure 4. An illustration for a preferred embodiment of the invention a change step for each image element of the tone conversion function parameters.
Фиг.5. Пример преобразования тонов для сканированного изображения.Figure 5. An example of tone conversion for a scanned image.
Фиг.6. Блок-схема системы преобразования тонов плоских и объемных изображений.6. The block diagram of the system for converting tones of flat and three-dimensional images.
Фиг.7. Блок-схема модуля изменения параметров функции преобразования тонов.7. Block diagram of the module for changing the parameters of the tone conversion function.
Блок-схема основных этапов способа показана на фиг.1. На этапе 101 выбирают функцию преобразования тонов, основываясь на анализе распределения тонов элементов всего изображения. В плоских (или планарных) изображениях элементами изображения являются пикселы. Изобретение применимо как для черно-белых (в шкале серого), так и для цветных изображений. В объемных (вольюметрических) изображениях элементами изображения являются воксели. На этапе 102 изменяют для каждого элемента изображения (пикселя или вокселя) параметры функции преобразования тонов, основываясь на анализе распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения.A block diagram of the main steps of the method is shown in figure 1. At 101, a tone conversion function is selected based on an analysis of the distribution of tones of the elements of the entire image. In flat (or planar) images, image elements are pixels. The invention is applicable both for black and white (in the gray scale), and for color images. In volumetric (volumetric) images, image elements are voxels. At step 102, for each image element (pixel or voxel), the parameters of the tone conversion function are changed based on the analysis of the distribution of tones of the elements of the local surrounding area and so that the parameters change smoothly for neighboring image elements.
Для объемных изображений локальная область может быть как плоской, в каком либо из сечений, так и объемной. На этапе 103 преобразуют тон каждого элемента изображения с помощью функции преобразования тонов с параметрами специфичными для данного элемента изображения и полученными на предыдущем этапе.For volumetric images, the local region can be either flat, in any of the sections, or volumetric. At step 103, the tone of each image element is transformed using the tone conversion function with parameters specific to that image element and obtained in the previous step.
Этап выбора функции преобразования тонов (101) включает выбор типа функции и выбор значений неизменяемых параметров функции. Множество различных функций может быть использовано в качестве функции преобразования тонов (функций или кривых передачи уровней), например, это могут быть кусочно-линейные функции, гамма-коррекция, полиномиальные и функции S-образной формы. S-образные кривые позволяют увеличить как глобальный, так и локальный контраст изображения. Существуют десятки различных S-образных функций, например, сигмоидная функция, гиперболический тангенс, кубические полиномы и сплайны. В предпочтительном варианте реализации изобретения в качестве S-образной кривой используется кубический сплайн Эрмита, который в параметрической форме задается выражением:The step of selecting the tone conversion function (101) includes selecting the type of function and selecting values of the immutable parameters of the function. Many different functions can be used as a tone conversion function (functions or level transfer curves), for example, it can be piecewise linear functions, gamma correction, polynomial and S-shaped functions. S-shaped curves allow you to increase both global and local image contrast. There are dozens of different S-shaped functions, for example, a sigmoid function, hyperbolic tangent, cubic polynomials and splines. In a preferred embodiment of the invention, a Hermite cubic spline is used as an S-curve, which is defined in parametric form by the expression:
F(t)=(l-3t2+2t3)×P0+t2×(3-2t)×P1+t×(1-2t+t2)×Q0-t2×(1-t)×Q1,F (t) = (l-3t 2 + 2t 3 ) × P 0 + t 2 × (3-2t) × P 1 + t × (1-2t + t 2 ) × Q 0 -t 2 × (1- t) × Q 1 ,
где P0 - начальная точка кривой, P1 - конечная точка, Q0 и Q1 -направляющие вектора из начальной и конечной точки соответственно, параметр t изменяется от 0 до 1.where P 0 is the starting point of the curve, P 1 is the ending point, Q 0 and Q 1 are the direction vectors from the starting and ending points, respectively, the parameter t varies from 0 to 1.
Фиг.2 иллюстрирует способ выбора ряда параметров кубического сплайна Эрмита на основе анализа распределения тонов элементов всего изображения. Функция преобразования тонов 201, т.е. зависимость значения тона на выходе от значения на входе, нормализована в диапазон [0, 1], значения y-координат (ось значений на выходе) начальной и конечной точек кривой жестко заданы P0y=0 и P0y=1. Для того чтобы вычислить значения х-координат (ось значений на входе) начальной и конечной точек кривой Р0х и P1x анализируется Н-глобальная гистограмма яркости изображения 202. Начальная точка кривой Р0х соответствует самым темным тонам изображения (так называемой, точке черного):Figure 2 illustrates a method for selecting a number of parameters of a Hermite cubic spline based on an analysis of the distribution of tones of the elements of the entire image.
где Н0, С0 и D - пороговые значения соответственно по уровню гистограммы, по площади гистограммы и по яркости. Порог D вводят, чтобы избежать излишнего затемнения изображения.where H 0 , C 0 and D are threshold values, respectively, by the level of the histogram, by the area of the histogram, and by brightness. Threshold D is introduced to avoid excessive dimming of the image.
Конечная точка кривой Р1х соответствует самым светлым тонам изображения (так называемой точке белого):The end point of the P 1x curve corresponds to the lightest tones of the image (the so-called white point):
где H1 и С1 - пороговые значения соответственно по уровню и по площади гистограммы.where H 1 and C 1 are threshold values, respectively, in terms of level and area of the histogram.
Конечная и начальная точка являются фиксированными для всего изображения. Это обеспечивает повышение глобального контраста изображения. Для того чтобы кубический сплайн Эрмита имел S-образную форму, вектора Q0 и Q1 должны быть направлены вправо-вверх так, как это показано на фиг.2. Значения этих векторов изменяются для каждого элемента изображения и зависят от глобального и локального порогов бинаризации между тонами элементов переднего плана и фона всего изображения и локальной области. Известно множество способов адаптивного вычисления порога бинаризации. В предпочтительном варианте реализации изобретения используется хорошо известный способ Оцу (Otsu) согласно статье N.Otsu, "А threshold selection method from grey level histogram", IEEE Transactions on System Man Cybernetics, vol. 9 no. 1, 1979, pp.62-66 [8].The end and start points are fixed for the whole image. This provides an increase in global image contrast. In order for the Hermite’s cubic spline to be S-shaped, the vectors Q 0 and Q 1 must be directed up and down as shown in FIG. The values of these vectors vary for each image element and depend on the global and local binarization thresholds between the tones of the foreground elements and the background of the entire image and the local area. There are many ways to adaptively calculate the threshold of binarization. In a preferred embodiment of the invention, the well-known Otsu method is used according to N. Otsu, “A threshold selection method from gray level histogram”, IEEE Transactions on System Man Cybernetics, vol. 9 no. 1, 1979, pp. 62-66 [8].
Фиг.3 демонстрирует блок-схему этапа (102) изменения для каждого элемента изображения параметров функции преобразования тонов на основе анализа распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения. На шаге 301 изображение разбивается на локальные перекрывающиеся области. Анализ для каждой локальной области распределения тонов элементов переднего плана и фона выполняют на шаге 302. Шаг 303 - это формирование матрицы с параметрами функции преобразования тонов, где каждый элемент матрицы соответствует локальной области и зависит от результата анализа распределения тонов элементов переднего плана и фона в этой области. На шаге 304 сглаживают матрицу с параметрами функции преобразования тонов для обеспечения плавного изменения тонов между соседними локальными областями. Извлечение с помощью интерполяции параметров функции из сглаженной матрицы с параметрами функции преобразования тонов для каждого элемента изображения выполняют на шаге 305.FIG. 3 shows a flowchart of a step (102) of changing, for each image element, parameters of a tone conversion function based on an analysis of the distribution of tones of the elements of the local surrounding area and so that the parameters change smoothly for adjacent image elements. At
Фиг.4 иллюстрирует этап 102 для предпочтительного варианта реализации изобретения. Исходное изображение 401 разбивается на перекрывающиеся области. В качестве примера показаны 3 такие области: 402, 403 и 404. Для каждой локальной области вычисляется гистограмма яркости тонов. На фиг.4 гистограмма 405 соответствует области 402, гистограмма 406 соответствует области 403, а гистограмма 407 соответствует области 404. Для каждой гистограммы, т.е. распределения тонов, вычисляются ширина диапазона тонов W1 в данной локальной области и порог бинаризации Оцу Tl (см. [8]). Если ширина диапазона тонов меньше, чем предопределенное значение, как, например, на гистограмме 405, то предполагается, что в данной локальной области есть элементы только переднего плана или только фона. В этом случае в соответствующую ячейку матрицы 408 с параметрами функции преобразования тонов записывают глобальный порог бинаризации Т. Если ширина диапазона тонов больше, чем предопределенное значение, как, например, на гистограммах 406 и 407, то предполагается, что в данной локальной области есть элементы и переднего плана, и фона. В этом случае в сответствующую ячейку матрицы 408 с параметрами функции преобразования тонов записывают локальный порог бинаризации Т1. Заметим, что нет необходимости определять, какие именно элементы изображения относятся к переднему плану или фону. Достаточно определить, есть ли в данной локальной области одновременно элементы, относящиеся к обоим этим классам или только к одному из этих классов. Сглаживание матрицы 408 с параметрами функции преобразования тонов выполняют с помощью усредняющего фильтра низких частот. В результате получается сглаженная матрица 409, значения которой влияют на значения векторов Q0 и Q1 кубического сплайна Эрмита 411 при обработке каждого элемента изображения 410 следующим образом:4 illustrates step 102 for a preferred embodiment of the invention. The
Если (K>0.5), то Q0x=1+A×(K-0.5); Q0y=0; Qlx=l; Qly=0;If (K> 0.5), then Q 0x = 1 + A × (K-0.5); Q 0y = 0; Q lx = l; Q ly = 0;
где А коэффициент в диапазоне от 1 до 6, K извлекают из матрицы с параметрами функции преобразования тонов с помощью билинейной интерполяции.where A is a coefficient in the range from 1 to 6, K is extracted from the matrix with the parameters of the tone conversion function using bilinear interpolation.
Описанный подход обеспечивает различную форму S-образной функции преобразования тонов для каждого пиксела изображения и плавное изменение функции для соседних пикселов изображения, что ведет к увеличению глобального и локального контраста изображения без формирования заметных нежелательных артефактов/искажений.The described approach provides a different shape of the S-shaped tone conversion function for each image pixel and a smooth change of function for neighboring image pixels, which leads to an increase in global and local image contrast without generating noticeable unwanted artifacts / distortions.
Пример преобразования тонов для сканированного изображения показан на фиг.5, где 5.1 - исходное изображение, 5.2 -результат преобразования тонов.An example of tone conversion for a scanned image is shown in FIG. 5, where 5.1 is the original image, 5.2 is the result of the tone conversion.
Блок-схема модулей системы показана на фиг.6. Модуль выбора функции преобразования тонов (601) выбирает тип функции и ряд параметров функции преобразования тонов, основываясь на анализе распределения тонов всего изображения. На вход данного модуля поступает исходное изображение. Результат работы модуля - функция преобразования тонов с рядом параметров передается в модуль изменения параметров функции преобразования тонов (602) и в модуль преобразования тонов (603). Модуль изменения параметров функции преобразования тонов изменяет для каждого элемента изображения параметры функции преобразования тонов на основе анализа распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения. На вход данного модуля поступают исходное изображение и функция преобразования тонов с рядом параметров. Измененные для каждого пиксела параметры функции преобразования тонов передаются в модуль преобразования тонов. Модуль преобразования тонов преобразует тон каждого элемента изображения посредством функции преобразования тонов с параметрами, специфичными для данного элемента изображения и полученными из модуля изменения параметров функции преобразования тонов. На вход данного модуля поступают исходное изображение, функция преобразования тонов и измененные для каждого элемента изображения параметры данной функции.The block diagram of the system modules is shown in Fig.6. The tone conversion function selection module (601) selects the type of function and a number of parameters of the tone conversion function based on the analysis of the tone distribution of the whole image. The input image of this module receives the original image. The result of the module - the tone conversion function with a number of parameters is transmitted to the module for changing the parameters of the tone conversion function (602) and to the tone conversion module (603). The module for changing the parameters of the tone conversion function changes for each image element the parameters of the tone conversion function based on the analysis of the distribution of tones of the elements of the local surrounding area and so that the parameters change smoothly for neighboring image elements. The input image and the tone conversion function with a number of parameters are input to this module. The parameters of the tone conversion function changed for each pixel are transferred to the tone conversion module. The tone conversion module converts the tone of each image element through the tone conversion function with parameters specific to the given image element and obtained from the module for changing the parameters of the tone conversion function. The input image, the tone conversion function, and the parameters of this function changed for each image element are input to this module.
На фиг.7 показана блок-схема модуля изменения параметров функции преобразования тонов (602) заявляемой системы. Модуль разбиения изображения на области (701) разбивает изображение на перекрывающиеся локальные плоские/объемные области. На вход модуля поступает исходное изображение. Локальные области передаются в модуль анализа изображения (702). Модуль анализа изображения анализирует для каждой локальной области распределение тонов элементов переднего плана и фона. На вход модуля поступают локальные области изображения. Результаты анализа распределения тонов передаются в модуль генерации матрицы параметров функции преобразования тонов (703). Модуль генерации матрицы параметров функции преобразования тонов генерирует матрицу параметров функции преобразования тонов, где каждой локальной области соотвествует элемент матрицы, зависящий от распределения тонов элементов переднего плана и фона в данной локальной области. На вход модуля поступают результаты анализа распределения тонов. Матрица параметров функции преобразования тонов передается в модуль сглаживания (704). Модуль сглаживания выполняет низкочастотную фильтрацию матрицы параметров функции преобразования тонов.7 shows a block diagram of a module for changing the parameters of the tone conversion function (602) of the inventive system. The module for dividing the image into regions (701) divides the image into overlapping local plane / volume regions. The input image receives the original image. Local areas are transmitted to the image analysis module (702). The image analysis module analyzes for each local area the distribution of tones of the foreground and background elements. The input area of the module receives local areas of the image. The results of the analysis of the tone distribution are transmitted to the module generating the matrix of parameters of the tone conversion function (703). The module for generating the matrix of parameters for the tone conversion function generates a matrix of parameters for the tone conversion function, where each local area corresponds to a matrix element depending on the distribution of tones of the foreground and background elements in this local area. The input of the module receives the results of the analysis of the distribution of tones. The matrix of parameters of the tone conversion function is transmitted to the smoothing module (704). The smoothing module performs low-pass filtering of the matrix of parameters of the tone conversion function.
Все перечисленные модули системы могут быть выполнены в виде системы на кристалле (SoC), программируемой логической матрицы (FPGA) или специализированной интегральной схемы (ASIC). Функции данных модулей понятны из их описания, а также из описания заявляемого способа преобразования тонов плоских и объемных изображений.All of the listed system modules can be made in the form of a system on a chip (SoC), a programmable logic array (FPGA), or a specialized integrated circuit (ASIC). The functions of these modules are clear from their description, as well as from the description of the proposed method for converting tones of flat and three-dimensional images.
Таким образом, заявляемые способ и система комбинируют глобальную и локальную коррекцию тонов за счет выбора функции преобразования тонов, ряд параметров которой фиксирован для всего изображения, а ряд изменяется для локальной области в зависимости от распределения тонов в данной области. Использование перекрывающихся локальных областей, сглаживание матрицы с параметрами функции преобразования тонов и применение билинейной интерполяции при извлечении параметров из матрицы обеспечивают плавное изменение функции, как между соседними локальными областями, так и между соседними элементами изображения, гарантируя, таким образом, отсутствие заметных артефактов и искажений.Thus, the inventive method and system combine global and local tone correction by selecting a tone conversion function, a number of parameters of which are fixed for the whole image, and the series changes for the local area depending on the distribution of tones in this area. The use of overlapping local regions, smoothing the matrix with the parameters of the tone conversion function, and applying bilinear interpolation when extracting parameters from the matrix provide a smooth change in the function both between adjacent local regions and between neighboring image elements, thus guaranteeing the absence of noticeable artifacts and distortions.
Также, в отличие от существующих способов, заявляемый способ в предпочтительном варианте реализации использует S-образный кубический сплайн Эрмита в качестве функции преобразования тонов. Установка единых для всего изображения начальной и конечной точек сплайна обеспечивает повышение глобального контраста. Управляющие вектора зависят от распределения тонов в локальной области и адаптивно регулируют форму кривой.Also, unlike existing methods, the inventive method in a preferred embodiment uses an Hermite S-shaped cubic spline as a tone conversion function. Setting the start and end points of the spline that are common to the entire image provides an increase in global contrast. The control vectors depend on the distribution of tones in the local region and adaptively adjust the shape of the curve.
При этом большинство существующих методов предназначены для обработки только плоских (2D) изображений, в то время как заявляемые способ и система могут использоваться для улучшения качества как плоских, так и объемных (волюметрических) цветных и монохромных изображений.Moreover, most existing methods are designed to process only flat (2D) images, while the inventive method and system can be used to improve the quality of both flat and three-dimensional (volumetric) color and monochrome images.
Изобретение, в первую очередь, предназначено для улучшения визуального качества сканированных изображений в сканерах и копирах. Особенно эффективно использование данного изобретения для улучшения копирования оригиналов, содержащих одновременно слабоконтрастный текст или графику в областях светлого и темного фона. Также изобретение может быть использовано для улучшения визуального качества фотографий в любых устройствах для фотографирования и просмотра фотографий, например в мобильных устройствах с камерой, цифровых фотокамерах, телевизорах и мониторах. Кроме того, предлагаемые система и способ могут быть использованы для улучшения визуального качества объемных медицинских изображений, например, при визуализации томографических изображений.The invention is primarily intended to improve the visual quality of scanned images in scanners and copiers. Especially effective is the use of this invention to improve copying of originals containing simultaneously low-contrast text or graphics in areas of light and dark background. Also, the invention can be used to improve the visual quality of photos in any device for photographing and viewing photos, for example in mobile devices with a camera, digital cameras, televisions and monitors. In addition, the proposed system and method can be used to improve the visual quality of volumetric medical images, for example, when visualizing tomographic images.
Хотя указанный выше вариант реализации изобретения был изложен с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие за рамки объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.Although the above embodiment of the invention has been set forth for the purpose of illustration, it is clear to those skilled in the art that various modifications, additions and substitutions are possible without departing from the scope and meaning of the present invention disclosed in the attached claims.
Claims (12)
- выбирают функцию преобразования тонов на основе анализа распределения тонов элементов всего изображения.
- изменяют для каждого элемента изображения параметры функции преобразования тонов, основываясь на анализе распределения тонов элементов локальной окружающей области и таким образом, что параметры изменяются плавно для соседних элементов изображения;
- преобразуют тон каждого элемента изображения с помощью функции преобразования тонов с параметрами, полученными для данного элемента изображения на предыдущем этапе.1. The method of converting tones of flat and three-dimensional images, providing for the following operations:
- choose the function of the conversion of tones based on the analysis of the distribution of tones of the elements of the whole image.
- change the parameters of the tone conversion function for each image element, based on the analysis of the distribution of tones of the elements of the local surrounding area and so that the parameters change smoothly for neighboring image elements;
- convert the tone of each image element using the tone conversion function with the parameters obtained for this image element in the previous step.
- выбирают тип функции;
- выбирают значения неизменяемых параметров функции;2. The method according to claim 1, characterized in that the choice of the tone conversion function involves the following operations:
- choose the type of function;
- choose the values of the immutable parameters of the function;
F(t)=(1-3t2+2t3)×P0+t2×(3-2t)×P1+t×(1-2t+t2)×Q0-t2×(1-t)×Q1,
где начальная точка P0 зависит от значения самых темных тонов всего изображения, конечная точка P1 зависит от значения самых светлых тонов всего изображения, вектора Q0 и Q1 зависят от глобального и локального порогов бинаризации между тонами элементов переднего плана и фона всего изображения и локальной области.4. The method according to claim 1, characterized in that as a function of an S-shaped shape, a Hermite cubic spline is selected:
F (t) = (1-3t 2 + 2t 3 ) × P 0 + t 2 × (3-2t) × P 1 + t × (1-2t + t 2 ) × Q 0 -t 2 × (1- t) × Q 1 ,
where the starting point P 0 depends on the values of the darkest tones of the whole image, the end point P 1 depends on the values of the lightest tones of the whole image, the vectors Q 0 and Q 1 depend on the global and local binarization thresholds between the tones of the foreground elements and the background of the whole image and local area.
- разбивают изображение на локальные перекрывающиеся области;
- анализируют для каждой локальной области распределение тонов элементов переднего плана и фона;
- формируют матрицу с параметрами функции преобразования тонов, где каждый элемент матрицы соответствует локальной области и зависит от результата анализа распределения тонов элементов переднего плана и фона в этой области;
- сглаживают матрицу с параметрами функции преобразования тонов для обеспечения плавного изменения тонов между соседними локальными областями;
- извлекают с помощью интерполяции параметры функции из сглаженной матрицы с параметрами функции преобразования тонов для каждого элемента изображения.5. The method according to claim 1, characterized in that the change for each image element of the parameters of the tone conversion function consists of the following steps:
- break the image into local overlapping areas;
- analyze for each local area the distribution of tones of the elements of the foreground and background;
- form a matrix with the parameters of the tone conversion function, where each matrix element corresponds to a local area and depends on the result of the analysis of the distribution of tones of the foreground elements and the background in this area;
- smooth the matrix with the parameters of the tone conversion function to ensure a smooth change of tones between neighboring local areas;
- extracting by interpolation the parameters of the function from the smoothed matrix with the parameters of the tone conversion function for each image element.
где А коэффициент в диапазоне от 1 до 6, K извлекают из матрицы с параметрами функции преобразования тонов с помощью интерполяции.10. The method according to claim 1, characterized in that when converting the tone of each image element using a cubic Hermite curve, the following parameters are used: the starting point P 0 depends on the value of the darkest tones of the whole image, the end point P 1 depends on the value of the lightest tones of the whole image, vectors Q 0 (Q 0x , Q 0y ) and Q 1 (Q 1x , Q 1y ) depend on the values in the matrix with the parameters of the tone conversion function:
where A is a coefficient in the range from 1 to 6, K is extracted from the matrix with the parameters of the tone conversion function using interpolation.
- модуль выбора функции преобразования тонов, выполненный с возможностью осуществления выбора типа функции и ряда параметров функции преобразования тонов на основе анализа распределения тонов всего изображения, при этом исходное изображение поступает на вход данного модуля, а функция преобразования тонов с рядом параметров передается в модуль изменения параметров функции преобразования тонов и в модуль преобразования тонов;
- модуль изменения параметров функции преобразования тонов, выполненный с возможностью изменения параметров функции преобразования тонов для каждого элемента изображения на основе анализа распределения тонов элементов локальной окружающей области, причем параметры изменяются плавно для соседних элементов изображения, исходное изображение и функция преобразования тонов с рядом параметров поступают на вход данного модуля, а измененные для каждого пиксела параметры функции преобразования тонов передаются в модуль преобразования тонов;
- модуль преобразования тонов, выполненный с возможностью преобразования тона каждого элемента изображения посредством функции преобразования тонов с параметрами, специфичными для данного элемента изображения и полученными из модуля изменения параметров функции преобразования тонов, причем на вход данного модуля поступают исходное изображение, функция преобразования тонов и измененные для каждого элемента изображения параметры данной функции.11. A system for converting tones of flat and three-dimensional images, which contains:
- a tone conversion function selection module, configured to select a function type and a number of parameters of a tone conversion function based on an analysis of the distribution of tones of the entire image, while the original image is input to this module, and the tone conversion function with a number of parameters is transmitted to the parameter changing module tone conversion functions and into the tone conversion module;
- a module for changing the parameters of the tone conversion function, configured to change the parameters of the tone conversion function for each image element based on the analysis of the distribution of tones of the elements of the local surrounding area, the parameters changing smoothly for adjacent image elements, the original image and the tone conversion function with a number of parameters are sent to the input of this module, and the parameters of the tone conversion function changed for each pixel are transferred to the tone conversion module s;
- a tone conversion module, configured to convert the tones of each image element by means of a tone conversion function with parameters specific to a given image element and obtained from a module for changing the parameters of a tone conversion function, and the input image, a tone conversion function and changed for each image element is the parameters of this function.
- модуль разбиения изображения на области разбивает изображение на перекрывающиеся локальные плоские/объемные области, на вход модуля поступает исходное изображение, локальные области передаются в модуль анализа изображения;
- модуль анализа изображения анализирует для каждой локальной области распределение тонов элементов переднего плана и фона, на вход модуля поступают локальные области изображения, результаты анализа распределения тонов передаются в модуль генерации матрицы параметров функции преобразования тонов;
- модуль генерации матрицы параметров функции преобразования тонов генерирует матрицу параметров функции преобразования тонов, где каждой локальной области соответствует элемент матрицы, зависящий от распределения тонов элементов переднего плана и фона в данной локальной области, на вход модуля поступают результаты анализа распределения тонов, матрица параметров функции преобразования тонов передается в модуль сглаживания;
- модуль сглаживания выполняет низкочастотную фильтрацию матрицы параметров функции преобразования тонов. 12. The system according to claim 11, characterized in that the module for changing the parameters of the tone conversion function contains:
- the module for dividing the image into regions divides the image into overlapping local flat / volume regions, the original image is fed to the input of the module, local regions are transmitted to the image analysis module;
- the image analysis module analyzes for each local region the distribution of tones of the foreground and background elements, the local image regions arrive at the input of the module, the results of the analysis of the distribution of tones are transmitted to the module generating the matrix of parameters of the tone conversion function;
- the module generating the matrix of parameters of the tone conversion function generates a matrix of parameters of the tone conversion function, where each local area corresponds to a matrix element that depends on the distribution of tones of the foreground and background elements in this local area, the results of the analysis of the distribution of tones, the matrix of parameters of the conversion function are input to the module tones are transmitted to the smoothing module;
- the smoothing module performs low-pass filtering of the matrix of parameters of the tone conversion function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012144223/08A RU2509366C1 (en) | 2012-10-17 | 2012-10-17 | System and method of converting hue of flat and three-dimensional images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012144223/08A RU2509366C1 (en) | 2012-10-17 | 2012-10-17 | System and method of converting hue of flat and three-dimensional images |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2509366C1 true RU2509366C1 (en) | 2014-03-10 |
Family
ID=50192205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012144223/08A RU2509366C1 (en) | 2012-10-17 | 2012-10-17 | System and method of converting hue of flat and three-dimensional images |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2509366C1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1022679A2 (en) * | 1995-10-30 | 2000-07-26 | Hewlett-Packard Company | Image processing system |
US6771814B1 (en) * | 1999-10-15 | 2004-08-03 | Riso Kagaku Corporation | Image processing device and image processing method |
US20070279500A1 (en) * | 2006-06-05 | 2007-12-06 | Stmicroelectronics S.R.L. | Method for correcting a digital image |
RU2338330C2 (en) * | 2004-05-27 | 2008-11-10 | Сони Корпорейшн | Device for image processing, method for image processing and computer program |
US20090097747A1 (en) * | 2007-10-10 | 2009-04-16 | Himax Technologies Limited | Method of image processing and device thereof |
-
2012
- 2012-10-17 RU RU2012144223/08A patent/RU2509366C1/en not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1022679A2 (en) * | 1995-10-30 | 2000-07-26 | Hewlett-Packard Company | Image processing system |
US6463173B1 (en) * | 1995-10-30 | 2002-10-08 | Hewlett-Packard Company | System and method for histogram-based image contrast enhancement |
US6771814B1 (en) * | 1999-10-15 | 2004-08-03 | Riso Kagaku Corporation | Image processing device and image processing method |
RU2338330C2 (en) * | 2004-05-27 | 2008-11-10 | Сони Корпорейшн | Device for image processing, method for image processing and computer program |
US20070279500A1 (en) * | 2006-06-05 | 2007-12-06 | Stmicroelectronics S.R.L. | Method for correcting a digital image |
US20090097747A1 (en) * | 2007-10-10 | 2009-04-16 | Himax Technologies Limited | Method of image processing and device thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9218653B2 (en) | Method and apparatus for dynamic range enhancement of an image | |
KR101314453B1 (en) | Visual processing device, visual processing method, program, display device, and integrated circuit | |
EP3155593B1 (en) | Method and device for color processing of digital images | |
TW200541311A (en) | Segmentation method and system for scanned documents | |
US20180054548A1 (en) | Apparatus and Method for Color Calibration | |
US6813041B1 (en) | Method and apparatus for performing local color correction | |
JP6818463B2 (en) | Image processing equipment, image processing methods and programs | |
JP6623832B2 (en) | Image correction apparatus, image correction method, and computer program for image correction | |
US9613403B2 (en) | Image processing apparatus and method | |
US10091422B2 (en) | Image processing device and recording medium | |
JP2014170570A (en) | Method for processing highlight area and saturation area in digital image | |
JP2014153959A (en) | Image processing device, image processing method, program, and storage medium | |
JP6611576B2 (en) | Image processing apparatus and image processing method | |
WO2020210472A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
JP2019047169A (en) | Apparatus, method, and program for generating high dynamic range image | |
US8818086B2 (en) | Method for improving the visual perception of a digital image | |
KR20190073516A (en) | Image processing apparatus, digital camera, image processing program, and recording medium | |
US9235773B2 (en) | Image processing device capable of determining types of images accurately | |
KR101349968B1 (en) | Image processing apparatus and method for automatically adjustment of image | |
JP2004133919A (en) | Device and method for generating pseudo three-dimensional image, and program and recording medium therefor | |
JP2000099717A (en) | Picture quality adjusting device, its method and recording medium recorded with image adjusting program | |
JP4369030B2 (en) | Image correction method and apparatus, and computer-readable recording medium storing image correction program | |
RU2509366C1 (en) | System and method of converting hue of flat and three-dimensional images | |
EP3038057A1 (en) | Methods and systems for color processing of digital images | |
JP4719559B2 (en) | Image quality improving apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20151018 |