RU2429584C1

RU2429584C1 - Method of digital imaging

Info

Publication number: RU2429584C1
Application number: RU2010107167/09A
Authority: RU
Inventors: Валентин Георгиевич Колобродов (UA); Валентин Георгиевич Колобродов; Диана Александровна Пивторак (UA); Диана Александровна Пивторак; Александр Петрович Подолян (UA); Александр Петрович Подолян
Original assignee: Общество С Ограниченной Ответственностью "Нпип Киатон"
Priority date: 2010-02-26
Filing date: 2010-02-26
Publication date: 2011-09-20

Abstract

FIELD: physics. ^ SUBSTANCE: set of object images are produced that differ in exposure. Then, data from adjacent pixel of digital image from obtained set is loaded into every pixel of resultant image. Said pixel of obtained set features calculated or measured parameter value that define efficiency of shooting being at its maximum. ^ EFFECT: higher-quality image to be displayed at limited dynamic range instruments. ^ 5 cl, 1 dwg

Description

Изобретение относится к технике получения цифровых изображений объекта с широким диапазоном яркости, преимущественно в аэрофотографических и разведывательных целях.The invention relates to techniques for obtaining digital images of an object with a wide range of brightness, mainly for aerial photography and reconnaissance purposes.

В большинстве случаев технической съемки (например, рентгеновская или аэросъемка) результирующее изображение формируется за счет совокупности малоконтрастных объектов наблюдения, находящихся в большом диапазоне яркостей. Основной причиной информационных потерь при съемке данных объектов является несоответствие динамического диапазона входного сигнала динамическому диапазону регистратора изображения. Это объясняется действием ряда факторов: перепад освещенности за счет теней от облаков, естественных и искусственных сооружений, дыма от заводских труб и других предметов; наличие в поле зрения съемочной камеры «бликующих» зеркально отражающих, в том числе водных поверхностей; широкий диапазон изменения коэффициента яркости естественных объектов съемки (от 0,02 для чернозема до 1,0 для свежевыпавшего снега); малый динамический диапазон приемников оптического излучения, используемых в съемочных камерах для регистрации изображения.In most cases of technical shooting (for example, X-ray or aerial photography), the resulting image is formed due to a combination of low-contrast objects of observation that are in a wide range of brightnesses. The main reason for information loss when shooting these objects is the discrepancy between the dynamic range of the input signal and the dynamic range of the image recorder. This is due to several factors: the difference in illumination due to shadows from clouds, natural and artificial structures, smoke from factory chimneys and other objects; the presence in the field of view of the film camera of "glare" specularly reflecting, including water surfaces; a wide range of variation of the brightness coefficient of natural objects of shooting (from 0.02 for chernozem to 1.0 for freshly fallen snow); small dynamic range of optical radiation receivers used in shooting cameras for image registration.

Известен способ расширения динамического диапазона передаваемых градаций яркости и/или освещенности в телевизионной системе (патент РФ 2199827). Весь световой диапазон регистрируется несколькими параллельными каналами, имеющими различную настройку. Способ не рассматривает обработку полученного сигнала для дальнейшей визуализации на приборах с малым динамическим диапазоном выходного сигнала.A known method of expanding the dynamic range of the transmitted gradations of brightness and / or illumination in a television system (RF patent 2199827). The entire light range is recorded by several parallel channels with different settings. The method does not consider processing the received signal for further visualization on devices with a small dynamic range of the output signal.

Известен способ получения изображения объекта с большим диапазоном яркости (патент Украины 87415). Экспонирование светочувствительного материала осуществляют через частотно избирательную фильтр-маску, которую предварительно строят на прозрачном элементе из фотохромного материала. Маска представляет собой нерезкое негативное изображение того же объекта. Использование способа предусматривает наличие дополнительного оптико-электронного канала и отличается сложностью из-за необходимости проведения точных котировочных работ по совмещению изображений, формируемых оптическим и оптико-электронным каналами.A known method of obtaining an image of an object with a large range of brightness (Ukrainian patent 87415). The exposure of the photosensitive material is carried out through a frequency selective filter mask, which is previously built on a transparent element of photochromic material. The mask is a blurry negative image of the same object. Using the method involves the presence of an additional optoelectronic channel and is difficult because of the need for accurate quotation work to combine images formed by the optical and optoelectronic channels.

Для минимизации потерь информации при регистрации цифровых изображений применяется технология HDR (High Dynamic Range), предусматривающая формирование изображений с большим динамическим диапазоном. Чаще всего, такие изображения формируют из нескольких изображений с малым динамическим диапазоном LDR (Low Dynamic Range), полученных в результате съемки одного и того же сюжета при разных уровнях средней экспозиции (так называемого брекетинга экспозиции). Вместе с тем, не смотря на явные преимущества, применение изображений с большим динамическим диапазоном вызывает проблемы для их использования с целью дешифрирования при отображении на приборах с ограниченным динамическим диапазоном выходного сигнала (мониторы, фотопринтеры и т.д). В связи с этим, сформированные HDR изображения требуют дополнительного сжатия до требуемого уровня. Известны различные способы, позволяющие получить изображение, удобное для дальнейшей визуальной обработки.To minimize information loss when recording digital images, HDR (High Dynamic Range) technology is used, which provides for the formation of images with a large dynamic range. Most often, such images are formed from several images with a low dynamic range LDR (Low Dynamic Range), obtained as a result of shooting the same scene at different levels of average exposure (the so-called exposure bracketing). At the same time, despite the obvious advantages, the use of images with a large dynamic range causes problems for their use for decryption when displayed on devices with a limited dynamic range of the output signal (monitors, photo printers, etc.). In this regard, the generated HDR images require additional compression to the desired level. Various methods are known for obtaining an image convenient for further visual processing.

Известен способ получения изображения (патент США 6.822.762), выбранный в качестве прототипа заявляемого изобретения. Способ сводится к обработке изображения с большим диапазоном выходного сигнала. В свою очередь, изображение с большим диапазоном выходного сигнала может быть предварительно получено известными способами из нескольких изображений одного и того же объекта, сформированных в результате брекетинга экспозиции. Изображение строят следующим образом. Предварительно создают маску в виде размытого изображения яркостного канала. Для размытия используют линейный фильтр низких частот. Далее, значение каждой компоненты изображения попиксельно преобразуется с учетом значения маски. Предложенный способ позволяет усилить темные места изображения и ослабить светлые, снижая макроконтраст изображения, повышая контраст мелких деталей. Использование способа позволяет существенно улучшить изображение, приведя его к удобному для визуального восприятия виду. Кроме того, сужение динамического диапазона исходного изображения происходит за счет низкочастотных составляющих входного сигнала, не несущих, как правило, информацию, полезную дешифровщику. Основным недостатком способа является наличие эффекта оконтуривания контрастных деталей, известного под термином «halo». Кроме того, по существу, способ не гарантирует получение наиболее информативных изображений, наиболее интересных дешифровщику. Параметр, определяющий эффективность съемки, далеко не всегда определяется только уровнем экспозиции. Чаще всего, эффективность съемки оценивают по информационной емкости снимка или его разрешающей способности. На характеристической кривой приемника оптического изображения (например, матрицы ПЗС) существует достаточно узкий интервал экспозиций, для которого разрешающая способность изображения имеет максимальное значение. В зоне малых и больших экспозиций разрешающая способность падает за счет снижения контраста изображения из-за нелинейности характеристической кривой. В области больших экспозиций имеет место насыщение, малых - доминирующее значение на разрешающую способность оказывают шумы. Однако и другие звенья фотоаппарата оказывают влияние на качество получаемого изображения. Например, фрагмент объекта, изображение которого находится в зоне оптимальных экспозиций на характеристической кривой фотоприемника на одном снимке, может иметь более низкую разрешающую способность, чем тот же фрагмент объекта на другом снимке, изображение которого находится в другой зоне экспозиций. Это может определяться, например, различными выдержками при съемке. В первом случае, нескомпенсированный смаз изображения может оказать более существенное влияние на разрешающую способность, чем неоптимальная экспозиция. Таким образом, с точки зрения дешифрирования, наибольший интерес представляет не изображение, физически точно отображающее объект, а изображение, несущее максимальную информацию о деталях данного объекта.A known method of obtaining images (US patent 6.822.762), selected as a prototype of the claimed invention. The method boils down to image processing with a large output signal range. In turn, an image with a large output signal range can be preliminarily obtained by known methods from several images of the same object formed as a result of exposure bracketing. The image is constructed as follows. Pre-create a mask in the form of a blurred image of the luminance channel. A linear low-pass filter is used for blurring. Further, the value of each image component is converted pixel by pixel based on the value of the mask. The proposed method allows you to enhance the dark areas of the image and weaken the light, reducing the macro contrast of the image, increasing the contrast of small details. Using the method allows to significantly improve the image, leading it to a form convenient for visual perception. In addition, the narrowing of the dynamic range of the original image occurs due to the low-frequency components of the input signal, which do not, as a rule, carry information useful to the decoder. The main disadvantage of this method is the presence of the contouring effect of contrasting parts, known under the term "halo". In addition, essentially, the method does not guarantee the receipt of the most informative images that are most interesting to the decoder. The parameter that determines the effectiveness of shooting is far from always determined only by the level of exposure. Most often, shooting efficiency is estimated by the information capacity of the image or its resolution. On the characteristic curve of the optical image receiver (for example, a CCD), there is a fairly narrow exposure range for which the image resolution has a maximum value. In the area of small and large exposures, the resolution decreases due to a decrease in image contrast due to the non-linearity of the characteristic curve. In the field of large exposures, saturation takes place, and for small exposures, noise dominates the resolution. However, other parts of the camera affect the quality of the resulting image. For example, a fragment of an object whose image is in the optimal exposure zone on the characteristic curve of the photodetector in one image may have a lower resolution than the same fragment of the object in another image whose image is in a different exposure zone. This can be determined, for example, by various shutter speeds when shooting. In the first case, uncompensated image blur may have a more significant effect on resolution than non-optimal exposure. Thus, from the point of view of decryption, the most interesting is not the image that physically accurately displays the object, but the image that carries the maximum information about the details of this object.

В основу изобретения положена задача повышения качества изображения объекта съемки, предназначенного для визуализации на приборах с ограниченным динамическим диапазоном за счет составления его из наиболее информативных элементов изображений объекта, полученных при одинаковых внешних условиях и разных экспозициях. Это позволяет получить изображение с малым динамическим диапазоном, удобное для дальнейшего дешифрирования.The basis of the invention is the task of improving the image quality of the subject, intended for visualization on devices with a limited dynamic range by compiling it from the most informative elements of the image of the object obtained under the same external conditions and different exposures. This allows you to get an image with a small dynamic range, convenient for further decryption.

Поставленная задача решается за счет того, что в способе получения цифрового изображения объекта, заключающемся в формировании серии цифровых изображений одного и того же объекта, полученных при разных уровнях экспозиции с дальнейшим построением результирующего цифрового изображения, в соответствии с изобретением сначала для каждого пикселя каждого цифрового изображения рассчитывают или измеряют значение параметра, определяющего эффективность фотосъемки, используя информацию от совокупности пикселей участка изображения, содержащей требуемый пиксель, и отстоящих от него на заданном расстоянии, после чего попиксельно строят результирующее изображение, при этом в каждый пиксель результирующего изображения заносят информацию из сопряженного ему пикселя цифрового изображения, для которого ранее полученное значение параметра, определяющего эффективность фотосъемки, имеет максимальное значение.The problem is solved due to the fact that in the method of obtaining a digital image of an object, which consists in forming a series of digital images of the same object obtained at different exposure levels with further construction of the resulting digital image, in accordance with the invention, first for each pixel of each digital image calculate or measure the value of a parameter that determines the effectiveness of photography using information from a combination of pixels of a portion of an image containing the required pixel, and spaced apart from it at a given distance, after which the resulting image is pixel-by-pixel constructed, and information from the pixel of the digital image conjugated to it is entered into each pixel of the resulting image, for which the previously obtained value of the parameter determining the shooting efficiency has a maximum value.

Решение поставленной задачи позволит повысить эффективность съемки в целом, обеспечив визуализацию изображения на приборах с ограниченным динамическим диапазоном выходного сигнала.The solution of this problem will improve the overall shooting efficiency by providing visualization of the image on devices with a limited dynamic range of the output signal.

Способ реализуют следующим образом. Сначала получают несколько цифровых снимков одного и того же объекта при различных уровнях экспозиции. Количество снимков определяется соотношением диапазона яркостей объекта съемки и динамического диапазона регистратора цифрового изображения. Например, если диапазон яркостей объекта фотографирования составляет

, а диапазон освещенностей, воспринимаемых регистратором изображения,

, то необходимо получить не менее двух снимков. После этого задаются размером и формой «окна», в пределах которого для каждого пикселя каждого изображения будет рассчитываться или измеряться параметр, определяющий эффективность фотосъемки. Под термином «окно» в данном случае следует понимать совокупность пикселей, составляющих окружение интересующего пикселя. В данную совокупность входит сам интересующий пиксель, и пиксели, отстоящие от него на заданном расстоянии. В простейшем случае, «окно» определяется центром, в котором находится интересующий пиксель, и соседние с ним пиксели. В более сложном случае, в зависимости от решаемых задач, «окно» может создаваться совокупностью пикселей, ограниченных многоугольником произвольных размеров.The method is implemented as follows. First, several digital images of the same subject are obtained at different exposure levels. The number of shots is determined by the ratio of the brightness range of the subject and the dynamic range of the digital image recorder. For example, if the brightness range of the subject is

, and the range of illumination perceived by the image recorder,

, then you need to get at least two pictures. After that, the size and shape of the “window” are set, within which for each pixel of each image a parameter that determines the effectiveness of photography will be calculated or measured. The term "window" in this case should be understood as a set of pixels that make up the environment of the pixel of interest. This population includes the pixel of interest itself, and pixels spaced from it at a given distance. In the simplest case, the “window” is determined by the center at which the pixel of interest is located, and the pixels adjacent to it. In a more complex case, depending on the tasks to be solved, a “window” can be created by a set of pixels bounded by a polygon of arbitrary sizes.

После этого для каждого пикселя каждого изображения рассчитывают или измеряют параметр, определяющий эффективность фотосъемки. При этом для расчета или измерения параметра, определяющего эффективность фотосъемки, используют информацию от совокупности пикселей участка изображения в пределах ранее выбранного «окна», соответствующего данному пикселю. В качестве параметра, определяющего эффективность фотосъемки, может быть выбрана разрешающая способность, усредненная разрешающая способность, информационная емкость или другие параметры. Для художественной фотографии в качестве параметра, определяющего эффективность фотосъемки, могут быть выбраны статистические данные субъективных оценок качества изображения, например условная шкала «плохое - хорошее изображение».After that, for each pixel of each image, a parameter that determines the effectiveness of photography is calculated or measured. In this case, to calculate or measure a parameter that determines the effectiveness of photography, information is used from the combination of pixels of the image within the previously selected "window" corresponding to this pixel. As a parameter that determines the effectiveness of photography, the resolution, average resolution, information capacity, or other parameters can be selected. For artistic photography, statistical data of subjective assessments of image quality, for example, the conditional scale “poor - good image,” can be selected as a parameter that determines the effectiveness of photography.

После этого формируют результирующее изображение, для чего в каждый пиксель результирующего изображения заносят информацию из сопряженного ему пикселя цифрового изображения, для которого ранее полученное значение параметра, определяющего эффективность фотосъемки, имеет максимальное значение.After that, the resulting image is formed, for which information from each pixel of the digital image conjugated to it is entered into each pixel of the resulting image, for which the previously obtained value of the parameter that determines the effectiveness of photography has a maximum value.

Известно, что такой параметр, как разрешающая способность, в большинстве случаев фотографирования, при прочих равных условиях, определяется контрастом между элементами изображения, находящимися на пределе разрешения. В связи с этим, усреднений контраст между элементами изображений, которые соответствуют соседним пикселям в пределах «окна», также может быть использован в качестве параметра, определяющего эффективность фотосъемки. Ошибки, возникающие при расчете контраста, определяемые наличием шумов, могут быть минимизированы, если расчет будет проводиться по нерезким цифровым изображениям, соответствующим исходным.It is known that such a parameter as the resolution, in most cases, photographing, ceteris paribus, is determined by the contrast between the image elements at the limit of resolution. In this regard, averaging the contrast between the image elements that correspond to neighboring pixels within the "window", can also be used as a parameter that determines the effectiveness of photography. Errors arising in the calculation of contrast, determined by the presence of noise, can be minimized if the calculation is carried out using blurry digital images corresponding to the original ones.

Предлагаемый способ поясняется чертежом, где показаны графики условных одномерных изображений U₁(x), U₂(x), …U_m(x), полученных при одинаковых внешних условиях и разных уровнях экспозиции. Где: U - параметр, определяющий интенсивность изображения в пикселе (например, в зависимости от формы представления изображения, это может быть оптическая плотность бумаги или прозрачного носителя, яркость экрана монитора, потенциал в ячейке ПЗС, либо некоторое цифровое значение массива); x - координата (одномерная) пикселя. Изображениям U₁(x), U₂(x), …U_m(x) соответствуют распределения параметра, определяющего эффективность съемки R₁(x), R₂(x), …R_m(x). Где R - параметр, определяющий эффективность съемки, измеренный или рассчитанный по информации от совокупности пикселей в пределах заданного «окна». Для формирования результирующего изображения U_p(x) для каждой координаты x выбирается параметр U того изображения, для которого значение R будет иметь максимальное значение. Например, если для некоторого пикселя изображения с некоторой координатой ξ выполняется условие R_n(ξ)>R₁(ξ), R_n(ξ)>R₂(x),… R_n(ξ)>R_m(x), то пикселю с координатой ξ в результирующем изображении присваивают значение U_n(ξ), то есть U_p(ξ)=U_n(ξ).The proposed method is illustrated in the drawing, which shows graphs of conventional one-dimensional images U ₁ (x), U ₂ (x), ... U _m (x) obtained under the same external conditions and different exposure levels. Where: U is a parameter that determines the image intensity in a pixel (for example, depending on the image presentation form, it can be the optical density of paper or transparent media, monitor screen brightness, potential in a CCD cell, or some digital value of an array); x is the coordinate of the (one-dimensional) pixel. Images U ₁ (x), U ₂ (x), ... U _m (x) correspond to the distribution of a parameter that determines the shooting efficiency R ₁ (x), R ₂ (x), ... R _m (x). Where R is a parameter that determines the shooting efficiency, measured or calculated from information from a set of pixels within a given "window". To form the resulting image U _p (x) for each x coordinate, the parameter U of that image for which the value R will have a maximum value is selected. For example, if for some image pixel with some coordinate ξ the condition R _n (ξ)> R ₁ (ξ), R _n (ξ)> R ₂ (x), ... R _n (ξ)> R _m (x), then the pixel with coordinate ξ in the resulting image is assigned the value U _n (ξ), that is, U _p (ξ) = U _n (ξ).

Предлагаемый способ позволяет получить цифровые фотографические изображения высокого качества из серии изображений, сформированных в результате брекетинга экспозиции, без создания промежуточного HDR-изображения.The proposed method allows to obtain high-quality digital photographic images from a series of images formed as a result of exposure bracketing without creating an intermediate HDR image.

Claims

1. A method of obtaining a digital image of an object, which consists in forming a series of digital images of the same object obtained at different exposure levels with the further construction of the resulting digital image, characterized in that first, for each pixel of each digital image, the value of the parameter determining shooting efficiency using information from the combination of pixels of a portion of the image containing the desired pixel and spaced apart by a given size Toyan then build the resultant image pixel by pixel, wherein each pixel in the resulting image information are entered from its conjugate digital image pixel, for which the previously obtained value of the parameter determining photographing efficiency, has an optimum value.

2. The method according to claim 1, characterized in that as a parameter that determines the effectiveness of photography, use the resolution.

3. The method according to claim 1, characterized in that as the parameter determining the effectiveness of photography, use information capacity.

4. The method according to claim 1, characterized in that as a parameter that determines the effectiveness of photography, use the average contrast between the image elements that correspond to neighboring pixels.

5. The method according to claim 4, characterized in that the calculation of the average contrast between the image elements that correspond to neighboring pixels is carried out using unsharp digital images corresponding to the original ones.