RU2767446C2 - Method for forming and processing images - Google Patents

Method for forming and processing images Download PDF

Info

Publication number
RU2767446C2
RU2767446C2 RU2020126641A RU2020126641A RU2767446C2 RU 2767446 C2 RU2767446 C2 RU 2767446C2 RU 2020126641 A RU2020126641 A RU 2020126641A RU 2020126641 A RU2020126641 A RU 2020126641A RU 2767446 C2 RU2767446 C2 RU 2767446C2
Authority
RU
Russia
Prior art keywords
image
time
field
light
sensitive surface
Prior art date
Application number
RU2020126641A
Other languages
Russian (ru)
Other versions
RU2020126641A (en
RU2020126641A3 (en
Inventor
Александр Владимирович Коренной
Сергей Андреевич Кулешов
Алексей Алексеевич Кожевников
Егор Александрович Ященко
Original Assignee
Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации filed Critical Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации
Priority to RU2020126641A priority Critical patent/RU2767446C2/en
Publication of RU2020126641A publication Critical patent/RU2020126641A/en
Publication of RU2020126641A3 publication Critical patent/RU2020126641A3/ru
Application granted granted Critical
Publication of RU2767446C2 publication Critical patent/RU2767446C2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Image Processing (AREA)

Abstract

FIELD: computing technology.
SUBSTANCE: invention relates to the field of computing technology for image processing. The effect is achieved by a method for forming and processing images based on representing the image in the form of a field, isolating the deterministic and random components of the field, determining the a priori information about the original image and the distorting effect, restoring the image at the time point t1 in a light-sensitive surface, wherein the first image is formed without shifting the light-sensitive surface, the light-sensitive surface is then also subjected to microscopic movements at a time point under the optical system according to the preset algorithm at the time point t2 to tn, an ith image is formed in each subsequent time count, the restored ith images are summarised at the time points t1 to tn and averaged with corresponding weight coefficients.
EFFECT: increasing the quality of image generation.
1 cl, 1 dwg

Description

Изобретение относится к области обработки изображений и может быть использовано в системах технического зрения (а также может быть использовано в оптико-электронных системах).The invention relates to the field of image processing and can be used in vision systems (and can also be used in optical-electronic systems).

Основная решаемая задача - повышение качества изображений.The main task to be solved is to improve the quality of images.

Известен способ повышения разрешающей способности видеосистем (по патенту РФ №RU 2712821 С2, опубликован 31.01.2020, заявка №2016143282, 11.02.2016). Он заключается в том, что для повышения разрешающей способности видеосистем в m раз, субпиксельный сдвиг светочувствительной поверхности производят под светонепроницаемую поверхность (m2 - 1) раз последовательно по вертикали и по горизонтали на величину, равную m-той части соответствующего линейного размера фоточувствительного элемента, а отсчеты увеличенного кадра определяют из всех m2 кадров.A known method for increasing the resolution of video systems (according to the patent of the Russian Federation No. RU 2712821 C2, published on January 31, 2020, application No. 2016143282, February 11, 2016). It lies in the fact that in order to increase the resolution of video systems by m times, the subpixel shift of the photosensitive surface is performed under the opaque surface (m 2 - 1) times sequentially vertically and horizontally by an amount equal to the m-th part of the corresponding linear size of the photosensitive element, and zoom frame samples are determined from all m 2 frames.

Недостатком известного способа является низкие коэффициенты компенсаций искажающих воздействий в процессе формирования изображений.The disadvantage of the known method is the low coefficients of compensation of distorting influences in the process of imaging.

Наиболее близким к изобретению является способ восстановления изображений, как в частотной области (Г.И. Василенко, A.M. Тараторин, Восстановление изображений. Издательство «Радио и связь», Москва, 1986 г., стр. 94-99), так и в пространственной области (А.В. Коренной. Обнаружение, распознавание и определение параметров образов объектов. Издательство «Радиотехника», Москва, 2012 г., стр. 69-73), согласно которому полезную информацию выделяют, используя критерий минимума среднего квадрата ошибки.Closest to the invention is a method for restoring images, both in the frequency domain (G.I. Vasilenko, AM Taratorin, Image recovery. Publishing house "Radio and Communication", Moscow, 1986, pp. 94-99), and in the spatial area (A.V. Korennoy. Detection, recognition and determination of the parameters of object images. Radiotekhnika Publishing House, Moscow, 2012, pp. 69-73), according to which useful information is isolated using the minimum mean square error criterion.

Недостатком указанного способа-прототипа является то, что формируемое на входе изображение полагается неподвижным. Это не позволяет использовать дополнительную информацию об искажающих воздействиях, содержащуюся в их динамических свойствах.The disadvantage of this prototype method is that the image generated at the input is assumed to be stationary. This does not allow the use of additional information about the distorting effects contained in their dynamic properties.

Техническим результатом изобретения является повышение качества изображений, достигаемое тем, что используется способ формирования и обработки изображений в процессе движения светочувствительной поверхности относительно сцены изображения с течением времени Т.The technical result of the invention is to improve the quality of images, achieved by using a method for forming and processing images in the process of moving a light-sensitive surface relative to the image scene over time T.

Сущность изобретения состоит в следующем. Изображение в течение времени Т проецируется на светочувствительную поверхность, в качестве светочувствительной поверхности используют поверхность матрицы ПЗС (прибор с зарядовой связью), где его представляют в виде поля, т.е. функции двух пространственных переменных u(х,у). При это процесс преобразования исходного изображения u(х,у) в формируемое (на выходе устройства регистрации) ξ(x',y') характеризуется некоторым оператором V:The essence of the invention is as follows. The image is projected onto a light-sensitive surface for a time T; functions of two space variables u(x, y). In this case, the process of converting the original image u(x, y) into the generated one (at the output of the recording device) ξ(x', y') is characterized by some operator V:

Figure 00000001
Figure 00000001

Для практических задач, связанных с формированием изображений различной природы [Восстановление изображений / Г.И. Василенко, A.M. Тараторин. - М.: Радио и связь, 1986], оператор преобразования V можно представить линейным функционалом вида:For practical tasks related to the formation of images of various nature [Image restoration / G.I. Vasilenko, A.M. Taratorin. - M.: Radio and communication, 1986], the transformation operator V can be represented by a linear functional of the form:

Figure 00000002
Figure 00000002

Здесь ядро интегрального оператора H0(х',у',х,у) характеризует свойства системы формирования изображений, которая включает в себя среду распространения и светочувствительную поверхность. Так как модель системы формирования не может быть абсолютно точной, то она задается с некоторой погрешностью (неопределенностью) [Оптимальный прием пространственно-временных сигналов в радиоканалах с рассеянием /С.Е. Фальковича, В.И. Пономарев, Ю.В. Шкварко. - М.: Радио и связь, 1989].Here, the kernel of the integral operator H 0 (x',y',x,y) characterizes the properties of the imaging system, which includes the propagation medium and the photosensitive surface. Since the model of the formation system cannot be absolutely accurate, it is given with some error (uncertainty) [Optimal reception of space-time signals in radio channels with scattering / S.E. Falkovich, V.I. Ponomarev, Yu.V. Shkvarko. - M.: Radio and communication, 1989].

Figure 00000003
Figure 00000003

где H - детерминированная составляющая; Hn - случайная составляющая, характеризующая неопределенность в задании модели формирования изображений.where H is a deterministic component; H n is a random component that characterizes the uncertainty in setting the imaging model.

Тогда формируемое изображение (2) с учетом (3) может быть представлено в виде:Then the generated image (2), taking into account (3), can be represented as:

Figure 00000004
Figure 00000004

гдеwhere

Figure 00000005
Figure 00000005

- случайная фоновая составляющая формируемого изображения.- random background component of the generated image.

Данное сформированное изображение в момент времени t1 сохраняют в памяти запоминающего устройства (блок накопления) без сдвига светочувствительной поверхности.This generated image at the time t 1 is stored in the storage device memory (accumulation unit) without shifting the photosensitive surface.

Затем светочувствительная поверхность совершает малые перемещения в плоскости изображения [Роль движения глаз в процессе зрения / А.Л. Ярбус - М.: Наука, 1965]. Под малыми перемещениями будем понимать смещение светочувствительной поверхности в диапазоне, соизмеримом с элементом разрешения исходного изображения. В этом случае все элементы на исходной сцене можно полагать неподвижными, т.е. регулярная составляющая формируемого изображения (первое слагаемое в правой части выражения (4)) не будет зависеть от времени. С другой стороны, если эффективная ширина спектральной плотности случайной фоновой составляющей n в выражении (4) достаточно большая то ее можно считать изменяющейся во времени в процессе перемещения светочувствительной поверхности. Такая ситуация характерна, когда в районе расположения светочувствительной поверхности среда распространения имеет ярко выраженную неоднородность (турбулентность, туман, дымка, хаотические засветки и т.д.) или когда геометрический шум (неравномерность чувствительности) многоэлементного фотоприемника достаточно большой.Then the photosensitive surface makes small movements in the image plane [The role of eye movement in the process of vision / A.L. Yarbus - M.: Nauka, 1965]. By small displacements we will understand the displacement of the photosensitive surface in the range comparable with the element of resolution of the original image. In this case, all elements on the original scene can be assumed to be stationary, i.e. the regular component of the generated image (the first term on the right side of expression (4)) will not depend on time. On the other hand, if the effective width of the spectral density of the random background component n in expression (4) is large enough, then it can be considered as changing in time during the movement of the light-sensitive surface. This situation is typical when, in the area of the photosensitive surface, the propagation medium has a pronounced inhomogeneity (turbulence, fog, haze, chaotic illumination, etc.) or when the geometric noise (sensitivity unevenness) of a multi-element photodetector is sufficiently large.

Тогда выражение для формируемого изображения на выходе светочувствительной поверхности с учетом его перемещения может быть представлено в виде:Then the expression for the formed image at the output of the photosensitive surface, taking into account its movement, can be represented as:

Figure 00000006
Figure 00000006

где t - текущее время, Т - интервал времени, в течение которого формируется изображение при перемещении светочувствительной поверхности (интервал наблюдения).where t is the current time, T is the time interval during which an image is formed when the photosensitive surface is moved (observation interval).

Из выражения (5) видно, что формируемое изображение ξ будет изменяться во времени за счет микродвижений светочувствительной поверхности при том, что исходное изображение u(х,у) остается неподвижным. Для решения задачи формирования и обработки изображения в данной постановке целесообразно воспользоваться аппаратом восстановления изменяющихся во времени случайных полей. В результате можно получить уравнения для оценки исходного изображения

Figure 00000007
и корреляционной функции ошибки
Figure 00000008
которые, в отличие от статического режима [Обнаружение, распознавание и определение параметров образов объектов. Методы и алгоритмы / А.В. Коренного. - М.: Радиотехника, 2012], будут зависеть от времени t.It can be seen from expression (5) that the formed image ξ will change in time due to micromovements of the light-sensitive surface, while the original image u(x, y) remains motionless. To solve the problem of image formation and processing in this formulation, it is advisable to use the apparatus for restoring time-varying random fields. As a result, one can obtain equations for estimating the original image
Figure 00000007
and error correlation function
Figure 00000008
which, in contrast to the static mode [Detection, recognition and determination of the parameters of object images. Methods and algorithms / A.V. Root. - M.: Radiotekhnika, 2012], will depend on time t.

Пространственные перемещения светочувствительной поверхности превышают интервал пространственной корреляции случайной составляющей формируемого изображения. В этом случае n(t,x',y') можно считать белым и по пространству, и по времени случайным полем с корреляционной функциейThe spatial displacements of the photosensitive surface exceed the spatial correlation interval of the random component of the generated image. In this case, n(t,x',y') can be considered white both in space and time as a random field with the correlation function

Figure 00000009
Figure 00000009

Тогда на основании [5] будем иметь:Then, based on [5], we will have:

Figure 00000010
Figure 00000010

Figure 00000011
Figure 00000011

Таким образом, выражения (7), (8) определяют алгоритм формирования и восстановления неподвижных изображений при движении светочувствительной поверхности.Thus, expressions (7), (8) determine the algorithm for the formation and restoration of still images when the light-sensitive surface moves.

Способ может быть реализован, например, с помощью устройства, структурная схема которого приведена на фигуре, где обозначено: 1 - оптическая система; 2 - светочувствительная поверхность; 3 - блок накопления; 4 - блок смещения; 5 - блок управления; 6 - блок хранения априорных данных; 7 - устройство отображение высокого разрешения.The method can be implemented, for example, using a device whose block diagram is shown in the figure, where it is indicated: 1 - optical system; 2 - photosensitive surface; 3 - accumulation block; 4 - displacement block; 5 - control unit; 6 - a priori data storage unit; 7 - high resolution display device.

Оптическая система представляет собой набор линз или объектив, светочувствительная поверхность - ПЗС матрица фотоприемника, предназначенная для считывания интересуемого изображения. Блок смещения представляет собой механическую систему, состоящую, например, из двух гребенчатых или зубчатых микродвигателей, предназначенных для перемещения светочувствительной поверхности по сцене изображения (на величины порядка соизмеримым с элементами разрешения исходного изображения). Блок управления задает размер (величину) светочувствительной поверхности и алгоритм его движения по сцене изображения. Блок хранения априорных данных содержит априорные сведения об исходном изображении и искажающем воздействии. Блок накопления предназначен для совмещения (суммирования) формируемых i-х изображений с течением времени Т. Устройство отображение высокого разрешения может быть выполнено на микроконтроллерах и предназначено для формирования изображения высокого качества.The optical system is a set of lenses or a lens, a light-sensitive surface - a CCD matrix of a photodetector, designed to read the image of interest. The displacement unit is a mechanical system consisting, for example, of two comb or gear micromotors designed to move the light-sensitive surface across the image scene (by orders of magnitude commensurate with the resolution elements of the original image). The control unit sets the size (value) of the photosensitive surface and the algorithm for its movement across the image scene. The a priori data storage block contains a priori information about the original image and the distorting effect. The accumulation unit is designed to combine (summation) the formed i-th images over time T. The high-resolution display device can be made on microcontrollers and is designed to form a high-quality image.

Устройство работает следующим образом: изображение через оптическую систему поступает на светочувствительную поверхность.The device works as follows: the image through the optical system enters the light-sensitive surface.

Светочувствительная поверхность совершает микроперемещения под воздействием блока смещения по сцене изображения под оптической системой по заданному алгоритму блока управления формируют i-e изображение в каждый моменты времени t2-tn. С блока хранения априорных данных в блок накопления поступают априорные сведения об искажающем воздействии. С блока хранения априорных данных в блок накопления поступают априорные сведения об искажающем воздействии. В блоке накопления суммируется (усредняется) каждое восстановленное i-e изображение с предыдущими с соответствующими весовыми коэффициентами в моменты времени t1,t2,…,tn. В устройстве отображение высокого разрешения формируется изображение высокого качества.The light-sensitive surface performs micro-movements under the influence of the displacement block on the image scene under the optical system, according to the given algorithm of the control unit, an image is formed at each time t 2 -t n . A priori information about the distorting effect is received from the a priori data storage unit to the accumulation unit. A priori information about the distorting effect is received from the a priori data storage unit to the accumulation unit. In the accumulation block, each reconstructed ie image is summed up (averaged) with the previous ones with the corresponding weight coefficients at time points t 1 ,t 2 ,…,t n . In the high resolution display device, a high quality image is generated.

Claims (1)

Способ формирования и обработки изображений, основанный на представлении изображения в виде поля, выделении детерминированной и случайной составляющих поля, определении априорных сведений об исходном изображении и искажающем воздействии, восстановлении изображения в момент времени t1 в светочувствительной поверхности, отличающийся тем, что первое изображение формируют без сдвига светочувствительной поверхности, также в момент времени затем осуществляют микроперемещения светочувствительной поверхности под оптической системой по заданному алгоритму в моменты времени t2-tn, в каждый последующий отчет времени формируют i-e изображение, суммируют восстановленные i-е изображения в моменты времени t1-tn, усредняя их с соответствующими весовыми коэффициентами.A method for generating and processing images based on presenting an image as a field, separating the deterministic and random components of the field, determining a priori information about the original image and the distorting effect, restoring the image at time t 1 in the photosensitive surface, characterized in that the first image is formed without shift of the photosensitive surface, also at the moment of time, then micro-movements of the photosensitive surface under the optical system are carried out according to a given algorithm at time points t 2 -t n , at each subsequent time report, an ie image is formed, the restored i-th images are summarized at time points t 1 -t n , averaging them with the appropriate weights.
RU2020126641A 2020-08-07 2020-08-07 Method for forming and processing images RU2767446C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020126641A RU2767446C2 (en) 2020-08-07 2020-08-07 Method for forming and processing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020126641A RU2767446C2 (en) 2020-08-07 2020-08-07 Method for forming and processing images

Publications (3)

Publication Number Publication Date
RU2020126641A RU2020126641A (en) 2022-02-07
RU2020126641A3 RU2020126641A3 (en) 2022-02-07
RU2767446C2 true RU2767446C2 (en) 2022-03-17

Family

ID=80214370

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020126641A RU2767446C2 (en) 2020-08-07 2020-08-07 Method for forming and processing images

Country Status (1)

Country Link
RU (1) RU2767446C2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133060A1 (en) * 2005-12-14 2007-06-14 Oce-Technologies B.V. Method, apparatus and computer program for halftoning digital images
US20160004942A1 (en) * 2014-07-01 2016-01-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, printing medium and storage medium
US20160344895A1 (en) * 2013-10-15 2016-11-24 Sergio PUIGARDEU ARAMENDIA Image processing using content-based weighted dithering
RU2712821C2 (en) * 2016-11-02 2020-01-31 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Method of increasing resolution of video systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070133060A1 (en) * 2005-12-14 2007-06-14 Oce-Technologies B.V. Method, apparatus and computer program for halftoning digital images
US20160344895A1 (en) * 2013-10-15 2016-11-24 Sergio PUIGARDEU ARAMENDIA Image processing using content-based weighted dithering
US20160004942A1 (en) * 2014-07-01 2016-01-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, printing medium and storage medium
RU2712821C2 (en) * 2016-11-02 2020-01-31 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Method of increasing resolution of video systems

Also Published As

Publication number Publication date
RU2020126641A (en) 2022-02-07
RU2020126641A3 (en) 2022-02-07

Similar Documents

Publication Publication Date Title
Han et al. A review on intelligence dehazing and color restoration for underwater images
Khan et al. Flatnet: Towards photorealistic scene reconstruction from lensless measurements
US8305485B2 (en) Digital camera with coded aperture rangefinder
US8754963B2 (en) Processing images having different focus
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
KR101612165B1 (en) Method for producing super-resolution images and nonlinear digital filter for implementing same
Mao et al. Image reconstruction of static and dynamic scenes through anisoplanatic turbulence
US20060093233A1 (en) Ringing reduction apparatus and computer-readable recording medium having ringing reduction program recorded therein
WO2011137140A1 (en) Range measurement using a coded aperture
Wu et al. Restoration of TDI camera images with motion distortion and blur
Lu et al. 3D underwater scene reconstruction through descattering and colour correction
RU2767446C2 (en) Method for forming and processing images
Hadar et al. Image motion restoration from a sequence of images
Zuo et al. Accurate depth estimation from a hybrid event-RGB stereo setup
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
RU2734070C9 (en) Method of measuring spatial distance between small objects
Konyaev Digital image processing for real-time correction of atmospheric turbulent distortions
Zhang et al. Fourier single-pixel imaging based on lateral inhibition for low-contrast scenes
Fournier et al. Digital Hologram Processing in On‐Axis Holography
Egner et al. Accuracy and sensitivity of camera based displacement measurement with optical flow: numerical investigation
Estrada et al. Multi-frame GAN-based machine learning image restoration for degraded visual environments
Garnier et al. Infrared sensor modeling for realistic thermal image synthesis
Schutte et al. An overview of turbulence compensation
Boehrer et al. Turbulence mitigation in neuromorphic camera imagery
CN115633243B (en) Transmission matrix theory-based transmission scattering medium generalization imaging method