RU2313189C2 - Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method - Google Patents
Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method Download PDFInfo
- Publication number
- RU2313189C2 RU2313189C2 RU2006101359/09A RU2006101359A RU2313189C2 RU 2313189 C2 RU2313189 C2 RU 2313189C2 RU 2006101359/09 A RU2006101359/09 A RU 2006101359/09A RU 2006101359 A RU2006101359 A RU 2006101359A RU 2313189 C2 RU2313189 C2 RU 2313189C2
- Authority
- RU
- Russia
- Prior art keywords
- accumulation
- charge
- blocks
- photosensitive devices
- optical system
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
Изобретение относится к телевидению и может быть использовано при создании прикладных систем.The invention relates to television and can be used to create application systems.
Известен способ выделения движущихся объектов в изображении (Пресс Ф.П. Фоточувствительные приборы с зарядовой связью. - М.: Радио и связь, 1991. - 264 с.), основанный на использовании фоточувствительных приборов с зарядовой связью (ФПЗС) в режиме временной задержки с накоплением (ВЗН), в котором осуществляется дискретное накопление зарядов, фотогенерированных под воздействием проецируемого изображения зарядов в потенциальных ямах линейки ФПЗС, а между отдельными накоплениями выполняется перенос электрическим способом с тактовой частотой управляющих импульсов вдоль линейки ФПЗС. В случае перемещения зарядов синхронно с перемещением объекта (скорость и направление перемещения зарядов в ФПЗС должны совпадать с аналогичными параметрами движения объекта) происходит увеличение отношения сигнал/фон за счет когерентного накопления.A known method of highlighting moving objects in an image (Press F. P. Photosensitive devices with charge coupling. - M .: Radio and communications, 1991. - 264 p.), Based on the use of photosensitive devices with charge communication (FPSS) in the time delay mode with accumulation (WZN), in which discrete accumulation of charges photogenerated by the projected image of charges in potential wells of the FPSS line is carried out, and electrical transfer is carried out between individual accumulations with a control clock frequency Pulsing impulses along the FPSS line. In the case of movement of charges synchronously with the movement of the object (the speed and direction of movement of the charges in the PPS must coincide with the same parameters of the movement of the object), the signal / background ratio increases due to coherent accumulation.
Наиболее близким к заявляемому способу является способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью и устройство для его реализации, взятый за прототип (Патент 2216117 РФ, МКИ5 Н04N 5/14. - №2001113366/09; заявл. 14.05.2001; опубл. 10.11.2003, Бюл. №31), основанный на том, что пространственно-временную обработку выполняют путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах ФПЗС, и перемещают в пространстве изображение относительно матрицы ФПЗС, а время накопления в каждой точке пространства изменяют пропорционально величине отсчетов пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации и условий наблюдения, например, освещенности сцены. Способ реализации пространственно-временной обработки изображений на основе матриц ФПЗС состоит в том, что пространственно-временную обработку осуществляют в виде свертки проецируемого на ФПЗС изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, следующим образом: в режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики, с последующим сдвигом по пространству после каждого цикла, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления - пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления - хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени. Хранение накопленных зарядовых пакетов до начала следующего этапа дискретного накопления организуют путем экранирования фоточувствительной поверхности матрицы ФПЗС на время хранения с помощью обтюратора на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./. Взаимное перемещение матрицы ФПЗС и оптического изображения реализуют путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./.Closest to the claimed method is a method of spatio-temporal image processing based on arrays of photosensitive devices with charge coupling and a device for its implementation, taken as a prototype (Patent 2216117 of the Russian Federation, MKI 5 H04N 5/14. - No. 20011113366/09; application. 14.05 .2001; publ. 10.11.2003, Bull. No. 31), based on the fact that spatio-temporal processing is performed by discrete accumulation of charges photogenerated under the influence of the projected image in potential FPSS wells, and the image moves in space In particular, the FPSS matrices, and the accumulation time at each point in space are changed proportionally to the value of the samples of space; they are changed proportionally to the values of the impulse characteristics of the implemented space-time filter, depending on the type of filtering and observation conditions, for example, the illumination of the scene. A method for realizing spatio-temporal image processing based on FPGA matrices is that spatio-temporal processing is carried out in the form of a convolution of the image projected onto the FPGA with the required impulse response that defines the spatio-temporal filtering being implemented, as follows: in the mode of discrete accumulation, several cycles are performed accumulation over time corresponding to the value of the impulse response samples, followed by a spatial shift after each Ikla then organized storage mode accumulated charge before the next stage of the discrete accumulation. The number of cycles of accumulation - spatial shift in the mode of discrete accumulation corresponds to the dimension of the aperture of the impulse response in space, and the number of stages of discrete accumulation - storage - to the dimension of the aperture in time. The spatial shift between adjacent accumulation points corresponds to the sampling interval of the impulse response in space, the interval between adjacent stages of discrete accumulation corresponds to the time sampling interval. The storage of accumulated charge packets until the next stage of discrete accumulation begins is organized by shielding the photosensitive surface of the FPGA matrix for storage time using a shutter based on the Kerr and Pokels electro-optical effects, which allow switching the luminous flux with a frequency of up to 1013 Hz / I. Vereshchagin / et al. Introduction to optoelectronics: A manual for technical colleges / I.K. Vereshchagin, L.A. Kosyachenko, S.M. Konin. - M.: Higher School, 1991. - 191 p. /. Mutual movement of the FPSS matrix and the optical image is realized by applying the electro-optical Kerr effect: continuous beam deflection with high accuracy of movement can be obtained using a prism of electro-optical material with metal electrodes deposited on its end faces, to which the control voltage is applied / I. Vereshchagin . et al. Introduction to optoelectronics: A manual for technical colleges / I.K. Vereshchagin, L.A. Kosyachenko, S.M. Konin. - M.: Higher School, 1991. - 191 p. /.
Определение величины отсчетов импульсной характеристики выполняют на основе хорошо разработанных методов синтеза дискретных фильтров.The determination of the impulse response samples is performed on the basis of well-developed methods for the synthesis of discrete filters.
Структурная схема устройства для реализации известного способа пространственно-временной обработки изображений показана на фиг.1. Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, а также дополнительно введенных обтюратора 6, устройства взаимного смещения ОС и блоков ФПЗС (УВС) 7. Оптическая связь показана штриховой линией. На обтюратор проецируется изображение сцены, формируемое ОС, а на вход поступает сигнал управления с выхода УУ. С обтюратора сигнал изображения проецируется на УВС, на вход которого поступает сигнал управления с выхода УУ. С выхода УВС сигнал изображения проецируется на секции накопления ФПЗС-1 и ФПЗС-2. На входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления ФН1, 2, 3, ФП1, 2, 3, ФР1, 2, 3 с выхода УУ. С выходных регистров ФПЗС-1 и ФПЗС-2 сигналы изображения поступают на входы ВУ, формирующего выходной сигнал.The structural diagram of a device for implementing the known method of spatio-temporal image processing is shown in figure 1. The device consists of an optical system (OS) 1, a control device (UU) 2, a subtracting device (VU) 3, blocks FPZS-1 4 and FPZS-2 5, as well as additionally introduced obturator 6, a device for mutual displacement of the OS and FPZS blocks ( UVS) 7. Optical communication is shown by a dashed line. A scene image formed by the OS is projected onto the shutter, and a control signal from the output of the control unit is input. From the shutter, the image signal is projected onto the UVS, to the input of which the control signal from the output of the SU arrives. From the UVS output, the image signal is projected onto the accumulation sections FPZS-1 and FPZS-2. Phase control pulses FN 1, 2, 3 , FP 1, 2, 3 , FR 1, 2, 3 from the output of the control unit arrive at the inputs of the accumulation sections, memory, and output registers FPSS-1 and FPSS-2. From the output registers ФПЗС-1 and ФПЗС-2, the image signals are fed to the inputs of the control unit forming the output signal.
Реализация пространственно-временной обработки на основе блоков ФПЗС, обтюратора, УВС под управлением УУ осуществляется следующим образом. ФПЗС выполняет дискретное накопление зарядов, фотогенерированных под воздействием проецируемого ОС изображения сцены, и хранение накопленных зарядовых пакетов между отдельными этапами дискретного накопления при экранировании секции накопления ФПЗС от светового потока с помощью обтюратора на основе электрооптического модулятора. Блок ФПЗС-1 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 - с отрицательными. Необходимость использования двух отдельных матриц ФПЗС обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства обработки. УВС в соответствии с управляющими сигналами УУ осуществляет взаимное пространственное смещение оптического потока и ФПЗС. Синхронизацию работы устройства обработки при фильтрации изображений осуществляет УУ путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюратором, сигналов управления УВС.The implementation of spatio-temporal processing based on FPSS blocks, a shutter, an air-blast unit under the control of a control unit is carried out as follows. The FPSS performs discrete accumulation of charges generated by the projected OS image of the scene and stores the accumulated charge packets between the individual steps of the discrete storage when screening the FPSS accumulation section from the light flux using an obturator based on an electro-optical modulator. Block ФПЗС-1 implements the convolution of the image with positive coefficients of the impulse response of the filter, ФПЗС-2 - with negative ones. The need to use two separate FPSS matrices is due to the fact that the values of the impulse response characteristics of the filter can be both positive and negative, and it is impossible to perform convolution with samples of different signs on the same matrix due to the non-negativity of the light characteristics and physical limitations of the FPS (charges can only be accumulated one character). The subtracting device combines the signals from the outputs of both FPSS matrices and generates the output signal of the processing device. The UVS in accordance with the control signals of the SU carries out mutual spatial displacement of the optical stream and the FPS. The synchronization of the operation of the processing device during image filtering is performed by the control unit by changing the order of arrival and the duration of the phase pulses of the control of the accumulation section, the memory section, the output register of the FPSS blocks, the control signals for the shutter, and the control signals for the UVS.
Недостатком данного способа является внесение искажений при осуществлении пространственно-временной обработки.The disadvantage of this method is the introduction of distortion in the implementation of spatio-temporal processing.
Согласно описанию изобретения «...в режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики...». Таким образом, временной интервал между центрами циклов накоплений будет непостоянным из-за разной величины отсчетов импульсной характеристики. Следовательно, «...определение величины отсчетов импульсной характеристики, выполненное на основе хорошо разработанных методов синтеза дискретных фильтров» приведет к искажениям при осуществлении пространственно-временной обработки (ПВО) из-за того, что эти методы подразумевают постоянство временных и пространственных интервалов между точками отсчетов сигнала /Гольденберг Л.М. и др. Цифровая обработка сигналов: Справочник / Л.М.Гольденберг, Б.Д.Матюшкин, М.Н.Поляк. - М.: Радио и связь, 1985. - 312 с./. За точку отсчета берется центр цикла накопления, включающего дискретное накопление и быстрый сдвиг по пространству.According to the description of the invention, "... in the discrete accumulation mode, several accumulation cycles are performed during the time corresponding to the value of the impulse response samples ...". Thus, the time interval between the centers of the accumulation cycles will be unstable due to the different values of the impulse response samples. Therefore, "... the determination of the magnitude of the impulse response samples, based on well-developed methods for the synthesis of discrete filters" will lead to distortions in the implementation of spatio-temporal processing (ADT) due to the fact that these methods imply the constancy of time and space intervals between points signal samples / Goldenberg L.M. et al. Digital signal processing: Handbook / L.M. Goldenberg, B.D. Matyushkin, M.N. Polyak. - M.: Radio and Communications, 1985. - 312 p. /. The reference point is the center of the accumulation cycle, which includes discrete accumulation and a fast spatial shift.
Для устранения непостоянства временного интервала Тотсч между отсчетами сигнала предлагается между дискретным накоплением длительностью Ti и сдвигом по пространству ввести стадию хранения длительностью Тхр i (см. фиг.2). Тогда временной интервал между отсчетами сигнала будет определяться временным интервалом между центрами стадий накопления.To eliminate variability of the time interval T between the frame of reference signal samples offered between a discrete accumulation of duration T i and shift storage space to introduce cartilage step duration T i (see FIG. 2). Then the time interval between the samples of the signal will be determined by the time interval between the centers of the stages of accumulation.
Реализация пространственно-временной обработки при обеспечении постоянства временного интервала между центрами стадий накопления позволит исключить искажения ПВО, а также позволит адаптивно изменять ее характеристики за счет различия величины взаимного пространственного сдвига проецируемого изображения и ФПЗС за время цикла для объектов с различными скоростями движения.The implementation of spatio-temporal processing while ensuring the constancy of the time interval between the centers of the accumulation stages will eliminate air defense distortions and also allow adaptively changing its characteristics due to the difference in the mutual spatial shift of the projected image and the FPS during the cycle time for objects with different speeds.
Таким образом, если взять, что временной интервал между центрами стадий накопления постоянен и равен ΔT, то длительность каждого i-го цикла накопления Тцi должна быть равнаThus, if we take that the time interval between the centers of the stages of accumulation is constant and equal to ΔT, then the duration of each ith accumulation cycle T ci should be equal to
где Ti+1 - время накопления в следующем (i+1) цикле,where T i + 1 is the accumulation time in the next (i + 1) cycle,
Тi - время накопления в текущем i-м цикле.T i - accumulation time in the current i-th cycle.
Следовательно, каждый цикл должен состоять из стадии накопления длительностью Ti и стадии хранения длительностью Если взять, что время накопления в (i+1)- и i-м циклах равно максимальному значению Тмакс, то отсюда следует, что значение ΔТ должно быть ≥ Тмакс.Therefore, each cycle should consist of an accumulation stage of duration T i and a storage stage of duration If we take that the accumulation time in the (i + 1) - and i-th cycles is equal to the maximum value of T max , then it follows that the value of ΔT should be ≥ T max .
Устройство, реализующее известный способ, также имеет недостаток, заключающийся в невозможности обеспечения работы с отрицательными коэффициентами. Для реализации положительных и отрицательных коэффициентов необходимо переводить один из ФПЗС в режим хранения при накоплении в другом ФПЗС. Реализация этого условия с помощью общего обтюратора невозможна. Поэтому необходима светоделительная система и отдельные обтюраторы с системой сдвига для каждого ФПЗС.A device that implements the known method also has the disadvantage that it is impossible to ensure operation with negative coefficients. To implement positive and negative coefficients, it is necessary to transfer one of the FPSS to storage mode when accumulated in another FPSS. The implementation of this condition using a common shutter is impossible. Therefore, a beam splitting system and separate obturators with a shift system for each FPSS are necessary.
Техническим результатом изобретения является выполнение неискажающей пространственно-временной обработки изображения, обеспечивающей выделение неподвижных и движущихся объектов на нестационарном фоне.The technical result of the invention is the implementation of non-distorting spatio-temporal image processing, providing the selection of stationary and moving objects on an unsteady background.
Сущность изобретения состоит в том, что для исключения искажений пространственно-временной обработки изображений известным способом на основе матриц ФПЗС, заключающимся в использовании дискретного накопления зарядов, фотогенерированных в потенциальных ямах матрицы ФПЗС под воздействием проецируемого изображения, в сочетании с взаимным пространственным смещением изображения и матрицы ФПЗС, причем параметры перемещения определяются частотными характеристиками реализуемого пространственно-временного фильтра, а время накопления зарядов в каждой точке пространства изменяют пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра, необходимо между накоплениями и пространственным смещением ввести стадию хранения на время, необходимое для обеспечения постоянства временного интервала между центрами накоплений.The essence of the invention lies in the fact that to eliminate distortions of spatio-temporal image processing in a known manner based on FPGA matrices, which consists in using discrete accumulation of charges photogenerated in potential wells of the FPGA matrix under the influence of the projected image, in combination with the mutual spatial displacement of the image and the FPGA matrix moreover, the parameters of movement are determined by the frequency characteristics of the implemented space-time filter, and the accumulation time for the rows at each point in space are changed proportionally to the value of the impulse response samples of the implemented space-time filter; it is necessary to enter the storage stage between accumulations and spatial displacement for the time necessary to ensure the constancy of the time interval between the centers of accumulations.
Способ реализации пространственно-временной обработки изображений на основе матриц ФПЗС состоит в том, что пространственно-временную обработку осуществляют в виде свертки изображения, проецируемого на ФПЗС, с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, следующим образом: проецируемое изображение, перемещаемое непрерывно в пространстве, согласовано с сопровождаемым объектом, обрабатывается за несколько этапов, состоящих из циклов, включающих дискретное накопление, хранение, сдвиг по пространству и паузу до начала следующего этапа дискретного накопления. Количество циклов дискретное накопление - хранение - пространственный сдвиг соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов - размерности апертуры во времени. Дискретное накопление во время цикла происходит в течение времени, соответствующего величине отсчетов импульсной характеристики. Стадия хранения во время цикла обеспечивает постоянство временного интервала между центрами стадий прошедшего и последующего дискретного накопления. Сдвиг по пространству между соседними циклами соответствует интервалу дискретизации импульсной характеристики по пространству, временной интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени. Хранение накопленных зарядовых пакетов во время стадий хранения, а также пауз между этапами организуют путем экранирования фоточувствительной поверхности матрицы ФПЗС посредством обтюратора на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./. Взаимное перемещение матрицы ФПЗС и оптического изображения реализуют путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебное пособие для втузов / И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высшая школа, 1991. - 191 с./.A method for realizing spatio-temporal image processing based on FPGA matrices is that spatio-temporal processing is carried out in the form of convolution of an image projected on the FPGA with the required impulse response that defines the implemented spatio-temporal filtering, as follows: a projected image that is moved continuously in space, agreed with the object being followed, it is processed in several stages, consisting of cycles, including discrete accumulation, storage, space shift and pause until the next stage of discrete accumulation begins. The number of cycles of discrete accumulation - storage - spatial shift corresponds to the dimension of the aperture of the impulse response in space, and the number of stages corresponds to the dimension of the aperture in time. Discrete accumulation during the cycle occurs during the time corresponding to the value of the impulse response samples. The storage stage during the cycle ensures the constancy of the time interval between the centers of the stages of the past and subsequent discrete accumulation. The spatial shift between adjacent cycles corresponds to the sampling interval of the impulse response in space, the time interval between adjacent stages of discrete accumulation corresponds to the time sampling interval. Storage of accumulated charge packets during storage stages, as well as pauses between stages, is organized by shielding the photosensitive surface of the FPGA matrix using a shutter based on the Kerr and Pokkels electro-optical effects, which allow switching the luminous flux with a frequency of up to 1013 Hz / I. Vereshchagin / et al. Introduction to optoelectronics: A manual for technical colleges / I.K. Vereshchagin, L.A. Kosyachenko, S.M. Konin. - M.: Higher School, 1991. - 191 p. /. Mutual movement of the FPSS matrix and the optical image is realized by applying the electro-optical Kerr effect: continuous beam deflection with high accuracy of movement can be obtained using a prism of electro-optical material with metal electrodes deposited on its end faces, to which the control voltage is applied / I. Vereshchagin . et al. Introduction to optoelectronics: A manual for technical colleges / I.K. Vereshchagin, L.A. Kosyachenko, S.M. Konin. - M.: Higher School, 1991. - 191 p. /.
В результате устранения искажений ПВО предлагаемый способ реализации пространственно-временной обработки будет обладать более широкими функциональными возможностями, т.к. при этом становится возможным осуществлять обработку, учитывающую особенности параметров движущегося объекта и мешающего наблюдению фона изображения, а также производить адаптивную пространственную обработку объектов, перемещающихся с различными скоростями. При этом возможно, кроме выделения движущихся объектов подобно режиму ВЗН, реализовывать другие виды фильтрации: низкочастотную пространственно-временную и режекторную фильтрацию пространственно-временных частот, подобную винеровской и учитывающую характеристики мешающего наблюдению фона. Определение величины отсчетов импульсной характеристики выполняется на основе хорошо разработанных методов синтеза дискретных фильтров.As a result of the elimination of air defense distortions, the proposed method for the implementation of spatio-temporal processing will have wider functionality, since it becomes possible to carry out processing that takes into account the characteristics of the parameters of a moving object and interferes with the observation of the background image, as well as adaptive spatial processing of objects moving at different speeds. It is possible, in addition to highlighting moving objects like the WZN mode, to implement other types of filtering: low-frequency spatio-temporal and notch filtering of spatio-temporal frequencies, similar to the Wiener one and taking into account the characteristics of the background that interferes with observation. The determination of the impulse response samples is carried out on the basis of well-developed methods for the synthesis of discrete filters.
На фиг.3 показана структурная схема устройства для реализации предлагаемого способа пространственно-временной обработки изображений. Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, обтюратора 6, устройства взаимного смещения ОС и блоков ФПЗС-1 (УВС-1) 7, а также дополнительно введенных светоделительной системы 8, обтюратора 9, устройства взаимного смещения ОС и блоков ФПЗС-2 (УВС-2) 10. Оптическая связь показана штриховой линией. На обтюраторы 6, 9 через светоделительную систему проецируется изображение сцены, формируемое ОС, а на их электрические входы поступают сигналы управления с выхода УУ. С обтюратора 6 сигнал изображения проецируется на УВС-1, а с обтюратора 9 - на УВС-2, на электрические входы которых поступают сигналы управления с выхода УУ. С выхода УВС-1 сигнал изображения проецируется на секцию накопления ФПЗС-1, а с выхода УВС-2 - на секцию накопления ФПЗС-2. На входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления ФН1, 2, 3, ФП1, 2, 3, ФР1, 2, 3 с выхода УУ. С выходных регистров ФПЗС-1 и ФПЗС-2 сигналы изображения поступают на входы ВУ, формирующего выходной сигнал.Figure 3 shows a structural diagram of a device for implementing the proposed method of spatio-temporal image processing. The device consists of an optical system (OS) 1, a control device (UU) 2, a subtracting device (VU) 3, blocks FPZS-1 4 and FPZS-2 5, obturator 6, a device for mutual displacement of the OS and blocks FPZS-1 (UVS- 1) 7, as well as additionally introduced a beam splitting system 8, a shutter 9, a device for mutual displacement of the OS and the blocks ФПЗС-2 (УВС-2) 10. Optical communication is shown by a dashed line. On the obturators 6, 9 through the beam-splitting system, the scene image formed by the OS is projected, and control signals from the output of the control unit are sent to their electrical inputs. From the obturator 6, the image signal is projected to the UVS-1, and from the obturator 9 to the UVS-2, the electrical inputs of which receive control signals from the output of the UU. From the UVS-1 output, the image signal is projected onto the FPZS-1 accumulation section, and from the UVS-2 output - onto the FPZS-2 accumulation section. Phase control pulses FN 1, 2, 3 , FP 1, 2, 3 , FR 1, 2, 3 from the output of the control unit arrive at the inputs of the accumulation sections, memory, and output registers FPSS-1 and FPSS-2. From the output registers ФПЗС-1 and ФПЗС-2, the image signals are fed to the inputs of the control unit forming the output signal.
Реализация пространственно-временной обработки на основе блоков ФПЗС, светоделительной системы, обтюраторов, устройств взаимного смещения ОС и блоков ФПЗС под управлением УУ осуществляется следующим образом. Блок ФПЗС-1 совместно с обтюратором 6 и УВС-1 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 совместно с обтюратором 9 и УВС-2 - с отрицательными. Соответственно при реализации свертки изображения с положительными коэффициентами импульсной характеристики фильтра блок ФПЗС-2 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-2 от светового потока с помощью обтюратора на основе электрооптического модулятора, а при реализации свертки с отрицательными коэффициентами - ФПЗС-1. Необходимость использования двух отдельных матриц ФПЗС обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). ФПЗС выполняет дискретное накопление зарядов, фотогенерированных под воздействием проецируемого ОС изображения сцены, и хранение накопленных зарядовых пакетов во время пауз между накоплениями. Вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства обработки. УВС в соответствии с управляющими сигналами УУ осуществляет взаимное пространственное смещение оптического потока и ФПЗС: непрерывное согласовано с сопровождаемым объектом и скачкообразное во время каждого цикла. Синхронизацию работы устройства обработки осуществляет УУ путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюраторами, сигналов управления УВС-1 и УВС-2.The implementation of spatio-temporal processing based on FPSS blocks, a beam splitting system, shutters, OS mutual bias devices and FPSS blocks under control of a control unit is carried out as follows. Block ФПЗС-1 together with shutter 6 and УВС-1 implements image convolution with positive coefficients of impulse response of the filter, ФПЗС-2 together with shutter 9 and УВС-2 - with negative ones. Accordingly, when convolving an image with positive coefficients of the impulse response of the filter, the FPZS-2 unit stores the accumulated charge packets when shielding the FPZS-2 accumulation section from the light flux using an obturator based on an electro-optical modulator, and when implementing convolution with negative coefficients, FPZS-1. The need to use two separate FPSS matrices is due to the fact that the values of the impulse response characteristics of the filter can be both positive and negative, and it is impossible to perform convolution with samples of different signs on the same matrix due to the non-negativity of the light characteristics and physical limitations of the FPS (charges can only be accumulated one character). The FPSS performs discrete accumulation of charges photogenerated by the projected OS image of the scene, and stores the accumulated charge packets during pauses between accumulations. The subtracting device combines the signals from the outputs of both FPSS matrices and generates the output signal of the processing device. The UVS in accordance with the control signals of the SU carries out mutual spatial displacement of the optical flux and FPS: continuous coordinated with the accompanied object and spasmodic during each cycle. The processing device synchronizes the operation of the control unit by changing the order of arrival and the duration of the phase pulses of the control of the accumulation section, the memory section, the output register of the FPSS blocks, the control signals of the shutters, the control signals of the UVS-1 and UVS-2.
Применение предложенного способа позволит реализовать широкий круг задач пространственно-временной обработки изображений одновременно с их формированием в реальном масштабе времени на основе устройства, обладающего характерными для ФПЗС минимальными массогабаритными и энергетическими показателями.The application of the proposed method will allow to realize a wide range of tasks of spatio-temporal image processing simultaneously with their formation in real time on the basis of a device having the minimum mass-dimensional and energy indicators characteristic of the FPS.
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2006101359/09A RU2313189C2 (en) | 2006-01-17 | 2006-01-17 | Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2006101359/09A RU2313189C2 (en) | 2006-01-17 | 2006-01-17 | Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2006101359A RU2006101359A (en) | 2007-08-10 |
RU2313189C2 true RU2313189C2 (en) | 2007-12-20 |
Family
ID=38510518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2006101359/09A RU2313189C2 (en) | 2006-01-17 | 2006-01-17 | Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2313189C2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2486690C2 (en) * | 2011-08-03 | 2013-06-27 | Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный авиационный инженерный университет" (г. Воронеж) Министерства обороны Российской Федерации | Apparatus for space-time image processing based on photosensitive charge coupled device matrices |
-
2006
- 2006-01-17 RU RU2006101359/09A patent/RU2313189C2/en not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2486690C2 (en) * | 2011-08-03 | 2013-06-27 | Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный авиационный инженерный университет" (г. Воронеж) Министерства обороны Российской Федерации | Apparatus for space-time image processing based on photosensitive charge coupled device matrices |
Also Published As
Publication number | Publication date |
---|---|
RU2006101359A (en) | 2007-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5874994A (en) | Filter employing arithmetic operations for an electronic sychronized digital camera | |
US10362245B2 (en) | Imaging device that performs rolling readout of pixel rows to acquire an image of an object | |
CN103685913B (en) | The picture pick-up device of periodic variation conditions of exposure and the control method of picture pick-up device | |
US3691302A (en) | Automatic light control for low light level television camera | |
CN102428694A (en) | Image Capture Device, Image Processing Device And Image Processing Programme | |
DE112010002987T5 (en) | Method for improving images | |
RU2313189C2 (en) | Method for spatial and temporal processing of images on basis of matrices of photo-sensitive devices with charge-coupled devices and device for realization of said method | |
RU2597889C2 (en) | Gated television system with a pulsed illumination source | |
RU2216117C2 (en) | Method and device for space-time image processing basing on photosensitive charge- coupled matrices | |
KR102396062B1 (en) | Apparatus for Acquiring Multiple Exposure Images Using Optical Shutter | |
GB1585857A (en) | Colour television method | |
US8780228B2 (en) | Image capture apparatus and control method thereof | |
RU2358408C2 (en) | Device for space-time processing images based on matrices of photosensitive charge-coupled devices | |
CN112067125A (en) | Dual-channel hyperspectral detection system based on underwater robot | |
RU2486690C2 (en) | Apparatus for space-time image processing based on photosensitive charge coupled device matrices | |
RU192145U1 (en) | A device for implementing spatio-temporal image processing based on arrays of charge-coupled photosensitive devices | |
FI92537B (en) | A method for attenuating noise in a video signal and a noise attenuator | |
EP0433123B1 (en) | Method and apparatus of data compression for a videophone camera equipped with a photosensitive charge transfer matrix, and system for the transmission of corresponding images | |
RU2755256C1 (en) | Bistatic laser monitor | |
RU2068624C1 (en) | Device for generation of signal of interference picture | |
RU2089932C1 (en) | Device to view objects | |
SU1332561A1 (en) | Device for forming image signals | |
JPH07107369A (en) | Image processor | |
EP0424409A1 (en) | Range finding device | |
SU1157703A1 (en) | Method of generating picture signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20080118 |