RU2727920C1 - Panoramic television surveillance computer system with selective image scaling - Google Patents
Panoramic television surveillance computer system with selective image scaling Download PDFInfo
- Publication number
- RU2727920C1 RU2727920C1 RU2020103509A RU2020103509A RU2727920C1 RU 2727920 C1 RU2727920 C1 RU 2727920C1 RU 2020103509 A RU2020103509 A RU 2020103509A RU 2020103509 A RU2020103509 A RU 2020103509A RU 2727920 C1 RU2727920 C1 RU 2727920C1
- Authority
- RU
- Russia
- Prior art keywords
- output
- ring
- video
- sensor
- photodetector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
Abstract
Description
Предполагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Телевизионная камера такой системы имеет два сенсора: «кольцевой» и «прямоугольный» (матричный) фотоприемники, - изготовленные по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП). А на экране компьютерного монитора воспроизводится комбинированное изображение, которое по отношению к первоначально предъявляемому изображению состоит из априори выбранного участка с необходимым увеличением (масштабированием) и остальной его части с неизменным масштабом.The proposed invention relates to panoramic television surveillance, which is performed by a computer system using an all-round television camera in an area close to a hemisphere, i.e. in spatial angle 360 degrees in azimuth and tens of degrees in elevation. The television camera of such a system has two sensors: “annular” and “rectangular” (matrix) photodetectors, which are manufactured using the technology of complementary structures “metal-oxide-semiconductor” (CMOS). A combined image is reproduced on the screen of a computer monitor, which, in relation to the initially presented image, consists of a priori selected area with the necessary magnification (scaling) and the rest of it with a constant scale.
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме 1 наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), который заменяет БЭВИ при переводе компьютерной системы в режим 2 последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров т, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:The closest in technical essence to the claimed invention should be considered the device of a computer system for panoramic television surveillance [1], containing a serially connected television camera and a server, which is a node of a local area network, to which two or more personal computers are connected, while the expansion connector on the motherboard the server board is equipped with a video card, matched in input / output channels, control and power supply with the server bus, containing an electric image recording unit (EVI), which programmatically inserts a "circular" frame of a television camera into a "rectangular" raster of a computer monitor, and in in mode 1 of observation of a panoramic plot, the input of BEVI is fully connected to the output of the RAM unit per frame, and the output of BEVI is connected to the "network" output of the server; the video card also includes a block for converting a "ring" frame into "rectangular" frames (BPCP), which replaces the BEVI when the computer system is switched to mode 2 of a sequential panoramic view, and the number of "rectangular" frames m corresponding to one current "circular" frame, satisfies the ratio:
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется тоже программным путем,where γ g is the horizontal angle of the field of view in degrees of the image observed by the operator, and this transformation itself is also performed by software,
при этом телевизионная камера, формирующая «кольцевой» растр изображения, содержит последовательно расположенные и оптически связанные панорамный объектив и «кольцевой» фотоприемник (сенсор), который выполнен на кристалле, изготовленном по технологии КМОП, и содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, причем изменение коэффициента усиления Km активного пиксела для каждой текущей «кольцевой» строки сенсора выполняется по соотношению:at the same time, the television camera, which forms the “ring” image raster, contains sequentially located and optically connected panoramic lens and “ring” photodetector (sensor), which is made on a crystal made by CMOS technology, and contains on the target a line of photosensitive elements (pixels), located along the radial directions from the imaginary center of the circular ring to its outer periphery, and the number of light-sensitive pixels in each "circular" line of the target is the same, and their area (Δ) from line to line is different, increasing as it moves to the outer periphery of the sensor, and the target sensor consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in analog-to-digital converter (ADC), which provides the transmission of the active pixel video signal to its "radial" video bus, while all of them together combine active target pixels in "radial" columns, when than the ADC control for pixels located along each "ring" line of the sensor is carried out using a separate "ring" line bus, the total number of which determines the number of lines in the sensor, and the number of "radial" video buses - the number of pixels in each line of the sensor; in this case, on the common crystal of the photodetector, there are also units that perform scanning and formation of the output voltage of the digital video signal, namely: a "ring" register of vertical scanning, which selects the "ring"line;"Ring" video signal switch containing video signal switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer and provide the transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output "Video" of the photodetector, and the change in the gain K m of the active pixel for each current "ring" line of the sensor is performed according to the ratio:
где Δ1 и Δm - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения.where Δ 1 and Δ m are, respectively, the photosensitive area of the active pixel for the first and current “circular” readout line in the “circular” sensor, providing the same readout aperture value within the entire “circular” image raster.
В прототипе [1] обеспечивается возможность наблюдения панорамного сюжета полностью (в режиме 1) и отдельных его фрагментов (в режиме 2). При этом гарантируется повышенная степень интеграции телевизионной камеры за счет выполнения «кольцевого» сенсора по технологии КМОП, позволяющей разместить на его кристалле и необходимое электронное «обрамление фотоприемника.In the prototype [1], it is possible to observe a panoramic scene completely (in mode 1) and its individual fragments (in mode 2). At the same time, an increased degree of integration of a television camera is guaranteed due to the implementation of a “ring” sensor using CMOS technology, which allows placing on its crystal the necessary electronic “framing of the photodetector.
Недостаток прототипа - отсутствие возможности визуального контроля выбираемых участков панорамного изображения в увеличенном масштабе одновременно с наблюдением панорамного сцены полностью по методу селективного масштабирования.The disadvantage of the prototype is the inability to visually control the selected areas of the panoramic image on an enlarged scale simultaneously with the observation of the panoramic scene entirely by the selective scaling method.
Задачей изобретения является предоставление возможности селективного масштабирования изображения для одновременно наблюдаемой полностью панорамной сцены.The object of the invention is to provide the possibility of selective image scaling for a simultaneously observed completely panoramic scene.
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БЭВИ, который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; при этом телевизионная камера, формирующая «кольцевой» растр изображения, содержит последовательно расположенные панорамный объектив и «кольцевой» фотоприемник (сенсор), который выполнен на кристалле, изготовленном по технологии КМОП и содержит на мишени линейки светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле «кольцевого» фотоприемника размещаются и блоки, выполняющие развертку и формирование на выходе «Видео» «кольцевого» фотоприемника напряжения цифрового «кольцевого» видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, а изменение коэффициента усиления Km активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора обеспечивает одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, при этом по сравнению с прототипом в состав телевизионной камеры дополнительно введены матричный фотоприемник, установленный на блоке наведения, светоделитель, расположенный на выходе панорамного объектива, селектор синхроимпульсов, генератор электронной отметки «крест» и смеситель, выход которого является выходом «Видео 1» телевизионной камеры, при этом матричный фотоприемник, как и «кольцевой» сенсор, выполнен по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем число его «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления Km активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине, причем выход цифрового видеосигнала матричного фотоприемника является выходом «Видео 2» телевизионной камеры; светоделитель, воспринимающий на входе выходное оптическое изображение панорамного объектива и обеспечивающий формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень «кольцевого» фотоприемника, а на втором выходе - оптического изображения одного из фрагментов «кольцевого» кадра, проецируемого на мишень матричного фотоприемника, причем сам светоделитель содержит последовательно расположенные и оптически связанные полупрозрачное зеркало, коллективную линзу, отражающее зеркало и объектив, причем вход светоделителя оптически связан с входом полупрозрачного зеркала, первый выход светоделителя - с выходом его объектива, а второй выход светоделителя - с выходом полупрозрачного зеркала; блок наведения осуществляет плавное пространственное перемещение матричного фотоприемника в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой «крест», которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения телевизионной камеры выполняется по команде оператора системы с компьютера, системный блок которого является сервером заявляемой телевизионной системы; первый информационный вход смесителя подключен к выходу «Видео» «кольцевого» фотоприемника, а второй информационный вход смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» «кольцевого» фотоприемника подключен к входу селектора синхроимпульсов, выход кадровых синхроимпульсов (КСИ) которого подключен к первому входу генератора электронной отметки, выход строчных синхроимпульсов (ССИ) селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход смеси синхроимпульсов приемника (ССП) селектора синхроимпульсов - к входу внешней синхронизации матричного сенсора; причем коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки «кольцевого» сенсора изменяется по соотношению:The task in the claimed device of the panoramic television surveillance system is solved by the fact that, as in the prototype device [1], containing a series-connected television camera and a server, which is a local area network node, to which two or more personal computers are connected, while expansion, a video card is installed on the server motherboard, coordinated in input / output channels, control and power supply with the server bus, containing a BEVI, which programmatically inserts a "ring" frame of a television camera into a "rectangular" raster of a computer monitor, and in the panoramic observation mode plot, the input of BEVI is connected to the output of the RAM block for the frame, and the output of BEVI is connected to the "network" output of the server; in this case, the television camera, which forms the "ring" image raster, contains a sequentially located panoramic lens and a "ring" photodetector (sensor), which is made on a crystal made by CMOS technology and contains on the target a line of light-sensitive pixels located along the radial directions from the imaginary center a circular ring to its outer periphery, and the number of light-sensitive pixels in each “circular” target line is the same, and their area (Δ) from row to row is different, increasing as it moves to the outer periphery of the sensor, and the sensor target consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in ADC, which ensures the transmission of the video signal of the active pixel to its "radial" video bus, while they all combine the active pixels of the target into "radial" columns, and the ADC control for the pixels located along each "circular "Sensor lines, carried out using a separate" ring "line bus, the total number of which determines the number of lines in the sensor, and the number of" radial "video buses - the number of pixels in each sensor line; at the same time, on the common crystal of the "ring" photodetector, blocks are also located that perform scanning and formation of a "ring" voltage photodetector of a digital "ring" video signal at the output of the "Video", namely: a "ring" frame scan register, which selects the "ring"line;"Ring" video signal switch containing video signal switches for each "radial" column, which are controlled from the corresponding output of the "ring" horizontal multiplexer and provide the transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output The "video" of the photodetector, and the change in the gain K m of the active pixel for each current "ring" line of the "ring" sensor provides the same reading aperture within the entire "ring" image raster, while in comparison with the prototype, the television camera additionally includes a matrix photodetector mounted on the aiming unit, a beam splitter located at the output of a panoramic lens, a sync pulse selector, an electronic “cross” mark generator and a mixer, the output of which is the “Video 1” output of a television camera, while the matrix photodetector, like a “ring” sensor , executed by t CMOS technology, with a similar organization according to the method of "coordinate addressing", and the number of its "rectangular" lines is equal to the number of "circular" lines in the "ring" sensor, and with the same light-sensitive area (Δ) of all active target pixels, the gain K m of the active pixel for each current "rectangular""line of the target of the matrix sensor is kept constant and unchanged in value, and the output of the digital video signal of the matrix photodetector is the output of" Video 2 "of the television camera; a beam splitter that perceives the output optical image of the panoramic lens at the input and provides the formation at the first output of the optical image of the entire "ring" frame projected onto the target of the "ring" photodetector, and at the second output - an optical image of one of the fragments of the "ring" frame projected onto the target matrix photodetector, and the beam splitter itself contains sequentially located and optically coupled semitransparent mirror, a collective lens, a reflecting mirror and a lens, and the input of the beam splitter is optically connected to the input of the semitransparent mirror, the first output of the beam splitter is connected to the output of its lens, and the second output of the beam splitter is connected to the output of the semitransparent mirrors; the guidance unit carries out a smooth spatial movement of the matrix photodetector within the circle to the position marked on the image in the panoramic scene observation mode by the fully electronic mark "cross", which is at the same time the geometric center of the proposed for consideration a separate fragment of the "ring" frame, while controlling the guidance unit the television camera is executed by command of the system operator from the computer, the system unit of which is the server of the claimed television system; the first information input of the mixer is connected to the "Video" output of the "ring" photodetector, and the second information input of the mixer is connected to the signal output of the electronic mark generator, the control input of which is connected to the output of the position sensor of the guidance unit, and the "Video" output of the "ring" photodetector is connected to the input of the sync pulse selector, the output of the personnel sync pulses (CSI) of which is connected to the first input of the electronic mark generator, the output of the horizontal sync pulses (SSI) of the sync pulse selector - to the second input of the electronic mark generator; and the output of the sync pulse mixture of the receiver (SSP) of the sync pulse selector is to the external synchronization input of the matrix sensor; and the gain K m of the active pixel for each current "ring" line of the "ring" sensor changes according to the ratio:
где Δ1 и Δm - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре;where Δ 1 and Δ m - respectively, the photosensitive area of the active pixel for the first and the current "ring" line of reading in the "ring"sensor;
D/ƒ - относительное отверстие объектива светоделителя;D / ƒ - relative aperture of the beam splitter lens;
τ1 - коэффициент пропускания объектива светоделителя;τ 1 - transmission coefficient of the beam splitter lens;
τ2 - коэффициент пропускания коллективной линзы светоделителя;τ 2 is the transmission coefficient of the collective lens of the beam splitter;
при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей, а сам он является оператором этой системы.in this case, the system unit of one of the computer users is used as the server of the computer system, and he himself is the operator of this system.
Перепишем соотношение (3) в следующем виде:Let us rewrite relation (3) in the following form:
где коэффициент β, определяющий отношение освещенности сцены на первом выходе светоделителя к его освещенности на втором выходе, измеряется величиной 
при этом плата видео, установленная в разъем расширения на материнской плате сервера, предназначена для ввода/вывода, как первого, так и второго цифровых видеосигналов («Видео 1» и «Видео 2» соответственно), формирования сигнала «окошко», выполнения коммутации видеосигналов «Видео 1» и «Видео 2» по сигналу «окошко» с формированием комбинированного изображения, выход которого является выходом видеосигнала телевизионной системы.the video card installed in the expansion slot on the server motherboard is intended for input / output of both the first and second digital video signals ("Video 1" and "Video 2", respectively), generating a "window" signal, performing switching of video signals "Video 1" and "Video 2" on the signal "window" with the formation of a combined image, the output of which is the output of the video signal of the television system.
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.The combination of known and new features for the claimed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.
Важно отметить следующее. Светочувствительная площадь пикселов мишени «кольцевого» фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» сенсора, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.It is important to note the following. The light-sensitive area of the target pixels of the "ring" photodetector, as for the prototype [1], is different from line to line. This is caused by the need for a "ring" sensor, having the same number of pixels in each line, to equalize the resolution within the frame by providing the same technological (production) gap between the photosensitive elements.
Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.But at the same time, both in the claimed solution and in the prototype [1], there is no interline violation of the sensitivity of the sensor due to the following circumstances.
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра в предлагаемом решении определяется произведением трех величин: коэффициента усиления Km пиксела, его светочувствительной площади Δm и коэффициента β.The parameter of the reading aperture for all pixels of each current line of the "circular" frame in the proposed solution is determined by the product of three quantities: the gain K m of the pixel, its light-sensitive area Δ m and the coefficient β.
Как следует из соотношений (3) и (4), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов «кольцевого» фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела этого сенсора, что является обязательным условием для реализации чувствительности фотоприемника и его отношения сигнал/шум.As follows from relations (3) and (4), this indicator remains constant (unchanged) for all light-sensitive pixels of the "ring" photodetector. The magnitude of the noise "track" for each active pixel of this sensor does not change either, which is a prerequisite for realizing the sensitivity of the photodetector and its signal-to-noise ratio.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed technical solution meets the criterion for the presence of an inventive step.
На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием и на этом же чертеже - структурная схема телевизионной камеры в ее составе; на фиг. 2 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - схемотехническая организация матричного фотоприемника; на фиг. 5 - пример выполнения электрической схемы блока наведения; на фиг. 6 - иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра в прямоугольный растр компьютерного монитора; на фиг. 7 - иллюстрация формирования комбинированного изображения на экране компьютерного монитора; на фиг. 8, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.FIG. 1 shows a block diagram of the claimed computer system for panoramic television surveillance with selective scaling, and the same drawing shows a block diagram of a television camera in its composition; in fig. 2 shows the schematic organization of the "ring" photodetector; in fig. 3 - details of this organization in relation to a single "radial" column; in fig. 4 - schematic organization of the matrix photodetector; in fig. 5 - an example of the implementation of the electrical circuit of the guidance unit; in fig. 6 is an illustration of the fulfillment of the task of electrically inscribing an image of a "ring" frame into a rectangular raster of a computer monitor; in fig. 7 is an illustration of the formation of a combined image on the computer monitor screen; in fig. 8, according to [2], shows a photograph of an image obtained using a domestic panoramic mirror-lens objective.
Заявляемая компьютерная система панорамного телевизионного наблюдения (см. фиг. 1) содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения к ней двух или более персональных компьютеров в позиции 3.The claimed computer system for panoramic television surveillance (see Fig. 1) contains a serially connected television camera 1 and a server 2 (with a video card installed in it), which is a node of a local computer network, with the ability to connect two or more personal computers to it in position 3.
В качестве сервера 2 использован системный блок компьютера 4 оператора системы.The system unit of the computer 4 of the system operator is used as server 2.
Телевизионная камера 1, см. фиг. 1, содержит в своем составе панорамный объектив 1-1, «кольцевой» фотоприемник 1-2, светоделитель в позиции 1-3, матричный фотоприемник 1-4, блок наведения 1-5, смеситель 1-6, генератор 1-7 электронной отметки «крест» и селектор синхроимпульсов 1-8. Выход смесителя 1-6 является выходом «Видео 1» телевизионной камеры.Television camera 1, see FIG. 1, contains a panoramic lens 1-1, a "ring" photodetector 1-2, a beam splitter in position 1-3, a matrix photodetector 1-4, a guidance unit 1-5, a mixer 1-6, an electronic marker generator 1-7 "Cross" and selector of sync pulses 1-8. The mixer output 1-6 is the “Video 1” output of the television camera.
По линии связи команда управления телевизионной камерой с компьютера 4 оператора системы поступает на блок наведения 1-5. Первый информационный вход блока 1-6 подключен к выходу «Видео» «кольцевого» фотоприемника 1-2, его второй информационный вход - к выходу генератора 1-7 электронной отметки. На управляющий вход генератора 1-7 электронной отметки подается сигнал с датчика положения блока наведения 1-5. Выход «Видео» «кольцевого» фотоприемника 1-2 подключен также к входу селектора 1-8 синхроимпульсов, выход КСИ которого подключен к первому входу генератора 1-7, выход ССИ - ко второму входу генератора 1-7, а выход ССП - к входу внешней синхронизации матричного фотоприемника 1-4. Выход «Видео» матричного фотоприемника 1-4 является выходом «Видео 2» телевизионной камеры.Through the communication line, the command to control the television camera from the computer 4 of the system operator is sent to the guidance unit 1-5. The first information input of unit 1-6 is connected to the “Video” output of the “ring” photodetector 1-2, its second information input is connected to the output of the electronic mark generator 1-7. The signal from the position sensor of the guidance unit 1-5 is fed to the control input of the generator 1-7 of the electronic mark. The "Video" output of the "ring" photodetector 1-2 is also connected to the input of the sync pulse selector 1-8, the output of the CSI of which is connected to the first input of the generator 1-7, the output of the SSI to the second input of the generator 1-7, and the output of the SSP to the input external synchronization of the matrix photodetector 1-4. The "Video" output of the matrix photodetector 1-4 is the "Video 2" output of the television camera.
Как и в прототипе [1], плата видео в сервере 2 выполняет программным путем электрическое вписывание изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора.As in the prototype [1], the video card in the server 2 performs by software the electrical inscribing the image of the "ring" frame from the main memory into the "rectangular" raster of the computer monitor.
Следует отметить, что в компьютерной программе применительно к операции по реализации электрического вписывания «кольцевого» кадра в «прямоугольный» растр монитора должно быть реализовано соблюдение последовательности передачи телевизионных строк.It should be noted that in the computer program in relation to the operation for the implementation of the electrical inscribing of the "ring" frame in the "rectangular" raster of the monitor, the sequence of transmission of television lines must be observed.
При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 6.Under the condition of placing the inscribed frame in the central part of the monitor screen, the implementation of this task is shown in Fig. 6.
Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника 1-2.Let's demonstrate the algorithm incorporated in this program, using the raster position of the bit images from two pixels "A" and "B" for a "ring" photodetector 1-2.
Пусть, как показано на фиг. 2, пиксел «А» считывается первым в первой «кольцевой» строке сенсора, а пиксел «В» - точно посередине этой строки.Let, as shown in FIG. 2, pixel "A" is read first in the first "ring" line of the sensor, and pixel "B" is read exactly in the middle of this line.
Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 6) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.Then in the "rectangular" raster of a computer monitor (see Fig. 6), the image from the pixel "A" will occupy the position of the central element of its first line, and the image from the pixel "B" - the position of the central element of its last line.
В заявляемом решении компьютерной системы предусмотрена возможность мониторинга фрагментов «кольцевого» кадра при помощи матричного фотоприемника. По сравнению с прототипом [1], здесь принципиально исключаются пропуски видеоинформации на последовательных стыках (между соседними «прямоугольными» кадрами), т.к. эти участки могут быть просмотрены дополнительно.The claimed solution of the computer system provides for the possibility of monitoring fragments of the "ring" frame using a matrix photodetector. Compared to the prototype [1], gaps of video information at successive joints (between adjacent "rectangular" frames) are fundamentally excluded here, because these sites can be viewed additionally.
Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами [2].The panoramic lens 1-1 of a television camera, as in the prototype [1], is designed to form an optical image of a circular view (ring image). As a technical solution for a panoramic lens 1-1, which coincides with a similar solution for the prototype, a panoramic mirror-lens lens can be proposed, the design of which is patented in Russia by domestic specialists [2].
Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места. Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива, см. фиг. 8, подтверждает целесообразность выбора формы фотоприемника 1-2 в пользу кругового кольца.The angular field in object space for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation. The presence of a passive (uninformative) area in the center of the optical frame of a panoramic lens, see Fig. 8, confirms the advisability of choosing the shape of the photodetector 1-2 in favor of a circular ring.
Светоделитель 1-3 телевизионной камеры предназначен для направления светового потока с выхода панорамного объектива 1-1 по двум каналам: на мишень «кольцевого» фотоприемника (выход 1) и на мишень матричного фотоприемника 1-4 (выход 2).The beam splitter 1-3 of the television camera is designed to direct the light flux from the output of the panoramic lens 1-1 through two channels: to the target of the "ring" photodetector (output 1) and to the target of the matrix photodetector 1-4 (output 2).
Здесь использована оптическая схема светоделителя, которая была ранее экспериментально проверена и опубликована в описании к патенту РФ [3].Here, the optical scheme of the beam splitter is used, which was previously experimentally tested and published in the description of the RF patent [3].
Светоделитель 1-3 содержит последовательно расположенные и оптически связанные полупрозрачное зеркало 1-3-1, коллективную линзу 1-3-2, отражающее зеркало 1-3-3 и дополнительный объектив 1-3-4, причем вход светоделителя оптически связан с входом полупрозрачного зеркала 1-3-1, первый выход светоделителя - с выходом дополнительного объектива 1-3-4, а второй выход светоделителя - с выходом полупрозрачного зеркала 1-3-1.The beam splitter 1-3 contains sequentially located and optically coupled semitransparent mirror 1-3-1, a collective lens 1-3-2, a reflecting mirror 1-3-3 and an additional lens 1-3-4, and the input of the beam splitter is optically connected to the input of the semitransparent mirrors 1-3-1, the first output of the beam splitter is with the output of the additional objective 1-3-4, and the second output of the beam splitter is with the output of the translucent mirror 1-3-1.
«Кольцевой» фотоприемник 1-2 (см. фиг. 2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.The "ring" photodetector 1-2 (see Fig. 2) is made using CMOS technology and contains on a common crystal a "ring" photodetector region (target) 1-2-1, a "ring" register 1-2-2 of frame scan, " ring "switch 1-2-3 video signals and" ring "multiplexer 1-2-4.
Как показано на фиг. 2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.As shown in FIG. 2, the active pixels on the target of the photodetector are combined into columns that are located along the radial directions from the imaginary center of the circular ring.
Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления Km для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.Each active pixel of the target (see Fig. 3) includes a light-sensitive area (area) 1-2-1-1, an amplifier 1-2-1-2 with a gain K m for each current "ring" line and ADC 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.A 1-2-3 “ring” video signal switch consists of separate 1-2-3-1 video signal switches, the number of which corresponds to the number of active pixels in a row, united by a 1-2-3-2 “ring” video bus.
Отметим, что показанная на фиг. 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.Note that the shown in FIG. 2 the shape of the photosensitive pixel area is in the form of a rectangle, and in FIG. 3 - Latin letter L, - are conditional. In practice, the charge storage electrodes of the active pixels of the sensor target, which coincide with the area of their photosensitive area, can be made completely differently, for example, with a geometric shape in the form of a part of a circular ring.
Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.The ADC 1-2-1-3 pixels, like all other target pixels, are controlled from the control input of the 1-2-3 “ring” multiplexer. transmitting a control signal from the corresponding output of the "ring" register 1-2-2 frame scan.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.The video signal from the output of each ADC 1-2-1-3 for each active pixel of an individual taken "radial" column is transmitted to the "radial" video bus 1-2-1-5. Further, using the "own" key MOS transistor of the switch 1-2-3-1, controlled from one of the outputs of the 1-2-4 multiplexer, the digital video signal of the current pixel is transmitted to the "ring" video bus 1-2-3-2, and then transmitted through it to the output of the photodetector.
То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из двух фотоприемников сенсорного блока 1-2.The same formation of a digital video signal occurs within the other radially located columns of the "ring" target 1-2-1 of each of the two photodetectors of the sensor unit 1-2.
Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. На самом деле число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.Note that in FIG. 2, dashed arrows show the control of the "ring" line buses 1-2-1-4 of the photodetector from the side of the "ring" register 1-2-2 of the vertical scan. That here, as in FIG. 3, only four line tires are shown is a convention of the drawing. In fact, the number of buses 1-2-1-4 corresponds to the actual number of "ring" lines in the claimed sensor.
Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.Let us explain further in FIG. 2 and more. Arrows with continuous lines mark the transmission of the image signal in the sensor via the “radial” video buses 1-2-1-5 in the direction of the “ring” video switch 1-2-3.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in the "ring" raster, one after the other for each pixel of a separate "ring" line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is formed in digital form.
Как и в прототипе [1], благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.As in the prototype [1], thanks to the CMOS technology adopted for the manufacture of the proposed video signal sensor, it is possible to integrate into one common crystal not only a photodetector with an ADC for each active pixel, but also digital scanners of a television camera. The implementation of such a solution provides a significant reduction in the overall power consumption of a television camera.
Матричный фотоприемник 1-4, выполненный также по технологии КМОП, сохраняет все признаки прибора, реализованного по методу «координатная адресация» американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и подробно комментировалось в отечественной монографии [4, с. 67, рис. 1.21]. Очевидно, что по этой технологии на кристалле матричного фотоприемника 1-4 также реализуется задача по формированию цифрового видеосигнала «прямоугольного» растра с пониженным энергопотреблением.Matrix photodetector 1-4, also made by CMOS technology, retains all the features of the device, implemented by the method of "coordinate addressing" by American specialists in the "zero" two thousand years. This was reported and commented in detail in the domestic monograph [4, p. 67, Fig. 1.21]. Obviously, this technology on the crystal of the matrix photodetector 1-4 also implements the task of forming a digital video signal of a "rectangular" raster with reduced power consumption.
Матричный сенсор 1-4 (см. фиг. 4) содержит на общем кристалле фотоприемную область (мишень) в позиции 5, регистр кадровой развертки в позиции 6, коммутатор видеосигналов в позиции 8 и мультиплексор строчной развертки в позиции 7.Matrix sensor 1-4 (see Fig. 4) contains on a common crystal a photoreceiving area (target) at position 5, a vertical scan register at
Активные пикселы на мишени сенсора объединены в столбцы вертикальной шиной видео 5-5.Active pixels on the sensor target are grouped into columns by a 5-5 vertical video bus.
Каждый активный пиксел мишени имеет в своем составе светочувствительную область (площадь) 5-1, усилитель 5-2 с коэффициентом усиления K1 и АЦП 5-3. Коммутатор видеосигналов 8 состоит из отдельных коммутаторов 8-1, число которых соответствует числу активных пикселов в строке, объединенных горизонтальной шиной видео 5-6.Each active pixel of the target includes a light-sensitive area (area) 5-1, an amplifier 5-2 with a gain K 1 and an ADC 5-3. The video signal switch 8 consists of separate switches 8-1, the number of which corresponds to the number of active pixels in a line, united by a horizontal video bus 5-6.
Управление АЦП 5-3 пиксела для каждой строки фотоприемника осуществляется при помощи отдельной (своей) строчной шины 5-4, передающей сигнал управления с соответствующего выхода регистра 6 кадровой развертки.The ADC 5-3 pixel control for each line of the photodetector is carried out using a separate (own) line bus 5-4, which transmits the control signal from the corresponding output of the
Видеосигнал с выхода каждого АЦП 5-3 для каждого активного пиксела отдельного взятого столбца передается на горизонтальную шину видео 5-6. Для этого при помощи ключевого МОП-транзистора коммутатора 8-1, управляемого с одного из выходов мультиплексора 7, цифровой видеосигнал текущего пиксела передается на горизонтальную шину видео 5-6, а затем транслируется по ней на выход сенсора.The video signal from the output of each ADC 5-3 for each active pixel of a single taken column is transmitted to the horizontal video bus 5-6. To do this, using the switch MOS-transistor switch 8-1, controlled from one of the multiplexer 7 outputs, the digital video signal of the current pixel is transmitted to the horizontal video bus 5-6, and then transmitted through it to the sensor output.
То же самое формирование цифрового видеосигнала происходит и в пределах других столбцов мишени 7 данного сенсора.The same formation of a digital video signal occurs within the other columns of the target 7 of this sensor.
В результате в прямоугольном растре последовательно один за другим для каждого пиксела отдельно взятой строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in a rectangular raster sequentially one after another for each pixel of a separate line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is formed in digital form.
В заявляемом решении блок наведения 1-5 осуществляет плавное круговое пространственное перемещение мишени матричного фотоприемника 1-4 по проекции «кольцевого» изображения панорамной сцены, формируемого на первом выходе светоделителя 1-3.In the claimed solution, the guidance unit 1-5 carries out a smooth circular spatial movement of the target of the matrix photodetector 1-4 along the projection of the "circular" image of the panoramic scene formed at the first output of the beam splitter 1-3.
Электрическая схема блока 1-5 может быть реализована на базе технического решения, которое ранее было использовано в описании к патенту РФ [3].The electrical circuit of unit 1-5 can be implemented on the basis of the technical solution that was previously used in the description of the RF patent [3].
Рассмотрим работу блока 1-5 (см. фиг. 5), электрическая схема которого выполнена на двух оптронах HSSR, обозначенных как VT1 и VT2.Consider the operation of unit 1-5 (see Fig. 5), the electrical circuit of which is made on two HSSR optocouplers, designated as VT1 and VT2.
Изделие HSSR-7111 согласно [5] - однополюсный нормально разомкнутый оптрон с выходным каскадом на мощных МОП-транзисторах, имеет очень малое сопротивление во включенном состоянии и работает в точности как полупроводниковое реле.The product HSSR-7111 according to [5] is a single-pole normally open optocoupler with an output stage on high-power MOS-transistors, has a very low on-resistance and works exactly like a semiconductor relay.
Будем считать, что управление наведением осуществляется командами в соответствии с табл. 1.We will assume that guidance control is carried out by commands in accordance with table. 1.
Отметим, что подаваемые в телевизионную камеру с компьютера по двухпроводной линии связи сигналы управления блоком 1-5 наведения являются постоянными напряжениями положительной или отрицательной полярности. Величина этих напряжений (5…12) вольт отсчитывается относительно провода «общий».Note that the control signals of the guidance unit 1-5 supplied to the television camera from the computer via the two-wire communication line are constant voltages of positive or negative polarity. The magnitude of these voltages (5 ... 12) volts is measured relative to the "common" wire.
При отсутствии команд управления данные напряжения тоже отсутствуют. Поэтому оптроны VT1 H.VT2 разомкнуты, а электродвигатель М обесточен.In the absence of control commands, the voltage data is also missing. Therefore, the optocouplers VT1 H. VT2 are open, and the electric motor M is de-energized.
Пусть по линии связи на блок 1-5 наведения поступает команда «Управление поворотом» - «Вперед». Тогда оптрон VT2 замыкается, а электродвигатель М подключается к источнику переменного напряжения ~U и начинает вращаться. Если взамен этой команды поступит команда «Управление поворотом» - «Назад», то замкнется оптрон VT1, а электродвигатель М будет вращаться в другом направлении.Let the command "Turn control" - "Forward" be sent to the guidance unit 1-5 via the communication line. Then the optocoupler VT2 is closed, and the electric motor M is connected to an alternating voltage source ~ U and begins to rotate. If instead of this command the command "Control of rotation" - "Back" is received, then the optocoupler VT1 will close, and the electric motor M will rotate in the other direction.
Концевые выключатели SF1 и SF2 обеспечивают границы позиционирования в пределах одного кругового оборота матричного фотоприемника 1-5.Limit switches SF1 and SF2 provide positioning limits within one circular revolution of the matrix photodetector 1-5.
Датчик положения выполнен на базе переменного резистора RPn, имеющего линейную зависимость изменения сопротивления от угла поворота, а постоянный резистор Rn* служит для реализации настроечной работы по точному позиционированию. Движок резистора RPn кинематически (через редуктор) связан с двигателем М.The position sensor is made on the basis of a variable resistor RP n , which has a linear dependence of the change in resistance on the angle of rotation, and a constant resistor R n * serves to implement tuning work for precise positioning. The motor of the resistor RP n is kinematically (via a gearbox) connected to the motor M.
Отметим, что сигнал датчика положения (напряжение Un с потенциометра RPn), поступает на управляющий вход генератора 1-7 электронной отметки «крест», обеспечивая перемещение маркера на «кольцевом» изображении в соответствии с командами, поступающими с блока наведения 1-5.Note that the signal of the position sensor (voltage U n from the potentiometer RP n ) is fed to the control input of the generator 1-7 of the electronic mark "cross", providing the movement of the marker on the "ring" image in accordance with the commands coming from the guidance unit 1-5 ...
Характеристика сигналов управления, сопутствующих команде «Управление наведением», была представлена выше (см. табл. 1).The characteristics of the control signals accompanying the command "Guidance control" was presented above (see Table 1).
Характеристика сигналов управления, сопутствующих команде «Выбор режима видео», представлена в табл. 2.The characteristic of control signals accompanying the command "Select video mode" is presented in table. 2.
Все сигнальные операции и управляющие команды выполняются в соответствии с прикладной компьютерной программой, которая является неотъемлемой частью разработки данной телевизионной системы. 
Очевидно, что подача всех сигналов управления осуществляется с клавиатуры компьютера 4 и/или помощи ее компьютерной мыши.Obviously, all control signals are supplied from the computer keyboard 4 and / or using its computer mouse.
Добавим, что команда «Выбор режима видео» распространяется в пределах компьютера, а поэтому является командой внутреннего пользования. Команда «Управление наведением» - внешняя команда, т.к. она предназначена для управления работой телекамеры.Let's add that the command "Select video mode" is distributed within the computer, and therefore is an internal command. The command "Hover control" is an external command, since it is designed to control the operation of the TV camera.
Необходимо отметить, что сигнал «окошко» может определять всю растровую зону выбираемого фрагмента изображения или быть ее меньше, но геометрические центры этих областей всегда совпадают.It should be noted that the "window" signal can define the entire raster area of the selected image fragment or be smaller, but the geometric centers of these areas always coincide.
Заявляемое устройство компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием изображения работает следующим образом.The claimed device of a computer system of panoramic television surveillance with selective image scaling works as follows.
Как и в прототипе [1], предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 1 он не показан).As in the prototype [1], it is assumed that the television camera 1 is installed in a fixed position, for example, using a photographic tripod (not shown in Fig. 1).
При ее включении компьютерной системы она начинает действовать по умолчанию в режиме 1, а в компьютере 4 формируется сигнал логической «1» для команды «Выбор режима видео» - «Кольцевое» изображение и выбор интересующего в нем фрагмента».When the computer system is turned on, it begins to operate by default in mode 1, and in computer 4, a logical “1” signal is generated for the command “Select video mode” - “Ring” image and select the fragment of interest in it ”.
Поэтому на плате видео компьютера 4 выполняется цифровое микширование сигнала «видео 1» с сигналом электронной отметки «крест», а в результате коммутации этих сигналов именно сигнал «Видео 1» с «наложенной» на него отметкой «крест» воспроизводится на экране компьютерного монитора.Therefore, on the video card of the computer 4, digital mixing of the “video 1” signal with the signal of the electronic mark “cross” is performed, and as a result of switching these signals, the signal “Video 1” with the “cross” mark superimposed on it is reproduced on the computer monitor screen.
Напомним, что «кольцевое» положение электронной отметки «крест» в пределах растра фотоприемника 1-2 определяется в зависимости от положения движка потенциометра RPn, установленного в блоке наведения 1-5.Recall that the "ring" position of the electronic mark "cross" within the raster of the photodetector 1-2 is determined depending on the position of the RP n potentiometer slider installed in the guidance unit 1-5.
«Крест» отмечает на изображении зону повышенного интереса оператора, а он, подавая с компьютера 4 в телекамеру 1 команду «Управление поворотом» - «Вперед», «Назад», может дистанционно установить эту отметку в пределах ее полного кругового перемещения.The “cross” marks the area of increased interest of the operator on the image, and he, by sending from computer 4 to camera 1 the command “Turn control” - “Forward”, “Back”, can remotely set this mark within its full circular movement.
Здесь также должно быть учтено, что наша электронная отметка «крест» при наведении на выбранный объект априори располагается точно в середине «кольцевого» изображения по его ширине (см. фиг. 7, слева).It should also be taken into account that our electronic mark "cross" when hovering over the selected object is a priori located exactly in the middle of the "ring" image along its width (see Fig. 7, left).
Одновременно матричный фотоприемник 1-4 формирует видеосигнал оптически увеличенного изображения выбранного объекта, которое является базовым при создании необходимого изображения «окошка».At the same time, the matrix photodetector 1-4 generates a video signal of an optically enlarged image of the selected object, which is basic when creating the necessary image of the "window".
По выходу «Видео 1» сформированный цифровой телевизионный сигнал (ЦТС) по интерфейсу (например, USB 2,0) по линии связи передается на сервер 2, где выполняется запись видеоинформации в блок оперативной памяти на кадр.At the “Video 1” output, the generated digital television signal (DTS) is transmitted via the interface (for example, USB 2.0) via the communication line to the server 2, where video information is recorded into the RAM block per frame.
Далее оператор переводит телевизионную систему в режим 2 работы и может контролировать комбинированное изображение, которое формируется «кольцевым» фотоприемником 1-2 и одновременно матричным сенсором 1-4 при его текущем местоположении.Then the operator switches the television system to operation mode 2 and can control the combined image, which is formed by the “ring” photodetector 1-2 and at the same time by the matrix sensor 1-4 at its current location.
Это изображение в цифровом виде по интерфейсу транслируется из телевизионной камеры 1 (по выходу «Видео 2) в сервер 2, но по другой линии связи.This image in digital form is transmitted via the interface from the television camera 1 (via the “Video 2” output) to the server 2, but via a different communication line.
Отметим, что в плате видео сервера 2 изображение комбинированного изображения целесообразно выводить на центральную часть экрана компьютерного монитора, в котором изображение «окошка» (см. фиг. 7, справа) занимает центральное положение внутри свободной зоны «кольцевого» изображения.Note that in the video server board 2, the combined image image should be displayed on the central part of the computer monitor screen, in which the window image (see Fig. 7, right) occupies a central position inside the free zone of the “ring” image.
Эта рекомендация диктуется созданием необходимых эргономических условий для работы оператора компьютера 4 и пользователей компьютеров 3.This recommendation is dictated by the creation of the necessary ergonomic conditions for the work of the computer operator 4 and computer users 3.
Наличие же свободной зоны в центральной части кольцевого изображения (см. фиг. 8) является важной для этого предпосылкой.The presence of a free zone in the central part of the annular image (see Fig. 8) is an important prerequisite for this.
Вернемся к оценке соотношения (5). Учитывая оптические свойства светоделителя 1-3, освещенность изображения на мишени «кольцевого» фотоприемника 1-2 будет в β раз меньше, чем освещенность мишени матричного сенсора 1-4.Let us return to the estimate of relation (5). Taking into account the optical properties of the beam splitter 1-3, the illumination of the image on the target of the "ring" photodetector 1-2 will be β times less than the illumination of the target of the matrix sensor 1-4.
Но в типовом случае, когда площадь (Δ) светочувствительного пиксела матричного фотоприемника 1-4 равна площади пиксела первой строки «кольцевого» фотоприемника 1-2, не возникает ситуации с различной чувствительность этих фотоприемных каналов. Это объясняется тем, что в заявляемом решении априори предусмотрено, что коэффициент усиления Km для всех активных пикселов «кольцевого сенсора увеличен по сравнению с аналогичным коэффициентом матричного сенсора в β раз.But in a typical case, when the area (Δ) of the photosensitive pixel of the matrix photodetector 1-4 is equal to the area of the pixel of the first row of the "ring" photodetector 1-2, there is no situation with different sensitivity of these photodetector channels. This is due to the fact that the claimed solution a priori provides that the gain K m for all active pixels of the "ring sensor is increased in comparison with the same coefficient of the matrix sensor in β times.
Селективное масштабирование изображения в заявляемом решении обеспечивает не только увеличение геометрических размеров выбранного фрагмента панорамного телевизионного изображения, но и выигрыш в его разрешающей способности.Selective image scaling in the claimed solution provides not only an increase in the geometric dimensions of the selected fragment of a panoramic television image, but also a gain in its resolution.
Если число светочувствительных пикселов в строке матричного фотоприемника 1-4 равно числу пикселов для «кольцевой» строки сенсора 1-2, получаемый выигрыш в разрешающей способности (четкости) этого фрагмента панорамного изображения, по сравнению с прототипом [1], составит т раз согласно соотношению (1).If the number of light-sensitive pixels in the line of the matrix photodetector 1-4 is equal to the number of pixels for the "ring" line of the sensor 1-2, the resulting gain in the resolution (clarity) of this fragment of the panoramic image, in comparison with the prototype [1], will be m times according to the ratio (1).
Благодаря выравниванию в телевизионной камере чувствительностей «кольцевого» и матричного фотоприемников, этот выигрыш достигается без потерь отношения сигнал/шум наблюдаемого изображения.Due to the equalization in the television camera of the sensitivities of the “ring” and matrix photodetectors, this gain is achieved without loss of the signal-to-noise ratio of the observed image.
После завершения записи этого изображения в дополнительный блок памяти сервера 2 оно также становится доступным для всех пользователей компьютеров 3.After the recording of this image to the additional memory block of the server 2 is completed, it also becomes available to all users of computers 3.
В настоящее время все элементы структурной схемы устройства компьютерной системы панорамного телевизионного наблюдения с селективным масштабирование изображения освоены или могут быть освоены отечественной промышленностью.At present, all elements of the structural diagram of a computer system for panoramic television surveillance with selective image scaling have been mastered or can be mastered by the domestic industry.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the claimed invention should be considered as complying with the requirement of industrial applicability.
ИСТОЧНИКИ ИНФОРМАЦИИSOURCES OF INFORMATION
1. Патент РФ №2706011. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2019. - №32.1. RF patent No. 2706011. IPC H04N 7/00. The device of a computer system for panoramic television surveillance. / V.M. Smelkov // B.I. - 2019. - No. 32.
2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.2. RF patent №2185645. IPC G02B 13/06, G02B 17/08. Panoramic mirror lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. - No. 20.
3. Патент РФ №2504100. H04N 5/225. Телевизионная система с селективным масштабированием изображения. / В.М. Смелков // Б.И. - 2014. - №1.3. RF patent №2504100. H04N 5/225. Selective image scaling television system. / V.M. Smelkov // B.I. - 2014. - No. 1.
4. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.4. Berezin V.V., Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K. and Shipilov N.N. The Solid State Revolution in Television: TV Systems Based on CCD, System-on-Chip and Video-on-Chip. Ed. A.A. Umbitaliev and A.K. Tsytsulin. - M .: "Radio and Communication", 2006.
5. www.avagotech.com.5.www.avagotech.com.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020103509A RU2727920C9 (en) | 2020-01-27 | 2020-01-27 | Panoramic television surveillance computer system with selective image scaling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020103509A RU2727920C9 (en) | 2020-01-27 | 2020-01-27 | Panoramic television surveillance computer system with selective image scaling |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2727920C1 true RU2727920C1 (en) | 2020-07-27 |
| RU2727920C9 RU2727920C9 (en) | 2020-08-06 |
Family
ID=71741423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020103509A RU2727920C9 (en) | 2020-01-27 | 2020-01-27 | Panoramic television surveillance computer system with selective image scaling |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2727920C9 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2755809C1 (en) * | 2021-01-12 | 2021-09-21 | Вячеслав Михайлович Смелков | Device of a computer system for panoramic television surveillance with increased resolution |
| RU2755494C1 (en) * | 2021-01-25 | 2021-09-16 | Вячеслав Михайлович Смелков | Method for generating video signal in television and computer system for monitoring industrial products having shape of circular ring |
| RU2756234C1 (en) * | 2021-03-01 | 2021-09-28 | Вячеслав Михайлович Смелков | Device of a computer system for panoramic television surveillance with selective image scaling |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5262852A (en) * | 1990-08-03 | 1993-11-16 | Thomson-Csf | Method of detection for a panoramic camera, camera for its implementation, and surveillance system equipped with such a camera |
| EP0932302A2 (en) * | 1998-01-22 | 1999-07-28 | Eastman Kodak Company | A CMOS active pixel digital camera |
| US6455831B1 (en) * | 1998-09-11 | 2002-09-24 | The Research Foundation Of Suny At Buffalo | CMOS foveal image sensor chip |
| US20030085930A1 (en) * | 2001-11-05 | 2003-05-08 | Steve Madsen | Graphical user interface for a remote operated vehicle |
| US20060072020A1 (en) * | 2004-09-29 | 2006-04-06 | Mccutchen David J | Rotating scan camera |
| US20060215049A1 (en) * | 1999-09-30 | 2006-09-28 | Giulio Sandini | Constant resolution and space variant sensor arrays |
| US7680192B2 (en) * | 2003-07-14 | 2010-03-16 | Arecont Vision, Llc. | Multi-sensor panoramic network camera |
| US20110134249A1 (en) * | 2009-12-04 | 2011-06-09 | Lockheed Martin Corporation | Optical Detection and Ranging Sensor System For Sense and Avoid, and Related Methods |
| WO2015124957A1 (en) * | 2014-02-24 | 2015-08-27 | Damir Krstinic | Augmented reality based handguns targeting system |
| RU2706011C1 (en) * | 2019-02-25 | 2019-11-13 | Вячеслав Михайлович Смелков | Panoramic television surveillance computer system device |
-
2020
- 2020-01-27 RU RU2020103509A patent/RU2727920C9/en active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5262852A (en) * | 1990-08-03 | 1993-11-16 | Thomson-Csf | Method of detection for a panoramic camera, camera for its implementation, and surveillance system equipped with such a camera |
| EP0932302A2 (en) * | 1998-01-22 | 1999-07-28 | Eastman Kodak Company | A CMOS active pixel digital camera |
| US6455831B1 (en) * | 1998-09-11 | 2002-09-24 | The Research Foundation Of Suny At Buffalo | CMOS foveal image sensor chip |
| US20060215049A1 (en) * | 1999-09-30 | 2006-09-28 | Giulio Sandini | Constant resolution and space variant sensor arrays |
| US20030085930A1 (en) * | 2001-11-05 | 2003-05-08 | Steve Madsen | Graphical user interface for a remote operated vehicle |
| US7680192B2 (en) * | 2003-07-14 | 2010-03-16 | Arecont Vision, Llc. | Multi-sensor panoramic network camera |
| US20060072020A1 (en) * | 2004-09-29 | 2006-04-06 | Mccutchen David J | Rotating scan camera |
| US20110134249A1 (en) * | 2009-12-04 | 2011-06-09 | Lockheed Martin Corporation | Optical Detection and Ranging Sensor System For Sense and Avoid, and Related Methods |
| WO2015124957A1 (en) * | 2014-02-24 | 2015-08-27 | Damir Krstinic | Augmented reality based handguns targeting system |
| RU2706011C1 (en) * | 2019-02-25 | 2019-11-13 | Вячеслав Михайлович Смелков | Panoramic television surveillance computer system device |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2727920C9 (en) | 2020-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2727920C1 (en) | Panoramic television surveillance computer system with selective image scaling | |
| CN104488259B (en) | Use the wide dynamic range of monochromatic sensor | |
| RU2371880C1 (en) | Panoramic video surveillance method and device for implementing thereof | |
| EP0599470B1 (en) | Panoramic camera systems | |
| RU2723645C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2723640C1 (en) | High-resolution panorama television surveillance computer system device | |
| CN111510651A (en) | Image sensing circuit, image sensor and terminal equipment | |
| RU2706011C1 (en) | Panoramic television surveillance computer system device | |
| CN104935793A (en) | Filter-array-equipped microlens and solid-state imaging device | |
| RU2743571C1 (en) | Computing system device for panoramic video surveillance with selective image scaling | |
| RU2665695C1 (en) | Computer system device for panoramic television surveillance | |
| RU2780039C1 (en) | Design of a computer system for panoramic television surveillance with selective image scaling (variants) | |
| RU2756234C1 (en) | Device of a computer system for panoramic television surveillance with selective image scaling | |
| RU2755809C1 (en) | Device of a computer system for panoramic television surveillance with increased resolution | |
| RU2785152C1 (en) | Design of a computer panoramic video surveillance system with high resolution | |
| RU2708630C1 (en) | Panoramic television surveillance computer system device | |
| RU2721381C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2504100C1 (en) | Television system with selective image scaling | |
| RU2787358C1 (en) | Computer system device for panoramic television surveillance with selective image scaling (options) | |
| RU2710779C1 (en) | Device for "circular" photodetector of color image for panoramic television-computer surveillance | |
| RU2813358C1 (en) | Design of computer system for panoramic television surveillance with selective image scaling | |
| RU2816540C1 (en) | Design of computer system for panoramic television surveillance for unmanned aerial vehicle | |
| RU2755494C1 (en) | Method for generating video signal in television and computer system for monitoring industrial products having shape of circular ring | |
| RU2813357C1 (en) | High-resolution panoramic television surveillance computer system | |
| RU2504099C1 (en) | Television system with selective image scaling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TH4A | Reissue of patent specification |