RU2743571C1 - Computing system device for panoramic video surveillance with selective image scaling - Google Patents
Computing system device for panoramic video surveillance with selective image scaling Download PDFInfo
- Publication number
- RU2743571C1 RU2743571C1 RU2020121444A RU2020121444A RU2743571C1 RU 2743571 C1 RU2743571 C1 RU 2743571C1 RU 2020121444 A RU2020121444 A RU 2020121444A RU 2020121444 A RU2020121444 A RU 2020121444A RU 2743571 C1 RU2743571 C1 RU 2743571C1
- Authority
- RU
- Russia
- Prior art keywords
- output
- video
- ring
- panoramic
- photodetector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
Abstract
Description
Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей круговой обзор в сферической области пространства, занимающей два противоположно расположенных шаровых слоя. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.The present invention relates to panoramic television monitoring, which is performed by a computer system using a television camera, providing a circular view in a spherical region of space, occupying two oppositely located spherical layers. At the same time, for each of these spherical layers, television monitoring of the situation in real time is carried out in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation.
Телевизионная камера такой системы имеет два сенсора: «кольцевой» и «прямоугольный» (матричный), каждый из которых содержит в своем составе по два фотоприемника, изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП). А на экране компьютерного монитора воспроизводится комбинированное изображение, которое по отношению к первоначально предъявляемому изображению состоит из априори выбранного участка с необходимым увеличением (масштабированием) и остальной его части с неизменным масштабом.The television camera of such a system has two sensors: "annular" and "rectangular" (matrix), each of which contains two photodetectors, manufactured using the technology of complementary structures "metal-oxide-semiconductor" (CMOS). And on the screen of a computer monitor, a combined image is reproduced, which, in relation to the initially presented image, consists of a priori selected area with the required magnification (scaling) and the rest of it with a constant scale.
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая первый и второй блоки преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), а также блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, при этом плата видео выполняет демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память, причем в режиме «Последовательный обзор панорамного сюжета» осуществляется преобразование первого и второго «кольцевых» кадров в «прямоугольные» кадры при помощи первого и второго БПКП, входы которых подключены соответственно к выходам первого и второго блоков оперативной памяти сервера, а выходы - к выходу «сеть» сервера, причем число «прямоугольных» кадров n, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:The closest in technical essence to the claimed invention should be considered a device of a computer system for panoramic television surveillance [1], containing a serially connected television camera and a server, which is a local area network node, to which two or more personal computers are connected, while the expansion connector on the motherboard the server board is equipped with a video card, which is coordinated in input / output channels, control and power supply with the server bus, which contains the first and second blocks for converting "ring" frames into "rectangular" frames (BPCS), as well as an electric image recording unit (EVI), which carries out programmatically inserting a "ring" frame of a television camera into a "rectangular" raster of a computer monitor, while the video card performs demultiplexing of the input digital television signal into two channels, followed by recording each of the "ring" video signals into the corresponding random access memory, when than in the "Sequential panoramic view" mode, the first and second "circular" frames are converted into "rectangular" frames using the first and second BPCS, the inputs of which are connected respectively to the outputs of the first and second blocks of the server's RAM, and the outputs to the output " network "server, and the number of" rectangular "frames n, corresponding to one current" circular "frame, satisfies the relation:
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем,where γ g is the horizontal angle of the field of view in degrees of the image observed by the operator, and this transformation itself is performed by software,
причем в сервере при переводе компьютерной системы в режим «Наблюдение панорамного сюжета полностью» выполняется переключение выходов первого и второго блоков оперативной памяти на кадр соответственно на первый и второй входы БЭВИ, а его выхода - на выход «сеть» сервера, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, сенсорный блок, содержащий первый и второй фотоприемники, причем первый панорамный объектив оптически связан с первым фотоприемником, а второй панорамный объектив - со вторым фотоприемником, а также мультиплексор, причем первый и второй фотоприемники сенсорного блока выполнены в виде кругового кольца на кристалле, изготовленном по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), а каждый из фотоприемников содержит линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число элементов в каждой «кольцевой» строке мишени фотоприемников одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии, при этом мишень каждого из фотоприемников состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный аналого-цифровой преобразователь (АЦП)), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:moreover, in the server, when the computer system is switched to the "Observation of the panoramic plot completely" mode, the outputs of the first and second blocks of random access memory are switched per frame, respectively, to the first and second inputs of the BEVI, and its output is switched to the output of the server's "network" camera includes the first panoramic lens, the second panoramic lens, the sensor unit containing the first and second photodetectors, the first panoramic lens being optically connected to the first photodetector, and the second panoramic lens with the second photodetector, as well as a multiplexer, and the first and second photodetectors of the sensor unit are made in the form of a circular ring on a crystal made by the technology of complementary structures "metal-oxide-semiconductor" (CMOS), and each of the photodetectors contains lines of photosensitive elements (pixels) located along the radial directions from the imaginary center of the circular ring to its outer periphery, and number of elements in each "circular" line of the target of the photodetectors is the same, and their area (Δ) from row to row is different, increasing as it moves to the outer periphery, while the target of each of the photodetectors consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in analog-to-digital converter (ADC)), which provides the transmission of the active pixel video signal to its "radial" video bus, while they all combine the active pixels of the target into "radial" columns, and ADC control for pixels located along each "circular" line of the photodetector, is carried out using a separate "ring" line tire, the total number of which determines the number of lines in the photodetector, and the number of "radial" video tires - the number of pixels in each line of the photodetector, while on the common crystal of the photodetector and blocks that perform scanning and formation of the output voltage of the digital video signal ala, namely: "circular" register of the vertical scan, which selects the "circular"line;"Ring" video signal switch containing video signal switches for each "radial" column, which are controlled from the corresponding output of the "ring" line scan multiplexer and provide the transmission of the video signal at the output of each "radial" video bus to the "ring" video bus, the output of which is the output “Video” of the photodetector, and the gain K m of the active pixel for each current “ring” line of the photodetector changes according to the ratio:
где Δl и Δm - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем выход «видео» первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора, а выход «видео» второго фотоприемника сенсорного блока - ко второму информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры.where Δ l and Δ m are, respectively, the photosensitive area of the active pixel for the first and current “circular” readout line in the “circular” sensor, providing the same readout aperture value within the entire “circular” image raster, and the “video” output of the first photodetector of the sensor unit connected to the first information input of the multiplexer, and the "video" output of the second photodetector of the sensor unit - to the second information input of the multiplexer, the output of which is the "video" output of the television camera.
Предполагается, что в сенсорном блоке телевизионной камеры на синхронизирующий вход мультиплексора подан необходимый сигнал управления в виде кадровых синхроимпульсов (КСИ).It is assumed that the necessary control signal in the form of frame sync pulses (CSI) is supplied to the synchronization input of the multiplexer in the sensor unit of the television camera.
В прототипе [1] обеспечивается круговой обзор в сферической области пространства, занимающей два противоположно расположенных шаровых слоя, с возможностью наблюдения панорамного сюжета полностью (в режиме 1) и отдельных его фрагментов (в режиме 2). При этом гарантируется повышенная степень интеграции телевизионной камеры за счет выполнения «кольцевых» фотоприемников сенсорного блока по технологии КМОП, позволяющей разместить на кристалле каждого из них и необходимое электронное «обрамление.The prototype [1] provides a circular view in a spherical area of space, occupying two oppositely located spherical layers, with the possibility of observing a panoramic plot completely (in mode 1) and its individual fragments (in mode 2). At the same time, an increased degree of integration of the television camera is guaranteed due to the implementation of "ring" photodetectors of the sensor unit using CMOS technology, which allows placing each of them and the necessary electronic "frame" on the crystal.
Недостаток прототипа - отсутствие возможности визуального контроля выбираемых участков панорамного изображения в увеличенном масштабе одновременно с наблюдением панорамного сцены полностью по методу селективного масштабирования.The disadvantage of the prototype is the inability to visually control the selected areas of the panoramic image on an enlarged scale simultaneously with the observation of the panoramic scene entirely by the selective scaling method.
Задачей изобретения является предоставление возможности селективного масштабирования изображения для одновременно наблюдаемой полностью панорамной сцены.The object of the invention is to provide the possibility of selective image scaling for a simultaneously observed completely panoramic scene.
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения с селективным масштабированием изображения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БЭВИ, который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем плата видео выполняет демультиплексирование входного мультиплексного «кольцевого» сигнала изображения «Видео 1» на два канала с последующей записью каждого из «кольцевых» видеосигналов соответственно в первый и второй блоки оперативной памяти на кадр, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу одного из блоков оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, первый мультиплексор, первый сенсорный блок, содержащий первый и второй фотоприемники, причем первый и второй фотоприемники первого сенсорного блока выполнены в виде кругового кольца на кристалле, изготовленном по технологии КМОП, а каждый из фотоприемников содержит линейки светочувствительных пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число элементов в каждой «кольцевой» строке мишени фотоприемников одинаково, а их площадь (Δ) от строки к строке различна, увеличиваясь по мере движения к внешней периферии, при этом мишень каждого из фотоприемников состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению: (2), обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, при этом по сравнению с прототипом [1] в состав телевизионной камеры дополнительно введены второй сенсорный блок, содержащий первый и второй матричные фотоприемники, который установлен на блоке наведения, первый светоделитель, расположенный на выходе первого панорамного объектива, второй светоделитель, расположенный на выходе второго панорамного объектива, селектор синхроимпульсов, генератор электронной отметки «крест», смеситель, выход которого является выходом «Видео 1» телевизионной камеры, и второй мультиплексор, выход которого является выходом «Видео 2» телевизионной камеры, при этом первый и второй матричные фотоприемники второго сенсорного блока, как и «кольцевые» фотоприемники первого сенсорного блока, выполнены по технологии КМОП, с аналогичной организацией по методу «координатная адресация», причем для каждого из них число «прямоугольных» строк равно числу «кольцевых» строк у «кольцевого» сенсора, а при одинаковой светочувствительной площади (Δ) всех активных пикселов мишени коэффициент усиления Km активного пиксела для каждой текущей «прямоугольной»» строки мишени матричного сенсора сохраняется постоянным и неизменным по величине; при этом первый светоделитель, воспринимающий на входе выходное оптическое изображение первого панорамного объектива, обеспечивает формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень первого «кольцевого» фотоприемника первого сенсорного блока, а на втором выходе - оптического изображения одного из фрагментов этого «кольцевого» кадра, проецируемого на мишень первого матричного фотоприемника второго сенсорного блока; второй светоделитель, воспринимающий на входе выходное оптическое изображение второго панорамного объектива, обеспечивает формирование на первом выходе оптического изображения всего «кольцевого» кадра, проецируемого на мишень второго «кольцевого» фотоприемника первого сенсорного блока, а на втором выходе - оптического изображения одного из фрагментов этого «кольцевого» кадра, проецируемого на мишень второго матричного фотоприемника второго сенсорного блока; блок наведения осуществляет плавное пространственное перемещение второго сенсорного блока в пределах круга в положение, отмечаемое на изображении в режиме наблюдения панорамного сюжета полностью электронной отметкой «крест», которая одновременно является геометрическим центром предлагаемого к рассмотрению отдельно взятого фрагмента «кольцевого» кадра, при этом управление блоком наведения телевизионной камеры выполняется по команде оператора системы с компьютера, системный блок которого является сервером заявляемой телевизионной системы; первый информационный вход смесителя подключен к выходу первого мультиплексора, а второй информационный вход смесителя - к выходу сигнала генератора электронной отметки, управляющий вход которого подключен к выходу датчика положения блока наведения, причем выход «Видео» первого «кольцевого» фотоприемника первого сенсорного блока подключен к входу селектора синхроимпульсов, выход кадровых синхроимпульсов (КСИ) которого подключен к первому входу генератора электронной отметки и соответственно к входу синхронизации первого и второго мультиплексоров, выход строчных синхроимпульсов (ССИ) селектора синхроимпульсов - ко второму входу генератора электронной отметки; а выход смеси синхроимпульсов приемника (ССП) селектора синхроимпульсов - к входу внешней синхронизации соответственно первого и второго матричных фотоприемников второго сенсорного блока; причем коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки первого и второго «кольцевых» фотоприемников первого сенсорного блока изменяется по соотношению:The problem posed in the claimed device of a panoramic television surveillance system with selective image scaling is solved by the fact that, as in the prototype device [1], containing a serially connected television camera and a server, which is a node of a local computer network, to which two or more personal computers are connected, at the same time, a video card is installed in the expansion slot on the server motherboard, which is coordinated in input / output channels, control and power supply with the server bus, containing a BEVI, which programmatically inserts a "ring" frame of a television camera into a "rectangular" raster of a computer monitor, and The video card demultiplexes the input multiplexed “ring” image signal “
где Δl и Δm - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в каждом из «кольцевых» фотоприемников;where Δ l and Δ m are, respectively, the photosensitive area of the active pixel for the first and current "annular" readout line in each of the "annular"photodetectors;
β - коэффициент, определяющий отношение освещенности сцены на втором выходе первого и второго светоделителя соответственно к освещенности сцены на первом выходе каждого из этих светоделителей,β is a coefficient that determines the ratio of the scene illumination at the second output of the first and second beam splitter, respectively, to the scene illumination at the first output of each of these beam splitters,
при этом в качестве сервера компьютерной системы используется системный блок одного из компьютерных пользователей, причем плата видео, установленная в разъем расширения на материнской плате сервера, обеспечивает дополнительно демультиплексирование входного мультиплексного «прямоугольного» сигнала изображения «Видео 2» на два канала с последующей записью каждого из «прямоугольных» видеосигналов соответственно в третий и четвертый блоки оперативной памяти на кадр, формирование сигнала «окошко» и выполнение коммутации демультиплексированных видеосигналов «Видео 1» и «Видео 2» по сигналу «окошко» с формированием комбинированного изображения, выход которого является выходом видеосигнала телевизионной системы.in this case, the system unit of one of the computer users is used as a server of the computer system, and the video card installed in the expansion slot on the server's motherboard additionally provides demultiplexing of the input multiplexed “rectangular” image signal “Video 2” into two channels with subsequent recording of each of "Rectangular" video signals, respectively, into the third and fourth blocks of random access memory per frame, generating the "window" signal and performing commutation of the demultiplexed video signals "
Пусть каждый из двух светоделителей телевизионной камеры в типовом варианте его реализации содержит последовательно расположенные и оптически связанные полупрозрачное зеркало, коллективную линзу, отражающее зеркало и объектив, причем вход светоделителя оптически связан с входом полупрозрачного зеркала, первый выход светоделителя - с выходом с его объектива, а второй выход светоделителя - с выходом полупрозрачного зеркала.Let each of the two beamsplitters of a television camera in a typical version of its implementation contain sequentially located and optically coupled semitransparent mirror, a collective lens, a reflecting mirror and a lens, and the input of the beamsplitter is optically connected to the input of the semitransparent mirror, the first output of the beamsplitter is with the output from its lens, the second output of the beam splitter is with the output of a semitransparent mirror.
Тогда соотношение (3) можно переписать в следующем виде:Then relation (3) can be rewritten as follows:
где D/ƒ - относительное отверстие объектива светоделителя;where D / ƒ is the relative aperture of the beam splitter lens;
τ1 - коэффициент пропускания объектива светоделителя;τ 1 - transmission coefficient of the beam splitter lens;
τ2 - коэффициент пропускания коллективной линзы светоделителя.τ 2 is the transmission coefficient of the collective lens of the beam splitter.
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.The combination of known and new features for the claimed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.
Важно отметить следующее. Светочувствительная площадь пикселов мишени для «кольцевыхо» фотоприемников первого сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.It is important to note the following. The light-sensitive area of the target pixels for the "ring" photodetectors of the first sensor unit, as for the prototype [1], is different from line to line. This is caused by the need for a “ring” photodetector, having the same number of pixels in each line, to equalize the resolution within the frame by providing the same technological (production) gap between the photosensitive elements.
Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.But at the same time, both in the claimed solution and in the prototype [1], there is no interline violation of the sensor's sensitivity for the following reasons.
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра в предлагаемом решении определяется произведением трех величин: коэффициента усиления Km пиксела, его светочувствительной площади Δm и коэффициента β.The parameter of the reading aperture for all pixels of each current line of the "circular" frame in the proposed solution is determined by the product of three quantities: the gain K m of the pixel, its light-sensitive area Δ m and the coefficient β.
Как следует из соотношений (3) и (4), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов «кольцевого» фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела этого сенсора, что является обязательным условием для реализации одинаковой по полю чувствительности фотоприемника и его высокого отношения сигнал/шум.As follows from relations (3) and (4), this indicator remains constant (unchanged) for all light-sensitive pixels of the "ring" photodetector. The magnitude of the noise "track" for each active pixel of this sensor does not change either, which is a prerequisite for the realization of the same sensitivity of the photodetector in the field and its high signal-to-noise ratio.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed technical solution meets the criterion for the presence of an inventive step.
На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием и на этом же чертеже - структурная схема телевизионной камеры в ее составе; на фиг. 2 приведена схемотехническая организация «кольцевого» фотоприемника; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - схемотехническая организация матричного фотоприемника; на фиг. 5 - пример выполнения электрической схемы блока наведения; на фиг. 6 - оптическая схема для первого и второго светоделителя; на фиг. 7 -иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра в прямоугольный растр компьютерного монитора; на фиг. 8 - иллюстрация формирования комбинированного изображения на экране компьютерного монитора; на фиг. 9, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.FIG. 1 shows a block diagram of the claimed computer system for panoramic television surveillance with selective scaling, and the same drawing shows a block diagram of a television camera in its composition; in fig. 2 shows the schematic organization of the "ring" photodetector; in fig. 3 - details of this organization in relation to a single "radial" column; in fig. 4 - schematic organization of the matrix photodetector; in fig. 5 - an example of the implementation of the electrical circuit of the guidance unit; in fig. 6 is an optical layout for the first and second beam splitter; in fig. 7 - an illustration of the performance of the task of electrically inscribing the image of the "ring" frame into a rectangular raster of a computer monitor; in fig. 8 is an illustration of the formation of a combined image on the screen of a computer monitor; in fig. 9, according to [2], shows a photograph of an image obtained with a domestic panoramic mirror-lens objective.
Заявляемая компьютерная система панорамного телевизионного наблюдения (см. фиг. 1) содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения к ней двух или более персональных компьютеров в позиции 3.The claimed computer system of panoramic television surveillance (see Fig. 1) contains a serially connected
В качестве сервера 2 использован системный блок компьютера 4 оператора системы.The system unit of the computer 4 of the system operator is used as server 2.
Телевизионная камера 1, см. фиг. 1, содержит в своем составе первый панорамный объектив 1-1, первый сенсорный блок 1-2, имеющий в своем составе два «кольцевых» фотоприемника, первый светоделитель в позиции 1-3, второй панорамный объектив 1-4, второй сенсорный блок 1-5, имеющий в своем составе два матричных фотоприемника, второй светоделитель 1-6, блок наведения 1-7, генератор 1-8 электронной отметки «крест», селектор синхроимпульсов 1-9, первый мультиплексор 1-10, второй мультиплексор 1-11 и смеситель 1-12. Выход смесителя 1-12 является выходом «Видео 1» телевизионной камеры, а выход второго мультиплексора 1-11 - ее выходом «Видео 2».
По линии связи команда управления телевизионной камерой с компьютера 4 оператора системы поступает на блок наведения 1-7. Первый информационный вход смесителя 1-12 подключен к выходу первого мультиплексора 1-10, а его второй информационный вход - к выходу генератора 1-8 электронной отметки. На управляющий вход генератора 1-8 электронной отметки подается сигнал с датчика положения блока наведения 1-7. Выход «Видео» первого «кольцевого» фотоприемника первого сенсорного блока 1-2 подключен к первому информационному входу первого мультиплексора 1-10 и соответственно - ко входу селектора 1-9 синхроимпульсов, а выход «Видео» второго «кольцевого» фотоприемника блока 1-2 - ко второму информационному входу мультиплексора 1-10; выход КСИ селектора 1-9 синхроимпульсов подключен к первому входу генератора 1-9 электронной отметки и к входам синхронизации мультиплексоров 1-10 и 1-11 соответственно, выход ССИ селектора 1-9 - ко второму входу генератора 1-7, а выход ССП - к входу внешней синхронизации второго «кольцевого» фотоприемника первого сенсорного блока 1-2 и соответственно к входу внешней синхронизации матричных фотоприемников второго сенсорного блока 1-5. Выход «Видео» первого матричного фотоприемника блока 1-5 подключен к первому информационному входу второго мультиплексора 1-11, а выход «Видео» второго матричного фотоприемника блока 1-5 - ко второму информационному входу мультиплексора 1-11.Through the communication line, the command to control the television camera from the computer 4 of the system operator is sent to the guidance unit 1-7. The first information input of the mixer 1-12 is connected to the output of the first multiplexer 1-10, and its second information input is connected to the output of the electronic mark generator 1-8. The signal from the position sensor of the guidance unit 1-7 is fed to the control input of the electronic marker generator 1-8. The “Video” output of the first “ring” photodetector of the first sensor unit 1-2 is connected to the first information input of the first multiplexer 1-10 and, accordingly, to the input of the sync pulse selector 1-9, and the “Video” output of the second “ring” photodetector unit 1-2 - to the second information input of the multiplexer 1-10; the output of the CSI of the selector 1-9 sync pulses is connected to the first input of the generator 1-9 of the electronic mark and to the synchronization inputs of the multiplexers 1-10 and 1-11, respectively, the output of the SSI of the selector 1-9 is connected to the second input of the generator 1-7, and the output of the SSP is to the input of external synchronization of the second "ring" photodetector of the first sensor unit 1-2 and, accordingly, to the input of external synchronization of the matrix photodetectors of the second sensor unit 1-5. The “Video” output of the first matrix photodetector of unit 1-5 is connected to the first information input of the second multiplexer 1-11, and the “Video” output of the second matrix photodetector of unit 1-5 is connected to the second information input of the multiplexer 1-11.
Как и в прототипе [1], плата видео в сервере 2 выполняет программным путем электрическое вписывание изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора.As in the prototype [1], the video card in the server 2 performs by software the electrical inscribing the image of the "ring" frame from the main memory into the "rectangular" raster of the computer monitor.
Следует отметить, что в компьютерной программе применительно к операции по реализации электрического вписывания «кольцевого» кадра в «прямоугольный» растр монитора должно быть реализовано соблюдение последовательности передачи телевизионных строк.It should be noted that in the computer program in relation to the operation for the implementation of the electrical inscribing of the "ring" frame in the "rectangular" raster of the monitor, the sequence of transmission of television lines must be observed.
При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 7.Under the condition of placing the inscribed frame in the central part of the monitor screen, the implementation of this task is shown in Fig. 7.
Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника.Let us demonstrate the algorithm incorporated in this program, using the raster position of bit images from two pixels "A" and "B" for a "ring" photodetector.
Пусть, как показано на фиг. 2 и слева на фиг. 7, пиксел «А» считывается первым в первой «кольцевой» строке сенсора, а пиксел «В» - точно посередине этой строки.Let, as shown in FIG. 2 and on the left in FIG. 7, pixel "A" is read first in the first "ring" line of the sensor, and pixel "B" is read exactly in the middle of this line.
Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 7, справа) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.Then in the "rectangular" raster of a computer monitor (see Fig. 7, on the right), the image from the pixel "A" will occupy the position of the central element of its first line, and the image from the pixel "B" - the position of the central element of its last line.
Отметим, что в заявляемом решении компьютерной системы предусмотрена возможность мониторинга фрагментов «кольцевых» кадров, применительно как к верхнему, так и к нижнему шаровому слою сферического пространства, при помощи матричных фотоприемников. По сравнению с прототипом [1], здесь принципиально исключаются пропуски видеоинформации на последовательных стыках (между соседними «прямоугольными» кадрами), т.к. эти участки могут быть просмотрены дополнительно.Note that the claimed solution of the computer system provides for the possibility of monitoring fragments of "ring" frames, in relation to both the upper and lower spherical layer of spherical space, using matrix photodetectors. Compared to the prototype [1], gaps of video information at successive joints (between adjacent "rectangular" frames) are fundamentally excluded here, because these sites can be viewed additionally.
Первый 1-3 и второй 1-6 панорамные объективы телевизионной камеры предназначен для формирования оптического изображения кругового обзора (кольцевого изображения) в двух противоположно расположенных слоях наблюдаемого сферического пространства. В качестве технического решения для них, совпадающим с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами [2].The first 1-3 and second 1-6 panoramic lenses of a television camera are designed to form an optical image of a circular view (ring image) in two opposite layers of the observed spherical space. As a technical solution for them, coinciding with a similar solution for the prototype [1], a panoramic mirror-lens objective can be proposed, the design of which is patented in Russia by domestic specialists [2].
Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места. Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива, см. фиг. 9, подтверждает целесообразность выбора формы фотоприемников сенсорного блока 1-2 в пользу кругового кольца.The angular field in object space for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation. The presence of a passive (non-informative) area in the center of the optical frame of a panoramic lens, see Fig. 9, confirms the advisability of choosing the shape of the photodetectors of the sensor unit 1-2 in favor of a circular ring.
Светоделители 1-3 и 1-6 телевизионной камеры предназначен для направления светового потока с выхода первого панорамного объектива 1-1 и соответственно второго панорамного объектива 1-6 по двум каналам: на мишень «кольцевого» фотоприемника (выход 1) и на мишень матричного фотоприемника (выход 2).Beam splitters 1-3 and 1-6 of a television camera are designed to direct the light flux from the output of the first panoramic lens 1-1 and, accordingly, the second panoramic lens 1-6 through two channels: to the target of the "ring" photodetector (output 1) and to the target of the matrix photodetector (exit 2).
Здесь использована оптическая схема светоделителя, которая была ранее экспериментально проверена и опубликована в описании к патенту РФ [3].Here the optical scheme of the beam splitter is used, which was previously experimentally tested and published in the description of the RF patent [3].
Первый светоделитель 1-3 (см. фиг. 6), как и аналогично второй светоделитель 1-6, содержит последовательно расположенные и оптически связанные полупрозрачное зеркало 1-3-1, коллективную линзу 1-3-2, отражающее зеркало 1-3-3 и объектив 1-3-4, причем вход светоделителя оптически связан с входом полупрозрачного зеркала 1-3-1, первый выход светоделителя - с выходом объектива 1-3-4, а второй выход светоделителя -с выходом полупрозрачного зеркала 1-3-1.The first beam splitter 1-3 (see Fig. 6), like the second beam splitter 1-6, contains sequentially located and optically coupled semitransparent mirror 1-3-1, a collective lens 1-3-2, a reflecting mirror 1-3- 3 and a lens 1-3-4, and the input of the beam splitter is optically connected to the input of the semitransparent mirror 1-3-1, the first output of the beam splitter is connected to the output of the lens 1-3-4, and the second output of the beam splitter is connected to the output of the semitransparent mirror 1-3- one.
Оба «кольцевых» фотоприемника сенсорного блока 1-2 (см. фиг. 2) выполнены по технологии КМОП, а каждый из них содержит на общем кристалле «кольцевую» светочувствительную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.Both "ring" photodetectors of the sensor unit 1-2 (see Fig. 2) are made using CMOS technology, and each of them contains on a common crystal a "ring" photosensitive region (target) 1-2-1, "ring" register 1- 2-2 vertical sweep, "ring" switch 1-2-3 video signals and "ring" multiplexer 1-2-4.
Как показано на фиг.2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.As shown in Fig. 2, active pixels on the target of the photodetector are combined into columns that are located along radial directions from the imaginary center of the circular ring.
Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления Km для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.Each active pixel of the target (see Fig. 3) includes a light-sensitive area (area) 1-2-1-1, an amplifier 1-2-1-2 with a gain K m for each current "ring" line and ADC 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.A “ring” video signal switch 1-2-3 consists of separate video signal switches 1-2-3-1, the number of which corresponds to the number of active pixels in a row, united by a “ring” video bus 1-2-3-2.
Отметим, что показанная на фиг. 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.Note that the shown in FIG. 2 the shape of the photosensitive pixel area is in the form of a rectangle, and in FIG. 3 - Latin letter L, - are conditional. In practice, the charge storage electrodes of the active pixels of the sensor target, which coincide with the area of their photosensitive area, can be made completely differently, for example, with a geometric shape in the form of a part of a circular ring.
Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.The ADC 1-2-1-3 pixels, like all other target pixels, are controlled from the control input of the 1-2-3 “ring” multiplexer. transmitting a control signal from the corresponding output of the "ring" register 1-2-2 frame scan.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.The video signal from the output of each ADC 1-2-1-3 for each active pixel of an individual taken "radial" column is transmitted to the "radial" video bus 1-2-1-5. Further, using the "own" key MOS transistor of the switch 1-2-3-1, controlled from one of the outputs of the 1-2-4 multiplexer, the digital video signal of the current pixel is transmitted to the "ring" video bus 1-2-3-2, and then transmitted through it to the output of the photodetector.
То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из двух фотоприемников сенсорного блока 1-2.The same formation of a digital video signal occurs within the limits of other radially located columns of the "ring" target 1-2-1 of each of the two photodetectors of the sensor unit 1-2.
Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. На самом деле число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.Note that in FIG. 2, dashed arrows show the control of the "ring" line buses 1-2-1-4 of the photodetector from the side of the "ring" register 1-2-2 of the vertical scan. That here, as in FIG. 3, only four line tires are shown is a convention of the drawing. In fact, the number of buses 1-2-1-4 corresponds to the actual number of "ring" lines in the claimed sensor.
Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.Let us explain further in FIG. 2 and more. Arrows with continuous lines mark the transmission of the image signal in the sensor via the "radial" video buses 1-2-1-5 in the direction of the "ring" commutator 1-2-3 video signals.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in the "ring" raster, one after the other, for each pixel of a separate "ring" line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is formed in digital form.
Как и в прототипе [1], благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.As in the prototype [1], thanks to the CMOS technology adopted for the manufacture of the proposed video signal sensor, it is possible to integrate into one common crystal not only a photodetector with an ADC for each active pixel, but also digital scanners of a television camera. The implementation of such a solution provides a significant reduction in the overall power consumption of a television camera.
Отметим, что обратные стороны кристаллов «кольцевых» фотоприемников в сенсорном блоке 1-2 расположены навстречу друг другу.Note that the reverse sides of the crystals of "ring" photodetectors in the sensor unit 1-2 are located towards each other.
Оба матричный фотоприемника сенсорного блока 1-5, выполнены также по технологии КМОП. Каждый из них сохраняет все признаки прибора, реализованного по методу «координатная адресация» американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и подробно комментировалось в отечественной монографии [4, с. 67, рис. 1.21]. Очевидно, что по этой технологии на кристалле матричного фотоприемника также реализуется задача по формированию цифрового видеосигнала «прямоугольного» растра с пониженным энергопотреблением.Both matrix photodetectors of the sensor unit 1-5 are also made using CMOS technology. Each of them retains all the features of the device implemented by the "coordinate addressing" method by American specialists in the "zero" two thousand years. This was reported and commented in detail in the domestic monograph [4, p. 67, Fig. 1.21]. Obviously, this technology also implements the task of forming a digital video signal of a "rectangular" raster with reduced power consumption on the crystal of a matrix photodetector.
Матричный фотоприемник (см. фиг. 4) содержит на общем кристалле светочувствительную область (мишень) в позиции 5, регистр кадровой развертки в позиции 6, коммутатор видеосигналов в позиции 8 и мультиплексор строчной развертки в позиции 7.The matrix photodetector (see Fig. 4) contains on a common crystal a photosensitive area (target) at position 5, a vertical scan register at
Активные пикселы на мишени сенсора объединены в столбцы вертикальной шиной видео 5-5.The active pixels on the sensor target are grouped into columns by the vertical video bus 5-5.
Каждый активный пиксел мишени имеет в своем составе светочувствительную область (площадь) 5-1, усилитель 5-2 с коэффициентом усиления K1 и АЦП 5-3. Коммутатор видеосигналов 8 состоит из отдельных коммутаторов 8-1, число которых соответствует числу активных пикселов в строке, объединенных горизонтальной шиной видео 5-6.Each active pixel of the target includes a light-sensitive area (area) 5-1, an amplifier 5-2 with a gain K 1 and an ADC 5-3. The video signal switch 8 consists of separate switches 8-1, the number of which corresponds to the number of active pixels in a line, united by a horizontal video bus 5-6.
Управление АЦП 5-3 пиксела для каждой строки фотоприемника осуществляется при помощи отдельной (своей) строчной шины 5-4, передающей сигнал управления с соответствующего выхода регистра 6 кадровой развертки.ADC control 5-3 pixels for each line of the photodetector is carried out using a separate (own) line bus 5-4, which transmits a control signal from the corresponding output of the
Видеосигнал с выхода каждого АЦП 5-3 для каждого активного пиксела отдельного взятого столбца передается на горизонтальную шину видео 5-6. Для этого при помощи ключевого МОП-транзистора коммутатора 8-1, управляемого с одного из выходов мультиплексора 7, цифровой видеосигнал текущего пиксела передается на горизонтальную шину видео 5-6, а затем транслируется по ней на выход фотоприемника.The video signal from the output of each ADC 5-3 for each active pixel of a single taken column is transmitted to the horizontal video bus 5-6. To do this, using the switch MOS-transistor switch 8-1, controlled from one of the multiplexer 7 outputs, the digital video signal of the current pixel is transmitted to the horizontal video bus 5-6, and then transmitted through it to the output of the photodetector.
То же самое формирование цифрового видеосигнала происходит и в пределах других столбцов мишени 7 данного сенсора.The same formation of a digital video signal occurs within the other columns of the target 7 of this sensor.
В результате в прямоугольном растре последовательно один за другим для каждого пиксела отдельно взятой строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника. Отметим, что в составе сенсорного блока 1-5 обратные стороны матричных кристаллов фотоприемников также расположены навстречу друг другу.As a result, in a rectangular raster sequentially one after another for each pixel of a separate line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is formed in digital form. Note that in the composition of the sensor unit 1-5, the reverse sides of the matrix crystals of the photodetectors are also located towards each other.
В заявляемом решении блок наведения 1-7 осуществляет плавное круговое пространственное перемещение сенсорного блока 1-5, а следовательно, и мишени первого и второго матричных фотоприемников по проекциям «кольцевых» изображений панорамной сцены, формируемого на первом выходе светоделителей 1-3 и 1-6.In the claimed solution, the guidance unit 1-7 carries out a smooth circular spatial movement of the sensor unit 1-5, and therefore the target of the first and second matrix photodetectors along the projections of the "circular" images of the panoramic scene, formed at the first output of the beam splitters 1-3 and 1-6 ...
Электрическая схема блока 1-7 может быть реализована на базе технического решения, которое ранее было использовано в описании к патенту РФ [3].The electrical circuit of unit 1-7 can be implemented on the basis of the technical solution that was previously used in the description of the RF patent [3].
Рассмотрим работу блока 1-7 (см. фиг. 5), электрическая схема которого выполнена на двух оптронах HSSR, обозначенных как VT1 и VT2.Consider the operation of unit 1-7 (see Fig. 5), the electrical circuit of which is made on two HSSR optocouplers, designated as VT1 and VT2.
Изделие HSSR-7111 согласно [5] - однополюсный нормально разомкнутый оптрон с выходным каскадом на мощных МОП-транзисторах, имеет очень малое сопротивление во включенном состоянии и работает в точности как полупроводниковое реле.The product HSSR-7111 according to [5] is a single-pole normally open optocoupler with an output stage based on powerful MOS transistors, has a very low on-resistance and works exactly like a semiconductor relay.
Будем считать, что управление наведением осуществляется командами в соответствии с табл. 1.We will assume that guidance control is carried out by commands in accordance with table. one.
Отметим, что подаваемые в телевизионную камеру с компьютера по двухпроводной линии связи сигналы управления блоком 1-5 наведения являются постоянными напряжениями положительной или отрицательной полярности. Величина этих напряжений (5…12) вольт отсчитывается относительно провода «общий».Note that the control signals of the guidance unit 1-5 supplied to the television camera from the computer via the two-wire communication line are constant voltages of positive or negative polarity. The magnitude of these voltages (5 ... 12) volts is measured relative to the "common" wire.
При отсутствии команд управления данные напряжения тоже отсутствуют. Поэтому оптроны VT1 и VT2 разомкнуты, а электродвигатель М обесточен.In the absence of control commands, voltage data is also missing. Therefore, the optocouplers VT1 and VT2 are open, and the electric motor M is de-energized.
Пусть по линии связи на блок 1-7 наведения поступает команда «Управление поворотом» - «Вперед». Тогда оптрон VT2 замыкается, а электродвигатель М подключается к источнику переменного напряжения ~U и начинает вращаться. Если взамен этой команды поступит команда «Управление поворотом» - «Назад», то замкнется оптрон VT1, а электродвигатель М будет вращаться в другом направлении.Let the command "Turn control" - "Forward" be sent to the guidance unit 1-7 via the communication line. Then the optocoupler VT2 closes, and the electric motor M is connected to an alternating voltage source ~ U and begins to rotate. If instead of this command the command "Control of rotation" - "Back" is received, then the optocoupler VT1 will close, and the electric motor M will rotate in the other direction.
Концевые выключатели SF1 и SF2 обеспечивают границы позиционирования в пределах одного кругового оборота матричного фотоприемника.Limit switches SF1 and SF2 provide positioning limits within one circular revolution of the matrix photodetector.
Датчик положения выполнен на базе переменного резистора RPn, имеющего линейную зависимость изменения сопротивления от угла поворота, а постоянный резистор Rn * служит для реализации настроечной работы по точному позиционированию. Движок резистора RPn кинематически (через редуктор) связан с двигателем М.The position sensor is made on the basis of a variable resistor RP n , which has a linear dependence of the change in resistance on the angle of rotation, and a constant resistor R n * serves to implement the adjustment work for accurate positioning. The motor of the resistor RP n is kinematically (via a gearbox) connected to the motor M.
Отметим, что сигнал датчика положения (напряжение Un с потенциометра RPn), поступает на управляющий вход генератора 1-7 электронной отметки «крест», обеспечивая перемещение маркера на «кольцевом» изображении в соответствии с командами, поступающими с блока наведения 1-7.Note that the signal of the position sensor (voltage U n from the potentiometer RP n ) is fed to the control input of the generator 1-7 of the electronic mark "cross", providing the movement of the marker on the "ring" image in accordance with the commands coming from the guidance unit 1-7 ...
Каждый из двух мультиплексоров 1-10 и 1-11 телевизионной камеры предназначен для синхронизации двух входных цифровых видеосигналов и объединения их на единственную линию связи путем разделения составляющих сигналов по времени. По техническому решению они ничем не отличаются от мультиплексора прототипа [1].Each of the two multiplexers 1-10 and 1-11 of a television camera is designed to synchronize two input digital video signals and combine them into a single communication line by separating the component signals in time. According to the technical solution, they are no different from the prototype multiplexer [1].
Устройство компьютерной системы панорамного телевизионного наблюдения с селективным масштабированием изображения (см. фиг.1) работает следующим образом.The device of the computer system of panoramic television surveillance with selective image scaling (see figure 1) operates as follows.
Предположим, что телевизионная камера 1, установленная на гексакоптере, расположена на некоторой высоте относительно Земли.Suppose that the
Заметим, что термином «гексакоптер» принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенного для выполнения аэровидеосъемки местности.Note that the term "hexacopter" is commonly used in the technical literature to refer to a radio-controlled model of an unmanned aerial vehicle with six wings, designed for aerial video surveying of the terrain.
Пусть для этого конструкторское решение первого сенсорного блока 1-2 в составе телевизионной камеры 1 реализовано так, что ось визирования первого панорамного объектива 1-1, а следовательно, и оптическая ось первого «кольцевого» фотоприемника направлена по вертикали вверх.Let for this purpose the design solution of the first sensor unit 1-2 as part of the
Тогда, по отношению к этому направлению, ось визирования второго панорамного объектива 1-4 будет ориентирована вниз по вертикали. Это означает, что точно так же будет ориентирована и оптическая ось и второго «кольцевого» фотоприемника.Then, with respect to this direction, the axis of sight of the second panoramic lens 1-4 will be oriented downward vertically. This means that the optical axis of the second “ring” photodetector will be oriented in the same way.
Экспонирование «кольцевых» мишеней первого и второго «кольцевых» фотоприемников производится непрерывно. На первом выходе сенсорного блока 1-2 формируется цифровой видеосигнал «кольцевого» кадра от первого фотоприемника, а на втором выходе сенсорного блока 1-2 - цифровой видеосигнал «кольцевого» кадра от второго фотоприемника.The exposure of the "ring" targets of the first and second "ring" photodetectors is carried out continuously. At the first output of the sensor unit 1-2, a digital video signal of the “ring” frame from the first photodetector is generated, and at the second output of the sensor unit 1-2, a digital video signal of the “ring” frame from the second photodetector.
Далее выходные видеосигналы первого сенсорного блока 1-2 при помощи первого мультиплексора 1-10 объединяются на одну линию, чередуясь с периодом кадров Tк*. Полученный мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра поступает на первый информационный вход смесителя 1-12.Further, the output video signals of the first sensor unit 1-2 using the first multiplexer 1-10 are combined into one line, alternating with the frame period T to *. The received multiplex digital television signal (multiplex DTS) of the "ring" frame is fed to the first information input of the mixer 1-12.
На второй информационный вход смесителя 1-12 подается сигнал электронной отметки «крест», который замешивается в мультиплексный «кольцевой» ЦТС на выходе «Видео 1» телевизионной камеры.On the second information input of the mixer 1-12 the signal of the electronic mark "cross" is fed, which is mixed into the multiplex "ring" DTS at the output "
Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.Then this DTS is transmitted via the interface (for example, USB 2.0) to server 2, where (on the video card) it is demultiplexed into two channels, followed by recording the video information of each channel, respectively, in the first and second RAM blocks per frame.
Одновременно мультиплексный ЦТС «прямоугольного» кадра с выхода «Видео 2» телевизионной камеры 1 по аналогичному интерфейсу поступает на другой вход сервера 2, а далее на плату видео, где аналогично выполняется его демультиплексирование на два канала и последующая запись видеоинформации каждого канала соответственно в третий и четвертый блоки оперативной памяти на кадр.Simultaneously, the multiplexed DTS of a "rectangular" frame from the "Video 2" output of a
Отметим, что все эти операции осуществляются в автоматическом режиме.Note that all these operations are carried out automatically.
Характеристика сигналов управления компьютером 4, сопутствующих режиму видео, заявляемой телевизионной системы представлена в табл. 2.The characteristic of the control signals of the computer 4 accompanying the video mode of the claimed television system is presented in table. 2.
Подача всех сигналов управления осуществляется оператором с клавиатуры компьютера 4 и/или помощи его компьютерной мыши.All control signals are supplied by the operator from the computer keyboard 4 and / or using his computer mouse.
Добавим, что команды «Выбор режима видео» распространяются в пределах компьютера, а поэтому являются командами внутреннего пользования. Заметим, что в отличие от них команды управления наведением (см. табл.1) являются внешними командами.Let's add that the commands "Select video mode" are distributed within the computer, and therefore are internal commands. Note that, unlike them, the guidance control commands (see Table 1) are external commands.
Пусть при включении телевизионной системы она начинает действовать по умолчанию в режиме 1, а в компьютере 4 формируется логический сигнал «00» для команды «Выбор режима видео» - «Кольцевое» панорамное изображение и выбор интересующего в нем фрагмента».Suppose that when the television system is turned on, it starts to operate by default in
Напомним, что «кольцевое» положение электронной отметки «крест» в пределах растра первого фотоприемника сенсорного блока 1-2 будет определяться в зависимости от положения движка потенциометра RPn, установленного в блоке наведения 1-7.Recall that the "circular" position of the electronic mark "cross" within the raster of the first photodetector of the sensor unit 1-2 will be determined depending on the position of the potentiometer slider RP n installed in the guidance unit 1-7.
По замыслу «крест» отмечает на изображении зону повышенного интереса оператора, а он, подавая с компьютера 4 в телекамеру 1 команду «Управление поворотом» - «Вперед», «Назад», может дистанционно установить эту отметку в пределах ее полного кругового перемещения.According to the concept, the "cross" marks the area of increased interest of the operator on the image, and he, by sending the command "Turn control" - "Forward", "Back" from computer 4 to
Здесь также должно быть учтено, что электронная отметка «крест» при наведении на выбранный объект априори располагается точно в середине «кольцевого» изображения по его ширине (см. фиг. 8, слева).It should also be taken into account that the electronic mark "cross" when pointing at the selected object is a priori located exactly in the middle of the "ring" image along its width (see Fig. 8, left).
Если оператор компьютера 4 далее путем подачи сигнала «01» перейдет в режим 2, то он может контролировать комбинированное изображение, которое формируется первым «кольцевым» фотоприемником сенсорного блока 1-2 и одновременно первым матричным фотоприеником сенсорного блока 1-5 при его текущем местоположении.If the operator of the computer 4 then switches to mode 2 by sending a signal "01", then he can control the combined image, which is formed by the first "ring" photodetector of the sensor unit 1-2 and simultaneously the first matrix photodetector of the sensor unit 1-5 at its current location.
Отметим, что воспроизводимое «окошко» в комбинированном изображении может определять всю растровую зону выбираемого фрагмента изображения или быть ее меньше, но геометрические центры этих областей всегда совпадают.Note that the reproduced "window" in the combined image can define the entire raster area of the selected image fragment or be smaller, but the geometric centers of these areas always coincide.
Оператор компьютера 4 аналогично может перевести компьютерную систему и в режим видео для наблюдения изображения нижнего слоя сферического пространства, воспользовавшись сигналами управления «10» и «11» (см. табл. 2).The operator of the computer 4 can similarly switch the computer system to the video mode to observe the image of the lower layer of the spherical space, using the control signals "10" and "11" (see Table 2).
Отметим, что на плате видео, вводимой в состав сервера 2, изображение комбинированного изображения целесообразно выводить на центральную часть экрана компьютерного монитора, в котором изображение «окошка» (см. фиг. 8, справа) занимает центральное положение внутри свободной зоны «кольцевого» изображения.Note that on the video card included in the server 2, it is advisable to display the combined image on the central part of the computer monitor screen, in which the image of the "window" (see Fig. 8, on the right) occupies a central position inside the free zone of the "ring" image ...
Эта рекомендация диктуется созданием необходимых эргономических условий для работы оператора компьютера 4 и пользователей компьютеров 3.This recommendation is dictated by the creation of the necessary ergonomic conditions for the work of the computer operator 4 and computer users 3.
Наличие же свободной зоны в центральной части кольцевого изображения (см. фиг. 9) является важной для этого предпосылкой.The presence of a free zone in the central part of the ring image (see Fig. 9) is an important prerequisite for this.
Вернемся к оценке соотношений (3-4). Учитывая оптические свойства светоделителей 1-3 и 1-6, освещенность изображения на мишени каждого из двух «кольцевых» фотоприемников будет в β раз меньше, чем освещенность на мишени соответствующих матричных фотоприемников.Let's return to the estimation of the relations (3-4). Considering the optical properties of beamsplitters 1-3 and 1-6, the illumination of the image on the target of each of the two “ring” photodetectors will be β times less than the illumination on the target of the corresponding matrix photodetectors.
Но в типовом случае, когда площадь (Δ) светочувствительного пиксела матричного фотоприемника равна площади пиксела первой строки (Δ1) «кольцевого» фотоприемника не возникает ситуации с различной чувствительность этих фотоприемных каналов. Это объясняется тем, что в заявляемом решении априори предусмотрено, что коэффициент усиления Km для всех активных пикселов «кольцевого фотоприемника увеличен по сравнению с аналогичным показателем матричного фотоприемника в β раз.But typically the case when the area (Δ) photosensitive pixel matrix photodetector equal to the area of the pixel of the first line (Δ 1) "annular" photodetector does not arise a situation with varying sensitivity of the photodetector channels. This is due to the fact that the claimed solution a priori provides that the gain K m for all active pixels of the "ring photodetector is increased in comparison with the same indicator of the matrix photodetector β times.
При просмотре комбинированного изображения в заявляемом решении селективное масштабирование изображения обеспечивает не только увеличение геометрических размеров выбранного фрагмента панорамного телевизионного изображения, но и выигрыш в его разрешающей способности.When viewing the combined image in the claimed solution, selective image scaling provides not only an increase in the geometric dimensions of the selected fragment of a panoramic television image, but also a gain in its resolution.
Пусть, например, число светочувствительных пикселов в строке матричного фотоприемника равно числу пикселов в строке у «кольцевого» фотоприемника. Тогда получаемый выигрыш в разрешающей способности (четкости) этого фрагмента панорамного изображения, по сравнению с прототипом [1], составит т раз согласно соотношению (1).Let, for example, the number of light-sensitive pixels in a row of a matrix photodetector is equal to the number of pixels in a row of a "ring" photodetector. Then the resulting gain in the resolution (clarity) of this fragment of the panoramic image, in comparison with the prototype [1], will be m times according to relation (1).
Добавим, что этот выигрыш достигается без потерь чувствительности и отношения сигнал/шум по всему полю наблюдаемого изображения.We add that this gain is achieved without loss of sensitivity and signal-to-noise ratio over the entire field of the observed image.
В настоящее время все элементы структурной схемы заявляемого устройства компьютерной системы панорамного телевизионного наблюдения с селективным масштабирование изображения освоены или могут быть освоены отечественной промышленностью.At present, all the elements of the structural diagram of the claimed device of a computer system for panoramic television surveillance with selective image scaling have been mastered or can be mastered by the domestic industry.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the claimed invention should be considered as complying with the requirement of industrial applicability.
ИСТОЧНИКИ ИНФОРМАЦИИSOURCES OF INFORMATION
1. Патент РФ №2708630. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2019. - №34.1. RF patent №2708630. IPC H04N 7/00. The device of a computer system for panoramic television surveillance. / V.M. Smelkov // B.I. - 2019. - No. 34.
2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.2. RF patent №2185645. IPC G02B 13/06, G02B 17/08. Panoramic mirror lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. - No. 20.
3. Патент РФ №2504100. H04N 5/225. Телевизионная система с селективным масштабированием изображения. / В.М. Смелков // Б.И. - 2014. - №1.3. RF patent №2504100. H04N 5/225. Selective scaling television system. / V.M. Smelkov // B.I. - 2014. - No. 1.
4. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.4. Berezin V.V., Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K. and Shipilov N.N. The Solid State Revolution in Television: TV Systems Based on CCD, System-on-Chip and Video-on-Chip. Ed. A.A. Umbitaliev and A.K. Tsytsulin. - M .: "Radio and Communication", 2006.
5. www.avagotech.com.5.www.avagotech.com.
Claims (13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020121444A RU2743571C1 (en) | 2020-06-23 | 2020-06-23 | Computing system device for panoramic video surveillance with selective image scaling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020121444A RU2743571C1 (en) | 2020-06-23 | 2020-06-23 | Computing system device for panoramic video surveillance with selective image scaling |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2743571C1 true RU2743571C1 (en) | 2021-02-20 |
Family
ID=74665927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020121444A RU2743571C1 (en) | 2020-06-23 | 2020-06-23 | Computing system device for panoramic video surveillance with selective image scaling |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2743571C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2756234C1 (en) * | 2021-03-01 | 2021-09-28 | Вячеслав Михайлович Смелков | Device of a computer system for panoramic television surveillance with selective image scaling |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0932302A2 (en) * | 1998-01-22 | 1999-07-28 | Eastman Kodak Company | A CMOS active pixel digital camera |
| US20060072020A1 (en) * | 2004-09-29 | 2006-04-06 | Mccutchen David J | Rotating scan camera |
| US20060215049A1 (en) * | 1999-09-30 | 2006-09-28 | Giulio Sandini | Constant resolution and space variant sensor arrays |
| WO2008108907A1 (en) * | 2007-03-01 | 2008-09-12 | Eastman Kodak Company | Digital camera for providing improved temporal sampling |
| US20090135245A1 (en) * | 2007-11-27 | 2009-05-28 | Jiafu Luo | Camera system with multiple pixel arrays on a chip |
| US7999842B1 (en) * | 2004-05-28 | 2011-08-16 | Ricoh Co., Ltd. | Continuously rotating video camera, method and user interface for using the same |
| US8441732B2 (en) * | 2008-03-28 | 2013-05-14 | Michael D. Tocci | Whole beam image splitting system |
| US20130162761A1 (en) * | 2010-08-31 | 2013-06-27 | Raul Goldemann | Rotary image generator |
| RU2504100C1 (en) * | 2012-08-21 | 2014-01-10 | Вячеслав Михайлович Смелков | Television system with selective image scaling |
| US20160044250A1 (en) * | 2014-08-10 | 2016-02-11 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| RU2708630C1 (en) * | 2019-04-05 | 2019-12-10 | Вячеслав Михайлович Смелков | Panoramic television surveillance computer system device |
-
2020
- 2020-06-23 RU RU2020121444A patent/RU2743571C1/en active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0932302A2 (en) * | 1998-01-22 | 1999-07-28 | Eastman Kodak Company | A CMOS active pixel digital camera |
| US20060215049A1 (en) * | 1999-09-30 | 2006-09-28 | Giulio Sandini | Constant resolution and space variant sensor arrays |
| US7999842B1 (en) * | 2004-05-28 | 2011-08-16 | Ricoh Co., Ltd. | Continuously rotating video camera, method and user interface for using the same |
| US20060072020A1 (en) * | 2004-09-29 | 2006-04-06 | Mccutchen David J | Rotating scan camera |
| WO2008108907A1 (en) * | 2007-03-01 | 2008-09-12 | Eastman Kodak Company | Digital camera for providing improved temporal sampling |
| US20090135245A1 (en) * | 2007-11-27 | 2009-05-28 | Jiafu Luo | Camera system with multiple pixel arrays on a chip |
| US8441732B2 (en) * | 2008-03-28 | 2013-05-14 | Michael D. Tocci | Whole beam image splitting system |
| US20130162761A1 (en) * | 2010-08-31 | 2013-06-27 | Raul Goldemann | Rotary image generator |
| RU2504100C1 (en) * | 2012-08-21 | 2014-01-10 | Вячеслав Михайлович Смелков | Television system with selective image scaling |
| US20160044250A1 (en) * | 2014-08-10 | 2016-02-11 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| RU2708630C1 (en) * | 2019-04-05 | 2019-12-10 | Вячеслав Михайлович Смелков | Panoramic television surveillance computer system device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2756234C1 (en) * | 2021-03-01 | 2021-09-28 | Вячеслав Михайлович Смелков | Device of a computer system for panoramic television surveillance with selective image scaling |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2727920C9 (en) | Panoramic television surveillance computer system with selective image scaling | |
| CN101888487B (en) | High dynamic range video imaging system and image generating method | |
| EP0374253B1 (en) | Three-dimensional imaging device | |
| EP0599470B1 (en) | Panoramic camera systems | |
| WO1991014338A1 (en) | Multisensor high-resolution camera | |
| RU2723645C1 (en) | High-resolution panorama television surveillance computer system device | |
| US3869212A (en) | Spectrometer integrated with a facsimile camera | |
| RU2743571C1 (en) | Computing system device for panoramic video surveillance with selective image scaling | |
| SU1192168A1 (en) | Method and apparatus for generating and reproducing television signal of pseudostereoscopic picture | |
| US3128338A (en) | Time-bandwidth reduction system for image signal transmission | |
| JP3232408B2 (en) | Image generation device, image presentation device, and image generation method | |
| RU2756234C1 (en) | Device of a computer system for panoramic television surveillance with selective image scaling | |
| RU2780039C1 (en) | Design of a computer system for panoramic television surveillance with selective image scaling (variants) | |
| RU2708630C1 (en) | Panoramic television surveillance computer system device | |
| RU2785152C1 (en) | Design of a computer panoramic video surveillance system with high resolution | |
| RU2504100C1 (en) | Television system with selective image scaling | |
| RU2755809C1 (en) | Device of a computer system for panoramic television surveillance with increased resolution | |
| GB2175768A (en) | Television camera far viewing high speed or transient events | |
| RU2813358C1 (en) | Design of computer system for panoramic television surveillance with selective image scaling | |
| RU2774399C1 (en) | Device of the computer system of panoramic television surveillance | |
| RU2813357C1 (en) | High-resolution panoramic television surveillance computer system | |
| RU2710779C1 (en) | Device for "circular" photodetector of color image for panoramic television-computer surveillance | |
| RU2530879C1 (en) | Device for panoramic television surveillance "day-night" | |
| US6603503B1 (en) | Methods, systems and devices for displaying live 3-D, parallax and panoramic images | |
| RU2736361C1 (en) | Television system with selective image scaling (embodiments) |