RU2774399C1 - Device of the computer system of panoramic television surveillance - Google Patents
Device of the computer system of panoramic television surveillance Download PDFInfo
- Publication number
- RU2774399C1 RU2774399C1 RU2021131178A RU2021131178A RU2774399C1 RU 2774399 C1 RU2774399 C1 RU 2774399C1 RU 2021131178 A RU2021131178 A RU 2021131178A RU 2021131178 A RU2021131178 A RU 2021131178A RU 2774399 C1 RU2774399 C1 RU 2774399C1
- Authority
- RU
- Russia
- Prior art keywords
- photodetector
- ring
- video
- photodetectors
- panoramic
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 claims abstract description 8
- 230000000295 complement Effects 0.000 claims abstract description 3
- 239000004065 semiconductor Substances 0.000 claims abstract description 3
- 230000000875 corresponding Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000005755 formation reaction Methods 0.000 claims description 2
- 230000001131 transforming Effects 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical Effects 0.000 description 3
- 210000004544 DC2 Anatomy 0.000 description 2
- 230000002530 ischemic preconditioning Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Abstract
Description
Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей одновременно или последовательно круговой обзор в четырех шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Сенсорный блок этой телевизионной камеры состоит из изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП) четырех или двух фотоприемников, которые имеют форму мишени в виде кругового кольца.The present invention relates to panoramic television surveillance, which is performed by a computer system using a television camera, providing simultaneously or sequentially a circular view in four spherical layers of the surrounding spherical region of space. At the same time, for each of these spherical layers, television monitoring of the situation in real time is carried out in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation. The sensor unit of this television camera consists of four or two photodetectors manufactured using the complementary metal-oxide-semiconductor (CMOS) technology, which have the shape of a target in the form of a circular ring.
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив, четвертый панорамный объектив; сенсорный блок, содержащий первый фотоприемник, второй фотоприемник, третий фотоприемник и четвертый фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, второй панорамный объектив - с мишенью второго фотоприемника; третий панорамный объектив - с мишенью третьего фотоприемника, а четвертый панорамный объектив - с мишенью четвертого фотоприемника, причем каждый из четырех фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления Km активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:The closest in technical essence to the claimed invention should be considered a device for a panoramic television surveillance computer system [1], containing a series-connected television camera and a server, which is a local area network node to which two or more personal computers are connected, while the television camera includes first panoramic lens, second panoramic lens, third panoramic lens, fourth panoramic lens; a sensor unit containing a first photodetector, a second photodetector, a third photodetector and a fourth photodetector, which are in the form of a circular ring, the first panoramic lens being optically connected to the target of the first photodetector, the second panoramic lens to the target of the second photodetector; the third panoramic lens - with the target of the third photodetector, and the fourth panoramic lens - with the target of the fourth photodetector, each of the four photodetectors of the sensor unit is made on a CMOS chip, and its target consists of photodiode active pixels, each of which has an amplifier with gain K m , as well as the built-in analog-to-digital converter (ADC), which provides the transmission of the video signal of the active pixel to its "radial" video bus, while all of them combine the active pixels of the target into "radial" columns, and the ADC control for the pixels located along each "ring" line of the photodetector, is carried out using a separately taken "ring" line bus, the total number of which determines the number of lines in the photodetector, and the number of "radial" video buses determines the number of pixels in each line of the photodetector, while on a common chip photodetector are placed and blocks that perform scanning and generating the output voltage of a digital video signal, namely: a "ring" vertical scan register that selects the "ring"line;"ring" video switch containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" line multiplexer and provide video signal transmission at the output of each "radial" video bus to the "ring" video bus, the output of which is the output "video" of the photodetector, and the gain K m of the active pixel for each current "ring" line of the photodetector varies according to the ratio:
где Δ1 и Δm - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем на кристаллах всех четырех фотоприемников сенсорного блока имеется разрез (сквозной шлиц), выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприемник установлен в консольное соединение со вторым фотоприемником в шлиц под углом 90°, третий фотоприемник установлен в консольное соединение с четвертым фотоприемником под тем же углом 90°, но с обратной стороны первого фотоприемника, стыкуясь с ней своей обратной стороной, а четвертый фотоприемник - с обратной стороны второго фотоприемника, стыкуясь с ней своей обратной стороной, причем ширина сквозного разреза для всех четырех фотоприемников составляет не менее двух толщин их кристаллов, при этом выход первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора, выход второго фотоприемника - ко второму информационному входу мультиплексора, выход третьего фотоприемника -к третьему информационному входу мультиплексора, а выход четвертого фотоприемника - к четвертому информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры; на материнской плате сервера установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на четыре канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование первого, второго, третьего и четвертого «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров и, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:where Δ 1 and Δ m are, respectively, the light-sensitive area of the active pixel for the first and current "ring" line of reading in the "ring" sensor, providing the same value of the reading aperture within the entire "ring" image raster, and on the crystals of all four photodetectors of the sensor block there is a cut (through slot) made in the radial direction from the imaginary center of the ring to its outer periphery, to the location between the first and last pixels of the first "annular row", while the first photodetector is installed in a cantilever connection with the second photodetector in the slot at an angle of 90°, the third the photodetector is installed in a cantilever connection with the fourth photodetector at the same angle of 90°, but on the reverse side of the first photodetector, docking with it with its reverse side, and the fourth photodetector - on the reverse side of the second photodetector, docking with it with its reverse side, and the width of the through cut for all four photodetectors composition determines at least two thicknesses of their crystals, while the output of the first photodetector of the sensor unit is connected to the first information input of the multiplexer, the output of the second photodetector is connected to the second information input of the multiplexer, the output of the third photodetector is connected to the third information input of the multiplexer, and the output of the fourth photodetector is connected to the fourth information input the input of the multiplexer, the output of which is the "video" output of the television camera; a video board is installed on the server motherboard, which performs demultiplexing of the input digital television signal into four channels, followed by recording each of the “ring” video signals into the corresponding server RAM and sequentially converting the first, second, third and fourth “ring” recording frames into “rectangular” ones frames, and the number of "rectangular" frames and corresponding to one current "ring" frame satisfies the relation:
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.where γ g is the horizontal angle of the field of view in degrees of the image observed by the operator, and this transformation itself is performed by software.
Недостаток прототипа - существенная сложность телевизионной камеры, связанная с наличием в ее составе четырех фотоприемников.The disadvantage of the prototype is the significant complexity of the television camera, associated with the presence of four photodetectors in its composition.
Задачей изобретения является сокращение количества фотоприемников в составе телевизионной камеры до двух при сохранении возможности мониторинга видеоинформации панорамного сюжета в четырех слоях окружающего пространства.The objective of the invention is to reduce the number of photodetectors in a television camera to two while maintaining the possibility of monitoring video information of a panoramic plot in four layers of the surrounding space.
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника; причем каждый из двух фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления Km, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления Кт активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению (1), обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем на кристаллах всех обоих фотоприемников сенсорного блока имеется сквозной шлиц, выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприемник установлен в консольное соединение со вторым фотоприемником в шлиц под углом 90°, при этом выход первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора, а выход второго фотоприемника - ко второму информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры; на. материнской плате сервера установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров и, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2); но при этом, в отличие от прототипа [1], в телевизионную камеру введены шариковый подшипник, устанавливаемый в пространстве, которая состоит из свободной от пикселов области первого и второго фотоприемников, при этом обеспечивается последовательно пространственное перемещение этих фотоприемников при помощи первого и второго джойстиков, устанавливаемых на внешней периферии первого и второго фотоприемников соответственно, причем первый джойстик реализует пространственный поворот первого фотоприемника на угол 180°, а второй джойстик реализует пространственный поворот на угол 180° второго фотоприемника, так что мишень первого фотоприемника устанавливается симметрично в положение напротив третьего панорамного объектива, а мишень второго фотоприемника - симметрично в положение напротив четвертого панорамного объектива, при этом плата видео, размещенная на материнской плате сервера, выполняет демультиплексирование нового входного цифрового телевизионного сигнала на два дополнительных канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров и, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2).The task in the claimed device of the panoramic television surveillance system is solved by the fact that, as in the device of the prototype [1], containing a series-connected television camera and a server, which is a node of the local area network, to which two or more personal computers are connected, while in the composition the television camera includes a first panoramic lens, a second panoramic lens, a third panoramic lens, and a fourth panoramic lens; as well as a sensor unit containing the first photodetector and the second photodetector, which are in the form of a circular ring, the first panoramic lens being optically connected to the target of the first photodetector, and the second panoramic lens to the target of the second photodetector; moreover, each of the two photodetectors of the sensor block is made on a chip manufactured using CMOS technology, and its target consists of photodiode active pixels, each of which has an amplifier with a gain K m , as well as a built-in ADC that provides transmission of the video signal of the active pixel to its "radial "video bus", while all of them combine the active pixels of the target into "radial" columns, and the ADC control for pixels located along each "ring" line of the photodetector is carried out using a single "ring" line bus, the total number of which determines the number of lines in the photodetector, and the number of "radial" video buses - the number of pixels in each line of the photodetector, while the common chip of the photodetector also houses the blocks that perform the sweep and generate the output voltage of the digital video signal, namely: selection of the "ring"line;"ring" video switch containing video switches for each "radial" column, which are controlled from the corresponding output of the "ring" line multiplexer and provide video signal transmission at the output of each "radial" video bus to the "ring" video bus, the output of which is the output "video" of the photodetector, and the gain K t of the active pixel for each current "ring" line of the photodetector varies according to the ratio (1), providing the same value of the reading aperture within the entire "ring" image raster, and on the crystals of all both photodetectors of the sensor block there is a through slot made in the radial direction from the imaginary center of the ring to its outer periphery, in the location between the first and last pixels of the first "annular row", while the first photodetector is installed in a cantilever connection with the second photodetector in the slot at an angle of 90°, while the output of the first photodetector the sensor unit is connected to the first information input of the multiplexer, and the output of the second photodetector is connected to the second information input of the multiplexer, the output of which is the "video" output of the television camera; on the. the server motherboard has a video card that performs demultiplexing of the input digital television signal into two channels, followed by recording each of the "ring" video signals into the corresponding RAM of the server and sequentially converting each of the "ring" recording frames into "rectangular" frames, and the number of "rectangular" frames » frames and, corresponding to one current "ring" frame, satisfies relation (2); but at the same time, unlike the prototype [1], a ball bearing is introduced into the television camera, installed in space, which consists of a pixel-free area of the first and second photodetectors, while ensuring sequential spatial movement of these photodetectors using the first and second joysticks, mounted on the outer periphery of the first and second photodetectors, respectively, the first joystick implements a spatial rotation of the first photodetector by an angle of 180°, and the second joystick implements a spatial rotation by an angle of 180° of the second photodetector, so that the target of the first photodetector is set symmetrically in position opposite the third panoramic lens, and the target of the second photodetector is symmetrically in position opposite the fourth panoramic lens, while the video board located on the server motherboard demultiplexes the new input digital television signal into two additional channels with subsequent recording of each of the "ring" video signals into the corresponding RAM of the server and sequential conversion of each of the "ring" recording frames into "rectangular" frames, and the number of "rectangular" frames and corresponding to one current "ring" frame satisfies the relation (2) .
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.The set of known and new features for the claimed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.
Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени всех четырех фотоприемников сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического зазора между светочувствительными элементами вдоль каждой «кольцевой» строки.It is important to note the following. The light-sensitive area of the pixels of the "annular" target of all four photodetectors of the sensor unit, as for the prototype [1], is different from line to line. This is caused by the necessity for the "ring" photodetector, which has the same number of pixels in each line, to equalize the resolution within the frame by providing the same size of the technological gap between the photosensitive elements along each "ring" line.
Но при этом в заявляемом решении, как и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.But at the same time, in the proposed solution, as in the prototype [1], there is no interline violation of the sensor sensitivity due to the following circumstances.
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления Km пиксела на величину его светочувствительной площади Δm.The reading aperture parameter for all pixels of each current line of the "ring" frame is determined by the product of the pixel gain K m by the value of its photosensitive area Δ m .
Как следует из соотношения (1), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов фотоприемника.As follows from relation (1), this indicator remains constant (unchanged) for all light-sensitive pixels of the photodetector.
Не меняется и величина шумовой «дорожки» для каждого активного пиксела фотоприемника, что является обязательным условием реализации его высоких показателей по чувствительности и отношению сигнал/шум.The value of the noise "track" for each active pixel of the photodetector does not change either, which is a prerequisite for realizing its high performance in terms of sensitivity and signal-to-noise ratio.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the proposed technical solution meets the criterion of the presence of an inventive step.
На фиг.1а) приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе, реализующая пространственный мониторинг в двух слоях (сверху и слева) окружающего пространства; на фиг.1б) - структурная схема заявляемой компьютерной системы и соответственно структурная схема телевизионной камеры, реализующая пространственный мониторинг в двух других слоях (снизу и справа) окружающего пространства; на фиг.2 приведена схемотехническая организация для каждого из двух «кольцевых» фотоприемников сенсора; на фиг.3-подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг.4, по данным [2], представлена фотография изображения, полученного при помощи панорамного объектива.On figa) shows a block diagram of the inventive computer system for panoramic television surveillance and in the same drawing - a block diagram of the television camera in its composition, realizing spatial monitoring in two layers (top and left) of the surrounding space; 1b) is a block diagram of the proposed computer system and, accordingly, a block diagram of a television camera that implements spatial monitoring in the other two layers (bottom and right) of the surrounding space; figure 2 shows the circuit organization for each of the two "ring" sensor photodetectors; figure 3-details of this organization in relation to a single "radial" column; figure 4, according to [2], presents a photograph of the image obtained using a panoramic lens.
Устройство компьютерной системы панорамного телевизионного наблюдения, см. фиг.1а), фиг.1б), фиг.2 и фиг.3, содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, второй панорамный объектив 1-2, третий панорамный объектив 1-3 и четвертый панорамный объектив 1-4, а также сенсорный блок 1-5, содержащий первый и второй фотоприемники, мультиплексор 1-6, шарикоподшипник 1-7, первый джойстик 1-8 и второй джойстик 1-9; при этом фотоприемники соединены между собой через консоль под углом 90°, причем в исходном положении первый панорамный объектив 1-1 оптически связан с первым фотоприемником, а второй панорамный объектив 1-2 - со вторым фотоприемником, при этом выход «видео» первого фотоприемника сенсорного блока 1-5 подключен к первому информационному входу мультиплексора 1-6, а выход «видео» второго фотоприемника сенсорного блока 1-5 - ко второму информационному входу мультиплексора 1-6, выход которого является выходом «видео» телевизионной камеры 1.The device of the computer system of panoramic television surveillance, see Fig.1a), Fig.1b), Fig.2 and Fig.3, contains serially connected television camera 1 and server 2 (with a video card installed in it), which is a local area network node , to which two or more personal computers are connected in position 3, while the television camera 1 includes the first panoramic lens 1-1, the second panoramic lens 1-2, the third panoramic lens 1-3 and the fourth panoramic lens 1-4, and also a sensor unit 1-5 containing first and second photodetectors, a multiplexer 1-6, a ball bearing 1-7, a first joystick 1-8 and a second joystick 1-9; in this case, the photodetectors are connected to each other through the console at an angle of 90°, and in the initial position the first panoramic lens 1-1 is optically connected to the first photodetector, and the second panoramic lens 1-2 is connected to the second photodetector, while the "video" output of the first sensor photodetector block 1-5 is connected to the first information input of the multiplexer 1-6, and the "video" output of the second photodetector of the sensor block 1-5 is connected to the second information input of the multiplexer 1-6, the output of which is the "video" output of the television camera 1.
Отметим, что джойстики 1-8 и 1-9 на фиг.1а) и на фиг.1б) условно изображены в виде двойных фигурных стрелок для каждого из этих элементов.Note that the joysticks 1-8 and 1-9 in Fig.1a) and Fig.1b) conventionally depicted as double curly arrows for each of these elements.
Здесь следует рассмотреть значение слова «джойстик», которое употребляется в настоящей заявке на изобретение.Here we should consider the meaning of the word "joystick", which is used in this application for the invention.
Традиционно термин джойстик (англ. joystik) понимается как устройство ввода информации в персональный компьютер, которое представляет собой качающуюся в двух плоскостях «игровую палочку» или «рычаг для игры» вертикальную ручку. Основная необходимость применения компьютерного джойстика - это возможность управления виртуальным объектом в виртуальном трехмерном пространстве (координаты по осям «X-Y-Z»).Traditionally, the term joystick is understood as a device for entering information into a personal computer, which is a vertical handle swinging in two planes. The main need for using a computer joystick is the ability to control a virtual object in a virtual three-dimensional space (coordinates along the X-Y-Z axes).
Однако этот рычаг давно уже применяется в самых разнообразных приборах, в том числе и в санитарно-технической водоразборной арматуре - смесителях для кухонь и ванных. Так называемые шарнирные краны (смесители) имеют вместо привычных для нас двух поворотных рукояток всего один рычаг, он же джойстик.However, this lever has long been used in a wide variety of devices, including sanitary fittings - mixers for kitchens and bathrooms. The so-called hinged taps (faucets) have only one lever instead of the usual two rotary handles, which is also a joystick.
Такое употребление термина «джойстик» в качестве механического рычага оказывается наиболее близким и в настоящей заявке. Применяемая конструкция джойстика 1-8 или джойстика 1-9 показана на чертеже фиг.2.This use of the term "joystick" as a mechanical lever is the closest in this application. The applied design of the joystick 1-8 or the joystick 1-9 is shown in the drawing of Fig.2.
Панорамные объективы 1-1 и 1-2 и соответственно панорамные объективы 1-32 и 1-4 предназначены для формирования оптических изображений кругового обзора для четырех противоположно расположенных шаровых слоев контролируемого пространства, например для направления взгляда телевизионного оператора, это может быть соответствующее пространство сверху и снизу или спереди и сзади от него.Panoramic lenses 1-1 and 1-2 and, accordingly, panoramic lenses 1-32 and 1-4 are designed to form optical images of a circular view for four oppositely located spherical layers of a controlled space, for example, to direct the gaze of a television operator, this may be the corresponding space from above and below or in front and behind it.
В качестве технического решения для панорамных объективов 1-1, 1-2, 1-3 и 1-, совпадающего с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].As a technical solution for panoramic lenses 1-1, 1-2, 1-3 and 1-, coinciding with a similar solution for the prototype [1], a panoramic mirror-lens lens can be proposed, the design of which is patented in Russia by domestic specialists from the Moscow State University of Geodesy and Cartography [2].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг.6. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75 - 80) градусов по углу места.A photograph of the annular image formed by the panoramic lens is shown in Fig.6. The angular field in object space for this lens is 360 degrees in azimuth and can reach (75 - 80) degrees in elevation.
Каждый из четырех фотоприемников (см. фиг.2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4. Сквозной шлиц имеет позиционное обозначение 1-2-5.Each of the four photodetectors (see figure 2) is made using CMOS technology and contains on a common chip a "ring" photoreceiving area (target) 1-2-1, a "ring" register 1-2-2 of a vertical scan, a "ring" switch 1-2-3 video signals and "ring" multiplexer 1-2-4. The through slot has a reference designation 1-2-5.
Как показано на фиг.2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.As shown in figure 2, the active pixels on the photodetector target are combined into columns that are located along the radial directions from the imaginary center of the circular ring.
Каждый активный пиксел мишени (см. фиг.3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления Кт для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.Each active pixel of the target (see figure 3) includes a photosensitive area (area) 1-2-1-1, an amplifier 1-2-1-2 with a gain K t for each current "ring" line and ADC 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2."Ring" switch 1-2-3 video signals consists of separate switches 1-2-3-1 video signal, the number of which corresponds to the number of active pixels in a row, united by a "ring" video bus 1-2-3-2.
Отметим, что показанная на фиг.2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг.3-латинской буквы L, -являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.Note that shown in figure 2 the shape of the light-sensitive area of the pixel in the form of a rectangle, and in figure 3-the Latin letter L, are conditional. In practice, the charge storage electrodes of the active pixels of the sensor target, coinciding with the area of their photosensitive area, can be made in a completely different way, for example, with a geometric shape in the form of a part of a circular ring.
Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.The control of the ADC 1-2-1-3 pixels, as well as all other pixels of the target, is carried out from the control input of the "ring" multiplexer 1-2-3. transmitting a control signal from the corresponding output of the "ring" register 1-2-2 vertical scan.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.The video signal from the output of each ADC 1-2-1-3 for each active pixel of a separate taken "radial" column is transmitted to the "radial" video bus 1-2-1-5. Further, using "its" key MOS transistor of the switch 1-2-3-1, controlled from one of the outputs of the multiplexer 1-2-4, the digital video signal of the current pixel is transmitted to the "ring" video bus 1-2-3-2, and then transmitted through it to the output of the photodetector.
То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из четырех фотоприемников сенсорного блока 1-2.The same formation of a digital video signal occurs within the other radial columns of the "ring" target 1-2-1 of each of the four photodetectors of the sensor unit 1-2.
Отметим, что на фиг.2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг.3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.Note that in figure 2, the dotted arrows show the control of the "ring" horizontal tires 1-2-1-4 of the photodetector from the "ring" register 1-2-2 vertical scan. The fact that here, as in figure 3, only four row tires are shown is a convention of the drawing. As mentioned earlier, the number of tires 1-2-1-4 corresponds to the actual number of "ring" lines in the inventive sensor.
Поясним дополнительно на фиг.2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.Explain further in Fig.2 and more. Arrows with continuous lines mark the transmission of the image signal in the sensor along the "radial" video buses 1-2-1-5 towards the "ring" switch 1-2-3 video signals.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.As a result, in the "ring" raster sequentially one by one for each pixel of a single "ring" line and sequentially line by line for the target as a whole, the voltage of the output video signal of the photodetector is formed in digital form.
Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.Thanks to the CMOS technology adopted for the manufacture of the proposed video signal sensor, it is possible to integrate on one common chip not only a photodetector with an ADC for each active pixel, but also digital scanning units of a television camera. The implementation of this solution provides a significant reduction in the overall power consumption of the television camera.
Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями не предлагалась.It must be recognized that the concept of a matrix (rectangular) photodetector with an active pixel, an ADC built into it and a digital video signal at the output, which was supposed to be performed using CMOS technology by implementing the "coordinate addressing" method, was developed by American specialists in the "zero" two thousand years. This was also reported in the domestic monograph [3, p. 67, fig. 1.21]. However, the circuit organization on a CMOS chip of a "ring" photodetector with similar capabilities was not proposed.
Предлагаемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.The “ring” shape of the CMOS photodetector target and scanner units proposed here makes it possible to more efficiently use the usable area of the crystal used for television-computer observation of panoramic scenes.
Мультиплексор 1-6, как и в прототипе [1], предназначен для синхронизации цифровых видеосигналов, но не четырех, а двух (от первого или второго, фотоприемника) и объединения их на единственную линию связи путем разделения составляющих сигналов по времени.The multiplexer 1-6, as in the prototype [1], is designed to synchronize digital video signals, but not four, but two (from the first or second, photodetector) and combine them into a single communication line by separating the component signals in time.
Очевидно, что благодаря технологии КМОП, мультиплексор 1-6 может быть выполнен в составе одного из этих фотоприемников сенсорного блока 1-5.Obviously, thanks to CMOS technology, the multiplexer 1-6 can be made as part of one of these photodetectors of the sensor unit 1-5.
Устройство компьютерной системы панорамного телевизионного наблюдения (см. фиг.1) работает следующим образом.Device computer system panoramic television surveillance (see figure 1) operates as follows.
Предположим, что телевизионная камера 1, установленная на гексакоптере, расположена на некоторой высоте относительно Земли.Let's assume that the television camera 1, mounted on a hexacopter, is located at a certain height relative to the Earth.
Заметим, что термином «гексакоптер» принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенного для выполнения аэровидео съемки местности.Note that the term "hexacopter" is commonly used in the technical literature to refer to a radio-controlled model of an unmanned aerial vehicle with six wings, designed to perform aerial video survey of the area.
Пусть для этого в исходном положении конструкторское решение сенсорного блока 1-5 в составе телевизионной камеры 1, см. фиг.1а), реализовано при помощи первого джойстика 1-8 так, что ось визирования первого панорамного объектива 1-1, а, следовательно, и оптическая ось первого фотоприемника направлена по вертикали вверх. Тогда, по отношению к этому направлению, ось визирования третьего панорамного объектива 1-3 будет ориентирована вниз по вертикали.Let for this in the initial position, the design solution of the sensor unit 1-5 as part of the television camera 1, see figa), implemented using the first joystick 1-8 so that the axis of sight of the first panoramic lens 1-1, and, therefore, and the optical axis of the first photodetector is directed vertically upwards. Then, in relation to this direction, the axis of sight of the third panoramic lens 1-3 will be oriented downwards vertically.
С другой стороны, ось визирования второго панорамного объектива 1-2 и оптическая ось второго фотоприемника, благодаря второму джойстику 1-9, направлены по горизонтали влево, а ось визирования четвертого панорамного объектива 1-4 - по горизонтали вправо.On the other hand, the axis of sight of the second panoramic lens 1-2 and the optical axis of the second photodetector, thanks to the second joystick 1-9, are directed horizontally to the left, and the axis of sight of the fourth panoramic lens 1-4 is horizontally to the right.
Отметим, что мишень первого фотоприемника и мишень второго фотоприемника в данной ситуации однозначно занимают положения, которые показаны линиями из квадратных точек.Note that the target of the first photodetector and the target of the second photodetector in this situation uniquely occupy the positions shown by lines of square dots.
Экспонирование «кольцевых» мишеней первого и второго фотоприемников производится непрерывно. Поэтому на первом выходе сенсорного блока 1-5 формируется цифровой видеосигнал «кольцевого» кадра от первого фотоприемника, а на втором выходе сенсорного блока 1-2 -цифровой видеосигнал «кольцевого» кадра от второго фотоприемника.Exposure of "ring" targets of the first and second photodetectors is performed continuously. Therefore, at the first output of the sensor block 1-5, a digital video signal of the "ring" frame from the first photodetector is formed, and at the second output of the sensor block 1-2, a digital video signal of the "ring" frame from the second photodetector.
Далее выходные видеосигналы сенсорного блока 1-5 при помощи мультиплексора 1-6 объединяются на одну линию, чередуясь с периодом кадров Тк. Полученный мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра, содержащий видеоинформацию в двух шаровых слоях (сверху и слева) окружающего пространства, поступает на выход телевизионной камеры.Next, the output video signals of the sensor block 1-5 using the multiplexer 1-6 are combined into one line, alternating with a frame period T to . The received multiplex digital television signal (multiplex DTS) of the "ring" frame, containing video information in two spherical layers (top and left) of the surrounding space, is fed to the output of the television camera.
Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.Then this DTS is transferred via an interface (for example, USB 2.0) to server 2, where (on the video board) it is demultiplexed into two channels, followed by recording the video information of each channel, respectively, into the first and second blocks of RAM per frame.
Для получения в телевизионной камере, мультиплексного ЦТС в двух других шаровых слоях окружающего пространства необходимо посадить гексакоптер на Землю и при помощи первого 1-8 и второго 1-9 джойстиков, см фиг.16), переключить положения мишеней первого и второго фотоприемников его сенсорного блока 1-5.To obtain a multiplex PZT in a television camera in two other spherical layers of the surrounding space, it is necessary to land the hexacopter on the Earth and, using the first 1-8 and second 1-9 joysticks, see Fig. 16), switch the positions of the targets of the first and second photodetectors of its sensor unit 1-5.
Отметим, что мишень первого фотоприемника и мишень второго фотоприемника в данной ситуации однозначно будут занимать новые положения (противоположные предыдущим положениям), которые также отмечены на чертеже фиг.16) линиями из квадратных точек.Note that the target of the first photodetector and the target of the second photodetector in this situation will definitely occupy new positions (opposite to the previous positions), which are also marked in the drawing of Fig.16) by lines of square dots.
В результате гексакоптер, вновь поднявшийся в воздух, сможет передавать на сервер 2 мультиплексный ЦТС применительно к двум другим противоположно направленным шаровым слоям окружающего пространства (снизу и справа), успешно завершая задачу последовательного мониторинга во всех четырех шаровых слоях.As a result, the hexacopter, which has risen into the air again, will be able to transmit to server 2 the multiplex DTS in relation to two other oppositely directed spherical layers of the surrounding space (from below and to the right), successfully completing the task of sequential monitoring in all four spherical layers.
В настоящее время все элементы каждой из структурных схем устройства компьютерной системы панорамного телевизионного наблюдения, см. фиг.1а) и фиг.1б), освоены или могут быть освоены отечественной промышленностью.Currently, all the elements of each of the block diagrams of the computer system of panoramic television surveillance, see figa) and figb), mastered or can be mastered by the domestic industry.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the proposed invention should be considered as meeting the requirement of industrial applicability.
ИСТОЧНИКИ ИНФОРМАЦИИSOURCES OF INFORMATION
1. Патент РФ №2709459. МПК H04N 5/374, СПК H04N 5/374. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2019. - №35.1. RF patent No. 2709459. IPC H04N 5/374, SPK H04N 5/374. The device of the computer system of panoramic television surveillance. / V.M. Smelkov // B.I. - 2019. - No. 35.
2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. -№20.2. RF patent No. 2185645. IPC G02B 13/06, G02B 17/08. Panoramic reflex lens. / A.V. Kurtov, V.A. Solomatin // B.I. - 2002. -№20.
3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.3. Berezin V.V., Umbitaliev A.A., Fakhmi Sh.S., Tsytsulin A.K. and Shipilov N.N. Solid state television revolution: Charge-coupled device, system-on-a-chip and video-system-on-a-chip television systems. Ed. A.A. Umbitalieva and A.K. Tsytsulina. - M.: "Radio and communication", 2006.
Claims (8)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2774399C1 true RU2774399C1 (en) | 2022-06-21 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2791711C1 (en) * | 2022-07-11 | 2023-03-13 | Вячеслав Михайлович Смелков | Computer system device for panoramic television surveillance |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2941048A (en) * | 1959-02-18 | 1960-06-14 | Essex Wire Corp | Electric switch |
| US6721008B2 (en) * | 1998-01-22 | 2004-04-13 | Eastman Kodak Company | Integrated CMOS active pixel digital camera |
| US8519282B2 (en) * | 2010-03-30 | 2013-08-27 | Sony Corporation | Joystick device |
| WO2014093942A1 (en) * | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Four-lens spherical camera orientation |
| EP2863176A2 (en) * | 2013-10-21 | 2015-04-22 | Sick Ag | Sensor with scanning unit that can be moved around a rotating axis |
| RU2709459C1 (en) * | 2019-04-09 | 2019-12-18 | Вячеслав Михайлович Смелков | Panoramic television surveillance computer system device |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2941048A (en) * | 1959-02-18 | 1960-06-14 | Essex Wire Corp | Electric switch |
| US6721008B2 (en) * | 1998-01-22 | 2004-04-13 | Eastman Kodak Company | Integrated CMOS active pixel digital camera |
| US8519282B2 (en) * | 2010-03-30 | 2013-08-27 | Sony Corporation | Joystick device |
| WO2014093942A1 (en) * | 2012-12-14 | 2014-06-19 | Microsoft Corporation | Four-lens spherical camera orientation |
| EP2863176A2 (en) * | 2013-10-21 | 2015-04-22 | Sick Ag | Sensor with scanning unit that can be moved around a rotating axis |
| RU2709459C1 (en) * | 2019-04-09 | 2019-12-18 | Вячеслав Михайлович Смелков | Panoramic television surveillance computer system device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2791711C1 (en) * | 2022-07-11 | 2023-03-13 | Вячеслав Михайлович Смелков | Computer system device for panoramic television surveillance |
| RU2816540C1 (en) * | 2023-06-21 | 2024-04-01 | Вячеслав Михайлович Смелков | Design of computer system for panoramic television surveillance for unmanned aerial vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8908054B1 (en) | Optics apparatus for hands-free focus | |
| US20200174094A1 (en) | Star tracker for multiple-mode detection and tracking of dim targets | |
| RU2371880C1 (en) | Panoramic video surveillance method and device for implementing thereof | |
| JP2007116208A (en) | Compound eye imaging apparatus | |
| WO2013012474A2 (en) | Rolling-shutter imaging system with synchronized scanning illumination and methods for higher-resolution imaging | |
| RU2723645C1 (en) | High-resolution panorama television surveillance computer system device | |
| RU2727920C1 (en) | Panoramic television surveillance computer system with selective image scaling | |
| CN108632506A (en) | A kind of microlens array imaging system | |
| CN111108742A (en) | Information processing device, information processing method, program, and interchangeable lens | |
| EP3758354A1 (en) | Camera module and super resolution image processing method thereof | |
| RU2774399C1 (en) | Device of the computer system of panoramic television surveillance | |
| RU2708630C1 (en) | Panoramic television surveillance computer system device | |
| RU2791711C1 (en) | Computer system device for panoramic television surveillance | |
| US7949241B2 (en) | Anamorphic focal array | |
| RU2600308C1 (en) | Device of computer system for panoramic television surveillance | |
| RU2780801C1 (en) | Device of a panoramic television surveillance computer system for an unmanned aerial vehicle | |
| RU2709459C1 (en) | Panoramic television surveillance computer system device | |
| RU2710779C1 (en) | Device for "circular" photodetector of color image for panoramic television-computer surveillance | |
| RU2704582C1 (en) | Method of generating a video signal in a television-computer system for monitoring of industrial products having the shape of a circular ring | |
| RU2812334C1 (en) | Computer system device for panoramic television surveillance | |
| RU2523858C1 (en) | Device for panoramic television surveillance | |
| RU2798684C1 (en) | Device of a computer system for panoramic television surveillance for an unmanned aerial vehicle | |
| RU2756234C1 (en) | Device of a computer system for panoramic television surveillance with selective image scaling | |
| RU2530879C1 (en) | Device for panoramic television surveillance "day-night" | |
| RU2703965C1 (en) | Primary color video signal sensor for panoramic television-computer color image viewing |