RU2579003C1 - Computer system device for panoramic colour image scanning - Google Patents
Computer system device for panoramic colour image scanning Download PDFInfo
- Publication number
- RU2579003C1 RU2579003C1 RU2015109106/07A RU2015109106A RU2579003C1 RU 2579003 C1 RU2579003 C1 RU 2579003C1 RU 2015109106/07 A RU2015109106/07 A RU 2015109106/07A RU 2015109106 A RU2015109106 A RU 2015109106A RU 2579003 C1 RU2579003 C1 RU 2579003C1
- Authority
- RU
- Russia
- Prior art keywords
- photodetector
- output
- ring
- television camera
- scanner
- Prior art date
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
Предлагаемое изобретение имеет отношение к панорамному телевизионному сканированию, которое выполняется компьютерной системой при помощи кольцевого фотоприемника цветного изображения, выполненного по технологии приборов с зарядовой связью (ПЗС).The present invention relates to panoramic television scanning, which is performed by a computer system using a ring photodetector of a color image made by the technology of charge-coupled devices (CCD).
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных панорамного объектива и датчика цифрового телевизионного сигнала, который содержит в своем составе двумерный (матричный) ПЗС-фотоприемник и блок фотоприемника, обеспечивающий прогрессивную прямоугольную развертку аналогового видеосигнала фотоприемника и формирование на выходе телевизионной камеры цифрового телевизионного сигнала цветного изображения, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:The closest in technical essence to the claimed invention should be considered the device of a computer system [1], containing a series-connected television camera and a server, which is a node of the local area network, to which two or more personal computers are connected, while the television camera consists of sequentially located and optically connected panoramic lens and a digital television signal sensor, which contains a two-dimensional (matrix) CCD photodetector and to the photodetector, which provides a progressive rectangular scan of the analog video signal of the photodetector and the formation of a digital television signal of a color image at the output of the television camera, and a video card is installed in the expansion connector on the server motherboard, coordinated via the input / output channels, control and power supply with the server bus, containing the unit converting a “ring” frame into “rectangular” frames (BPCP), the input of which is connected to the output of the RAM block per frame, and the output to the output of the “network”, moreover, the number of "rectangular" frames corresponding to one current "circular" frame satisfies the relation:
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.where γ g is the horizontal angle of the field of view in degrees of the image observed by the operator, and this conversion itself is performed programmatically.
Устройство прототипа методом двумерной электронной развертки: электронного сканирования по двум координатам (горизонтали и вертикали) матрицы ПЗС, - обеспечивает формирование изображения в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.The device of the prototype by the method of two-dimensional electronic scanning: electronic scanning in two coordinates (horizontal and vertical) of the CCD matrix, - provides image formation in an area close to the hemisphere, i.e. in a spatial angle of 360 degrees in azimuth and tens of degrees in elevation.
Матрица ПЗС прототипа содержит на общем кристалле двумерную фотоприемную область, горизонтальный (выходной) регистр сдвига и преобразователь «заряд - напряжение» (БПЗН). Такая схемотехническая организация матричного фотоприемника на ПЗС получила первоначальное название «межстрочный перенос» [2, с. 167]. В последнее время эту организацию матрицы ПЗС чаще упрощенно называют «строчный перенос» (см., например, [3, с. 135]).The CCD matrix of the prototype contains a two-dimensional photodetector region, a horizontal (output) shift register and a charge-voltage converter (BPS) on the common crystal. Such a circuitry organization of the matrix photodetector at the CCD received the original name “line-to-line transfer” [2, p. 167]. Recently, this organization of the CCD matrix is often simplistically called “line wrap” (see, for example, [3, p. 135]).
Фотоприемная область матричного сенсора обеспечивает накопление зарядовых пакетов в светочувствительных элементах, в качестве которых используются фотодиоды, организованные в линейки столбцов. В непосредственной близости от каждого столбца фотодиодов находится нечувствительный к свету вертикальный ПЗС-регистр сдвига, отделенный от фотодиодов фотозатвором. В интервале прямого хода кадровой развертки, когда на фотозатвор подается низкий уровень напряжения, обеспечивающий потенциальный барьер между фотодиодами и вертикальным ПЗС-регистром, происходит накопление зарядовых пакетов. По окончании накопления на фотозатвор кратковременно (в интервале обратного хода по кадру) подается высокий уровень напряжения, разрешающий перенос зарядовых пакетов из фотодиодов в потенциальные ямы, образованные в вертикальных ПЗС-регистрах. В последующем интервале прямого хода по кадру зарядовые пакеты из вертикальных ПЗС-регистров переносятся (в интервалах обратного хода строчной развертки) строка за строкой вниз по направлению к горизонтальному выходному регистру. Каждая зарядовая строка изображения затем поэлементно считывается через БПЗН, образуя на выходе «видео» фотоприемника электрический видеосигнал.The photodetector area of the matrix sensor provides the accumulation of charge packets in the photosensitive elements, which are used as photodiodes, organized in a line of columns. In the immediate vicinity of each column of photodiodes is a light-insensitive vertical CCD shift register, separated from the photodiodes by a photocell. In the interval of the forward course of the frame scan, when a low voltage level is applied to the photo-gate, which provides a potential barrier between the photodiodes and the vertical CCD register, charge packets accumulate. At the end of accumulation, a high voltage level is applied to the photo-gate for a short time (in the interval of the reverse motion along the frame), which allows the transfer of charge packets from photodiodes to potential wells formed in vertical CCD registers. In the subsequent interval of the forward stroke in the frame, charge packets from the vertical CCD registers are transferred (in the intervals of the reverse stroke of the horizontal scan) line by line down towards the horizontal output register. Each charge line of the image is then read out element-by-element through an overvoltage sensing device, forming an electric video signal at the output of the "video" of the photodetector.
Матрица ПЗС прототипа формирует видеосигнал цветного изображения, а поэтому снабжена встроенным цветным мозаичным фильтром, который накрывает ее фотоприемную область.The prototype CCD matrix generates a color image video signal, and therefore is equipped with a built-in color mosaic filter, which covers its photodetector area.
Мозаичный фильтр разделяет свет на голубой, желтый, пурпурный и зеленый компоненты., см., например, [3, с. 154-155]. Добавим, что со стороны объектива перед мозаичным фильтром прототипа располагается инфракрасный отсекающий фильтр (ИК-фильтр), который изменяет спектральную характеристику ПЗС-матрицы, обеспечивая ее согласование со спектральной чувствительностью человеческого глаза.The mosaic filter divides the light into cyan, yellow, magenta and green components., See, for example, [3, p. 154-155]. We add that on the lens side in front of the mosaic filter of the prototype is an infrared cut-off filter (IR filter), which changes the spectral characteristic of the CCD matrix, ensuring its consistency with the spectral sensitivity of the human eye.
Блок фотоприемника прототипа содержит блок двумерной развертки видеосигнала, сигнальный процессор, информационный вход которого подключен к выходу БПЗН матрицы ПЗС, и аналого-цифровой преобразователь (АЦП).The prototype photodetector block contains a two-dimensional video signal scanning unit, a signal processor, the information input of which is connected to the CCD output of the CCD, and an analog-to-digital converter (ADC).
Недостаток прототипа компьютерной системы - возникновение потерь кругового наблюдения по параметру угол места при вписывании прямоугольной мишени фотоприемника в кольцевое изображение объектива.The disadvantage of the prototype computer system is the occurrence of circular observation losses in the angle of elevation parameter when inscribing the rectangular target of the photodetector into the ring image of the lens.
Если же для исключения потерь по углу места это кольцевое изображение вписать в прямоугольник мишени, то потребуется матрица ПЗС с увеличенным числом элементов (пикселов). При этом значительная часть пикселов является пассивной (бесполезной), т.к. не несет информации о наблюдаемом сюжете, но принудительно используется при формировании видеосигнала в телевизионной камере.If, to exclude losses in elevation, this ring image is inscribed in the target rectangle, then a CCD matrix with an increased number of elements (pixels) is required. Moreover, a significant part of the pixels is passive (useless), because It does not carry information about the observed plot, but is used forcibly when generating a video signal in a television camera.
Задачей изобретения является поддержание неизменным параметра угол места и исключение пассивных пикселов за счет использования в качестве фотоприемника четырехстрочного кольцевого сенсора путем его механического сканирования в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива. Поставленная задача в заявляемом устройстве компьютерной системы решается тем, что в устройство прототипа [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера содержит в своем составе последовательно расположенные и оптически связанные панорамный объектив, инфракрасный отсекающий фильтр и фотоприемник, выполненный по технологии ПЗС, и состоящий из последовательно связанных зарядовой связью фотоприемной области, выходного регистра и БПЗН, причем на фотоприемной области линейки светочувствительных элементов чередуются с линейками экранированных от света элементов, а сама фотоприемная область накрыта мозаичным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты; в состав телевизионной камеры входит также блок развертки видеосигнала и последовательно соединенные между собой сигнальный процессор и АЦП, выход которого является выходом телевизионной камеры, причем первый выход блока развертки подключен соответственно к управляющим входам фотоприемной области сенсора, второй выход блока развертки - к управляющим входам выходного регистра сенсора, третий выход блока развертки - к входу синхронизации сигнального процессора, четвертый выход блока развертки - к тактовому входу АЦП, выход управления экспозицией сигнального процессора подключен к управляющему входу блока развертки; в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БПКП, вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), а само это преобразование выполняется программным путем, реализуются следующие изменения, а именно: телевизионная камера формирует «кольцевой» растр цветного изображения, при этом фотоприемник телевизионной камеры имеет форму кольца и содержит на его кристалле «кольцевую» четырехстрочную фотоприемную область, «кольцевой» выходной регистр и БПЗН, причем линейки светочувствительных и линейки экранированных от света элементов фотоприемной области расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в его «кольцевом» регистре, а мозаичный цветной фильтр, накрывающий фотоприемную область, является «кольцевым» по форме; в состав телевизионной камеры введен блок механического сканирования сенсора, который, будучи кинематически связан с фотоприемником, осуществляет его механическое сканирование в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива; при этом пятый выход блока развертки заявляемого решения подключен к входу синхронизации блока механического сканирования фотоприемника, а сам блок развертки является блоком «кольцевой» четырехстрочной развертки видеосигнала.The objective of the invention is to maintain unchanged the elevation parameter and to exclude passive pixels by using a four-line ring sensor as a photodetector by mechanically scanning it in the perpendicular direction relative to the fixed image plane of the panoramic lens. The problem in the inventive device of a computer system is solved by the fact that the prototype device [1], containing a television camera and a server connected in series to a local area network, to which two or more personal computers are connected, the television camera contains in series located and optically coupled panoramic lens, infrared cut-off filter and photodetector made by CCD technology, and consisting of sequentially connected charge-coupled photodetector region, and output register BPZN, wherein the photodetector region to the line of light sensitive elements alternate with rulers shielded from light elements and photodetector region itself is covered by a mosaic filter for separating the light of blue, yellow, purple and green components; the television camera also includes a video scanner and a signal processor and ADC connected in series, the output of which is the output of a television camera, the first output of the scanner being connected respectively to the control inputs of the photodetector area of the sensor, the second output of the scanner to the control inputs of the output register sensor, the third output of the scanner - to the input of the synchronization of the signal processor, the fourth output of the scanner - to the clock input of the ADC, the control output the position of the signal processor is connected to the control input of the scanner; a video card is installed in the expansion slot on the server’s motherboard, coordinated through the I / O channels, control and power supply with the server bus, containing a control panel, the input of which is connected to the output of the RAM block per frame, and the output to the “network” output, and the number “Rectangular” frames corresponding to one current “circular” frame satisfies relation (1), and this conversion is performed by software, the following changes are implemented, namely: a television camera forms a “ring” color raster from therewith, the photodetector of the television camera has the shape of a ring and contains on its crystal a “ring” four-line photodetector region, a “ring” output register and an SPS, wherein the lines of photosensitive and the lines of light-shielded elements of the photodetector region are located along radial directions from the imaginary center of the circular ring to its outer periphery, the number of elements in each “ring” line of the photodetector region is equal to the number of elements in its “ring” register, and the mosaic color filter Covering the photodetecting region, a "circular" shape; a mechanical scanning unit of the sensor is introduced into the television camera, which, being kinematically connected with the photodetector, carries out its mechanical scanning in the perpendicular direction relative to the fixed image plane of the panoramic lens; while the fifth output of the scanner unit of the claimed solution is connected to the synchronization input of the mechanical scanning unit of the photodetector, and the scanner unit itself is a block of “ring” four-line scan of the video signal.
По отношению к прототипу [1] заявляемое устройство отличается геометрической формой выполнения фотоприемника в виде кольцевого четырехстрочного сенсора, обеспечивающего при сохранении ПЗС-технологии реализацию нового («кольцевого») растра цветного изображения. Важно отметить, что количество элементов в «кольцевом» регистре нового фотоприемника принципиально превосходит горизонтальное число пикселей для матрицы ПЗС, которая по вертикали вписана в диаметр этого сенсора.In relation to the prototype [1], the claimed device differs in the geometric form of the photodetector in the form of an annular four-line sensor, which, while maintaining the CCD technology, implements a new (“ring”) color image raster. It is important to note that the number of elements in the “circular” register of the new photodetector fundamentally exceeds the horizontal number of pixels for the CCD, which is vertically inscribed in the diameter of this sensor.
В состав телевизионной камеры введен также и новый блок, а именно: блок механического сканирования сенсора.A new unit has also been included in the composition of the television camera, namely, the mechanical scanning unit of the sensor.
Совокупность известных и новых признаков заявляемого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.The combination of known and new features of the claimed device is not known from the prior art, therefore, the proposed technical solution meets the criterion of novelty.
В заявляемом устройстве путем шагового перемещения нового «кольцевого» фотоприемника на ширину сенсора (равную ширине четырех строк) в направлении, которое перпендикулярно относительно неподвижной плоскости изображения панорамного объектива, реализуется режим работы оригинального сканера с повышенной разрешающей способностью формируемого цветного изображения.In the inventive device, by stepwise moving a new "ring" photodetector to the width of the sensor (equal to the width of four lines) in a direction that is perpendicular to the fixed plane of the image of the panoramic lens, the operating mode of the original scanner with an increased resolution of the generated color image is realized.
Поэтому заявляемое техническое решение соответствует критерию о наличии изобретательского уровня.Therefore, the claimed technical solution meets the criterion of the presence of an inventive step.
На фиг. 1 приведена структурная схема заявляемого изобретения - устройства компьютерной системы для панорамного сканирования цветного изображения; на фиг. 2 - схемотехническая организации фотоприемника телевизионной камеры; на фиг. 3 показан фрагмент этого фотоприемника, иллюстрирующий подробности его конструкции; на фиг. 4, по данным [4], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 - иллюстрация геометрических соотношений для мишени фотоприемника, имеющей «прямоугольную» и «кольцевую» форму; на фиг. 6 - конструкция «кольцевого» регистра фотоприемника, у которого электроды переноса выполнены в виде части кругового кольца; на фиг. 7 - предлагаемое оператору панорамное изображение в виде последовательности из 6-ти «прямоугольных» кадров.In FIG. 1 shows a structural diagram of the claimed invention - a computer system for panoramic scanning of a color image; in FIG. 2 - circuit design organization of the photodetector of a television camera; in FIG. 3 shows a fragment of this photodetector, illustrating the details of its design; in FIG. 4, according to [4], a photograph of an image obtained using a domestic panoramic mirror-lens lens is presented; in FIG. 5 is an illustration of geometric relationships for a photodetector target having a “rectangular” and “ring” shape; in FIG. 6 - design of the “annular” register of the photodetector, in which the transfer electrodes are made as part of a circular ring; in FIG. 7 - a panoramic image proposed to the operator in the form of a sequence of 6 “rectangular” frames.
Заявляемое устройство компьютерной системы для панорамного сканирования монохромного изображения, см. фиг. 1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом телевизионная камера 1 содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, инфракрасный отсекающий фильтр 1-2 и твердотельный фотоприемник 1-3, выполненный по технологии ПЗС, а на кристалле которого расположены, см. фиг. 2, «кольцевая» четырехстрочная фотоприемная область 1-3-1, «кольцевой регистр 1-3-2 и БПЗН 1-3-3, а также блок 1-4 механического сканирования сенсора, который, будучи кинематически связан с фотоприемником 1-3, осуществляет его механическое сканирование (с шагом, равным ширине четырех строк) в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива 1-1, причем управляющие входы фотоприемной области 1-3-1 сенсора подключены к первому выходу блока 1-5 «кольцевой» четырехстрочной развертки видеосигнала, второй выход которого подключен к управляющим входам «кольцевого» регистра 1-3-2 сенсора, третий выход блока 1-5 «кольцевой» развертки - к входу синхронизации сигнального процессора 1-6, четвертый выход блока 1-5 «кольцевой» развертки - к тактовому входу АЦП 1-7, пятый выход блока 1-5 «кольцевой» развертки - к входу синхронизации блока 1-4 механического сканирования сенсора, а управляющий вход блока 1 -5 «кольцевой» развертки - к выходу управления экспозицией сигнального процессора 1-6; выход АЦП 1-7 является выходом телевизионной камеры 1, в разъем расширения на материнской плате сервера 2 установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БПКП, вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1).The inventive device of a computer system for panoramic scanning of a monochrome image, see Fig. 1 comprises a
Фотоприемник 1-3, выполненный по технологии ПЗС, см. фиг. 2-3, реализует «кольцевую» развертку зарядового изображения на фотоприемной области 1-3-1 с последующим поэлементным считыванием зарядов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения цветного видеосигнала в аналоговой форме. При этом в течение одного интервала происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах фотоприемной области 1-3-1. В течение кратковременного промежутка последующего интервала открывается фотозатвор, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области 1-3-1.Photodetector 1-3 made according to CCD technology, see FIG. 2-3, implements a "ring" scan of the charge image on the photodetector region 1-3-1, followed by element-by-element reading of charges in the "ring" register 1-3-2 and the formation of the voltage of the color video signal in analog form at the output of the CPS 1-3-3 . Moreover, during one interval, the process of accumulation of charge packets occurs in proportion to the illumination of the panoramic plot in the photosensitive pixels of the photodetector region 1-3-1. During a short period of the subsequent interval, a photo shutter opens, and the charges of all the “ring” lines involved in the accumulation are transferred (in one rotation step) to pixels shielded from light located in the same region 1-3-1.
Затем фотозатвор закрывается и в новом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем цикле зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в промежуточных интервалах новыми зарядами «кольцевой» регистр 1-3-2.Then the shutter closes and in a new cycle, another charge “picture” is accumulated on the target, and the charge packets accumulated in the previous cycle are transferred in radial directions to the periphery of the photodetector crystal, loading the “1-3” register in new intervals with new charges.
Фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором благодаря применению цветного «кольцевого» фильтра пикселы ПЗС становятся чувствительными к голубой (Cy), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим. Конструкция этого фотоприемника представлена на фиг. 3.The photodetector is the only color image video sensor in which, thanks to the use of a color “ring” filter, CCD pixels become sensitive to cyan (Cy), yellow (Ye), magenta (Mg) and green (G) color components. The design of this photodetector is shown in FIG. 3.
Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета помимо сигнала яркости (Y) достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y).It uses the well-known principle of color television, which states that for successful color recovery, in addition to the brightness signal (Y), only two additional signals are sufficient. This refers to the red color difference signal (R-Y) and the blue color difference signal (B-Y).
Отметим, что именно этот принцип реализован в конструкции мозаичного фильтра для фотоприемника в широко распространенных цветных одноматричных телевизионных камерах, см., например, [3, с. 155].Note that it is this principle that is implemented in the design of a mosaic filter for a photodetector in widespread color single-matrix television cameras, see, for example, [3, p. 155].
Аналогично режиму, применяемому в одноматричных цветных камерах, здесь перед считыванием в «кольцевом» регистре 1-3-2 зарядовые пакеты соседних (в радиальном направлении) пикселов фотомишени объединяются попарно, причем по-разному для последовательно считываемых первой (нечетной) и второй (четной) «кольцевых» строк формируемого изображения, как показано на фиг. 3.Similar to the mode used in single-matrix color cameras, here, before reading in the “circular” register 1-3-2, the charge packets of neighboring (in the radial direction) photo-target pixels are combined in pairs, and differently for the first (odd) and second (even) sequentially read ) “Circular” lines of the generated image, as shown in FIG. 3.
Первая строка содержит попарные отсчеты: (Mg+Cy), (G+Ye), (Mg+Су), (G+Υe) и так далее.The first line contains pairwise samples: (M g + C y ), (G + Y e ), (M g + C y ), (G + Υ e ) and so on.
Вторая строка: попарные отсчеты: (Cy+G), (Ye+Mg), (Су+G), (Ye+Mg) и так далее.Second line: pairwise samples: (C y + G), (Y e + M g ), (C y + G), (Y e + M g ) and so on.
Для получения яркостного сигнала для нечетной строки производится операция по аналогичному в [3, с. 155] алгоритму, который заключается в том, что выполняется задержка по времени на элемент разложения «кольцевого» поворота и суммирование попарных отсчетов:To obtain a luminance signal for an odd line, an operation is performed similar to that in [3, p. 155] the algorithm, which consists in the fact that a time delay is performed on the decomposition element of the "circular" rotation and the summation of pairwise samples:
Коэффициент Ѕ в формуле (2) возвращает «должок», приобретенный за счет суммирования зарядов в попарных отсчетах. Очевидно, что выражение (2) можно представить так:Coefficient Ѕ in formula (2) returns the “debt”, acquired by summing the charges in pairwise readings. Obviously, expression (2) can be represented as follows:
Применив аналогичный алгоритм для четной строки, получим следующее выражение для яркостного сигнала:Applying a similar algorithm for an even line, we obtain the following expression for the luminance signal:
Аналогично представим выражение (4) в основных цветах:Similarly, we represent the expression (4) in primary colors:
Выражения (3) и (5) показывают, что яркостной сигнал для нечетной и четной строки одинаков.Expressions (3) and (5) show that the luminance signal for the odd and even line is the same.
Для получения цветоразностного сигнала синего (B-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетной строки выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:To obtain the color-difference signal of blue (B-Y), an operation is performed according to another algorithm, which consists in the fact that for an odd line, a time delay is performed on the decomposition element and subtraction of pairwise samples:
Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четной строки:To obtain the color difference signal red (R-Y), the operation is performed according to an algorithm similar to the receipt of the color difference signal blue, but as applied to an even line:
Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в сигнал CVBS в системе PAL точно так же, как это выполняется в одноматричных цветных телевизионных камерах с мозаичным фильтром. Поясним, что CVBS - аббревиатура от английских слов: «composite video bar signal», т.е. полный видеосигнал.These two color difference signals, together with the luminance signal, are mixed into the CVBS signal in the PAL system in the same way as in single-matrix color television cameras with a mosaic filter. Let us explain that CVBS is an abbreviation of English words: “composite video bar signal”, i.e. full video signal.
Очевидно, что инфракрасный отсекающий фильтр 1-2 в предлагаемом решении может быть выполнен по форме в виде кольца, а установлен на входе оптического окна фотоприемника 1-3.It is obvious that the infrared cut-off filter 1-2 in the proposed solution can be made in the form of a ring, and installed at the input of the optical window of the photodetector 1-3.
С технологической точки зрения вполне оправдано и то, что для нового «кольцевого» фотоприемника телевизионной камеры электроды переноса в фотоприемной области 1-3-1 и в «кольцевом» регистре 1-3-2 могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.From a technological point of view, it is quite justified that for the new “ring” photodetector of a television camera, the transfer electrodes in the photodetector region 1-3-1 and in the “ring” register 1-3-2 can be made with a geometric shape not in the form of a rectangle, but as part of a circular ring.
В качестве примера на фиг. 6 показана конструкция «кольцевого» регистра 1-3-2 для фотоприемника с такими электродами переноса.As an example in FIG. 6 shows the design of a “ring” register 1-3-2 for a photodetector with such transfer electrodes.
Важно отметить, что длина внешней окружности нового «кольцевого» фотоприемника с внешним радиусом R (см. фиг. 5), мишень которого вписана в вертикальный размер матрицы ПЗС с форматом: l/h=4/3, превосходит размер по горизонтали для «прямоугольного» сенсора на величину, равную 3/4×π.It is important to note that the outer circumference of the new “ring” photodetector with an outer radius R (see Fig. 5), whose target is inscribed in the vertical size of the CCD with the format: l / h = 4/3, exceeds the horizontal size for the “rectangular” »Of the sensor by an amount equal to 3/4 × π.
Это означает, что при одинаковой величине площади пиксела выигрыш в их количестве составляет показатель, который не менее 2,5 раз.This means that with the same pixel area, the gain in their number is an indicator that is at least 2.5 times.
Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора («кольцевого» изображения).The panoramic lens 1-1 of the television camera, as in the prototype, is designed to form an optical image of a circular view ("ring" image).
В качестве близкого примера его технического решения можно считать панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [4].As a close example of its technical solution, we can consider a panoramic mirror-lens lens, the design of which was patented in Russia by Russian specialists from Moscow State University of Geodesy and Cartography [4].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.A photograph of the annular image formed by the panoramic lens is shown in FIG. 4. The angular field in the space of objects for this lens is 360 degrees in azimuth and can reach (75-80) degrees in elevation.
Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемника в пользу кругового кольца.The presence of a passive (non-informative) region in the center of the optical frame of the panoramic lens confirms the advisability of choosing the shape of the photodetector in favor of a circular ring.
Блок 1-5 «кольцевой» четырехстрочной развертки видеосигнала, сигнальный процессор 1-6 и АЦП 1-7 целесообразно выполнить с использованием комплекта специализированных микросхем высокого уровня интеграции, в т.ч. и программируемого комплекта, предназначенного для обслуживания цветных матриц ПЗС.Block 1-5 of the "ring" four-line scan of the video signal, the signal processor 1-6 and the ADC 1-7, it is advisable to perform using a set of specialized microcircuits with a high level of integration, including and a programmable kit designed to service CCD color matrices.
Блок 1-4 механического сканирования сенсора предназначен для выполнения пошагового перемещения фотоприемника 1-2 с интервалом по расстоянию, равным ширине четырех его «кольцевых» строк. По физике работы такое перемещение является электромеханическим.Block 1-4 of the mechanical scanning of the sensor is designed to perform step-by-step movement of the photodetector 1-2 with an interval of distance equal to the width of its four "ring" lines. In physics of work, such a movement is electromechanical.
Важно отметить, что для исключения возникновения вертикального смаза формируемого цветного изображения временной промежуток шагового перемещения фотоприемника должен быть достаточно малым относительно интервала накопления зарядов на фотомишени.It is important to note that to exclude the occurrence of a vertical smear of the color image being formed, the time interval of the step-by-step movement of the photodetector should be sufficiently small relative to the interval of charge accumulation on the target.
Очевидно, что при проектировании телевизионной камеры фотоприемник 1-3 может быть выполнен в составе блока 1-4.It is obvious that when designing a television camera, the photodetector 1-3 can be made as a part of block 1-4.
Устройство компьютерной системы для панорамного сканирования монохромного изображения (см. фиг. 1) работает следующим образом. Телевизионная камера 1 размещается на штативе (на фиг. 1 он не показан).The device of a computer system for panoramic scanning of a monochrome image (see Fig. 1) works as follows. The
Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение контролируемой сцены, проецируя его через ИК-фильтр 1-2 на мишень 1-3-1 фотоприемника телевизионной камеры. А фотоприемник 1-3 (см. фиг. 2) реализует «кольцевую» четырехстрочную развертку зарядового изображения на фотоприемной области 1-3-1 с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения видеосигнала в аналоговой форме.Panoramic lens 1-1 forms an “annular” optical image of the controlled scene, projecting it through an IR filter 1-2 onto the target 1-3-1 of the photodetector of a television camera. A photodetector 1-3 (see Fig. 2) implements a “ring” four-line scan of the charge image on the photodetector region 1-3-1, followed by element-wise reading of the charge packets in the “ring” register 1-3-2 and the formation of an output CPS 1 -3-3 video signal voltage in analog form.
В результате последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения для одной «кольцевой» строки реконструируемого растра. По интерфейсу (например, USB 2,0) в оперативную память сервера 2 будет транслироваться цифровой видеосигнал этой «кольцевой» строки фотоприемника 1-3 при пошаговом перемещении самого фотоприемника на ширину четырех строк его мишени.As a result of the subsequent analog-to-digital conversion of the video signal at the output of the
В итоге в оперативную память сервера 2 будет занесена видеоинформация о «кольцевом» кадре, полученном при помощи «сканерной» записи составляющих его «кольцевых» строк.As a result, video information about the “circular” frame obtained using the “scanner” recording of the “circular” lines constituting it will be recorded in the RAM of server 2.
Допустим, что, как и в прототипе, горизонтальный угол поля зрения (γг) предъявляемого панорамного изображения составляет 60 градусов.Suppose that, as in the prototype, the horizontal angle of the field of view (γ g ) of the presented panoramic image is 60 degrees.
Тогда должно быть предусмотрено, что одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.Then it should be provided that one sixth of each "ring" line from the "ring" frame is recorded in server 2, respectively, in one of the six arrays of RAM per frame.
Предположим, что полное число «кольцевых» строк в «кольцевом» кадре составляет m. Необходимость разнесения во времени процесса накопления зарядов в фотоприемнике и процесса шагового перемещения сенсора определяет режим формирования «кольцевого» кадра как медленный, т.е. малокадровый.Suppose that the total number of “ring” lines in a “ring” frame is m. The need for time diversity of the process of accumulation of charges in the photodetector and the process of stepwise movement of the sensor determines the mode of formation of the "ring" frame as slow, i.e. small frame.
Поэтому необходимое время записи всех m строк в сервере 2 составит несколько секунд и, возможно, даже более высокую величину, но это вполне оправдано достигаемым результатом - поддержанием неизменного показателя угла места кругового обзора и оптимизацией фотоприемника для ведения такого обзора.Therefore, the necessary recording time of all m lines in server 2 will be several seconds and, possibly, even a higher value, but this is completely justified by the achieved result - maintaining a constant indicator of the elevation angle of the circular view and optimizing the photodetector for such a review.
Далее, как и в прототипе, в сервере 2 при помощи элемента БПКП, реализующего возложенные на него функции программным путем, осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры вещательного телевидения и возможность предоставления этой информации на выходе «сеть» сервера 2.Further, as in the prototype, in server 2, using the BPC element that implements the functions assigned to it programmatically, the video signal is read, and as a result, the “ring” frame is converted into ordinary “rectangular” frames of broadcast television and the ability to provide this information at the output of the "network" server 2.
Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 7) операторам компьютеров 3.Therefore, the digital video recording signal for each "ring" image frame is converted into 6 "rectangular" frames, which can be offered in the form of a selected sequence (see Fig. 7) to computer operators 3.
Отметим, что операция считывания «прямоугольных» кадров включает и коррекцию геометрических искажений соответствующего участка панорамного изображения точно так же, как это имеет место в прототипе.Note that the operation of reading “rectangular” frames includes the correction of geometric distortions of the corresponding section of the panoramic image in the same way as in the prototype.
В настоящее время все элементы структурной схемы устройства компьютерной системы для панорамного сканирования монохромного изображения освоены или могут быть освоены отечественной промышленностью.Currently, all the elements of the structural diagram of the device of a computer system for panoramic scanning of a monochrome image are mastered or can be mastered by domestic industry.
Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.Therefore, the present invention should be considered as meeting the requirement for industrial applicability.
ИСТОЧНИКИ ИНФОРМАЦИИINFORMATION SOURCES
1. Патент РФ №2371880. МПК H04N 7/00. Способ панорамного телевизионного наблюдения и устройство для его осуществления. / В.М. Смелков // Б.И. - 2009. - №30.1. RF patent No. 2371880. IPC H04N 7/00. The method of panoramic television surveillance and device for its implementation. / V.M. Smelkov // B.I. - 2009. - No. 30.
2. Секен К., Томпсет М. Приборы с переносом заряда. Перевод с англ. - М.: «Мир», 1985.2. Seken K., Thompset M. Instruments with charge transfer. Translation from English - M .: "World", 1985.
3. Владо Дамьяновски. СТV. Библия видеонаблюдения. Цифровые и сетевые технологии. / Перевод с англ. М.: ООО «Ай-Эс-Эс Пресс», 2006.3. Vlado Damianowski. CTV. Bible CCTV. Digital and network technology. / Translation from English. M .: LLC "IS-ES Press", 2006.
4. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // БИ - 2002. - №20.4. RF patent No. 2185645. IPC G02B 13/06, G02B 17/08. Panoramic mirror lens. / A.V. Kurtov, V.A. Solomatin // BI - 2002. - No. 20.
Claims (4)
где γг - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, отличающееся тем, что телевизионная камера формирует «кольцевой» растр цветного изображения, при этом фотоприемник телевизионной камеры имеет форму кольца и содержит на его кристалле «кольцевую» четырехстрочную фотоприемную область, «кольцевой» выходной регистр и БПЗН, причем линейки светочувствительных и линейки экранированных от света элементов фотоприемной области расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в его «кольцевом» регистре, а мозаичный цветной фильтр, накрывающий фотоприемную область, является «кольцевым» по форме, в состав телевизионной камеры введен блок механического сканирования сенсора, который, будучи кинематически связан с фотоприемником, осуществляет его механическое сканирование в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, при этом пятый выход блока развертки подключен к входу синхронизации блока механического сканирования фотоприемника, а сам блок развертки является блоком «кольцевой» четырехстрочной развертки видеосигнала.1. A computer system device for panoramic scanning of a color image, comprising a television camera in series and a server, which is a local area network node to which two or more personal computers are connected, the television camera comprising sequentially located and optically connected panoramic lens, infrared cut-off filter and photodetector made according to the technology of charge-coupled devices (CCD) and consisting of sequentially connected data by the charge coupling of the photodetector region, the output register, and the charge – voltage conversion unit (LPS), moreover, on the photodetector region, the lines of photosensitive elements alternate with lines of light-shielded elements, and the photodetector region itself is covered with a mosaic filter that separates light into blue, yellow, magenta and green components, the television camera also includes a video signal scanner and a signal processor and an analog-to-digital converter connected in series (ADC), the output of which is the output of a television camera, the first output of the scanner being connected respectively to the control inputs of the photodetector area of the sensor, the second output of the scanner to the control inputs of the output register of the sensor, the third output of the scanner to the synchronization input of the signal processor, the fourth output a scan unit — to the ADC clock input, the output of the exposure control of the signal processor is connected to the control input of the scanner; a video card is installed in the expansion slot on the server’s motherboard, matched via the I / O channels, control and power supply with the server bus, containing a block for converting a “ring” frame into “rectangular” frames (BPKP), the input of which is connected to the output of the RAM block on frame, and the output to the output of the "network", and the number of "rectangular" frames corresponding to one current "ring" frame, satisfies the ratio:
where γ g is the horizontal angle of the field of view in degrees of the image observed by the operator, and this conversion is carried out programmatically, characterized in that the television camera forms a “ring” raster of the color image, while the photodetector of the television camera has the shape of a ring and contains “ an annular "four-line photodetector region, an" annular "output register and an EPRS, and the lines of photosensitive and the lines of light-shielded elements of the photodetector region are located along p adial directions from the imaginary center of the circular ring to its outer periphery, the number of elements in each “ring” line of the photodetector region is equal to the number of elements in its “ring” register, and the mosaic color filter covering the photodetector region is “ring” in shape, in composition a block of mechanical scanning of the sensor has been introduced into the television camera, which, being kinematically connected to the photodetector, carries out its mechanical scanning in the perpendicular direction with respect to the stationary plane ti panoramic image of the lens, the fifth output scanner connected to the input of the synchronization unit mechanical scanning photodetector, and the scanner unit is the "ring" four-line scan video signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015109106/07A RU2579003C1 (en) | 2015-03-16 | 2015-03-16 | Computer system device for panoramic colour image scanning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015109106/07A RU2579003C1 (en) | 2015-03-16 | 2015-03-16 | Computer system device for panoramic colour image scanning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2579003C1 true RU2579003C1 (en) | 2016-03-27 |
Family
ID=55656974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015109106/07A RU2579003C1 (en) | 2015-03-16 | 2015-03-16 | Computer system device for panoramic colour image scanning |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2579003C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2641287C1 (en) * | 2017-04-21 | 2018-01-17 | Вячеслав Михайлович Смелков | Television camera of colour image for panoramic computer scanning |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5373147A (en) * | 1976-12-13 | 1978-06-29 | Sony Corp | Optical device of image pick-up apparatus |
| US4695878A (en) * | 1985-10-31 | 1987-09-22 | Rca Corporation | Color television camera with selectively removable infrared rejection filter |
| SU1804273A1 (en) * | 1987-11-04 | 1996-10-10 | Производственное объединение "Азовский оптико-механический завод" | Optomechanical sweep method |
| US5920337A (en) * | 1994-12-27 | 1999-07-06 | Siemens Corporate Research, Inc. | Omnidirectional visual image detector and processor |
| US6426774B1 (en) * | 1996-06-24 | 2002-07-30 | Be Here Corporation | Panoramic camera |
| US7259788B1 (en) * | 2002-01-28 | 2007-08-21 | Pixim, Inc. | Image sensor and method for implementing optical summing using selectively transmissive filters |
| RU2371880C1 (en) * | 2008-04-04 | 2009-10-27 | Вячеслав Михайлович Смелков | Panoramic video surveillance method and device for implementing thereof |
| US8159533B2 (en) * | 2009-10-21 | 2012-04-17 | Yi-Jen Cheng | Surveillance camera capable of recording color or monochrome images based on time settings |
-
2015
- 2015-03-16 RU RU2015109106/07A patent/RU2579003C1/en active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5373147A (en) * | 1976-12-13 | 1978-06-29 | Sony Corp | Optical device of image pick-up apparatus |
| US4695878A (en) * | 1985-10-31 | 1987-09-22 | Rca Corporation | Color television camera with selectively removable infrared rejection filter |
| SU1804273A1 (en) * | 1987-11-04 | 1996-10-10 | Производственное объединение "Азовский оптико-механический завод" | Optomechanical sweep method |
| US5920337A (en) * | 1994-12-27 | 1999-07-06 | Siemens Corporate Research, Inc. | Omnidirectional visual image detector and processor |
| US6426774B1 (en) * | 1996-06-24 | 2002-07-30 | Be Here Corporation | Panoramic camera |
| US7259788B1 (en) * | 2002-01-28 | 2007-08-21 | Pixim, Inc. | Image sensor and method for implementing optical summing using selectively transmissive filters |
| RU2371880C1 (en) * | 2008-04-04 | 2009-10-27 | Вячеслав Михайлович Смелков | Panoramic video surveillance method and device for implementing thereof |
| US8159533B2 (en) * | 2009-10-21 | 2012-04-17 | Yi-Jen Cheng | Surveillance camera capable of recording color or monochrome images based on time settings |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2641287C1 (en) * | 2017-04-21 | 2018-01-17 | Вячеслав Михайлович Смелков | Television camera of colour image for panoramic computer scanning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022088311A1 (en) | Image processing method, camera assembly and mobile terminal | |
| WO2021212763A1 (en) | High-dynamic-range image processing system and method, electronic device and readable storage medium | |
| RU2545519C1 (en) | Apparatus for computer-based panoramic television surveillance system and photodetector setup therefor | |
| WO2021223364A1 (en) | High-dynamic-range image processing system and method, electronic device, and readable storage medium | |
| CN111314592A (en) | Image processing method, camera assembly and mobile terminal | |
| RU2552101C1 (en) | Configuration of tv panoramic observation computer system and organisation of photo receiver to this end | |
| CN112738493B (en) | Image processing method, image processing apparatus, electronic device, and readable storage medium | |
| US11902674B2 (en) | Image acquisition method, camera assembly, and mobile terminal | |
| RU2633758C1 (en) | Hypersensitive television camera for panoramic computer vision system | |
| JP5108013B2 (en) | Color imaging device, imaging device using the same, and filter | |
| RU2665695C1 (en) | Computer system device for panoramic television surveillance | |
| RU2579003C1 (en) | Computer system device for panoramic colour image scanning | |
| RU2640756C1 (en) | Computer system device for television circular review of internal surface of large diameter pipes and pipelines | |
| US20230334818A1 (en) | Method and system for image processing, electronic device and storage medium | |
| US20230247308A1 (en) | Image processing method, camera assembly and mobile terminal | |
| RU2710779C1 (en) | Device for "circular" photodetector of color image for panoramic television-computer surveillance | |
| RU2641287C1 (en) | Television camera of colour image for panoramic computer scanning | |
| RU2564678C1 (en) | Computer system for high-sensitivity panoramic video surveillance | |
| WO2022226702A1 (en) | Image processing method, imaging processing apparatus, electronic device, and storage medium | |
| RU2570348C1 (en) | Computer system for panoramic colour image television surveillance | |
| RU2579002C1 (en) | Computer system device for panoramic scanning of monochromatic image | |
| RU2564091C1 (en) | Computer system of panoramic tv observation with higher sensitivity at outer periphery of circular image | |
| RU2675244C1 (en) | Ring photo-receiver of color image for panoramic television-computer monitoring | |
| JP2022192062A (en) | Image sensor, camera module, mobile terminal and image collection method | |
| RU2675245C1 (en) | Device of annular photodetector for panoramic television-computer scanning of color image |