RU2757667C1 - Способ повышения чувствительности и частоты кадров видеокамер - Google Patents
Способ повышения чувствительности и частоты кадров видеокамер Download PDFInfo
- Publication number
- RU2757667C1 RU2757667C1 RU2020139588A RU2020139588A RU2757667C1 RU 2757667 C1 RU2757667 C1 RU 2757667C1 RU 2020139588 A RU2020139588 A RU 2020139588A RU 2020139588 A RU2020139588 A RU 2020139588A RU 2757667 C1 RU2757667 C1 RU 2757667C1
- Authority
- RU
- Russia
- Prior art keywords
- video frames
- binning
- rows
- matrix
- radiation receiver
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000035945 sensitivity Effects 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 93
- 230000005855 radiation Effects 0.000 claims abstract description 53
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000004044 response Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001233887 Ania Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
- H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Изобретение относится к области повышения чувствительности и частоты кадров видеокамер. Техническим результатом является повышение чувствительности и частоты кадров видеокамер при достижении повышенного пространственного разрешения. Предложенный способ повышения чувствительности и частоты кадров видеокамер заключается в применении процедуры биннинга к смежным пикселям матрицы приемника излучения для последовательности видеокадров, причем в соседних видеокадрах биннинг производят со сдвигом, по крайней мере, на один пиксель матрицы приемника излучения по диагонали так, что в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей, полученных в результате биннинга пикселей, затем считывают видеокадры, полученные посредством биннинга, с повышенной или исходной кадровой частотой и оцифровывают их, после чего размеры данных видеокадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк до исходных размеров, а затем последовательность увеличенных видеокадров подвергают интерполяции с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра. 4 з.п. ф-лы, 4 ил.
Description
Изобретение относится к способам повышения чувствительности и частоты кадров видеокамер.
Одним из способов повышения чувствительности видеокамер за счет увеличения отношения сигнал/шум является аппаратный биннинг, представляющий собой процесс суммирования зарядов смежных пикселей матрицы приемника излучения в один суперпиксель в процессе считывания информации из матрицы перед оцифровкой (Способы улучшения чувствительности камер видеонаблюдения // Настройка видеонаблюдения, август 2019. URL: http://zapishemvse.ru/sposoby-uluchsheniya-chuvstvitelnosti-kamer-videonablyudeniya/; Цыцулин А.К., Зубакин И.А., Левко Г.В., Морозов А.В. Измерение качества видеоинформации, формируемой телекамерой // Вопросы радиоэлектроники. Техника телевидения. 2016, вып. 4. С. 26-32).
При этом замедляется темп считывания и оцифровки пикселей, что позволяет увеличить частоту кадров в системе (Биннинг // Спецтелетехника, 2004. URL: http://www.sptt.ru/sptt/docs.php?l=1&part=3).
Основным недостатком применения процедуры биннинга является снижение пространственного разрешения видеокамер (патенты RU2542928, RU2543974).
Известен способ осуществления биннинга в датчике изображения (патент CN CN110198422), который включает в себя сортировку пикселей, выполняемую путем суммирования зарядов нескольких пикселей вдоль диагонального направления и считываются для формирования цифрового сигнала первой диагональной суммы. Затем первый диагональный суммарный сигнал может быть сохранен в памяти. Далее второй диагональный суммирующий сигнал генерируется путем объединения сигналов напряжения, считанных со второй группы пикселей, расположенных вдоль второго диагонального направления, и вторая диагональ считывается из суммирующего сигнала матрицы пикселей.
С помощью третьего набора пикселей, расположенных вдоль первого диагонального направления суммирования заряда, генерируется ортогональный суммирующий сигнал.
Недостатком данного способа является недостаточное повышение пространственного разрешения изображения.
Данное техническое решение является наиболее близким аналогом к заявленному изобретению и может выступать в качестве прототипа.
Задачей, на решение которой направлено данное изобретение, является создание способа обработки видеокадров видеокамеры на основе проведения процедуры биннинга с восстановлением пиксельного размера, обеспечивающего повышение чувствительности и частоты кадров видеокамер при обеспечении высокого пространственного разрешения видеокамер с незначительными для наблюдателя потерями.
Техническим результатом предлагаемого изобретения является повышение чувствительности и частоты кадров видеокамер при достижении повышенного пространственного разрешения.
Достижение указанного технического результата осуществляется за счет реализации способа повышения чувствительности и частоты кадров видеокамер, основанного на использовании процедуры биннинга смежных пикселей матрицы приемника излучения для последовательности видеокадров, отличающегося тем, что биннинг в видеокадрах выполняют со сдвигом, по крайней мере, на один пиксель матрицы приемника излучения по диагонали так, что в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей полученных в результате биннинга пикселей, затем считывают видеокадры, полученные посредством биннинга, с повышенной или исходной кадровой частотой и оцифровывают их, после чего размеры данных видеокадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк, а затем последовательность увеличенных видеокадров подвергают интерполяции с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
В альтернативных вариантах реализации предлагаемого способа, процедура биннинга может осуществляться четырьмя различными путями. При этом для каждого альтернативного варианта осуществления процедуры биннинга в предлагаемом способе определенным образом выполняется процедура увеличения восстанавливаемых видеокадров.
В одном из альтернативных вариантов осуществления способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, при реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру нечетных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
В другом альтернативном варианте осуществления способа, в нечетных видеокадрах биннинг начинают с первых столбца и строки матрицы приемника излучения, а в четных видеокадрах – с (n+1) столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника.
Причем, при реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру четных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,…- кратность биннинга.
В другом альтернативном варианте осуществления способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и первой строки матрицы приемника излучения, а в четных видеокадрах – с первого столбца и (n+1) строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, в случае реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, а в матричную структуру четных восстанавливаемых видеокадров сверху добавляют n нулевых строк, где k = 2,3,4,… – кратность биннинга.
В другом альтернативном варианте осуществления способа, в нечетных видеокадрах биннинг начинают с первого столбца и (n+1) строки матрицы приемника излучения, а в четных кадрах – с (n+1) столбца и первой строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, в случае реализации данного варианта проведения процедуры биннинга в предлагаемом способе, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров сверху добавляют n нулевых строк, а в матричную структуру четных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, где k = 2,3,4,… – кратность биннинга.
Таким образом значения яркостей пикселей увеличиваемых кадров, полученных в результате биннинга, перемежают нулевыми столбцами и строками так, что в любых двух соседних кадрах формируется пространственно-временная решетка с шахматным расположением значений яркостей пикселей, полученных в результате биннинга. После чего производят формирование выходной последовательности восстановленных видеокадров путем последовательного считывания с повышенной или исходной кадровой частотой данных каждого увеличенного нечетного и соответствующего увеличенного четного кадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
Реализация предлагаемого способа позволяет повысить чувствительность и частоту кадров видеокамер с незначительными для наблюдателя потерями пространственного разрешения в реальном масштабе времени и может найти применение в различных областях обработки изображений, в том числе системах видеонаблюдения, техническом зрении, в медицине, неразрушающем контроле и т.п.
Далее изобретение будет описано по ссылкам на графические материалы.
Фиг.1 – вариант выполнения процедуры биннинга 2×2 пикселей матрицы приемника излучения в последовательности видеокадров перед оцифровкой в случае, когда в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n=1 – сдвиг в пикселях по диагонали матрицы приемника излучения, где 1 – последовательность видеокадров, 2 – нечетный видеокадр, 3 – четный видеокадр, 4 – значение яркости полученного пикселя в результате биннинга.
Фиг.2 – схема восстановления размера видеокадров в последовательности, полученных в результате биннинга 2x2, когда в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, n=1 – сдвиг в пикселях по диагонали матрицы приемника излучения, k=2 – кратность биннинга, где 5 – нулевые строки, вводимые в матричную структуру восстанавливаемых видеокадров, 6 – нулевые столбцы, вводимые в матричную структуру восстанавливаемых видеокадров, 7 – нулевой столбец, введенный в нечетный видеокадр, 8 – нулевая строка, введенная в нечетный видеокадр.
Фиг. 3 – результирующая пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде поверхности уровня K (ν1,ν2,ν3) = 0,8 для положительного октанта трехмерной области нормированных частот {ν1,ν2,ν3}.
Фиг. 4 – структурная схема восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот, где 9 – трехмерное рекурсивно-нерекурсивного звено 
, 10 – двумерное рекурсивно-нерекурсивное звено 
, 11 – одномерное рекурсивно-нерекурсивное звено 
.
На начальном этапе осуществления предлагаемого способа выполняют процедуру биннинга смежных пикселей матрицы приемника излучения для последовательности видеокадров так, что в нечетных кадрах биннинг производят со сдвигом, по край ней мере, на один пиксель матрицы приемника излучения по диагонали по отношению к четным видеокадрам, при этом в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей пикселей.
Затем последовательность видеокадров, полученных с помощью процедуры биннинга и характеризующихся низким разрешением, считывают с повышенной или исходной кадровой частотой и оцифровывают.
С целью восстановления исходных размеров видеокадров в последовательности, в их матричную структуру добавляют нулевые столбцы и строки, после чего производят формирование последовательности выходных сигналов путем последовательного считывания с повышенной или исходной кадровой частотой данных каждого увеличенного нечетного и соответствующего увеличенного четного видеокадров, при этом снимаемые выходные сигналы обрабатывают с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот, который выполняют с областью пропускания в виде октаэдра.
Согласованная со спектрами реальных видеоизображений и с пространственно-частотной характеристикой зрения область пропускания восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде октаэдра позволяет при восстановлении видеоизображений по дискретным отсчетам наилучшим образом выделять из дискретного спектра основной спектр изображения исходного разрешения и подавлять побочные составляющие и высокочастотные шумы, что позволяет восстанавливать пространственное разрешение изображений с незначительными для наблюдателя потерями [см., например, Дрынкин В.Н. Разработка и применение многомерных цифровых фильтров. М.: ФГУП «ГосНИИАС», 2016].
Предлагаемый способ повышения чувствительности и частоты кадров видеокамер осуществляется следующим образом.
Раскрытый выше способ может реализовываться в нескольких предпочтительных вариантах.
Процедура биннинга, выполняемая на начальном этапе в предлагаемом способе, может осуществляться четырьмя различными путями. При этом для каждого альтернативного варианта осуществления процедуры биннинга, в предлагаемом способе определенным образом выполняется процедура увеличения восстанавливаемых видеокадров до исходного размера.
Согласно первому варианту реализации способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n = 1,2, … – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру нечетных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
Согласно второму варианту осуществления способа, в нечетных видеокадрах биннинг начинают с первых столбца и строки матрицы приемника излучения, а в четных видеокадрах – с (n+1) столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру четных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
Согласно третьему варианту осуществления способа, в нечетных видеокадрах биннинг начинают с (n+1) столбца и первой строки матрицы приемника излучения, а в четных видеокадрах – с первого столбца и (n+1) строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, а в матричную структуру четных восстанавливаемых видеокадров сверху добавляют n нулевых строк, где k = 2,3,4,… – кратность биннинга.
Согласно четвертому варианту осуществления способа, в нечетных видеокадрах биннинг начинают с первого столбца и (n+1) строки матрицы приемника излучения, а в четных кадрах – с (n+1) столбца и первой строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали матрицы приемника излучения.
Причем, после считывания и оцифровки полученной последовательности видеокадров, размеры восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров сверху добавляют n нулевых строк, а в матричную структуру четных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, где k = 2,3,4,… кратность биннинга.
На фиг.1 представлен вариант исполнения процедуры биннинга 2x2 смежных пикселей матрицы приемника излучения для последовательности видеокадров (1), включающей в себя нечетные (2) и четные (3) видеокадры при условиях проведения биннинга соответствующих первому варианту его осуществления.
При этом в нечетных видеокадрах (2) биннинг производят со сдвигом, на один пиксель матрицы приемника излучения по диагонали (n=1) по отношению к четным видеокадрам (3), при этом в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей пикселей (4).
На фиг.2. представлен вариант осуществления восстановления размера видеокадров в последовательности (1), полученных в результате биннинга 2x2, при условиях его проведения согласно первому варианту.
В этом случае для восстановления исходных размеров видеокадров в последовательности (1) размеры восстанавливаемых видеокадров увеличивают путем добавления по одному нулевому столбцу (6) между столбцами матричной структуры восстанавливаемых видеокадров (2, 3) и по одной нулевой строке (5) между строками матричной структуры восстанавливаемых видеокадров (2, 3) (k=2), а в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют нулевой столбец (7), а сверху добавляют нулевую строку (8).
Для осуществления трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра может быть использована комбинированная структура, представляющая собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев. При данном способе осуществления пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот 
будет иметь вид:
| , | (1) |
где 
, 
, 
– соответственно пространственно-частотные характеристики трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев.
При этом конфигурация области пропускания восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде октаэдра в направлении временных частот ν3 формируется трехмерным рекурсивно-нерекурсивным звеном, содержащем память на кадр 
:
| , | (2) |
где
представляет собой пространственно-частотную характеристику двумерной нерекурсивной цепи обратной связи;
m – размер апертуры (в элементах) импульсной характеристики двумерного звена, 3 ≤ m ≥ k и принимает нечетные значения из множества N, 
– полюс аналогового фильтра-прототипа.
Конфигурация области пропускания восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в плоскости пространственных частот изображения {ν1,ν2} формируется двумерным рекурсивно-нерекурсивным звеном, содержащем память на строку 
| , | (4) |
где
| (5) |
представляет собой пространственно-частотную характеристику одномерной нерекурсивной цепи обратной связи.
Частота среза восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в направлении частот ν1 формируется одномерным рекурсивно-нерекурсивным звеном, содержащем память на элемент строки 
:
| , | (6) |
где коэффициент цепи обратной связи 
вычисляется по формуле
| . | (7) |
Описанный фильтр может быть осуществлен аппаратным путем как элемент видеосистемы, интегрированный в видеокамеру, например, на базе программируемой логической интегральной схемы.
Рассмотрим пример получения практически реализуемой структуры восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра для m = 3. Зададимся Чебышевским одномерным аналоговым прототипом, имеющим при неравномерности частотной характеристики в полосе пропускания δ = 1 дБ один вещественный полюс = -1,9652267, примем а = 0,8 и аппроксимируем выражения (3) и (5) соответствующими тригонометрическими рядами:
| . | (9) |
При этом согласно формуле (7) β = -0,716. Коэффициент γ из соображений устойчивости выбирается равным 0,81.
На фиг. 3 показана результирующая пространственно-частотная характеристика восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде поверхности уровня K(ν1,ν2,ν3) = 0,8 для положительного октанта трехмерной области нормированных частот {ν1,ν2,ν3}.
Для получения передаточной функции восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот по формуле (1) в виде, пригодном для реализации, на основании формулы Эйлера 
заменяется 
, где 
представляет собой z-преобразование на единичной окружности.
При этом можно получить передаточную функцию восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде:
| , | (10) |
где
| , | (11) |
Предлагаемый способ повышения чувствительности и частоты кадров видеокамер можно осуществить с помощью устройства повышения чувствительности и частоты кадров видеокамер, которое содержит модуль бинаризации, осуществляющий биннинг смежных пикселей матрицы приемника излучения в соответствии с одним из описанных выше путей, считывание и оцифровку пикселей, полученных с помощью биннинга, повышенной чувствительности с повышенной или исходной кадровой частотой, и модуль реконструирования, включающий в себя субмодуль увеличения размеров видеокадров, осуществляющий восстановление размера видеокадров одним из описанных выше путей в соответствии с предлагаемым способом, и субмодуль трехмерного интерполяционного пространственно-временного фильтра нижних частот, осуществляющий восстановление видеокадров увеличенного размера.
Причем для формирования трехмерной области пропускания упомянутого восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот в виде октаэдра применяется комбинированная структура, представляющая собой каскадное включение трехмерного, двумерного и одномерного рекурсивно-нерекурсивных звеньев.
При этом указанные модули и субмодули в составе описываемого устройства повышения чувствительности и частоты кадров видеокамер подключены так, что вход модуля бинаризации подключен ко входу указанного устройства, а выход – к входу субмодуля увеличения размеров видеокадров, а выход субмодуля увеличения размеров видеокадров подключен ко входу субмодуля трехмерного интерполяционного пространственно-временного фильтра нижних частот, а выход субмодуля трехмерного интерполяционного пространственно-временного фильтра нижних частот подключен к выходу описываемого устройства.
На фиг. 4 изображен пример осуществления восстанавливающего трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
На вход фильтра нижних частот с выхода субмодуля увеличения размеров видеокадров поступает последовательность следующих с повышенной или исходной кадровой частотой нечетных x1(n1,n2) и четных x2(n1,n2) видеокадров, полученных с помощью биннинга и увеличенных нулевыми столбцами и строками в соответствии с раскрытыми выше путями альтернативных вариантов осуществления биннинга.
Восстановление (интерполяция) пикселей осуществляется с помощью каскадно включенных трехмерного рекурсивно-нерекурсивного звена (9), содержащего память на кадр , двумерного рекурсивно-нерекурсивного звена (10), содержащего память на строку 
, и одномерного рекурсивно-нерекурсивного звена (11), содержащего память на элемент строки 
.
В трехмерном звене для m=3 значение текущего элемента строки (пикселя) текущего видеокадра (например, x2) по цепи рекурсивной обратной связи складывается в сумматоре Σ1 с нерекурсивно взвешенными в соответствии с выражением (11) двумя предыдущими элементами двух предыдущих строк, двумя соответствующими элементами двух предыдущих строк, двумя предыдущими элементами соответствующей строки и соответствующим элементом соответствующей строки предыдущего (например, x1) кадра. Затем полученное значение по цепи нерекурсивной прямой связи усредняется в сумматоре Σ2 с соответствующим элементом строки предыдущего кадра.
В двумерном звене значение текущего элемента строки (пикселя) текущего кадра по цепи рекурсивной обратной связи складывается в сумматоре Σ3 с нерекурсивно взвешенными в соответствии с выражением (12) восемью предыдущими элементами и одним соответствующим элементом предыдущей строки текущего кадра, а затем по цепи нерекурсивной прямой связи полученное значение усредняется в сумматоре Σ4 с соответствующим элементом предыдущей строки текущего кадра.
В одномерном звене значение текущего элемента текущей строки текущего кадра по цепи рекурсивной обратной связи складывается в сумматоре Σ5 со взвешенным в соответствии с выражением (7) на коэффициент β значением предыдущего элемента строки текущего кадра, а затем по цепи нерекурсивной прямой связи полученное значение усредняется в сумматоре Σ6 с тем же самым предыдущим элементом текущей строки текущего кадра.
С выхода фильтра нижних частот снимается видеопоследовательность восстановленных видеокадров изображения x(n1,n2,n3), обладающих повышенной чувствительностью и следующих с повышенной или исходной кадровой частотой, с незначительными для наблюдателя потерями пространственного разрешения.
Claims (5)
1. Способ повышения чувствительности и частоты кадров видеокамер, основанный на использовании процедуры биннинга смежных пикселей матрицы приемника излучения для последовательности видеокадров, отличающийся тем, что биннинг в видеокадрах выполняют со сдвигом, по крайней мере, на один пиксель матрицы приемника излучения по диагонали так, что в соседних видеокадрах образуется пространственно-временная решетка с шахматным расположением значений яркостей, полученных в результате биннинга пикселей, затем считывают видеокадры, полученные посредством биннинга, с повышенной или исходной кадровой частотой и оцифровывают их, после чего размеры данных видеокадров увеличивают путем введения в их матричную структуру нулевых столбцов и строк, а затем последовательность увеличенных видеокадров подвергают интерполяции с помощью трехмерного интерполяционного пространственно-временного фильтра нижних частот с областью пропускания в виде октаэдра.
2. Способ повышения чувствительности и частоты кадров видеокамер по п. 1, отличающийся тем, что биннинг выполняют в нечетных видеокадрах с (n+1) столбца и строки матрицы приемника излучения, а в четных видеокадрах – с первых столбца и строки матрицы приемника излучения, где n = 1,2,… – сдвиг в пикселях по диагонали в матрице приемника излучения, затем после считывания и оцифровки полученной последовательности видеокадров размеры данных восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру нечетных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
3. Способ повышения чувствительности и частоты кадров видеокамер по п. 1, отличающийся тем, что биннинг выполняют в нечетных видеокадрах с первых столбца и строки матрицы приемника излучения, а в четных видеокадрах – с (n+1) столбца и строки матрицы приемника излучения, где n = 1,2,… − сдвиг в пикселях по диагонали матрицы приемника излучения, затем после считывания и оцифровки полученной последовательности видеокадров размеры данных восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, а в матричную структуру четных восстанавливаемых видеокадров слева и сверху добавляют n нулевых столбцов и строк, где k = 2,3,4,… – кратность биннинга.
4. Способ повышения чувствительности и частоты кадров видеокамер по п. 1, отличающийся тем, что биннинг выполняют в нечетных видеокадрах с (n+1) столбца и первой строки матрицы приемника излучения, а в четных видеокадрах – с первого столбца и (n+1) строки матрицы приемника излучения, где n = 1,2,… − сдвиг в пикселях по диагонали матрицы приемника излучения, затем после считывания и оцифровки полученной последовательности видеокадров размеры данных восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, а в матричную структуру четных восстанавливаемых видеокадров сверху добавляют n нулевых строк, где k = 2,3,4,… – кратность биннинга.
5. Способ повышения чувствительности и частоты кадров видеокамер по п. 1, отличающийся тем, что биннинг выполняют в нечетных видеокадрах с первого столбца и (n+1) строки матрицы приемника излучения, а в четных кадрах – с (n+1) столбца и первой строки матрицы приемника излучения, где n = 1,2,… − сдвиг в пикселях по диагонали матрицы приемника излучения, затем после считывания и оцифровки полученной последовательности видеокадров размеры данных восстанавливаемых видеокадров увеличивают путем добавления (k-1) нулевых столбцов и строк между столбцами и строками матричной структуры восстанавливаемых видеокадров и при необходимости с краю нее, в матричную структуру нечетных восстанавливаемых видеокадров сверху добавляют n нулевых строк, а в матричную структуру четных восстанавливаемых видеокадров слева добавляют n нулевых столбцов, где k = 2,3,4,… – кратность биннинга.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020139588A RU2757667C1 (ru) | 2020-12-02 | 2020-12-02 | Способ повышения чувствительности и частоты кадров видеокамер |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020139588A RU2757667C1 (ru) | 2020-12-02 | 2020-12-02 | Способ повышения чувствительности и частоты кадров видеокамер |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2757667C1 true RU2757667C1 (ru) | 2021-10-20 |
Family
ID=78286441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020139588A RU2757667C1 (ru) | 2020-12-02 | 2020-12-02 | Способ повышения чувствительности и частоты кадров видеокамер |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2757667C1 (ru) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070063128A1 (en) * | 2003-11-13 | 2007-03-22 | Alexander Krymski | Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit |
| US20140218567A1 (en) * | 2013-02-04 | 2014-08-07 | Yong In Han | Image Sensor and Method of Generating Binning Image Using the Same |
| US20150350575A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Pixel binning in an image sensor |
| RU2574324C2 (ru) * | 2010-09-14 | 2016-02-10 | Таль | Оптико-электронная система, имеющая сверхполусферический обзор |
| US20180295297A1 (en) * | 2015-03-10 | 2018-10-11 | Samsung Electronics Co., Ltd. | Image sensor, data processing system including the same |
-
2020
- 2020-12-02 RU RU2020139588A patent/RU2757667C1/ru active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070063128A1 (en) * | 2003-11-13 | 2007-03-22 | Alexander Krymski | Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit |
| RU2574324C2 (ru) * | 2010-09-14 | 2016-02-10 | Таль | Оптико-электронная система, имеющая сверхполусферический обзор |
| US20140218567A1 (en) * | 2013-02-04 | 2014-08-07 | Yong In Han | Image Sensor and Method of Generating Binning Image Using the Same |
| US20150350575A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Pixel binning in an image sensor |
| US20180295297A1 (en) * | 2015-03-10 | 2018-10-11 | Samsung Electronics Co., Ltd. | Image sensor, data processing system including the same |
Non-Patent Citations (2)
| Title |
|---|
| V.N. DRYNKIN, T. I. TSAREVA. Improving the resolution of images in technical vision systems. Technical vision. Issue 1, 2015. * |
| В.Н. ДРЫНКИН, Т.И. ЦАРЕВА. Повышение разрешающей способности изображений в системах технического зрения. Техническое зрение. Выпуск 1, 2015. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5325449A (en) | Method for fusing images and apparatus therefor | |
| EP1173972B1 (en) | Method and apparatus for obtaining high dynamic range images | |
| US6765611B1 (en) | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device | |
| Burt et al. | The Laplacian pyramid as a compact image code | |
| US4674125A (en) | Real-time hierarchal pyramid signal processing apparatus | |
| EP0163660B1 (en) | Improved system for coring an image-representing signal | |
| JPH0143510B2 (ru) | ||
| JPH059833B2 (ru) | ||
| KR101685885B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
| SK143194A3 (en) | Apparatus for elaborating of digital video signal | |
| EP2757775A2 (en) | Generating modulation patterns for the acquisition of multiscale information in received signals | |
| WO1998046007A1 (en) | Imaging system & method | |
| EP1209900B1 (en) | Method and apparatus for performing tone scale modifications | |
| Latry et al. | Spot5 thr mode | |
| RU2757667C1 (ru) | Способ повышения чувствительности и частоты кадров видеокамер | |
| US5053615A (en) | Correction algorithm for contiguous CCD elements leakage | |
| KR101690887B1 (ko) | 일반카메라를 활용한 초고속 주기신호 복원 및 롤링셔터효과 보상 방법 | |
| JPH0128427B2 (ru) | ||
| RU2549353C1 (ru) | Способ повышения разрешающей способности видеосистем | |
| US4489390A (en) | Spatial filter system | |
| US5122788A (en) | Method and an apparatus for 2-D filtering a raster scanned image in real-time | |
| US4910693A (en) | Method and apparatus for sampling lattice pattern generation and processing | |
| Bertschmann et al. | A 3-D integrator-differentiator double-loop (IDD) filter for raster-scan video processing | |
| RU2669874C1 (ru) | Способы и устройство сжатия изображений. Способ и устройство восстановления изображений | |
| Wu et al. | Reconstruction of color images from a single-chip CCD sensor based on Markov random field models |