RU2517347C1 - Устройство стабилизации изображения - Google Patents
Устройство стабилизации изображения Download PDFInfo
- Publication number
- RU2517347C1 RU2517347C1 RU2012153097/07A RU2012153097A RU2517347C1 RU 2517347 C1 RU2517347 C1 RU 2517347C1 RU 2012153097/07 A RU2012153097/07 A RU 2012153097/07A RU 2012153097 A RU2012153097 A RU 2012153097A RU 2517347 C1 RU2517347 C1 RU 2517347C1
- Authority
- RU
- Russia
- Prior art keywords
- inputs
- outputs
- correlator
- control unit
- offset
- Prior art date
Links
Images
Landscapes
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
Изобретение относится к устройствам стабилизации изображения в области телевидения и цифровой фотографии. Техническим результатом является уменьшение погрешности измерений смещения изображения. Результат достигается за счет использования в измерителе смещения коррелятора, реализующего функцию определения значения дисперсии приращений сигналов на основе возведения в квадрат разностных значений коррелируемых сигналов с линейных фотоприемников в цифровом виде, а интерполятор выполнен в виде блока, реализующего интерполяцию по формуле:
Description
Предлагаемое техническое решение относится к области телевидения и цифровой фотографии, в частности к устройствам стабилизации изображения.
Известно устройство стабилизации изображения, в котором используется прямой метод измерения смещения и с целью уменьшения задержек на формирование сигнала смещения измерение производят не по сигналу кадра основной фотоприемной матрицы, а по сигналу дополнительного фотоприемника [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л.: Машиностроение, 1988, стр.37]. При этом для оценки смещения изображения используется одноэлементный фотоприемник, так же как и основная фотоприемная матрица, расположенный в фокальной плоскости объектива, сигналы с которого обрабатываются автокорреляционным методом [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л.: Машиностроение, 1988, стр.124].
Основным недостатком данного устройства является возможность измерения смещения лишь при поступательном движении изображения относительно фотоприемника, так как при вибрации (возвратно-поступательном движении) на одноэлементный фотоприемник может проецироваться участок кадра с постоянной освещенностью. Данное устройство может найти ограниченное применение в видеоинформационных системах с достаточно равномерным движением основания, например в некоторых авиакосмических системах мониторинга [Бузников А.А., Купянский А.В. Динамическое совмещение полутоновых аэрокосмических и графических изображений. Изв. Вузов, сер. «Геодезия и аэрофотосъемка», 1993, №3, с.102-107].
Наиболее близкой по совокупности существенных признаков к предлагаемой, является система стабилизации изображения, описанная в патенте РФ №2384967 (опубл. 20.03.2010), содержащая матричный фотоприемник, два линейных фотоприемника, подвижный элемент, блок управления, блок измерения смещения изображения, где выходы линейных фотоприемников соединены с входами измерителя смещения, выходы измерителя смещения соединены с входами блока управления, выходы блока управления соединены с входами подвижного элемента.
Недостатком прототипа является недостаточно высокая точность и быстродействие измерения смещения изображения и, как следствие, недостаточно быстрый отклик подвижного элемента для компенсации возмущений.
Техническим результатом заявляемого изобретения является улучшение стабилизации изображения, а именно уменьшение смаза изображения, которое является результатом уменьшения погрешности измерений смещений изображения при малых смещениях.
Технический результат достигается за счет того, что предлагаемое устройство стабилизации изображения, так же как известное, содержит основной матричный фотоприемник и два дополнительных взаимно перпендикулярных линейных фотоприемника, измеритель смещения, блок управления, подвижный элемент и объектив, где выходы линейных фотоприемников соединены со входами измерителя смещения, выходы измерителя смещения соединены со входами блока управления, выходы блока управления соединены со входами подвижного элемента. Но в отличие от известного устройства на каждом входе измерителя смещения установлен режекторный фильтр, соединенный с блоком задержки на строку и с первым входом коррелятора, со вторым входом которого соединен выход блока задержки на строку, а коррелятор соединен с параболическим интерполятором, установленным на выходе блока смещения, причем коррелятор реализует функцию определения значения дисперсии приращений сигналов на основе возведения в квадрат разностных значений коррелируемых сигналов с линейных фотоприемников в цифровом виде, а интерполятор выполнен в виде блока, реализующего интерполяцию по формуле:
Изобретение поясняется чертежами.
На фиг.1 - изображена функциональная системы стабилизации изображения;
на фиг.2 - пример выполнения функциональной схемы коррелятора, реализующего функцию определения дисперсии приращений сигналов;
на фиг.3. - пример функциональной схемы интерполятора, использующего параболическую интерполяцию взаимно корреляционной функции (ВКФ);
на фиг.4 - пример автокорреляционной функции (АКФ) изображения по результатам эксперимента до контрастирования режекторным фильтром (слева) и после контрастирования (справа) при аппроксимации дискретных замеров (показаны точками на рисунке) кривой 2-го (пунктир) и 4-го порядков (сплошные кривые).
Система стабилизации изображения содержит основной матричный фотоприемник 1, два взаимно перпендикулярных линейных фотоприемника 2 и 3, которые соединены со входами измерителя смещения, на входах которого установлены режекторные фильтр 4 и 5, выходы которых соединены с блоками задержки на строку 6 и 7 и с первыми входами корреляторов 8 и 9, со вторыми входами которых соединены выходы блоков задержки на строку, а корреляторы соединены с параболическими интерполяторами 10 и 11, установленными на выходе блока смещения. Выходы интерполяторов 10 и 11 соединены с выходами блока управления 12, выходы блока управления соединены с входами подвижного элемента 13.
Каждый коррелятор 8 и 9 реализует функцию определения значения дисперсии приращений сигналов. Функциональная схема коррелятора приведена на фиг.2. Она состоит из блоков смещения на строку и на элемент 15, 16, 17, 18, 19, 20, 21; блоков вычитания 22, 23, 24; блоков возведения в квадрат 25, 26, 27; блоков сложения 28, 29, 30. Следует отметить, что обычно для вычисления взаимной корреляции соседних строк используется операция умножения, которая достаточно сложна для аппаратной реализации. Авторами предлагается перейти от прямого вычисления произведений разных сигналов к несколько более просто организуемой операции возведения в квадрат. Анализ в пакете Quartus II фирмы Altera для семейства микросхем программируемой логики Cyclone IV GX показывает, что непрямое вычисление корреляции требует примерно в 2,7 раза меньше вычислительных ресурсов, чем прямое вычисление. Это обусловлено тем, что возведение в квадрат проще, чем умножение, и тем, что благодаря вычитанию коррелированных сигналов уменьшается разрядность накапливающих сумматоров. При этом общая сложность меньше, чем требуемая для вычисления ВКФ, за счет отказа от нормировки накопленных статистик. Такая возможность связана с целью измерения не функции корреляции изображения, а лишь аргумента ее максимума.
где
- дисперсии сигналов,
- смещение, Δm - размер пикселя вспомогательного фотоприемника. Функциональная сзема интеполятора приведена на фиг.3. Она содержит: буферные блоки 31, 32, 33, 34, 35, 36, 37, 38, 39; блоки вычитания 40 и 41; блоки умножения на два 42 и 43; блок деления 44; блок сложения 45.
Параболический интерполятор был предложен исходя из тех соображений, что параболическая интерполяция значений дисперсий (Фиг.4)
обеспечивает максимальную потенциальную точность измерения смещения и, в конечном счете, стабилизацию изображений с маскированием шумом смаза изображения несмотря на возмущения визирной оси телекамеры.
Устройство работает следующим образом.
Сигналы с линейных фотоприемников 2 и 3, работающих с существенно большей кадровой частотой по сравнению с основным матричным фотоприемником 1, передаются в режекторные фильтры (декорреляторы сигнала) 4 и 5, где происходит контрастирование взаимно корреляционных функции (ВКФ).
Далее сигналы поступают на блоки задержки на строку 6 и 7 для формирования исходных и задержанных на строку сигналов. В корреляторах 8 и 9 происходит вычисление ВКФ для дискретных значений сдвига (на целое число пикселов). На вход коррелятора приходят данные с линейных фотоприемников в цифровом виде, далее происходит вычисление корреляции между этими данными и определяются соответствующие значения трех дисперсий для сигнала в различные моменты времени. Далее сигналы с выходов корреляторов 8 и 9 поступают на входы параболических интерполяторов 10 и 11. В параболических интерполяторах 10,11 происходит вычисление смещения как целочисленного относительно пикселов изображения, так и дробного (так называемая субпиксельная точность измерения). Интерполятор производит математические операции и буферизацию данных в соответствии с формулой (1). Форма АКФ получена для субпиксельных смещений, целесообразность ее применения доказана рядом модельных и физических экспериментов. Далее блок управления 12 выдает сигналы подвижному элементу 13 для компенсации возмущений.
Особенностями предлагаемого устройства являются:
- Система стабилизации изображения, основанная на прецизионном измерителе смещения изображений, является приложением новой парадигмы видеоинформатики, которая выдвигает на первый план извлечение максимума полезной информации из потока фотонов при наличии возмущений, а не просто констатирует деградацию разрешения из-за смаза.
- Прецизионное измерение смещения изображений должно учитывать квадратичный вид автокорреляционной функции при малых смещениях.
Описание устройства и его работы доказывает достижение технического результата - улучшение стабилизации изображения, а именно уменьшение смаза изображения, которое являются результатом уменьшения погрешности измерений смещения.
Claims (1)
- Устройство стабилизации изображения, содержащее основной матричный фотоприемник и два дополнительных взаимно перпендикулярных линейных фотоприемника, измеритель смещения, блок управления, подвижный элемент и объектив, где выходы линейных фотоприемников соединены со входами измерителя смещения, выходы измерителя смещения соединены со входами блока управления, выходы блока управления соединены со входами подвижного элемента, отличающееся тем, что на каждом входе измерителя смещения установлен режекторный фильтр, соединенный с блоком задержки на строку и с первым входом коррелятора, со вторым входом которого соединен выход блока задержки на строку, а коррелятор соединен с параболическим интерполятором, установленным на выходе блока смещения, причем коррелятор реализует функцию определения значения дисперсии приращений сигналов на основе возведения в квадрат разностных значений коррелируемых сигналов с линейных фотоприемников в цифровом виде, а интерполятор выполнен в виде блока, реализующего интерполяцию по формуле:
где - дисперсии сигналов,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012153097/07A RU2517347C1 (ru) | 2012-12-07 | 2012-12-07 | Устройство стабилизации изображения |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012153097/07A RU2517347C1 (ru) | 2012-12-07 | 2012-12-07 | Устройство стабилизации изображения |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2517347C1 true RU2517347C1 (ru) | 2014-05-27 |
Family
ID=50779460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012153097/07A RU2517347C1 (ru) | 2012-12-07 | 2012-12-07 | Устройство стабилизации изображения |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2517347C1 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2716208C1 (ru) * | 2019-05-07 | 2020-03-10 | Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова Российской академии наук (ИФ РАН) | Устройство стабилизации изображения |
RU2758460C1 (ru) * | 2018-03-23 | 2021-10-28 | Хуавей Текнолоджиз Ко., Лтд. | Оконечное устройство и способ стабилизации видеоизображения |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0631432A1 (en) * | 1993-06-28 | 1994-12-28 | SANYO ELECTRIC Co., Ltd. | Video camera with electronical picture stabilizer |
RU2384967C1 (ru) * | 2008-08-12 | 2010-03-20 | Федеральное государственное унитарное предприятие "Научно-исследовательский институт телевидения" | Способ стабилизации изображения (варианты) |
EP2323376A1 (en) * | 2009-11-11 | 2011-05-18 | Omnivision Technologies, Inc. | Image sensor with shaking compensation |
-
2012
- 2012-12-07 RU RU2012153097/07A patent/RU2517347C1/ru not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0631432A1 (en) * | 1993-06-28 | 1994-12-28 | SANYO ELECTRIC Co., Ltd. | Video camera with electronical picture stabilizer |
RU2384967C1 (ru) * | 2008-08-12 | 2010-03-20 | Федеральное государственное унитарное предприятие "Научно-исследовательский институт телевидения" | Способ стабилизации изображения (варианты) |
EP2323376A1 (en) * | 2009-11-11 | 2011-05-18 | Omnivision Technologies, Inc. | Image sensor with shaking compensation |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2758460C1 (ru) * | 2018-03-23 | 2021-10-28 | Хуавей Текнолоджиз Ко., Лтд. | Оконечное устройство и способ стабилизации видеоизображения |
US11539887B2 (en) | 2018-03-23 | 2022-12-27 | Huawei Technologies Co., Ltd. | Video image anti-shake method and terminal |
RU2716208C1 (ru) * | 2019-05-07 | 2020-03-10 | Федеральное государственное бюджетное учреждение науки Институт физиологии им. И.П. Павлова Российской академии наук (ИФ РАН) | Устройство стабилизации изображения |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9068831B2 (en) | Image processing apparatus and image processing method | |
US10903254B2 (en) | Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device | |
EP2594959B1 (en) | System and method for multi TOF camera operation using phase hopping | |
KR102070562B1 (ko) | 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 | |
US7711201B2 (en) | Method of and apparatus for generating a depth map utilized in autofocusing | |
US20150310622A1 (en) | Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images | |
CN103379288A (zh) | 图像处理设备、图像处理方法和程序 | |
US20110157320A1 (en) | Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method | |
US9906717B1 (en) | Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image | |
RU2570506C2 (ru) | Способ подготовки изображений в визуально неразличимых спектральных областях и соответствующая камера и измерительная аппаратура | |
Mufti et al. | Statistical analysis of signal measurement in time-of-flight cameras | |
RU2517347C1 (ru) | Устройство стабилизации изображения | |
Lee et al. | Motion blur-free time-of-flight range sensor | |
US10250824B2 (en) | Camera sensor with event token based image capture and reconstruction | |
US20150294142A1 (en) | Apparatus and a method for detecting a motion of an object in a target space | |
US10043275B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
EP3073222B1 (en) | Altimeter using imaging capability | |
US20220244393A1 (en) | Electronic device and method for time-of-flight measurement | |
WO2016194576A1 (ja) | 情報処理装置および方法 | |
CN103604514A (zh) | 一种颗粒温度δv的测量方法 | |
RU2486688C1 (ru) | Видеосистема на кристалле для стабилизации изображения | |
Lambert et al. | Superresolution in imagery arising from observation through anisoplanatic distortion | |
Tsytsulin et al. | Stabilization of images on the basis of a measurement of their displacement, using a photodetector array and two linear photodetectors in combination | |
CN102509277A (zh) | 光电混合联合变换相关的实时运动模糊图像复原方法 | |
RU2724151C1 (ru) | Способ повышения разрешения изображений, получаемых с помощью матричных фотоприемников |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20171208 |