RU2486688C1 - Видеосистема на кристалле для стабилизации изображения - Google Patents

Видеосистема на кристалле для стабилизации изображения Download PDF

Info

Publication number
RU2486688C1
RU2486688C1 RU2012100577/07A RU2012100577A RU2486688C1 RU 2486688 C1 RU2486688 C1 RU 2486688C1 RU 2012100577/07 A RU2012100577/07 A RU 2012100577/07A RU 2012100577 A RU2012100577 A RU 2012100577A RU 2486688 C1 RU2486688 C1 RU 2486688C1
Authority
RU
Russia
Prior art keywords
inputs
chip
outputs
video system
controllers
Prior art date
Application number
RU2012100577/07A
Other languages
English (en)
Inventor
Александр Константинович Цыцулин
Шакиб Субхиевич Фахми
Дмитрий Олегович Малашин
Original Assignee
Александр Константинович Цыцулин
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Александр Константинович Цыцулин filed Critical Александр Константинович Цыцулин
Priority to RU2012100577/07A priority Critical patent/RU2486688C1/ru
Application granted granted Critical
Publication of RU2486688C1 publication Critical patent/RU2486688C1/ru

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Изобретение относится к области телевидения и цифровой фотографии, в частности к устройствам стабилизации изображения. Техническим результатом является повышение чувствительности к смещению изображения, расширение диапазона компенсируемых смещений и ускорений смещения, точности измерения смещения и массогабаритных характеристик устройства. Результат достигается тем, что видеосистема 10 на кристалле для стабилизации изображения содержит основной матричный фотоприемный массив 11 и два вспомогательных взаимно перпендикулярных линейных фотоприемных массива 12 и 13 (с увеличенной площадью пиксела), первое и второе оперативные запоминающие устройства 14 и 15, входы N1…Nk которых соединены с соответствующими выходами N1…Nk, вспомогательных взаимно перпендикулярных линейных фотоприемных массивов 12 и 13, выходы N1…Nk которых также соединены с входами N1…Nk первого и второго контроллеров 16 и 17 вычисления корреляции соответственно, вторые входы M1…Mk которых соединены с соответствующими выходами первого и второго оперативных запоминающих устройств 14 и 15, при этом выходы первого и второго контроллеров вычисления корреляции соединены с входами блока 18 управления. 2 ил.

Description

Предлагаемое техническое решение относится к области телевидения и цифровой фотографии, в частности к устройствам стабилизации изображения.
Известно устройство, в котором используется прямой метод измерения смещения, и с целью уменьшения задержек на формирование сигнала смещения измерение производят не по сигналу кадра основной фотоприемной матрицы, а по сигналу дополнительного фотоприемника [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л., Машиностроение, 1988, стр.37]. При этом для оценки смещения изображения используется одноэлементный фотоприемник, также как и основная фотоприемная матрица, расположенный в фокальной плоскости объектива, сигналы с которого обрабатываются автокорреляционным методом [Автоматическая стабилизация оптического изображения / Д.Н.Еськов, Ю.П.Ларионов, В.А.Новиков и др. Под ред. Д.Н.Еськова, В.А.Новикова. - Л., Машиностроение, 1988, стр.124].
Основным недостатком данного устройства является измерение смещения лишь при поступательном движении изображения относительно фотоприемника, так как при вибрации (возвратно-поступательном движении) на одноэлементный фотоприемник может проецироваться участок кадра с постоянной освещенностью. Данное устройство может найти ограниченное применение в видеоинформационных системах с достаточно равномерным движением основания, например, в некоторых авиакосмических системах мониторинга [Бузников А.А., Купянский А.В. Динамическое совмещение полутоновых аэрокосмических и графических изображений. Изв. Вузов, сер. «Геодезия и аэрофотосъемка», 1993, №3, с.102-107].
Наиболее близкой по своей технической сути к заявляемому является система стабилизации изображения, описанная в патенте РФ №2384967 (опубл. 20.03.2010), содержащая фотоприемный модуль, включающий матричный фотоприемник, вплотную к которому вдоль двух его взаимно перпендикулярных граней расположены два линейных фотоприемника. На фотоприемный модуль проецируется изображение с помощью объектива. Выход подвижного элемента соединен с фотоприемным модулем или с элементами объектива, а вход подвижного элемента соединен с выходом блока управления, вход которого подключен к выходу блока измерения смещения изображения, при этом первый и второй входы последнего подключены соответственно к выходам линейных фотоприемников.
Недостатком прототипа является пространственное разделение фотоприемной и вычислительной части устройства, что приводит к появлению дополнительных шумов и наводок за счет паразитного влияния проводников. Кроме того, единичные каналы считывания информации с линейных фотоприемников и, как следствие, относительно медленные измерения смещения существенно ограничивают точность и частотный диапазон измеряемых смещений. Данные ограничения могут привести к ситуации, когда возможности по перемещению подвижного устройства могут превзойти возможности системы измерения смещения.
Техническим результатом заявляемого технического решения является улучшение характеристик целого ряда параметров: чувствительности к смещению изображения, диапазона компенсируемых смещений и ускорений смещения, точности измерения смещения и массогабаритных характеристик устройства.
Это достигается тем, что видеосистема на кристалле для стабилизации изображения, содержащая основной матричный фотоприемный массив и два вспомогательных взаимно перпендикулярных линейных фотоприемных массива (с увеличенной площадью пиксела), подвижный элемент, связанный с объективом или основанием видеосистемы на кристалле, входная шина которого соединена с выходной шиной блока управления, отличается тем, что в видеосистему на кристалле дополнительно введены первое и второе оперативные запоминающие устройства, входы N1…Nk которых соединены с соответствующими выходами N1…Nk вспомогательных взаимно перпендикулярных линейных фотоприемных массивов, выходы N1…Nk которых также соединены с входами N1…Nk первого и второго контроллеров вычисления корреляции соответственно, вторые входы M1…Mk которых соединены с соответствующими выходами первого и второго оперативных запоминающих устройств, при этом выходы первого и второго контроллеров вычисления корреляции соединены с входами блока управления.
Представленные чертежи поясняют суть предлагаемого технического решения.
На Фиг.1 изображена структурная схема системы стабилизации изображения с пространственным разделением считывания основного изображения с основного матричного фотоприемника и двух линейных фотоприемников (а) и примерное соотношение размеров пикселов основного матричного фотоприемника и дополнительных линейных фотоприемников (б) (прототип).
На Фиг.2 - пример реализации заявляемого устройства - структурная схема видеосистемы на кристалле для стабилизации изображения с распараллеливанием считывания видеоинформации из вспомогательных фотоприемных массивов.
Видеосистема 10 на кристалле для стабилизации изображения содержит основной матричный фотоприемный массив 11, вплотную к которому вдоль двух его взаимно перпендикулярных граней располагаются два вспомогательных взаимно перпендикулярных линейных фотоприемных массива 12 и 13 (с увеличенной площадью пиксела). На этом же кристалле расположены первое и второе операционные запоминающие устройства 14 и 15, входы N1…Nk которых соединены с соответствующими выходами N1…Nk вспомогательных взаимно перпендикулярных линейных фотоприемных массивов 12 и 13. Видеосистема 10 на кристалле содержит также первый и второй контроллеры 16 и 17 вычисления корреляции, входы N1…Nk которых соединены с соответствующими выходами N1…Nk вспомогательных фотоприемных массивов 12 и 13. Вторые входы M1…Mk двух контроллеров 16 и 17 вычисления корреляции соединены с соответствующими выходами первого и второго оперативных запоминающих устройств 14 и 15. Выходы первого 16 и второго 17 контроллеров вычисления корреляции соединены с входами блока 18 управления. На блоки 11, 12 и 13 (фотоприемная часть видеосистемы на кристалле) проецируется изображение с помощью объектива 20. Входная шина подвижного элемента 30 соединена с выходной шиной блока 18 управления. Выходная шина подвижного элемента 30 соединена с подвижной линзой объектива 20 или с подвижным основанием видеосистемы 10 на кристалле. Подвижная линза объектива 20 и подвижное основание видеосистемы 10 на кристалле могут включать, например, пьезоэлектрический микродвигатель.
Работает видеосистема на кристалле для стабилизации изображения следующим образом.
Сигналы с вспомогательных линейных фотоприемных массивов 12 и 13, работающих с существенно большей частотой строк по сравнению с кадровой частотой основного матричного фотоприемного массива 11, передаются через множество параллельных каналов связи на контроллеры 16 и 17 вычисления взаимной корреляции сигналов соседних строк, по сигналам которых блок 18 управления вырабатывает управляющие сигналы для подвижного элемента 20. В контроллерах вычисления корреляции 16 и 17 вычисляется взаимная корреляция сигналов текущей и предыдущей строки для смещения, выраженного в количестве пикселов вспомогательных линейных фотоприемных массивов. Высокая строчная частота вспомогательных линейных фотоприемных массивов 12 и 13 обеспечивает значение смещения изображений на них в соседних строках, меньшее одного пиксела. Для высокоточного измерения смещения изображения по взаимокорреляционной функции, являющейся четной, ее вычисления в контроллерах 16 и 17 ведутся для нечетного количества значений смещения. Для достижения высокой субпиксельной точности измерения смещения осуществляется вычисление аргумента максимума интерполированной взаимокорреляционной функции. Измеренные значения смещений преобразуются блоком 18 управления в сигналы управления, под воздействием которых подвижный элемент 30 перемещает саму видеосистему 10 на кристалле (или одну из линз объектива 20) так, что вызванное внешним воздействием смещение изображения компенсируется. Этим обеспечивается накопление сигнала основным матричным фотоприемным массивом 11 без существенного смаза.
Отличие заявленного устройства от прототипа заключается в том, что в составе видеосистемы на кристалле для стабилизации изображения помимо фотоприемной части системы стабилизации представлена вся вычислительная, запоминающая и управляющая часть, а именно: контроллеры вычисления корреляции, операционные запоминающие устройства, блок управления. Кроме того, по сравнению с прототипом, предложено распараллеливание считывания сигналов с линейных фотоприемников.
Реализуемость заявляемой видеосистемы на кристалле подтверждается значительным количеством производимых видеосистем на кристалле, объединяющих на одном кристалле фотоприемные массивы, процессоры, программируемые контроллеры и операционные усилители. Это повышает качество формируемой видеоинформации без увеличения размеров видеокамеры.
Особенностями предлагаемого устройства являются:
- Целесообразность реализации системы измерения смещения изображения в составе системы стабилизации изображения как СБИС класса видеосистема на кристалле, с реализацией фотоприемной, запоминающей, вычислительной и управляющей части системы на одном кристалле;
- Возможность повышения частоты измерения смещения за счет распараллеливания считывания сигналов с линейных фотоприемников.
- Возможность реализации данной системы измерения смещения в составе видеосистемы на кристалле позволяет избавиться от дополнительного шума и наводок за счет уменьшения паразитного влияния проводников благодаря уменьшению сопротивления и индуктивности проводников;
- Возможность реализации вычислителя внутри кристалла и множественное считывание с линейных фотоприемников помимо увеличения скорости измерения смещения позволяет добиться увеличения точности измерения за счет применения специальных алгоритмов ЦОС, различных методов интерполяции результатов измерений;
- Возможность сокращения вычислительной сложности устройства за счет вычисления взаимной корреляции по упрощенным алгоритмам, основанным не на произведениях, а на разностях сравниваемых сигналов.

Claims (1)

  1. Видеосистема на кристалле для стабилизации изображения, содержащая основной матричный фотоприемный массив и два вспомогательных взаимно перпендикулярных линейных фотоприемных массива (с увеличенной площадью пиксела), подвижный элемент, связанный с объективом или основанием видеосистемы на кристалле, входная шина которого соединена с выходной шиной блока управления, отличающаяся тем, что в видеосистему на кристалле дополнительно введены первое и второе оперативные запоминающие устройства, входы N1…Nk которых соединены с соответствующими выходами N1…Nk вспомогательных взаимно перпендикулярных линейных фотоприемных массивов, выходы N1…Nk которых также соединены с входами N1…Nk первого и второго контроллеров вычисления корреляции соответственно, вторые входы M1…Mk которых соединены с соответствующими выходами первого и второго оперативных запоминающих устройств, при этом выходы первого и второго контроллеров вычисления корреляции соединены с входами блока управления.
RU2012100577/07A 2012-01-10 2012-01-10 Видеосистема на кристалле для стабилизации изображения RU2486688C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2012100577/07A RU2486688C1 (ru) 2012-01-10 2012-01-10 Видеосистема на кристалле для стабилизации изображения

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2012100577/07A RU2486688C1 (ru) 2012-01-10 2012-01-10 Видеосистема на кристалле для стабилизации изображения

Publications (1)

Publication Number Publication Date
RU2486688C1 true RU2486688C1 (ru) 2013-06-27

Family

ID=48702456

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012100577/07A RU2486688C1 (ru) 2012-01-10 2012-01-10 Видеосистема на кристалле для стабилизации изображения

Country Status (1)

Country Link
RU (1) RU2486688C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2581423C1 (ru) * 2015-02-24 2016-04-20 Акционерное общество "Научно-исследовательский институт телевидения" Видеосистема на кристалле (варианты)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160277A (ja) * 2006-12-21 2008-07-10 Fujifilm Corp 振動補正装置、およびこれを用いた撮像装置、振動補正装置の検査方法、並びに振動補正装置の検査システム
US20090147091A1 (en) * 2007-12-05 2009-06-11 Micron Technology, Inc. Method, apparatus and system for image stabilization using a single pixel array
RU2384967C1 (ru) * 2008-08-12 2010-03-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт телевидения" Способ стабилизации изображения (варианты)
US20100073492A1 (en) * 2008-09-24 2010-03-25 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160277A (ja) * 2006-12-21 2008-07-10 Fujifilm Corp 振動補正装置、およびこれを用いた撮像装置、振動補正装置の検査方法、並びに振動補正装置の検査システム
US20090147091A1 (en) * 2007-12-05 2009-06-11 Micron Technology, Inc. Method, apparatus and system for image stabilization using a single pixel array
RU2384967C1 (ru) * 2008-08-12 2010-03-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт телевидения" Способ стабилизации изображения (варианты)
US20100073492A1 (en) * 2008-09-24 2010-03-25 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2581423C1 (ru) * 2015-02-24 2016-04-20 Акционерное общество "Научно-исследовательский институт телевидения" Видеосистема на кристалле (варианты)

Similar Documents

Publication Publication Date Title
US20240064428A1 (en) Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US9479760B2 (en) Solid state imaging device, calculating device, and calculating program
US20210118926A1 (en) Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device
US8723926B2 (en) Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method
JP2018032976A (ja) 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
US20150310622A1 (en) Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
RU2014148323A (ru) Устройство формирования изображений
JP2015049402A (ja) 焦点ずれ量検出装置およびその制御方法、撮像装置
JP7237622B2 (ja) 光電変換装置
US10356381B2 (en) Image output apparatus, control method, image pickup apparatus, and storage medium
JP2013016999A (ja) 撮像装置及びその制御方法
KR101879261B1 (ko) 거리검출 장치, 촬상 장치, 및 거리검출 방법
RU2384967C1 (ru) Способ стабилизации изображения (варианты)
RU2486688C1 (ru) Видеосистема на кристалле для стабилизации изображения
JP5774512B2 (ja) 測距装置
JP2016200703A (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP5939945B2 (ja) 移動物体の位置検出装置及び方法
KR102057160B1 (ko) 제어장치, 촬상장치, 및 제어방법
US20130039595A1 (en) Image processing system, image processing method, and program
RU2708630C1 (ru) Устройство компьютерной системы панорамного телевизионного наблюдения
RU2530879C1 (ru) Устройство панорамного телевизионного наблюдения "день-ночь"
US10200674B2 (en) Image processing apparatus, image capturing apparatus, and recording medium
KR20200098790A (ko) 이미지 센서 및 이를 포함하는 전자 기기
KR101839357B1 (ko) 촬상 장치 및 촬상 방법

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20170111