RU2468437C2 - Способ увеличения разрешения видеопоследовательности - Google Patents
Способ увеличения разрешения видеопоследовательности Download PDFInfo
- Publication number
- RU2468437C2 RU2468437C2 RU2009127235/08A RU2009127235A RU2468437C2 RU 2468437 C2 RU2468437 C2 RU 2468437C2 RU 2009127235/08 A RU2009127235/08 A RU 2009127235/08A RU 2009127235 A RU2009127235 A RU 2009127235A RU 2468437 C2 RU2468437 C2 RU 2468437C2
- Authority
- RU
- Russia
- Prior art keywords
- resolution
- video sequence
- photos
- video
- auxiliary
- Prior art date
Links
Landscapes
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к средствам цифровой обработки изображений. Техническим результатом является повышение разрешения и динамического диапазона видеопоследовательности. В способе для выделения контуров движущегося объекта в видеопоследовательности низкого разрешения используется информация со вспомогательных фотографий указанного объекта, снятых с высоким разрешением, осуществляется взаимная идентификация контуров с фотографии и видеопоследовательности в соответствующие моменты времени в той же последовательности с корреляцией и моделированием кадров с высоким разрешением. 4 з.п. ф-лы, 1 ил.
Description
Изобретение относится к области цифровой обработки движущихся изображений и может быть использовано в компактных, любительских и профессиональных фото/видеокамерах при решении задачи создания качественной видеозаписи.
Известен способ увеличения разрешения видеопоследовательности, основанный на вейвлет-анализе, в котором каждый кадр видеопоследовательности представляют как набор вейвлет-коэффициентов, полученных из блока декодирования видео, использующего дискретное вейвлет-преобразование (заявка на изобретение РФ №2007132982, дата публикации 10.03.2009). Этот набор вейвлет-коэффициентов преобразуют методом уточнения коэффициентов, и далее модифицированный набор вейвлет-коэффициентов используют в качестве входных данных при интерполяции путем путем обратного дискретного вейвлет-преобразования, в результате которого получают увеличенный кадр видеопоследовательности; при этом интерполяцию интегрируют с декодированием, используя промежуточные коэффициенты, полученные при декодировании, в качестве входных данных для интерполяции; и при уточнении вейвлет-коэффициентов выполняют линейную интерполяцию с использованием информации о направлении границ.
Недостаток данного способа (а также всех способов, использующих интерполяцию) заключается в том, что интерполяция не позволяет извлечь новую качественную информацию из изображений и тем самым объективно повысить детализацию и динамический диапазон изображения.
Известен способ помехоустойчивого градиентного выделения контура объектов на цифровых изображениях (заявка на изобретение РФ №2008133097 МПК G06K 9/48, H04N 1/409, дата публикации 27.06.09), решающий задачу распознавания образов по их контурам на цифровых изображениях. Техническим результатом является повышение устойчивости градиентых операторов выделения контура к импульсным помехам, возникающим вследствие многих условий передачи и преобразования изображений. Способ помехоустойчивого градиентного выделения контуров объектов на цифровых полутоновых изображениях основан на том, что предварительно осуществляют операцию оценивания локальных импульсных помех на изображении, после чего формируют четыре вспомогательные маски, а также четыре соответствующих управляющих вектора, соответствующих четырем разноориентированным маскам Превитта. После этого с использованием данных масок вычисляют приближенное значение модуля градиента изображения и путем его порогового преобразования получают контуры объектов на изображении.
Техническим результатом является повышение разрешения и динамического диапазона видеопоследовательности, а также возможность получения изображения фотографического качества из видеопоследовательности.
Поставленная задача решается тем, что разработан новый способ помехоустойчивого градиентного выделения контура объектов на цифровых изображениях, отличающийся от существующих тем, что для выделения контуров в видеопоследовательности низкого разрешения, используется информация с фотографий высокого разрешения (выделение градиентных контуров) и взаимная идентификация контуров с фотографии и видеопоследовательности.
Во время записи видео с помощью стандартных последовательностей сжатия при разрешении записи (a*b), где a - горизонтальная составляющая разрешения видеозаписи, b - вертикальная составляющая разрешения видеозаписи, осуществляется вставка фотографий с разрешением (A*B), где A - горизонтальная составляющая разрешения фотографии, B - вертикальная составляющая разрешения фотографии, причем A>a, B>b, полученную с фотографий информацию передают анализатору, производящему корреляционный анализ видеопоследовательности и фотографий, а в дальнейшем - генератору для генерирования видеопоследовательности более высокого качества, чем основной поток видеоданных.
Кроме того, для получения вспомогательных фотографий и фиксации видеопоследовательности используют разные приемные фиксирующие датчики.
С матрицы для приема фотографий считывают параметры - баланс белого, экспозиция в разных участках кадра для передачи анализатору видеопоследовательности, с целью улучшения динамического диапазона итоговой видеопоследовательности.
В новом способе увеличения разрешения видеопоследовательности предлагается использовать способ для получения контуров объектов на видеопоследовательности низкого разрешения и вспомогательных фотографиях высокого разрешения, который осуществляет операцию оценивания локальных импульсных помех на видеопоследовательности и фотографиях, после чего формирует вспомогательные маски, а также соответствующие управляющие вектора. После этого с использованием данных масок вычисляют приближенное значение модуля градиента изображения на видеопоследовательности и вспомогательных фотографиях и путем его преобразования получают контуры объектов на изображениях, затем с помощью сравнения производят взаимную идентификацию объектов на видеопоследовательности и вспомогательных фотографиях для генерирования итоговой видеопоследовательности фотографического качества.
Предлагаемый новый способ увеличения разрешения видеопоследовательности на основе преобразования информации из вспомогательных фотографий является весьма актуальным.
Существо изобретения поясняется чертежом. На чертеже изображены: основной объектив для получения видеопоследовательности и вспомогательных фотографий (1), дополнительный (необязательный) объектив для получения вспомогательных фотографий (2), фиксирующие датчики: приемная матрица для приема основного потока видеопоследовательности с низким разрешеним (3), матрица для приема вспомогательных фотографий высокого разрешения (4), корреляционный анализатор (5), генератор видеопоследовательности (6).
Изображения, поступающее на объективы 1 и 2, независимо принимаются приемными датчиками изображения (приемными матрицами 3 и 4).
Информация, полученная с приемных датчиков изображения (3, 4) передается анализатору (5), производящему корреляционный анализ видеопоследовательности и вспомогательных фотографий, а в дальнейшем - генератору (6) для генерирования видеопоследовательности более высокого качества, чем основной поток видеоданных.
ПРИМЕР КОНКРЕТНОЙ РЕАЛИЗАЦИИ
Создан поток видеоданных П1 разрешением 320*240 точек, снимающий движущийся по определенной циклической траектории объект О (с периодом повторения Т0) с помощью цифрового фотоаппарата ФА1 (Olympus С-725). Затем, в начале следующего повторения цикла движения объекта О, в момент времени (T1>T0) производится фотография объекта О с разрешением 1984*1488 точек Ф1 с помощью цифрового фотоаппарата ФА1. Также с помощью цифрового фотоаппарата ФА1 производится съемка объекта О с интервалом 1 с (фотографии Фi в моменты времени Ti>=T1+i (с)). С помощью программы VirtualDub производится вставка фотографий Фi в поток П1 с соответствующими временными метками (Ti-T1). В дальнейшем, с помощью специально разработанного программного обеспечения производится идентификация контуров изображения в видеопоследовательности П1 и на вспомогательных фотографиях Фi в этой же последовательности, нахождение корреляции и моделирование кадров с разрешением 1984*1488 точек. Таким образом, создается итоговая видеопоследовательность с разрешением 1984*1488 точек и частотой кадров, равной частоте видеопоследовательности П1.
Claims (5)
1. Способ помехоустойчивого градиентного выделения контура объектов на цифровых изображениях, который осуществляет операцию оценивания локальных импульсных помех на изображении, после чего формируются вспомогательные маски, а также соответствующие управляющие вектора, отличающийся от существующих тем, что для выделения контуров движущегося объекта, снятого с помощью цифрового фотоаппарата, в видеопоследовательности низкого разрешения используется информация со вспомогательных фотографий движущегося объекта, снятых с высоким разрешением, и осуществляется взаимная идентификация контуров с фотографии и видеопоследовательности в соответствующие моменты времени в той же последовательности с корреляцией и моделированием кадров с высоким разрешением.
2. Способ по п.1, отличающийся тем, что во время записи видео с разрешением записи а·b, где а - горизонтальная составляющая разрешения видеозаписи, b - вертикальная составляющая разрешения видеозаписи, осуществляется вставка фотографий с разрешением А·В, где А - горизонтальная составляющая разрешения фотографий, В - вертикальная составляющая разрешения фотографий, причем А>а, В>b, полученная с фотографий информация передается анализатору, производящему корреляционный анализ видеопоследовательности и вспомогательных фотографий, выделение и сопоставление контуров изображений на видеопоследовательности и фотографиях, а в дальнейшем - генератору для генерирования видеопоследовательности более высокого разрешения, чем основной поток видеоданных.
3. Способ по п.2, отличающийся тем, что для получения вспомогательных фотографий и фиксации видеопоследовательности используют разные приемные фиксирующие датчики.
4. Способ по п.2, отличающийся тем, что для приема основных видеоданных и вспомогательных фотографий используют разные объективы.
5. Способ по п.2, отличающийся тем, что с матрицы при приеме вспомогательных фотографий считывают параметры - баланс белого, экспозиция в разных участках кадра для передачи анализатору видеопоследовательности, с целью улучшения динамического диапазона итоговой видеопоследовательности.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2009127235/08A RU2468437C2 (ru) | 2009-07-14 | 2009-07-14 | Способ увеличения разрешения видеопоследовательности |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2009127235/08A RU2468437C2 (ru) | 2009-07-14 | 2009-07-14 | Способ увеличения разрешения видеопоследовательности |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2009127235A RU2009127235A (ru) | 2011-01-20 |
| RU2468437C2 true RU2468437C2 (ru) | 2012-11-27 |
Family
ID=46307241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2009127235/08A RU2468437C2 (ru) | 2009-07-14 | 2009-07-14 | Способ увеличения разрешения видеопоследовательности |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2468437C2 (ru) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2315946A (en) * | 1986-06-20 | 1998-02-11 | Thomson Csf | Process for the motion compensation of an image with respect to another image |
| WO2004019278A2 (en) * | 2002-08-21 | 2004-03-04 | Raytheon Company | System and method for detection of image edges using a polar algorithm process |
| US20040240543A1 (en) * | 2001-09-04 | 2004-12-02 | Faroudja Yves C. | Low bandwidth video compression |
| US20050270547A1 (en) * | 2004-04-28 | 2005-12-08 | Laurent Blonde | Image processing apparatus and method |
| RU2311684C1 (ru) * | 2006-03-15 | 2007-11-27 | Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод" | Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений |
| RU2325044C1 (ru) * | 2007-02-21 | 2008-05-20 | Московский государственный университет инженерной экологии | Градиентный способ выделения контуров объектов на матрице полутонового растрового изображения |
| RU2360289C1 (ru) * | 2008-08-11 | 2009-06-27 | Евгений Александрович Самойлин | Способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях |
-
2009
- 2009-07-14 RU RU2009127235/08A patent/RU2468437C2/ru not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2315946A (en) * | 1986-06-20 | 1998-02-11 | Thomson Csf | Process for the motion compensation of an image with respect to another image |
| US20040240543A1 (en) * | 2001-09-04 | 2004-12-02 | Faroudja Yves C. | Low bandwidth video compression |
| WO2004019278A2 (en) * | 2002-08-21 | 2004-03-04 | Raytheon Company | System and method for detection of image edges using a polar algorithm process |
| US20050270547A1 (en) * | 2004-04-28 | 2005-12-08 | Laurent Blonde | Image processing apparatus and method |
| RU2311684C1 (ru) * | 2006-03-15 | 2007-11-27 | Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод" | Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений |
| RU2325044C1 (ru) * | 2007-02-21 | 2008-05-20 | Московский государственный университет инженерной экологии | Градиентный способ выделения контуров объектов на матрице полутонового растрового изображения |
| RU2360289C1 (ru) * | 2008-08-11 | 2009-06-27 | Евгений Александрович Самойлин | Способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2009127235A (ru) | 2011-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bhat et al. | Deep burst super-resolution | |
| US8199222B2 (en) | Low-light video frame enhancement | |
| US8698924B2 (en) | Tone mapping for low-light video frame enhancement | |
| US11356604B2 (en) | Methods and systems for image processing with multiple image sources | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
| US11295427B2 (en) | Methods and systems for image processing with multiple image sources | |
| KR101643613B1 (ko) | 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체 | |
| Chang et al. | Low-light image restoration with short-and long-exposure raw pairs | |
| TW201119365A (en) | Image selection device and method for selecting image | |
| US9743015B2 (en) | Image capturing apparatus and method of controlling the same | |
| JP2013020527A (ja) | 画像処理装置および方法、並びにプログラム | |
| CN108156369A (zh) | 图像处理方法和装置 | |
| WO2002067200A1 (en) | Image processing device | |
| CN110191287A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| Wang et al. | Glowgan: Unsupervised learning of hdr images from ldr images in the wild | |
| JP2008099260A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| RU2468437C2 (ru) | Способ увеличения разрешения видеопоследовательности | |
| KR101105675B1 (ko) | 영상 데이터 인페인팅 방법 및 장치 | |
| Shaw et al. | Hdr reconstruction from bracketed exposures and events | |
| WO2017175452A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
| CN115701869A (zh) | 摄影图像处理方法及设备 | |
| KR101458099B1 (ko) | 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 | |
| Quevedo et al. | Approach to super-resolution through the concept of multicamera imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20130715 |