RU2016135261A - Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации - Google Patents
Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации Download PDFInfo
- Publication number
- RU2016135261A RU2016135261A RU2016135261A RU2016135261A RU2016135261A RU 2016135261 A RU2016135261 A RU 2016135261A RU 2016135261 A RU2016135261 A RU 2016135261A RU 2016135261 A RU2016135261 A RU 2016135261A RU 2016135261 A RU2016135261 A RU 2016135261A
- Authority
- RU
- Russia
- Prior art keywords
- images
- image
- resolution
- patches
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims 14
- 239000011159 matrix material Substances 0.000 claims 13
- 238000005070 sampling Methods 0.000 claims 7
- 238000004364 calculation method Methods 0.000 claims 4
- 230000009466 transformation Effects 0.000 claims 4
- 238000013528 artificial neural network Methods 0.000 claims 2
- 238000000354 decomposition reaction Methods 0.000 claims 2
- 238000006073 displacement reaction Methods 0.000 claims 2
- 238000002360 preparation method Methods 0.000 claims 2
- 238000007670 refining Methods 0.000 claims 2
- 238000012800 visualization Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Claims (44)
1. Способ обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, содержащий:
этап (100) приема изображений низкого разрешения;
этап (102) определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки;
этап (103) вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения;
этап (104) вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокой четкости;
этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения;
этап (106) вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова;
этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения;
этап (108) вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования;
этап (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием;
этап (110) обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования;
этап (111) уточнения матрицы преобразования на основании обновленных изображений низкого разрешения,
причем данный способ осуществляет последовательную, итеративную обработку изображений, в которой:
если на этапе (106) вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то далее выполняют этапы: (107) разбиения изображения высокого разрешения на пересекающиеся патчи, (108) вычисления разреженной аппроксимации выделенных патчей, (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей; (110) обновления изображений низкого разрешения, (111) уточнения матрицы преобразования, (105) объединения обновленных изображений низкого разрешения с использованием матрицы преобразования, уточненной на этапе (111), и маски семплирования, (106) вычисление значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова в таком порядке;
если на этапе (106) вычисленное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то выполняют этап (113) вывода изображения высокого разрешения для сохранения и/или визуализации.
2. Способ по п.1, в котором выбор словаря производится посредством анализа семантических признаков изображений низкого разрешения.
3. Способ по п.2, в котором семантические признаки выделяются с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.
4. Способ по п.1, в котором, если требуется обрабатывать входные Байеровские изображения как цветные изображения, то упомянутый способ дополнительно содержит этап (101) подготовки изображений, на котором выполняют демозаикинг изображений по заданному Байеровскому шаблону для получения цветных изображений.
5. Способ по п.1, в котором этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения выполняют с применением метода пересечения доверительных интервалов (ICI).
6. Способ по п.1, в котором этап (108) вычисления разреженной аппроксимации выделенных патчей выполняют посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.
7. Способ по п.6, дополнительно содержащий этап предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.
8. Система обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, содержащая:
приемник входных изображений, выполненный с возможностью приема изображений низкого разрешения;
блок выбора словаря, выполненный с возможностью определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки;
блок вычисления матрицы преобразования, выполненный с возможностью вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения;
блок вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокого разрешения;
блок объединения изображений, выполненный с возможностью объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения;
блок проверки критерия останова, выполненный с возможностью вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова;
блок вывода изображения высокого разрешения, выполненный с возможностью сохранения и визуализации полученного изображения высокого разрешения;
блок выделения патчей, выполненный с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения;
блок разреженной аппроксимации патчей, выполненный с возможностью вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования;
блок формирования разреженной аппроксимации изображения, выполненный с возможностью объединения результатов разреженной аппроксимации патчей с перекрытием для формирования нового изображения высокого разрешения;
блок обновления изображений низкого разрешения, выполненный с возможностью обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования;
причем
блок вычисления матрицы преобразования выполнен с возможностью уточнения матрицы преобразования на основании обновленных изображений низкого разрешения,
причем упомянутая система осуществляет последовательную, итеративную обработку изображений, в которой:
если блок проверки критерия останова определяет, что вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то блок выделения патчей, блок разреженной аппроксимации патчей, блок формирование разреженной аппроксимации изображения, блок обновления изображений низкого разрешения, блок вычисления матрицы преобразования, блок объединения изображений, блок проверки критерия останова выполняют свои операции в таком порядке;
если блок проверки критерия останова определяет, что определенное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то изображение высокого разрешения передается в блок вывода изображения высокого разрешения.
9. Система по п.8, в которой блок выбора словаря выполнен с возможностью выбора словаря посредством анализа семантических признаков изображений низкого разрешения.
10. Система по п.9, в которой блок выбора словаря выполнен с возможностью выделения семантических признаков с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.
11. Система по п.8, в которой, если требуется обрабатывать входные Байеровские изображения как цветные изображения, упомянутая система дополнительно содержит блок подготовки изображений, выполненный с возможностью демозаикинга изображений по заданному Байеровскому шаблону для получения цветных изображений.
12. Система по п.8, в которой блок выделения патчей выполнен с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения с применением метода пересечения доверительных интервалов (ICI).
13. Система по п.8, в которой блок разреженной аппроксимации патчей выполнен с возможностью вычисления разреженной аппроксимации выделенных патчей посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.
14. Система по п.13, в которой блок разреженной аппроксимации патчей дополнительно выполнен с возможностью предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016135261A RU2661537C2 (ru) | 2016-08-30 | 2016-08-30 | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016135261A RU2661537C2 (ru) | 2016-08-30 | 2016-08-30 | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016135261A3 RU2016135261A3 (ru) | 2018-03-12 |
| RU2016135261A true RU2016135261A (ru) | 2018-03-12 |
| RU2661537C2 RU2661537C2 (ru) | 2018-07-17 |
Family
ID=61627229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016135261A RU2661537C2 (ru) | 2016-08-30 | 2016-08-30 | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2661537C2 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2697928C1 (ru) * | 2018-12-28 | 2019-08-21 | Самсунг Электроникс Ко., Лтд. | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615576B (zh) * | 2018-06-28 | 2023-07-21 | 北京元点未来科技有限公司 | 基于级联回归基学习的单帧图像超分辨重建方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6766067B2 (en) * | 2001-04-20 | 2004-07-20 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
| WO2006106508A2 (en) * | 2005-04-04 | 2006-10-12 | Technion Research & Development Foundation Ltd. | System and method for designing of dictionaries for sparse representation |
| US8363985B2 (en) * | 2007-10-15 | 2013-01-29 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| RU2431889C1 (ru) * | 2010-08-06 | 2011-10-20 | Дмитрий Валерьевич Шмунк | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления |
| US9137503B2 (en) * | 2010-11-03 | 2015-09-15 | Sony Corporation | Lens and color filter arrangement, super-resolution camera system and method |
| US8483516B2 (en) * | 2011-08-16 | 2013-07-09 | National Taiwan University | Super resolution system and method with database-free texture synthesis |
-
2016
- 2016-08-30 RU RU2016135261A patent/RU2661537C2/ru active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2697928C1 (ru) * | 2018-12-28 | 2019-08-21 | Самсунг Электроникс Ко., Лтд. | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее |
| US11244426B2 (en) | 2018-12-28 | 2022-02-08 | Samsung Electronics Co., Ltd. | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016135261A3 (ru) | 2018-03-12 |
| RU2661537C2 (ru) | 2018-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017232186B2 (en) | Fast and robust image alignment for burst mode | |
| RU2018126548A (ru) | Обработка карты глубины для изображения | |
| US20160147882A1 (en) | Object Search Method and Apparatus | |
| US10595006B2 (en) | Method, system and medium for improving the quality of 2D-to-3D automatic image conversion using machine learning techniques | |
| US20160155241A1 (en) | Target Detection Method and Apparatus Based On Online Training | |
| KR20110066609A (ko) | 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법 | |
| JP2015057698A5 (ru) | ||
| US10430457B2 (en) | Image processing apparatus, image processing method, search apparatus, search method, and non-transitory computer-readable storage medium | |
| JP2019028991A (ja) | 目標検出方法、目標検出装置及び画像処理装置 | |
| CN106447632B (zh) | 一种基于稀疏表示的raw图像去噪方法 | |
| WO2020113989A1 (en) | Method and system for image processing | |
| RU2016135261A (ru) | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации | |
| CN113658044A (zh) | 提高图像分辨率的方法、系统、装置及存储介质 | |
| US8249363B2 (en) | Image comparison system and method | |
| WO2024017093A1 (zh) | 图像生成方法、模型训练方法、相关装置及电子设备 | |
| CN107220934B (zh) | 图像重建方法及装置 | |
| JP2015181219A5 (ru) | ||
| CN111340025A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| KR101990012B1 (ko) | 수치 화상 변환 방법, 장치, 저장 매체 및 기기 | |
| CN116258653B (zh) | 一种基于深度学习的微光图像增强方法和系统 | |
| CN110545414B (zh) | 一种图像锐化方法 | |
| Buzzelli et al. | Consensus-driven illuminant estimation with GANs | |
| WO2015154526A1 (zh) | 视频监控低照度图像色彩还原方法和装置 | |
| CN108683899A (zh) | 一种面向嵌入式图像处理系统的彩色空间转换优化方法 | |
| JP2020532246A (ja) | 画像処理方法及び装置 |