RU2013100160A - Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы - Google Patents
Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы Download PDFInfo
- Publication number
- RU2013100160A RU2013100160A RU2013100160/08A RU2013100160A RU2013100160A RU 2013100160 A RU2013100160 A RU 2013100160A RU 2013100160/08 A RU2013100160/08 A RU 2013100160/08A RU 2013100160 A RU2013100160 A RU 2013100160A RU 2013100160 A RU2013100160 A RU 2013100160A
- Authority
- RU
- Russia
- Prior art keywords
- image frame
- image
- scene
- spatial resolution
- generate
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
1. Машинно-осуществляемый способ обработки изображений, содержащий этапы, на которых (A) применяют обработку сверхразрешения к первому кадру изображения, имеющему первое пространственное разрешение, для генерации второго кадра изображения, имеющего второе пространственное разрешение, более высокое, чем первое пространственное разрешение, причем этап (A) содержит подэтапы, на которых:(A1) генерируют разреженную матрицу на основании марковского случайного поля, заданного на первом кадре изображения и третьем кадре изображения, имеющем третье пространственное разрешение, более высокое, чем первое пространственное разрешение;(A2) генерируют обратную матрицу путем инвертирования разреженной матрицы, и(A3) генерируют второй кадр изображения с использованием обратной матрицы, причемпервый кадр изображения охватывает первую сцену, икаждый из второго и третьего кадров изображения охватывает первую сцену.2. Способ по п. 1, в котором второе пространственное разрешение ниже, чем третье пространственное разрешение.3. Способ по п. 1, в которомтретий кадр изображения представляет прямоугольный массив M×N пикселей, иразреженная матрица представляет собой квадратную матрицу, имеющую MN строк и MN столбцов, и содержащую не более 5MN ненулевых элементов матрицы.4. Способ по п. 3, в котором не более чем 5MN ненулевых элементов матрицы располагаются на наборе диагоналей, состоящем из не более чем пяти диагоналей разреженной матрицы.5. Способ по п. 4, в котором набор диагоналей включает в себя главную диагональ и две более короткие диагонали, непосредственно соседствующие с главной диагональю, по обе стороны от нее.6. Способ по п. 5, в которо
Claims (20)
1. Машинно-осуществляемый способ обработки изображений, содержащий этапы, на которых (A) применяют обработку сверхразрешения к первому кадру изображения, имеющему первое пространственное разрешение, для генерации второго кадра изображения, имеющего второе пространственное разрешение, более высокое, чем первое пространственное разрешение, причем этап (A) содержит подэтапы, на которых:
(A1) генерируют разреженную матрицу на основании марковского случайного поля, заданного на первом кадре изображения и третьем кадре изображения, имеющем третье пространственное разрешение, более высокое, чем первое пространственное разрешение;
(A2) генерируют обратную матрицу путем инвертирования разреженной матрицы, и
(A3) генерируют второй кадр изображения с использованием обратной матрицы, причем
первый кадр изображения охватывает первую сцену, и
каждый из второго и третьего кадров изображения охватывает первую сцену.
2. Способ по п. 1, в котором второе пространственное разрешение ниже, чем третье пространственное разрешение.
3. Способ по п. 1, в котором
третий кадр изображения представляет прямоугольный массив M×N пикселей, и
разреженная матрица представляет собой квадратную матрицу, имеющую MN строк и MN столбцов, и содержащую не более 5MN ненулевых элементов матрицы.
4. Способ по п. 3, в котором не более чем 5MN ненулевых элементов матрицы располагаются на наборе диагоналей, состоящем из не более чем пяти диагоналей разреженной матрицы.
5. Способ по п. 4, в котором набор диагоналей включает в себя главную диагональ и две более короткие диагонали, непосредственно соседствующие с главной диагональю, по обе стороны от нее.
6. Способ по п. 5, в котором набор диагоналей дополнительно включает в себя две дополнительные более короткие диагонали, смещенные относительно главной диагонали на M или N элементов матрицы.
7. Способ по п. 3, в котором второй кадр изображения представляет прямоугольный массив M×N пикселей.
8. Способ по п. 3, в котором
этап (A) дополнительно содержит подэтап (A4), на котором генерируют вектор на основании первого кадра изображения, причем вектор имеет MN элементов, и
этап (A3) содержит подэтапы, на которых
генерируют строку из MN пиксельных значений путем вычисления произведения обратной матрицы и вектора,
разрезают строку пиксельных значений на M подстрок, каждая из которых имеет N пиксельных значений, и
генерируют второй кадр изображения, размещая M подстрок в виде строк или столбцов двухмерного массива пикселей.
9. Способ по п. 1, дополнительно содержащий этапы, на которых
(B) генерируют первый кадр изображения с использованием первого датчика изображения, и
(C) генерируют третье изображение с использованием второго датчика изображения, отличного от первого датчика изображения.
10. Способ по п. 1, дополнительно содержащий этапы, на которых
(B) разбивают четвертый кадр изображения на первое множество подкадров, причем первый кадр изображения является подкадром первого множества, и
(C) разбивают пятый кадр изображения на второе множество подкадров, причем третий кадр изображения является подкадром второго множества.
11. Способ по п. 10, в котором
четвертый кадр изображения охватывает вторую сцену, причем первая сцена является подсценой второй сцены, и
пятый кадр изображения охватывает вторую сцену.
12. Способ по п. 11, дополнительно содержащий этапы, на которых
(D) применяют обработку сверхразрешения к другому подкадру первого множества для генерации шестого кадра изображения, охватывающего другую подсцену второй сцены, причем другая подсцена отличается от первой сцены, и
(E) объединяют второй кадр изображения и шестой кадр изображения для генерации объединенного кадра изображения, соответствующего второй сцене.
13. Способ по п. 12, в котором этап (E) содержит подэтап, на котором размещают второй кадр изображения и шестой кадр изображения в качестве фрагментов объединенного кадра изображения.
14. Способ по п. 12, в котором этап (D) содержит подэтап, на котором
(D1) генерируют вторую разреженную матрицу на основании марковского случайного поля, заданного на другом подкадре первого множества и подкадре второго множества, соответствующем упомянутому другому подкадру первого множества,
(D2) генерируют вторую обратную матрицу путем инвертирования второй разреженной матрицы, и
(D3) генерируют шестой кадр изображения с использованием второй обратной матрицы.
15. Способ по п. 12, в котором этап (D) содержит подэтап, на котором применяют алгоритм сопряженных градиентов к упомянутому другому подкадру первого множества для генерации шестого кадра изображения.
16. Способ по п. 1, в котором
первый кадр изображения является картой глубин первой сцены, захваченной датчиком дальности,
второй кадр изображения является подвергнутой повышающей дискретизации картой глубин первой сцены, и
третий кадр изображения является фотографией первой сцены, захваченной датчиком яркости света.
17. Способ по п. 1, в котором этап (B) дополнительно содержит подэтап, на котором выполняют по меньшей мере одно из совмещения изображений и обрезки изображений для генерации первого кадра изображения и третьего кадра изображения.
18. Энергонезависимый машиночитаемый носитель, на котором записан программный код, причем, когда программный код выполняется машиной, машина осуществляет способ обработки изображений, причем способ содержит этапы, на которых
(A) применяют обработку сверхразрешения к первому кадру изображения, имеющему первое пространственное разрешение, для генерации второго кадра изображения, имеющего второе пространственное разрешение, более высокое, чем первое пространственное разрешение, причем этап (A) содержит подэтапы, на которых
(A1) генерируют разреженную матрицу на основании марковского случайного поля, заданного на первом кадре изображения и третьем кадре изображения, имеющем третье пространственное разрешение, более высокое, чем первое пространственное разрешение,
(A2) генерируют обратную матрицу путем инвертирования разреженной матрицы, и
(A3) генерируют второй кадр изображения с использованием обратной матрицы, причем
первый кадр изображения охватывает первую сцену, и
каждый из второго и третьего кадров изображения охватывает первую сцену.
19. Устройство, содержащее
память, сконфигурированную для хранения (i) первого кадра изображения, охватывающего первую сцену, причем первый кадр изображения имеет первое пространственное разрешение, и (ii) второго кадра изображения, охватывающего первую сцену, причем второй кадр изображения имеет второе пространственное разрешение, более высокое, чем первое пространственное разрешение, и
процессор, сконфигурированный для применения обработки сверхразрешения к первому кадру изображения для генерации третьего кадра изображения, охватывающего первую сцену, причем третий кадр изображения имеет третье пространственное разрешение, более высокое, чем первое пространственное разрешение, причем процессор дополнительно сконфигурирован для
генерации разреженной матрицы на основании марковского случайного поля, заданного на первом кадре изображения и втором кадре изображения,
генерации обратной матрицы путем инвертирования разреженной матрицы, и
генерации третьего кадра изображения с использованием обратной матрицы.
20. Устройство по п. 19, дополнительно содержащее
датчик дальности, сконфигурированный для генерации данных изображения для первого кадра изображения, и
датчик яркости света, сконфигурированный для генерации данных изображения для второго кадра изображения.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013100160/08A RU2013100160A (ru) | 2013-01-09 | 2013-01-09 | Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы |
| US13/950,384 US20140193092A1 (en) | 2013-01-09 | 2013-07-25 | Superresolution image processing using an invertible sparse matrix |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013100160/08A RU2013100160A (ru) | 2013-01-09 | 2013-01-09 | Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2013100160A true RU2013100160A (ru) | 2014-07-20 |
Family
ID=51061014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013100160/08A RU2013100160A (ru) | 2013-01-09 | 2013-01-09 | Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20140193092A1 (ru) |
| RU (1) | RU2013100160A (ru) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463793B (zh) * | 2014-11-12 | 2017-08-04 | 合肥工业大学 | 一种视频超分辨率重建方法及其系统 |
| CN104394300B (zh) * | 2014-11-12 | 2017-08-04 | 合肥工业大学 | 一种视频缩放方法及其系统 |
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| EP3399757A1 (en) | 2017-05-04 | 2018-11-07 | Thomson Licensing | Method and apparatus to encode and decode two-dimension point clouds |
| CN110264536B (zh) * | 2019-06-13 | 2021-02-05 | 北京理工大学 | 一种在平行束超分重建中计算高低分辨率投影关系的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006203296A (ja) * | 2005-01-18 | 2006-08-03 | Canon Inc | 補間処理方法、補間処理プログラム及び撮像装置 |
| US8743963B2 (en) * | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
| TW201131511A (en) * | 2010-03-10 | 2011-09-16 | Chunghwa Picture Tubes Ltd | Super-resolution method for video display |
| US8891905B2 (en) * | 2012-12-19 | 2014-11-18 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Boundary-based high resolution depth mapping |
-
2013
- 2013-01-09 RU RU2013100160/08A patent/RU2013100160A/ru not_active Application Discontinuation
- 2013-07-25 US US13/950,384 patent/US20140193092A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20140193092A1 (en) | 2014-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2013100160A (ru) | Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы | |
| US7412107B2 (en) | System and method for robust multi-frame demosaicing and color super-resolution | |
| JP2012138787A5 (ru) | ||
| JP2018107759A5 (ru) | ||
| CN107590791B (zh) | 图像增强方法以及图像处理装置 | |
| MY189048A (en) | Imaging method for image sensor, imaging apparatus, and electronic device | |
| Vijay et al. | Non-uniform deblurring in HDR image reconstruction | |
| RU2018113713A (ru) | Представление данных светового поля | |
| EP2627077A3 (en) | Image pickup apparatus and control method | |
| JP2014107813A5 (ru) | ||
| US8982225B2 (en) | Camera module, image processing apparatus, and image processing method | |
| CN104463803A (zh) | 一种消除图像锯齿的方法及装置 | |
| WO2009009024A3 (en) | Arrangement and method for procesing image data | |
| RU2011134972A (ru) | Устройство обработки изображений и способ для управления устройством обработки изображений | |
| JP2015231125A5 (ru) | ||
| WO2011121563A1 (en) | Detecting saliency in an image | |
| WO2016034421A3 (en) | Device and process for improving efficiency of image rendering | |
| JP2013162247A5 (ru) | ||
| JP2015201672A5 (ru) | ||
| JP2010109494A5 (ru) | ||
| KR20150019192A (ko) | Avm 시스템을 위한 영상 합성 장치 및 그 방법 | |
| CN102377926B (zh) | 摄像装置 | |
| EP3162073A1 (en) | Compressive sense imaging | |
| RU2004117830A (ru) | Способ преобразования изображений | |
| JP2013162246A5 (ru) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA93 | Acknowledgement of application withdrawn (no request for examination) |
Effective date: 20160111 |