RU2690757C1 - Система синтеза промежуточных видов светового поля и способ ее функционирования - Google Patents

Система синтеза промежуточных видов светового поля и способ ее функционирования Download PDF

Info

Publication number
RU2690757C1
RU2690757C1 RU2018130343A RU2018130343A RU2690757C1 RU 2690757 C1 RU2690757 C1 RU 2690757C1 RU 2018130343 A RU2018130343 A RU 2018130343A RU 2018130343 A RU2018130343 A RU 2018130343A RU 2690757 C1 RU2690757 C1 RU 2690757C1
Authority
RU
Russia
Prior art keywords
light field
types
input
scene
disparity
Prior art date
Application number
RU2018130343A
Other languages
English (en)
Inventor
Глеб Сергеевич МИЛЮКОВ
Константин Викторович КОЛЧИН
Александр Владиславович СИМУТИН
Михаил Николаевич Рычагов
Сергей Александрович Турко
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Priority to RU2018130343A priority Critical patent/RU2690757C1/ru
Application granted granted Critical
Publication of RU2690757C1 publication Critical patent/RU2690757C1/ru
Priority to KR1020190099834A priority patent/KR102658359B1/ko
Priority to PCT/KR2019/010564 priority patent/WO2020040521A1/ko
Priority to US17/270,276 priority patent/US11533464B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

Изобретение относится к области формирования изображений, а именно к системе синтеза промежуточных видов светового поля на основе уменьшенного количества видов светового поля. Технический результат заключается в повышении качества изображения сцены. Предлагается способ синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, содержащий этапы, на которых выбирают конфигурацию заданных входных видов светового поля, полученных с помощью по меньшей мере одного устройства захвата светового поля, причем конфигурация определяется координатами входных видов матрицы светового поля, захватываемого устройством захвата, задают требуемые координаты промежуточных видов, которые необходимо синтезировать, подают выбранную конфигурацию заданных входных видов светового поля и требуемые координаты промежуточных видов, которые необходимо синтезировать, в нейронную сеть, с помощью нейронной сети синтезируют промежуточные виды на основе диспаратности сцены, конфигурации заданных входных видов светового поля и требуемых координат промежуточных видов. 4 н. и 7 з.п. ф-лы, 8 ил.

Description

Область техники
Настоящее изобретение в целом относится к области формирования изображений, а в частности - к системе синтеза промежуточных видов светового поля на основе уменьшенного количества видов светового поля.
Настоящее изобретение может быть использовано в тех случаях, когда необходимо восстановить световое поле по нескольким промежуточным видам светового поля. Настоящее изобретение может быть использовано в устройствах, создающих иллюзию трехмерного пространства, таких как очки или шлемы виртуальной реальности, смартфоны, камеры, дисплеи, квадракоптеры, и в других устройствах, генерирующих видео контент и/или позволяющих его воспроизводить.
Предшествующий уровень техники
В последние годы стала популярной технология светового поля, т.е. получение набора изображений сцены, сдвинутых в пространстве относительно друг друга, которая используется в камерах и 3D дисплеях.
В настоящее время разрабатывается технология синтеза видов световых полей, которая обеспечивает увеличение пространственно-углового разрешения световых полей и эффективное сжатие световых полей.
Один пример такой технологии раскрыт в статье Nima Khademi Kalantari et al. «Learning-Based View Synthesis for Light Field Cameras», University of California, 2016, ACM Trans. Graph. 35, 6, Article 193, November 2016, 10 pages. DOI: https://doi.org/10.1145/2980179.2980251). В статье раскрыта модель для синтеза промежуточных видов светового поля на основе имеющихся угловых видов, т.е. видов в углах массива видов сцены, светового поля с использованием нейронной сети. Однако, использование только угловых видов светового поля в качестве входных, как показали исследования, является не лучшей конфигурацией входных видов, кроме того, предложенная в указанном документе реализация и особенности обучения модели предполагают наличие у синтезированных видов специфических артефактов, характерных для синтеза новых видов. Также известное решение не рассматривается в качестве техники сжатия световых полей и не подходит для использования на мобильных устройствах в силу большой вычислительной сложности предложенного метода.
Известно также техническое решение, раскрытое в документе US 2016/0360177 A1, дата публикации 08.12.2016. В указанном документе описан способ синтеза недостающих видов светового поля на основе информации о глубине сцены для дальнейшего использования светового поля в 3D дисплее. Качество изображения, полученного предложенным способом, зависит от качества оценки диспаратности. Однако, современные методы оценки диспаратности недостаточно точны на границах внутри изображения, что влечет за собой появление специфичных артефактов в синтезированных видах.
Современные устройства, поддерживающие технологию светового поля, представляют собой либо специализированные камеры для генерации светового поля (пленоптические камеры), либо 3D дисплеи, использующие световые поля. Такие устройства обладают рядом недостатков для рядового пользователя: во-первых, пленоптическая камера - это дорогое и узкоспециализированное устройство, поскольку может снимать лишь массивы видов светового поля. Во-вторых, пленоптические камеры предоставляют компромисс между пространственным и угловым разрешением, иными словами, чем больше видов светового поля можно получить с помощью камеры, тем меньше разрешение каждого отдельного вида. Наконец, световые поля содержат огромное количество избыточной информации, и для хранения световых полей на устройствах воспроизведения необходимо эффективно сжимать световые поля.
Таким образом, существует потребность в системе синтеза промежуточных видов светового поля, способной формировать изображения высокого качества и высокого разрешения из малого количества видов входного светового поля. Желательно, чтобы такая система синтеза видов светового поля могла работать как на мобильных устройствах, например, смартфонах, устройствах дополненной и виртуальной реальности, так и на устройствах с высокой производительностью, например, на стационарных 3D дисплеях или персональных компьютерах.
Сущность изобретения
В основу настоящего изобретения поставлена задача уменьшения числа видов, необходимых для восстановления трехмерного изображения сцены, чтобы сделать технологию светового поля повсеместной, обеспечить ее использование и сделать более доступной для пользователя, а также уменьшения количества артефактов при синтезе видов светового поля и повышения качества изображения сцены.
Поставленная задача решается путем создания способа синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, содержащий этапы, на которых выбирают конфигурацию заданных входных видов светового поля, полученных с помощью по меньшей мере одного устройства захвата светового поля, причем конфигурация определяется координатами входных видов матрицы светового поля, захватываемого устройством захвата; задают требуемые координаты промежуточных видов, которые необходимо синтезировать, подают выбранную конфигурацию заданных входных видов светового поля и требуемые координаты промежуточных видов, которые необходимо синтезировать, в нейронную сеть; с помощью нейронной сети: синтезируют промежуточные виды на основе диспаратности сцены, конфигурации заданных входных видов светового поля и требуемых координат промежуточных видов. Причем конфигурация заданных входных видов в матрице светового поля размером МхМ определяется координатами, которые соответствуют средней, если М - нечетное число, или ближайшей к средней, если М - четное число, позиции в каждой из первой и последней строки и в каждом из первого и последнего столбца матрицы светового поля. Требуемые координаты промежуточных видов можно задавать как целые или дробные числа. В одном варианте вычисляют карту признаков светового поля на основе выбранной конфигурации заданных входных видов светового поля, диспаратность вычисляют в нейронной сети сцены на основе вычисленной карты признаков сцены. В другом варианте диспаратность предварительно оценивают по показаниям датчика глубины. В третьем варианте синтезируют промежуточные виды с помощью предобученной нейронной сети.
В еще одном варианте воплощения предлагаемого изобретения поставленная задача решается путем создания системы синтеза промежуточных видов светового поля на основе заданных входных видов светового поля для выполнения способа синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, раскрытого выше. Предлагаемая система содержит устройство захвата видов светового поля для захвата входных видов сцены светового поля, модуль сверточной нейронной сети для синтеза промежуточных видов на основе диспаратности сцены, входных видов светового поля сцены и заданных координат промежуточных видов светового поля сцены в массиве видов светового поля сцены. Причем система может дополнительно содержать модуль для вычисления карты признаков сцены светового поля на основе входных видов сцены светового поля; модуль сверточной нейронной сети для вычисления диспаратности сцены на основе вычисленной карты признаков; модуль задания набора уровней диспаратности
Figure 00000001
. Причем модуль сверточной нейронной сети используется для расчета карты диспаратности по предварительно вычисленной карте признаков. Также система содержит модуль вычисления для каждого уровня диспаратности нового вида с использованием каждого из входных видов светового поля по формуле:
Figure 00000002
(1),
где:
Figure 00000003
- значение цвета пикселя, который расположен в позиции s (вектор с позициям по x и y), взятого из входного вида pi, при заданном уровне диспаратности dl, вычисленном по N входным видам. Система также содержит модуль расчета двух карт признаков: среднего значения цвета и яркости пикселя для каждого уровня диспаратности по каждому полученному виду. Также система может дополнительно содержать датчик глубины для обеспечения значений глубины, используемых для предварительной оценки диспаратности.
В еще одном варианте воплощения предлагается мобильное устройство, содержащее систему синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, выполняющую способ синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, раскрытый выше.
Еще один вариант воплощения изобретения приставляет собой способ сжатия светового поля, содержащий этапы, на которых выбирают конфигурацию заданных входных видов светового поля, полученных с помощью устройства захвата светового поля, причем конфигурация определяется координатами входных видов матрицы светового поля, захватываемого устройством захвата; синтезируют по меньшей мере один промежуточный вид светового поля согласно способу синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, описанному выше, вычисляют разницу между по меньшей мере одним промежуточным видом и входным видом, производят сжатие вычисленной разницы.
Краткое описание чертежей
Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в нижеследующем описании, иллюстрируемом прилагаемыми чертежами, на которых:
Фиг. 1 иллюстрирует известное из уровня представление светового поля в виде массива видов сцены, полученных с разных точек просмотра посредством массива камер или массива микролинз;
Фиг. 2 иллюстрирует возможность получения известным образом любого числа промежуточных видов на основе любой конфигурации входных видов на примере одной из конфигураций;
Фиг. 3 иллюстрирует систему синтеза промежуточных видов светового поля с координатами u, v с использованием уменьшенного количества видов входного светового поля с помощью нейронной сети, согласно изобретению;
Фиг. 4 иллюстрирует набор конфигураций входных видов светового поля, которые предлагаются для вариантов реализаций синтеза видов светового поля, согласно изобретению;
Фиг. 5 иллюстрирует вариант использования данного изобретения для сжатия и восстановления световых полей, согласно изобретению;
Фиг. 6а, 6b, 6с иллюстрируют варианты системы синтеза промежуточных видов.
Описание предпочтительных вариантов реализации изобретения
Чтобы сделать технологию светового поля повсеместной и обеспечить ее использование, необходимо сделать ее более доступной для обычного пользователя. Предлагаемое изобретение решает проблемы, связанные с технологией светового поля, а именно, благодаря предлагаемому изобретению происходит
- уменьшение числа видов, необходимых для восстановления трехмерного изображения сцены,
- уменьшение количества артефактов при синтезе видов светового поля.
В настоящем описании используется следующая терминология:
- Световое поле - функция, которая описывает количество света, распространяющегося в любом направлении через любую точку пространства (https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D0%B5%D1%82%D0%BE%D0%B2%D0%BE%D0%B5_%D0%BF%D0%BE%D0%BB%D0%B5). На практике, световое поле может быть представлено в виде набора видов сцены, снятых с разных точек зрения с небольшим сдвигом относительно друг друга. Следует отметить, что на практике световое поле может быть получено с использованием массива камер или микролинз, содержащихся в пленоптической камере (также известной как «камера светового поля»). При этом в наиболее распространенной конструкции пленоптической камеры перед матрицей цифрового задника (т.е. сменного модуля, предназначенного для преобразования оптического изображения в файлы цифровых фотографий) установлена пленоптическая насадка, представляющая собой множество микролинз, расположенных либо в виде квадратной матрицы либо в конфигурации пчелиных сот. Световое поле может быть также получено с помощью системы синтеза видов светового поля с использованием информации о сцене;
- Вид светового поля - это одно изображение из набора изображений сцены, вид состоит из пикселей;
- Входной вид светового поля - вид, который поступает с внешнего устройства захвата светового поля.
- Промежуточные виды светового поля или синтезированные виды светового поля получают на выходе системы синтеза, термин «промежуточный» используется в смысле «непосредственно соседствующий вид», промежуточными видами являются, например, незаштрихованные квадраты на Фиг. 4.
Если имеются два вида одной и той же сцены, то можно оценивать соответствующие различия положения образов точек сцены на этих видах. Одна и та же точка попадает в пиксели с разными положениями на цифровой фотографии, если производится съемка двумя (или более) камерами. Различие в указанных положениях называется диспаратностью. Например, для левой камеры положение пикселя определяется координатами (110, 100), для правой - (90, 100). По различиям можно рассчитать «глубину», т.е. расстояние до соответствующей точки. Такой метод вычисления обладает рядом недостатков, например, необходимо знать точное расстояние между камерами, а также находить точное соответствие пикселей одного изображения пикселям другого (см. задачу нахождения оптического потока -
https://ru.wikipedia.org/wiki/%D0%9E%D0%BF%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D1%82%D0%BE%D0%BA).
Необходимо отметить, что современные методы оценки диспаратности недостаточно точны на границах объектов внутри изображения, то есть на границах, где заканчивается один объект и начинается другой, что влечет за собой появление специфичных артефактов в промежуточных видах.
Однако, на границах объектов точная попиксельная оценка глубины практически невозможна в силу того, что растровое изображение в принципе неточно передает свойства проекции реальной сцены. Из-за этого на границах объектов к артефактам может приводить ошибка в вычислении диспаратности. К артефактам в данном случае можно отнести шумы на краях объектов с разными глубинами, шумы в областях с перекрытиями. То есть пиксели на границе могут быть перемешаны таким образом, что часть пикселей из изображения одного объекта попадает в изображение другого и наоборот.
Задача синтеза видов сцены с использованием 2-х, 4-х или 5-и наборов, предпочтительно, входных видов сцены, решается согласно изобретению при помощи карты диспаратности, которая указывает, на какое количество пикселей необходимо сдвинуть каждый пиксель входных видов сцены, чтобы получить желаемый промежуточный вид сцены.
Карта диспаратности для данного вида сцены, необходимая для получения желаемого вида сцены, генерируется с использованием информации о глубине каждого пикселя данного вида сцены. Диспаратность обратно пропорциональна глубине. Однако, классические методы оценки диспаратности оказываются неточными на границах объектов внутри вида в силу сложности корректной оценки глубины каждого пикселя вида сцены. В свою очередь, некорректная оценка глубины на границах областей внутри сцены ведет к появлению артефактов на границах объектов в синтезированном виде сцены, состоящей из промежуточных видов.
Серьезной проблемой в оценке диспаратности вида является также наличие перекрытий объектов в сценах с несколькими уровнями глубины, так как без знания природы объектов, изображенных в сцене, такие случаи не могут быть корректно обработаны традиционными алгоритмами.
На фигуре 1 показано известное из уровня техники представление светового поля в виде массива видов сцены, полученных с разных точек просмотра посредством массива камер или массива микролинз.
На фигуре 2 проиллюстрирована возможность получения любого числа промежуточных видов на основе любой конфигурации входных видов на примере одной из таких конфигураций.
В противовес традиционным методам синтеза видов, в заявленном изобретении предложен нейросетевой подход к синтезу видов. На фигуре 3 проиллюстрирована система синтеза, с помощью нейронной сети, промежуточных видов светового поля с координатами u, v с использованием уменьшенного количества видов входного светового поля. На Фиг. 3 также показан пример конфигурации входных видов светового поля. Конфигурация определяется координатами входных видов светового поля в массиве видов светового поля. Конфигурация входных видов оказывает решающее воздействие на качество синтеза видов в среднем по сцене. Правильно выбранная конфигурация обеспечивает оптимальное количество информации о глубине и объектах сцены и помогает бороться с артефактами, вызванными такими явлениями как перекрытие изображений объектов. Реальные устройства генерируют виды для фиксированного набора положений камеры. Предлагаемый способ обеспечивает синтез видов для любых возможных промежуточных положений камеры. На фиг. 3 показана схема обработки конфигураций входных видов светового поля. Вводимые пользователем дискретные данные светового поля определяют конечное количество входных видов первоначального светового поля, подаваемое на вход системы, а также на вход системы подаются координаты (u,v) требуемого промежуточного вида, который необходимо синтезировать. Все эти данные подаются в блок синтеза промежуточных видов на основе нейронной сети, на выходе которого получается требуемый промежуточный вид. Задавая различные координаты (u,v) требуемых (желаемых) промежуточных видов на выходе системы можно получить синтезированное непрерывное световое поле.
Нейросетевой подход можно использовать для корректного вычисления диспаратности. В частности, предлагается обучать сеть или часть сети, чтобы генерировать карту диспаратности таким образом, чтобы конечная ошибка синтеза видов минимизировалась.
На фиг. 3 проиллюстрирована возможность получения любого количества промежуточных видов согласно настоящему изобретению на основе любой конфигурации входных видов на примере одной из конфигураций, а именно конфигурации C2 (фиг. 4). Кроме того, фиг.3 иллюстрирует особенность предложенной системы, которая заключается в том, что синтезируемое световое поле является «пространством непрерывных видов» светового поля, тогда как световые поля, которые можно получать с помощью пленоптических камер, составляются из дискретных видов светового поля.
Понятие «промежуточный вид» можно пояснить следующим образом. Предположим, входными являются виды с координатами (1,1), (1, 7), (7,7), (7,1). Тогда любой вид светового поля, попадающий в этот квадрат, а также оказавшийся в непосредственном соседстве с ним, например, вид (4,5), будет являться «промежуточным» и может быть синтезирован. На Фиг. 4 заштрихованы входные виды светового поля, а не заштрихованы «промежуточные» виды светового поля. Термин «промежуточный» используется в смысле «непосредственно соседствующий вид», ими являются, например, незаштрихованные квадраты на Фиг. 4. Необходимо отметить, что задаваемые координаты промежуточных видов светового поля, синтезируемых нейросетью, могут иметь нецелые значения, например, (4.1, 5.2).
Сверточная нейронная сеть учитывает пространственную структуру сцены и позволяет корректно обрабатывать перекрытия объектов в видах с большим количеством уровней глубины.
Предложенное решение обеспечивает возможность синтеза любого вида в непрерывном пространстве видов с минимальными артефактами для перекрывающихся объектов, что обладает большим преимуществом по сравнению с возможностями пленоптической камеры.
Это достигается тем, что в нейросеть подаются координаты требуемого (желаемого) вида, который нужно получить в матрице видов светового поля, при этом эти координаты требуемого вида могут быть заданы произвольными, то есть выбраны из непрерывного диапазона значений координат, а не из дискретного набора координат светового поля, сформированного пленоптической камерой.
Как проиллюстрировано на фиг. 4, возможны разные конфигурации, например, С1-С7 входных видов светового поля. Были выбраны симметричные конфигурации входных видов, поскольку нейронная сеть лучше всего работает именно с симметричными конфигурациями видов, восстанавливая требуемое световое поле с наименьшим количеством артефактов.
В качестве конфигураций входных видов возможно использовать различные расположения и количество входных видов входного светового поля.
В частности, как проиллюстрировано на фиг. 4, был протестирован набор конфигураций С1 - С7 входных видов светового поля.
При этом конфигурация C1 является вариантом реализации, описанной в Nima Khademi Kalantari, Ting-Chun Wang, and Ravi Ramamoorthi. 2016. Learning-based view synthesis for light field cameras. ACM Trans. Graph. 35, 6, Article 193 (November 2016), 10 pages. DOI: https://doi.org/10.1145/2980179.2980251, однако, обнаружено, что угловые крайние точки, выбранные в такой конфигурации, в результате дают наибольшее количество артефактов.
Для заранее заданного фиксированного размера входного светового поля 9×9, возможна конфигурация С3, где входные виды располагаются на позициях (1;1), (1;9), (9,1), (9;9) и (5;5). Преимущество такой конфигурации проявляется при необходимости синтеза видов, расположенных вблизи входных видов строго внутри квадрата, образованного входными видами.
Для заранее заданного фиксированного размера входного светового поля 9×9, возможна конфигурация С4, где входные виды располагаются на позициях (5;1), (1;5), (5,9); (9;5) и (5;5).
Для заранее заданного фиксированного размера светового поля 8×8, возможна конфигурация С5, где входные виды располагаются на позициях (2;2), (2;7), (7,2) и (7;7). Преимущество такой конфигурации проявляется при необходимости синтеза видов, расположенных вблизи входных видов как внутри квадрата, образованного входными видами, так и вне его.
Для заранее заданного фиксированного размера светового поля 9×9, возможна конфигурация С6, где входные виды располагаются на позициях (2;2), (2;8), (8,2), (8;8) и (5;5). Преимущество такой конфигурации проявляется при необходимости синтеза видов, расположенных вблизи входных видов как внутри квадрата, образованного входными видами, так и вне его.
Для заранее заданного фиксированного размера светового поля 5×8, возможна конфигурация С7, где входные виды располагаются на позициях (3;3) и (3;6). Преимущество такой конфигурации проявляется при наличии только двух входных видов. Конфигурация C7 рассматривает вариант синтеза промежуточных видов светового поля на основе только двух видов исходного светового поля. Такая конфигурация может быть использована при применении, например, двух камер смартфона.
Конфигурация C2 показала лучшие результаты, по сравнению с конфигурациями С3-С5, в отношении качества синтезируемых видов среди протестированных конфигураций для световых полей размера MxM. Конфигурация входных видов оказывает решающее воздействие на качество синтеза видов в среднем по сцене: правильно выбранная конфигурация дает оптимальное количество информации о глубине и объектах сцены и помогает бороться с артефактами.
Качество синтезируемого изображения тем лучше, чем меньше расстояние, на которое нужно сместить пиксель, чтобы учесть диспаратность. Следовательно, оно определяется расстоянием от рассматриваемого вида до ближайшего входного вида. Если подсчитать эти расстояния для промежуточных видов, полученных с помощью конфигураций С1 и С2, то окажется, что С2 оказывается более выигрышной по сравнению с С1, так как для конфигурации входных видов С2 эти расстояния в среднем меньше, чем для конфигурации входных видов С1.
Таким образом, оптимальная конфигурация заданных входных видов (C2 на фиг. 4) в матрице светового поля размером МхМ определяется координатами, которые соответствуют средней, если М - нечетное число, или ближайшей к средней, если М - четное число, позиции в каждой из первой и последней строки и в каждом из первого и последнего столбца матрицы светового поля.
В одной из реализаций изобретения предложенная система синтеза промежуточных видов светового поля используется для реализации части алгоритма сжатия световых полей с целью обеспечения минимальных затрат ресурсов при передаче данных по сетям передачи данных.
На Фиг. 5 проиллюстрирован алгоритм варианта использования данного изобретения в задачах сжатия световых полей. В частности, предлагается сжимать только виды светового поля, которые соответствуют заданной конфигурации входных видов светового поля, обеспечивающей наилучшее качество (например, конфигурации С2 (фиг. 4). Таким образом, уже на этом этапе предполагается значительное уменьшение объемов данных, необходимых для восстановления входного светового поля. Входные виды, соответствующие выбранной конфигурации, подаются в блок текущих видов. Далее в блоке обработки видов синтезируется требуемый промежуточный вид светового поля с помощью предлагаемого способа синтеза промежуточных видов светового поля на основе заданных входных видов светового поля. Далее в блоке вычисления разницы происходит вычисление разницы между синтезируемым промежуточным видом и входным видом светового поля. Затем производится сжатие разницы с использованием известных преобразований, например, дискретного косинусного преобразования.
Соответствующим образом предлагается восстанавливать (либо на приемном устройстве, либо в случае хранения сжатого сигнала, например, в целях экономного места, на том же устройстве) сжатое световое поле: сжатая разница подается в блок текущей разницы, пока не будут восстановлены все входные виды светового поля, восстанавливают коэффициенты преобразования разницы между требуемым и исходным входным видом светового поля, производят обратное преобразование разницы в блоке восстановления видов и суммируют, в блоке предполагаемого вида, с видами светового поля, синтезированными нейронной сетью, получают восстановленный вид, переходят к следующему необработанному входному виду светового поля; после того, как все входные виды светового поля были восстановлены, используют систему синтеза промежуточных видов светового поля для того, чтобы восстановить все промежуточные виды светового поля на основе восстановленных входных видов светового поля.
Ниже приведено несколько вариантов реализации системы синтеза промежуточных видов светового поля с помощью нейронной сети.
В отличие от известной из Nima Khademi Kalantari et al. архитектуры нейронной сети (см. фиг 6а), в которой рассматривается конфигурация входных видов светового поля только типа С1 (фиг. 4), в заявленном изобретении рассматриваются применения конфигураций С2-С7 входных видов светового поля (фиг. 4) в такой архитектуре нейронной сети.
Система синтеза промежуточных видов светового поля в одном из вариантов изобретения содержит (Фиг. 6а):
1) модуль 1 для вычисления массива признаков сцены светового поля на основе входных видов светового поля сцены,
2) сверточную нейронную сеть 2 для вычисления диспаратности сцены на основе вычисленных признаков сцены,
3) сверточную нейронную сеть 3 для синтеза промежуточных видов на основе вычисленной диспаратности сцены, входных видов светового поля сцены и координат промежуточных видов светового поля сцены в массиве видов светового поля сцены.
В первом варианте осуществления настоящего изобретения на схеме, показанной на фиг. 6а, вычисляются признаки для восстановления диспаратности, эти признаки подсказывают нейронной сети грубую информацию о диспаратности. Этот предложенный «грубый» подход заключается в следующем: один из входных видов смещают на 1 пиксель относительно самого себя 21 раз. То же самое делают для всех остальных входных видов, т.е. эти смещения делают для всех входных видов, количество которых составляет 2 или 4 или 5 в зависимости от конфигурации, и затем из них вычисляют дисперсию и среднее (дисперсия - это отклонение от усредненного вида, усредненный вид определяется как отношение попиксельной суммы значений пикселей суммируемых видов к количеству входных видов). Усредненный вид рассчитывается следующим образом. Предположим в одном виде - два пикселя со значениями цветов (200, 200, 20) и (200, 0, 50), а в другом виде - два пикселя со значениями цветов (200, 50, 0) и (20, 100, 200). Суммируем и получаем соответственно значения цветов (400, 250, 20) и (220, 100, 250). Чтобы получить усредненный вид делим все значения пикселей на два, поскольку используется два вида, и получаем усредненный вид из двух пикселей со значениями (200, 125, 10) и (110, 50, 125).
Для сравнения, в известном подходе (Nima Khademi Kalantari et al.) осуществляют смещение каждого вида на 21 пиксель 100 раз, что требует больших вычислений. Таким образом новый предлагаемый способ работает быстрее.
В изобретении применяется сверточная нейронная сеть, часть слоев которой используется для расчета карты диспаратности по предварительно посчитанной карте признаков.
Карта признаков подсчитывается следующим образом: пусть s - вектор, содержащий координаты x и y пикселя, q - координаты u, v вектора в двухмерном пространстве, который обозначает положение промежуточного вида в матрице видов светового поля,
Figure 00000004
- координаты i-го входного вида в матрице видов светового поля; тогда для пикселя s нового вида
Figure 00000005
при знании карты диспаратности
Figure 00000006
(карту диспаратности вычисляет нейросеть) значение цвета в пикселе, находящемся в точке s, определяют как:
Figure 00000007
Для генерации карты признаков задается набор уровней диспаратности
Figure 00000008
- например,
Figure 00000009
.
Для каждого уровня диспаратности вычисляется новый вид с использованием каждого из входных видов светового поля по формуле:
Figure 00000010
(1),
Где
Figure 00000003
- значение цвета пикселя, который расположен в позиции s=(x, y), взятого из входного вида pi, при заданном уровне диспаратности dl.
Затем для каждого уровня диспаратности вычисляют две карты признаков: среднее значение пикселя (значение пикселя характеризует, в том числе, его цвет и яркость. Значение пикселя L означает тройку целых чисел, Lc, с принимает значения 1, 2, 3, так что L1-красный, L2-зеленый, L3-голубой, Lc меняется от 0 до 2N, где N -обычно 8) в данной позиции среди всех видов по каждому полученному виду (количество полученных новых видов для данной диспаратности равно количеству входных видов) и дисперсия по каждому полученному виду:
Figure 00000011
(2), где
Figure 00000012
изображение, полученное усреднением входных изображений после их сдвига по формуле 1.
Таким образом,
Figure 00000013
- это среднее значение пикселей от N сдвинутых картинок, при этом пиксель расположен в позиции s (вектор с позициями по x и y), при заданном уровне диспаратности dl, вычисленный по N входным видам;
N - количество входных видов.
По формуле
Figure 00000014
(3),
вычисляется
Figure 00000015
- стандартное отклонение (среднеквадратическое отклонение) значения цвета пикселя, который расположен в позиции s (вектор с позициям по x и y), при заданном уровне диспаратности dl, вычисленный по N входным видам.
После этого из карт
Figure 00000016
и
Figure 00000015
генерируется карта признаков глубиной 2L со следующей структурой:
Figure 00000017
, то есть генерируются матрицы, размер которых совпадает с разрешением входных видов, состоящие из изображений, усредненных по формуле 2, и стандартных отклонений для каждого уровня диспаратности [d1,dL], L=21 (экспериментально выбранное число уровней диспаратности). На самом деле карта признаков имеет глубину 2L+1, т.к. надо учитывать и нулевой уровень.
Поскольку имеется 21 уровень диспаратности (L=21), т.е. L - число, каждое из которых соответствует сдвигу вида на соответствующее количество пикселей в положительном и в отрицательном направлениях плюс один уровень, соответствующий входным видам, т.е. видам без смещения, то на вход нейронной сети, оценивающей диспаратность сцены, подают 43 =(2×21+1) уровня, ввиду того, что имеются два признака - изображение, усредненное по всем возможным диспаратностям в соответствии с формулой 2, и стандартное отклонение, вычисленное по формуле 3.
То есть на вход нейронной сети, оценивающей диспаратность сцены (диспаратность становится известна после того как ее вычислит нейросеть), подается карта признаков, представляющая собой тензор размером (W x H x 2L), где W и H - ширина и высота вида соответственно, в пикселях.
Необходимо отметить, что карта признаков - это некий набор матриц (составляющих 3-мерный тензор), описывающий то, как «ведут» себя входные виды при сдвигах в сторону требуемого вида. Таким образом, сеть самонастраивается и сама вырабатывает необходимую иерархию абстрактных признаков (последовательности карт признаков), фильтруя маловажные детали и выделяя существенные (https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C).
Вторая часть системы, синтезирующей промежуточные виды в предложенной реализации, синтезирует желаемый промежуточный вид светового поля. Обучаются две части нейронной сети совместно.
Первая часть системы (сеть) вычисляет диспаратность.
Вторая часть системы (сеть) непосредственно синтезирует желаемый промежуточный вид. На вход второй сети подается трехмерный тензор, складываемый из набора входных видов светового поля, преобразованных по формуле (1) с учетом полученной от первой сети карты диспаратности, сама карта диспаратности и две матрицы, все элементы, одной из которых равны координате желаемого вида по оси x (обозначаемой здесь u), а все элементы второй - координаты желаемого вида по оси y (обозначаемой здесь v).
На фигуре 6b показан вариант осуществления синтеза промежуточных видов без использования признаков и, как следствие, без подсчета карты признаков. Результат по качеству получают не хуже первого варианта, и в то же время более быстро. Могут использоваться любые из конфигураций входных видов светового поля С1-С7 (фиг. 4). Суть этого варианта осуществления заключается в том, чтобы подавать на вход нейронной сети входные изображения и координаты (u; v) желаемого вида, а на выходе получать требуемый промежуточный вид. При этом предлагается оценивать диспаратность с помощью датчика глубины (на фиг.6b не указан, но как дополнительный физический элемент, он обеспечивает карту глубины), такие датчики глубины широко известны в уровне техники, например, https://ru.wikipedia.org/wiki/Kinect ), а не вычислять с помощью нейронной сети. Такая система может включать в себя: сверточную нейронную сеть для синтеза промежуточных видов светового поля сцены на основе карты диспаратности сцены, полученной при помощи датчика глубины входных видов светового поля сцены, и координат промежуточных видов (u, v) в массиве видов светового поля сцены.
Таким образом, отпадает необходимость в вычислении карты признаков и использования нейронной сети для вычисления диспаратности сцены, как было описано выше в первом варианте осуществления. В остальном архитектура системы аналогична первому варианту осуществления: на вход нейронной сети, которая производит синтез желаемого вида, подают выбранные входные виды, преобразованные по формуле (1) с использованием полученной от датчика глубины карты диспаратности, сама карта диспаратности, полученная от датчика глубины, и координаты желаемого вида в виде двух матриц, в одной из которых все элементы - координата u, в другой - v.
В варианте, показанном на фигуре 6с, карта диспаратности сцены не используется. Система может включать в себя: сверточную нейронную сеть 1 для синтеза промежуточных видов светового поля сцены на основе входных видов светового поля сцены и координат промежуточных видов в массиве видов светового поля сцены (причем такая сеть предварительно обучается синтезировать промежуточные виды без карты диспаратности), и предварительно обученную нейронную сеть 2, способную классифицировать объекты на цифровом изображении (см., например,
https://machinelearningmastery.com/use-pre-trained-vgg-model-classify-objects-photographs).
Нейронная сеть 2 может представлять собой сеть VGG-16 (нейронная сеть известной архитектуры) или любую другую классифицирующую сеть. Сеть VGG-16 может идентифицировать один из 1000 возможных объектов (https://www.quora.com/What-is-the-VGG-neural-network), причем сеть VGG-16 используется при обучении предложенной нейронной сети 1.
На первом этапе, на этапе обучения сети 1, на вход сети 1 (фиг. 6с) подают входные виды светового поля и координаты (u, v) желаемого промежуточного вида. Cеть 1 синтезирует требуемый промежуточный вид. Затем синтезированный промежуточный вид поступает на вход сети 2. Также на вход сети 2 подается эталонный вид, который имеет те же координаты что и желаемый промежуточный вид, синтезированный сетью 1. Эталонный вид получают заранее, он представляет собой не синтезированный, а оригинальный вид, который изначально присутствует в наборе данных для обучения (получить его можно, например, с помощью пленоптической камеры). Сеть 2 переводит желаемый промежуточный вид, синтезированный сетью 1, и эталонный вид в пространство таких признаков вида, которые позволяют сделать вычисление ошибки в этом пространстве более эффективным с точки зрения восприятия человека. На выходе сети 2 получаются две карты признаков вида, под «картой признаков вида» в данном случае подразумевается выход одного или нескольких слоев классифицирующей нейронной сети, карта признаков вида в данном варианте используется для вычисления функции ошибки. Сеть 2 выдает две карты признаков одинаковой размерности для желаемого промежуточного вида и эталонного, на основе этих карт считается ошибка, для чего используют известные технологии. Например, известная технология Perceptual loss, описанная в «Perceptual Losses for Real-Time Style Transfer and Super-Resolution», Justin Johnson, Alexandre Alahi, Li Fei-Fei, 2016, https://arxiv.org/pdf/1603.08155.pdf. Суть ее заключается в том, что синтезированный промежуточный синтезируемый сетью 1, и эталонный промежуточный виды пропускаются через ряд слоев нейронной сети 2 для классификации изображений (например, VGG-16 «Very Deep Convolutional Networks for Large-Scale Image Recognition», Karen Simonyan, Andrew Zisserman, 2015, https://arxiv.org/pdf/1409.1556.pdf). Полученные две карты признаков (https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C) сравниваются по L2 норме Фробениуса
(https://en.wikipedia.org/wiki/Matrix_norm#Frobenius_norm). В результате получается величина, характеризующая «расстояние» между картами признаков синтезированного сетью 1 вида и эталонного вида, чем эта величина больше, тем хуже сработала сеть. То есть полученная величина представляет собой ошибку вычисления желаемого промежуточного вида, синтезированного сетью 1.
Таким образом, вместо того, чтобы требовать от сети 1, чтобы она синтезировала вид, как можно более близкий к эталонному в смысле попиксельной разницы, как это делается в варианте, показанном на фиг. 6а, в варианте на фиг. 6c после получения величины ошибки, обучают сеть 1, чтобы она минимизировать величину ошибки. Обучение сети 1 проводится на основе известных технологий. Причем первый этап повторяется до тех пор, пока не будут достигнуты желаемые показатели синтеза промежуточных видов сетью 1 по сравнению с эталонными видами.
На втором этапе, после обучения и достижения желаемых показателей синтеза, сеть 1 готова для синтеза желаемых промежуточных видов с минимальной ошибкой.
Предлагаемое изобретение также может быть реализовано посредством мобильного устройства с по меньшей мере одной камерой.
Пользователь делает быструю серию снимков, не меняя положение камеры, при этом малые сдвиги камеры, происходящие за счет движения руки пользователя, достаточны для того, чтобы формировать необходимое количество входных видов светового поля. Лучшее качество может быть получено, если взять все снимки, но предпочтительно требуется взять то количество, которое предопределено заранее выбранной конфигурацией видов. Полученные входные виды передаются в модуль обработки, то есть в часть мобильного устройства, которая ответственна за синтез промежуточных видов. Опционально в этом модуле может присутствовать подмодуль, получающий карту диспаратности с датчика глубины. Далее выполняется синтез промежуточных видов светового поля; промежуточные виды светового поля сцены передаются в память устройства, а затем выводятся на дисплей мобильного устройства.
Каждый вид полученного светового поля будет иметь высокое разрешение вследствие высокого разрешения камер на современных мобильных устройствах. Такой эффект решает проблему компромисса между угловым и пространственным разрешением, типичную для пленоптических камер.
Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения, не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.

Claims (30)

1. Способ синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, содержащий этапы, на которых
выбирают конфигурацию заданных входных видов светового поля, полученных с помощью по меньшей мере одного устройства захвата светового поля, причем конфигурация определяется координатами входных видов матрицы светового поля, захватываемого устройством захвата;
задают требуемые координаты промежуточных видов, которые необходимо синтезировать,
подают выбранную конфигурацию заданных входных видов светового поля и требуемые координаты промежуточных видов, которые необходимо синтезировать, в нейронную сеть;
с помощью нейронной сети:
синтезируют промежуточные виды на основе диспаратности сцены, конфигурации заданных входных видов светового поля и требуемых координат промежуточных видов.
2. Способ по п. 1, причем конфигурация заданных входных видов в матрице светового поля размером М×М определяется координатами, которые соответствуют средней, если М - нечетное число, или ближайшей к средней, если М - четное число, позиции в каждой из первой и последней строк и в каждом из первого и последнего столбцов матрицы светового поля.
3. Способ по п. 1, в котором требуемые координаты промежуточных видов задают как целые или дробные числа.
4. Способ по п. 1, в котором вычисляют карту признаков светового поля на основе выбранной конфигурации заданных входных видов светового поля, диспаратность вычисляют в нейронной сети сцены на основе вычисленной карты признаков сцены.
5. Способ по п. 1, в котором диспаратность предварительно оценивают по показаниям датчика глубины.
6. Способ по п. 4, в котором синтезируют промежуточные виды с помощью предобученной нейронной сети.
7. Система синтеза промежуточных видов светового поля на основе заданных входных видов светового поля для выполнения способа по п. 1, содержащая
устройство захвата видов светового поля для захвата входных видов сцены светового поля,
модуль сверточной нейронной сети для синтеза промежуточных видов на основе диспаратности сцены, входных видов светового поля сцены и заданных координат промежуточных видов светового поля сцены в массиве видов светового поля сцены.
8. Система по п. 7, дополнительно содержащая:
модуль для вычисления карты признаков сцены светового поля на основе входных видов сцены светового поля;
модуль сверточной нейронной сети для вычисления диспаратности сцены на основе вычисленной карты признаков;
модуль задания набора уровней диспаратности
Figure 00000018
,
причем модуль сверточной нейронной сети используется для расчета карты диспаратности по предварительно вычисленной карте признаков,
модуль вычисления для каждого уровня диспаратности нового вида с использованием каждого из входных видов светового поля по формуле:
Figure 00000019
(1),
где:
Figure 00000020
- значение цвета пикселя, который расположен в позиции s (вектор с позициями по x и y), взятого из входного вида pi, при заданном уровне диспаратности dl, вычисленном по N входным видам,
модуль расчета двух карт признаков: среднего значения цвета и яркости пикселя для каждого уровня диспаратности по каждому полученному виду.
9. Система по п. 7, дополнительно содержащая датчик глубины для обеспечения значений глубины, используемых для предварительной оценки диспаратности.
10. Мобильное устройство, содержащее систему синтеза промежуточных видов светового поля на основе заданных входных видов светового поля, выполняющую способ синтеза промежуточных видов светового поля на основе заданных входных видов светового поля по любому из пп. 1-6.
11. Способ сжатия светового поля, содержащий этапы, на которых
выбирают конфигурацию заданных входных видов светового поля, полученных с помощью устройства захвата светового поля, причем конфигурация определяется координатами входных видов матрицы светового поля, захватываемого устройством захвата;
синтезируют по меньшей мере один промежуточный вид светового поля согласно способу по любому из пп. 1-6;
вычисляют разницу между по меньшей мере одним промежуточным видом и входным видом;
производят сжатие вычисленной разницы.
RU2018130343A 2018-08-21 2018-08-21 Система синтеза промежуточных видов светового поля и способ ее функционирования RU2690757C1 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2018130343A RU2690757C1 (ru) 2018-08-21 2018-08-21 Система синтеза промежуточных видов светового поля и способ ее функционирования
KR1020190099834A KR102658359B1 (ko) 2018-08-21 2019-08-14 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
PCT/KR2019/010564 WO2020040521A1 (ko) 2018-08-21 2019-08-20 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
US17/270,276 US11533464B2 (en) 2018-08-21 2019-08-20 Method for synthesizing intermediate view of light field, system for synthesizing intermediate view of light field, and method for compressing light field

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018130343A RU2690757C1 (ru) 2018-08-21 2018-08-21 Система синтеза промежуточных видов светового поля и способ ее функционирования

Publications (1)

Publication Number Publication Date
RU2690757C1 true RU2690757C1 (ru) 2019-06-05

Family

ID=67037414

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018130343A RU2690757C1 (ru) 2018-08-21 2018-08-21 Система синтеза промежуточных видов светового поля и способ ее функционирования

Country Status (2)

Country Link
US (1) US11533464B2 (ru)
RU (1) RU2690757C1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541972A (zh) * 2019-09-23 2021-03-23 华为技术有限公司 一种视点图像处理方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010037512A1 (en) * 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
RU2411690C2 (ru) * 2005-12-02 2011-02-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения
US20130215108A1 (en) * 2012-02-21 2013-08-22 Pelican Imaging Corporation Systems and Methods for the Manipulation of Captured Light Field Image Data
US20140232822A1 (en) * 2013-02-21 2014-08-21 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
RU164158U1 (ru) * 2014-10-07 2016-08-20 Акционерное общество "ЭЛВИС-НеоТек" Устройство вычисления карты диспаратности для стереоизображения
US9712759B2 (en) * 2008-05-20 2017-07-18 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
CN107430782A (zh) * 2015-04-23 2017-12-01 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US7466336B2 (en) 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
DE102005063503B4 (de) 2005-03-10 2011-05-19 Inaba, Minoru, Oyama 3D-Display und 3D-Projektor
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
JP5317955B2 (ja) * 2006-03-31 2013-10-16 コーニンクレッカ フィリップス エヌ ヴェ 複数の視野の効率的な符号化
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
HU0900478D0 (en) 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
SG190032A1 (en) 2010-11-07 2013-06-28 Council Scient Ind Res On-chip 4d lightfield microscope
WO2012068137A1 (en) 2010-11-15 2012-05-24 Medivision, Inc. Stereoscopic relay optics
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US8995719B2 (en) * 2012-12-10 2015-03-31 Intel Corporation Techniques for improved image disparity estimation
EP2879091A1 (en) 2013-11-29 2015-06-03 Thomson Licensing Method and device for estimating disparity associated with views of a scene acquired with a plenoptic camera
EP2887642A3 (en) 2013-12-23 2015-07-01 Nokia Corporation Method, apparatus and computer program product for image refocusing for light-field images
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US9503708B2 (en) 2014-11-03 2016-11-22 Aquifi, Inc. Systems and methods for reducing z-thickness and zero-order effects in depth cameras
US20160182891A1 (en) 2014-12-22 2016-06-23 Google Inc. Integrated Camera System Having Two Dimensional Image Capture and Three Dimensional Time-of-Flight Capture With A Partitioned Field of View
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US9467608B2 (en) 2015-01-27 2016-10-11 Moment Inc Auxiliary lens for mobile photography
EP3065394A1 (en) 2015-03-05 2016-09-07 Thomson Licensing Light field metadata
KR101723738B1 (ko) 2015-08-21 2017-04-18 인하대학교 산학협력단 딕셔너리 학습 기반 해상도 향상 장치 및 방법
US10257417B2 (en) * 2016-05-24 2019-04-09 Microsoft Technology Licensing, Llc Method and apparatus for generating panoramic images
US10924638B2 (en) 2016-06-27 2021-02-16 Intel Corporation Compact, low cost VCSEL projector for high performance stereodepth camera
EP3264755A1 (en) 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
US10706890B2 (en) * 2017-08-24 2020-07-07 Intel Corporation Cinematic space-time view synthesis for enhanced viewing experiences in computing environments
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2411690C2 (ru) * 2005-12-02 2011-02-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения
US9712759B2 (en) * 2008-05-20 2017-07-18 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
WO2010037512A1 (en) * 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
US20130215108A1 (en) * 2012-02-21 2013-08-22 Pelican Imaging Corporation Systems and Methods for the Manipulation of Captured Light Field Image Data
US20140232822A1 (en) * 2013-02-21 2014-08-21 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
RU164158U1 (ru) * 2014-10-07 2016-08-20 Акционерное общество "ЭЛВИС-НеоТек" Устройство вычисления карты диспаратности для стереоизображения
CN107430782A (zh) * 2015-04-23 2017-12-01 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法

Also Published As

Publication number Publication date
US11533464B2 (en) 2022-12-20
US20210314545A1 (en) 2021-10-07
KR20200021891A (ko) 2020-03-02

Similar Documents

Publication Publication Date Title
Wronski et al. Handheld multi-frame super-resolution
JP6021541B2 (ja) 画像処理装置及び方法
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
US9749601B2 (en) Imaging device, image display method, and storage medium for displaying reconstruction image
JP4209938B2 (ja) 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9544576B2 (en) 3D photo creation system and method
US9412151B2 (en) Image processing apparatus and image processing method
US9165401B1 (en) Multi-perspective stereoscopy from light fields
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
JP6128748B2 (ja) 画像処理装置及び方法
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
CN110958442A (zh) 用于处理全息图像数据的方法和装置
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
Knorr et al. Super-resolution stereo-and multi-view synthesis from monocular video sequences
JP7437941B2 (ja) 立体画像生成装置及びそのプログラム
KR102658359B1 (ko) 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
WO2018043437A1 (ja) 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体
CN112634139B (zh) 光场超分辨成像方法、装置及设备