RU2777277C1

RU2777277C1 - Способ оценки глубины для пикселей, соответствующее устройство и компьютерный программный продукт

Info

Publication number: RU2777277C1
Application number: RU2021101403A
Authority: RU
Inventors: Фредерик БАБОН; Неюс САБАТЕ; Мэттью ОГ; Дидье ДУАЕН; Гийом БУАССОН
Original assignee: Интердиджитал Се Пэйтент Холдингз, Сас
Priority date: 2018-07-19
Filing date: 2019-07-17
Publication date: 2022-08-01

Abstract

Изобретение относится к способам и устройствам обработки изображений. Технический результат заключается в повышении качества оценки глубины изображения. Технический результат достигается за счет того, что для пикселей в матрице изображений контента светового поля выполняется процесс, содержащий этапы, на которых: определяют карты глубины для изображений в упомянутом наборе изображений; и для текущего пикселя в текущем изображении из упомянутого набора изображений определяют, согласуется ли потенциальная глубина, соответствующая значению глубины, ассоциированному с упомянутым текущим пикселем в карте глубины из упомянутого набора карт глубины, с другой картой глубины из упомянутого набора карт глубины; выбирают упомянутую потенциальную глубину в качестве оцененной глубины для упомянутого текущего пикселя, если упомянутая потенциальная глубина определена как согласованная с другой картой глубины из упомянутого набора карт глубины. 3 н. и 17 з.п. ф-лы, 8 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие в общем относится к области контента светового поля (Light Field, LF) (например, изображение или видео LF).

Более конкретно, раскрытие относится к способу оценки глубины пикселей, принадлежащих изображениям в контенте LF.

Раскрытие может представлять интерес для любой области техники, где используется захват LF, как для профессионалов, так и для потребителей.

УРОВЕНЬ ТЕХНИКИ

Контент LF состоит либо из:

пленоптического видео, также известного как видео на основе элементарных линз, т.е. видео, в котором изображения, принадлежащие матрице изображений, являются субапертурными изображениями, захваченными одновременно одной камерой с использованием массива микролинз в дополнение к основной системе линз, например, пленоптической камерой; или

многоракурсного видео, т.е. видео, в котором изображения, принадлежащие матрице изображений, были захвачены одновременно под несколькими углами камеры, как правило, используя массив камер (также известный как камерная установка), содержащий несколько камер.

Оценка глубины пикселей в контенте LF в большинстве случаев сводится к дублированию для каждого ракурса, принадлежащего контенту LF, известных методов (например, методов сопоставления), классически используемых для определения такой глубины на основании доступности по меньшей мере двух ракурсов, захватывающих одну и ту же сцену с двух различных точек обзора.

Однако подходы, основанные на использовании двух различных ракурсов, не дают надежных результатов, например, в особых случаях, когда происходит окклюзия. Действительно, в этом случае часть сцены, захваченная с данного ракурса, могла быть не захвачена с другого ракурса. В этом случае глубина не может быть определена, или такими известными алгоритмами возвращается аномальное значение.

Было сделано несколько предложений для использования наибольшего числа точек обзора, доступных в контенте LF, для получения более надежных результатов при оценке глубины, например, когда происходит окклюзия, как в статье H. Zhu, Q. Wang и J. Yu, “Occlusion-Model Guided Anti-Occlusion Depth Estimation in Light Field,” в IEEE Journal of Selected Topics in Signal Processing, том 11, № 7, стр. 965-978, октябрь 2017. Однако этот подход может быть дополнительно улучшен.

Следовательно, существует потребность в способе, использующем информацию, относящуюся к различными ракурсам в контенте LF, для оценки глубины пикселей с гарантированной согласованностью, в частности, при наличии окклюзий.

Также существует потребность в таком способе, который обеспечивает высокое качество оценки глубины.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее раскрытие относится к способу оценки глубины для пикселей в матрице из M изображений контента светового поля, где M>2. Такой способ содержит по меньшей мере для одного набора из N изображений, взятых из M изображений, 2<N≤M, процесс, содержащий этапы, на которых:

- определяют карты глубины для изображений в наборе из N изображений, обеспечивая набор из N карт глубины; и

- по меньшей мере для одного текущего пикселя в текущем изображении из набора из N изображений:

- определяют, согласуется ли потенциальная глубина, соответствующая значению глубины, ассоциированному с текущим пикселем в карте глубины из набора из N карт глубины, с другой картой(ами) глубины из набора из N карт глубины; и

- выбирают потенциальную глубину в качестве оцененной глубины для текущего пикселя, если потенциальная глубина определена как согласованная с другой картой(ами) глубины из набора из N карт глубины.

Процесс выполняется итеративно, каждая новая итерация процесса выполняется с новым значением N, которое ниже, чем предыдущее значение N, используемое в предыдущей итерации процесса.

Другой аспект раскрытия относится к устройству для оценки глубины для пикселей в матрице из M изображений контента светового поля, где M>2. Такое устройство содержит процессор или специализированный компьютер, выполненный с возможностью по меньшей мере для одного набора из N изображений, взятых из M изображений, 2<N≤M, выполнения процесса, содержащего этапы, на которых:

- определяют карты глубины для изображений в наборе из N изображений, обеспечивая набор из N карты глубины; и

Процесс выполняется итеративно, каждая новая итерация процесса выполняется с новым значением N, которое меньше, чем предыдущее значение N, используемое в предыдущей итерации процесса.

Кроме того, настоящее раскрытие относится к машиночитаемому носителю долговременного хранения, содержащему компьютерный программный продукт, записанный на нем, и который может исполняться процессором, включающий в себя инструкции программного кода, содержащие инструкции программного кода для реализации описанного ранее способа оценки глубины для пикселей в матрице из M изображений контента светового поля.

СПИСОК ЧЕРТЕЖЕЙ

Другие признаки и преимущества вариантов осуществления будут понятны из следующего описания, данного в качестве иллюстративных и неисчерпывающих примеров, и из прилагаемых чертежей, на которых:

- Фигура 1 изображает матрицу изображений контента LF в соответствии с одним вариантом осуществления;

- Фигуры 2a и 2b изображают множество наборов изображений (или угловые участки) в соответствии с одним вариантом осуществления;

- Фигуры 3a и 3b изображают множество пространственных участков пикселей в соответствии с одним вариантом осуществления;

- Фигура 4 изображает блок-схему последовательности операций способа оценки глубины для пикселей в матрице изображений фигуры 1 в соответствии с одним вариантом осуществления;

- Фигура 5 изображает переход от одного ракурса к другому ракурсу, соответствующим различным изображениям в матрице изображений фигуры 1, в соответствии с одним вариантом осуществления; и

- Фигура 6 изображает иллюстративное устройство, которое может использоваться для реализации способа фигуры 4.

ПОДРОБНОЕ ОПИСАНИЕ

На всех фигурах настоящего документа одинаковые числовые ссылочные позиции обозначают аналогичные элементы и этапы.

Опишем теперь со ссылкой на фигуру 1 матрицу 100mi изображений контента LF в соответствии с одним вариантом осуществления.

Матрица 100mi изображений содержит четыре изображения, захваченные одновременно, т.е. в заданный момент времени, системой захвата LF. В других вариантах осуществления матрица изображений содержит любое число изображений больше двух, которые были захвачены одновременно системой захвата LF.

Возвращаясь обратно к фигуре 1, каждое изображение матрицы 100mi изображений соответствует разному ракурсу одной и той же сцены. В этом смысле существует соответствие между изображениями и соответствующими ракурсами. Например, такая система захвата LF является массивом камер (или камерной установкой), и каждое изображение снимается отдельной камерой из массива камер. В других примерах система захвата LF является пленоптической камерой, и изображения, принадлежащие матрице изображений, являются субапертурными изображениями.

Среди изображений, принадлежащих матрице 100mi изображений, существует текущее изображение 100ci и текущий пиксель 100cp, принадлежащий текущему изображению 100ci. В дальнейшем мы полагаем, что глубина для текущего пикселя 100cp еще не была оценена, поэтому текущий пиксель 100cp был взят в качестве примера для подробного описания этапов способа оценки глубины для пикселей в соответствии с раскрытием, обсуждаемым ниже в со ссылкой на фигуру 4.

Теперь мы опишем со ссылкой на фигуру 2a множество 200pN наборов изображений 200N в соответствии с одним вариантом осуществления.

Каждый набор изображений 200N (также называемый «угловым участком») из множества 200pN содержит три различных изображения (изображенных темно-серым цветом), взятых из четырех изображений матрицы 100mi изображений.

Такой набор изображений 200N и такое множество 200pN наборов изображений 200N используется в способе оценки глубины для пикселей в соответствии с раскрытием, как обсуждается ниже со ссылкой на фигуру 4.

В настоящем варианте осуществления множество 200pN содержит четыре набора изображений 200N. В других вариантах осуществления способ оценки глубины для пикселей в соответствии с раскрытием основан на наборах изображений, содержащих число изображений, отличающееся от трех, и множество наборов изображений содержит число наборов изображений, отличающееся от четырех. Например, в варианте осуществления, изображенном на фигуре 2b, каждый набор изображений 200N’ из множества 200pN’ содержит два различных изображения (все также изображенные темно-серым цветом), взятых из четырех изображений матрицы 100mi изображений. Множество 200pN’ содержит шесть наборов изображений 200N’.

Теперь опишем со ссылкой на фигуру 3a множество 300pP пространственных участков пикселей 300P в соответствии с одним вариантом осуществления.

Каждый пространственный участок пикселей 300P из множества 300pP содержит восемь различных пикселей, взятых в окружении текущего пикселя 100cp в текущем изображении 100ci. Пространственные окружения, как правило, входят в состав квадратного пространственного участка с нечетной длиной стороны, центром которого является рассматриваемый текущий пиксель 100cp.

Такой набор пространственных участков пикселей 300P и такое множество 300pP пространственных участков пикселей 300P используются в некоторых вариантах осуществления способа для оценки глубины для пикселей в соответствии с раскрытием, как обсуждается ниже со ссылкой на фигуру 4.

В настоящем варианте осуществления множество 300pP содержит четыре пространственных участка пикселей 300P. В других вариантах осуществления способ оценки глубины для пикселей в соответствии с раскрытием использует пространственные участки пикселей, содержащие число пикселей, отличающееся от восьми, и множество пространственных участков пикселей содержит число пространственных участков пикселей, отличающееся от четырех. Например, в варианте осуществления, изображенном на фигуре 3b, каждый пространственный участок пикселей 300P’ из множества 300pP’ содержит семь различных пикселей, взятых в окружении текущего пикселя 100cp в текущем изображении 100ci. Множество 300pP’ содержит четырнадцать пространственных участков пикселей 300P’.

Теперь опишем со ссылкой на фигуру 4 этапы способа оценки глубины для пикселей в матрице 100mi изображений в соответствии с одним вариантом осуществления.

Способ оценки глубины для пикселей в матрице 100mi изображений содержит по меньшей мере для набора из N изображений, взятых из M изображений матрицы 100mi изображений (в варианте осуществления на фигуре 1, M=4. Однако, как обсуждалось выше, в настоящем способе может применяться любое значение M больше 2), и включающего в себя текущее изображение 100ci, где 2<N≤M, процесс, содержащий следующие этапы:

- на этапе S400 определяются карты глубины для изображений в наборе из N изображений, обеспечивающие набор из N карт глубины; и

- по меньшей мере для текущего пикселя 100cp в текущем изображении 100ci, для которого еще не была оценена глубина:

- на этапе S410 определяется, согласуется ли потенциальная глубина, соответствующая значению глубины, ассоциированному с текущим пикселем 100cp на карте глубины из набора из N карт глубины, с другой картой(ами) глубины из набора из N карт глубины; и

- на этапе S420 потенциальная глубина выбирается в качестве оцененной глубины для текущего пикселя 100cp, если потенциальная глубина определяется как согласованная с другой картой(ами) глубины из набора из N карт грубины.

Таким образом, оценка глубины текущего пикселя 100cp основана на итеративном процессе, задействующем различный набор изображений для каждой итерации. Следовательно, вся информация, доступная в матрице 100mi изображений, используется так, чтобы достигалась надежная оценка глубины даже при наличии окклюзий. Кроме того, для итераций процесса последовательно рассматриваются наборы изображений, содержащие уменьшающееся число изображений. Таким образом, первый раз, когда определяется, что глубина является согласующейся, соответствует глубине, оцененной на основании наибольшего числа изображений в контенте LF. В результате это обеспечивает более высокое качество.

В других вариантах осуществления этап S410 и этап S420 выполняются не только для текущего пикселя 100cp в текущем изображении 100ci, но и для каждого пикселя каждого изображения из набора из N изображений, для которых глубина еще не была оценена.

В других вариантах осуществления, в которых N<M и в которых набор из N изображений принадлежит множеству наборов из N изображений, взятых из M изображений текущего изображения 100ci, каждая итерация процесса выполняется для каждого набора из N изображений из множества наборов из N изображений. Таким образом, используется вся доступная информация в различных ракурсах, что приводит к улучшению оценок глубины. В некоторых вариантах осуществления множество наборов из N изображений содержит все наборы из N изображений, взятых из M изображений текущего изображения 100ci.

Возвращаясь к фигуре 4, для определения, согласуется ли потенциальная глубина текущего пикселя 100cp с другой картой(ами) глубины, этап S410 содержит этап S410a, в котором определяется геометрическая согласованность между потенциальной глубиной текущего пикселя 100cp и другой картой(ами) глубины из набора из N карт глубины. Критерий геометрической согласованности между ракурсами позволяет определить значение глубины, соответствующее согласованной реконструированной 3D сцене для всех рассматриваемых ракурсов.

Получение такой геометрической согласованности проиллюстрировано с помощью примера, изображенного на фигуре 5.

Только две камеры 501, 502 из четырех камер системы захвата LF, захватывающих матрицу 100mi изображений, изображены на фигуре 5. В частности, камера 501 захватывает текущее изображение 100ci, которое соответствует ракурсу номер

, а камера 502 захватывает другое изображение, чем текущее изображение 100ci в матрице 100mi изображений. Рассматриваемое другое изображение соответствует ракурсу номер

.

Пусть

будет координатами текущего пикселя 100cp в ракурсе

. Пусть

будет координатами соответствующей 3D точки 510 в базовой системе координат (coordinate system, CS), соответствующими потенциальной глубине, ассоциированной с текущим пикселем 100cp. Ее проекция на другом изображении, соответствующем ракурсу номер

, дает теоретическое местоположение 502tl с координатами

. Действительно, такая проекция, основанная, например, на модели камер 501, 502 с точечной диафрагмой, приводит к местоположению, которое может не совпадать в точности с пикселем рассматриваемого другого изображения. Интерполируя карту глубины другого изображения, соответствующего ракурсу номер

, можно вычислить соответствующую 3D точку 520 с координатами

и спроецировать ее обратно в ракурсе номер

, оказываясь в другом теоретическом местоположении 501atl с координатами

в текущем изображении 100ci.

Потенциальная глубина текущего пикселя 100cp определяется как согласованная, когда норма вектора

отклонения ниже, чем предварительно определенный порог, например:

.

Другими словами, в варианте осуществления на фигуре 4 этап S410a содержит:

- этап S410a1, в котором определяется теоретическое местоположение 502tl в другом изображении из набора из N изображений, чем текущее изображение 100ci. Теоретическое местоположение соответствует проекции на другом изображении точки 510 объекта, ассоциированной с текущим пикселем 100cp и с потенциальной глубиной;

- этап S410a2, в котором получается значение глубины, ассоциированное с теоретическим местоположением 502tl, основанное на карте глубины, ассоциированной с другим изображением в наборе из N карт глубины; и

- этап S410a3, в котором в текущем изображении 100ci определяется другое теоретическое местоположение 501atl, соответствующее проекции в текущем изображении 100ci другой точки 520 объекта, ассоциированной с теоретическим местоположением 502tl и значением глубины.

Потенциальная глубина текущего пикселя 100cp определяется как согласованная, когда расстояние в текущем изображении между текущим пикселем 100cp и другим теоретическим местоположением 501atl ниже предварительно определенного порога (например, предварительно определенный порог равен половине размера пикселя в текущем изображении).

В других вариантах осуществления, в которых N>3, этап S410a1 выполняется для всех других изображений из набора из N изображений, чем текущее изображение 100ci, обеспечивая соответствующий набор теоретических местоположений. Этап S410a2 выполняется для всех теоретических местоположений в наборе теоретических местоположений, обеспечивая соответствующий набор значений глубины. Этап S410a3 выполняется для всех теоретических местоположений в наборе теоретических местоположений и для всех соответствующих значений глубины в наборе значений глубины, обеспечивая набор других теоретических местоположений в текущих изображениях 100ci. Когда расстояние между текущим пикселем 100cp и другими теоретическими местоположениями ниже предварительно определенного порога, потенциальная глубина текущего пикселя 100cp определяется как согласованная. Таким образом согласованность основана на информации, присутствующей во всех изображениях матрицы изображений.

Возвращаясь к фигуре 4, этап S410 также содержит этап S410b, в котором определяется фотосогласованнось между текущим пикселем 100cp и теоретическим местоположением(ями) 502tl.

Например, фотометрическая согласованность может быть измерена с помощью среднеквадратичного отклонения цветового распределения в другом изображении(ях) в теоретическом местоположении(ях) 502tl:

где

является потенциальной глубиной, ассоциированной с текущим пикселем 100cp с координатами

в текущем изображении 100ci, соответствующем ракурсу номер

.

Геометрическая согласованность, определенная на этапе S410a, и фотосогласованность, определенная на этапе S410b, объединяются для определения, согласуется ли потенциальная глубина, ассоциированная с текущим пикселем 100cp, с другой картой(ами) глубины из набора из N карт глубины. Например, такое объединение основано на способе, предложенном в K. Wolff и др., “Point Cloud Noise and Outlier Removal for Image-Based 3D Reconstruction,” 2016 Fourth International Conference on 3D Vision (3DV), Стэнфорд, Калифорния, 2016, стр. 118-127.

В других вариантах осуществления используется только критерий геометрической согласованности для определения, согласуется ли потенциальная глубина текущего пикселя 100cp с другой картой(ами) глубины на этапе S410.

В других вариантах осуществления используется только критерий фотосогласованности для определения, согласуется ли потенциальная глубина текущего пикселя 100cp с другой картой(ами) глубины.

В других вариантах осуществления используется любой другой критерий согласованности между изображениями 100mi матрицы изображений для определения, согласуется ли потенциальная глубина текущего пикселя 100cp с другой картой(ами) глубины.

Возвращаясь к фигуре 4, для определения карт глубины для изображений в наборе из N изображений на этапе S400 применяется по меньшей мере для текущего пикселя 100cp метод сопоставления между:

- пространственным участком P пикселей текущего изображения 100ci, P≤Pmax, где Pmax является общим числом пикселей в текущем изображении 100ci, взятых в окружении текущего пикселя 100cp; и

- по меньшей мере проекцией пространственного участка P пикселей по меньшей мере в другом изображении, чем текущее изображение 100ci, в наборе из N изображений,

обеспечивая потенциальную глубину, ассоциированную с текущим пикселем 100cp в карте глубины, ассоциированной с текущим изображением 100ci. Этап S400 выполняется итеративно, каждая новая итерация этапа S400 выполняется с новым значением P, которое ниже, чем предыдущее значение P, используемое в предыдущей итерации этапа S400.

Таким образом определение карт глубины основано на использовании всей информации, доступной на изображениях контента LF. Кроме того, для последовательных итераций последовательно рассматриваются пространственные участки пикселей с уменьшающимся числом пикселей. Таким образом, первый раз, когда определяется значение глубины на карте глубины, соответствует значению глубины, определенному на основании наибольшего числа пикселей в изображениях контента LF. Это обеспечивает более высокое качество результата.

В одном варианте осуществления проекция пространственного участка из P пикселей по меньшей мере в другом изображении, чем текущее изображение 100ci, получается, например, с использованием того же самого механизма проецирования, основанного, например, на модели с точечной диафрагмой камер системы захвата LF, как раскрыто выше со ссылкой на фигуру 5. В некоторых вариантах осуществления, в которых P<Pmax, пространственный участок из P пикселей принадлежит множеству пространственных участков из P пикселей. Для данной итерации этапа S400 последовательно выполняется метод сопоставления для каждого пространственного участка из P пикселей, принадлежащих множеству пространственных участков из P пикселей, обеспечивая набор промежуточных значений глубины и соответствующий набор значений доверительных вероятностей, ассоциированных с текущим пикселем 100cp. Потенциальная глубина, ассоциированная с текущим пикселем 100cp на карте глубины, ассоциированной с текущим изображением 100ci, является промежуточным значением глубины с более высоким значением доверительной вероятности в наборе промежуточных значений глубины. В некоторых вариантах множество пространственных участков из P пикселей содержит все пространственные участки из P пикселей.

Таким образом, для данного размера участков пикселей, рассматриваемых для определения карт глубины, участок пикселей, обеспечивающий наилучший уровень доверительной вероятности, сохраняется для определения рассматриваемых карт глубины.

В некоторых вариантах осуществления с помощью метода сопоставления выполняется минимизация стоимостной функции

в соответствии с:

,

где

является картой глубины для текущего изображения 100ci, соответствующего ракурсу

, а

являются координатами текущего пикселя 100cp в текущем изображении 100ci.

В этом случае последовательное применение метода сопоставления дополнительно обеспечивает набор минимальных значений стоимостной функции

. В некоторых вариантах осуществления значение доверительной вероятности является функцией по меньшей мере следующего:

- минимального значения

в наборе минимальных значений, например, значение доверительной вероятности равно

; или

- комбинации минимального значения

и предпредпоследнего минимального значения

.

В некоторых вариантах осуществления стоимостная функция

является функцией нормы MSE («среднеквадратичной ошибки»), например:

,

где:

-

является рассматриваемым набором N изображений (или «угловым участком»), который содержит ракурс

;

-

является рассматриваемым пространственным участком из P пикселей, взятых в окружении текущего пикселя 100cp с координатами

;

-

является мощностью набора

; и

-

является нормой L2 (квадратным корнем суммы квадратов компонент);

и где

получается из

с помощью гомографии

между ракурсами

и

(например, с использованием того же самого механизма проецирования, основанного, например, на модели с точечной диафрагмой камер системы захвата LF, как раскрыто выше со ссылкой на фигуру 5).

является функцией нормы MAD («Mean Absolute Difference», т.е. «средней абсолютной разности»), например:

,

где

является нормой L1 (суммой абсолютных значений).

является функцией нормы ZNCC («Zero-mean Normalized Cross-correlation», т.е. «нормализованной взаимной корреляции с нулевым средним»), например:

,

где выполняется суммирование для трех компонент R, G и B, и где:

,

где

-

является средним для изображения

в пространственном участке

, взятом в окружении текущего пикселя 100cp с координатами

; и

-

является среднеквадратичным отклонением для изображения

в пространственном участке

.

Фигура 6 изображает структурные блоки конкретного варианта осуществления устройства 600, которое может использоваться для оценки глубины для пикселей в матрице изображений контента светового поля в соответствии с этим раскрытием (в соответствии с любым из вариантов осуществления, раскрытых выше).

В этом варианте осуществления устройство 600 для реализации раскрытого способа содержит энергонезависимую память 603 (например, память только для чтения (ROM) или жесткий диск), энергозависимую память 601 (например, оперативную память или RAM) и процессор 602. Энергонезависимая память 603 является машиночитаемым носителем долговременного хранения. Она хранит инструкции исполняемого программного кода, которые исполняются процессором 602 для реализации описанного выше способа (способ для оценки глубины для пикселей в матрице изображений контента светового поля) в его различных вариантах осуществления, раскрытых выше со ссылкой на фигуру 4.

После инициализации упомянутые выше инструкции программного кода передаются из энергонезависимой памяти 603 в энергозависимую память 601 для исполнения процессором 602. Энергозависимая память 601 аналогично включает в себя регистры для хранения переменных и параметров, необходимых для этого исполнения.

Все этапы упомянутого выше способа оценки глубины для пикселей в матрице изображений контента светового поля в соответствии с раскрытием могут быть реализованы одинаково хорошо:

• путем исполнения ряда инструкций программного кода, исполняемых перепрограммируемым компьютером, таким как устройство типа ПК, DSP (digital signal processor, цифровой сигнальный процессор) или микроконтроллер. Эти инструкции программного кода могут храниться в машиночитаемом носителе долговременного хранения, который может быть съемным (например, гибкий диск, CD-ROM или DVD-ROM) или несъемным; или

• с помощью специализированной машины или компонента, такого как FPGA (Field Programmable Gate Array, программируемая пользователем вентильная матрица), ASIC (Application-Specific Integrated Circuit, специализированная интегральная схема) или любого компонента специализированного оборудования.

Другими словами, раскрытие не ограничивается чисто программной реализацией в форме инструкций компьютерной программы, но оно может также быть реализовано в форме аппаратного обеспечения или любой форме, комбинирующей аппаратную часть и программную часть.

В соответствии с одним вариантом осуществления предложен способ оценки глубины для пикселей в матрице из M изображений контента светового поля, где M>2. Такой способ содержит по меньшей мере для одного набора из N изображений, взятых из M изображений, 2<N≤M, процесс, содержащий:

- определение карт глубины для изображений в наборе из N изображений, обеспечивающих набор из N карты глубины; и

- для по меньшей мере одного текущего пикселя в текущем изображении из набора из N изображений:

- определение, согласуется ли потенциальная глубина, соответствующая значению глубины, ассоциированному с текущим пикселем в карте глубины из набора из N карт глубины, с другой картой(ами) глубины из набора из N карт глубины; и

- выбор потенциальной глубины в качестве оцененной глубины для текущего пикселя, если потенциальная глубина определена как согласованная с другой картой(ами) глубины из набора из N карт глубины.

Таким образом настоящее раскрытие предлагает новое изобретательское решение для оценки глубины пикселей в контенте светового поля (light field, LF) с гарантированной согласованностью.

В частности, оценка глубины пикселей основана на итеративном процессе, задействующем другой набор изображений (также называемый угловым участком) для каждой итерации. Таким образом, используется вся информация, доступная в матрице изображений контента LF, в результате чего обеспечивается надежная оценка глубины даже при наличии окклюзий.

Кроме того, для итераций процесса последовательно рассматривают наборы изображений, содержащие уменьшающееся число изображений. Таким образом, первый раз, когда глубина определяется как согласованная, соответствует глубине, оцененной на основании наибольшего числа изображений в контенте LF. Это позволяет обеспечить более высокое качество результата.

В соответствии с одним вариантом осуществления предложено устройство для оценки глубины для пикселей в матрице из M изображений контента светового поля, где M>2. Такое устройство содержит процессор или специализированный компьютер, выполненный с возможностью, по меньшей мере для одного набора из N изображений, взятых из M изображений, 2<N≤M, выполнения процесса, содержащего:

- определение карт глубины для изображений в наборе из N изображений, обеспечивающих набор из N карт глубины; и

- выбор потенциальной глубины в качестве оцененной глубины для текущего пикселя, если определено, что потенциальная глубина согласуется с другой картой(ами) глубины из набора из N карт глубины.

В соответствии с одним вариантом осуществления определение, является ли потенциальная глубина текущего пикселя согласованной или нет, и выбор глубины текущего пикселя выполняется для каждого пикселя каждого изображения из набора из N изображений, для которых еще не была оценена глубина.

В соответствии с одним вариантом осуществления N<M, и набор из N изображений принадлежит множеству наборов из N изображений, взятых из M изображений. Каждая итерация процесса выполняется для каждого набора из N изображений.

В соответствии с одним вариантом осуществления множество наборов из N изображений содержит все наборы из N изображений, взятых из M изображений.

В соответствии с одним вариантом осуществления определение, является ли потенциальная глубина текущего пикселя согласованной или нет, содержит определение геометрической согласованности между потенциальной глубиной текущего пикселя и другой картой(ами) глубины из набора из N карт глубины.

Таким образом, критерий геометрической согласованности между ракурсами позволяет определять значение глубины, соответствующее согласованной реконструированной 3D сцене для всего рассматриваемого ракурса.

В соответствии с одним вариантом осуществления определение геометрической согласованности содержит:

- определение теоретического местоположения в другом изображении из набора из N изображений, чем текущее изображение, это теоретическое местоположение соответствует проекции точки объекта в другом изображении, ассоциированной с текущим пикселем и потенциальной глубиной;

- получение значения глубины, ассоциированного с теоретическим местоположении, на основании карты глубины, ассоциированной с другим изображением в наборе из N карт глубины; и

- определение в текущем изображении другого теоретического местоположения, соответствующего проекции в текущем изображении другой точки объекта, ассоциированной с теоретическим местоположением и со значением глубины;

потенциальная глубина текущего пикселя определяется как согласованная, когда расстояние в текущем изображении между текущим пикселем и другим теоретическим местоположением ниже предварительно определенного порога.

В соответствии с одним вариантом осуществления N>3. Определение теоретического местоположения в другом изображении выполняется для всех других изображений из набора из N изображений, чем текущее изображение, обеспечивая соответствующий набор теоретических местоположений. Получение значения глубины, ассоциированного с теоретическим местоположением, выполняется для всех теоретических местоположений в наборе теоретических местоположений, обеспечивая соответствующий набор значений глубины. Определение в текущем изображении другого теоретического местоположения осуществляется для всех теоретических местоположений в наборе теоретических местоположений и для всех ассоциированных значений глубины в наборе значений глубины, обеспечивая набор других теоретических местоположений в текущих изображениях, потенциальная глубина текущего пикселя определяется как согласованная, когда расстояние между текущим пикселем и другими теоретическими местоположениями ниже предварительно определенного порога (например, предварительно определенный порог в два раза меньше размера пикселя в текущем изображении).

В соответствии с одним вариантом осуществления определение, является ли потенциальная глубина текущего пикселя согласованной, содержит определение фотосогласованности между текущим пикселем и теоретическим местоположением(ями).

В соответствии с одним вариантом осуществления определение карт глубины для изображений в наборе из N изображений обеспечивает выполнение, по крайней мере для текущего пикселя, метода сопоставления между:

- пространственным участком из P пикселей текущего изображения, P≤Pmax, где Pmax является общим числом пикселей в текущем изображении, взятом в окружении текущего пикселя; и

- по меньшей мере проекцией пространственного участка из P пикселей по меньшей мере в другом изображении, чем текущее изображение, в наборе N изображений,

обеспечивая потенциальную глубину, ассоциированную с текущим пикселем в карте глубины, ассоциированной с текущим изображением. Определение карт глубины выполняется итеративно, каждая новая итерация определения карт глубины выполняется с новым значением P, которое ниже, чем предыдущее значение P, используемое в предыдущей итерации определения карт глубины.

Таким образом определение карт глубины на основании итеративного процесса задействует для каждой итерации различный пространственный участок пикселей, тем самым позволяя использовать всю информацию, доступную в изображениях контента LF.

Кроме того, для последовательных итераций последовательно рассматриваются пространственные участки пикселей с уменьшающимся числом пикселей. Таким образом, первый раз, когда определяется значение глубины в карте глубины, соответствует значению глубины, определенному на основании самого большого числа пикселей в изображениях контента LF. Это обеспечивает более высокое качество результата.

В соответствии с одним вариантом осуществления P<Pmax и пространственный участок из P пикселей принадлежит множеству пространственных участков из P пикселей. Для данной итерации определения карт глубины последовательно применяется метод сопоставления для каждого пространственного участка из P пикселей, принадлежащих множеству пространственных участков из P пикселей, обеспечивая набор промежуточных значений глубины и соответствующий набор значений доверительной вероятности, ассоциированных с текущим пикселем, потенциальная глубина, ассоциированная с текущим пикселем в карте глубины, ассоциированной с текущим изображением, является промежуточным значением глубины с более высоким значением доверительной вероятности в наборе промежуточных значений глубины.

В соответствии с одним вариантом осуществления множество пространственных участков из P пикселей содержит все пространственные участки из P пикселей.

В соответствии с одним вариантом осуществления метод сопоставления обеспечивает минимизацию стоимостной функции. Последовательное применение метода сопоставления дополнительно обеспечивает набор минимальных значений стоимостной функции, значение доверительной вероятности, являющееся функцией по меньшей мере:

- минимального значения в наборе минимальных значений; или

- комбинации минимального значения и по меньшей мере предпредпоследнего минимального значения в наборе минимальных значений.

В соответствии с одним вариантом осуществления стоимостная функция является функцией нормы, принадлежащей группе, содержащей:

- среднеквадратичную ошибку;

- среднюю абсолютную разность; или

- нормализованную взаимную корреляцию с нулевым средним.

В соответствии с одним вариантом осуществления предложен машиночитаемый носитель долговременного хранения, содержащий компьютерный программный продукт, записанный на нем и который может исполняться процессором, включающий в себя инструкции программного кода, содержащие инструкции программного кода для реализации способа оценки глубины для пикселей в матрице из M изображений контента светового поля, описанного ранее.

Claims

1. Способ оценки глубины для пикселей в матрице из M изображений контента светового поля, где M>2, содержащий по меньшей мере для одного набора из N изображений, взятых из упомянутых M изображений, 2<N≤M, процесс, содержащий этапы, на которых:

- определяют карты глубины для изображений в упомянутом наборе из N изображений, обеспечивая набор из N карт глубины; и

- по меньшей мере для одного текущего пикселя в текущем изображении из упомянутого набора из N изображений:

- определяют, согласуется ли потенциальная глубина, соответствующая значению глубины, ассоциированному с упомянутым текущим пикселем в карте глубины из упомянутого набора из N карт глубины, с другой картой(ами) глубины из упомянутого набора из N карт глубины; и

- выбирают упомянутую потенциальную глубину в качестве оцененной глубины для упомянутого текущего пикселя, если упомянутая потенциальная глубина определена как согласованная с другой картой(ами) глубины из упомянутого набора из N карт глубины.

2. Устройство для оценки глубины для пикселей в матрице M изображений контента светового поля, где M>2, содержащее процессор или специализированный компьютер, выполненный с возможностью по меньшей мере для одного набора из N изображений, взятых из упомянутых M изображений, 2<N≤M, выполнения процесса, содержащего этапы, на которых:

- для по меньшей мере одного текущего пикселя в текущем изображении из упомянутого набора из N изображений:

- выбирают упомянутую потенциальную глубину в качестве оцененной глубины для упомянутого текущего пикселя, если определено, что упомянутая потенциальная глубина согласуется с другой картой(ами) глубины из упомянутого набора из N карт глубины.

3. Способ по п. 1, в котором N<M, и упомянутый набор из N изображений принадлежит множеству наборов из N изображений, взятых из упомянутых M изображений,

и при этом каждая итерация упомянутого процесса выполняется для каждого набора из N изображений.

4. Способ по п. 1 или 3, в котором упомянутое определение, является ли потенциальная глубина упомянутого текущего пикселя согласованной, содержит определение геометрической согласованности между упомянутой потенциальной глубиной упомянутого текущего пикселя и упомянутой другой картой(ами) глубины из упомянутого набора из N карт глубины.

5. Способ по п. 4, в котором упомянутое определение геометрической согласованности содержит этапы, на которых:

- определяют теоретическое местоположение в другом изображении из упомянутого набора из N изображений, чем упомянутое текущее изображение, упомянутое теоретическое местоположение соответствует проекции в упомянутом другом изображении точки объекта, ассоциированной с упомянутым текущим пикселем и упомянутой потенциальной глубиной;

- получают значение глубины, ассоциированное с упомянутым теоретическим местоположением, на основании карты глубины, ассоциированной с упомянутым другим изображением в упомянутом наборе из N карт глубины; и

- определяют в упомянутом текущем изображении другое теоретическое местоположение, соответствующее проекции в упомянутом текущем изображении другой точки объекта, ассоциированной с упомянутым теоретическим местоположением и с упомянутым значением глубины;

упомянутая потенциальная глубина упомянутого текущего пикселя определяется как согласованная, когда расстояние в упомянутом текущем изображении между упомянутым текущим пикселем и упомянутым другим теоретическим местоположением меньше предварительно определенного порога.

6. Способ по п. 5, в котором N>3,

в котором упомянутый этап, на котором определяют теоретическое местоположение в другом изображении, выполняется для всех других изображений из упомянутого набора из N изображений, чем упомянутое текущее изображение, обеспечивая соответствующий набор теоретических местоположений,

в котором упомянутый этап, на котором получают значение глубины, ассоциированное с упомянутым теоретическим местоположением, выполняется для всех теоретических местоположений в упомянутом наборе теоретических местоположений, обеспечивая соответствующий набор значений глубины,

и в котором упомянутое определение в упомянутом текущем изображении другого теоретического местоположения выполняется для всех теоретических местоположений в упомянутом наборе теоретических местоположений и для всех ассоциированных значений глубины в упомянутом наборе значений глубины, обеспечивая набор других теоретических местоположений в упомянутых текущих изображениях,

упомянутая потенциальная глубина упомянутого текущего пикселя определяется как согласованная, когда расстояние между упомянутым текущим пикселем и упомянутыми другими теоретическими местоположениями меньше упомянутого предварительно определенного порога.

7. Способ по любому из пп. 4-6, в котором упомянутый этап, на котором определяют, является ли потенциальная глубина упомянутого текущего пикселя согласованной, дополнительно содержит определение фотосогласованности между упомянутым текущим пикселем и упомянутым теоретическим местоположением(ями).

8. Способ по п. 1 или по любому из пп. 3-7, в котором упомянутый этап, на котором определяют карты глубины для изображений в упомянутом наборе из N изображений, обеспечивает выполнение, по меньшей мере для упомянутого текущего пикселя, метода сопоставления между:

- пространственным участком из P пикселей упомянутого текущего изображения, P≤Pmax, где Pmax является общим числом пикселей в текущем изображении, взятом в окружении упомянутого текущего пикселя; и

- по меньшей мере проекцией упомянутого пространственного участка из P пикселей по меньшей мере в другом изображении, чем упомянутое текущее изображение в упомянутом наборе из N изображений,

обеспечивая упомянутую потенциальную глубину, ассоциированную с упомянутым текущим пикселем в карте глубины, ассоциированной с упомянутым текущим изображением,

при этом упомянутый этап, на котором определяют карты глубины, выполняется итеративно, каждая новая итерация упомянутого определения карт глубины выполняется с новым значением P, которое меньше, чем предыдущее значение P, использованное в предыдущей итерации упомянутого определения карт глубины.

9. Способ по п. 8, в котором P<Pmax и упомянутый пространственный участок из P пикселей принадлежит множеству пространственных участков из P пикселей

и в котором для данной итерации упомянутого определения карт глубины последовательно выполняется упомянутый метод сопоставления для каждого пространственного участка из P пикселей, принадлежащих упомянутому множеству пространственных участков из P пикселей, обеспечивая набор промежуточных значений глубины и соответствующий набор значений доверительной вероятности, ассоциированных с упомянутым текущим пикселем,

упомянутая потенциальная глубина, ассоциированная с упомянутым текущим пикселем в упомянутой карте глубины, ассоциированной с упомянутым текущим изображением, является промежуточным значением глубины с более высоким значение доверительной вероятности в упомянутом наборе промежуточных значений глубины.

10. Способ по п. 9, в котором упомянутый метод сопоставления выполняет минимизацию стоимостной функции и в котором упомянутое последовательное выполнение упомянутого метода сопоставления дополнительно обеспечивает набор минимальных значений упомянутой стоимостной функции, упомянутое значение доверительной вероятности является функцией по меньшей мере:

- минимального значения в упомянутом наборе минимальных значений или

- комбинации упомянутого минимального значения и по меньшей мере предпредпоследнего минимального значения в упомянутом наборе минимальных значений.

11. Машиночитаемый носитель долговременного хранения, хранящий инструкции программного кода, исполняемые процессором для реализации этапов способа в соответствии по меньшей мере с одним из пп. 1 или 3-9 и 13.

12. Способ по п. 1, в котором упомянутый процесс выполняется итеративно, каждая новая итерация упомянутого процесса выполняется с новым значением N, которое ниже, чем предыдущее значение N, использованное в предыдущей итерации упомянутого процесса.

13. Устройство по п. 2, в котором упомянутый процесс выполняется итеративно, каждая новая итерация упомянутого процесса выполняется с новым значением N, которое ниже, чем предыдущее значение N, использованное в предыдущей итерации упомянутого процесса

14. Устройство по п. 2, в котором N<M и упомянутый набор N изображений принадлежат множеству наборов из N изображений, взятых из упомянутых M изображений,

и в котором каждая итерация упомянутого процесса выполняется для каждого набора из N изображений.

15. Устройство по п. 2, в котором упомянутое определение, является ли потенциальная глубина упомянутого текущего пикселя согласованной, содержит определение геометрической согласованности между упомянутой потенциальной глубиной упомянутого текущего пикселя и упомянутой другой картой(ами) глубины из упомянутого набора из N карт глубины.

16. Устройство по п. 2, в котором упомянутое определение геометрической согласованности содержит:

- определение теоретического местоположения в другом изображении из упомянутого набора из N изображений, чем упомянутое текущее изображение, упомянутое теоретическое местоположение соответствует проекции в упомянутом другом изображении точки объекта, ассоциированной с упомянутым текущим пикселем и упомянутой потенциальной глубиной;

- получение значения глубины, ассоциированного с упомянутым теоретическим местоположением, на основании карты глубины, ассоциированной с упомянутым другим изображением в упомянутом наборе из N карт глубины; и

- определение в упомянутом текущем изображении другого теоретического местоположения, соответствующего проекции в упомянутом текущем изображении другой точки объекта, ассоциированной с упомянутым теоретическим местоположением и с упомянутым значением глубины;

17. Устройство по п. 2, в котором N>3,

в котором упомянутое определение теоретического местоположения в другом изображении выполняется для всех других изображений из упомянутого набора из N изображений, чем упомянутое текущее изображение, обеспечивая соответствующий набор теоретических местоположений,

в котором упомянутое получение значения глубины, ассоциированного с упомянутым теоретическим местоположением, выполняется для всех теоретических местоположений в упомянутом наборе теоретических местоположений, обеспечивая соответствующий набор значений глубины,

18. Устройство по п. 2, в котором упомянутое определение, является ли потенциальная глубина упомянутого текущего пикселя согласованной, дополнительно содержит определение фотосогласованности между упомянутым текущим пикселем и упомянутым теоретическим местоположением(ями).

19. Устройство по п. 2, в котором упомянутое определение карт глубины для изображений в упомянутом наборе из N изображений обеспечивает выполнение по меньшей мере для упомянутого текущего пикселя метода сопоставления между:

20. Устройство по п. 2, в котором P<Pmax и упомянутый пространственный участок из P пикселей принадлежит множеству пространственных участков из P пикселей