RU2746344C2 - Способ и устройство для кодирования сигнала, представляющего содержимое светового поля - Google Patents

Способ и устройство для кодирования сигнала, представляющего содержимое светового поля Download PDF

Info

Publication number
RU2746344C2
RU2746344C2 RU2017121569A RU2017121569A RU2746344C2 RU 2746344 C2 RU2746344 C2 RU 2746344C2 RU 2017121569 A RU2017121569 A RU 2017121569A RU 2017121569 A RU2017121569 A RU 2017121569A RU 2746344 C2 RU2746344 C2 RU 2746344C2
Authority
RU
Russia
Prior art keywords
parameters
light
pixel
light field
sensor
Prior art date
Application number
RU2017121569A
Other languages
English (en)
Other versions
RU2017121569A3 (ru
RU2017121569A (ru
Inventor
Поль КЕРБИРИУ
Дидье ДУАЕН
Себастьен ЛАССЕРР
Original Assignee
Интердиджитал Се Пэйтент Холдингз
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Интердиджитал Се Пэйтент Холдингз filed Critical Интердиджитал Се Пэйтент Холдингз
Publication of RU2017121569A publication Critical patent/RU2017121569A/ru
Publication of RU2017121569A3 publication Critical patent/RU2017121569A3/ru
Application granted granted Critical
Publication of RU2746344C2 publication Critical patent/RU2746344C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении кодирования с передаваемыми параметрами, которые не зависят от оптической системы сбора, используемой для сбора содержимого светового поля, предназначенного для передачи и обработки принимающим устройством. Компьютеризованный способ для кодирования сигнала, представляющего содержимое светового поля, в котором получают содержимое светового поля для по меньшей мере одного пикселя датчика, при этом свет, воспринимаемый пикселем датчика, представлен по меньшей мере первым набором параметров, кодируют для по меньшей мере одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем, путем группировки соответствующих параметров, при этом параметры из первого набора параметров отображаются на датчике таким образом, что они могут появляться как изображения, и обеспечивают второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров, как отображено на датчике, при этом второй набор параметров содержит по меньшей мере параметры, относящиеся к множеству лучей света, попадающих на плоскость, используемую для получения первого набора параметров. 3 н. и 6 з.п. ф-лы, 8 ил., 4 табл.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение имеет отношение к передаче наборов данных и метаданных и, более конкретно, к передаче содержимого световых полей.
УРОВЕНЬ ТЕХНИКИ
Сбор четырехмерных или 4D данных светового поля, что можно рассматривать как выборку 4D светового поля, т.е. запись световых лучей, объясняется в статье "Understanding camera trade-offs through a Bayesian analysis of light field projections" ("Представления о плюсах и минусах камеры на основе байесовского анализа проекций светового поля"), авторов Анат Левин (Anat Levin) и др., которая была опубликована в материалах конференции ECCV 2008.
По сравнению с классическими двумерными или 2D изображениями, полученными с камеры, 4D данные светового поля дают пользователю возможность получить доступ к большему количеству средств последующей обработки, которые улучшают визуализацию изображений и интерактивное взаимодействие с пользователем. Например, с учетом 4D данных светового поля, можно выполнить перефокусировку изображений со свободно выбранными расстояниями фокусирования, то есть положение фокальной плоскости может быть задано/выбрано эмпирически, а также немного изменить точку обзора в сцене изображения.
Существует несколько методов представления 4D данных светового поля. Так, в Главе 3.3 докторской диссертации, озаглавленной " Digital Light Field Photography " ("Цифровая Фотография Светового Поля", автора Рен Энджи (Ren Ng), опубликованной в июле 2006, описаны три разных метода представления 4D данных светового поля. Во-первых, 4D данные светового поля могут быть представлены, при записи пленоптической камерой, посредством совокупности изображений микролинз. 4D данные светового поля в этом представлении называют первичными изображениями или первичными 4D данными светового поля. Во-вторых, 4D данные светового поля могут быть представлены, при записи либо пленоптической камерой, либо массивом камер, посредством набора субапертурных изображений. Субапертурное изображение соответствует захваченному изображению сцены из точки обзора, причем точка обзора несколько отличается между двумя субапертурными изображениями. Эти субапертурные изображения дают информацию о параллаксе и глубине изображаемой сцены. В-третьих, 4D данные светового поля могут быть представлены с помощью набора эпиполярных изображений, см. например статью, озаглавленную: "Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera" ("Генерирование EPI-Представления 4D Световых Полей Фокусируемой Пленоптической Камерой с Одним Объективом"), автора С. Ваннер (S. Wanner) и др., опубликованную в материалах конференции ISVC 2011.
Данные светового поля занимают большие объемы пространства для хранения, что делает хранение проблематичным, а обработку менее эффективной. Помимо этого, устройства сбора светового поля чрезвычайно неоднородны. Камеры светового поля имеют разные типы, например, пленоптические или массивы камер. В рамках каждого типа есть много различий, таких как разные оптические схемы или микролинзы с разными фокусными расстояниями. Каждая камера имеет свой собственный закрытый формат файлов. В настоящее время нет стандарта, поддерживающего сбор и передачу многомерной информации, для исчерпывающего общего описания разных параметров, от которых зависит световое поле. Поскольку собранные данные светового поля от разных камер имеют разнородность форматов, на стороне принимающего устройства порождается сложная обработка.
Настоящее изобретение было разработано с учетом вышеизложенного.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Согласно первому аспекту настоящего изобретения, предоставляется компьютеризованный способ для кодирования сигнала, представляющего содержимое светового поля, причем упомянутый способ содержит этапы, на которых:
- кодируют, по меньшей мере, для одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем,
- кодируют второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров.
Параметры, передаваемые согласно способу кодирования в соответствии с вариантом осуществления настоящего изобретения, не зависят от оптической системы сбора, используемой для сбора содержимого светового поля, предназначенного для передачи и обработки принимающим устройством.
В способе согласно варианту осуществления настоящего изобретения параметры, представляющие лучи света, воспринимаемые разными пикселями датчика оптической системы сбора, т.е. параметры из первого набора параметров, отображаются на датчике. Таким образом, эти параметры могут рассматриваться как снимок. Например, когда луч света, воспринимаемый пикселем оптической системы сбора, представляется четырьмя параметрами, параметры, представляющие лучи света, воспринимаемые пикселями датчика оптической системы сбора, группируются в четыре снимка.
Такие снимки могут кодироваться и передаваться в соответствии со стандартами видеоданных, такими как MPEG-4 часть 10 AVC (также называемый h264), h265/HEVC или их вероятный преемник h266, и передаваться в объединенном битовом потоке видеоданных. Второй кодированный набор может кодироваться с использованием сообщений информации для дополнительной оптимизации (SEI - Supplemental enhancement information). Формат, определяемый в способе согласно варианту осуществления настоящего изобретения, дает возможность сильного сжатия данных, подлежащих передаче, без внесения сильно выраженной ошибки (кодирование без потерь) или ограниченного количества ошибок (кодирование с потерями).
Способ согласно варианту осуществления настоящего изобретения не ограничивается данными светового поля, непосредственно собранными оптическим устройством. Этими данными может быть изображение компьютерной графики (CGI - Computer Graphics Image), которое полностью или частично моделируется компьютером для описания заданной сцены. Другим источником данных светового поля могут быть произведенные впоследствии данные, которые модифицированы, к примеру, отсортированы по цвету, данные светового поля, полученные из оптического устройства или CGI. В киноиндустрии сейчас также широко распространены данные, которые представляют собой сочетание как данных, собранных с использованием оптического устройства сбора, так и данных CGI. Следует понимать, что пиксель датчика может быть смоделирован системой машинно-генерируемых сцен и, если обобщить, весь датчик может быть смоделирован упомянутой системой. Отсюда следует, что любая отсылка к "пикселю датчика" или "датчику" может подразумевать либо физический объект, прикрепленный к оптическому устройству сбора, либо моделируемый элемент, полученный с помощью системы машинно-генерируемых сцен.
Согласно варианту осуществления способа кодирования, упомянутый способ кодирования дополнительно содержит этап, на котором:
- кодируют третий набор параметров, представляющих данные о цвете, соотнесенные с лучом света, представленным упомянутым первым набором параметров.
Согласно варианту осуществления способа кодирования, по меньшей мере, один параметр из первого набора параметров представляет расстояние между координатой упомянутого луча света и эмпирической плоскостью, подобранной по набору координат множества лучей света, воспринимаемых множеством пикселей оптической системы сбора, и, по меньшей мере, один параметр из второго набора параметров представляет координаты этой эмпирической плоскости.
Кодирование расстояния между координатой луча света и эмпирической плоскостью, подобранной по набору координат множества лучей света, воспринимаемых разными пикселями датчика, позволяет сжимать подлежащие передаче данные, поскольку амплитуда между разными значениями вычисленных расстояний обычно ниже, чем амплитуда между разными значениями координат.
Согласно варианту осуществления способа кодирования, по меньшей мере, один параметр из первого набора параметров представляет:
- разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый другим пикселем, предшествующим упомянутому пикселю в строке датчика, или
- когда упомянутый пиксель является первым пикселем строки датчика, разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый первым пикселем строки, предшествующей строке, которой принадлежит упомянутый пиксель.
Значение, представляющее луч света, может быть либо координатами, представляющими луч света, либо расстоянием между координатами или эмпирическими плоскостями, подобранными по наборам координат множества лучей света, воспринимаемых разными пикселями датчика.
Это дает возможность сжимать данные, уменьшая амплитуду между разными значениями подлежащих передаче параметров.
Согласно варианту осуществления способа кодирования, для кодирования параметров из первого набора параметров используются независимые средства кодирования-декодирования.
Согласно варианту осуществления способа кодирования, когда второй набор параметров содержит параметр, указывающий, что первый набор параметров не изменялся после последней передачи первого набора параметров, передается только упомянутый второй набор параметров.
Это дает возможность уменьшить объем данных, подлежащих передаче на устройства декодирования.
Согласно варианту осуществления способа кодирования, данные светового поля состоят из последовательности подмножеств данных светового поля. К примеру, подмножества временно индексируются для того, чтобы представлять динамическую или движущуюся сцену. Как правило, элемент (или подмножество) последовательности называют кадром. При этом условии скорость передачи, обычно характеризуемая, но не ограничиваясь этим, количеством кадров в секунду, сигнала, представляющего световое содержимое, выше, чем скорость передачи кодированного первого набора параметров и кодированного второго набора параметров.
Это дает возможность уменьшить объем данных, подлежащих передаче на устройства декодирования.
Другая задача настоящего изобретения касается устройства для кодирования сигнала, представляющего содержимое светового поля, содержащего обрабатывающее устройство, выполненное с возможностью:
- кодирования, по меньшей мере, для одного пикселя датчика, первого набора параметров, представляющих луч света, воспринимаемый упомянутым пикселем,
- кодирования второго набора параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров.
Другой аспект настоящего изобретения касается компьютеризованного способа для декодирования сигнала, представляющего содержимое светового поля, причем упомянутый способ содержит этапы, на которых:
- декодируют, по меньшей мере, для одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем,
- декодируют второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров,
- реконструируют содержимое светового поля на основании декодированного первого набора параметров и декодированного второго набора параметров.
Согласно варианту осуществления способа декодирования, упомянутый способ декодирования дополнительно содержит этапы, на которых:
- декодируют третий набор параметров, представляющих данные о цвете, соотнесенные с лучом света, представленным упомянутым первым набором параметров,
- реконструируют содержимое светового поля на основании декодированного третьего набора параметров в сочетании с декодированным первым набором параметров и декодированным вторым набором параметров.
Другой аспект настоящего изобретения касается устройства для декодирования сигнала, представляющего содержимое светового поля, содержащего обрабатывающее устройство, выполненное с возможностью:
- декодирования, по меньшей мере, для одного пикселя датчика, первого набора параметров, представляющих луч света, воспринимаемый упомянутым пикселем,
- декодирования второго набора параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров,
- реконструкции содержимого светового поля на основании декодированного первого набора параметров и декодированного второго набора параметров.
Другой аспект настоящего изобретения касается сигнала, передаваемого устройством для кодирования сигнала, представляющего содержимое светового поля, на устройство для декодирования упомянутого сигнала, представляющего содержимое световое поле, причем упомянутый сигнал несет сообщение, содержащее:
- первый набор параметров, представляющих луч света, воспринимаемый, по меньшей мере, одним пикселем датчика,
- второй набор параметров, предназначенный для использования при реконструкции содержимого светового поля из первого набора параметров,
- при этом реконструкция содержимого светового поля устройством декодирования основывается на декодированном первом наборе параметров и декодированном втором наборе параметров.
Некоторые технологические процессы, реализуемые элементами настоящего изобретения, могут быть компьютеризованными. Соответственно, такие элементы могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя встроенное программное обеспечение, резидентное программное обеспечение, набор микрокоманд, и т.д.) или варианта осуществления, сочетающего программные и аппаратные аспекты, которые все в целом могут упоминаться в данном документе как "контур", "модуль" или "система". Кроме того, такие элементы могут принимать форму компьютерного программного продукта, воплощенного в любой материальной среде выражения, имеющей пригодный для использования с компьютером программный код, воплощенный в этой среде.
Поскольку элементы настоящего изобретения могут быть реализованы в программном обеспечении, настоящее изобретение может быть воплощено в виде машиночитаемого кода для предоставления на программируемое оборудование на любой подходящей несущей среде. Материальная несущая среда может содержать носитель данных, такой как гибкий диск, CD-ROM, накопитель на жестких дисках, магнитное ленточное устройство или твердотельное запоминающее устройство, и тому подобное. Кратковременная несущая среда может включать в себя сигнал, такой как электрический сигнал, электронный сигнал, оптический сигнал, акустический сигнал, магнитный сигнал или электромагнитный сигнал, например сверхвысокочастотный или РЧ сигнал.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Далее будут описаны варианты осуществления настоящего изобретения, только в качестве примера, и со ссылкой на следующие чертежи, на которых:
Фиг. 1 является структурной схемой устройства с камерой светового поля в соответствии с вариантом осуществления настоящего изобретения;
Фиг. 2 является структурной схемой, иллюстрирующей конкретный вариант осуществления потенциально возможной реализации модуля форматирования данных светового поля,
Фиг. 3 иллюстрирует луч света, проходящий через две опорные плоскости P 1 и P 2 , используемые для параметризации,
Фиг. 4 иллюстрирует луч света, проходящий через опорную плоскость P 3 , находящуюся на известных глубинах z 3 ,
Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей этапы способа для форматирования данных светового поля согласно варианту осуществления настоящего изобретения,
Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей этапы способа для форматирования данных светового поля согласно варианту осуществления настоящего изобретения,
Фиг. 7 представляет карты сопоставления
Figure 00000001
, карты сопоставления
Figure 00000002
или карты сопоставления
Figure 00000003
при передаче на принимающее устройство с использованием четырех независимых монохромных средств кодирования-декодирования,
Фиг. 8 представляет карты сопоставления
Figure 00000001
, карты сопоставления
Figure 00000002
или карты сопоставления
Figure 00000003
при группировании по одному изображению.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Как будет понятно специалисту в данной области техники, аспекты настоящих принципов могут быть воплощены в виде системы, способа или машиночитаемой среды. Соответственно, аспекты настоящих принципов могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя встроенное программное обеспечение, резидентное программное обеспечение, набор микрокоманд, и т.д.) или варианта осуществления, сочетающего программные и аппаратные аспекты, которые все в целом могут упоминаться в данном документе как "контур", "модуль" или "система". Кроме того, аспекты настоящих принципов могут принимать форму машиночитаемого носителя данных. Может использоваться любая комбинация одного или нескольких машиночитаемых носителей данных.
Варианты осуществления настоящего изобретения обеспечивают форматирование данных светового поля для приложений дополнительной обработки, таких как преобразование формата, перефокусировка, изменение точки обзора, и т.д. Предлагаемое форматирование дает возможность правильной и легкой реконструкции данных светового поля на принимающей стороне для их обработки. Преимущество предлагаемого формата состоит в том, что он не зависит от устройства, используемого для сбора данных светового поля.
Фиг. 1 является структурной схемой устройства с камерой светового поля в соответствии с вариантом осуществления настоящего изобретения. Камера светового поля содержит диафрагму/затвор 102, главную (объективную) линзу 101, массив 110 микролинз и массив фотодатчиков. В некоторых вариантах осуществления камера светового поля включает в себя спуск затвора, который активируется для захвата изображения светового поля объекта или сцены.
Массив 120 фотодатчиков обеспечивает данные изображения светового поля, которые собраны модулем 140 сбора данных СП, для генерирования формата данных светового поля модулем 150 форматирования данных светового поля и/или для обработки устройством 155 обработки данных светового поля. Данные светового поля могут сохраняться, после сбора и после обработки, в памяти 190 в формате первичных данных, в виде субапертурных изображений или фокальных стеков, или в формате данных светового поля в соответствии с вариантами осуществления настоящего изобретения.
В проиллюстрированном примере модуль 150 форматирования данных светового поля и устройство 155 обработки данных светового поля размещаются в камере 100 светового поля или интегрируются в нее. В других вариантах осуществления настоящего изобретения модуль 150 форматирования данных светового поля и/или устройство 155 обработки данных светового поля могут быть предусмотрены в отдельном компоненте, внешнем по отношению к камере захвата светового поля. Отдельный компонент может быть локальным или удаленным относительно устройства захвата изображения светового поля. Следует понимать, что любой подходящий проводной или беспроводной протокол может использоваться для передачи данных изображения светового поля на модуль 150 форматирования или устройство 155 обработки данных светового поля; например, устройство обработки данных светового поля может переправлять захваченные данные изображения светового поля и/или другие данные при помощи сети Интернет, сотовой сети передачи данных, сети WiFi, протокола связи Bluetooth®, и/или любого другого подходящего средства.
Модуль 150 форматирования данных светового поля выполняется с возможностью генерирования данных, представляющих собранное световое поле, в соответствии с вариантами осуществления настоящего изобретения. Модуль 150 форматирования данных светового поля может быть реализован в программном обеспечении, аппаратном обеспечении или их комбинации.
Устройство 155 обработки данных светового поля выполняется с возможностью работы с первичными данными изображения светового поля, принятыми непосредственно от модуля 140 сбора данных СП, например, чтобы сгенерировать форматированные данные и метаданные в соответствии с вариантами осуществления настоящего изобретения. Могут быть сгенерированы выходные данные, например, такие как неподвижные изображения, 2D видеопотоки, и тому подобное, захваченной сцены. Устройство обработки данных светового поля может быть реализовано в программном обеспечении, аппаратном обеспечении или их комбинации.
По меньшей мере, в одном варианте осуществления камера 100 светового поля может также включать в себя пользовательский интерфейс 160 для того, чтобы дать пользователю возможность предоставить пользовательский ввод для операции управления камерой 100 посредством устройства 170 управления. Управление камерой может включать в себя одно или несколько из следующего: управление оптическими параметрами камеры, такими как скорость затвора или, в случае регулируемой камеры светового поля, управление относительным расстоянием между массивом микролинз и фотодатчиком, или относительным расстоянием между объективной линзой и массивом микролинз. В некоторых вариантах осуществления относительные расстояния между оптическими элементами камеры светового поля могут быть отрегулированы вручную. Управление камерой также может включать в себя управление другими параметрами сбора данных светового поля, параметрами форматирования данных светового поля или параметрами обработки светового поля камеры. Пользовательский интерфейс 160 может содержать любое подходящее устройство(а) пользовательского ввода, такое как сенсорный экран, кнопки, клавиатура, координатно-указательное устройство и/или тому подобное. Таким образом, ввод, принятый пользовательским интерфейсом, может использоваться для управления и/или конфигурирования модуля 150 форматирования данных СП для управления форматированием данных, устройства 155 обработки данных СП для управления обработкой собранных данных светового поля и устройства 170 управления для управления камерой 100 светового поля.
Камера светового поля включает в себя источник 180 энергии, такой как одна или несколько сменных или перезаряжаемых батарей. Камера светового поля содержит память 190 для хранения захваченных данных светового поля и/или обработанных данных светового поля или других данных, таких как программное обеспечение для реализации способов согласно вариантам осуществления настоящего изобретения. Память может включать в себя внешнюю и/или внутреннюю память. По меньшей мере, в одном варианте осуществления память может быть предусмотрена в обособленном от камеры 100 устройстве и/или местоположении. В одном варианте осуществления память включает в себя съемное/заменяемое устройство хранения данных, такое как карта памяти.
Камера светового поля может также включать в себя блок 165 отображения (например, ЖК-экран) для просмотра сцен перед камерой до захвата и/или для просмотра ранее захваченных и/или визуализированных изображений. Экран 165 также может использоваться для отображения пользователю одного или более меню или другой информации. Камера светового поля может дополнительно включать в себя один или несколько интерфейсов 195 ввода/вывода, таких как интерфейсы FireWire или Универсальная последовательная шина (USB - Universal Serial Bus), или проводные или беспроводные интерфейсы связи для обмена данными через сеть Интернет, сотовую сеть передачи данных, сеть WiFi, протокол связи Bluetooth®, и/или любое другое подходящее средство. Интерфейс 195 ввода/вывода может использоваться для пересылки данных, таких как репрезентативные данные светового поля, сгенерированные модулем форматирования данных СП в соответствии с вариантами осуществления настоящего изобретения, и данных светового поля, таких как первичные данные светового поля или данные, обработанные устройством 155 обработки данных СП, на внешние устройства, такие как компьютерные системы или блоки отображения, и от них, для приложений визуализации.
Фиг. 2 является структурной схемой, иллюстрирующей конкретный вариант осуществления потенциально возможной реализации модуля 250 форматирования данных светового поля и устройства 253 обработки данных светового поля.
Контур 200 включает в себя память 290, устройство 245 управления памятью и схему 240 обработки, содержащую один или несколько блоков обработки (ЦП). Один или несколько блоков 240 обработки выполняются с возможностью запуска различных программ из системы программного обеспечения и/или наборов инструкций, хранящихся в памяти 290, для выполнения различных функций, включающих в себя форматирование данных светового поля и обработку данных светового поля. Компоненты программного обеспечения, хранящиеся в памяти, включают в себя модуль 250 форматирования данных (или набор инструкций) для генерирования данных представляющих собранные световые данные в соответствии с вариантами осуществления настоящего изобретения и модуль 255 обработки данных светового поля (или набор инструкций) для обработки данных светового поля, в соответствии с вариантами осуществления настоящего изобретения. Другие модули могут заключаться в память для приложений устройства с камерой светового поля, такие как модуль 251 операционной системы для управления общими системными задачами (например, регулирование питания, распределение памяти) и для обеспечения связи между различными аппаратными и программными компонентами устройства 200, и интерфейсный модуль 252 для управления и регулирования связи с другими устройствами через порты интерфейса ввода/вывода.
Варианты осуществления настоящего изобретения обеспечивают представление данных светового поля на основе лучей света, воспринимаемых пикселями датчика камеры или моделируемых системой машинно-генерируемых сцен. В действительности, другим источником данных светового поля могут быть произведенные впоследствии данные, которые модифицированы, к примеру, отсортированы по цвету, данные светового поля, полученные из оптического устройства или CGI. В киноиндустрии сейчас также широко распространены данные, которые представляют собой смешение как данных, собранных с использованием оптического устройства сбора, так и данных CGI. Следует понимать, что пиксель датчика может быть смоделирован системой машинно-генерируемых сцен и, если обобщать, весь датчик может быть смоделирован упомянутой системой. Отсюда следует, что любая отсылка к "пикселю датчика" или "датчику" может подразумевать либо физический объект, прикрепленный к оптическому устройству сбора, либо моделируемый элемент, полученный с помощью системы машинно-генерируемых сцен.
Зная что, независимо от типа системы сбора, пикселю датчика упомянутой системы сбора соответствует, по меньшей мере, линейная траектория света, или луч света, в пространстве вне системы сбора, вычисляются данные, представляющие луч света в трехмерном (или 3D) пространстве.
В первом варианте осуществления, Фиг. 3 иллюстрирует луч света, проходящий через две опорные плоскости P 1 и P 2 , используемые для параметризации, расположенные параллельно друг другу и находящиеся на известных глубинах z 1 и z 2 , соответственно. Луч света пересекает первую опорную плоскость P 1 на глубине z 1 в точке пересечения (x 1 , y 1 ) и пересекает вторую опорную плоскость P 2 на глубине z 2 в точке пересечения (x 2 , y 2 ). Таким образом, с учетом z 1 и z 2 , луч света может быть идентифицирован четырьмя координатами (x 1 , y 1 , x 2 , y 2 ). В силу этого, световое поле может быть параметризовано парой опорных плоскостей для параметризации P 1 , P 2 , также упоминаемых в данном документе как плоскости параметризации, при этом каждый луч света представляется в виде точки
Figure 00000004
в 4D пространстве лучей.
Во втором варианте осуществления, представленном на Фиг. 4, луч света параметризуется посредством точки пересечения между опорной плоскостью P 3 , находящейся на известных глубинах z 3 , и лучом света. Луч света пересекает опорную плоскость P 3 на глубине z 3 в точке пересечения (x 3 , y 3 ). Нормализованный вектор
Figure 00000005
, который предоставляет направление луча света в пространстве, имеет следующие координаты:
Figure 00000006
, поскольку
Figure 00000007
,
Figure 00000008
считается положительным и его можно вычислить заново, зная
Figure 00000009
и
Figure 00000010
, вектор может быть описан только своими двумя первыми координатами
Figure 00000011
.
Согласно этому второму варианту осуществления, луч света может быть идентифицирован четырьмя координатами
Figure 00000012
. В силу этого, световое поле может быть параметризовано опорной плоскостью для параметризации P 3 , также упоминаемой в данном документе как плоскость параметризации, при этом каждый луч света представляется в виде точки
Figure 00000013
в 4D пространстве лучей.
Параметры, представляющие луч света в 4D пространстве лучей, вычисляются модулем 150 форматирования данных светового поля. Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей этапы способа для форматирования данных светового поля, собранных камерой 100, в соответствии с вариантом осуществления настоящего изобретения. Этот способ исполняется модулем 150 форматирования данных светового поля.
В случае если система сбора светового поля откалибрована с использованием модели точечной диафрагмы, базовая проекционная модель, без искажений, задается следующим уравнением:
Figure 00000014
где
Figure 00000015
является фокусным расстоянием главной линзы камеры 100,
Figure 00000016
и
Figure 00000017
являются координатами пересечения оптической оси камеры 100 с датчиком,
Figure 00000018
является положением в системе координат камеры точки в пространстве, воспринимаемой камерой,
Figure 00000019
являются координатами, в системе координат датчика, проекции точки, координаты которой
Figure 00000018
в системе координат камеры, на датчике камеры.
На этапе 501 модуль 150 форматирования данных светового поля вычисляет координаты вектора V, представляющего направление луча света в пространстве, который воспринимается пикселем датчика, координаты которого
Figure 00000019
в системе координат датчика. В системе координат датчика координаты вектора V следующие:
Figure 00000020
В модели точечной диафрагмы координаты пересечения луча света, воспринимаемого пикселем, координаты которого
Figure 00000019
, с плоскостью, расположенной в координате
Figure 00000021
от точечной диафрагмы и параллельно плоскости датчика, следующие:
Figure 00000022
и вычисляются в ходе этапа 502.
Если смешивается несколько сборов данных, т.е. при сборе данных светового поля разными типами камер, используется единая система координат. В этой ситуации модификации координат точек и векторов должны быть соответствующим образом изменены.
Согласно варианту осуществления настоящего изобретения, наборы координат, определяющих лучи света, воспринимаемые пикселями датчика камеры, и вычисленные в ходе этапов 501 и 502, перегруппируются в карты сопоставления. В другом варианте осуществления лучи света непосредственно вычисляются системой машинно-генерируемых сцен, которая моделирует распространение лучей света.
В варианте осуществления настоящего изобретения эти карты сопоставления соотносятся с цветовой картой данных светового поля, подлежащих передаче на принимающее устройство. Таким образом, в этом варианте осуществления, для каждого пикселя
Figure 00000023
датчика камеры, параметр, представляющий данные о цвете, соотнесен с лучом света, воспринимаемым данным пикселем, и квадруплетом значений с плавающей запятой
Figure 00000024
, который соответствует либо
Figure 00000025
, когда световое поле может быть при этом параметризовано парой опорных плоскостей для параметризации P 1 , P 2 , либо
Figure 00000012
, когда луч света параметризуется посредством нормализованного вектора. В последующем описании квадруплет значений с плавающей запятой
Figure 00000024
задается следующим образом:
Figure 00000026
Figure 00000027
Figure 00000028
Figure 00000029
В другом варианте осуществления система сбора не калибруется с использованием модели точечной диафрагмы, следовательно, параметризация двумя плоскостями не пересчитывается из модели. Вместо этого параметризация двумя плоскостями должна быть экспериментально найдена во время операции калибровки камеры. Это может, к примеру, иметь место для пленоптической камеры, которая включает в себя между главной линзой и датчиком камеры массив микролинз.
Еще в одном варианте осуществления эти карты сопоставления непосредственно моделируются системой машинно-генерируемых сцен или производятся впоследствии из собранных данных.
Поскольку луч света, воспринимаемый пикселем датчика камеры, представляется квадруплетом
Figure 00000024
с плавающей запятой, можно поместить эти четыре параметра в четыре карты сопоставления параметров, например первую карту сопоставления, содержащую параметр
Figure 00000030
каждого луча света, воспринимаемого пикселем датчика камеры, вторую карту сопоставления, содержащую параметр
Figure 00000031
, третью карту сопоставления, содержащую параметр
Figure 00000032
, и четвертую карту сопоставления, содержащую параметр
Figure 00000033
. Каждая из четырех вышеупомянутых карт сопоставления, называемых картами сопоставления
Figure 00000034
, имеет тот же размер, что и само собранное изображение светового поля, но имеет содержимое с плавающей запятой.
После некоторых адаптаций, учитывающих сильную корреляцию между параметрами, представляющими лучи света, воспринимаемые соседними пикселями, и упорядочивания совокупности лучей света, а следовательно, и параметров, которые их представляют, эти четыре карты сопоставления могут быть сжаты с использованием таких же инструментальных средств, как и для видеоданных.
Чтобы сжать значения с плавающими запятыми
Figure 00000024
и тем самым уменьшить размер карт сопоставления
Figure 00000034
, подлежащих передаче, модуль 150 форматирования данных светового поля вычисляет, на этапе 503, для всех карт сопоставления
Figure 00000034
уравнение эмпирической плоскости, подобранной по значениям упомянутого параметра
Figure 00000034
, содержащегося в карте сопоставления
Figure 00000034
. Уравнение эмпирической плоскости для параметра
Figure 00000034
задается следующим образом:
Figure 00000035
где u и v являются координатами заданного пикселя датчика камеры.
На этапе 504, для каждой карты сопоставления
Figure 00000034
, вычисляются параметры
Figure 00000036
для минимизации ошибки:
Figure 00000037
Результатом вычисления на этапе 504 является параметр:
Figure 00000038
который соответствует разности значения параметра
Figure 00000034
с эмпирической плоскостью, подобранной по значениям упомянутого параметра
Figure 00000034
, что приводит к значительно более низкому диапазону амплитуды значений, содержащихся в карте сопоставления
Figure 00000034
.
Можно сжать значение
Figure 00000039
, вычисляя
Figure 00000040
на этапе 505.
Затем, на этапе 506, может быть вычислено значение
Figure 00000041
предшествующего параметра
Figure 00000034
, так что значение параметра
Figure 00000041
изменяется от 0 до
Figure 00000042
включительно, где N является выбранным числом битов, соответствующим емкости кодирующего устройства, предназначенного для использования при кодировании данных светового поля, которые должны быть отправлены. Значение параметра
Figure 00000041
задается следующим образом:
Figure 00000043
На этапе 507 модуль 150 форматирования данных светового поля генерирует четыре карты сопоставления, карту сопоставления
Figure 00000044
, карту сопоставления
Figure 00000045
, карту сопоставления
Figure 00000046
и карту сопоставления
Figure 00000047
, соответствующие каждому из параметров
Figure 00000048
, представляющих лучи света, воспринимаемые пикселями датчика камеры.
На этапе 508 модуль 150 форматирования данных светового поля генерирует сообщение SEI (информация для дополнительной оптимизации), содержащее следующие фиксированные параметры
Figure 00000049
, предназначенные для использования во время обратного вычисления на стороне принимающего устройства для извлечения исходных карт сопоставления
Figure 00000050
. Эти четыре параметра рассматривают как метаданные, транспортируемые в сообщении SEI, содержимое которого задается следующей таблицей:
Таблица 1
Длина (байты) Имя Комментарий
1 Тип сообщения Значение должно быть закреплено в комитете MPEG
1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор'
4 z1 Координата Z первой плоскости
4 z2 Если тип='координаты 2 точек', координата Z второй плоскости
4 альфа_1 Коэффициент
Figure 00000051
плоскости
4 бета_1 Коэффициент
Figure 00000052
плоскости
4 гамма_1 Коэффициент
Figure 00000053
плоскости
4 максимум_1
Figure 00000054
4 альфа_2 Коэффициент
Figure 00000051
плоскости
4 бета_2 Коэффициент
Figure 00000052
плоскости
4 гамма_2 Коэффициент
Figure 00000053
плоскости
4 максимум_2
Figure 00000054
4 альфа_3 Коэффициент
Figure 00000051
плоскости
4 бета_3 Коэффициент
Figure 00000052
плоскости
4 гамма_3 Коэффициент
Figure 00000053
плоскости
4 максимум_3
Figure 00000054
4 альфа_4 Коэффициент
Figure 00000051
плоскости
4 бета_4 Коэффициент
Figure 00000052
плоскости
4 гамма_4 Коэффициент
Figure 00000053
плоскости
4 максимум_4
Figure 00000054
На стороне принимающего устройства обратное вычисление, позволяющее извлечь исходные карты сопоставления
Figure 00000050
, задается следующим образом
i.
Figure 00000055
ii.
Figure 00000056
На этапе 509 карты сопоставления
Figure 00000057
, цветовая карта и сообщение SEI передаются, по меньшей мере, на принимающее устройство, где эти данные обрабатываются для того, чтобы визуализировать содержимое светового поля.
Можно дополнительно уменьшить размер карт сопоставления, представляющих данные светового поля, перед их передачей на принимающее устройство. Следующие варианты осуществления дополняют вариант осуществления, заключающийся в минимизации ошибки:
Figure 00000037
В первом варианте осуществления, представленном на Фиг. 6, поскольку карты сопоставления
Figure 00000050
содержат значения с низкими пространственными частотами, можно передавать только производную сигнала по направлению в пространстве.
Например, при
Figure 00000058
, значении параметра
Figure 00000034
, соотнесенном с пикселем с координатами (0,0), модуль 150 форматирования данных светового поля вычисляет, на этапе 601, разность
Figure 00000059
между значением
Figure 00000060
параметра
Figure 00000034
, соотнесенным с пикселем с координатами (1,0), и значением
Figure 00000058
параметра
Figure 00000034
, соотнесенным с пикселем с координатами (0,0):
Figure 00000061
В более широком смысле, в ходе этапа 601, модуль 150 форматирования данных светового поля вычисляет разность между значением параметра
Figure 00000034
, соотнесенным с заданным пикселем датчика, и значением параметра
Figure 00000034
, соотнесенным с иным пикселем, предшествующим заданному пикселю в строке датчика оптической системы сбора или системы машинно-генерируемых сцен:
Figure 00000062
Если заданный пиксель является первым пикселем строки датчика, модуль 150 форматирования данных светового поля вычисляет разность между значением параметра
Figure 00000034
, соотнесенным с заданным пикселем датчика, и значением параметра
Figure 00000034
, соотнесенным с первым пикселем строки, предшествующей строке, которой принадлежит заданный пиксель:
Figure 00000063
На этапе 602 карты сопоставления
Figure 00000003
, цветовая карта и сообщение SEI, сгенерированное в ходе этапа 508, передаются, по меньшей мере, на принимающее устройство, где эти данные обрабатываются для того, чтобы визуализировать содержимое светового поля.
Во втором варианте осуществления, поскольку карты сопоставления
Figure 00000050
, карты сопоставления
Figure 00000057
или карты сопоставления
Figure 00000003
содержат значения, имеющие очень медленные пространственные частоты, можно выполнить пространственную субдискретизацию в обоих измерениях карты сопоставления
Figure 00000050
, а затем восстановить всю карту сопоставления
Figure 00000050
на стороне принимающего устройства, произведя линейную интерполяцию между переданными дискретными значениями упомянутых карт сопоставления
Figure 00000050
.
К примеру, предположим, что мы можем уменьшить размер карт сопоставления с N_строк*M_столбцов до N_строк/2*M_столбцов/2. При приеме карты сопоставления могут быть расширены до первоначального размера; созданные пропуски могут быть заполнены с помощью способа интерполяции (или так называемого процесса повышающей дискретизации). Обычно достаточно простой билинейной интерполяции
Figure 00000064
В третьем варианте осуществления, представленном на Фиг. 7, каждая карта сопоставления
Figure 00000050
, карта сопоставления
Figure 00000057
или карта сопоставления
Figure 00000003
может передаваться на принимающее устройство с использованием четырех независимых монохромных средств кодирования-декодирования, таких как h265/HEVC, например.
В четвертом варианте осуществления карты сопоставления
Figure 00000050
, карты сопоставления
Figure 00000057
или карты сопоставления
Figure 00000003
могут быть сгруппированы по одному изображению, как представлено на Фиг. 8. Для достижения этой цели, один способ заключается в уменьшении размера карт сопоставления в 2 раза с использованием способа субдискретизации, как во втором варианте осуществления, и в последующем слиянии каждой из карт сопоставления
Figure 00000050
, карт сопоставления
Figure 00000057
или карт сопоставления
Figure 00000003
в квадранте изображения, имеющего тот же размер, что и цветовая карта. Этот способ обычно называется "упаковка кадров", поскольку он упаковывает несколько кадров в один. Достаточные метаданные должны передаваться, например, в сообщении SEI, чтобы сигнализировать о том, как была выполнена упаковка кадров, чтобы средство декодирования могло надлежащим образом распаковать кадры. Упакованные в один кадр карты сопоставления могут быть затем переданы с использованием одного монохромного средства кодирования-декодирования, например, такого как h265/HEVC, но не ограничиваясь этим.
В этом случае сообщение SEI, как представленное в Таблице 1, также должно содержать флаг, указывающий на то, что способ упаковки кадров использовался для упаковки 4 карт сопоставления в одну (см. Таблицу 1b).
Таблица 1b
Длина (байты) Имя Комментарий
1 Тип сообщения Значение должно быть закреплено в комитете MPEG
1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор'
4 z1 Координата Z первой плоскости
4 z2 Если тип='координаты 2 точек', координата Z второй плоскости
1 Режим упаковки 0: означает отсутствие упаковки кадров (отдельные одиночные карты сопоставления)
1: означает упаковку кадров (одна карта сопоставления с 4 квадрантами)
4 альфа_1 Коэффициент
Figure 00000051
плоскости
4 бета_1 Коэффициент
Figure 00000052
плоскости
4 гамма_1 Коэффициент
Figure 00000053
плоскости
4 максимум_1
Figure 00000054
4 альфа_2 Коэффициент
Figure 00000051
плоскости
4 бета_2 Коэффициент
Figure 00000052
плоскости
4 гамма_2 Коэффициент
Figure 00000053
плоскости
4 максимум_2
Figure 00000054
4 альфа_3 Коэффициент
Figure 00000051
плоскости
4 бета_3 Коэффициент
Figure 00000052
плоскости
4 гамма_3 Коэффициент
Figure 00000053
плоскости
4 максимум_3
Figure 00000054
4 альфа_4 Коэффициент
Figure 00000051
плоскости
4 бета_4 Коэффициент
Figure 00000052
плоскости
4 гамма_4 Коэффициент
Figure 00000053
плоскости
4 максимум_4
Figure 00000054
Когда несколько камер сгруппированы для формирования установки, лучше и более последовательно определить единую внешнюю систему координат и 2 плоскости параметризации, общие для всех камер. Тогда описательное сообщение (SEI, к примеру) может содержать общую информацию (тип представления, z1 и z2) плюс описательные параметры 4 карт сопоставления (карт сопоставления
Figure 00000050
, карт сопоставления
Figure 00000057
или
Figure 00000003
) для каждой камеры, как показано в таблице 2.
В этом случае карты сопоставления
Figure 00000050
, карты сопоставления
Figure 00000057
или карты сопоставления
Figure 00000003
могут быть переданы на принимающее устройство с использованием монохромных средств кодирования-декодирования, учитывающих многовидовый аспект конфигурации, такой как многовидовое видеокодирование (MVC - Multiview Video coding) MPEG или многовидовое высокоэффективное видеокодирование (MV-HEVC - Multiview High Efficiency Video Coding) MPEG, например.
Таблица 2
Длина (байты) Имя Комментарий
1 Тип сообщения Значение должно быть закреплено в комитете MPEG
1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор'
4 z1 Координата Z первой плоскости
4 z2 Если тип='координаты 2 точек', координата Z второй плоскости
Для каждого набора из 4-компонентных карт сопоставления
Длина (байты) Имя Комментарий
1 Режим упаковки 0: означает отсутствие упаковки кадров (одиночная карта сопоставления)
1: означает упаковку кадров (4 квадранта)
4 альфа_1 Коэффициент
Figure 00000051
плоскости
4 бета_1 Коэффициент
Figure 00000052
плоскости
4 гамма_1 Коэффициент
Figure 00000053
плоскости
4 максимум_1
Figure 00000054
4 альфа_2 Коэффициент
Figure 00000051
плоскости
4 бета_2 Коэффициент
Figure 00000052
плоскости
4 гамма_2 Коэффициент
Figure 00000053
плоскости
4 максимум_2
Figure 00000054
4 альфа_3 Коэффициент
Figure 00000051
плоскости
4 бета_3 Коэффициент
Figure 00000052
плоскости
4 гамма_3 Коэффициент
Figure 00000053
плоскости
4 максимум_3
Figure 00000054
4 альфа_4 Коэффициент
Figure 00000051
плоскости
4 бета_4 Коэффициент
Figure 00000052
плоскости
4 гамма_4 Коэффициент
Figure 00000053
плоскости
4 максимум_4
Figure 00000054
В пятом варианте осуществления, когда изменения карт сопоставления
Figure 00000050
, карт сопоставления
Figure 00000057
или карт сопоставления
Figure 00000003
отсутствуют в течение некоторого промежутка времени, эти карты сопоставления
Figure 00000050
, карты сопоставления
Figure 00000057
или
Figure 00000003
помечаются как пропущенные и не передаются на принимающее устройство. В этом случае сообщение SEI содержит флаг, указывающий принимающему устройству, что никакого изменения не происходило в картах сопоставления
Figure 00000050
, картах сопоставления
Figure 00000057
или
Figure 00000003
с момента их последней передачи. Содержимое такого сообщения SEI показано в таблице 3:
Таблица 3
Длина (байты) Имя Комментарий
1 Тип сообщения Значение должно быть закреплено в комитете MPEG
1 Флаг_пропуска 0: означает присутствие дополнительных данных
1: означает сохранение предыдущих зарегистрированных параметров
Если !флаг_пропуска
Длина (байты) Имя Комментарий
1 Тип представления 'координаты 2 точек' или 'одна точка плюс один вектор'
4 z1 Координата Z первой плоскости
4 z2 Если тип='координаты 2 точек', координата Z второй плоскости
Для каждого квадранта
Длина (байты) Имя Комментарий
1 Режим упаковки 0: означает отсутствие упаковки кадров (одиночная карта сопоставления)
1: означает упаковку кадров (4 квадранта)
4 альфа_1 Коэффициент
Figure 00000051
плоскости
4 бета_1 Коэффициент
Figure 00000052
плоскости
4 гамма_1 Коэффициент
Figure 00000053
плоскости
4 максимум_1
Figure 00000054
4 альфа_2 Коэффициент
Figure 00000051
плоскости
4 бета_2 Коэффициент
Figure 00000052
плоскости
4 гамма_2 Коэффициент
Figure 00000053
плоскости
4 максимум_2
Figure 00000054
4 альфа_3 Коэффициент
Figure 00000051
плоскости
4 бета_3 Коэффициент
Figure 00000052
плоскости
4 гамма_3 Коэффициент
Figure 00000053
плоскости
4 максимум_3
Figure 00000054
4 альфа_4 Коэффициент
Figure 00000051
плоскости
4 бета_4 Коэффициент
Figure 00000052
плоскости
4 гамма_4 Коэффициент
Figure 00000053
плоскости
4 максимум_4
Figure 00000054
В шестом варианте осуществления, поскольку модификации параметров системы сбора, представленных в картах сопоставления
Figure 00000050
, картах сопоставления
Figure 00000057
или
Figure 00000003
, медленно изменяются во времени, целесообразно передавать их на принимающее устройство с меньшей частотой кадров, чем частота кадров цветовой карты. Частота передачи карт сопоставления
Figure 00000050
, карт сопоставления
Figure 00000057
или
Figure 00000003
должна составлять, по меньшей мере, частоту передачи кадров IDR.
В седьмом варианте осуществления цветовые карты используют формат YUV или RGB и кодируются средством кодирования видеоданных, таким как MPEG-4 AVC, h265/HEVC или h266, и т.д., либо средством кодирования изображений, таким как JPEG, JPEG2000, MJEG. Когда используется несколько камер для сбора содержимого светового поля, цветовые карты могут быть закодированы соответственно с использованием средства кодирования-декодирования MV-HEVC.
Хотя настоящее изобретение и описано выше со ссылкой на конкретные варианты осуществления, настоящее изобретение не ограничивается этими конкретными вариантами осуществления, и для специалиста в данной области техники будут очевидны модификации, которые лежат в пределах объема настоящего изобретения.
Многие дополнительные модификации и вариации будут самостоятельно предложены специалистами в данной области техники при обращении к приведенным выше иллюстративным вариантам осуществления, которые приведены лишь в качестве примера и не предназначены для ограничения объема настоящего изобретения, который устанавливается исключительно прилагаемой формулой изобретения. В частности, разные признаки из разных вариантов осуществления могут быть взаимозаменяемы, когда это целесообразно.

Claims (18)

1. Компьютеризованный способ для кодирования сигнала, представляющего содержимое светового поля, причем упомянутый способ содержит этапы, на которых:
- получают содержимое светового поля для по меньшей мере одного пикселя датчика, при этом свет, воспринимаемый пикселем датчика, представлен по меньшей мере первым набором параметров,
- кодируют для по меньшей мере одного пикселя датчика, первый набор параметров, представляющих луч света, воспринимаемый упомянутым пикселем, путем группировки соответствующих параметров, при этом параметры из первого набора параметров отображаются на датчике таким образом, что они могут появляться как изображения, и
- обеспечивают второй набор параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров, как отображено на датчике, при этом второй набор параметров содержит по меньшей мере параметры, относящиеся к множеству лучей света, попадающих на плоскость, используемую для получения первого набора параметров.
2. Способ по п. 1, дополнительно содержащий этап, на котором:
- кодируют третий набор параметров, представляющих данные о цвете, соотнесенные с лучом света, представленным упомянутым первым набором параметров.
3. Способ по п. 1 или 2, в котором по меньшей мере один параметр из первого набора параметров представляет расстояние между координатой упомянутого луча света и эмпирической плоскостью, подобранной по набору координат множества лучей света, воспринимаемых множеством пикселей оптической системы сбора, и по меньшей мере один параметр из второго набора параметров представляет координаты этой эмпирической плоскости.
4. Способ по любому из предыдущих пунктов, в котором по меньшей мере один параметр из первого набора параметров представляет:
- разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый другим пикселем, предшествующим упомянутому пикселю в строке датчика, или
- когда упомянутый пиксель является первым пикселем строки датчика, разность между значением, представляющим луч света, воспринимаемый упомянутым пикселем, и значением, представляющим луч света, воспринимаемый последним пикселем строки, предшествующей строке, которой принадлежит упомянутый пиксель.
5. Способ по любому из предыдущих пунктов, в котором для кодирования параметров из первого набора параметров используются независимые средства кодирования-декодирования.
6. Способ по любому из предыдущих пунктов, в котором, когда второй набор параметров содержит параметр, указывающий, что первый набор параметров не изменялся после последней передачи первого набора параметров, передается только упомянутый второй набор параметров.
7. Способ по п. 2, в котором скорость передачи сигнала, представляющего содержимое светового поля, выше, чем скорость передачи кодированного первого набора параметров и обеспеченного второго набора параметров.
8. Устройство для кодирования сигнала, представляющего содержимое светового поля, содержащее обрабатывающее устройство, выполненное с возможностью:
- получения содержимого светового поля для по меньшей мере одного пикселя датчика, при этом свет, воспринимаемый пикселем датчика, представлен по меньшей мере первым набором параметров,
- кодирования для по меньшей мере одного пикселя датчика, первого набора параметров, представляющих луч света, воспринимаемый упомянутым пикселем, путем группировки соответствующих параметров, при этом параметры из первого набора параметров отображаются на датчике таким образом, что они могут появляться как изображения, и
- обеспечения второго набора параметров, предназначенных для использования при реконструкции содержимого светового поля из первого набора параметров, как отображено на датчике, при этом второй набор параметров содержит по меньшей мере параметры, относящиеся к множеству лучей света, попадающих на плоскость, используемую для получения первого набора параметров.
9. Машиночитаемый носитель данных, отличающийся тем, что он содержит инструкции в виде программного кода для реализации способа для кодирования содержимого светового поля по любому из пп. 1-7 при исполнении программного кода обрабатывающим устройством.
RU2017121569A 2016-06-22 2017-06-20 Способ и устройство для кодирования сигнала, представляющего содержимое светового поля RU2746344C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305757.3 2016-06-22
EP16305757.3A EP3261347A1 (en) 2016-06-22 2016-06-22 A method and a device for encoding a signal representative of a light-field content

Publications (3)

Publication Number Publication Date
RU2017121569A RU2017121569A (ru) 2018-12-24
RU2017121569A3 RU2017121569A3 (ru) 2020-09-25
RU2746344C2 true RU2746344C2 (ru) 2021-04-12

Family

ID=56511475

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017121569A RU2746344C2 (ru) 2016-06-22 2017-06-20 Способ и устройство для кодирования сигнала, представляющего содержимое светового поля

Country Status (10)

Country Link
US (1) US11665369B2 (ru)
EP (3) EP3261347A1 (ru)
JP (1) JP7171169B2 (ru)
KR (1) KR102505130B1 (ru)
CN (1) CN107529062A (ru)
AU (1) AU2017204215C1 (ru)
BR (1) BR102017013446A2 (ru)
CA (1) CA2971337A1 (ru)
MX (1) MX2017008222A (ru)
RU (1) RU2746344C2 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3516873A1 (en) * 2016-09-19 2019-07-31 InterDigital VC Holdings, Inc. A method and a device for reconstructing a point cloud representative of a scene using light-field data
CN112183637B (zh) * 2020-09-29 2024-04-09 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及系统
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080152215A1 (en) * 2006-12-26 2008-06-26 Kenichi Horie Coding method, electronic camera, recording medium storing coded program, and decoding method
RU2331919C2 (ru) * 2006-03-21 2008-08-20 Алексей Евгеньевич Субботин Проекционное кодирование
US20140003732A1 (en) * 2012-06-28 2014-01-02 Canon Kabushiki Kaisha Method and apparatus for compressing or decompressing light field images
US20140232822A1 (en) * 2013-02-21 2014-08-21 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US20140376826A1 (en) * 2011-09-28 2014-12-25 Pelican Imaging Corporation Systems and methods for decoding light field image files having depth and confidence maps

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US6693964B1 (en) * 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7756407B2 (en) 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
EP2668634B1 (en) * 2011-01-24 2019-04-24 Intel Corporation Method and system for acquisition, representation, compression, and transmission of three-dimensional data
WO2013150944A1 (ja) * 2012-04-06 2013-10-10 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
JP2014086968A (ja) 2012-10-25 2014-05-12 Ricoh Co Ltd 画像処理装置、画像処理方法及びプログラム
US9582922B2 (en) * 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US9961333B1 (en) * 2016-06-10 2018-05-01 X Development Llc System and method for light field projection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2331919C2 (ru) * 2006-03-21 2008-08-20 Алексей Евгеньевич Субботин Проекционное кодирование
US20080152215A1 (en) * 2006-12-26 2008-06-26 Kenichi Horie Coding method, electronic camera, recording medium storing coded program, and decoding method
US20140376826A1 (en) * 2011-09-28 2014-12-25 Pelican Imaging Corporation Systems and methods for decoding light field image files having depth and confidence maps
US20140003732A1 (en) * 2012-06-28 2014-01-02 Canon Kabushiki Kaisha Method and apparatus for compressing or decompressing light field images
US20140232822A1 (en) * 2013-02-21 2014-08-21 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information

Also Published As

Publication number Publication date
EP3261347A1 (en) 2017-12-27
MX2017008222A (es) 2018-09-10
EP4054194A1 (en) 2022-09-07
BR102017013446A2 (pt) 2018-05-02
JP2018033127A (ja) 2018-03-01
KR20180000319A (ko) 2018-01-02
CN107529062A (zh) 2017-12-29
US20170374388A1 (en) 2017-12-28
JP7171169B2 (ja) 2022-11-15
RU2017121569A3 (ru) 2020-09-25
US11665369B2 (en) 2023-05-30
AU2017204215A1 (en) 2018-01-18
AU2017204215B2 (en) 2022-04-28
EP3261348A1 (en) 2017-12-27
RU2017121569A (ru) 2018-12-24
KR102505130B1 (ko) 2023-03-02
AU2017204215C1 (en) 2023-02-02
CA2971337A1 (en) 2017-12-22

Similar Documents

Publication Publication Date Title
US20190387211A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
CN101416520B (zh) 多视图的高效编码
CN106131531B (zh) 视频处理方法和装置
EP2922021A1 (en) Method, apparatus and computer program product for filtering of media content
RU2746344C2 (ru) Способ и устройство для кодирования сигнала, представляющего содержимое светового поля
GB2503656A (en) Compressing and decompressing plenoptic images
US20190158877A1 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
EP3301926A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
CN112714302B (zh) 裸眼3d图像的制作方法及装置
US11948268B2 (en) Immersive video bitstream processing
EP2839437B1 (en) View synthesis using low resolution depth maps
Li et al. Joint view filtering for multiview depth map sequences
Kukolj et al. 3D content acquisition and coding
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム
JP7417388B2 (ja) 符号化装置、復号装置、及びプログラム
WO2022193875A1 (zh) 多视角视频的处理方法、装置、设备及存储介质
EP3203742A1 (en) System and method for encoding and decoding information representative of a focalization distance associated to an image belonging to a focal stack representative of a light field content
CN115104121A (zh) 用于处理图像内容的方法和设备
Xiang et al. Depth error induced virtual view synthesis distortion estimation for 3D video coding
Pahalawatta et al. Depth/Disparity Interchange Representation for Post-Production

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant