RU2729698C2 - Устройство и способ для кодирования изображения, захваченного оптической системой получения данных - Google Patents

Устройство и способ для кодирования изображения, захваченного оптической системой получения данных Download PDF

Info

Publication number
RU2729698C2
RU2729698C2 RU2018113714A RU2018113714A RU2729698C2 RU 2729698 C2 RU2729698 C2 RU 2729698C2 RU 2018113714 A RU2018113714 A RU 2018113714A RU 2018113714 A RU2018113714 A RU 2018113714A RU 2729698 C2 RU2729698 C2 RU 2729698C2
Authority
RU
Russia
Prior art keywords
acquisition system
data acquisition
pixel
optical data
pupil
Prior art date
Application number
RU2018113714A
Other languages
English (en)
Other versions
RU2018113714A3 (ru
RU2018113714A (ru
Inventor
Лоран БЛОНДЕ
Моздех СЕЙФИ
Гийом БУАССОН
Поль КЕРБИРИУ
Вальтер ДРАЖИЧ
Original Assignee
ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15306444.9A external-priority patent/EP3145195A1/en
Application filed by ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. filed Critical ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК.
Publication of RU2018113714A publication Critical patent/RU2018113714A/ru
Publication of RU2018113714A3 publication Critical patent/RU2018113714A3/ru
Application granted granted Critical
Publication of RU2729698C2 publication Critical patent/RU2729698C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении параметрических представлений в пространстве предметов оптической системой получения данных. Устройство для кодирования изображения, захваченного оптической системой получения данных, содержит процессор, выполненный с возможностью вычисления - по меньшей мере для одного пикселя датчика оптической системы получения данных - параметров, определяющих объем в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок оптической системы получения данных, и сопряженный элемент по меньшей мере одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем объем, занимаемый набором лучей света, называется пиксельным пучком, при этом указанный пиксельный пучок представлен однополостным гиперболоидом в пространстве предметов оптической системы получения данных, и указанные параметры содержат по меньшей мере первый набор параметров, представляющих ось гиперболоида, называемую главным лучом, и второй набор параметров, представляющих семейство образующих лучей, позволяющее образовывать поверхность гиперболоида путем вращения вокруг главного луча. 5 н. и 9 з.п. ф-лы, 11 ил., 1 табл.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к генерированию данных, представляющих световое поле.
УРОВЕНЬ ТЕХНИКИ
Получение данных четырехмерных или 4D световых полей, которое может рассматриваться как выборка 4-мерного светового поля, т.е., регистрация световых лучей, объясняется в статье «Выявление возможностей камеры с помощью байесовского анализа проекций световых полей» Anat Levin с соавт., опубликованной в трудах конференции ECCV 2008, и является предметом бурных исследований.
По сравнению с классическими двумерными или 2D изображениями, получаемыми с камеры, данные 4-мерных световых полей позволяют пользователю иметь доступ к характеристикам постобработки, которые улучшают визуализацию изображений и интерактивность с пользователем. Например, при использовании данных 4-мерных световых полей можно выполнять перефокусировку изображений с произвольно выбираемыми расстояниями фокусирования, то есть, положение фокальной плоскости может задаваться/выбираться апостериори, а также может незначительно изменяться точка наблюдения в сцене изображения. С целью получения данных 4-мерных световых полей могут использоваться несколько методов. Например, пленоптическая камера способна получать данные 4-мерных световых полей. Подробности архитектуры пленоптической камеры представлены на фиг. 1А. Фиг. 1А является диаграммой, схематически представляющей пленоптическую камеру 100. Пленоптическая камера 100 содержит главную линзу 101, матрицу 102 микролинз, содержащую множество микролинз 103, расположенных в двумерной матрице, и датчик 104 изображений.
Еще один способ получения данных 4-мерных световых полей состоит в использовании матрицы камеры, как показано на фиг. 1В. На фиг. 1В представлена многоматричная камера 110. Многоматричная камера 110 содержит матрицу 112 линз и датчик 114 изображений.
В примере пленоптической камеры 100, как показано на фиг. 1А, главная линза 101 принимает свет от объекта (не показанного на чертеже) в предметном поле главной линзы 101 и пропускает свет сквозь поле изображения главной линзы 101.
Наконец, еще один способ получения 4-мерного поля яркости состоит в использовании обычной камеры, которая выполнена с возможностью захвата последовательности 2-мерных изображений одной и той же сцены в различных фокальных плоскостях. Например, метод, описанный в документе «Захват поля световых лучей с помощью развертки фокальной плоскости и его оптическая реконструкция с помощью 3-мерных дисплеев» J.-H. Park с соавт., опубликованном в OPTICS EXPRESS, том 22, № 21 в октябре 2014 г., может использоваться для получения 4-мерных световых полей с помощью обычной камеры.
Существуют несколько способов представления данных 4-мерных световых полей. Действительно, в Главе 3.3 докторской диссертации, озаглавленной «Цифровая фотография световых полей» Ren Ng, опубликованной в июле 2006 г., описаны три различных способа представления данных 4-мерных световых полей. Во-первых, при регистрации пленоптической камерой данные 4-мерных световых полей могут быть представлены набором формируемых микролинзами изображений. Данные 4-мерных световых полей в этом представлении называются необработанными изображениями или необработанными данными 4-мерных световых полей. Во-вторых, данные 4-мерных световых полей могут быть представлены при регистрации либо пленоптической камерой, либо матрицей камеры с помощью набора субапертурных изображений. Субапертурное изображение соответствует захваченному изображению сцены из точки наблюдения, причем, точка наблюдения несколько различается для двух субапертурных изображений. Эти субапертурные изображения дают информацию о параллаксе и глубине изображаемой сцены. В-третьих, данные 4-мерных световых полей могут быть представлены набором эпиполярных изображений, см., например, статью, озаглавленную «Генерирование EPI-представления 4-мерных световых полей с использованием пленоптической камеры с однолинзовой фокусировкой» S. Wanner с соавт., опубликованную в трудах конференции ISVC 2011.
На рынке имеются несколько типов пленоптических устройств и матриц камеры, и все эти устройства получения световых полей имеют свой собственный формат файла. Таким образом, по всей видимости, технология световых полей не может обходиться без обычного формирования 2-мерных или 3-мерных изображений, поскольку отсутствует стандарт, поддерживающий получение и передачу многомерной информации. Настоящее изобретение сделано с учетом вышеизложенного.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В соответствии с первым аспектом изобретения, предлагается устройство для кодирования изображения, захваченного оптической системой получения данных, причем, упомянутое устройство содержит процессор, выполненный с возможностью вычисления - по меньшей мере, для одного пикселя датчика упомянутой оптической системы получения данных - параметров, определяющих объем в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого, по меньшей мере, одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком.
В соответствии с одним из вариантов осуществления устройства, процессор выполнен с возможностью связывания параметров, представляющих пиксельные пучки, с получаемым оптической системой получения данных изображением, подлежащим кодированию.
В соответствии с одним из вариантов осуществления устройства, параметрическим представлением пиксельного пучка является однополостный гиперболоид, определяемый следующими уравнениями:
Figure 00000001
где x, y и z - координаты в пространстве предметов точки, принадлежащей поверхности гиперболоида,
Figure 00000002
,
Figure 00000003
представляют расстояние наименьшего сечения пиксельного пучка, называемого перетяжкой, которая соответствует сопряженному элементу пикселя в пространстве предметов оптической системы получения данных в направлении, нормальном к поверхности зрачка,
Figure 00000004
представляют углы сдвига, определяющие направление перетяжки от центра зрачка,
Figure 00000005
представляет размер перетяжки;
Figure 00000006
- зависящий от
Figure 00000005
параметр, определяющий угловую апертуру пиксельного пучка, а
Figure 00000007
- угол, изменяющийся в интервале
Figure 00000008
.
В соответствии с одним из вариантов осуществления устройства, параметрическим представлением пиксельного пучка является однополостный гиперболоид, определяемый следующими уравнениями:
Figure 00000009
где
Figure 00000010
- параметр, представляющий соотношение сторон для асимметричного зрачка,
Figure 00000011
- параметр, представляющий соотношение сторон для асимметричной перетяжки,
Figure 00000005
- параметр, связанный с распределением сечения пиксельного пучка между зрачком и перетяжкой,
Figure 00000012
- параметр, представляющий коэффициент полярного радиуса для зрачка, а
Figure 00000013
- параметр, представляющий коэффициент полярного радиуса для перетяжки.
В соответствии с одним из вариантов осуществления устройства, пиксельный пучок представлен, по меньшей мере, первым набором параметров, представляющим ось гиперболоида, называемую главным лучом, и вторым набором параметров, представляющим семейство образующих лучей, позволяющее образовывать поверхность гиперболоида путем вращения вокруг главного луча.
В соответствии с одним из вариантов осуществления устройства, параметрическим представлением пиксельного пучка является объединение переднего конуса и заднего конуса, причем, передний конус и задний конус перекрывают друг друга.
В соответствии с одним из вариантов осуществления устройства, параметрическое представление пиксельного пучка в виде объединения переднего конуса и заднего конуса описывается следующими уравнениями:
Figure 00000014
где
Figure 00000015
представляет
Figure 00000016
-координату вершины переднего конуса,
Figure 00000017
представляет
Figure 00000016
-координату вершины заднего конуса,
Figure 00000018
и
Figure 00000019
, соответственно, обозначают диаметр зрачка пиксельного пучка при
Figure 00000020
, его z-координату, диаметр и
Figure 00000016
-координату перетяжки пиксельного пучка при
Figure 00000021
при этом его z-координата
Figure 00000022
,
и
Figure 00000023
где
Figure 00000024
и
Figure 00000025
- углы вершин, соответственно, переднего конуса и заднего конуса.
В соответствии с одним из вариантов осуществления устройства, параметрическое представление пиксельного пучка в виде объединения переднего конуса и заднего конуса описывается следующими уравнениями при
Figure 00000026
и
Figure 00000027
:
Figure 00000028
где
Figure 00000029
и
Figure 00000030
, соответственно, представляют диаметр пикселя при
Figure 00000031
и фокусное расстояние оптики оптической системы получения данных при
Figure 00000032
,
и
Figure 00000023
.
Еще одной целью изобретения является способ кодирования изображения, захваченного оптической системой получения данных, причем, упомянутый способ включает в себя вычисление - по меньшей мере, для одного пикселя датчика упомянутой оптической системы получения данных - параметров, определяющих объем в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого, по меньшей мере, одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком.
Способ в соответствии с одним из вариантов осуществления изобретения дополнительно включает в себя связывание параметров, представляющих пиксельные пучки, с подлежащим кодированию изображением, захваченным оптической системой получения данных.
Еще одной целью изобретения является устройство для обработки изображения, захваченного оптической системой получения данных, причем, упомянутое устройство содержит процессор, выполненный с возможностью обработки упомянутого изображения на основе параметров, связанных, по меньшей мере, с одним пикселем датчика оптической системы получения данных, причем, упомянутые параметры определяют объем - в пространстве предметов оптической системы получения данных - занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого, по меньшей мере, одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком.
В соответствии с одним из вариантов осуществления устройства для обработки изображения, захваченного оптической системой получения данных, процессор выполнен с возможностью обработки захваченного изображения с помощью:
- демультиплексирования упомянутого захваченного изображения,
- демозаики упомянутого захваченного изображения,
- перефокусировки упомянутого захваченного изображения, или
- микширования упомянутого захваченного изображения, по меньшей мере, с еще одним изображением, захваченным еще одной оптической системой получения данных.
Еще одной целью изобретения является способ обработки изображения, захваченного оптической системой получения данных, причем, упомянутый способ включает в себя обработку упомянутого изображения на основе параметров, связанных, по меньшей мере, с одним пикселем датчика оптической системы получения данных, причем, упомянутые параметры определяют объем - в пространстве предметов оптической системы получения данных - занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого, по меньшей мере, одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком.
В соответствии с одним из вариантов осуществления способа обработки изображения, захваченного оптической системой получения данных, обработка захваченного изображения состоит в:
- демультиплексировании упомянутого захваченного изображения,
- демозаике упомянутого захваченного изображения,
- перефокусировке упомянутого захваченного изображения, или
- микшировании упомянутого захваченного изображения, по меньшей мере, с еще одним изображением, захваченным еще одной оптической системой получения данных.
Еще одной целью изобретения является сигнал, передаваемый первым устройством, выполненным с возможностью кодирования изображения, захваченного оптической системой получения данных, на второе устройство, выполненное с возможностью обработки упомянутого захваченного изображения, причем, упомянутый сигнал содержит сообщение, содержащее параметры, определяющие объем в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого, по меньшей мере, одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем, упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем, обработка захваченного изображения вторым устройством основана на упомянутых параметрах.
Некоторые процессы, реализуемые элементами изобретения, могут быть реализованы с помощью компьютера. В этой связи, такие элементы могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включая микропрограммные средства, резидентные программные средства, микрокод и т.д.) или варианта осуществления, комбинирующего программные и аппаратные аспекты, которые могут в общем смысле называться в данном документе «схемой», «модулем» или «системой». Кроме того, такие элементы могут принимать форму компьютерного программного продукта, осуществляемого в любой физической среде функционирования, имеющей используемый компьютером программный код, осуществляемый в среде.
Поскольку элементы настоящего изобретения могут быть реализованы в программных средствах, настоящее изобретение может быть осуществлено в виде машиночитаемого кода для предоставления в программируемое устройство на любом подходящем программоносителе. Физический программоноситель может включать в себя запоминающую среду, такую как гибкий диск, CD-ROM, накопитель на жестком диске, накопитель на магнитной ленте или твердотельное запоминающее устройство и т.п. Энергозависимый программоноситель может включать в себя сигнал, такой как электрический сигнал, электронный сигнал, оптический сигнал, акустический сигнал, магнитный сигнал или электромагнитный сигнал, например, сверхвысокочастотный сигнал или радиочастотный сигнал.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Далее варианты осуществления описываются исключительно для примера и со ссылкой на нижеследующие чертежи, на которых:
фиг. 1А представляет собой диаграмму, на которой схематически представлена пленоптическая камера;
на фиг. 1В представлена многоматричная камера;
на фиг. 2 представлен объем, занимаемый набором лучей света в пространстве предметов оптической системы камеры или оптической системы получения данных;
на фиг. 3 представлен однополостный гиперболоид;
на фиг. 4 представлен еще один вид однополостного гиперболоида;
на фиг. 5 представлены главный луч и образующий луч, определяющий пиксельный пучок, в соответствии с одним из вариантов осуществления изобретения;
на фиг. 6 представлено объединение двух конусов;
фиг. 7 представляет собой схематическую блок-диаграмму, иллюстрирующую пример устройства для кодирования изображения, захваченного оптической системой получения данных, в соответствии с одним из вариантов осуществления настоящего изобретения;
фиг. 8 представляет собой структурную схему для объяснения процесса кодирования изображения, захваченного оптической системой получения данных, в соответствии с одним из вариантов осуществления изобретения;
фиг. 9 представляет собой схематическую блок-диаграмму, иллюстрирующую пример устройства для обработки изображения, захваченного оптической системой получения данных, в соответствии с одним из вариантов осуществления настоящего изобретения;
фиг. 10 представляет собой структурную схему для объяснения процесса обработки изображения, захваченного оптической системой получения данных, в соответствии с одним из вариантов осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Специалистам в данной области техники должно быть понятно, что аспекты настоящих принципов могут быть осуществлены в виде системы, способа или машиночитаемой среды. В этой связи, аспекты настоящих принципов могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включая микропрограммные средства, резидентные программные средства, микрокод и т.д.) или варианта осуществления, комбинирующего программные и аппаратные аспекты, которые могут в общем смысле называться в данном документе «схемой», «модулем» или «системой». Кроме того, аспекты настоящих принципов могут принимать форму машиночитаемой среды хранения. Может использоваться любая комбинация одной или более машиночитаемой среды (сред) хранения.
Для любой оптической системы получения данных, будь то пленоптическая или нет, помимо необработанных изображений или эпиполярных изображений, представляющих данные 4-мерных световых полей, захватываемые оптической системой получения данных, интересно получать информацию, относящуюся к соответствию между пикселями датчика упомянутой оптической системы получения данных и пространством предметов упомянутой оптической системы получения данных. Знание о том, какую часть пространства предметов оптической системы получения данных воспринимает пиксель, принадлежащий датчику упомянутой оптической системы получения данных, позволяет совершенствовать операции обработки сигналов, такие как демультиплексирование, демозаика, перефокусировка и т.д., и микширование изображений, захваченных различными оптическими системами с различными характеристиками. Кроме того, информация, относящаяся к соответствию между пикселями датчика оптической системы получения данных и пространством предметов упомянутой оптической системы получения данных, не зависит от оптической системы получения данных.
В настоящем изобретении вводится понятие пиксельного пучка 10, изображенного на фиг. 2, который представляет объем, занимаемый набором лучей света, проходящих через зрачок оптической системы 11 камеры (на фиг. 2 не показана) или сопряженный элемент пикселя датчика камеры в пространстве предметов оптической системы в направлении, нормальном к поверхности зрачка.
Набор лучей света воспринимается пикселем 22 датчика 23 камеры через зрачок 24 упомянутой оптической системы 21. Оптическая система 21 может представлять собой комбинацию линз, пригодных для фотокамер или видеокамер. Зрачок оптической системы определяется как изображение апертурной диафрагмы, если смотреть через упомянутую оптическую систему, т.е., линзы оптической системы получения данных, которые предшествуют упомянутой апертурной диафрагме. Апертурная диафрагма представляет собой отверстие, которое ограничивает количество света, проходящего через оптическую систему оптической системы получения данных. Например, регулируемая ламельная диафрагма, расположенная внутри объектива камеры, является апертурной диафрагмой для данного объектива. Количество света, пропускаемое через диафрагму, регулируется диаметром отверстия диафрагмы, которое может подбираться в зависимости от количества света, которое желает пропускать пользователь камеры. Например, уменьшение апертуры уменьшает количество света, пропускаемое через диафрагму, и одновременно увеличивает глубину резкости. Видимый размер диафрагмы может быть больше или меньше, чем ее физический размер, из-за преломляющего действия части объектива. Строго говоря, зрачок является изображением апертурной диафрагмы сквозь все линзы оптической системы, расположенной между физической диафрагмой и пространством наблюдения.
Пиксельный пучок 10 определяется как узкий параллельный пучок лучей света, которые достигают заданного пикселя 22 при распространении через оптическую систему 21 через входной зрачок 24. Поскольку в свободном пространстве свет распространяется по прямым линиям, форма такого пиксельного пучка 20 может определяться двумя сечениями - один является сопряженным элементом 25 пикселя 22, а другой является входным зрачком 24. Пиксель 22 определяется своей ненулевой поверхностью и своей картой чувствительности.
В первом варианте осуществления изобретения пиксельный пучок 30 может быть представлен однополостным гиперболоидом, как показано на фиг. 3, опирающимся на два элемента: зрачок 34 и сопряженный элемент 35 пикселя 22 в пространстве предметов.
Однополостный гиперболоид представляет собой линейчатую поверхность, которая может поддерживать понятие узкого параллельного пучка лучей света и согласуется с понятием «оптического фактора» физических световых пучков, т.е., понятием, связанным с сохранением энергии во всех сечениях физических световых пучков.
Как представлено на фиг. 4, однополостный гиперболоид 40 в основном идентичен своим асимптотическим конусам 41, 42, кроме как в фундаментальной области своего наименьшего сечения, называемой перетяжкой 45, которая соответствует пикселю 22 в пространстве предметов. Для пленоптических систем, таких как камеры световых полей, это - та область, в которой осуществляется пространственная выборка с помощью многоходовых лучей. Пространство выборки с однозначно определяемыми конусами, вырождающимися в точку, в этой области не является приемлемым, поскольку чувствительность пикселя 22 на нескольких квадратных микронах его поверхности значительна, и не может быть представлено математической точкой с бесконечно малой поверхностью, как было бы в случае вершины конуса.
В одном из вариантов осуществления изобретения каждый пиксельный пучок 20, 30, 40 определяется четырьмя независимыми параметрами:
Figure 00000033
, определяющими положение и размер сопряженного элемента 25, 45 пикселя перед зрачком 24, 34, и шестью параметрами
Figure 00000034
зрачка, которые определяют положение, ориентацию и радиус зрачка 24, 34. Указанные шесть параметров зрачка являются общими для группы пиксельных пучков в тех случаях, когда они представлены однополостным гиперболоидом, совместно используя один и тот же зрачок 24, 34. Действительно, пиксельный пучок представляет объем, занимаемый набором лучей света в пространстве предметов оптической системы 21, воспринимаемым пикселем 22 через зрачок 24, т.е., заданная пара пиксель 22/зрачок 24, 34 соответствует однозначно определяемому пиксельному пучку 20, 30, 40, но множество отдельных пиксельных пучков может поддерживаться одним и тем же зрачком 24, 34.
Начало O системы (
Figure 00000035
) координат, в которой определяются параметры однополостного гиперболоида, представляющего пиксельный пучок 20, 30, 40, соответствует центру зрачка 24, как показано на фиг. 2, где ось
Figure 00000016
определяет направление, нормальное к поверхности зрачка 24, 34.
Параметры
Figure 00000036
определяют направления главного луча относительно входа центра зрачка 24. Они зависят от положения пикселя 22 на датчике 23 и от оптических элементов оптической системы 21. Точнее, параметры
Figure 00000036
представляют углы сдвига, определяющие направление сопряженного элемента 25 пикселя 22 от центра зрачка 24.
Параметр
Figure 00000037
представляет удаленность перетяжки 45 пиксельного пучка 20, 30, 40 или сопряженного элемента 25 пикселя 22 вдоль оси
Figure 00000016
.
Параметр
Figure 00000038
представляет радиус перетяжки 45 пиксельного пучка 20, 30, 40.
Для оптических систем 21, в которых могут моделироваться оптические искажения и искривления поля, параметры
Figure 00000037
и
Figure 00000038
могут зависеть от параметров
Figure 00000039
и
Figure 00000040
через параметрические функции.
Указанные четыре независимых параметра связаны с пикселем 22 и его сопряженным элементом 25.
Шесть дополнительных параметров зрачка, определяющих пиксельный пучок 20, 30, 40, представляют собой:
-
Figure 00000041
, который представляет радиус зрачка 24, 34,
-
Figure 00000042
, которые представляют координаты центра зрачка 24, 34 в системе (
Figure 00000035
) координат, и
-
Figure 00000043
, которые представляют ориентацию зрачка 24, 34 в эталонной системе (
Figure 00000035
) координат.
Эти шесть параметров зрачка связаны со зрачком 24, 34. Определяется еще один параметр
Figure 00000044
. Такой параметр
Figure 00000044
зависит от параметров
Figure 00000037
и
Figure 00000038
, связанных с пикселем 22 и его сопряженным элементом 25, и от параметров
Figure 00000045
, связанных со зрачком 24, 34. Параметр
Figure 00000044
определяет угловую апертуру
Figure 00000046
пиксельного пучка 20, 30, 40 и дается формулой
Figure 00000047
.
При этом выражение параметра
Figure 00000044
дается следующим уравнением:
Figure 00000048
(1)
Координаты
Figure 00000049
- в пространстве предметов - точки, принадлежащей поверхности, ограничивающей пиксельный пучок 20, 30, 40, являются функцией определенных выше наборов параметров, связанных со зрачком 24 и с сопряженным элементом 25 пикселя. Таким образом, уравнение (2), позволяющее генерировать однополостный гиперболоид, представляющий пиксельный пучок 20, 30, 40, имеет вид:
Figure 00000050
(2)
Параметрическое уравнение (3) того же гиперболоида, представляющего пиксельный пучок 20, 30, 40, имеет вид:
Figure 00000051
(3)
где угол
Figure 00000052
- угол в плоскости (
Figure 00000053
), позволяющий генерировать пиксельный пучок 20, 30, 40 по образующей гиперболе,
Figure 00000052
изменяется в интервале
Figure 00000054
, а
Figure 00000055
- координата вдоль оси
Figure 00000016
, которая определяет направление, нормальное к поверхности зрачка 24, 34. Уравнения (2) и (3) записаны исходя из того, что сечения пикселя 22 и его сопряженного элемента 25 являются круглыми, и что сечение зрачка 24, 34 также является круглым.
Чтобы получить точное описание того, как пиксельные пучки 20, 30, 40 осуществляют выборку пространства предметов оптической системы 21, интересно определить, как геометрия сечения пикселя 22 и сечения зрачка 24, 34 укладывается в пространстве предметов. Это ведет к знанию того, как свет, излучаемый в пространстве предметов, распределяется между различными пикселями 22 датчика 23.
Еще один набор параметров определяется при этом с целью описания формы сечений зрачка 24, 34 и пикселя 22, а также сопряженного элемента 25 пикселя 22.
Определяется первый независимый параметр
Figure 00000056
. Параметр
Figure 00000056
представляет соотношение сторон, предусматривающее асимметричный зрачок 24, 34.
Определяется второй независимый параметр
Figure 00000057
. Параметр
Figure 00000057
представляет соотношение сторон, предусматривающее асимметричные пиксельные пучки на сопряженном элементе 25, 45 пикселя 22 - перетяжке.
Третий зависимый от параметров параметр
Figure 00000046
определяется следующим образом:
Figure 00000058
(4)
Figure 00000046
- коэффициент, который представляет распределение формы пиксельного пучка 20, 30, 40 вдоль оси
Figure 00000016
между зрачком 24, 34 и сопряженным элементом 25, 45 пикселя 22 независимо от формы сечений зрачка 24, 34 и пикселя 22; и от сопряженного элемента 25, 45 пикселя 22 до бесконечности. Параметр
Figure 00000059
- это параметр, регулирующий изменение формы пиксельного пучка 20, 30, 40 вдоль оси
Figure 00000016
. Значение
Figure 00000060
аппроксимирует линейное изменение параметра
Figure 00000046
между зрачком 24, 34 и сопряженным элементом 25, 45 пикселя 22.
Два параметра
Figure 00000061
и
Figure 00000062
, называемые коэффициентами полярного радиуса, описывают, соответственно, форму зрачка 24, 34 и форму сопряженного элемента 25, 45 пикселя 22. Параметры
Figure 00000061
и
Figure 00000062
определяются с помощью следующего уравнения:
Figure 00000063
(5)
где
Figure 00000064
- полярный радиус, определяющий точку единичного квадрата для угла
Figure 00000052
.
В нижеследующей таблице, называемой таблицей 1, приведены примеры значений параметров
Figure 00000061
и
Figure 00000062
при
Figure 00000065
:
Figure 00000066
Figure 00000067
Figure 00000068
Figure 00000068
круглый зрачок 24, 34 и сопряженный элемент 25, 45 пикселя
Figure 00000068
Figure 00000069
круглый зрачок 24, 34 и квадратный сопряженный элемент 25, 45 пикселя
Figure 00000069
Figure 00000068
квадратный зрачок 24, 34 и круглый сопряженный элемент 25, 45 пикселя
Figure 00000069
Figure 00000069
квадратный зрачок 24, 34 и квадратный сопряженный элемент 25, 45 пикселя
Таблица 1
С учетом определенных выше параметров, связанных с формой сечений зрачка 24, 34 и пикселя 22, а также сопряженного элемента 25 пикселя 22 обобщенное параметрическое уравнение (6) гиперболоида, представляющего пиксельный пучок 20, 30, 40, имеет вид:
Figure 00000070
(6)
Еще в одном варианте осуществления, поскольку однополостный гиперболоид является линейчатой поверхностью, он может описываться двумя семействами прямых линий, причем, первое семейство называется образующими лучами, вращающимися вокруг оси, называемой главным лучом и составляющей второе семейство. Главный луч и любые образующие лучи достаточны для определения пиксельного пучка.
Как представлено на фиг. 5, первым лучом, рассматриваемым в качестве описывающего пиксельный пучок 50, является его ось или главный луч 51. Главный луч соответствует оси
Figure 00000036
гиперболоида 20, 30, 40, 50, как представлено на фиг. 2.
Сдвиг гиперболоида 20, 30, 40, 50 таким образом, чтобы его главная ось была ориентирована в направлении
Figure 00000071
дает уравнение:
Figure 00000072
где
Figure 00000073
,
Figure 00000074
- положение перетяжки пиксельного пучка по оси z, а a и c представляют длину полуоси гиперболоида по оси x, y и z соответственно.
Вторым рассматриваемым лучом при описании однополостного гиперболоида, представляющего пиксельный пучок 10, 20, 30, 40, 50, является образующий луч 52. Семейство образующих лучей 52 описывает поверхность гиперболоида 50.
Информация, связанная с соответствием между пикселями датчика упомянутой оптической системы получения данных и пространством предметов упомянутой оптической системы получения данных, может принимать форму либо набора параметров, содержащего четыре независимых параметра:
Figure 00000033
, определяющие положение и размер сопряженного элемента 25, 45 пикселя перед зрачком 24, 34, либо шести параметров зрачка
Figure 00000034
, которые определяют положение, ориентацию и радиус зрачка 24, 34, когда пиксельный пучок должен быть представлен своим параметрическим уравнением; либо с помощью набора параметров, определяющих главный луч 51 и семейство образующих лучей 52, когда пиксельный пучок 20, 30, 40, 50 должен быть представлен указанными двумя лучами 20, 30, 40, 50. Таким образом, один из этих двух наборов параметров предусматривается в дополнение к необработанным изображениям или эпиполярным изображениям, представляющим данные 4-мерных световых полей, захваченные оптической системой получения данных с целью использования при обработке данных 4-мерных световых полей.
Преимущество первого варианта осуществления изобретения состоит в том, что в нем для определения пиксельного пучка требуются только два луча: главный луч и образующий луч. Однако это не точно передает геометрию лежащей в основе этого физики. Действительно, однополостные гиперболоиды все же исключают некоторые лучи, которые фактически заканчиваются на датчике, а с другой стороны, они содержат дополнительные лучи.
Чтобы устранить этот недостаток, во втором варианте осуществления изобретения пиксельный пучок 60 может быть представлен двумя коаксиальными частично перекрывающимися конусами - передним конусом 61F и задним конусом 61R, как показано на фиг. 6, опирающимися на два элемента: зрачок 64 и сопряженный элемент 65 пикселя 62 в пространстве предметов, т.е., поверхность в пространстве предметов, которая отображается на пиксель.
Передний конус 61F является отображением выпуклого усеченного конуса, определяемого пикселем 62 и зрачком 64. Вершина усеченного конуса находится за пределами датчика оптической системы получения данных. По построению передний конус 61F является сходящимся в пространстве предметов оптической системы получения данных, при этом вершина переднего конуса 61F находится между сопряженным элементом пикселя 65 - или перетяжкой пиксельного пучка 60 - и зрачком 64. Передний конус 61F образуется из телесного угла, стягиваемого зрачком 64 в пикселе 62.
Задний конус 61R является отображением конуса, определяемого пикселем 62 и зрачком 64, вершина которого находится между зрачком 64 и датчиком оптической системы получения данных. По построению вершина заднего конуса 61R расположена за пределами перетяжки 65 зрачка 60. Задний конус 61R не обязательно сходится в пространстве предметов оптической системы получения данных, в некоторых случаях он может вырождаться в цилиндр или расходящийся конус. В последнем случае вершина расходящегося конуса находится в пространстве изображений оптической системы получения данных, т.е., перед входом зрачка 64.
Передний конус 61F и задний конус 61R имеют одну и ту же общую ось вращения, которой является линия, соединяющая центр зрачка 64 и центр перетяжки 65.
Конусы являются линейчатыми поверхностями, которые могут поддерживать понятие узкого параллельного пучка лучей света и при объединении двух конусов согласуются с понятием «оптического фактора» физических световых пучков, т.е., понятием, связанным с сохранением энергии во всех сечениях физических световых пучков. Пересечения конусов с плоскостями являются коническими кривыми, как для гиперболоидов, которые могут характеризоваться множеством коэффициентов. С учетом его вершины конус может быть представлен тремя угловыми параметрами: полярным углом, измеряемым от оси вращения конуса до угла вершины, и направлением оси вращения, задаваемым двумя углами.
Предположим, что
Figure 00000075
является системой координат оптической системой получения данных,
Figure 00000016
обозначает оптическую ось оптической системы получения данных, при этом
Figure 00000076
в пространстве предметов оптической системы получения данных, а центр зрачка 64 является началом упомянутой системы координат. Оптика оптической системы получения данных отображает пространство предметов оптической системы получения данных из диапазона
Figure 00000077
в
Figure 00000078
пространства изображений оптической системы получения данных, где
Figure 00000030
- фокусное расстояние оптики оптической системы получения данных. Местоположения зрачка 64 и перетяжки 65 пиксельного пучка 60 в системе
Figure 00000075
координат оптической системы получения данных известны по результатам калибровки оптической системы получения данных. Зрачок 64 и перетяжка 65 считаются параллельными, при этом они нормальны к оси
Figure 00000016
.
Обозначим
Figure 00000079
главный луч пиксельного пучка 60. Главный луч представляет собой линию, соединяющую центр зрачка 64 и центр перетяжки 65 пиксельного пучка 60. Главный луч также является осью вращения и осью симметрии пиксельного пучка 60. Таким образом, в системе координат
Figure 00000080
пиксельный пучок 60 является телом вращения.
Вершины и переднего конуса 61F, и заднего конуса 61R расположены на главном луче
Figure 00000079
пиксельного пучка 60. В приближении тонкой линзы координаты указанных двух вершин вычисляются в системе
Figure 00000075
координат оптической системы получения данных в следующем виде, исходя из того, что датчик оптической системы получения данных не расположен в задней фокальной плоскости:
Figure 00000081
т.е.:
Figure 00000014
где
Figure 00000018
и
Figure 00000019
, соответственно, обозначают диаметр зрачка 64 при
Figure 00000020
, его z-координату, диаметр сопряженного элемента 65 пикселя при
Figure 00000082
и его z-координату
Figure 00000022
.
Figure 00000016
-координата
Figure 00000017
вершины заднего конуса 61R может быть положительной, когда задней конус 61R является сходящимся конусом, и отрицательной, когда задней конус 61R является расходящимся конусом. Она может также быть бесконечной, если зрачок 64 и сопряженный элемент 65 зрачка пиксельного пучка имеют одинаковый размер.
Если датчик оптической системы получения данных расположен в задней фокальной плоскости, то
Figure 00000026
и
Figure 00000027
. Их отношение является постоянной величиной:
Figure 00000028
где
Figure 00000029
и
Figure 00000030
, соответственно, представляют диаметр пикселя 62 при
Figure 00000031
и фокусное расстояние оптики оптической системы получения данных при
Figure 00000032
исходя из того, что оптика оптической системы получения данных представляет собой собирающую линзу.
Углы вершин имеют вид:
Figure 00000023
С учетом вершины каждого конуса, объединение которых представляет пиксельный пучок 60, лучи могут определяться с использованием двух угловых параметров: полярного угла, измеряемого от оси вращения пиксельного пучка до угла вершины, и азимута в
Figure 00000083
.
Указанной дополнительной информацией, относящейся к пиксельным пучкам, являются метаданные, связанные с заданной оптической системой получения данных. Они могут выдаваться в виде файла данных, хранящегося, например, на CD-ROM или флэш-накопителе, поставляемом вместе с оптической системой получения данных. Файл данных, содержащий дополнительную информацию, связанную с пиксельными пучками, может также загружаться с сервера, принадлежащего изготовителю оптической системы получения данных. В одном из вариантов осуществления изобретения эта дополнительная информация, связанная с пиксельными пучками, может также быть встроена в заголовок изображений, захваченных оптической системой получения данных.
Знание этой информации, связанной с пиксельными пучками, позволяет обрабатывать изображения, захваченные любой оптической системой получения данных, независимо от собственного формата файла и признаков оптической системы получения данных, используемой для захвата подлежащих обработке изображений.
Фиг. 7 представляет собой схематическую блок-диаграмму, иллюстрирующую пример устройства для кодирования изображения, захваченного оптической системой получения данных в соответствии с одним из вариантов осуществления настоящего изобретения.
Устройство 700 содержит процессор 701, блок 702 хранения, устройство 703 ввода, устройство 704 отображения и блок 705 интерфейса, которые соединены шиной 706. Разумеется, составляющие элементы компьютерного устройства 700 могут быть соединены с помощью соединения, отличного от шинного соединения.
Процессор 701 управляет операциями устройства 700. Блок 702 хранения хранит, по меньшей мере, одну программу, выполненную с возможностью кодирования изображения, полученного оптической системой получения данных, и исполняемую процессором 701, и различные данные, включая параметры, относящиеся к положению пикселя 22 на датчике 23, положению зрачка, или параметры, относящиеся к оптической системе 21 оптической системы получения данных, параметры, используемые в вычислениях, выполняемых процессором 701, промежуточные данные вычислений, выполняемых процессором 701, и так далее. Процессор 701 может быть выполнен с помощью любых известных и подходящих аппаратных средств или программных средств, либо комбинации аппаратных средств и программных средств. Например, процессор 701 может быть выполнен с помощью специализированных аппаратных средств, таких как схема обработки, или с помощью программируемого блока обработки, такого как ЦП (Центральный Процессор), который исполняет программу, хранящуюся в его памяти.
Блок 702 хранения может быть выполнен с помощью любого подходящего хранилища или средства, выполненного с возможностью хранения программы, данных и т.п. машиночитаемым способом. К примерам блока 702 хранения относятся энергонезависимые машиночитаемые среды хранения, такие как полупроводниковые запоминающие устройства, а также магнитные, оптические или магнитооптические регистрирующие среды, загружаемые в блок считывания и записи. Программа заставляет процессор 701 выполнять процесс вычисления параметров, представляющих объем, занимаемый набором лучей света, проходящих через зрачок оптической системы камеры и сопряженный элемент пикселя датчика камеры в пространстве предметов оптической системы в направлении, нормальном к поверхности зрачка, и кодирования этих параметров с использованием изображения, захваченного оптической системой получения данных в соответствии с одним из вариантов осуществления настоящего изобретения, как описывается ниже со ссылкой на фиг. 8.
Устройство 703 ввода может быть выполнено с помощью клавиатуры, указательного устройства, такого как мышь, и т.п. для применения пользователем с целью ввода команд для осуществления выбора пользователем параметров, используемых для генерирования параметрического представления объема, занимаемого набором лучей света в пространстве предметов оптической системы. Устройство 604 вывода может быть выполнено с помощью устройства отображения для отображения, например, Графического Интерфейса Пользователя (ГИП) и изображений, генерируемых в соответствии с одним из вариантов осуществления настоящего изобретения. Устройство 703 ввода и устройство 704 вывода могут быть выполнены как одно целое, например, с помощью сенсорной панели.
Блок 705 интерфейса обеспечивает интерфейс между устройством 700 и внешним устройством. Блок 705 интерфейса может быть выполнен с возможностью связи с внешним устройством посредством кабеля или беспроводной связи. В одном из вариантов осуществления внешним устройством может являться оптическая система получения данных.
Фиг. 8 представляет собой структурную схему для объяснения процесса кодирования изображения, захваченного оптической системой получения данных в соответствии с одним из вариантов осуществления изобретения.
Процессор 701 устройства 700 исполняет программу, выполненную с возможностью вычисления параметров, представляющих объем, занимаемый набором лучей света, проходящих через зрачок оптической системы 11 камеры (на фиг. 2 не показана) и сопряженный элемент пикселя датчика камеры в пространстве предметов оптической системы в направлении, нормальном к поверхности зрачка, и кодирования этих параметров с использованием изображения, захваченного оптической системой получения данных.
Так, процессор 701 во время этапа 801 вычисляет, по меньшей мере, параметр, представляющий пиксельные пучки 10, 20, 30, 40, 50, 60, на основе параметров, хранящихся в блоке 702 хранения. Вычисленные параметры зависят от выбранного изготовителем типа представления пиксельных пучков 10, 20, 30, 40, 50, 60, т.е., представления пиксельного пучка с помощью параметрического уравнения гиперболоида или с помощью главного луча и семейства образующих лучей.
Во время этапа 802 процессор 701 связывает с пикселем датчика оптической системы получения данных, который может воспринимать свет через зрачок упомянутой оптической системы получения данных, параметры, вычисляемые во время этапа 801. Этап 802 исполняется для каждого пикселя датчика, способного воспринимать свет через зрачок оптической системы получения данных.
Во время этапа 803 процессор 701 генерирует файл данных, содержащий вычисленные параметры, представляющие пиксельные пучки, связанные с различными пикселями датчика оптической системы получения данных. Генерируемый файл данных хранится, например, на CD-ROM или флэш-накопителе, поставляемом вместе с оптической системой получения данных, или на сервере, принадлежащем изготовителю оптической системы получения данных.
Еще в одном варианте осуществления изобретения во время этапа 804 процессор 701 связывает файл данных, содержащий вычисленные параметры, представляющие пиксельные пучки, связанные с различными пикселями датчика оптической системы получения данных, с изображением, захваченным оптической системой получения данных. Файл данных, например, сохраняется в конкретном поле заголовка захваченных изображений.
Во время этапа 805 процессор 701 генерирует сообщение, отправляемое в устройство, выполненное с возможностью обработки изображения, захваченного оптической системой получения данных. В первом варианте осуществления изобретения сообщение содержит файл данных, содержащий расчетные параметры, представляющие пиксельные пучки, связанные с различными пикселями датчика оптической системы получения данных, в изображение, захваченное оптической системой получения данных. Во втором варианте осуществления изобретения сообщение состоит из изображения, захваченного оптической системой получения данных, с вложенным файлом данных в поле его заголовка.
Это сообщение затем передается через блок 705 интерфейса на внешнее устройство во время этапа 806. Блок 705 интерфейса передает на внешнее устройств посредством кабельной или беспроводной связи сигнал, содержащий сообщение, содержащее параметры. Внешнее устройство выполнено с возможностью обработки изображения, захваченного оптической системой 21, с использованием параметров, принимаемых в сообщении, передаваемом устройством 700.
Фиг. 9 представляет собой схематическую блок-диаграмму, иллюстрирующую пример устройства для обработки изображения, захваченного оптической системой получения данных, в соответствии с одним из вариантов осуществления настоящего изобретения.
Устройство 900 содержит процессор 901, блок 902 хранения, устройство 903 ввода, устройство 904 отображения и блок 905 интерфейса, которые соединены шиной 906. Разумеется, составляющие элементы компьютерного устройства 900 могут быть соединены с помощью соединения, отличного от шинного соединения.
Процессор 901 управляет операциями устройства 900. Блок 902 хранения хранит, по меньшей мере, одну программу, выполненную с возможностью обработки изображения, полученного оптической системой получения данных и исполняемую процессором 901, и различные данные, включая параметры, относящиеся к положению пикселя 22 на датчике 23, или параметры, относящиеся к оптической системе 21 оптической системы получения данных, параметры, используемые в вычислениях, выполняемых процессором 901, промежуточные данные вычислений, выполняемых процессором 901, и так далее. Процессор 901 может быть выполнен с помощью любых известных и подходящих аппаратных средств или программных средств, либо комбинации аппаратных средств и программных средств. Например, процессор 901 может быть выполнен с помощью специализированных аппаратных средств, таких как схема обработки, или с помощью программируемого блока обработки, такого как ЦП (Центральный Процессор), который исполняет программу, хранящуюся в его памяти.
Блок 902 хранения может быть выполнен с помощью любого подходящего хранилища или средства, выполненного с возможностью хранения программы, данных и т.п. машиночитаемым способом. К примерам блока 902 хранения относятся энергонезависимые машиночитаемые среды хранения, такие как полупроводниковые запоминающие устройства, а также магнитные, оптические или магнитооптические регистрирующие среды, загружаемые в блок считывания и записи. Программа заставляет процессор 901 выполнять процесс обработки изображения, захваченного оптической системой получения данных, на основе параметров пиксельных пучков, выдаваемых вместе с подлежащим обработке изображением в соответствии с одним из вариантов осуществления настоящего изобретения, как описывается ниже со ссылкой на фиг. 10.
Устройство 903 ввода может быть выполнено с помощью клавиатуры, указательного устройства, такого как мышь, и т.п. для применения пользователем с целью ввода команд для осуществления выбора пользователем параметров, используемых для обработки изображения, захваченного оптической системой получения данных. Устройство 904 вывода может быть выполнено с помощью устройства отображения для отображения, например, Графического Интерфейса Пользователя (ГИП) и изображений, генерируемых в соответствии с одним из вариантов осуществления настоящего изобретения. Устройство 903 ввода и устройство 904 вывода могут быть выполнены как одно целое, например, с помощью сенсорной панели.
Блок 905 интерфейса обеспечивает интерфейс между устройством 900 и внешним устройством. Блок 905 интерфейса может быть выполнен с возможностью связи с внешним устройством посредством кабеля или беспроводной связи. В одном из вариантов осуществления внешним устройством может являться оптическая система получения данных или устройство 700.
Фиг. 10 представляет собой структурную схему для объяснения процесса обработки изображения, захваченного оптической системой получения данных, в соответствии с одним из вариантов осуществления изобретения.
Процессор 901 устройства 900 исполняет программу, выполненную с возможностью обработки изображения, захваченного оптической системой получения данных, на основе параметров, представляющих пиксельный пучок, связанный с подлежащим обработке изображением.
Так, процессор 901 во время этапа 1001 выбирает параметры, представляющих пиксельные пучки, которые должны использоваться для обработки захваченного изображения, либо с CD-ROM, либо с флэш-накопителя, поставляемого вместе с оптической системой получения данных, либо путем загрузки файла данных, содержащего упомянутые параметры, с сервера, принадлежащего изготовителю оптической системы получения данных. В одном из вариантов осуществления процессор 901 выбирает эти параметры в заголовке изображения, подлежащего обработке.
Затем во время этапа 1002 осуществляется обработка - во время этапа 1001 - изображения, захваченного оптической системой получения данных, на основе параметров, представляющих пиксельные пучки 10, 20, 30, 40, 50, 60, выбранные во время этапа 1001.
Обработка захваченного изображения может состоять в демультиплексировании, демозаике, перефокусировка, визуализации или микшировании упомянутого захваченного изображения с использованием, по меньшей мере, еще одного изображения, захваченного различными оптическими системами получения данных, либо комбинации любых из этих действий.
Несмотря на то, что настоящее изобретение описано выше со ссылкой на конкретные варианты осуществления, настоящее изобретение не ограничено конкретными вариантами осуществления, при этом специалистам в данной области техники очевидны модификации, которые находятся в пределах объема настоящего изобретения.
Многие другие модификации и варианты представляются сведущим в данной области техники при упоминании вышеописанных иллюстративных вариантов осуществления, которые изложены лишь в качестве примера и которые не предполагают ограничения объема изобретения, определяемого исключительно прилагаемой формулой изобретения. В частности, различные признаки из различных вариантов осуществления при необходимости могут являться взаимозаменяемыми.

Claims (35)

1. Устройство для кодирования изображения, захваченного оптической системой получения данных, причем упомянутое устройство содержит процессор, выполненный с возможностью вычисления - по меньшей мере для одного пикселя датчика упомянутой оптической системы получения данных - параметров, определяющих объем в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого по меньшей мере одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, при этом указанный пиксельный пучок представлен однополостным гиперболоидом в пространстве предметов оптической системы получения данных, и указанные параметры содержат по меньшей мере первый набор параметров, представляющих ось гиперболоида, называемую главным лучом, и второй набор параметров, представляющих семейство образующих лучей, позволяющее образовывать поверхность гиперболоида путем вращения вокруг главного луча.
2. Устройство по п. 1, в котором процессор выполнен с возможностью связывания параметров, представляющих пиксельные пучки, с получаемым оптической системой получения данных изображением, подлежащим кодированию.
3. Устройство по любому из предыдущих пунктов, в котором параметрическим представлением пиксельного пучка является однополостный гиперболоид, определяемый следующими уравнениями:
Figure 00000084
,
где x, y и z - координаты в пространстве предметов точки, принадлежащей поверхности гиперболоида,
Figure 00000085
,
Figure 00000086
представляют расстояние наименьшего сечения пиксельного пучка, называемого перетяжкой, которая соответствует сопряженному элементу пикселя в пространстве предметов оптической системы получения данных в направлении, нормальном к поверхности зрачка,
Figure 00000087
представляют углы сдвига, определяющие направление перетяжки от центра зрачка,
Figure 00000088
представляет размер перетяжки;
Figure 00000089
- зависящий от
Figure 00000088
параметр, определяющий угловую апертуру пиксельного пучка, а
Figure 00000090
- угол, изменяющийся в интервале
Figure 00000091
.
4. Устройство по п. 3, в котором параметрическим представлением пиксельного пучка является однополостный гиперболоид, определяемый следующими уравнениями:
Figure 00000092
,
где
Figure 00000093
- параметр, представляющий соотношение сторон для асимметричного зрачка,
Figure 00000094
- параметр, представляющий соотношение сторон для асимметричной перетяжки,
Figure 00000088
- параметр, связанный с распределением сечения пиксельного пучка между зрачком и перетяжкой,
Figure 00000095
- параметр, представляющий коэффициент полярного радиуса для зрачка, а
Figure 00000096
- параметр, представляющий коэффициент полярного радиуса для перетяжки.
5. Устройство по любому из пп. 1, 2, в котором параметрическим представлением пиксельного пучка является объединение переднего конуса и заднего конуса, причем передний конус и задний конус перекрывают друг друга.
6. Устройство по п. 5, в котором параметрическое представление пиксельного пучка в виде объединения переднего конуса и заднего конуса описывается следующими уравнениями:
Figure 00000097
,
где
Figure 00000098
представляет
Figure 00000099
-координату вершины переднего конуса,
Figure 00000100
представляет
Figure 00000099
-координату вершины заднего конуса,
Figure 00000101
и
Figure 00000102
соответственно обозначают диаметр зрачка пиксельного пучка при
Figure 00000103
, его z-координату, диаметр и
Figure 00000099
-координату перетяжки пиксельного пучка при
Figure 00000104
при этом его z-координата
Figure 00000105
,
и
Figure 00000106
,
где
Figure 00000107
и
Figure 00000108
- углы вершин соответственно переднего конуса и заднего конуса.
7. Устройство по п. 5, в котором параметрическое представление пиксельного пучка в виде объединения переднего конуса и заднего конуса описывается следующими уравнениями при
Figure 00000109
и
Figure 00000110
:
Figure 00000111
,
где
Figure 00000112
и
Figure 00000113
соответственно представляют диаметр пикселя при
Figure 00000114
и фокусное расстояние оптики оптической системы получения данных при
Figure 00000115
,
и
Figure 00000106
.
8. Способ кодирования изображения, захваченного оптической системой получения данных, причем упомянутый способ включает в себя вычисление - по меньшей мере для одного пикселя датчика упомянутой оптической системы получения данных - параметров, определяющих объем в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого по меньшей мере одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, при этом указанный пиксельный пучок представлен однополостным гиперболоидом в пространстве предметов оптической системы получения данных, и указанные параметры содержат по меньшей мере первый набор параметров, представляющих ось гиперболоида, называемую главным лучом, и второй набор параметров, представляющих семейство образующих лучей, позволяющее образовывать поверхность гиперболоида путем вращения вокруг главного луча.
9. Способ по п. 8, дополнительно включающий в себя связывание параметров, представляющих пиксельные пучки, с подлежащим кодированию изображением, захваченным оптической системой получения данных.
10. Устройство для обработки изображения, захваченного оптической системой получения данных, причем упомянутое устройство содержит процессор, выполненный с возможностью обработки упомянутого изображения на основе параметров, связанных по меньшей мере с одним пикселем датчика оптической системы получения данных, причем упомянутые параметры определяют объем - в пространстве предметов оптической системы получения данных - занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого по меньшей мере одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, при этом указанный пиксельный пучок представлен однополостным гиперболоидом в пространстве предметов оптической системы получения данных, и указанные параметры содержат по меньшей мере первый набор параметров, представляющих ось гиперболоида, называемую главным лучом, и второй набор параметров, представляющих семейство образующих лучей, позволяющее образовывать поверхность гиперболоида путем вращения вокруг главного луча.
11. Устройство по п. 10, в котором процессор выполнен с возможностью обработки захваченного изображения с помощью
- демультиплексирования упомянутого захваченного изображения,
- демозаики упомянутого захваченного изображения,
- перефокусировки упомянутого захваченного изображения или
- микширования упомянутого захваченного изображения, по меньшей мере, с еще одним изображением, захваченным еще одной оптической системой получения данных.
12. Способ обработки изображения, захваченного оптической системой получения данных, причем упомянутый способ включает в себя обработку упомянутого изображения на основе параметров, связанных по меньшей мере с одним пикселем датчика оптической системы получения данных, причем упомянутые параметры определяют объем - в пространстве предметов оптической системы получения данных - занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент упомянутого по меньшей мере одного пикселя в пространстве предметов оптической системы получения данных, в направлении, нормальном к поверхности зрачка, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, при этом указанный пиксельный пучок представлен однополостным гиперболоидом в пространстве предметов оптической системы получения данных, и указанные параметры содержат по меньшей мере первый набор параметров, представляющих ось гиперболоида, называемую главным лучом, и второй набор параметров, представляющих семейство образующих лучей, позволяющее образовывать поверхность гиперболоида путем вращения вокруг главного луча.
13. Способ по п. 12, в котором обработка захваченного изображения состоит в
- демультиплексировании упомянутого захваченного изображения,
- демозаике упомянутого захваченного изображения,
- перефокусировке упомянутого захваченного изображения или
- микшировании упомянутого захваченного изображения, по меньшей мере, с еще одним изображением, захваченным еще одной оптической системой получения данных.
14. Машиночитаемый носитель данных, содержащий хранящиеся на нем инструкции программного кода, которые при исполнении процессором побуждают процессор для реализации способа кодирования изображения, захваченного оптической системой получения данных по п. 8 или 9.
RU2018113714A 2015-09-17 2016-08-23 Устройство и способ для кодирования изображения, захваченного оптической системой получения данных RU2729698C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15306444.9 2015-09-17
EP15306444.9A EP3145195A1 (en) 2015-09-17 2015-09-17 An apparatus and a method for encoding an image captured by an optical acquisition system
EP16305493.5 2016-04-28
EP16305493 2016-04-28
PCT/EP2016/069884 WO2017045875A1 (en) 2015-09-17 2016-08-23 An apparatus and a method for encoding an image captured by an optical acquisition system

Publications (3)

Publication Number Publication Date
RU2018113714A RU2018113714A (ru) 2019-10-17
RU2018113714A3 RU2018113714A3 (ru) 2020-03-19
RU2729698C2 true RU2729698C2 (ru) 2020-08-11

Family

ID=56787477

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018113714A RU2729698C2 (ru) 2015-09-17 2016-08-23 Устройство и способ для кодирования изображения, захваченного оптической системой получения данных

Country Status (12)

Country Link
US (1) US10872442B2 (ru)
EP (1) EP3350998A1 (ru)
JP (1) JP6847097B2 (ru)
KR (1) KR20180053719A (ru)
CN (1) CN108353187B (ru)
AU (1) AU2016321728B2 (ru)
BR (1) BR112018005339A2 (ru)
CA (1) CA2998661A1 (ru)
MX (1) MX2018003266A (ru)
RU (1) RU2729698C2 (ru)
TW (1) TW201723635A (ru)
WO (1) WO2017045875A1 (ru)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
JP2022525432A (ja) * 2019-04-02 2022-05-13 ライト フィールド ラボ、インコーポレイテッド 4次元エネルギー指向システムおよび方法
CN111768484A (zh) * 2020-05-20 2020-10-13 北京邮电大学 基于合成图像编码的电子沙盘显示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20130235261A1 (en) * 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
US20130250043A1 (en) * 2010-03-09 2013-09-26 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
US20140098191A1 (en) * 2012-10-05 2014-04-10 Vidinoti Sa Annotation method and apparatus
RU2549522C2 (ru) * 2011-10-21 2015-04-27 Кэнон Кабусики Кайся Устройство обработки изображений и способ определения

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
JPH11213628A (ja) * 1998-01-21 1999-08-06 Toshiba Corp 記録媒体とその再生装置および記録再生装置
JP2003348462A (ja) * 2002-05-27 2003-12-05 Olympus Optical Co Ltd カメラ及び撮像素子ユニット
US20100014063A1 (en) 2005-05-31 2010-01-21 Fujifilm Corporation Image exposure apparatus
JP2010176325A (ja) * 2009-01-28 2010-08-12 Ntt Docomo Inc 任意視点画像生成装置及び任意視点画像生成方法
JP5558094B2 (ja) 2009-10-07 2014-07-23 オリンパス株式会社 表示方法、表示装置、光学ユニット、表示装置の製造方法、及び電子機器
CN103299166B (zh) * 2010-10-27 2015-09-23 康奈尔大学 光场图像传感器、方法和应用
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US9250445B2 (en) 2012-08-08 2016-02-02 Carol Ann Tosaya Multiple-pixel-beam retinal displays
WO2014198351A1 (en) * 2013-06-12 2014-12-18 Vidinoti Sa Method and apparatus for identifying local features
EP2879091A1 (en) * 2013-11-29 2015-06-03 Thomson Licensing Method and device for estimating disparity associated with views of a scene acquired with a plenoptic camera
US9524556B2 (en) * 2014-05-20 2016-12-20 Nokia Technologies Oy Method, apparatus and computer program product for depth estimation
CN104570000B (zh) * 2015-01-07 2017-02-22 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20130250043A1 (en) * 2010-03-09 2013-09-26 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
RU2549522C2 (ru) * 2011-10-21 2015-04-27 Кэнон Кабусики Кайся Устройство обработки изображений и способ определения
US20130235261A1 (en) * 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
US20140098191A1 (en) * 2012-10-05 2014-04-10 Vidinoti Sa Annotation method and apparatus

Also Published As

Publication number Publication date
JP6847097B2 (ja) 2021-03-24
CN108353187B (zh) 2023-01-03
MX2018003266A (es) 2018-11-09
RU2018113714A3 (ru) 2020-03-19
US10872442B2 (en) 2020-12-22
BR112018005339A2 (pt) 2018-10-09
KR20180053719A (ko) 2018-05-23
CN108353187A (zh) 2018-07-31
WO2017045875A1 (en) 2017-03-23
TW201723635A (zh) 2017-07-01
AU2016321728A1 (en) 2018-04-26
EP3350998A1 (en) 2018-07-25
CA2998661A1 (en) 2017-03-23
US20180260977A1 (en) 2018-09-13
JP2018536312A (ja) 2018-12-06
RU2018113714A (ru) 2019-10-17
AU2016321728B2 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
JP2017063414A (ja) ライト・フィールドを表すデータを生成する方法および装置
JP6902529B2 (ja) 光学的捕捉システムを校正する装置及び方法
JP6971084B2 (ja) ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置
RU2729698C2 (ru) Устройство и способ для кодирования изображения, захваченного оптической системой получения данных
JP2018531448A6 (ja) 光学的捕捉システムを校正する装置及び方法
KR102454773B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
KR102562696B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법
EP3145195A1 (en) An apparatus and a method for encoding an image captured by an optical acquisition system