RU2017134151A - Метаданные светового поля - Google Patents
Метаданные светового поля Download PDFInfo
- Publication number
- RU2017134151A RU2017134151A RU2017134151A RU2017134151A RU2017134151A RU 2017134151 A RU2017134151 A RU 2017134151A RU 2017134151 A RU2017134151 A RU 2017134151A RU 2017134151 A RU2017134151 A RU 2017134151A RU 2017134151 A RU2017134151 A RU 2017134151A
- Authority
- RU
- Russia
- Prior art keywords
- light field
- field data
- metadata
- data
- photosensor
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Claims (67)
1. Способ обеспечения метаданных для захваченных данных светового поля, причем способ содержит этап, на котором обеспечивают формат данных, объединяющий метаданные, описывающие характеристики, по меньшей мере, одного из:
камеры светового поля, используемой для захвата данных светового поля,
матрицы видов, выведенной из данных светового поля, и
фокальной стопки, выведенной из данных светового поля.
2. Способ визуализации изображения из данных светового поля, причем способ содержит этапы, на которых получают метаданные данных светового поля, описывающие характеристики, по меньшей мере, одного из:
камеры светового поля, используемой для захвата данных светового поля,
матрицы видов, выведенной из данных светового поля, и
фокальной стопки, выведенной из данных светового поля; и
визуализируют данные светового поля на основании информации, обеспеченной метаданными.
3. Способ по п. 1 или 2, в котором метаданные объединяются в файле светового изображения
4. Способ по любому из предыдущих пунктов, в котором метаданные, описывающие характеристики камеры светового поля, используемой для захвата данных светового поля, включают в себя данные, задающие одну или более из следующих технических особенностей камеры светового поля:
фотодатчика камеры светового поля;
главной линзы камеры светового поля; и
массива микролинз камеры светового поля.
5. Способ по п. 4, в котором метаданные, описывающие фотодатчик камеры светового поля, включают в себя данные, представляющие один или более из следующих параметров:
пространственного разрешения фотодатчика;
дискретизация цвета цветового фильтра фотодатчика;
коэффициента пропускания цветового фильтра фотодатчика;
динамического диапазона пикселей фотодатчика;
матрицы цветового преобразования, задающей нелинейное соотношение между сигналом, выводимым пикселем, и входящим светом;
шага между двумя соседними пикселями фотодатчика; и
масштабного коэффициента, указывающего формфактор неквадратных пикселей.
6. Способ по п. 4 или 5, в котором метаданные, описывающие главную линзу камеры светового поля, включают в себя данные, представляющие один или более из следующих параметров:
фокусного расстояния главной линзы
отношения между зрачком и фокусным расстоянием; и
модели виньетирования главной линзы.
7. Способ по любому из пп. 4-6, в котором метаданные, описывающие массив микролинз камеры светового поля, включают в себя данные, представляющие один или более из следующих параметров:
шаблона массива микролинз;
шаблона цветовых фильтров, размещенных на массиве микролинз;
шага между двумя соседними микролинзами массива микролинз;
масштабного коэффициента, указывающего формфактор микролинзы; и
количества калиброванных центров микролинз; и
пространственных координат одного или более центров микролинз.
8. Способ по любому из предыдущих пунктов, в котором метаданные задаются на языке разметки в соответствии с XML.
9. Способ по любому из предыдущих пунктов, в котором метаданные, описывающие характеристики массива видов, выведенные из данных светового поля, включают в себя данные, представляющие один или более из следующих параметров:
количества видов в массиве;
пространственного разрешения какого-либо или каждого вида;
цветов, имеющихся в виде;
пространственных координат точки отсчета вида;
фокусного расстояния вида по горизонтали и вертикали.
10. Способ по любому из предыдущих пунктов, в котором метаданные, описывающие характеристики фокальной стопки, выведенной из данных светового поля, включают в себя данные, представляющие один или более из следующих параметров:
количества сфокусированных изображений в фокальной стопке;
пространственного разрешения сфокусированных изображений;
расстояния фокусировки сфокусированного изображения.
11. Устройство для обеспечения метаданных для захваченных данных светового поля,
причем устройство содержит:
модуль получения данных светового поля для получения данных светового поля, захваченных камерой светового поля, и
форматер данных для обеспечения объединения метаданных, описывающих характеристики, по меньшей мере, одного из:
камеры светового поля, используемой для захвата данных светового поля,
матрицы видов, выведенной из данных светового поля, и
фокальной стопки, выведенной из данных светового поля.
12. Устройство формирования изображения светового поля, содержащее:
массив микролинз, размещенный в структуре правильной решетки;
фотодатчик, выполненный с возможностью захвата света, проецируемого на фотодатчик из массива микролинз, причем фотодатчик содержит наборы пикселей, причем каждый набор пикселей оптически связан с соответствующей микролинзой массива микролинз; и
устройство для обеспечения метаданных по п. 11.
13. Устройство для визуализации изображения из данных светового поля с использованием метаданных, описывающих характеристики, по меньшей мере, одного из:
камеры светового поля, используемой для захвата данных светового поля,
матрицы видов, выведенной из данных светового поля, и
фокальной стопки, выведенной из данных светового поля, причем устройство содержит
процессор и память, содержащую приложение визуализации, данные светового поля и метаданные, причем приложение визуализации конфигурирует процессор для визуализации данных светового поля на основании информации, обеспеченной в метаданных.
14. Пакет данных, содержащий:
данные светового поля, захваченные от камеры светового поля; и
метаданные, описывающие характеристики, по меньшей мере, одного из:
камеры светового поля, используемой для захвата данных светового поля,
матрицы видов, выведенной из данных светового поля, и
фокальной стопки, выведенной из данных светового поля.
15. Компьютерный программный продукт для программируемого устройства, причем компьютерный программный продукт содержит последовательность инструкций для осуществления способа по любому из пп. 1-10 при загрузке в программируемое устройство и выполнении на нем.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15305340.0 | 2015-03-05 | ||
EP15305340.0A EP3065394A1 (en) | 2015-03-05 | 2015-03-05 | Light field metadata |
PCT/EP2016/054041 WO2016139134A1 (en) | 2015-03-05 | 2016-02-26 | Light field metadata |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2017134151A true RU2017134151A (ru) | 2019-04-03 |
RU2017134151A3 RU2017134151A3 (ru) | 2019-10-02 |
Family
ID=52774156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017134151A RU2017134151A (ru) | 2015-03-05 | 2016-02-26 | Метаданные светового поля |
Country Status (11)
Country | Link |
---|---|
US (1) | US20180047185A1 (ru) |
EP (2) | EP3065394A1 (ru) |
JP (1) | JP2018514969A (ru) |
KR (1) | KR20170125078A (ru) |
CN (1) | CN107534718A (ru) |
BR (1) | BR112017019004A2 (ru) |
CA (1) | CA2978072A1 (ru) |
MX (1) | MX2017011323A (ru) |
RU (1) | RU2017134151A (ru) |
TW (1) | TW201633773A (ru) |
WO (1) | WO2016139134A1 (ru) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
WO2018024490A1 (en) * | 2016-08-05 | 2018-02-08 | Thomson Licensing | A method for obtaining at least one sub-aperture image being associated with one view |
JPWO2018062368A1 (ja) * | 2016-09-30 | 2019-08-15 | 株式会社ニコン | 撮像装置および撮像システム |
KR102646437B1 (ko) * | 2016-11-25 | 2024-03-11 | 삼성전자주식회사 | 멀티 렌즈 기반의 촬영 장치 및 방법 |
WO2019039507A1 (ja) * | 2017-08-22 | 2019-02-28 | 株式会社 東芝 | スマートカメラ、画像処理装置、およびデータ通信方法 |
JP6668298B2 (ja) * | 2017-08-30 | 2020-03-18 | 株式会社東芝 | スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム |
RU2690757C1 (ru) | 2018-08-21 | 2019-06-05 | Самсунг Электроникс Ко., Лтд. | Система синтеза промежуточных видов светового поля и способ ее функционирования |
KR20200067020A (ko) | 2018-12-03 | 2020-06-11 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
CN110389140A (zh) * | 2019-07-11 | 2019-10-29 | 中国科学院上海应用物理研究所 | 实现元素空间定位的双能焦点堆栈三维重构方法 |
WO2021249955A1 (en) * | 2020-06-09 | 2021-12-16 | Interdigital Vc Holdings France, Sas | Metadata to describe color filter on top on camera sensors |
EP4256525A2 (en) * | 2020-12-04 | 2023-10-11 | Dolby Laboratories Licensing Corporation | Processing of extended dimension light field images |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004120069A (ja) * | 2002-09-24 | 2004-04-15 | Canon Inc | 画像処理装置、画像処理方法および該方法を実現するためのプログラム |
US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
US20120249550A1 (en) * | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
WO2013049699A1 (en) * | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
JP2013255172A (ja) * | 2012-06-08 | 2013-12-19 | Canon Inc | 画像処理装置及び画像処理方法 |
JP6214233B2 (ja) * | 2013-06-21 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 |
US9693010B2 (en) * | 2014-03-11 | 2017-06-27 | Sony Corporation | Method, electronic device, and server for generating digitally processed pictures |
-
2015
- 2015-03-05 EP EP15305340.0A patent/EP3065394A1/en not_active Withdrawn
-
2016
- 2016-02-26 CN CN201680022582.0A patent/CN107534718A/zh active Pending
- 2016-02-26 EP EP16706848.5A patent/EP3266194A1/en not_active Withdrawn
- 2016-02-26 KR KR1020177027809A patent/KR20170125078A/ko unknown
- 2016-02-26 WO PCT/EP2016/054041 patent/WO2016139134A1/en active Application Filing
- 2016-02-26 CA CA2978072A patent/CA2978072A1/en not_active Abandoned
- 2016-02-26 MX MX2017011323A patent/MX2017011323A/es unknown
- 2016-02-26 BR BR112017019004A patent/BR112017019004A2/pt not_active Application Discontinuation
- 2016-02-26 TW TW105105763A patent/TW201633773A/zh unknown
- 2016-02-26 RU RU2017134151A patent/RU2017134151A/ru not_active Application Discontinuation
- 2016-02-26 US US15/555,486 patent/US20180047185A1/en not_active Abandoned
- 2016-02-26 JP JP2017546605A patent/JP2018514969A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
MX2017011323A (es) | 2017-12-07 |
EP3266194A1 (en) | 2018-01-10 |
JP2018514969A (ja) | 2018-06-07 |
CA2978072A1 (en) | 2016-09-09 |
WO2016139134A1 (en) | 2016-09-09 |
RU2017134151A3 (ru) | 2019-10-02 |
TW201633773A (zh) | 2016-09-16 |
KR20170125078A (ko) | 2017-11-13 |
US20180047185A1 (en) | 2018-02-15 |
BR112017019004A2 (pt) | 2018-04-17 |
EP3065394A1 (en) | 2016-09-07 |
CN107534718A (zh) | 2018-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2017134151A (ru) | Метаданные светового поля | |
JP2018514969A5 (ru) | ||
RU2016136352A (ru) | Способ и устройство для формирования данных, представляющих световое поле | |
US9503633B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
MY184812A (en) | Image sensor, output method, phase focusing method, imaging device, and terminal | |
JP2013165475A5 (ru) | ||
RU2018113713A (ru) | Представление данных светового поля | |
JP2012142918A5 (ru) | ||
US20120212651A1 (en) | Image processing apparatus, image capturing apparatus, image processing method adn storage medium | |
RU2012135476A (ru) | Устройство съемки изображений, устройство обработки изображений и способ обработки изображений для формирования вспомогательной информации для снятого изображения | |
RU2016118756A (ru) | Способ и устройство для определения пространственного параметра на основе изображения, а также оконечное устройство | |
CN104717482A (zh) | 多光谱多景深阵列拍摄方法与拍摄相机 | |
US8937662B2 (en) | Image processing device, image processing method, and program | |
JP2018536211A5 (ru) | ||
JP2012015891A5 (ru) | ||
JP6746359B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
CN103973976A (zh) | 一种利用光学成像的显著性提取装置及方法 | |
JP2013145982A5 (ru) | ||
JP2015188251A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2013145982A (ja) | 撮像装置、画像処理装置及び方法 | |
JP2018033126A5 (ru) | ||
US9838618B2 (en) | Image processing device configured to correct output data based upon a point spread function | |
JP5743769B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013102368A5 (ru) | ||
US9699394B2 (en) | Filter arrangement for image sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
HZ9A | Changing address for correspondence with an applicant | ||
FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20200123 |