RU2018113713A - Представление данных светового поля - Google Patents
Представление данных светового поля Download PDFInfo
- Publication number
- RU2018113713A RU2018113713A RU2018113713A RU2018113713A RU2018113713A RU 2018113713 A RU2018113713 A RU 2018113713A RU 2018113713 A RU2018113713 A RU 2018113713A RU 2018113713 A RU2018113713 A RU 2018113713A RU 2018113713 A RU2018113713 A RU 2018113713A
- Authority
- RU
- Russia
- Prior art keywords
- data
- light field
- intersection
- representing
- rays
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Claims (69)
1. Компьютерно-реализуемый способ генерирования данных, представляющих световое поле, причем способ содержит этапы, на которых
получают данные пересечения, задающие пересечения лучей светового поля, из сцены с множеством заданных опорных плоскостей, причем упомянутые опорные плоскости соответствуют разным глубинам в сцене, причем каждый набор данных пересечения соответствует лучу светового поля, имеющему значение цвета;
определяют одну или более гиперплоскостей данных, представляющих данные пересечения в параметрическом пространстве ячеек дискретизации;
сканируют данные на гиперплоскостях данных или вокруг них посредством параметрических уравнений для дискретизации данных, представляющих луч светового поля;
обеспечивают формат данных, представляющий световое поле, включающий в себя, по меньшей мере, один параметр данных, задающий, по меньшей мере, одну гиперплоскость данных в параметрическом пространстве и значение цвета, связанное с каждым лучом светового поля.
2. Способ по п. 1, в котором одна или более гиперплоскостей данных определяются посредством дискретного преобразования Радона.
3. Способ по п. 2, в котором два ортогональных дискретных преобразования Радона применяются в параметрическом пространстве для получения одной или более гиперплоскостей.
4. Способ по п. 1, в котором одна или более гиперплоскостей данных определяются из данных, задающих параметры получения камеры.
5. Способ по любому из предыдущих пунктов, в котором сканирование данных содержит этап, на котором применяют следующий алгоритм
вычислять 
сохранять значение RGB луча, находящегося в ячейке i, j, k, l
6. Способ по любому из предыдущих пунктов, в котором параметры данных, задающие, по меньшей мере, одну гиперплоскость данных, включают в себя данные, представляющие, по меньшей мере, одно из
минимального значения данных пересечения первой опорной плоскости;
максимального значения данных пересечения первой опорной плоскости;
минимального значения данных пересечения второй опорной плоскости;
максимального значения данных пересечения второй опорной плоскости;
количества ячеек дискретизации, задающих параметрическое пространство;
позиции первой опорной плоскости; и
позиции второй опорной плоскости.
7. Способ по любому из предыдущих пунктов, в котором каждая гиперплоскость данных задается множеством ячеек параметрического пространства, по меньшей мере, одной первой ячейкой, представляющей пересечение линии с осью, и, по меньшей мере, одной второй ячейкой, из которой можно определить наклон линии.
8. Способ по любому из предыдущих пунктов, в котором каждая цифровая гиперплоскость генерируется путем применения алгоритма Брезенхэма.
9. Способ по любому из предыдущих пунктов, в котором пучок лучей представлен как множество гиперплоскостей, имеющих один и тот же наклон и разные точки пересечения с осью.
10. Способ по п. 9, в котором данные, представляющие полученные данные светового поля, содержат данные, представляющие толщину пучка на основании верхней и нижней границ данных пересечения с осью линий пучка.
11. Способ генерирования лучей светового поля из данных светового поля, обеспеченных согласно способу по любому из предыдущих пунктов, содержащий этапы, на которых
считывают метаданные, задающие параметры данных, задающие по меньшей мере, одну гиперплоскость, и поячеечно считывают данные цвета.
12. Устройство для обеспечения метаданных для захваченных данных светового поля, причем устройство содержит
модуль получения данных светового поля для получения данных светового поля, захваченных камерой светового поля, и
модуль генерации данных светового поля, выполненный с возможностью:
получать данные пересечения, задающие пересечения лучей светового поля, из сцены с множеством заданных опорных плоскостей, причем упомянутые опорные плоскости соответствуют разным глубинам в сцене, причем каждый набор данных пересечения соответствует лучу светового поля, имеющему значение цвета;
определять одну или более гиперплоскостей данных, представляющих данные пересечения в параметрическом пространстве ячеек дискретизации;
сканировать данные на гиперплоскостях данных или вокруг них посредством параметрических уравнений для дискретизации данных, представляющих луч светового поля;
обеспечивать формат данных, представляющий световое поле, включающий в себя, по меньшей мере, один параметр данных, задающий гиперплоскость в параметрическом пространстве и значение цвета, связанное с каждым сгенерированным лучом светового поля.
13. Устройство формирования изображения светового поля, содержащее
массив микролинз, размещенных в структуре правильной решетки;
фотодатчик, выполненный с возможностью захвата света, проецируемого на фотодатчик от массива микролинз, причем фотодатчик содержит наборы пикселей, причем каждый набор пикселей оптически связан с соответствующей микролинзой из массива микролинз; и устройство для обеспечения метаданных по п. 12.
14. Устройство для визуализации изображения из данных светового поля, полученных с использованием способа по любому из пп. 1-11.
15. Пакет данных для данных, представляющих лучи светового поля, содержащий по меньшей мере, один параметр данных, задающий гиперплоскость в параметрическом пространстве, причем гиперплоскость представляет данные пересечения, задающие пересечения лучей светового поля, из сцены с множеством заданных опорных плоскостей, причем упомянутые опорные плоскости соответствуют разным глубинам в сцене, причем каждый набор данных пересечения соответствует лучу светового поля, имеющему значение цвета; и значение цвета, связанное с каждым лучом светового поля.
16. Компьютерно-реализуемый способ генерирования данных, представляющих световое поле, содержащий этапы, на которых
получают (S701) данные светового поля, представляющие лучи светового поля, захваченные из сцены;
получают (S702), из полученных данных светового поля, данные пересечения, задающие пересечения лучей светового поля из сцены с множеством заданных опорных плоскостей, причем упомянутые опорные плоскости соответствуют разным глубинам в сцене; и
получают параметры диаграммы хода лучей (S704, S705) задающие графическое представление данных пересечения в диаграмме хода лучей для обеспечения данных, представляющих полученные данные светового поля.
17. Способ по п. 16, в котором данные пересечения, соответствующие лучам светового поля, графически представлены в диаграмме хода лучей как линии данных, и параметры диаграммы хода лучей включают в себя данные, представляющие, по меньшей мере, одно из:
наклона линии данных; и пересечения линии данных с осью диаграммы хода лучей.
18. Способ по п. 17, в котором линии данных обнаруживаются в диаграмме хода лучей путем применения преобразования Радона.
19. Способ по п. 17 или 18, в котором графическое представление обеспечивается как матрица ячеек для обеспечения цифровой линии данных, причем каждый формат цифровой линии данных задается множеством ячеек, по меньшей мере, одной первой ячейкой, представляющей пересечение линии с осью, и, по меньшей мере, одной второй ячейкой, из которой можно определить наклон линии.
20. Способ по п. 19, в котором каждая цифровая линия данных генерируется путем применения алгоритма Брезенхэма.
21. Способ по п. 19 или 20, в котором данные, представляющие полученные данные светового поля, содержат данные, задающие матрицу ячеек.
22. Способ по любому из пп. 16-21, в котором данные, представляющие полученные данные светового поля, дополнительно содержат данные цвета, представляющие цвет соответствующих лучей светового поля.
23. Способ по любому из пп. 16-22, в котором данные, представляющие полученные данные светового поля, содержат данные, задающие количество камер, используемых для захвата лучей светового поля.
24. Способ по любому из пп. 17-23, в котором пучок лучей представлен как множество линий, имеющих один и тот же наклон и разные точки пересечения с осью.
25. Способ по п. 24 в котором данные, представляющие полученные данные светового поля, содержат данные, представляющие толщину пучка на основании верхней и нижней границ данных пересечения с осью линий пучка.
26. Способ по п. 25, в котором данные, представляющие полученные данные светового поля, обеспечиваются как метаданные, причем заголовок метаданных содержит параметры диаграммы хода лучей, задающие графическое представление данных пересечения в диаграмме хода лучей, и тело метаданных, содержащее данные, представляющие цвет луча.
27. Устройство для обеспечения метаданных для захваченных данных светового поля, причем устройство содержит
модуль получения данных светового поля для получения данных светового поля, захваченных камерой светового поля, и
модуль генерации данных светового поля, выполненный с возможностью:
получать, из полученных данных светового поля, данные пересечения, задающие пересечения лучей светового поля из сцены с множеством заданных опорных плоскостей, причем упомянутые опорные плоскости соответствуют разным глубинам в сцене; и
получать параметры диаграммы хода лучей, задающие графическое представление данных пересечения в диаграмме хода лучей для обеспечения данных, представляющих полученные данные светового поля.
28. Устройство формирования изображения светового поля, содержащее
массив микролинз, размещенных в структуре правильной решетки;
фотодатчик, выполненный с возможностью захвата света, проецируемого на фотодатчик от массива микролинз, причем фотодатчик содержит наборы пикселей, причем каждый набор пикселей оптически связан с соответствующей микролинзой из массива микролинз; и
устройство для обеспечения метаданных по п. 12.
29. Устройство для визуализации изображения из данных светового поля, содержащее
процессор для обработки данных, полученных в соответствии со способом по любому из пп. 16-26; и
дисплей для визуализации изображения в соответствии с обработанными данными.
30. Пакет данных для данных, представляющих лучи светового поля, содержащий:
параметры диаграммы хода лучей, задающие графическое представление в диаграмме хода лучей данных пересечения световых лучей, причем данные пересечения задают пересечения лучей светового поля из сцены с множеством заданных опорных плоскостей, причем упомянутые опорные плоскости соответствуют разным глубинам в сцене; и данные цвета, задающие цвета луча светового поля.
31. Компьютерный программный продукт для программируемого устройства, причем компьютерный программный продукт содержит последовательность инструкций для осуществления способа по любому из пп. 1-10 или 16-26 при загрузке в программируемое устройство и при выполнении им.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306436.5A EP3144885A1 (en) | 2015-09-17 | 2015-09-17 | Light field data representation |
| EP15306436.5 | 2015-09-17 | ||
| EP15306434.0 | 2015-09-17 | ||
| EP15306434.0A EP3144884A1 (en) | 2015-09-17 | 2015-09-17 | Light field data representation |
| PCT/EP2016/072043 WO2017046372A1 (en) | 2015-09-17 | 2016-09-16 | Light field data representation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2018113713A true RU2018113713A (ru) | 2019-10-18 |
| RU2018113713A3 RU2018113713A3 (ru) | 2020-04-02 |
Family
ID=56979550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018113713A RU2018113713A (ru) | 2015-09-17 | 2016-09-16 | Представление данных светового поля |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10887576B2 (ru) |
| EP (1) | EP3350769A1 (ru) |
| JP (1) | JP6878415B2 (ru) |
| KR (1) | KR102635003B1 (ru) |
| CN (1) | CN108292431B (ru) |
| BR (1) | BR112018005399A2 (ru) |
| CA (1) | CA2998670A1 (ru) |
| MX (1) | MX2018003269A (ru) |
| RU (1) | RU2018113713A (ru) |
| WO (1) | WO2017046372A1 (ru) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9497380B1 (en) * | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
| JP2018537877A (ja) * | 2015-09-17 | 2018-12-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ライトフィールドコンテンツをエンコードする方法 |
| EP3579561A1 (en) * | 2018-06-05 | 2019-12-11 | InterDigital VC Holdings, Inc. | Prediction for light-field coding and decoding |
| KR20200067020A (ko) * | 2018-12-03 | 2020-06-11 | 삼성전자주식회사 | 캘리브레이션 방법 및 장치 |
| WO2020253864A1 (en) | 2019-06-21 | 2020-12-24 | Beijing Bytedance Network Technology Co., Ltd. | Selective enablement of adaptive in-loop color-space transform in video coding |
| JP2022540350A (ja) | 2019-06-28 | 2022-09-15 | ピーシーエムエス ホールディングス インコーポレイテッド | 調整可能な液晶（ｌｃ）ディフューザに基づいたライトフィールド（ｌｆ）ディスプレイのための光学的方法およびシステム |
| WO2021088951A1 (en) * | 2019-11-07 | 2021-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Quantization properties of adaptive in-loop color-space transform for video coding |
| WO2022193104A1 (zh) * | 2021-03-15 | 2022-09-22 | 华为技术有限公司 | 一种光场预测模型的生成方法及相关装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6097394A (en) * | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| WO2000057398A1 (fr) | 1999-03-24 | 2000-09-28 | Avix Inc. | Procede et dispositif d'affichage de donnees d'image multicolores de type page-ecran sur un ecran d'affichage de type matrice a points ou les lampes des trois couleurs primaires sont disposees en reseau reparti |
| JP2000322576A (ja) | 1999-05-11 | 2000-11-24 | Toshiba Corp | ３次元画像データ作成方法および３次元画像データを用いた任意視点画像作成方法 |
| US20040114807A1 (en) * | 2002-12-13 | 2004-06-17 | Dan Lelescu | Statistical representation and coding of light field data |
| US7643675B2 (en) | 2003-08-01 | 2010-01-05 | Microsoft Corporation | Strategies for processing image information using a color information data structure |
| US8237708B2 (en) | 2006-08-18 | 2012-08-07 | William Edward Mantzel | Data structure representing a plenoptic function via compressible layered orthographic projections from multiple orientations |
| US20130113981A1 (en) | 2006-12-01 | 2013-05-09 | Lytro, Inc. | Light field camera image, file and configuration data, and methods of using, storing and communicating same |
| ES2372515B2 (es) | 2008-01-15 | 2012-10-16 | Universidad De La Laguna | Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales. |
| EP2258085A1 (en) | 2008-03-10 | 2010-12-08 | Dilithium Holdings, Inc. | Method and apparatus for video services |
| ATE551841T1 (de) | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
| KR20130003135A (ko) | 2011-06-30 | 2013-01-09 | 삼성전자주식회사 | 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치 |
| US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| KR101701790B1 (ko) | 2013-01-18 | 2017-02-02 | 인텔 코포레이션 | 디포커스 블러에 대한 분산 추정 광 필드 재구성 |
| US9380221B2 (en) | 2013-02-27 | 2016-06-28 | Massachusetts Institute Of Technology | Methods and apparatus for light field photography |
| US9412172B2 (en) | 2013-05-06 | 2016-08-09 | Disney Enterprises, Inc. | Sparse light field representation |
| CN103402108A (zh) | 2013-07-30 | 2013-11-20 | 上海易维视科技有限公司 | 一种多视点3d格式排列方法 |
| KR102156402B1 (ko) * | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| KR20160106045A (ko) * | 2013-11-22 | 2016-09-09 | 비디노티 에스아 | 광필드 처리방법 |
| JP6223169B2 (ja) * | 2013-12-19 | 2017-11-01 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2016
- 2016-09-16 US US15/761,095 patent/US10887576B2/en active Active
- 2016-09-16 CA CA2998670A patent/CA2998670A1/en not_active Abandoned
- 2016-09-16 WO PCT/EP2016/072043 patent/WO2017046372A1/en active Application Filing
- 2016-09-16 BR BR112018005399A patent/BR112018005399A2/pt not_active IP Right Cessation
- 2016-09-16 JP JP2018514259A patent/JP6878415B2/ja active Active
- 2016-09-16 RU RU2018113713A patent/RU2018113713A/ru not_active Application Discontinuation
- 2016-09-16 MX MX2018003269A patent/MX2018003269A/es unknown
- 2016-09-16 CN CN201680067390.1A patent/CN108292431B/zh active Active
- 2016-09-16 KR KR1020187007697A patent/KR102635003B1/ko active IP Right Grant
- 2016-09-16 EP EP16769961.0A patent/EP3350769A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US10887576B2 (en) | 2021-01-05 |
| JP6878415B2 (ja) | 2021-05-26 |
| BR112018005399A2 (pt) | 2018-10-09 |
| CA2998670A1 (en) | 2017-03-23 |
| US20190174115A1 (en) | 2019-06-06 |
| MX2018003269A (es) | 2018-11-09 |
| CN108292431A (zh) | 2018-07-17 |
| WO2017046372A1 (en) | 2017-03-23 |
| EP3350769A1 (en) | 2018-07-25 |
| RU2018113713A3 (ru) | 2020-04-02 |
| CN108292431B (zh) | 2022-08-02 |
| KR20180053669A (ko) | 2018-05-23 |
| JP2018536211A (ja) | 2018-12-06 |
| KR102635003B1 (ko) | 2024-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2018113713A (ru) | Представление данных светового поля | |
| US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
| US9444991B2 (en) | Robust layered light-field rendering | |
| US20170059305A1 (en) | Active illumination for enhanced depth map generation | |
| US20170256036A1 (en) | Automatic microlens array artifact correction for light-field images | |
| US8405742B2 (en) | Processing images having different focus | |
| JP2018536211A5 (ru) | ||
| US10897608B2 (en) | Capturing light-field images with uneven and/or incomplete angular sampling | |
| RU2016136352A (ru) | Способ и устройство для формирования данных, представляющих световое поле | |
| US10855903B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
| RU2017134151A (ru) | Метаданные светового поля | |
| US20130083990A1 (en) | Using Videogrammetry to Fabricate Parts | |
| KR102199094B1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
| CN110915193B (zh) | 图像处理系统、服务器装置、图像处理方法及记录介质 | |
| CN104867125B (zh) | 获取图像的方法以及装置 | |
| JP2017063414A5 (ru) | ||
| US10109036B2 (en) | Image processing apparatus, control method for same, and program that performs image processing for image data having a focus state that is changeable | |
| US10091490B2 (en) | Scan recommendations | |
| Collins et al. | Does my posterior look big in this? The effect of photographic distortion on morphometric analyses | |
| US9995905B2 (en) | Method for creating a camera capture effect from user space in a camera capture system | |
| JP6234401B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| WO2016184152A1 (zh) | 一种测量方法、装置、移动终端及存储介质 | |
| US20190172226A1 (en) | System and method for generating training images | |
| KR20150107580A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JP6867645B2 (ja) | 画像処理装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA94 | Acknowledgement of application withdrawn (non-payment of fees) |
Effective date: 20210930 |