RU2018113737A - Способ кодирования содержимого светового поля - Google Patents

Способ кодирования содержимого светового поля Download PDF

Info

Publication number
RU2018113737A
RU2018113737A RU2018113737A RU2018113737A RU2018113737A RU 2018113737 A RU2018113737 A RU 2018113737A RU 2018113737 A RU2018113737 A RU 2018113737A RU 2018113737 A RU2018113737 A RU 2018113737A RU 2018113737 A RU2018113737 A RU 2018113737A
Authority
RU
Russia
Prior art keywords
interest
contents
light field
encoding
plane
Prior art date
Application number
RU2018113737A
Other languages
English (en)
Other versions
RU2018113737A3 (ru
Inventor
Моздех СЕЙФИ
Вальтер ДРАЖИЧ
Арно ШУБЕРТ
Оливье БЮРЕЛЛЕР
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15306435.7A external-priority patent/EP3145190A1/en
Priority claimed from EP15306438.1A external-priority patent/EP3145192A1/en
Priority claimed from EP15306439.9A external-priority patent/EP3145193A1/en
Priority claimed from EP15306441.5A external-priority patent/EP3144886A1/en
Priority claimed from EP15306437.3A external-priority patent/EP3145191A1/en
Priority claimed from EP15306440.7A external-priority patent/EP3145194A1/en
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2018113737A publication Critical patent/RU2018113737A/ru
Publication of RU2018113737A3 publication Critical patent/RU2018113737A3/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Claims (31)

1. Способ кодирования содержимого светового поля, отличающийся тем, что он содержит:
- получение, для набора световых лучей (401), ассоциированных с упомянутым содержимым светового поля, четырех координат на световой луч из параметризации (2000; 402, 403) двух плоскостей упомянутого содержимого светового поля;
- получение (2001), для каждого светового луча из упомянутого набора, двух координат из упомянутых четырех координат, соответствующих проекции упомянутых световых лучей из упомянутого набора на плоскость (404, 405, Р), перпендикулярную двум плоскостям, используемым в упомянутой параметризации двух плоскостей, определяющих точки в первой 2D лучевой диаграмме (Π(х1,х2), Π(y1,y2));
- применение (2002) дискретного преобразования Радона на упомянутой первой 2D лучевой диаграмме (Π(х1,х2), Π(y1,y2)), которое производит линии интереса в упомянутой первой 2D лучевой диаграмме;
- кодирование (2003) упомянутых линий интереса в закодированные линии интереса; и
- сохранение (2004) упомянутых закодированных линий интереса.
2. Способ кодирования содержимого светового поля по п. 1, в котором упомянутое кодирование (2003) упомянутых линий интересa дополнительно содержит применение алгоритма Брезенхэма.
3. Способ кодирования содержимого светового поля по любому из пп. 1-2, в котором упомянутые две плоскости, используемые в упомянутой параметризации двух плоскостей, называемые первой плоскостью и второй плоскостью, представляют собой дискретизированные плоскости (275,276), содержащие прямоугольные элементы (Δх1,Δy1; Δх2,Δy2) причем максимальное значение для стороны длины прямоугольного элемента в упомянутой первой плоскости равно
Figure 00000001
, где zf - значение глубины сенсорной матрицы, содержащейся в устройстве камеры с пиксельным шагом p, f - фокусное расстояние упомянутого устройства камеры, и z1 - первое значение глубины, ассоциированное с упомянутой первой плоскостью, и причем максимальное значение для стороны длины прямоугольного элемента в упомянутой второй плоскости равно
Figure 00000002
, где z2 - второе значение глубины, ассоциированное со второй первой плоскостью.
4. Способ кодирования содержимого светового поля по любому из пп. 1-3, в котором упомянутое сохранение (2004) содержит, по меньшей мере для одной первой точки
Figure 00000003
, принадлежащей первой закодированной линии интереса в упомянутой первой 2D лучевой диаграмме:
- сохранение энергетической яркости светового луча, ассоциированного с по меньшей мере второй точкой ((y1,y2);(x1,x2)), принадлежащий второй закодированной линии интереса во второй 2D лучевой диаграмме (Π(х1,х2), Π(y1,y2)), причем упомянутая вторая закодированная линия интереса имеет тот же наклон, что и первая закодированная линия интереса, и сохранение первой дополнительной информации, указывающей наличие светового луча; и/или
- сохранение второй дополнительной информации, указывающей, что никакой световой луч не ассоциирован с по меньшей мере третьей точкой ((y1,y2);(x1,x2)), принадлежащей упомянутой второй закодированной линии интереса.
5. Способ кодирования содержимого светового поля по п. 4, в котором упомянутая первая и/или вторая дополнительная информация являются битом, и при этом упомянутая энергетическая яркость светового луча кодируется тремя байтовыми значениями.
6. Способ кодирования содержимого светового поля по любому из пп. 1-5, в котором он дополнительно содержит оценивание координат по меньшей мере одного центра проекции и радиуса, ассоциированного с упомянутым по меньшей мере одним центром проекции, причем упомянутое оценивание содержит:
- получение по меньшей мере одного параметра m наклона и параметров
Figure 00000004
толщины для линии интереса в упомянутой первой 2D лучевой диаграмме, причем упомянутая линия интереса ассоциирована с центром проекции x3,y3,z3 и радиусом A;
- оценивание упомянутых координат x3,y3,z3 центра проекции и упомянутого радиуса A из упомянутого по меньшей мере одного параметра m наклона и параметров
Figure 00000004
толщины.
7. Способ кодирования содержимого светового поля по п. 6, в котором упомянутые две плоскости, используемые в упомянутой параметризации двух плоскостей, называемые первой плоскостью и второй плоскостью, ассоциированы, соответственно, с первым значением z1 глубины и вторым значением z2 глубины, и при этом упомянутое оценивание содержит получение
Figure 00000005
,
Figure 00000006
при
Figure 00000007
,
Figure 00000008
и
Figure 00000009
.
8. Способ кодирования содержимого светового поля по любому из пп. 1-7, в котором упомянутое сохранение (2004) упомянутых закодированных линий интереса дополнительно содержит сохранение наклона, ассоциированного с закодированной линией интереса, и сохранение, для каждой точки, принадлежащей закодированной линии интереса в упомянутой первой 2D лучевой диаграмме, набора точек, принадлежащих второй 2D лучевой диаграмме, и в случае, когда наклон, ассоциированный с обработанной закодированной линией интереса в упомянутой первой 2D лучевой диаграмме, больше, чем другие наклоны, ассоциированные с другими закодированными линиями интереса в упомянутой первой 2D лучевой диаграмме, исключение сохранения упомянутого набора точек, принадлежащих упомянутой второй 2D лучевой диаграмме, когда точка в упомянутой первой 2D лучевой диаграмме принадлежит пересечению между упомянутой обработанной закодированной линией интереса и упомянутой другой закодированной линией интереса.
9. Способ кодирования содержимого светового поля по п. 8, в котором упомянутое исключение дополнительно содержит сохранение информации, указывающей окклюзию.
10. Способ кодирования содержимого светового поля по п. 9, в котором упомянутая информация является нулевым значением.
11. Считываемый компьютером и не-временный носитель хранения, хранящий компьютерную программу, содержащую набор исполняемых компьютером инструкций для реализации способа кодирования содержимого светового поля, когда инструкции исполняются компьютером, причем инструкции содержат инструкции, которые, при исполнении, конфигурируют компьютер для выполнения способа по пп. 1-10.
12. Электронное устройство для кодирования содержимого светового поля, причем электронное устройство характеризуется тем, что оно содержит: память; и по меньшей мере один процессор, подсоединенный к памяти, причем по меньшей мере один процессор сконфигурирован, чтобы:
- получать, для набора световых лучей (401), ассоциированных с упомянутым содержимым светового поля, четыре координаты на световой луч из параметризации (2000; 402, 403) двух плоскостей упомянутого содержимого светового поля;
- получать (2001), для каждого светового луча из упомянутого набора, две координаты из упомянутых четырех координат, соответствующие проекции упомянутых световых лучей из упомянутого набора на плоскость (404, 405, Р), перпендикулярную двум плоскостям, используемым в упомянутой параметризации двух плоскостей, определяющие точки в первой 2D лучевой диаграмме (Π(х1,х2), Π(y1,y2));
- применять (2002) дискретное преобразование Радона на упомянутой первой 2D лучевой диаграмме (Π(х1,х2), Π(y1,y2)), которое производит линии интереса в упомянутой первой 2D лучевой диаграмме;
- кодировать (2003) упомянутые линии интереса; и
- сохранять (2004) упомянутые закодированные линии интереса.
13. Электронное устройство для кодирования содержимого светового поля по п. 12, в котором упомянутый по меньшей мере один процессор дополнительно сконфигурирован, чтобы кодировать упомянутые линии интереса с помощью алгоритма Брезенхэма.
14. Электронное устройство для кодирования содержимого светового поля по любому из пп. 12-13, в котором упомянутые две плоскости, используемые в упомянутой параметризации двух плоскостей, называемые первой плоскостью и второй плоскостью, представляют собой дискретизированные плоскости (275, 276), содержащие прямоугольные элементы (Δх1,Δy1; Δx2,Δy2,), причем максимальное значение для стороны длины прямоугольного элемента в упомянутой первой плоскости равно
Figure 00000001
, где zf - значение глубины сенсорной матрицы, содержащейся в устройстве камеры с пиксельным шагом p, f - фокусное расстояние упомянутого устройства камеры, и z1 - первое значение глубины, ассоциированное с упомянутой первой плоскостью, и причем максимальное значение для стороны длины прямоугольного элемента в упомянутой второй плоскости равно
Figure 00000002
, где z2 - второе значение глубины, ассоциированное со второй первой плоскостью.
15. Электронное устройство для кодирования содержимого светового поля по любому из пп. 12-14, в котором упомянутый по меньшей мере один процессор дополнительно сконфигурирован, чтобы для по меньшей мере одной первой точки
Figure 00000003
, принадлежащей первой закодированной линии интереса в упомянутой первой 2D лучевой диаграмме:
- сохранять энергетическую яркость светового луча, ассоциированного с по меньшей мере второй точкой ((y1,y2);(x1,x2)), принадлежащей второй закодированной линии интереса во второй 2D лучевой диаграмме (Π(х1,х2), Π(y1,y2)), причем упомянутая вторая закодированная линия интереса имеет тот же наклон, что и первая закодированная линия интереса, и сохранять первую дополнительную информацию, указывающую наличие светового луча; и/или
- сохранять вторую дополнительную информацию, указывающую, что никакой световой луч не ассоциирован с по меньшей мере третьей точкой ((y1,y2);(x1,x2)), принадлежащей упомянутой второй закодированной линии интереса.
RU2018113737A 2015-09-17 2016-09-15 Способ кодирования содержимого светового поля RU2018113737A (ru)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
EP15306435.7A EP3145190A1 (en) 2015-09-17 2015-09-17 Method for delivering a set of images from a light field content
EP15306438.1A EP3145192A1 (en) 2015-09-17 2015-09-17 Method for displaying 4d light field data
EP15306437.3 2015-09-17
EP15306438.1 2015-09-17
EP15306435.7 2015-09-17
EP15306440.7 2015-09-17
EP15306439.9A EP3145193A1 (en) 2015-09-17 2015-09-17 Method for encoding light field content
EP15306441.5A EP3144886A1 (en) 2015-09-17 2015-09-17 Method for encoding a light field content
EP15306441.5 2015-09-17
EP15306437.3A EP3145191A1 (en) 2015-09-17 2015-09-17 Method for encoding a light field content
EP15306439.9 2015-09-17
EP15306440.7A EP3145194A1 (en) 2015-09-17 2015-09-17 Method for encoding 4d light field data comprising discretizing a first and a second plane used in a light field parametrization
PCT/EP2016/071873 WO2017046272A1 (en) 2015-09-17 2016-09-15 Method for encoding a light field content

Publications (2)

Publication Number Publication Date
RU2018113737A true RU2018113737A (ru) 2019-10-17
RU2018113737A3 RU2018113737A3 (ru) 2020-03-03

Family

ID=56979546

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018113737A RU2018113737A (ru) 2015-09-17 2016-09-15 Способ кодирования содержимого светового поля

Country Status (9)

Country Link
US (1) US10880576B2 (ru)
EP (1) EP3351001B1 (ru)
JP (1) JP2018537877A (ru)
KR (1) KR20180053724A (ru)
CN (1) CN108353188B (ru)
CA (1) CA2998690A1 (ru)
MX (1) MX2018003263A (ru)
RU (1) RU2018113737A (ru)
WO (1) WO2017046272A1 (ru)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
CN108353188B (zh) * 2015-09-17 2022-09-06 交互数字Vc控股公司 用于编码光场内容的方法
EP3579561A1 (en) * 2018-06-05 2019-12-11 InterDigital VC Holdings, Inc. Prediction for light-field coding and decoding
KR20200067020A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치
KR102121458B1 (ko) * 2018-12-28 2020-06-10 한국생산기술연구원 자동 충전을 위한 로봇 청소기의 경로 추정 방법 및 이를 이용한 로봇 청소기
CN111380457B (zh) * 2018-12-29 2024-02-06 上海晨兴希姆通电子科技有限公司 料盘的定位方法及系统
CN114041287A (zh) 2019-06-21 2022-02-11 北京字节跳动网络技术有限公司 自适应环内颜色空间转换和其他视频编解码工具的选择性使用
WO2021088951A1 (en) * 2019-11-07 2021-05-14 Beijing Bytedance Network Technology Co., Ltd. Quantization properties of adaptive in-loop color-space transform for video coding
CN113965758B (zh) * 2021-10-21 2024-02-27 上海师范大学 基于分块低秩近似的光场图像编码方法、设备及存储介质
CN114167663B (zh) * 2021-12-02 2023-04-11 浙江大学 一种包含渐晕去除算法的编码光圈光学成像系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
JP4825983B2 (ja) * 2005-07-26 2011-11-30 国立大学法人名古屋大学 画像情報圧縮方法及び自由視点テレビシステム
JP5147036B2 (ja) 2006-03-08 2013-02-20 株式会社国際電気通信基礎技術研究所 位置推定装置、位置推定方法及び位置推定プログラム
US8237708B2 (en) 2006-08-18 2012-08-07 William Edward Mantzel Data structure representing a plenoptic function via compressible layered orthographic projections from multiple orientations
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US8135238B2 (en) * 2008-06-05 2012-03-13 Kia Sha Managment Liability Company Free view generation in ray-space
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
TW201203052A (en) * 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
US20130162774A1 (en) 2010-09-14 2013-06-27 Dong Tian Compression methods and apparatus for occlusion data
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US9568606B2 (en) 2012-03-29 2017-02-14 Canon Kabushiki Kaisha Imaging apparatus for distance detection using high and low sensitivity sensors with inverted positional relations
ITTO20120413A1 (it) 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
JP6168794B2 (ja) 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
GB2503656B (en) * 2012-06-28 2014-10-15 Canon Kk Method and apparatus for compressing or decompressing light field images
US9852512B2 (en) * 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9658443B2 (en) * 2013-03-15 2017-05-23 The Board Of Trustees Of The Leland Stanford Junior University Optics apparatus with detection of light rays received at different angles for output indicative of aliased views
WO2015076311A1 (ja) * 2013-11-22 2015-05-28 国立大学法人北海道大学 細胞の識別方法
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method
CN106165387A (zh) * 2013-11-22 2016-11-23 维迪诺蒂有限公司 光场处理方法
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
FR3019338B1 (fr) * 2014-03-26 2017-07-14 Sylvain David Systeme et un procede de traitement de donnees
US9843787B2 (en) * 2014-04-24 2017-12-12 Qualcomm Incorporated Generation and use of a 3D radon image
CN104537656B (zh) * 2014-12-22 2017-05-31 中国科学院国家授时中心 光纤扩束准直镜筒出射偏心高斯光束的检测方法
WO2016172167A1 (en) * 2015-04-20 2016-10-27 Washington University Camera calibration with lenticular arrays
JP6878415B2 (ja) * 2015-09-17 2021-05-26 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ライトフィールド・データ表現
CN108353188B (zh) * 2015-09-17 2022-09-06 交互数字Vc控股公司 用于编码光场内容的方法
EP3144879A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a light field
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3188123A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
EP3188124A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam

Also Published As

Publication number Publication date
CN108353188A (zh) 2018-07-31
CA2998690A1 (en) 2017-03-23
CN108353188B (zh) 2022-09-06
EP3351001B1 (en) 2021-08-11
JP2018537877A (ja) 2018-12-20
WO2017046272A1 (en) 2017-03-23
EP3351001A1 (en) 2018-07-25
US10880576B2 (en) 2020-12-29
US20180262776A1 (en) 2018-09-13
RU2018113737A3 (ru) 2020-03-03
MX2018003263A (es) 2018-05-16
KR20180053724A (ko) 2018-05-23

Similar Documents

Publication Publication Date Title
RU2018113737A (ru) Способ кодирования содержимого светового поля
JP2018537877A5 (ru)
US9390110B2 (en) Method and apparatus for compressing three-dimensional point cloud data
US20150204662A1 (en) Three-dimensional-shape measurement apparatus, three-dimensional-shape measurement method, and non-transitory computer-readable storage medium
US9714826B2 (en) Measurement apparatus and method thereof
US10192353B1 (en) Multiresolution surface representation and compression
MX350910B (es) Métodos y dispositivos de codificación y decodificación de imágenes mejoradas de alto rango dinámico (hdr).
JP2016513917A5 (ru)
JP2016103804A5 (ru)
JP2021502033A5 (ru)
JP2015514246A5 (ru)
US20160127746A1 (en) Limited error raster compression
JP2013243702A5 (ja) プログラム、記録媒体及び符号化方式決定方法
JP2017539030A5 (ru)
CN110852949A (zh) 点云数据补全方法、装置、计算机设备和存储介质
JP2015514355A5 (ru)
US20170105008A1 (en) Intra-frame depth map block encoding and decoding methods, and apparatus
KR102151127B1 (ko) 3차원 영상 생성 장치 및 방법
WO2019215388A3 (en) Method and apparatus for encoding and decoding volumetric video data
JP2018526057A5 (ja) インタラクティブ・メッシュ編集システム及び方法
US20160314615A1 (en) Graphic processing device and method for processing graphic images
JP2019502277A5 (ru)
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
JP2017525290A5 (ru)
TW201820878A (zh) 紋理磚壓縮及解壓縮方法以及使用該方法的裝置

Legal Events

Date Code Title Description
FA94 Acknowledgement of application withdrawn (non-payment of fees)

Effective date: 20210505