RU2018113727A - Способ и устройство для генерирования данных, характеризующих пиксельный пучок - Google Patents

Способ и устройство для генерирования данных, характеризующих пиксельный пучок Download PDF

Info

Publication number
RU2018113727A
RU2018113727A RU2018113727A RU2018113727A RU2018113727A RU 2018113727 A RU2018113727 A RU 2018113727A RU 2018113727 A RU2018113727 A RU 2018113727A RU 2018113727 A RU2018113727 A RU 2018113727A RU 2018113727 A RU2018113727 A RU 2018113727A
Authority
RU
Russia
Prior art keywords
pixel
rays
generating
rotation
group
Prior art date
Application number
RU2018113727A
Other languages
English (en)
Other versions
RU2018113727A3 (ru
RU2734115C2 (ru
Inventor
Лоран БЛОНДЕ
Вальтер ДРАЖИЧ
Моздех СЕЙФИ
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2018113727A publication Critical patent/RU2018113727A/ru
Publication of RU2018113727A3 publication Critical patent/RU2018113727A3/ru
Application granted granted Critical
Publication of RU2734115C2 publication Critical patent/RU2734115C2/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Claims (41)

1. Компьютерно-осуществляемый способ сортировки группы лучей света, называемых образующими лучами, причем каждый образующий луч упомянутой группы образует, в пространстве предметов оптической системы получения данных, поверхность объема, занимаемого набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных и сопряженный элемент, по меньшей мере, одного пикселя датчика упомянутой оптической системы получения данных, путем вращения вокруг оси вращения упомянутого объема, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем способ включает в себя
выбор для по меньшей мере одного пиксельного пучка, образующего луча, образующего поверхность упомянутого пиксельного пучка, который пересекает эталонную прямую линию,
генерирование группы сортированных образующих лучей, содержащей выбранный образующий луч.
2. Способ по п. 1, в котором поверхность пиксельного пучка, образуемая образующим лучом, является однополостным гиперболоидом.
3. Способ по п. 1, в котором эталонная прямая линия параллельна оптической оси главной линзы оптической системы получения данных.
4. Способ по п. 1, в котором эталонная прямая линия параллельна центральной оси матрицы линз оптической системы получения данных.
5. Способ по любому из предыдущих пунктов, в котором выбор образующего луча состоит в
вычислении координат вектора, определяющего выбранный образующий луч, путем умножения вектора, определяющего другой образующий луч упомянутого пиксельного пучка, принадлежащий группе образующих лучей, на матрицу вращения,
ввиду того, что расстояние между выбранным образующим лучом и эталонной прямой линией равно нулю, поскольку выбранный образующий луч и упомянутая эталонная прямая линия пересекают друг друга - вычислении значения угла вращения матрицы вращения на основе точек и векторов, определяющих упомянутый выбранный образующий луч и упомянутую эталонную прямую линию.
6. Способ генерирования данных, характеризующих объем, в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных и сопряженный элемент, по меньшей мере, одного пикселя датчика упомянутой оптической системы получения данных, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем способ включает в себя
получение первой группы лучей света и второй группы лучей света, называемых образующими лучами, причем каждый образующий луч упомянутой группы образующих лучей образует поверхность пиксельного пучка путем вращения вокруг оси вращения упомянутого пиксельного пучка, причем ось вращения упомянутого пиксельного пучка является лучом света, принадлежащим первой группе лучей света;
вычисление данных пересечения, определяющих пересечения образующего луча и оси вращения заданного пиксельного пучка с множеством заданных эталонных плоскостей, причем упомянутые эталонные плоскости параллельны друг другу и соответствуют различным глубинам в пространстве предметов;
получение параметров хода лучей, определяющих графическое представление данных пересечения в 2-мерном ходе лучей для выдачи данных, характеризующих упомянутый пиксельный пучок.
7. Способ по п. 6, отличающийся тем, что данные пересечения, соответствующие образующему лучу и оси вращения, графически представлены на ходе лучей в виде линий данных, при этом параметры хода лучей содержат данные, характеризующие, по меньшей мере, одно из
наклона линии данных; и
пересечения линии данных с осью хода лучей.
8. Способ по п. 7, в котором данные, характеризующие пиксельный пучок, дополнительно содержат данные о цвете, представляющие цвет соответствующего второго образующего луча и ось вращения.
9. Способ по п. 6, в котором полученная группа образующих лучей находится в соответствии со способом по любому из пп. 1-5.
10. Устройство для сортировки группы лучей света, называемых образующими лучами, причем каждый образующий луч упомянутой группы образует, в пространстве предметов оптической системы получения данных, поверхность объема, занимаемого набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных и сопряженный элемент, по меньшей мере, одного пикселя датчика упомянутой оптической системы получения данных, путем вращения вокруг оси вращения упомянутого объема, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем упомянутое устройство содержит процессор, выполненный с возможностью
выбора для по меньшей мере одного пиксельного пучка, образующего луча, образующего поверхность упомянутого пиксельного пучка, который пересекает эталонную прямую линию,
генерирования группы сортированных образующих лучей, содержащей выбранный образующий луч.
11. Устройство по п. 10, в котором процессор выполнен с возможностью
выбора образующего луча с помощью
вычисления координат вектора, определяющего выбранный образующий луч, путем умножения вектора, определяющего другой образующий луч упомянутого пиксельного пучка, принадлежащий группе образующих лучей, на матрицу вращения,
ввиду того, что расстояние между выбранным образующим лучом и эталонной прямой линией равно нулю, поскольку выбранный образующий луч и упомянутая эталонная прямая линия пересекают друг друга - вычисления значения угла вращения матрицы вращения на основе точек и векторов, определяющих упомянутый выбранный образующий луч и упомянутую эталонную прямую лини.
12. Устройство для генерирования данных, характеризующих объем, в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных и сопряженный элемент, по меньшей мере, одного пикселя датчика упомянутой оптической системы получения данных, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем устройство содержит процессор, выполненный с возможностью
получения первой группы лучей света и второй группы лучей света, называемых образующими лучами, причем каждый образующий луч упомянутой группы образующих лучей образует поверхность пиксельного пучка путем вращения вокруг оси вращения упомянутого пиксельного пучка, причем ось вращения упомянутого пиксельного пучка является лучом света, принадлежащим первой группе лучей света;
вычисления данных пересечения, определяющих пересечения образующего луча и оси вращения заданного пиксельного пучка с множеством заданных эталонных плоскостей, причем упомянутые эталонные плоскости параллельны друг другу и соответствуют различным глубинами в пространстве предметов;
получения параметров хода лучей, определяющих графическое представление данных пересечения в 2-мерном ходе лучей для выдачи данных, характеризующих упомянутый пиксельный пучок.
13. Устройство по п. 12, отличающееся тем, что полученная группа образующих лучей находится в соответствии со способом по любому из пп. 1-5.
14. Устройство формирования изображений световых полей, содержащее
матрицу микролинз, расположенных в структуре регулярной решетки;
фотодатчик, выполненный с возможностью захвата света, проецируемого на фотодатчик от матрицы микролинз, причем фотодатчик содержит наборы пикселей, причем каждый набор пикселей оптически связан с соответствующей микролинзой матрицы микролинз; и
устройство для выдачи метаданных по п. 8.
15. Устройство для визуализации изображения по данным светового поля, полученным в соответствии со способом по любому из пп. 6-9.
16. Цифровой файл, содержащий данные, характеризующие объем, в пространстве предметов оптической системы получения данных, занимаемый набором лучей света, проходящих через зрачок упомянутой оптической системы получения данных, и сопряженный элемент, по меньшей мере, одного пикселя датчика упомянутой оптической системы получения данных, причем упомянутый объем, занимаемый упомянутым набором лучей света, называется пиксельным пучком, причем упомянутые данные содержат
параметры хода лучей, определяющие графическое представление в 2-мерном ходе лучей данных пересечения первого луча света, называемого образующим лучом, и второго луча света, причем, упомянутый образующий луч образует поверхность пиксельного пучка путем вращения вокруг другого луча света, причем упомянутый другой луч света является осью вращения упомянутого пиксельного пучка, данные пересечения определяют пересечения образующего луча и оси вращения пиксельного пучка с множеством заданных эталонных плоскостей, упомянутые эталонные плоскости параллельны друг другу и соответствуют различным глубинами в пространстве предметов;
данные о цвете, определяющие цвета образующего луча и ось вращения пиксельного пучка.
17. Цифровой файл по п. 16, получаемый способом по любому из пп. 6-9.
18. Компьютерный программный продукт для программируемого устройства, причем компьютерный программный продукт содержит последовательность инструкций для реализации способа по любому из пп. 1-5 при загрузке в программируемое устройство и исполнении им.
19. Компьютерный программный продукт для программируемого устройства, причем компьютерный программный продукт содержит последовательность инструкций для реализации способа по любому из пп. 6-9 при загрузке в программируемое устройство и исполнении им.
RU2018113727A 2015-09-17 2016-09-16 Способ и устройство для генерирования данных, характеризующих пиксельный пучок RU2734115C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306448.0 2015-09-17
EP15306448.0A EP3144887A1 (en) 2015-09-17 2015-09-17 A method and an apparatus for generating data representative of a pixel beam
PCT/EP2016/072070 WO2017046395A2 (en) 2015-09-17 2016-09-16 A method and an apparatus for generating data representative of a pixel beam

Publications (3)

Publication Number Publication Date
RU2018113727A true RU2018113727A (ru) 2019-10-17
RU2018113727A3 RU2018113727A3 (ru) 2020-02-17
RU2734115C2 RU2734115C2 (ru) 2020-10-13

Family

ID=54293194

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018113727A RU2734115C2 (ru) 2015-09-17 2016-09-16 Способ и устройство для генерирования данных, характеризующих пиксельный пучок

Country Status (11)

Country Link
US (1) US20210329217A1 (ru)
EP (2) EP3144887A1 (ru)
JP (1) JP2018538709A (ru)
KR (1) KR20180053668A (ru)
CN (1) CN108352060A (ru)
BR (1) BR112018005352A2 (ru)
CA (1) CA2998672A1 (ru)
MX (1) MX2018003264A (ru)
RU (1) RU2734115C2 (ru)
TW (1) TWI713582B (ru)
WO (1) WO2017046395A2 (ru)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3188123A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
EP3270589A1 (en) * 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
JP7399879B2 (ja) 2018-05-02 2023-12-18 クイッディエント・エルエルシー ほとんど無制限のディテールを有するシーンを処理するためのコーデック
US11182872B2 (en) 2018-11-02 2021-11-23 Electronics And Telecommunications Research Institute Plenoptic data storage system and operating method thereof
KR102577447B1 (ko) 2018-11-02 2023-09-13 한국전자통신연구원 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법
FR3097972B1 (fr) * 2019-06-28 2021-12-10 Aptiv Tech Ltd Procédé et système pour cartographier un environnement physique au moyen d’une grille d’occupation
WO2021210399A1 (ja) * 2020-04-13 2021-10-21 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
WO2023172573A1 (en) 2022-03-07 2023-09-14 Quidient, Llc Systems and methods for generalized scene reconstruction

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020014533A1 (en) * 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
US7339661B2 (en) * 2002-09-30 2008-03-04 Doron Korngut Dark field inspection system
US7545910B2 (en) * 2003-03-07 2009-06-09 Koninklijke Philips Electronics N.V. Method and imaging system for imaging the spatial distribution of an x-ray fluorescence marker
EP1629466A4 (en) * 2003-05-15 2008-07-09 Thomson Licensing DATA STORAGE METHOD AND SYSTEM FOR VOLUMETRIC HOLOGRAPHIC DATA HIGH DATA DENSITY
JP2006113371A (ja) * 2004-10-15 2006-04-27 Seiko Epson Corp 画像表示装置
US7714368B2 (en) * 2006-06-26 2010-05-11 Aptina Imaging Corporation Method and apparatus providing imager pixel array with grating structure and imager device containing the same
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
TW200844932A (en) * 2006-12-13 2008-11-16 Koninkl Philips Electronics Nv Method for light emitting diode control and corresponding light sensor array, backlight and liquid crystal display
US20090034083A1 (en) * 2007-07-30 2009-02-05 Micron Technology, Inc. Method of forming a microlens array and imaging device and system containing such a microlens array
WO2009057114A2 (en) * 2007-10-31 2009-05-07 Ben Gurion University Of The Negev Research And Development Authority Optical sensor measurement and crosstalk evaluation
KR20110079900A (ko) * 2008-10-17 2011-07-11 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 발광 장치
ES2661768T3 (es) * 2008-10-21 2018-04-03 Chemometec A/S Aparato y procedimiento de imagenología por fluorescencia
JP2010164832A (ja) * 2009-01-16 2010-07-29 Sony Corp 光照射装置、光照射方法
JP2010176325A (ja) * 2009-01-28 2010-08-12 Ntt Docomo Inc 任意視点画像生成装置及び任意視点画像生成方法
US8243289B2 (en) * 2009-05-29 2012-08-14 Perceptron, Inc. System and method for dynamic windowing
CN101566823B (zh) * 2009-06-05 2011-05-04 上海大学 真彩色三维物体全息显示方法及装置
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
CN101968880A (zh) * 2010-09-10 2011-02-09 中国科学院软件研究所 一种图像散景效果的生成方法
CN102297658B (zh) * 2011-05-20 2013-04-24 南京航空航天大学 基于双线激光的三维信息检测方法
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US20130235261A1 (en) * 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
CN102833487B (zh) * 2012-08-08 2015-01-28 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US10488535B2 (en) * 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
WO2014198351A1 (en) * 2013-06-12 2014-12-18 Vidinoti Sa Method and apparatus for identifying local features
CN103472589B (zh) * 2013-09-29 2016-07-20 中山大学 可便携的三维图像显示系统和方法
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
PL2869133T3 (pl) * 2013-11-01 2016-07-29 Hp Printing Korea Co Ltd Układ CRUM do montażu i demontażu na elemencie eksploatacyjnym urządzenia do tworzenia obrazów oraz urządzenie do tworzenia obrazów wykorzystujące ten układ
WO2015093806A1 (en) * 2013-12-19 2015-06-25 Samsung Electronics Co., Ltd. Display apparatus and method of displaying image by display apparatus
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN104165600B (zh) * 2014-07-03 2016-10-05 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统

Also Published As

Publication number Publication date
WO2017046395A3 (en) 2017-05-04
EP3350771A2 (en) 2018-07-25
TWI713582B (zh) 2020-12-21
BR112018005352A2 (pt) 2018-10-09
EP3144887A1 (en) 2017-03-22
JP2018538709A (ja) 2018-12-27
MX2018003264A (es) 2018-11-09
WO2017046395A2 (en) 2017-03-23
CN108352060A (zh) 2018-07-31
CA2998672A1 (en) 2017-03-23
RU2018113727A3 (ru) 2020-02-17
TW201723637A (zh) 2017-07-01
RU2734115C2 (ru) 2020-10-13
KR20180053668A (ko) 2018-05-23
US20210329217A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
RU2018113727A (ru) Способ и устройство для генерирования данных, характеризующих пиксельный пучок
JP2018538709A5 (ru)
RU2016136352A (ru) Способ и устройство для формирования данных, представляющих световое поле
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
JP5187145B2 (ja) 画像合成装置および方法
JP4290733B2 (ja) 3次元形状計測方法及びその装置
KR102240568B1 (ko) 영상 처리 방법 및 장치
JP2017063414A5 (ru)
JP2016018995A5 (ru)
JP2008242658A (ja) 立体物体の撮像装置
CN107407553A (zh) 距离传感器
JP7086861B2 (ja) プレノプティックカメラを用いた三次元再構成方法
JP2008241355A (ja) 物体の距離導出装置
US10295525B2 (en) Image generation device, image generation method, recording medium, and processing method
US20150177062A1 (en) Information processing apparatus, information processing method, and storage medium
US20160353082A1 (en) Capturing light-field images with uneven and/or incomplete angular sampling
JP2017184217A5 (ru)
WO2015129642A1 (ja) 可視化流体の流速計測方法及び流速計測システム
US20180338129A1 (en) Dual-camera image capture system
JP2015132953A5 (ru)
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
JP2019511851A5 (ru)
JP6717576B2 (ja) 映像レンダリング装置及び方法
CN110070503A (zh) 基于卷积神经网络的尺度校准方法、系统及介质
JP2019502277A5 (ru)