RU2014127469A - METHOD AND APPARATUS FOR IMAGE CAPTURING AND SIMULTANEOUS DEPTH EXTRACTION - Google Patents

METHOD AND APPARATUS FOR IMAGE CAPTURING AND SIMULTANEOUS DEPTH EXTRACTION Download PDF

Info

Publication number
RU2014127469A
RU2014127469A RU2014127469A RU2014127469A RU2014127469A RU 2014127469 A RU2014127469 A RU 2014127469A RU 2014127469 A RU2014127469 A RU 2014127469A RU 2014127469 A RU2014127469 A RU 2014127469A RU 2014127469 A RU2014127469 A RU 2014127469A
Authority
RU
Russia
Prior art keywords
spectral
aperture
basis
image
regions
Prior art date
Application number
RU2014127469A
Other languages
Russian (ru)
Other versions
RU2595759C2 (en
Inventor
Владимир Петрович Парамонов
Иван Андреевич Панченко
Виктор Валентинович Буча
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Priority to RU2014127469/08A priority Critical patent/RU2595759C2/en
Priority to KR1020150083666A priority patent/KR20160004912A/en
Priority to EP15814578.9A priority patent/EP3164992A4/en
Priority to PCT/KR2015/006966 priority patent/WO2016003253A1/en
Priority to CN201580034560.1A priority patent/CN106471804B/en
Priority to US14/791,887 priority patent/US9872012B2/en
Publication of RU2014127469A publication Critical patent/RU2014127469A/en
Application granted granted Critical
Publication of RU2595759C2 publication Critical patent/RU2595759C2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

1. Система для захвата изображения и извлечения глубины, содержащая:блок формирования изображений, содержащий:систему линз;апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы идатчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; иблок обработки данных, содержащий:блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки;блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки;блок восстановления изображения иблок преобразования диспаратности в глубину.2. Система по п. 1, в которой набор спектральных ширин полос, соответствующий упомянутому набору из по меньшей мере двух областей апертуры со спектральным кодированием, формирует базис апертуры со спектральным кодированием.3. Система по п. 2, в которой базис обработки отличается от базиса датчика и базиса апертуры со спектральным кодированием.4. Система по п. 1, в которой апертура со спектральным кодированием имеет три области: прозрачную область в центре и две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.5. Система по п. 4, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.6. Система по п. 1, в которой апертура со спектральным кодированием имеет две области со спек1. A system for capturing an image and extracting depth, comprising: an imaging unit comprising: a lens system; an aperture with spectral coding, comprising a set of at least two regions with different spectral bandwidths, an encoder for recording at least two spectral channels of the light field to form a captured image in the basis of the sensor; a data processing unit comprising: a data preprocessing unit for converting a captured image in a sensor basis into an image in a processing basis; a disparity estimation unit for extracting disparity from an image in a processing basis; image recovery unit and disparity in depth conversion unit. 2. The system of claim 1, wherein the set of spectral bandwidths corresponding to the set of at least two regions of the aperture with spectral coding forms the basis of the aperture with spectral coding. The system of claim 2, wherein the processing basis is different from the sensor basis and the aperture basis with spectral coding. The system of claim 1, wherein the spectrally coded aperture has three regions: a transparent region in the center and two regions with spectral bandwidths corresponding to yellow and turquoise. The system of claim 4, wherein the processing basis consists of three vectors: a first vector corresponding to yellow, a second vector corresponding to turquoise, and a third vector perpendicular to said first and second vectors. The system of claim 1, wherein the aperture with spectral coding has two regions with spec

Claims (40)

1. Система для захвата изображения и извлечения глубины, содержащая:1. A system for capturing images and extracting depth, containing: блок формирования изображений, содержащий:an imaging unit comprising: систему линз; lens system; апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы и a spectrally coded aperture comprising a set of at least two regions with different spectral bandwidths and датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика; и a sensor for recording at least two spectral channels of the light field to form a captured image in the basis of the sensor; and блок обработки данных, содержащий: a data processing unit comprising: блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки; a data preprocessing unit for converting the captured image in the sensor basis into an image in the processing basis; блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки; a disparity assessment unit for extracting disparity from an image in a processing basis; блок восстановления изображения и image recovery unit and блок преобразования диспаратности в глубину.unit for disparity in depth conversion. 2. Система по п. 1, в которой набор спектральных ширин полос, соответствующий упомянутому набору из по меньшей мере двух областей апертуры со спектральным кодированием, формирует базис апертуры со спектральным кодированием.2. The system of claim 1, wherein the set of spectral bandwidths corresponding to said set of at least two regions of the aperture with spectral coding forms the basis of the aperture with spectral coding. 3. Система по п. 2, в которой базис обработки отличается от базиса датчика и базиса апертуры со спектральным кодированием.3. The system of claim 2, wherein the processing basis is different from the sensor basis and the aperture basis with spectral coding. 4. Система по п. 1, в которой апертура со спектральным кодированием имеет три области: прозрачную область в центре и две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.4. The system of claim 1, wherein the spectrally coded aperture has three regions: a transparent region in the center and two regions with spectral bandwidths corresponding to yellow and turquoise. 5. Система по п. 4, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.5. The system of claim 4, wherein the processing basis consists of three vectors: a first vector corresponding to yellow, a second vector corresponding to turquoise, and a third vector perpendicular to said first and second vectors. 6. Система по п. 1, в которой апертура со спектральным кодированием имеет две области со спектральными ширинами полосы, соответствующими желтому цвету и бирюзовому цвету.6. The system of claim 1, wherein the spectrally coded aperture has two regions with spectral bandwidths corresponding to yellow and turquoise. 7. Система по п. 6, в которой базис обработки состоит из трех векторов: первого вектора, соответствующего желтому цвету, второго вектора, соответствующего бирюзовому цвету, и третьего вектора, перпендикулярного упомянутым первому и второму векторам.7. The system of claim 6, wherein the processing basis consists of three vectors: a first vector corresponding to yellow, a second vector corresponding to turquoise, and a third vector perpendicular to the first and second vectors. 8. Система по п. 1, в которой апертура со спектральным кодированием имеет три конгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету.8. The system of claim 1, wherein the spectrally coded aperture has three congruent regions with spectral bandwidths corresponding to yellow, turquoise, and magenta. 9. Система по п. 8, в которой базис обработки состоит из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.9. The system of claim 8, wherein the processing basis consists of vectors corresponding to yellow, turquoise and purple. 10. Система по п. 1, в которой апертура со спектральным кодированием имеет три неконгруэнтные области со спектральными ширинами полосы, соответствующими желтому цвету, бирюзовому цвету и пурпурному цвету.10. The system of claim 1, wherein the spectrally coded aperture has three incongruent regions with spectral bandwidths corresponding to yellow, turquoise, and magenta. 11. Система по п. 10, в которой базис обработки состоит из векторов, соответствующих желтому цвету, бирюзовому цвету и пурпурному цвету.11. The system of claim 10, wherein the processing basis consists of vectors corresponding to yellow, turquoise and magenta. 12. Система по п. 1, в которой апертура со спектральным кодированием имеет плавное изменение ширины полосы по всей области апертуры.12. The system of claim 1, wherein the spectrally coded aperture has a smooth change in bandwidth across the entire aperture region. 13. Система по п. 1, в которой апертура со спектральным кодированием зафиксирована в системе линз.13. The system of claim 1, wherein the aperture with spectral coding is fixed in the lens system. 14. Система по п. 1, в которой апертура со спектральным кодированием является нефиксированной в системе линз.14. The system of claim 1, wherein the spectrally coded aperture is non-fixed in the lens system. 15. Система по п. 14, в которой апертура со спектральным кодированием выдвигается из оптической системы, чтобы не участвовать в формировании изображения.15. The system of claim 14, wherein the aperture with spectral coding is extended from the optical system so as not to participate in image formation. 16. Система по п. 1, в которой захваченное изображение может быть изображением, выбранным из последовательности видеоизображений.16. The system of claim 1, wherein the captured image may be an image selected from a sequence of video images. 17. Система по п. 1, в которой апертура со спектральным кодированием вставляется в систему линз для получения выборочных изображений из последовательности видеоизображений.17. The system of claim 1, wherein the spectrally coded aperture is inserted into the lens system to obtain sample images from a sequence of video images. 18. Система по п. 1, в которой апертура со спектральным кодированием вставляется в апертурную диафрагму системы линз.18. The system of claim 1, wherein the spectrally coded aperture is inserted into the aperture diaphragm of the lens system. 19. Система по п. 1, в которой система линз состоит из единственной линзы и апертура со спектральным кодированием может быть расположена на упомянутой линзе.19. The system of claim 1, wherein the lens system consists of a single lens and an aperture with spectral coding can be located on said lens. 20. Система по п. 1, в которой апертура со спектральным кодированием модифицируется относительно предыдущего видеоизображения из последовательности видеоизображений, захваченной датчиком.20. The system according to claim 1, in which the aperture with spectral coding is modified relative to the previous video image from the sequence of video images captured by the sensor. 21. Система по п. 1, в которой апертура со спектральным кодированием формируется с любой комбинацией непрозрачных областей и конгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.21. The system of claim 1, wherein the spectrally coded aperture is formed with any combination of opaque regions and congruent regions that may be transparent or transmit in certain spectral bandwidths, ultraviolet or infrared, or bands of various visible colors. 22. Система по п. 1, в которой апертура со спектральным кодированием формируется с любой комбинацией непрозрачных областей и неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.22. The system of claim 1, wherein the spectrally coded aperture is formed with any combination of opaque regions and incongruent regions that may be transparent or transmit in certain spectral bandwidths, ultraviolet or infrared, or bands of various visible colors. 23. Система по п. 1, в которой апертура со спектральным кодированием является пространственным модулятором света.23. The system of claim 1, wherein the spectrally coded aperture is a spatial light modulator. 24. Способ для захвата изображения и извлечения глубины, причем этот способ содержит: 24. A method for capturing images and extracting depth, and this method contains: регистрацию по меньшей мере двух сдвинутых спектральных каналов светового поля для формирования захваченного изображения или последовательности видеоизображений; registration of at least two shifted spectral channels of the light field to form a captured image or sequence of video images; преобразование захваченного изображения в изображение в базисе обработки; converting the captured image to an image in the processing basis; оценку диспаратности на основе взаимосвязи между пикселями в спектральных каналах в базисе обработки для извлечения карты диспаратности; disparity estimation based on the relationship between the pixels in the spectral channels in the processing basis for extracting the disparity map; восстановление захваченного изображения на основе извлеченной карты диспаратности; recovering the captured image based on the extracted disparity map; преобразование карты диспаратности в карту глубины.converting a disparity map to a depth map. 25. Способ по п. 24, в котором упомянутая оценка диспаратности содержит:25. The method according to p. 24, in which the said disparity assessment contains: генерацию кандидатных изображений с относительными сдвигами в спектральных каналах; generation of candidate images with relative shifts in the spectral channels; вычисление стоимости согласования для упомянутых кандидатных изображений в спектральных каналах, calculating a matching cost for said candidate images in spectral channels, распространение стоимости согласования в области с низкой текстурой и spreading the cost of matching in low texture areas and оценку стоимости согласования для кандидатных изображений с субпиксельной точностью. Estimation of the cost of matching for candidate images with subpixel accuracy. 26. Способ по п. 24, в котором взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, включает в себя метрику взаимной корреляции, вычисленную в разреженном движущемся окне.26. The method according to p. 24, in which the relationship between the pixels in the spectral channels required for said disparity estimation includes a cross-correlation metric calculated in a sparse moving window. 27. Способ по п. 24, в котором взаимосвязь между пикселями в спектральных каналах, требуемая для упомянутой оценки диспаратности, вычисляется с использованием по меньшей мере одного алгоритма стереосогласования.27. The method according to p. 24, in which the relationship between the pixels in the spectral channels required for said disparity estimation is calculated using at least one stereo matching algorithm. 28. Способ по п. 27, в котором упомянутый алгоритм стереосогласования выбирается из алгоритма суммы абсолютных разностей (SAD), или алгоритма нормированной взаимной корреляции (NCC), или алгоритма повышения контраста изображения с использованием лапласиана (LIC). 28. The method of claim 27, wherein said stereo matching algorithm is selected from an absolute difference sum (SAD) algorithm, or a normalized cross-correlation (NCC) algorithm, or an image contrast enhancement algorithm using the Laplacian (LIC). 29. Способ по п. 26, в котором упомянутая метрика взаимной корреляции вычисляется с использованием быстрого преобразования Фурье.29. The method of claim 26, wherein said cross-correlation metric is calculated using a fast Fourier transform. 30. Способ по п. 26, в котором упомянутая метрика взаимной корреляции вычисляется с использованием рекурсивного экспоненциального фильтра.30. The method of claim 26, wherein said cross-correlation metric is calculated using a recursive exponential filter. 31. Способ по п. 24, в котором упомянутое восстановление захваченного изображения включает в себя устранение размытости изображения.31. The method of claim 24, wherein said recovering the captured image includes removing image blur. 32. Способ по п. 24, в котором упомянутое восстановление захваченного изображения включает в себя выравнивание спектрального канала в базисе обработки.32. The method according to p. 24, in which the said restoration of the captured image includes the alignment of the spectral channel in the processing basis. 33. Мобильное устройство с модулем камеры для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, содержащее: 33. A mobile device with a camera module for capturing images and the operation of extracting depth in the ultraviolet, visible or infrared spectrum, containing: блок формирования изображения, содержащий:an imaging unit comprising: систему линз; lens system; по меньшей мере одну апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с разными спектральными ширинами полосы, at least one spectrally coded aperture comprising a set of at least two regions with different spectral bandwidths, датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика, и a sensor for recording at least two spectral channels of the light field to form a captured image in the basis of the sensor, and фиксацию кодированной апертуры, позволяющую осуществить перемещение по меньшей мере одной апертуры со спектральным кодированием относительно системы линз; и fixing the encoded aperture, allowing the movement of at least one aperture with spectral coding relative to the lens system; and блок обработки данных, содержащий: a data processing unit comprising: блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки; a data preprocessing unit for converting the captured image in the sensor basis into an image in the processing basis; блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки; a disparity assessment unit for extracting disparity from an image in a processing basis; блок восстановления изображения и image recovery unit and блок преобразования диспаратности в глубину.unit for disparity in depth conversion. 34. Мобильное устройство по п. 33, в котором упомянутая фиксация кодированной апертуры выполнена с возможностью замены по меньшей мере двумя апертурами со спектральным кодированием друг друга в оптической системе. 34. The mobile device according to p. 33, in which the said fixation of the encoded aperture is configured to replace at least two apertures with spectral coding of each other in the optical system. 35. Мобильное устройство по п. 33, в котором упомянутая фиксация кодированной апертуры выполнена с возможностью удаления всех апертур со спектральным кодированием из оптической системы.35. The mobile device according to p. 33, in which the said fixation of the encoded aperture is configured to remove all apertures with spectral coding from the optical system. 36. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием вставлена в апертурную диафрагму системы линз.36. The mobile device of claim 33, wherein said spectrally-coded aperture is inserted into the aperture diaphragm of a lens system. 37. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием сформирована с любой комбинацией непрозрачных областей и конгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.37. The mobile device of claim 33, wherein said spectrally coded aperture is formed with any combination of opaque regions and congruent regions that may be transparent or transmit in certain spectral bandwidths, ultraviolet or infrared, or bands of various visible colors. 38. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием сформирована с любой комбинацией непрозрачных областей и неконгруэнтных областей, которые могут быть прозрачны или пропускать в определенных спектральных ширинах полосы, ультрафиолетовой или инфракрасной, или полосах различных видимых цветов.38. The mobile device of claim 33, wherein said spectrally coded aperture is formed with any combination of opaque regions and non-congruent regions that may be transparent or transmit in certain spectral bandwidths, ultraviolet or infrared, or bands of various visible colors. 39. Мобильное устройство по п. 33, в котором упомянутая апертура со спектральным кодированием является пространственным модулятором света.39. The mobile device of claim 33, wherein said spectrally coded aperture is a spatial light modulator. 40. Система формирования изображения для захвата изображения и операции извлечения глубины в ультрафиолетовом, видимом или инфракрасном спектре, содержащая:40. An imaging system for capturing an image and an operation for extracting depth in the ultraviolet, visible or infrared spectrum, comprising: блок формирования изображений, содержащий:an imaging unit comprising: систему линз; lens system; апертуру со спектральным кодированием, содержащую набор из по меньшей мере двух областей с различными спектральными ширинами полосы, и a spectrally coded aperture comprising a set of at least two regions with different spectral bandwidths, and датчик для регистрации по меньшей мере двух спектральных каналов светового поля для формирования захваченного изображения в базисе датчика и a sensor for recording at least two spectral channels of the light field to form a captured image in the basis of the sensor and блок обработки данных, содержащий: a data processing unit comprising: блок предварительной обработки данных для преобразования захваченного изображения в базисе датчика в изображение в базисе обработки; a data preprocessing unit for converting the captured image in the sensor basis into an image in the processing basis; блок оценки диспаратности для извлечения диспаратности из изображения в базисе обработки иdisparity assessment unit for extracting disparity from the image in the processing basis, and блок преобразования диспаратности в глубину. unit for disparity in depth conversion.
RU2014127469/08A 2014-07-04 2014-07-04 Method and image capturing device and simultaneous extraction of depth RU2595759C2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
RU2014127469/08A RU2595759C2 (en) 2014-07-04 2014-07-04 Method and image capturing device and simultaneous extraction of depth
KR1020150083666A KR20160004912A (en) 2014-07-04 2015-06-12 Method and apparatus for image capturing and simultaneous depth extraction
EP15814578.9A EP3164992A4 (en) 2014-07-04 2015-07-06 Method and apparatus for image capturing and simultaneous depth extraction
PCT/KR2015/006966 WO2016003253A1 (en) 2014-07-04 2015-07-06 Method and apparatus for image capturing and simultaneous depth extraction
CN201580034560.1A CN106471804B (en) 2014-07-04 2015-07-06 Method and device for picture catching and depth extraction simultaneously
US14/791,887 US9872012B2 (en) 2014-07-04 2015-07-06 Method and apparatus for image capturing and simultaneous depth extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014127469/08A RU2595759C2 (en) 2014-07-04 2014-07-04 Method and image capturing device and simultaneous extraction of depth

Publications (2)

Publication Number Publication Date
RU2014127469A true RU2014127469A (en) 2016-01-27
RU2595759C2 RU2595759C2 (en) 2016-08-27

Family

ID=55172768

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014127469/08A RU2595759C2 (en) 2014-07-04 2014-07-04 Method and image capturing device and simultaneous extraction of depth

Country Status (4)

Country Link
EP (1) EP3164992A4 (en)
KR (1) KR20160004912A (en)
CN (1) CN106471804B (en)
RU (1) RU2595759C2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI669538B (en) * 2018-04-27 2019-08-21 點晶科技股份有限公司 Three-dimensional image capturing module and method for capturing three-dimensional image
CN110891131A (en) * 2018-09-10 2020-03-17 北京小米移动软件有限公司 Camera module, processing method and device, electronic equipment and storage medium
JP7256368B2 (en) * 2019-02-06 2023-04-12 ミツミ電機株式会社 ranging camera
CN112526801B (en) * 2019-09-03 2022-01-25 宏达国际电子股份有限公司 Double-lens imaging module and extraction method thereof
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061693B2 (en) * 2004-08-16 2006-06-13 Xceed Imaging Ltd. Optical method and system for extended depth of focus
JP5666435B2 (en) * 2008-06-17 2015-02-12 コーニンクレッカ フィリップス エヌ ヴェ Method and apparatus for optical inspection of the interior of a turbid medium
JP4538766B2 (en) * 2008-08-21 2010-09-08 ソニー株式会社 Imaging device, display device, and image processing device
US8363093B2 (en) * 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters
JP5728673B2 (en) * 2010-02-19 2015-06-03 デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド Multi-aperture image data processing
KR101220413B1 (en) * 2010-10-15 2013-01-09 중앙대학교 산학협력단 Apparatus and method for enhancing image quality of image captured by using multiple color-filter aperture
CN103827920B (en) * 2011-09-28 2018-08-14 皇家飞利浦有限公司 It is determined according to the object distance of image
CN102595171B (en) * 2012-02-03 2014-05-14 浙江工商大学 Imaging method and imaging system of dynamic optical fields of multichannel space-time coding apertures
CN104335246B (en) * 2012-05-01 2018-09-04 Fotonation开曼有限公司 The camera model of pattern is formed with pi optical filters group

Also Published As

Publication number Publication date
EP3164992A1 (en) 2017-05-10
EP3164992A4 (en) 2018-02-21
CN106471804A (en) 2017-03-01
KR20160004912A (en) 2016-01-13
RU2595759C2 (en) 2016-08-27
CN106471804B (en) 2019-01-04

Similar Documents

Publication Publication Date Title
RU2014127469A (en) METHOD AND APPARATUS FOR IMAGE CAPTURING AND SIMULTANEOUS DEPTH EXTRACTION
US20160004925A1 (en) Method and apparatus for image capturing and simultaneous depth extraction
US20220044442A1 (en) Bi-level optimization-based infrared and visible light fusion method
IL274426B2 (en) Fully convolutional interest point detection and description via homographic adaptation
KR101290197B1 (en) Apparatus and method for estimating depth information of image
US10212332B2 (en) Image sensor, calculation method, and electronic device for autofocus
JP2015231220A (en) Image processing apparatus, imaging device, image processing method, imaging method and program
Paramonov et al. Depth camera based on color-coded aperture
WO2015186397A8 (en) Processing device, endoscope system, endoscope device, image processing method, and image processing program
Miao et al. Deep learning for compressive spectral imaging
JP2013254480A5 (en)
WO2014124262A3 (en) Method and apparatus for stereoscopic imaging
US20160035107A1 (en) Moving object detection
TWI588584B (en) Method and apparatus for determining distance between image sensor and object
JP5673764B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium
EA201692174A1 (en) METHOD FOR FORMING PANORAMIC IMAGES FROM VIDEO FLOW OF FRAME IN REAL TIME
KR101480955B1 (en) System and method for measuring displacement of floating structure using a moving image
US9554107B2 (en) Method and apparatus for reducing color fringing in composite images
Huang et al. Using disparity information for stereo autofocus in 3-D photography
Ghanekar et al. Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging
CN112529790B (en) Image light intensity correction method and device for spectrum recovery
Koh et al. Autofocus method using similarity measure based on inter-color channel correlation
Haim et al. Multi-focus imaging using optical phase mask
Wu et al. Efficient Hybrid Zoom using Camera Fusion on Mobile Phones
JP6831792B2 (en) Imaging device and imaging system

Legal Events

Date Code Title Description
TK4A Correction to the publication in the bulletin (patent)

Free format text: AMENDMENT TO CHAPTER -BZ1A- IN JOURNAL: 3-2016 FOR TAG: (54)

MM4A The patent is invalid due to non-payment of fees

Effective date: 20200705