RU2736780C1 - Устройство для формирования цветного изображения (варианты) - Google Patents
Устройство для формирования цветного изображения (варианты) Download PDFInfo
- Publication number
- RU2736780C1 RU2736780C1 RU2019139781A RU2019139781A RU2736780C1 RU 2736780 C1 RU2736780 C1 RU 2736780C1 RU 2019139781 A RU2019139781 A RU 2019139781A RU 2019139781 A RU2019139781 A RU 2019139781A RU 2736780 C1 RU2736780 C1 RU 2736780C1
- Authority
- RU
- Russia
- Prior art keywords
- color
- filter
- sensor
- image
- sensors
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 claims abstract description 55
- 238000000926 separation method Methods 0.000 claims abstract description 13
- 239000002105 nanoparticle Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 15
- 238000011084 recovery Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 229910001218 Gallium arsenide Inorganic materials 0.000 claims description 3
- 229910010413 TiO 2 Inorganic materials 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000470 constituent Substances 0.000 claims description 2
- 239000000463 material Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000000576 coating method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000005070 ripening Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- VPWFPZBFBFHIIL-UHFFFAOYSA-L disodium 4-[(4-methyl-2-sulfophenyl)diazenyl]-3-oxidonaphthalene-2-carboxylate Chemical compound [Na+].[Na+].[O-]S(=O)(=O)C1=CC(C)=CC=C1N=NC1=C(O)C(C([O-])=O)=CC2=CC=CC=C12 VPWFPZBFBFHIIL-UHFFFAOYSA-L 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Изобретение относится к области формирования изображений, а более точно к устройству для формирования цветного изображения. Техническим результатом является увеличение разрешения датчика CMOS для мобильного форм–фактора, а также повышение отношения сигнал/шум (SNR). Результат достигается тем, что устройство для формирования цветного изображения содержит сборку сенсоров изображения для формирования цветного изображения, причем указанная сборка содержит три монохромных сенсора, размещенных рядом друг с другом, каждый из которых состоит из множества пикселей, причем все пиксели одного сенсора являются пикселями одного цветового диапазона, R, G, B, соответственно, при этом каждый монохромный сенсор покрыт одноцветным интерференционным фильтром, обеспечивающим полное разделение красного, синего и зеленого спектральных диапазонов, и блок обработки полученных сигналов от трех монохромных сенсоров, сконфигурированный для алгоритмического преобразования полученных от сенсоров изображений с получением одного цветного изображения и вывода полученного цветного изображения на дисплей. 3 н. и 13 з.п. ф-лы, 5 ил.
Description
Область техники
Настоящее изобретение относится к области формирования изображений, а более точно – к устройству для формирования цветного изображения. Изобретение может быть использовано в мобильных устройствах для получения гиперспектральных изображений, т.е. набора изображений, снятых в различных заранее известных спектральных областях, а также в случаях, когда используется перестраиваемый фильтр в более широком диапазоне, например, в инфракрасной или ближней ультрафиолетовой области, для проведения космической съемки или аэросъемки при оценке степени созревания урожая, для изучения атмосферы на наличие различных загрязнений, и т.п.
Предшествующий уровень техники
Используемые в настоящее время датчики цветного изображения имеют низкое разрешение по сравнению с монохромным сенсором, такие датчики имеют ограниченный динамический диапазон измерения интенсивности оптического сигнала. Отношение сигнал/шум датчика, используемого в мобильном форм–факторе также низкое из–за миниатюризации размера пикселя. C уменьшением размера пикселя возникают перекрестные помехи между соседними пикселями ввиду их взаимного влияния друг на друга. Кроме того, хроматические аберрации наблюдаются во всем спектральном диапазоне. При изготовлении таких датчиков требуются дополнительные технологические операции для изготовления фильтра Байера.
Кроме того, кривые пропускания фильтров, которые изготавливаются из полимерных материалов, довольно широкие, поэтому синий, зеленый и красный спектральные диапазоны перекрываются. Вследствие этого приходится использовать сложные алгоритмы восстановления цветного изображения, т.е. при последующей обработке сигнала, который получают с такого сенсора, приходится использовать алгоритмы, которые корректируют изображение, и это приводит к ряду артефактов: помимо того, что процессор загружается дополнительно, ухудшается цветопередача из–за такого преобразования, т.е. наблюдается искажение цвета изображения.
Известна и широко используется в настоящее время 3–CCD камера, в которой цветоделение пучка белого света осуществляется дихроической призмой 3CCD, реализующей технологию цветоделения в цветном телевидении с использованием трех светочувствительных матриц или передающих трубок, отдельных для каждого из трех цветоделенных изображений: красного, зеленого и синего спектральных диапазонов. Эта технология основана на оптическом цветоделении при помощи дихроидной (или дихроичной) призмы, разделяющей свет от объектива на три изображения по длине волны за счет интерференции. Такие телекамеры и видеокамеры называют трехматричными.
Принцип действия такой камеры заключается в том, что свет от съемочного объектива попадает на цветоделительную дихроичную призму, разделяющую его на три составляющих потока, направляемых к разным граням призмы. Излучение с самой короткой длиной волны избирательно отражается от дихроичного покрытия F1, пропускающего остальной свет дальше. Так синяя составляющая света направляется к нижней выходной грани. Затем поверхностью с покрытием F2 отделяется длинноволновая – красная часть спектра, попадающая к верхней выходной грани. Оставшийся свет, прошедший через все покрытия, соответствует зеленой части спектра и попадает к задней выходной грани призмы. На трех выходах этой конструкции находятся три независимых монохромных сенсора, которые отвечают соответственно за измерение трех компонент цвета.
Таким образом получаются три монохромных действительных изображения объекта съемки. Красный и синий свет претерпевают двукратное отражение, в результате чего получаются прямые (незеркальные) изображения этих цветов. Каждое из этих цветоделенных изображений попадает на отдельную матрицу, видеосигнал с которой после обработки добавляется к общему сигналу. В результате сложения сигналов с трех матриц получается полный цветной сигнал. Указанная камера имеет такое же разрешение, что и у монохромного датчика, что в четыре раза больше, чем у широко используемого цветного сенсора с фильтрами Байера.
Альтернативным вариантом при этом является увеличение размера пикселя в два раза, с сохранением исходного разрешения. При этом больший размер пикселя обеспечивает меньший шум, т.е. больший динамический диапазон интенсивности оптического сигнала. Ввиду того, что светоделительная призма обеспечивает качественное разделение красного, синего и зеленого цветов, в отличие от фильтров Байера, восстановление цветного изображения не требует специальной алгоритмической обработки и при этом обеспечивается хорошее качество цвета без интерполяции.
К недостаткам указанной камеры следует отнести громоздкость конструкции, что несовместимо с мобильными устройствами, такими как телефоны, планшеты, фотоаппараты. В устройстве приходится использовать сложные аппаратные средства, что в свою очередь приводит к увеличению энергопотребления.
В камерах современных мобильных устройств обеспечивается компактная конструкция маски–фильтра типа фильтра Байера (Bayer filter), совместимая с мобильным телефоном. При этом эффективное количество пикселей уменьшается, как минимум, в четыре раза.
Кроме того, спектральные области RGB сильно перекрываются из–за использования миниатюрных фильтров, вызывающих искажение цвета изображения. Вследствие необходимости использования Байеровского процесса интерполяции цвета, снижается резкость изображения, кроме того происходит увеличение шумов и уменьшение динамического диапазона интенсивности оптического сигнала по сравнению с монохромным сенсором той же конструкции.
В патенте US 4322740 (опубликован 30.03.1982) раскрыта твердотельная цветная камера формирования изображения, содержащая три твердотельных датчика изображения, каждый из которых имеет двумерную матрицу элементов изображения, расположенных с соответствующими заданными шагами в вертикальном и горизонтальном направлениях. Первый, второй и третий датчики изображения используются для зеленого (G), красного (R) и синего (B) спектральных диапазонов. Оптическое расположение первого датчика изображения смещено относительно второго и третьего датчиков изображения на половину шага элемента изображения в вертикальном направлении. В качестве сведоделительного элемента использована пентапризма. Ее преимущество состоит в качественном разделении R, G,B спектральных диапазонов и отсутствии перекрытий. Основным недостатком является громоздкость такой системы и несовместимость с мобильным устройством.
В патенте US 5214503 А (опубликован 31.01.1992) раскрыта цветная система ночного видения, обеспечивающая цветное ночное видение, и предназначенная для использования в разведке. Система содержит первый объектив, зеркальный узел для разделения изображения объектива на три изображения, узел фильтра для соответствующей фильтрации трех изображений через красный фильтр и зеленый фильтр, а также первый, второй и третий усилители синего фильтра, имеющие соответствующие первый и третий, второй и третий блоки камеры, которые просматривают три изображения и отправляют три сигнала изображения последовательно на монитор дисплея, где просматривается цветное изображение. К недостаткам следует отнести необходимость использования громоздких оптических элементов, несовместимых с мобильным устройством.
В публикации US 2009/237493 А1 (опубликовано 09.01.2006) раскрыто устройство для получения трехмерного (3–D) изображения, содержащее: первую и вторую линзы, сконфигурированные для приема света от зоны, отображаемой видеокамерой; первый, второй, третий и четвертый датчики; первый светоделитель, расположенный вблизи первой линзы, который обеспечивает подачу первого расщепленного луча первому датчику и второго расщепленного луча второму датчику; и второй светоделитель, расположенный рядом со второй линзой, который обеспечивает подачу третьего расщепленного луча на третий датчик и четвертого расщепленного луча на четвертый датчик. Например, датчики могут включать в себя устройства с зарядовой связью (ПЗС) или CMOS–датчики. К недостаткам следует отнести необходимость использования громоздких оптических элементов, несовместимых с мобильным устройством.
В качестве ближайшего технического решения рассматривается цифровая камера с разделителем светового излучения, раскрытая в публикации US 2015/177524 A1 (25.06.2015).
Компонент цифровой камеры содержит куб светоделителя, имеющий входную грань для приема падающего света от зоны, отображаемой видеокамерой. Куб разделяет падающий свет на первый, второй и третий цветовые компоненты, которые выходят из куба через первую грань, вторую грань и третью грань куба, соответственно. Предусмотрены первый, второй и третий датчики изображения, каждый из которых предназначен для приема соответствующего одного из цветовых компонентов, которые выходят из первой, второй и третьей граней куба.
Цифровая камера содержит корпус, в котором размещены: светоделитель, имеющий входную поверхность для приема падающего света от зоны, отображаемой видеокамерой; падающий свет входит в корпус через поверхность корпуса, глубина от поверхности корпуса до противоположной стороны корпуса меньше длины и ширины лицевой стороны корпуса устройства;
светоделитель для разделения падающего света на множество цветовых компонентов первого цветового содержимого, второго цветового содержимого и третьего цветового содержимого, соответственно, которые выходят из светоделителя через первую выходную грань, вторую выходную грань и третью выходную грань светоделителя, соответственно, при этом светоделитель содержит первый, второй, третий и четвертый прозрачные многогранники, причем первый прозрачный многогранник примыкает ко второму прозрачному многограннику на первом дихроичном интерфейсе, и первый прозрачный многогранник примыкает к четвертому прозрачному многограннику на втором дихроичном интерфейсе, причем часть первого цветового содержимого или третьего цветового содержимого в падающем свете выходит из второй выходной гран и в дополнение к цветовому компоненту второго цветового содержимого;
первый, второй и третий датчики изображения, каждый из которых предназначен для приема соответствующего одного из цветовых компонентов, которые выходят из первой, второй и третьей выходных поверхностей светоделителя;
дефлектор, сконфигурированный для отклонения падающего света от зоны, отображаемой видеокамерой, в направлении светоделителя; и
система трансфокатора, расположенная полностью на пути отклоненного падающего света между дефлектором и входной поверхностью светоделителя, при этом система трансфокатора содержит более двух подвижных линз.
Указанное устройство содержит в составе трансфокатора сложные в изготовлении элементы. Теоретически оно может быть совместимо с мобильным устройством, однако в форм–факторе дополнительной «насадки» его нельзя установить на телефон или планшет ввиду громоздкости оптической схемы.
Сущность изобретения
В основу настоящего изобретения поставлена задача создания устройства для формирования цветного изображения для мобильного форм–фактора, который имеет улучшенное разрешение датчика CMOS и высокое отношение сигнал/шум (SNR), адаптируемое в зависимости от освещенности, что позволяет исключить искажение цвета, возникающее из–за свойств цветовых фильтров и перекрывающихся областей спектра, и одновременно устранить Байеровское сглаживание изображение путем использования раздельных высококачественных фильтров на красный, зеленый и синий спектральные диапазоны, либо высококачественного перестраиваемого фильтра. Указанный эффект достигается благодаря использованию нескольких монохромных сенсоров, по одному для каждого цвета, причем каждый из сенсоров покрыт различными интерференционными одноцветными фильтрами красного, зеленого и синего спектрального диапазона, обеспечивающими полное разделение красного, синего и зеленого спектральных диапазонов, и использованию биннинга для контроля отношения сигнал/шум.
Поставленная задача решена путем создания устройства для формирования цветного изображения, которое содержит
сборку сенсоров изображения для формирования цветного изображения, содержащую
три монохромных сенсора, размещенных рядом друг с другом, каждый из которых состоит из множества пикселей, причем все пиксели одного сенсора являются пикселями одного цветового диапазона, R, G,B спектральных диапазонов, соответственно,
при этом каждый монохромный сенсор покрыт одноцветным интерференционным фильтром, обеспечивающим полное разделение красного, синего и зеленого спектральных диапазонов,
блок обработки сигналов, полученных от трех монохромных сенсоров, сконфигурированный для алгоритмического преобразования полученных от сенсоров изображений с получением одного цветного изображения и вывода полученного цветного изображения на дисплей.
Предпочтительно блок обработки полученных сигналов сконфигурирован для алгоритмического преобразования путем объединения изображений, полученных от трех пространственно разделенных монохромных сенсоров.
Предпочтительно площадь пикселя по меньшей мере в два раза превосходит площадь пикселя цветного сенсора.
Предпочтительно в качестве одноцветного фильтра для каждого одного сенсора использован фильтр соответственно красного, зеленого и синего цветовых диапазонов.
Предпочтительно в качестве одноцветного фильтра для одного из сенсоров использован фильтр ближнего ультрафиолетового диапазона.
Согласно второму варианту воплощения изобретения устройство для формирования цветного изображения содержит
монохромный сенсор, сконфигурированный для выполнения трех последовательных во времени экспозиций,
три перестраиваемых фильтра с различными спектральными характеристиками, размещенных на соответствующих поверхностях монохромного сенсора и имеющих метаповерхности, сконфигурированные с возможностью перестроения для фильтрации определенной спектральной области отображаемой зоны, включая красную, зеленую и синюю спектральные области, причем границы области определяются геометрическими параметрами метаповерхностей, включая размер составляющих наночастиц и период их расположения,
блок восстановления цветного изображения, сконфигурированный с возможностью восстановления цветного изображения путем объединения трех цветных изображений, полученных от перестраиваемых фильтров, путем временного разделения последовательных экспозиций и управления перестройкой фильтра.
Предпочтительно блок восстановления цветного изображения сконфигурирован с возможностью объединения трех цветных изображений от перестраиваемых фильтров путем временного разделения последовательных экспозиций, осуществляемого путем подстройки длительности импульса и скважности для одного цвета, чтобы попасть в период, когда производится съемка в данном свете, путем подстройки скважности, засветки и периода, и при попадании в соответствующий фильтр получения изображения, яркого на сенсоре в тот момент, когда совпадает фаза с накоплением изображения данного сенсора, и управления перестройкой фильтра.
Предпочтительно устройство дополнительно содержит блок пространственно–временного цветного мультиплексирования с использованием фильтра, обеспечивающий алгоритм реконструкции цвета.
Предпочтительно каждая метаповерхность содержит наночастицы различных размеров, причем размеры наночастиц частиц сравнимы с длиной волны света.
Предпочтительно каждая метаповерхность находится в двух состояниях – пропускания света и фильтрации света.
Предпочтительно каждый фильтр синего, зеленого и красного диапазона состоит из повторяющихся периодических структур, размер которых различается, и определяет область, предназначенную для фильтрации.
Предпочтительно каждый полосовой фильтр содержит наночастицы, выбранные из группы, состоящей из Si, TiO2, GaP, GaN, SiC, ZrO2, GaAs, с размером частиц порядка и меньше длины волны соответствующего спектрального диапазона.
Предпочтительно размер наночастиц для полосового фильтра красного светового диапазона составляет 250–500 нм.
Предпочтительно размер наночастиц для полосового фильтра зеленого светового диапазона составляет 200–400 нм.
Предпочтительно размер наночастиц для полосового фильтра синего светового диапазона составляет 190–300 нм.
Согласно третьему варианту воплощения устройство для формирования цветного изображения содержит
один монохромный сенсор, сконфигурированный для выполнения трех последовательных во времени экспозиций,
три перестраиваемых фильтра с различными спектральными характеристиками, размещенных один на другом на поверхности монохромного сенсора, каждый из которых имеет два состояния 0 или 1, для фильтрации определенной спектральной области отображаемой зоны, включая спектральные области красного, зеленого и синего светового диапазона, соответственно, причем в состоянии 0 фильтр прозрачен для всех длин волн, либо для тех цветов, которые имеют меньшую длину волны, а в состоянии 1 фильтр пропускает или отфильтровывает определенный диапазон длин волн,
при этом каждый перестраиваемый фильтр выполнен с возможностью попеременного включения для пропускания синего, зеленого и красного светового диапазона длин волн,
блок восстановления цветного изображения, сконфигурированный с возможностью восстановления цветного изображения путем объединения трех цветных изображений, полученных от перестраиваемых фильтров.
Предложенная конфигурация устройство для формирования цветного изображения позволяет использовать это устройство для мобильных телефонов и ноутбуков, упростить и миниатюризировать всю схему, исключить искажение цвета, возникающее из–за свойств цветного фильтра и перекрывающихся областей спектра, и одновременно сгладить изображение путем коррекции цвета, обеспечить полное разделение красного, синего и зеленого спектральных диапазонов и использовать биннинга для контроля отношения сигнал/шум.
Краткое описание чертежей
В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения со ссылками на сопровождающие чертежи, на которых:
Фиг. 1 изображает схему устройства для формирования цветного изображения (первый вариант выполнения), содержащего три монохромных сенсора, каждый из которых покрыт соответствующим R, G, B фильтром без спектрального перекрытия или с уменьшенным перекрытием, устройство обеспечивает восстановление цветного изображения от трех сенсоров;
Фиг. 2 изображает матрицу с несколькими сенсорами изображения в мобильном форм–факторе, слева показан размер пикселя цветного сенсора, а справа показан размер пикселя монохромного сенсора 4–х пиксельного с таким же эффективным разрешением;
Фиг. 3 изображает схему устройства для формирования цветного изображения (второй вариант выполнения), содержащего один монохромный сенсор, перестраиваемый фильтр на основе метаповерхности, обеспечивающий сканирование спектральных областей R, G, B, при этом восстановление цветного изображения выполняется путем получения нескольких изображений при настройке фильтра;
Фиг. 4 изображает вариант реализации настраиваемого фильтра на основе 3–х метаповерхностей, каждая для каждого цвета, т.е. эффект объединяет эффекты 3–сенсорного варианта;
Фиг.5 изображает схему устройства для формирования цветного изображения (третий вариант выполнения), содержащего один монохромный сенсор, перестраиваемый фильтр на основе метаповерхности, обеспечивающий сканирование спектральных областей R, G, B, при этом восстановление цветного изображения выполняется путем получения нескольких изображений при настройке фильтра.
Описание предпочтительных вариантов воплощения изобретения
Устройство 1 (фиг. 1) для формирования цветного изображения, согласно первому варианту воплощения, содержит сборку 2 сенсоров изображения для формирования цветного изображения. Сборка 2 содержит три монохромных сенсора 3, 4, 5, размещенных рядом друг с другом, каждый из которых состоит из множества пикселей. Все пиксели одного сенсора являются пикселями одного цветового диапазона, для сенсора 3 – красного R, для сенсора 4 – зеленого, и для сенсора 5 – синего спектрального диапазона, соответственно.
Каждый монохромный сенсор 3, 4, 5 покрыт одноцветным интерференционным фильтром 6, 7, 8, соответственно, обеспечивающим полное разделение красного, синего и зеленого спектральных диапазонов.
В описываемом варианте выполнения изобретения указанное устройство 1 для формирования цветного изображения размещено на мобильном устройстве 9.
Устройство 1 содержит блок 10 обработки сигналов, полученных от трех монохромных сенсоров 3, 4, 5, сконфигурированный для алгоритмического преобразования полученных от сенсоров изображений 11R, 11G, 11B с получением одного цветного изображения 12 и вывода полученного цветного изображения на дисплей 13.
В описываемом варианте воплощения блок 10 обработки сигналов сконфигурирован для алгоритмического преобразования путем объединения изображений, полученных от трех пространственно разделенных монохромных сенсоров 3, 4, 5.
На фиг. 2 показана матрица с несколькими сенсорами изображения в мобильном форм–факторе, причем слева показан размер пикселя 14 цветного сенсора 15, а справа показан размер пикселя 16 монохромного 4–х пиксельного сенсора 3, или 4, или 5, который обеспечивает такое же разрешение, как и цветной сенсор 15, т.е., как показано на фиг. 2, площадь пикселя 16 каждого монохромного сенсора 3, 4, 5 по меньшей мере в два раза превышает площадь пикселя 14 цветного сенсора 15, известного специалисту в этой области техники.
В качестве одноцветного фильтра для каждого сенсора 3, 4, 5 использован фильтр соответственно красного 6, зеленого 7 и синего 8 цветовых диапазонов. Возможно в качестве одноцветного фильтра для одного из сенсоров использовать фильтр ближнего ультрафиолетового диапазона (не показано).
Согласно второму варианту воплощения (фиг. 3) устройство 17 для формирования цветного изображения содержит монохромный сенсор 18, сконфигурированный для выполнения трех последовательных во времени экспозиций, и три перестраиваемых полосовых фильтра 19, 20, 21. Указанные фильтры 19, 20, 21 имеют различные спектральные характеристики и размещены на соответствующих поверхностях 22 монохромного сенсора 18, при этом фильтры 19, 20, 21 имеют метаповерхности и сконфигурированы с возможностью перестроения для фильтрации определенной спектральной области отображаемой зоны, включая красную, зеленую и синюю спектральные области, соответственно. Границы областей определяются геометрическими параметрами метаповерхностей, включая размер составляющих наночастиц и период их расположения.
В описываемом втором варианте выполнения изобретения указанное устройство 17 для формирования цветного изображения размещено на мобильном устройстве 23.
Устройство 17 содержит также блок 24 восстановления цветного изображения, сконфигурированный с возможностью восстановления цветного изображения 25 путем объединения трех цветных изображений 26R, 26G, 26B, полученных от перестраиваемых фильтров 19, 20, 21, путем временного разделения последовательных экспозиций и управления перестройкой каждого фильтра.
Блок 24 восстановления цветного изображения сконфигурирован с возможностью объединения трех цветных изображений 26R, 26G, 26B от перестраиваемых фильтров 19, 20, 21 путем временного разделения последовательных экспозиций (фиг. 3), осуществляемого путем подстройки длительности импульса и скважности для одного цвета, чтобы попасть в период, когда производится съемка в данном свете, путем подстройки скважности, засветки и периода. И при попадании в соответствующий фильтр получают изображение, яркое на сенсоре в тот момент, когда совпадает фаза с накоплением изображения данного сенсора. Блок 24 управляет перестройкой каждого фильтра.
Устройство 17 дополнительно содержит блок 27 пространственно–временного цветного мультиплексирования с использованием перестраиваемых полосовых фильтров 19, 20, 21, обеспечивающий алгоритм реконструкции цвета и связанный с блоком 24 управления.
Каждый полосовой фильтр 19, 20, 21 содержит перестраиваемую метаповерхность с наночастицами различных размеров, причем размеры наночастиц сравнимы с длиной волны света.
Указанные наночастицы выполнены из материалов, выбранных из группы, состоящей из Si, TiO2, GaP, GaN, SiC, ZrO2, GaAs, с размером частиц порядка и меньше длины волны соответствующего спектрального диапазона.
При этом каждая метаповерхность находится в двух состояниях – пропускания света и фильтрации света.
Каждый полосовой фильтр 19, 20, 21 синего, зеленого и красного световых диапазонов, соответственно, состоит из повторяющихся периодических структур, размер которых различается, и определяет область, предназначенную для фильтрации.
При этом размер наночастиц для полосового фильтра 21 красного диапазона составляет 350–500 нм, размер наночастиц для полосового фильтра 20 зеленого диапазона составляет 250–400 нм и размер наночастиц для полосового фильтра 19 синего диапазона составляет 190–300 нм.
Согласно третьему варианту воплощения устройство 28 для формирования цветного изображения содержит по меньшей мере один монохромный сенсор 29 (фиг. 5), сконфигурированный для выполнения трех последовательных во времени экспозиций. На фиг. 5 показан вариант воплощения, когда устройство 28 содержит три монохромных сенсора 29, 30, 31. Каждый сенсор 29, 30, 31 покрыт тремя перестраиваемыми фильтрами 32, 33, 34 с различными спектральными характеристиками, размещенных один на другом на поверхностях монохромных сенсоров 29, 30, 31.
В описываемом третьем варианте выполнения изобретения указанное устройство 28 для формирования цветного изображения размещено на мобильном устройстве 32.
Каждый из фильтров 33, 34, 35 имеет два состояния 0 или 1, для фильтрации определенной спектральной области отображаемой зоны, включая красную, зеленую и синюю спектральные области, соответственно. В состоянии 0 каждый из фильтров 33, 34, 35 прозрачен для всех длин волн, либо для тех цветов, которые имеют меньшую длину волны, а в состоянии 1 каждый из фильтров пропускает или отфильтровывает определенный диапазон длин волн.
Каждый перестраиваемый фильтр 33, 34, 35 выполнен с возможностью попеременного включения для пропускания синего, зеленого и красного оптического диапазона длин волн.
Устройство 28 содержит также блок 36 восстановления цветного изображения, сконфигурированный с возможностью восстановления цветного изображения 37 путем объединения трех цветных изображений 38В, 38G, 38R, полученных с каждого сенсора 29, 30, 31, при этом каждое из изображений 35В, 35G, 35R содержит три изображения одного светового диапазона, полученных от трех фильтров 32, 33, 34, соответственно, показаны пунктирной линией на фиг. 5.
Работа устройства 1 (фиг.1) для формирования цветного изображения согласно первому варианту воплощения осуществляется следующим образом.
Сенсоры 3, 4, 5 производят единовременную экспозицию изображения интересующего пользователя объекта. При этом изображения 11R, 11G, 11B, полученные сенсорами 3, 4, 5 будут соответствовать красному, зеленому и синему спектральному диапазону, соответственно. Это обеспечивается фильтрацией оптического сигнала при его прохождении через фильтры 6, 7, 8. Далее блок 10 обработки изображения отвечает за алгоритмическое объединение изображений 11R, 11G, 11В с различных сенсоров 3, 4, 5 в единое цветное изображение 12. Поскольку сенсоры 3,4,5 пространственно разделены, то изображения 11R, 11G, 11В одного и того же объекта, полученные этими сенсорами, могут быть пространственно смещены друг относительно друга. В этом случае основной функцией блока 10 при объединении в единое цветное изображение 12 этот сдвиг компенсировать.
Работа устройства 17 для формирования цветного изображения согласно второму варианту (фиг. 3) воплощения осуществляется следующим образом.
Фильтры 19, 20, 21 последовательно во времени конфигурируются блоком 24 управления и обработки изображения на пропускание только оптического излучения одной спектральной области, красной, зеленой, синей, соответственно, при этом сенсор 18 осуществляет синхронное измерение трех последовательных изображений интересующего пользователя объекта. Конфигурация фильтров осуществляется переводом метаповерхностей 22 в фильтрах 19, 20, 21 в пропускающее, либо фильтрующее состояние блоком 24 управления и обработки изображения. При этом для пропускания сигнала из красной спектральной области в фильтрующее состояние переводятся метаповерхности 22 фильтров 19, 20, отвечающих за фильтрацию зеленой и синей областей спектра. Для пропускания сигнала из зеленой спектральной области в фильтрующее состояние переводятся метаповерхности 22 фильтров 19, 21, отвечающих за фильтрацию красной и синей областей спектра. И, наконец, для пропускания сигнала из синей спектральной области в фильтрующее состояние переводятся метаповерхности 22 фильтров 19, 20, отвечающих за фильтрацию зеленой и красной областей спектра. При такой конфигурации фильтров 19, 20, 21 последовательно изображения 26R, 26G, 26B, полученные сенсором 18, будут соответствовать красному, зеленому и синему спектральному диапазону, соответственно. Далее блок 24 обработки изображения отвечает за алгоритмическое объединение этих изображений в единое цветное изображение. При этом, в отличие от первого варианта реализации, отсутствует пространственный сдвиг, поэтому единое цветное изображение 25 получается тривиальной комбинацией трех монохромных изображений 26R, 26G, 26B.
Работа устройства 28 для формирования цветного изображения согласно третьему варианту (фиг. 5) воплощения осуществляется следующим образом.
Для каждого сенсора 29, 30, 31 фильтры 33, 34, 35 последовательно во времени конфигурируются блоком 36 управления и обработки изображения на пропускание только оптического излучения одной спектральной области, при этом каждый сенсор 29, 30, 31 осуществляет синхронное измерение нескольких последовательных изображений интересующего пользователя объекта. Конфигурация фильтров 33, 34, 35 осуществляется переводом метаповерхностей 22 в фильтрах 33, 34, 35 в пропускающее, либо фильтрующее состояние блоком 36 управления и обработки изображения. Метаповерхности 22 фильтров 33, 34, 35 аналогичны метаповерхностям 22 фильтров 19, 20, 22 второго варианта выполнения устройства. При этом, в зависимости от типа и геометрии каждой конкретной метаповерхности производится пропускание либо фильтрация оптического сигнала определенного спектрального диапазона, причем не обязательно красного, синего и зеленого, соответственно. В различных вариантах специфических приложений можно добавить ближний инфракрасный, ближний ультрафиолетовый спектральные диапазоны (не показано). Таким образом, комбинация пространственного и временного мультиплексирования позволяет помимо обычного цветного изображения интересующего пользователя объекта, получить также дополнительные изображения в спектральных диапазонах, невидимых человеческому глазу. Далее блок 36 обработки изображения отвечает за алгоритмическое объединение этих изображений в единое цветное изображение аналогично второму варианту реализации.
Промышленная применимость
Предложенное устройство для формирования цветного изображения может быть использовано для получения гиперспектральных изображений, когда используется перестраиваемый фильтр в более широком диапазоне, например, в инфракрасной или ближней ультрафиолетовой области, для проведения космической съемки или аэросъемки при оценке степени созревание урожая, для изучения атмосферы на наличие различных загрязнений.
Claims (27)
1. Устройство для формирования цветного изображения, содержащее
сборку сенсоров изображения для формирования цветного изображения, содержащую
три монохромных сенсора, размещенных рядом друг с другом, каждый из которых состоит из множества пикселей, причем все пиксели одного сенсора являются пикселями одного цветового диапазона, R, G, B спектральных диапазонов, соответственно,
при этом каждый монохромный сенсор покрыт одноцветным интерференционным фильтром, обеспечивающим полное разделение красного, синего и зеленого спектральных диапазонов, соответственно,
блок обработки полученных сигналов от трех монохромных сенсоров, сконфигурированный для алгоритмического преобразования полученных от монохромных сенсоров изображений с получением одного цветного изображения и вывода полученного цветного изображения на дисплей.
2. Устройство по п. 1, в котором блок обработки полученных сигналов сконфигурирован для алгоритмического преобразования путем объединения изображений, полученных от трех пространственно разделенных монохромных сенсоров.
3. Устройство по п. 1, в котором площадь пикселя монохромного сенсора по меньшей мере в два раза превосходит площадь пикселя цветного сенсора.
4. Устройство по п. 1, в котором в качестве одноцветного фильтра для каждого одного монохромного сенсора использован фильтр соответственно красного, зеленого и синего цветовых диапазонов.
5. Устройство по п. 1, которое дополнительно содержит фильтр ближнего ультрафиолетового диапазона.
6. Устройство для формирования цветного изображения, содержащее
монохромный сенсор, сконфигурированный для выполнения трех последовательных во времени экспозиций,
три перестраиваемых полосовых фильтра с различными спектральными характеристиками, размещенных на соответствующих поверхностях монохромного сенсора и имеющих метаповерхности, сконфигурированные с возможностью перестроения для фильтрации определенной спектральной области отображаемой зоны, включая красную, зеленую и синюю спектральные области, соответственно, причем границы областей определяются геометрическими параметрами метаповерхностей, включая размер составляющих наночастиц и период их расположения,
блок восстановления цветного изображения, сконфигурированный с возможностью восстановления цветного изображения путем объединения трех цветных изображений, полученных от перестраиваемых фильтров, путем временного разделения последовательных экспозиций и управления перестройкой фильтра.
7. Устройство по п. 6, в котором блок восстановления цветного изображения сконфигурирован с возможностью объединения трех цветных изображений от перестраиваемых фильтров путем временного разделения последовательных экспозиций, осуществляемого путем подстройки длительности импульса и скважности для одного цвета, чтобы попасть в период, когда производится съемка в данном свете, путем подстройки скважности, засветки и периода, и при попадании в соответствующий фильтр получения изображения, яркого на сенсоре в тот момент, когда совпадает фаза с накоплением изображения данного сенсора, и управления перестройкой фильтра.
8. Устройство по п. 6, которое дополнительно содержит блок пространственно–временного цветного мультиплексирования с использованием указанных фильтров, обеспечивающий алгоритм реконструкции цвета.
9. Устройство по п. 6, в котором каждая метаповерхность содержит наночастицы различных размеров, причем размеры наночастиц частиц сравнимы с длиной волны света.
10. Устройство по п. 6, в котором каждая метаповерхность находится в двух состояниях – пропускания света и фильтрации света.
11. Устройство по п. 6, в котором каждый фильтр синего, зеленого и красного световых диапазонов состоит из повторяющихся периодических структур, размер которых различается и определяет область, предназначенную для фильтрации.
12. Устройство по п. 6, в котором каждый полосовой фильтр содержит наночастицы из материалов, выбранных из группы, состоящей из Si, TiO2, GaP, GaN, SiC, ZrO2, GaAs, с размером частиц порядка и меньше длины волны соответствующего спектрального диапазона.
13. Устройство по п. 12, в котором размер наночастиц для полосового фильтра красного светового диапазона составляет 250–500 нм.
14. Устройство по п. 12, в котором размер наночастиц для полосового фильтра зеленого светового диапазона составляет 200–400 нм.
15. Устройство по п. 12, в котором размер наночастиц для полосового фильтра синего светового диапазона составляет 190–300 нм.
16. Устройство для формирования цветного изображения, содержащее
один монохромный сенсор, сконфигурированный для выполнения трех последовательных во времени экспозиций,
три перестраиваемых фильтра с различными спектральными характеристиками, размещенных один на другом на поверхности монохромного сенсора, каждый из которых имеет два состояния 0 или 1 и предназначен для фильтрации определенной спектральной области отображаемой зоны, включая спектральные области красного, зеленого и синего светового диапазона, соответственно, причем в состоянии 0 каждый из фильтров прозрачен для всех длин волн, либо для тех цветов, которые имеют меньшую длину волны, а в состоянии 1 фильтр пропускает или отфильтровывает определенный диапазон длин волн,
при этом каждый перестраиваемый фильтр выполнен с возможностью попеременного включения для пропускания синего, зеленого и красного светового диапазона длин волн,
блок восстановления цветного изображения, сконфигурированный с возможностью восстановления цветного изображения путем объединения трех цветных изображений, полученных от перестраиваемых фильтров.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019139781A RU2736780C1 (ru) | 2019-12-05 | 2019-12-05 | Устройство для формирования цветного изображения (варианты) |
| KR1020200147097A KR20210070905A (ko) | 2019-12-05 | 2020-11-05 | 컬러 이미징 장치 |
| US17/112,316 US11470287B2 (en) | 2019-12-05 | 2020-12-04 | Color imaging apparatus using monochrome sensors for mobile devices |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019139781A RU2736780C1 (ru) | 2019-12-05 | 2019-12-05 | Устройство для формирования цветного изображения (варианты) |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2736780C1 true RU2736780C1 (ru) | 2020-11-20 |
Family
ID=73460942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019139781A RU2736780C1 (ru) | 2019-12-05 | 2019-12-05 | Устройство для формирования цветного изображения (варианты) |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20210070905A (ru) |
| RU (1) | RU2736780C1 (ru) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1871091A2 (en) * | 2006-06-19 | 2007-12-26 | Samsung Electro-Mechanics Co., Ltd. | Camera Module |
| WO2013036648A1 (en) * | 2011-09-09 | 2013-03-14 | Apple Inc. | Digital camera with light splitter |
| WO2014150856A1 (en) * | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
| RU191753U1 (ru) * | 2018-12-13 | 2019-08-21 | Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" | Оптический транзистор |
-
2019
- 2019-12-05 RU RU2019139781A patent/RU2736780C1/ru active
-
2020
- 2020-11-05 KR KR1020200147097A patent/KR20210070905A/ko not_active Application Discontinuation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1871091A2 (en) * | 2006-06-19 | 2007-12-26 | Samsung Electro-Mechanics Co., Ltd. | Camera Module |
| WO2013036648A1 (en) * | 2011-09-09 | 2013-03-14 | Apple Inc. | Digital camera with light splitter |
| WO2014150856A1 (en) * | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
| RU191753U1 (ru) * | 2018-12-13 | 2019-08-21 | Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" | Оптический транзистор |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210070905A (ko) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100848763B1 (ko) | 멀티 스펙트럼 화상 촬영 장치 및 어댑터 렌즈 | |
| US8259203B2 (en) | Method and apparatus for achieving panchromatic response from a color-mosaic imager | |
| US9494768B2 (en) | Image capturing module and image capturing apparatus | |
| JP2013546249A5 (ru) | ||
| WO2012057622A1 (en) | System and method for imaging using multi aperture camera | |
| US9100558B2 (en) | Color imaging element and imaging apparatus | |
| KR20140026356A (ko) | 다중-스펙트럼 이미징을 위한 장치 및 방법 | |
| KR101679293B1 (ko) | 광 검출 소자 및 촬상 장치 | |
| JP6692749B2 (ja) | マルチスペクトルカメラ | |
| JP2003179819A (ja) | 撮像装置 | |
| WO2013057859A1 (ja) | 撮像素子 | |
| JP5108013B2 (ja) | カラー撮像素子及びこれを用いた撮像装置及びフィルタ | |
| RU2736780C1 (ru) | Устройство для формирования цветного изображения (варианты) | |
| JPH03139084A (ja) | 固体カラー撮像装置 | |
| CN114666469B (zh) | 图像处理装置、方法及具有该图像处理装置的镜头模组 | |
| JP4027116B2 (ja) | 撮像素子及び撮像装置 | |
| JP6687276B1 (ja) | 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法 | |
| US11470287B2 (en) | Color imaging apparatus using monochrome sensors for mobile devices | |
| JPH07123418A (ja) | 撮像装置 | |
| TWI760993B (zh) | 圖像處理裝置、方法及具有該圖像處理裝置之鏡頭模組 | |
| JP3513194B2 (ja) | 撮像装置 | |
| JP2017050825A (ja) | 撮像装置 | |
| TW202437770A (zh) | 影像感測器 | |
| JP2023084577A (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP3515585B2 (ja) | ２板式撮像装置 |