RU2811012C1 - Поддисплейная камера для мобильных устройств - Google Patents

Abstract

Группа изобретений относится к области оптических систем. Оптическая система поддисплейной камеры для захвата изображений содержит частично прозрачный экран дисплея с периодической структурой пикселей; датчик изображения; по меньшей мере один оптический элемент, размещенный между экраном дисплея и датчиком изображения, выполненный с возможностью формирования изображения от внешней сцены на датчике изображения; контроллер, выполненный с возможностью формирования изображения на основе оптического излучения от внешней сцены, проходящего через экран дисплея на датчик изображения; и дополнительный дифракционный элемент, выполненный в виде массива элементов с периодической структурой таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры пикселей экрана дисплея для перенаправления нежелательной части оптического излучения. Технический результат – повышение качества формируемого изображения. 2 н. и 16 з.п. ф-лы, 11 ил.

Description

Область техники, к которой относится изобретение

Изобретение относится к области оптических систем, и более конкретно - к системам и устройствам формирования изображений, применяемым, в частности, в фото- и видеокамерах мобильных устройств.

Уровень техники

В настоящее время одной из основных функций многих портативных электронных устройств является отображение информации и захват изображений. В связи с этим, конструкция таких устройств предусматривает размещение на лицевой стороне устройства как дисплея, так и по меньшей мере одной камеры для захвата изображений (часто называемой «фронтальной камерой»), для выполнения различных функций, связанных с одновременным захватом изображения пользователя при «автопортретной» съемке или видеосвязи, отображением информации и приемом пользовательского ввода через сенсорный экран дисплея.

В настоящее время наиболее современные портативные электронные устройства, такие как мобильные телефоны (смартфоны), как правило, имеют «полноэкранный» дизайн, в котором сенсорный экран занимает всю или почти всю лицевую поверхность устройства (так называемый «полноэкранный» (англ. full screen) дисплей) без выделенного участка площади лицевой поверхности, который ранее занимала фронтальная камера для захвата изображений. Это привело к необходимости разработки такой конструкции мобильного устройства, при которой оптический модуль фронтальной камеры для захвата изображений расположен под поверхностью сенсорного экрана.

Экран дисплея содержит множество пикселей, размещенных в виде массива в поперечном направлении (X) и в продольном направлении (Y), и составляющих периодическую дифракционную структуру пикселей, которая вызывает эффект дифракции света, падающего на оптический модуль фронтальной камеры, что приводит к ухудшению качества изображения, формируемого оптическим модулем, расположенным за экраном дисплея. При этом на оптический модуль фронтальной камеры попадает меньше света, чем в случае размещения камеры отдельно от экрана дисплея.

Вследствие этого существующим на сегодняшний день поддисплейным камерам (UDC) присуща, в частности, проблема артефактов дифракции. В общем случае, в известных поддисплейных камерах периодическая структура массива пикселей из полупрозрачных органических светодиодов (OLED), являющаяся частью экрана дисплея, ослабляет и подвергает дифракции свет, падающий на оптический модуль фронтальной камеры. Это зачастую приводит к возникновению шума, бликов, замутнению и размытию изображений, формируемых поддисплейной камерой.

Известны алгоритмы удаления артефактов дифракции, но они эффективны лишь при незначительной выраженности артефактов дифракции.

Источник US 20200409163 (Shenzhen Orbbec Co., Ltd., опубликован 31.12.2020) описывает электронное устройство с оптической системой, содержащей прозрачный экран дисплея, имеющий периодическую структуру размещенных на нем пикселей дисплея, модуль испускания оптического излучения, содержащий источник оптического излучения, и дифракционный оптический элемент, выполненный с возможностью испускания пучка структурированного оптического излучения в направлении прозрачного экрана дисплея. Дифракционный оптический элемент выполнен с возможностью приема падающего пучка оптического излучения от источника оптического излучения и проецирования пучка оптического излучения первого порядка дифракции, причем дифрагированный пучок оптического излучения падает на прозрачный дисплей и вновь подвергается дифракции, в результате чего пучок структурированного оптического излучения проецируется наружу. Между прозрачным экраном дисплея и оптическим модулем размещен фильтрующий модуль, выполненный с возможностью уменьшения проникновения видимого оптического излучения от прозрачного экрана дисплея. К недостаткам данного известного решения можно отнести сложность проектирования структуры дифракционного элемента и его производство, увеличение толщины электронного устройства ввиду наличия вышеуказанных дополнительных элементов.

В источнике US 7714923 (Eastman Kodak Co., опубликован 11.05.2010) раскрыто встроенное устройство формирования изображений для отображения изображений с возможностью одновременного захвата изображений видимой сцены, включающее в себя электронный дисплей, имеющий массив пикселей дисплея, которые используются для отображения содержимого изображения, по меньшей мере одно устройство захвата изображений, выполненное с возможностью захвата изображений и имеющее по меньшей мере объектив и массив датчиков изображения, модулятор - демодулятор оптического излучения. Устройство захвата изображений принимает оптическое излучение через отверстие в дисплее, причем отверстие имеет по меньшей мере один частично прозрачный пиксель, который также испускает оптическое излучение для отображения содержимого изображения.

Модулятор оптического излучения позволяет включать/выключать пиксели дисплея попеременно с устройством захвата оптического излучения с высокой скоростью, незаметной для глаза человека, для создания впечатления одновременной работы устройства захвата изображения и экрана дисплея. Пиксели дисплея имеют полностью или частично прозрачную структуру, что уменьшает дифракционный эффект их периодической структуры. Для полного устранения дифракционных артефактов изображения предлагается использовать амплитудно-частотный фильтр в Фурье плоскости объектива устройства захвата изображения.

К недостаткам данного известного решения можно отнести:

- необходимость создания новой технологии производства дисплеев, при которой упомянутые частично прозрачные пиксели дисплея не уступали бы остальным пикселям в массиве пикселей дисплея с точки зрения качества отображаемого изображения;

- необходимость реализации реальной плоскости Фурье при разработке объектива устройства захвата изображения, что приводит к значительному увеличению общей длины всего объектива.

Источник US 20210136291 (Google LLC, опубликован 06.05.2021) раскрывает полноэкранный дисплей с поддисплейной камерой, который включает в себя камеру, основную панель отображения, включающую в себя массив пикселей и отверстие, смежное с массивом пикселей, дополнительный дисплей, а также оптический узел, включающий в себя отражательный оптический элемент и исполнительный механизм, соединенный с отражательным оптическим элементом. Исполнительный механизм выполнен с возможностью переключения отражательного оптического элемента между первой конфигурацией и второй конфигурацией. Первая конфигурация определяет оптический путь от отверстия к камере, а вторая конфигурация определяет оптический путь от отверстия к дополнительному дисплею. К недостаткам данного решения можно отнести наличие призмы, имеющей большие размеры, а также тот факт, что в верхней части экрана имеется небольшое отверстие, что не позволяет реализовать в полном смысле «полноэкранный» дизайн известного устройства и создает видимый параллакс между изображениями на экране основного и дополнительного дисплеев.

Раскрытие изобретения

Техническая проблема, решаемая предлагаемым изобретением, состоит в ухудшении качества изображения при захвате изображения сцены реального мира поддисплейной камерой ввиду дифракции падающего оптического излучения на частично прозрачном экране дисплея.

Задача изобретения состоит в создании оптической системы для поддисплейной камеры и соответствующего способа, которые позволяли бы компенсировать нежелательную дифракцию падающего оптического излучения на частично прозрачном экране дисплея.

Технический результат, достигаемый при использовании изобретения, состоит в повышении качества формируемого изображения путем компенсации нежелательных эффектов дифракции падающего оптического излучения на пикселях частично прозрачного экрана дисплея.

В первом аспекте настоящего изобретения вышеуказанная задача решается оптической системой поддисплейной камеры для захвата изображений, содержащей: частично прозрачный экран дисплея с периодической структурой пикселей; датчик изображения; по меньшей мере один оптический элемент, размещенный между экраном дисплея и датчиком изображения, выполненный с возможностью формирования изображения внешней сцены на датчике изображения; контроллер, выполненный с возможностью формирования изображения на основе оптического излучения от внешней сцены, проходящего через экран дисплея на датчик изображения; и дополнительный дифракционный элемент, выполненный в виде массива элементов с периодической структурой таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры пикселей экрана дисплея, для перенаправления нежелательной части оптического излучения. Дополнительный дифракционный элемент может быть встроен в экран дисплея либо образовывать слой между экраном дисплея и упомянутым по меньшей мере одним оптическим элементом, либо может быть расположен перед экраном дисплея. Каждый элемент массива элементов может иметь квадратную форму. Каждый элемент массива элементов может иметь коэффициент пропускания, больший или равный 0. Элементы массива элементов по меньшей мере по одной оси могут иметь одинаковые коэффициенты пропускания, либо различные коэффициенты пропускания. Размер каждого элемента массива элементов по меньшей мере по одной оси может составлять по меньшей мере 0,01 размера пикселя. Элементы массива в дополнительном дифракционном элементе смещены относительно массива пикселей экрана дисплея по меньшей мере по одной оси по меньшей мере на 0,01 периода пикселей экрана дисплея. Частота периодической структуры массива элементов дополнительного дифракционного элемента может составлять по меньшей мере 0,1 частоты периодической структуры пикселей экрана дисплея по меньшей мере по одной оси.

В другом аспекте вышеуказанная задача решается способом компенсации дифракции в оптической системе поддисплейной камеры для захвата изображения, содержащим этапы, на которых: пропускают оптическое излучение от изображаемой сцены через структуру пикселей частично прозрачного экрана дисплея; и перенаправляют нежелательную часть оптического излучения посредством дифракции на дополнительном дифракционном элементе, выполненном в виде массива элементов с периодической структурой таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры пикселей экрана дисплея.

Специалистам в данной области техники будет ясно, что изобретательский замысел не ограничен аспектами, охарактеризованными выше, и изобретение может принимать форму других объектов, таких как устройство формирования изображений (камера), способ работы устройства. Дополнительные признаки, которые могут характеризовать частные варианты выполнения настоящего изобретения, будут очевидны специалистам в данной области техники из подробного описания вариантов выполнения, приведенного ниже.

Краткое описание чертежей

Чертежи приведены в настоящем документе для облегчения понимания сущности настоящего изобретения. Чертежи являются схематичными и выполнены не в масштабе. Чертежи предназначены только для целей иллюстрации, и не предназначены для определения объема правовой охраны настоящего изобретения.

Фиг. 1 - принципиальная схема оптической системы согласно одному или более вариантам осуществления изобретения;

Фиг. 2 - принципиальная схема наложения структуры пикселей экрана дисплея и структуры элементов дополнительного дифракционного элемента в соответствии с одним или более вариантами осуществления настоящего изобретения;

Фиг. 3 - схема, иллюстрирующая наложение структуры пикселей экрана дисплея и элементов дополнительного дифракционного элемента согласно одному или более вариантам выполнения настоящего изобретения;

Фиг. 4 - схема, иллюстрирующая наложение структуры пикселей экрана дисплея на апертуру поддисплейной камеры согласно уровню техники, и график, иллюстрирующий основной и вторичные пики дифракции для данного варианта структуры;

Фиг. 5 - схема, иллюстрирующая наложение структуры пикселей экрана дисплея и элементов дополнительного дифракционного элемента на апертуру поддисплейной камеры согласно изобретению, и график, иллюстрирующий основной и вторичные пики дифракции для данного варианта структуры;

Фиг. 6 - схема, иллюстрирующая различные варианты выполнения изобретения с различными геометрическими формами элементов дополнительного дифракционного элемента;

Фиг. 7 - схема, иллюстрирующая размер элемента дополнительного дифракционного элемента согласно одному из вариантов выполнения изобретения;

Фиг. 8 - схема, иллюстрирующая различные варианты выполнения изобретения с различными величинами сдвига элементов дополнительного дифракционного элемента;

Фиг. 9 - схема, иллюстрирующая период размещения элементов дополнительного дифракционного элемента согласно одному из вариантов выполнения изобретения;

Фиг. 10 - схема, иллюстрирующая известную модель поддисплейной камеры из уровня техники (с частично прозрачным экраном дисплея на пути падающего оптического излучения), и модель реализации изобретения (с частично прозрачным экраном дисплея и дополнительным дифракционным элементом согласно одному или более вариантам выполнения изобретения), а также графики ФРТ для указанных экспериментальных и вычислительных моделей.

Фиг. 11 - схема, иллюстрирующая известную модель с «открытой» апертурой камеры (без частично прозрачного экрана дисплея на пути падающего оптического излучения), модель поддисплейной камеры из уровня техники (с частично прозрачным экраном дисплея на пути падающего оптического излучения), и модель реализации изобретения (с частично прозрачным экраном дисплея и дополнительным дифракционным элементом согласно одному или более вариантам выполнения изобретения), а также графики МПФ и ФРТ для указанных вычислительных моделей.

Осуществление изобретения

Предлагаемое изобретение относится к оптической системе физической камеры для захвата фото- или видеоизображения, скрытой под экраном дисплея портативного электронного устройства, называемой далее в настоящем документе поддисплейной (подэкранной) камерой (англ. under-display camera (UDC)). Как указано выше, особенностью поддисплейной камеры является то, что она расположена не в отдельной области на лицевой поверхности электронного устройства, а под поверхностью экрана дисплея. Структурные элементы экрана дисплея (тонкопленочные транзисторы на пикселях, токопроводящие шины, прозрачные промежутки между пикселями) оказывают отрицательное влияние на качество изображения, формируемого подэкранной камерой на основе падающего оптического излучения от снимаемой сцены, поскольку упомянутые элементы экрана дисплея блокируют часть падающего оптического излучения и по существу представляют собой по отношению к оптической системе камеры дифракционную решетку. Соответственно, для повышения качества изображения, формируемого поддисплейной камеры и, в частности, для компенсации отрицательных эффектов, таких как размытие, артефакты и т.п., необходима компенсация дифракции, вносимой элементами экрана дисплея, стоящими на пути падающего оптического излучения.

В основе предлагаемого изобретения лежит технический прием, состоящий в наложении обычной структуры дисплея с дополнительным дифракционным элементом для снижения интенсивности артефактов дифракции и, как следствие, повышения качества изображения, формируемого оптической системой поддисплейной камеры.

Оптическое излучение от внешней сцены, изображение которой необходимо сформировать, падает на частично прозрачный экран дисплея и частично проходит через упомянутый экран. Некоторая часть падающего оптического излучения поглощается периодической структурой пикселей экрана дисплея либо отражается от него, а оставшаяся часть падающего оптического излучения подвергается дифракции посредством упомянутой периодической структуры пикселей. Для оценки изображения на датчике изображения будет уместным использовать функцию рассеяния точки (ФРТ). При отсутствии каких-либо периодических структур (с полностью открытой апретурой) ФРТ объектива имеет ярко выраженный центральный пик и слабовыраженные дифракционные кольца в зависимости от уровня аберрационной коррекции. При введении периодической структуры пикселей дисплея совместно с центральным пиком ФРТ появляются вторичные более слабые пики в которые переходит часть энергии центрального. Таким образом, каждая точка сцены изображается на приемнике как сложная структура, состоящая из нескольких точек разной интенсивности, что приводит к появлению размытия, двоения и других артефактов. Распределение интенсивности излучения m-ых вторичных (паразитических) пиков может быть описано уравнением для прямоугольной амплитудной решетки:

где - интенсивность пучка падающего излучения; w - ширина апретуры; b - ширина светопропускающих интервалов; d - пространственный период (шаг) дифракционной решетки; m - дифракционный порядок; λ - длина волны падающего излучения; f - фокусное расстояние линзы; - координаты на фокальной плоскости.

Для уменьшения интенсивности упомянутых выше вторичных пиков, в соответствии с изобретением предложено дополнение частично прозрачного экрана дисплея дополнительным дифракционным элементом. При этом дифракционная картина за экраном дисплея определяется как дифракция на сложной структуре, образованной пересечением структуры массива пикселей упомянутого экрана дисплея и структуры элементов дополнительного дифракционного элемента. При введении дополнительного дифракционного элемента, структура элементов которого имеет такой же период, как и оригинальная, но смещена на половину периода по осям X и Y, возникает дополнительное направление периодичности элементов - диагональное. Это сказывается на ФРТ таким образом, что появляются дополнительные пики в диагональном направлении. При формировании этих пиков происходит перераспределение энергии между вторичными пиками, что делает их интенсивность слабее в ~2,8 раза.

Выраженность эффекта подавления вторичных пиков зависит от коэффициента пропускания, размера, частоты и смещения положения ее элементов. Наиболее выраженный эффект наблюдается при коэффициенте пропускания элементов дополнительного дифракционного элемента, равном 0, и размере элементов дополнительного дифракционного элемента, составляющем около 0,5 размера соответствующих элементов массива пикселей экрана дисплея. Наилучший эффект обеспечивается при сдвиге периода элементов дополнительного дифракционного элемента на половину периода элементов массива пикселей экрана дисплея относительно периода элементов структуры пикселей экрана дисплея по двум взаимно перпендикулярным осям (например, по осям X и Y), и при частоте элементов дополнительного дифракционного элемента, равной частоте элементов структуры экрана дисплея. При этом выраженность эффекта подавления вторичных пиков не зависит от поля зрения (FOV) оптической системы поддисплейной камеры.

После прохождения через частично прозрачный экран дисплея и дополнительный дифракционный элемент оптическое излучение входит в оптическую систему поддисплейной камеры, формирующую изображение на датчике излучения, формируя на нем сигнал, на основании которого контроллер формирует изображение сцены и при необходимости выполняет дальнейшую его обработку.

На Фиг. 1 представлена принципиальная схема оптической системы поддисплейной камеры для захвата изображений согласно одному или более вариантам выполнения настоящего изобретения. Оптическая система поддисплейной камеры содержит частично прозрачный экран 1 дисплея, дополнительный дифракционный элемент 2, по меньшей мере один оптический элемент 3, датчик 4 изображения и контроллер 5. Экран 1 дисплея имеет периодическую структуру пикселей, реализованных, например, посредством органических светодиодов (OLED). Датчик 4 изображения размещен под экраном дисплея, если смотреть со стороны лицевой поверхности экрана дисплея. По меньшей мере один оптический элемент 3, такой как по меньшей мере один оптический элемент, имеющий оптическую силу, находится между экраном 1 дисплея и датчиком 4 изображения и выполнен с возможностью формирования изображения внешней сцены на датчике 4 изображения. Контроллер 5 выполнен с возможностью формирования изображения на основе оптического излучения от внешней сцены, проходящего через экран 1 дисплея на датчик 4 изображения.

Дополнительный дифракционный элемент 2 выполнен в виде массива элементов, имеющего периодическую структуру, таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана 1 дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры экрана 1 дисплея для перенаправления нежелательной части оптического излучения.

Принцип действия оптической системы поддисплейной камеры согласно изобретению состоит в следующем. Оптическое излучение от изображаемой сцены падает на экран 1 дисплея и частично пропускается через него. Некоторая часть падающего оптического излучения при этом поглощается периодической структурой пикселей частично прозрачного экрана 1 дисплея либо отражается от него, в то время как другая часть оптического излучения, пропускаемого экраном 1 дисплея, подвергается дифракции посредством упомянутой периодической структуры пикселей. Формируется центральный и вторичные пики дифракции. Центральный пик формирует изображение сцены, в то время как вторичные пики являются паразитными и приводят к ухудшению качества формируемого изображения.

Обращаясь к Фиг. 2, рассмотрим показанный на данной схеме участок апертуры оптической системы поддисплейной камеры по одному из вариантов выполнения настоящего изобретения. Позицией 6 показаны участки, на которых падающее оптическое излучение проходит через частично прозрачный экран дисплея по существу полностью. Позицией 7 показаны пиксели частично прозрачного экрана дисплея, через которые падающее оптическое излучение не проходит. Излучение, прошедшее через структуру экрана дисплея, подвергается ослаблению и дифракции. Позицией 8 показаны элементы дополнительного дифракционного элемента, образующего при наложении с пикселями дисплея общую структуру, в которой оптическое излучение подвергается дифракции для компенсации (ослабления) вторичных пиков дифракции.

Предлагаемый согласно изобретению новый дополнительный дифракционный элемент направлен, прежде всего, на компенсацию упомянутых выше вторичных (паразитных) пиков. Путем наложения двух структур - периодической структуры пикселей экрана дисплея и дополнительного дифракционного элемента 2, выполненного в виде массива элементов, имеющего периодическую структуру, образуется общая структура, в которой уменьшены и/или компенсированы эффекты дифракции, вносимой периодической структурой пикселей экрана дисплея, благодаря чему обеспечивается приемлемое качество итогового изображения на датчике изображения поддисплейной камеры, несмотря на присутствие частично прозрачного экрана дисплея. Наложение упомянутых двух периодических структур (структуры пикселей экрана дисплея и структуры элементов дополнительного дифракционного элемента) обеспечивает следующие эффекты:

- воздействие на артефакты дифракции, вызванные периодической структурой экрана дисплея;

- усовершенствование системы дисплея и камеры.

В различных вариантах выполнения изобретения дополнительный дифракционный элемент может быть выполнен в виде отдельного слоя, расположенного с обратной стороны экрана дисплея, или встроен (интегрирован) в структуру самого экрана дисплея.

Источником нежелательных (паразитных) вторичных пиков в функции рассеяния точки (ФРТ), характеризующей энергию падающего оптического излучения, на основе которого формируется изображение на датчике изображения, является периодическая структура пикселей экрана дисплея, находящаяся на пути падающего оптического излучения к оптической системе поддисплейной камеры и играющая роль дифракционной решетки на пути падающего оптического излучения. Излучение, прошедшее через экран дисплея, дифрагирует и после прохождения через оптическую систему формирует на датчике изображение, характеризующееся функцией рассеяния точки (ФРТ), включающей в себя центральный пик дифракции и боковые (вторичные) пики дифракции с меньшей интенсивностью. Центральный пик участвует в формировании основного изображения сцены, в то время как вторичные пики являются паразитными и приводят к ухудшению качества формируемого изображения. Предлагаемый дополнительный дифракционный элемент реализован таким образом, чтобы снижать интенсивность вторичных пиков в исходной дифракционной картине, формируемой массивом пикселей экрана дисплея, за счет введения дополнительных диагональных дифракционных пиков и перераспределения энергии из боковых (вторичных) пиков дифракции в диагональные дифракционные пики, таким образом максимальная интенсивность нежелательных дифракционных пиков уменьшается. Наиболее выраженный эффект компенсации (подавления) вторичных пиков обеспечивается при размере элементов диффракционного элемента составляет 1/2 размера элемента дисплея (±0,1). При этом интенсивность вторичных (паразитных) пиков после дифракции оптического излучения на двух наложенных друг на друга периодических структурах (структуре элементов экрана дисплея и структуре элементов дополнительного дифракционного элемента) снижается приблизительно в 2,8 раза.

Функция рассеяния точки (ФРТ) описывает реакцию оптической системы при формирования изображения точечного источника оптического излучения или точечного объекта. При этом идеальная оптическая система проецирует точечный объект/источник оптического излучения на плоскость, на которой формируется изображение (на плоскость датчика изображения) не в виде точки, а в виде пятна, которому присуще определенное распределение интенсивности, которое может быть описана как обратное пребразование Фурье зрачковой функции:

,

где Psf - функция рассеяния точки (ФРТ), x, y - координаты в плоскости датчика изображения, F - преобразование Фурье; f - зрачковая функция оптической системы; ρ_x, ρ_y - координаты в плоскости зрачка оптической системы.

Размер и форма ФРТ определяет разрешение оптической системы. Между некоторыми двумя точками объекта/источника существует предельный (минимальный) видимый угол, при котором они являются разрешимыми (различимыми друг от друга), который зависит от диафрагменного числа и степени аберрационной коррекции оптической системы.

Влияние ФРТ на формирование оптической системы можно описать функцией свертки двух функций: ФРТ и функции распределения интенсивности объекта:

или

,

где W - функция объекта; xₒ, yₒ - координаты в плоскости объекта; Psf - функция рассеяния точки (ФРТ); x, y - координаты в плоскости датчика изображения.

Предложенный дополнительный дифракционный элемент согласно изобретению может быть сформирован в области, соответствующей апертуре поддисплейной камеры, в виде части структуры элементов экрана дисплея (иначе говоря, он может быть встроен в структуру экрана дисплея), или он может быть прикреплен/нанесен при помощи печати на поверхность экрана дисплея (иначе говоря, она может образовывать слой на поверхности экрана дисплея) со стороны, обращенной к оптическим элементам поддисплейной камеры.

Эффективность дополнительного дифракционного элемента согласно изобретению зависит не только от размера элементов дополнительного дифракционного элемента, но также и от их положения относительно элементов структуры пикселей частично прозрачного экрана дисплея.

Следует отметить важное условие - частота элементов дополнительного дифракционного элемента (fs) должна быть равна частоте элементов структуры пикселей экрана дисплея (fd).

В предпочтительном варианте выполнения элементы дополнительного дифракционного элемента размещены со сдвигом относительно элементов структуры пикселей экрана дисплея, составляющим половину периода (PD) элементов структуры пикселей экрана дисплея. Период элементов структуры пикселей экрана дисплея (PD) равен расстоянию между центрами соседних элементов упомянутой структуры.

По меньшей мере в одном варианте выполнения частота элементов дополнительного дифракционного элемента (fs) и частота элементов структуры пикселей экрана дисплея (fd) относятся как:

fs=(0,9÷1,1)*fd

Дополнительный дифракционный элемент может быть реализован в виде составной части структуры пикселей экрана дисплея, либо, как указано выше, может быть наложен отдельным слоем со стороны экрана дисплея, обращенной к оптическим элементам поддисплейной камеры, либо может быть выполнен в виде дополнительной части экрана дисплея в любом месте между покровным стеклом и первым оптическим элементом из по меньшей мере одного оптического элемента поддисплейной камеры.

В случае если дополнительный дифракционный элемент реализован в виде дополнительной части по отношению к экрану дисплея, дополнительный дифракционный элемент может быть нанесен на обычное стекло, например, N-BK7, полимерную пленку, например, из поликарбоната (PC Film) или любой другой прозрачный материал.

Оптимальная форма и размер элементов дополнительного дифракционного элемента зависит от размера пикселей дисплея, шага пикселей дисплея и т.п. Элементы дополнительного дифракционного элемента могут иметь различную форму, в качестве неограничивающего примера - квадратную, круглую, или форму любого другого многоугольника (такого как прямоугольник, шестиугольник и т.п.). Элементы дополнительного дифракционного элемента могут быть выполнены таким образом, что их коэффициент пропускания больше или равен 0 (τ ≥ 0).

Коэффициент пропускания элементов дополнительного дифракционного элемента может быть постоянным по всей площади «апертуры» оптической системы поддисплейной камеры (т.е. участка поверхности частично прозрачного экрана дисплея, на котором оптическая система поддисплейной камеры выполнена с возможностью приема падающего оптического излучения от изображаемой сцены), однако в других вариантах выполнения упомянутый коэффициент пропускания может быть различным на разных участках упомянутой апертуры. В различных неограничивающих вариантах выполнения изобретения размер (TS) элементов дополнительного дифракционного элемента может составлять по меньшей мере 0,01 размера (TD) элемента структуры пикселей экрана дисплея вдоль по меньшей мере одной из двух взаимно перпендикулярных осей (например, оси X или Y). Однако наилучший эффект достигается при размере элементов дополнительного дифракционного элемента, составляющем приблизительно 0,5 размера элемента структуры пикселей экрана дисплея (TS=0.5*TD). Это позволяет оптимизировать качество изображения, формируемого поддисплейной камерой, и оптимизировать оптическую систему поддисплейной камеры для любого экрана дисплея.

Элементы дополнительного дифракционного элемента могут быть смещены (т.е. могут иметь сдвиг) относительно элементов структуры пикселей экрана дисплея по меньшей мере на 0,01 периода (PD) элементов периодической структуры пикселей экрана дисплея по меньшей мере вдоль одной из взаимно перпендикулярных осей (например, осей X или Y). При этом наилучший эффект достигается при сдвиге элементов дополнительного дифракционного элемента относительно элементов структуры пикселей экрана дисплея приблизительно на 0,5 периода элементов периодической структуры пикселей экрана дисплея вдоль осей X и Y (Shift_X=0,5*PD; Shift_Y=0,5*PD).

По меньшей мере в одном неограничивающем варианте выполнения изобретения частота (fs) элементов дополнительного дифракционного элемента равна по меньшей мере 0,1 частоты (fd) элементов периодической структуры пикселей экрана дисплея вдоль по меньшей мере одной из взаимно перпендикулярных осей (например, осей X или Y). Наилучший эффект по компенсации (подавлению) паразитных вторичных пиков достигается при частоте элементов дополнительного дифракционного элемента, равной частоте элементов структуры пикселей экрана дисплея (fs=fd).

Еще один аспект изобретения относится к способу компенсации дифракции в оптической системе поддисплейной камеры для захвата изображения. По существу, этот способ осуществляется оптической системой поддисплейной камеры, подробно описанной выше, и также может быть охарактеризован как способ работы оптической системы поддисплейной камеры. Все вышеописанные признаки, охарактеризованные с точки зрения конструкции оптической системы и ее элементов, можно также рассматривать как характеристику соответствующих этапов, операций и технических приемов способа. В общем случае, способ содержит этапы, на которых пропускают падающее оптическое излучение от изображаемой сцены через структуру пикселей частично прозрачного экрана дисплея; и перенаправляют нежелательную часть оптического излучения посредством дифракции на дополнительном дифракционном элементе, выполненном в виде массива элементов с периодической структурой таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры пикселей экрана дисплея.

Возможность реализации назначения заявляемого изобретения и достижения вышеуказанного технического результата подтверждена испытаниями оптической системы поддисплейной камеры с различными параметрами дополнительного дифракционного элемента, описанными выше. Для экспериментальной проверки эффективности компенсации вторичных пиков ФРТ были смоделированы различные варианты дополнительного дифракционного элемента, описанные выше. В частности, источник падающего оптического излучения был реализован в виде светодиода с длиной волны 530±17 нм и оптоволоконным выводом (наличие волоконного выхода является не принципиальным, вывод излучения с помощью волокна имитирует точечный источник). Следующим элементом экспериментального стенда была коллимирующая линза с эффективным фокусным расстоянием (EFL) 19 мм, передняя фокальная плоскость которой совмещена с выходом волокна от светодиодного источника излучения, что позволяет сформировать после линзы параллельный пучок света и имитирует удаленный на значительное расстояние от камеры точечный источник, как наиболее общий случай фотосъемки. Далее в экспериментальной установке применялся дихроичный фильтр с длиной волны 532±2 нм, сужающий спектр светодиодного источника излучения с 34 нм (диапазон 513…547 нм) до 4 нм (диапазон 530…534 нм), что позволяет максимально приблизить условия эксперимента к исходным данным, используемым в расчете, и повысить точность измерений, устранив шумы от соседних длин волн. Также применялся дифракционный элемент с различными вариантами нанесенной периодической структуры и оптические элементы поддисплейной камеры в виде «дуплета» линз с эффективным фокусным расстоянием (EFL) 25 мм. В качестве датчика изображения был взят датчик ThorLabs TB106-VIS.

Были смоделированы два варианта экспериментальной и вычислительной модели:

1) с апертурой оптической системы камеры с периодической структурой, схожей со структурой экрана дисплея, но без дополнительного дифракционного элемента, имеющим следующие характеристики:

- размер элементов структуры дисплея, равный половине периода элементов структуры дисплея.

2) с апертурой оптической системы камеры с периодической структурой, схожей со структурой экрана дисплея, совмещенной с дополнительным дифракционным элементом, имеющим следующие характеристики:

- размер элементов структуры дисплея, равный половине периода элементов структуры дисплея;

- размер элементов дополнительного дифракционного элемента, равный размеру элементов структуры дисплея;

- период элементов дополнительного дифракционного элемента, равный периоду элементов структуры дисплея;

- сдвиг элементов дополнительного дифракционного элемента, равный половине периода элементов структуры дисплея.

Результаты испытаний оптической системы согласно изобретению показаны на видах А, В на Фиг. 10 - вид А иллюстрирует первый вариант (со структурой экрана дисплея, но без дополнительного дифракционного элемента), и вид В - второй вариант (со структурой экрана дисплея и с дополнительным дифракционным элементом согласно изобретению). Также на Фиг. 10 показаны графики функции рассеяния точки (ФРТ) (обозначена на Фиг. 10 как PSF, что соответствует принятой в русскоязычной литературе аббревиатуре ФРТ) для экспериментального и вычислительного моделирования, причем на виде А боковые дифракционные пики имеют большую интенсивность, чем диагональные пики, на виде B заметно перераспределение энергии из боковых вторичных дифракционных пиков в диагональные пики. Оба вида показали совпадение экспериментальных и вычислительных результатов. Результаты экспериментальной и вычислительной моделей подтверждают, что наличие дополнительного дифракционного элемента способствуют перераспределению энергии вторичных пиков и уменьшению интенсивности боковых дифракционных пиков.

Были смоделированы три варианта вычислительной модели:

1) «открытая» апертура оптической системы камеры (без экрана дисплея на пути падающего оптического излучения);

2) вариант с экраном дисплея на пути падающего оптического излучения, но без дополнительного дифракционного элемента;

3) вариант с реализацией дополнительного дифракционного элемента в соответствии с вариантами выполнения настоящего изобретения, описанными выше.

Результаты испытаний оптической системы согласно изобретению показаны на видах А, В, С на Фиг. 11 - вид А иллюстрирует первый вариант («открытая» апертура), вид В - второй вариант (с экраном дисплея, но без дополнительного дифракционного элемента), и вид С - третий вариант (с дополнительным дифракционным элементом согласно изобретению). Также на Фиг. 11 показаны графики функции передачи модуляции (МПФ) и функции рассеяния точки (ФРТ), причем на виде В видны флуктуации (колебания) МПФ, вносимые наличием структуры пикселей частично прозрачного экрана 1 дисплея на пути падающего оптического излучения, и выраженные боковые (вторичные, паразитные) пики на графике ФРТ. На виде С, демонстрирующем оптическую систему с дополнительным дифракционным элементом, заметны уменьшенные (скомпенсированные) флуктуации МПФ и значительно уменьшенные вторичные пики.

Моделирование показало, что эффективность дополнительного дифракционного элемента зависит от размера элементов периодической структуры (дополнительного дифракционного элемента) и их сдвига относительно элементов структуры пикселей экрана дисплея. Наилучший эффект был показан при использовании элементов дополнительного дифракционного элемента, размер которых составляет 1/2 размера элемента структуры пикселей дисплея, ±0,05, и размещении элементов дополнительного дифракционного элемента со сдвигом относительно элементов структуры пикселей экрана дисплея на 0,5 периода структуры пикселей экрана дисплея по взаимно перпендикулярным осям X и Y.

Было показано, что выраженность эффекта подавления вторичных пиков в модели с использованием дополнительного дифракционного элемента зависит от размера элементов дополнительного дифракционного элемента, при этом было показано, что по мере увеличения размера элементов дополнительного дифракционного элемента от 1/6,4 до 1/2 периода структуры пикселей экрана дисплея энергия «боковых» вторичных пиков переходит от «боковых» вторичных пиков к так называемым «диагональным» пикам. При этом оптимальный размер элементов дополнительного дифракционного элемента позволяет оптимально ослабить «боковые» вторичные пики путем усиления «диагональных» пиков так, чтобы их интенсивность при этом также оставалось относительно низкой (по сравнению с «главным» пиком ФРТ, соответствующим точке изображения).

Возможность практического осуществления изобретения подтверждена вышеприведенным примером осуществления. При этом было установлено, что при реализации изобретения достигаются по меньшей мере следующие технические эффекты. За счет подавления вторичных (паразитных) пиков дифракции при помощи дополнительного дифракционного элемента, наложенного на экран дисплея, повышается качество изображения. Кроме того, обеспечивается небольшая общая толщина устройства за счет того, что дополнительный дифракционный элемент выполнен в виде одного целого со структурой экрана дисплея, напечатан непосредственно на экране дисплея или нанесен на тонкий элемент (такой как стеклянная пластина, полимерная пленка и т.п.). При этом также обеспечивается «полноэкранный» дизайн дисплея устройства, в котором используется поддисплейная камера, без отдельного участка лицевой поверхности устройства, отведенного под апертуру камеры, а сама камера скрыта под поверхностью экрана дисплея.

Специалистам в данной области техники следует понимать, что выше описаны и показаны на чертежах лишь некоторые из возможных примеров технологий и материально-технических средств, которыми могут быть реализованы варианты выполнения настоящего изобретения. Подробное описание вариантов выполнения изобретения, приведенное выше, не предназначено для ограничения или определения объема правовой охраны настоящего изобретения.

Специалистами в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам могут быть предусмотрены другие варианты выполнения, охватываемые объемом настоящего изобретения, и все такие очевидные изменения, модификации и/или эквивалентные замены считаются включенными в объем настоящего изобретения. Все источники из уровня техники, приведенные и рассмотренные в настоящем документе, настоящим включены в данное описание путем ссылки, насколько это применимо.

При том, что настоящее изобретение было описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники следует понимать, что в его форму и конкретные детали могут быть внесены различные изменения, не выходящие за рамки объема настоящего изобретения, который определяется только нижеприведенной формулой изобретения и ее эквивалентами.

Claims (25)

1. Оптическая система поддисплейной камеры для захвата изображений, содержащая:

частично прозрачный экран дисплея с периодической структурой пикселей;

датчик изображения;

по меньшей мере один оптический элемент, размещенный между экраном дисплея и датчиком изображения, выполненный с возможностью формирования изображения от внешней сцены на датчике изображения;

контроллер, выполненный с возможностью формирования изображения на основе оптического излучения от внешней сцены, проходящего через экран дисплея на датчик изображения; и

дополнительный дифракционный элемент, выполненный в виде массива элементов с периодической структурой таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры пикселей экрана дисплея для перенаправления нежелательной части оптического излучения, образованной дифракцией оптического излучения на структуре пикселей частично прозрачного экрана дисплея.

2. Оптическая система по п. 1, в которой дополнительный дифракционный элемент встроен в экран дисплея.

3. Оптическая система по п. 1, в которой дополнительный дифракционный элемент расположен перед экраном дисплея.

4. Оптическая система по п. 1, в которой дополнительный дифракционный элемент образует слой между экраном дисплея и упомянутым по меньшей мере одним оптическим элементом.

5. Оптическая система по п. 1, в которой каждый элемент массива элементов имеет квадратную форму.

6. Оптическая система по п. 1, в которой каждый элемент массива элементов имеет коэффициент пропускания, больший или равный 0.

7. Оптическая система по п. 1, в которой размер каждого элемента массива элементов по меньшей мере по одной оси составляет по меньшей мере 0,01 размера пикселя.

8. Оптическая система по п. 1, в которой элементы массива в дополнительном дифракционном элементе смещены относительно массива пикселей экрана дисплея по меньшей мере по одной оси по меньшей мере на 0,01 периода пикселей экрана дисплея.

9. Оптическая система по п. 1, в которой частота периодической структуры массива элементов дополнительного дифракционного элемента составляет по меньшей мере 0,1 частоты периодической структуры пикселей экрана дисплея по меньшей мере по одной оси.

10. Способ компенсации дифракции в оптической системе поддисплейной камеры для захвата изображения, содержащий этапы, на которых:

пропускают оптическое излучение от изображаемой сцены через структуру пикселей частично прозрачного экрана дисплея; и

перенаправляют нежелательную часть оптического излучения, образованную дифракцией оптического излучения на структуре пикселей частично прозрачного экрана дисплея, посредством дифракции на дополнительном дифракционном элементе, выполненном в виде массива элементов с периодической структурой, таким образом, что упомянутый массив элементов перекрывает периодическую структуру пикселей экрана дисплея со сдвигом элементов упомянутого массива элементов по отношению к пикселям периодической структуры пикселей экрана дисплея.

11. Способ по п. 10, в котором дополнительный дифракционный элемент встроен в экран дисплея.

12. Способ по п. 10, в котором дополнительный дифракционный элемент расположен перед экраном дисплея.

13. Способ по п. 10, в котором дополнительный дифракционный элемент образует слой между экраном дисплея и упомянутым по меньшей мере одним оптическим элементом.

14. Способ по п. 10, в котором каждый элемент массива элементов имеет квадратную форму.

15. Способ по п. 10, в котором каждый элемент массива элементов имеет коэффициент пропускания, больший или равный 0.

16. Способ по п. 10, в котором размер каждого элемента массива элементов по меньшей мере по одной оси составляет по меньшей мере 0,01 размера пикселя.

17. Способ по п. 10, в котором массив элементов в дополнительном дифракционном элементе смещен относительно массива пикселей экрана дисплея по меньшей мере по одной оси по меньшей мере на 0,01 периода пикселей экрана дисплея.

18. Способ по п. 10, в котором частота периодической структуры массива элементов дополнительного дифракционного элемента составляет по меньшей мере 0,1 частоты периодической структуры пикселей экрана дисплея по меньшей мере по одной оси.