RU2589750C2

RU2589750C2 - Мобильное устройство с оптическими элементами

Info

Publication number: RU2589750C2
Application number: RU2014140001/28A
Authority: RU
Inventors: Дмитрий Валерьевич Шмунк; Евгений Александрович Панич
Original assignee: Алмаленс, Инк.
Priority date: 2014-10-02
Filing date: 2014-10-02
Publication date: 2016-07-10
Also published as: CN107003588A; US10321025B2; JP2017535807A; WO2016053140A1; RU2014140001A; US20170244871A1; KR20170091583A; DE112015004547T5

Abstract

Изобретение относится к области получения фото- и видеоизображений. Мобильное устройство снабжено модулем камеры, установленным на корпусе устройства с возможностью изменения его положения относительно корпуса. Одно из положений - экспонировочное, при котором оптические элементы сориентированы с возможностью проецирования света на светочувствительные элементы для получения изображения на сенсоре/сенсорах, второе - максимально приближенное к корпусу мобильного устройства вплотную путем складывания. Технический результат - обеспечение высококачественных изображений, особенно в условиях слабой освещенности, при сохранении малых габаритов устройства. 6 ил.

Description

Изобретение относится к области получения фото- и видеоизображений. Современные мобильные устройства обладают широкими функциональными возможностями. Одна из самых востребованных функций - съемка фото- и видеоматериалов. Для получения фото- и видеоизображений в мобильных устройствах используются так называемые модули камеры, а именно, сблокированные в единый корпус: светочувствительный сенсор, линзы оптической системы, а также, в некоторых случаях, компоненты системы фокусировки.

За последние годы технические характеристики модулей камеры в современных мобильных устройствах существенно улучшились. Практически достигнуты теоретические пределы по качеству оптики (разрешение оптики ограничено дифракционным пределом) и по эффективности сенсора (конверсия фотонов в электрический заряд достигает уровней, близких к 100%). Еще один предел - минимальный размер индивидуального светочувствительного элемента сенсора (пикселя). В современных сенсорах размер пикселя снижен вплоть до 1 микрометра, что сопоставимо с длиной волны регистрируемого света. Дальнейшее уменьшение размера пикселя не приводит к повышению разрешения изображения из-за близости дифракционного предела. Также достигнуты и пределы по эффективности использования пространства. Длина и ширина модуля камеры ограничены размерами светочувствительного сенсора, а высота - системой линз (объективом). Для получения качественного, четкого изображения требуются сложные объективы, состоящие из большого количества отдельных элементов. Дальнейшее улучшение качества получаемого изображения невозможно без увеличения потока света на светочувствительный элемент (сенсор). Максимальный объем света, достигающий сенсора, ограничивается диаметром входного отверстия оптической системы. Увеличение входного отверстия требует общего увеличения геометрических размеров модуля камеры. С другой стороны, геометрические размеры модуля ограничены требованием мобильности. Наибольшее ограничение возникает по высоте (высота модуля камеры не должна существенно превышать общую толщину базового устройства). Однако высота модуля камеры диктуется общей толщиной линз объектива и необходимыми зазорами между линзами.

Основные проблемы, возникающие как результат ограничения объема света в модуле камеры мобильного устройства:

- высокий уровень шума в полученном изображении снижает общее визуальное качество изображения;

- необходимость использования длительной выдержки в условиях слабого освещения приводит к возникновению смазанности в изображении. Смазанность возникает как в результате движения снимаемых объектов, так и в результате движения самой камеры, т.к., как правило, съемка происходит ′с рук′. Кроме того, малые размеры модуля камеры диктуют также малый размер пикселя на сенсоре. Как результат - пиксель имеет предел накопления заряда без его утечки, в результате камера не может захватить без искажений высокий динамический диапазон, который присутствует во многих сценах.

Известны следующие технические решения для улучшения качества изображений, получаемых при помощи модуля камеры в мобильном устройстве:

1. Массив камер (array camera). Используя несколько модулей камер, сгруппированных на одном устройстве, возможно увеличить количество света, просуммировав заряды со всех сенсоров [US 20110080487 "Capturing and processing of images using monolithic camera array with heterogeneous imagers", Kartik Venkataraman, Amandeep S. Jabbi, Robert H. Mullis, Jacques Duparre, Shane Ching-Feng Hu.]

Недостатком данного подхода является возрастание общей стоимости модулей камеры прямо пропорционально количеству этих модулей. Также растет объем пространства, занимаемый модулями камер.

2. Эффективные алгоритмы шумофильтрации. Существенный прогресс был достигнут в последнее время в способах разделения зашумленного изображения на полезное изображение и шумовую компоненту [US 7835586 «Method for filtering images with bilateral filters», Fatih M. Porikli].

Однако такой подход жестко ограничен пределом соотношения сигнал/шум. Невозможно выделить из шума слабоконтрастные детали. Они теряются в процессе шумофильтрации.

3. Многокадровая экспозиция. Съемка нескольких кадров в очень быстрой последовательности и последующее их объединение позволяют снизить уровень шума в изображении, увеличить динамический диапазон и, возможно, увеличить разрешение [US 8699814 "Method for improving images, Dmitry Valerievich Shmunk, Eugene Alexandravich Panich; US 20130156345 "Method for producing super-resolution images and nonlinear digital filter for implementing same", Dmitry Valerievich Shmunk].

Однако объединение нескольких кадров увеличивает общее время экспозиции, что приводит к проблемам, которых невозможно полностью избежать, например, размазыванию с движущимися объектами в кадре.

Давно известен способ уменьшения общего размера камеры путем использования складных конструкций [US 1435646 "Folding camera", Robert Kroedel].

Недостатком такой конструкции является то, что, в первую очередь, возможность применения складных конструкций определялась простотой и как результат - слабосильностью оптики (апертуры порядка f/8-f/11). Попытка применения складной конструкции к системе линз современного светосильного (f/4-f/2) и высокоразрешающего объектива приводит к исключительно сложной конструкции, недостатки которой проявляются в ее хрупкости, а также в необходимости выделения дополнительного пространства для этой системы. Современные объективы, состоящие из множества линз, исключительно требовательны к точности взаиморасположения линз и светочувствительного элемента (соосность, расстояния и т.п.). Добавление сложной складной конструкции неизбежно приводит к существенному снижению точности их расположения. Кроме того, использование складной конструкции в мобильном устройстве также невозможно ввиду того, что оптическая система, в большинстве случаев окружена системой фокусировки, которая, как правило, является монолитной конструкцией и не допускает ее складывания.

Известен модуль камеры [Eric J. Tremblay, Ronald A. Stack, Rick L. Morrison, and Joseph E. Ford "Ultrathin cameras using annular folded optics", APPLIED OPTICS / Vol. 46, No. 4/1 February 2007], в котором набор линз в традиционной оптической системе заменен парой специально отпрофилированных зеркал. Зеркала расположены друг напротив друга. За счет многократного отражения между зеркалами в такой системе длина оптического пути существенно выше, чем расстояние между зеркалами. Такой подход позволяет существенно уменьшить толщину модуля камеры при увеличении объема света, достигающего светочувствительного элемента. Дополнительным преимуществом данного решения является полное отсутствие хроматических аберраций, обусловленное применением исключительно отражательных элементов.

Недостатком технического решения является низкая глубина резкости изображаемого пространства. Вызвано это тем, что свет поступает в данную оптическую систему через узкий ободок по периметру зеркал. Также недостатком является низкий угол обзора, захватываемый данным решением. Невозможно создать наиболее востребованный, широкоугольный, модуль камеры.

Наиболее близким к предлагаемому (прототипом) является техническое решение [Felix Heide, Mushfiqur Rouf, Matthias В. Hullin, Bjorn Labitzke, Wolfgang Heidrich, Andreas Kolb: "High-Quality Computational Imaging Through Simple Lenses" ACM Transactions on Graphics, 32:10 pages, 2013 ISSN:0730-0301 EISSN: 1557-7368 doi>10.1145/2516971.2516974], в котором используется упрощенная оптическая система, состоящая из одной линзы, что позволяет существенно снизить вес модуля камеры. Аберрации, неизбежно возникающие, как следствие использования единственного оптического элемента, компенсируются последующей обработкой полученного изображения цифровыми методами.

Недостатком решения является невозможность его использования в мобильных системах, т.к. замена нескольких оптических элементов одним не уменьшает размер объектива. Соответственно, и общий размер модуля камеры остается без изменений. Повышение компактности данной оптической системы путем добавления известных складных конструкций, используемых в фотографии, возможно, однако не приводит к желаемому результату, т.к. для достижения необходимой светосилы объектива в данном решении линза должна быть достаточно толстой.

Целью заявляемого технического решения является создание мобильного устройства, использующего модуль камеры, позволяющей получать высококачественные изображения, особенно в условиях слабой освещенности, при сохранении малых габаритов устройства.

Сущность заявляемого решения заключается в том, что в мобильном устройстве, с модулем камеры, включающим оптические элементы, один или несколько светочувствительных элементов - сенсоров, состоящих из светочувствительных пикселей; содержащем конструктивные элементы для обработки цифрового представления изображения, полученного со светочувствительных элементов, оптические элементы выполнены в виде набора тонких линз и/или зеркал, а модуль камеры установлен с возможностью изменения положения относительно корпуса мобильного устройства, одно из которых экспонировочное, при котором оптические элементы сориентированы с возможностью проецирования света на светочувствительные элементы для получения изображения на сенсоре/сенсорах, а второе - максимально приближенное к корпусу мобильного устройства вплотную путем складывания, при котором общая толщина модуля камеры конструктивно ограничена толщиной наиболее толстого оптического либо светочувствительного из элементов. В предлагаемом решении сложную оптическую систему заменяют упрощенным набором тонких оптических элементов с последующей коррекцией искажений (аберраций) изображения (неизбежно возникающих в результате упрощения оптической системы) в блоке цифровой обработки изображения. При использовании небольшого количества тонких линз появляется возможность сделать систему складной. Требования к точности взаиморасположения линз и сенсора существенно снижаются при использовании средств цифровой обработки изображения, которые в состоянии компенсировать неточности. Для коррекции такого рода искажений возможно использование алгоритмов цифровой обработки изображения описанных например, в [Felix Heide, Mushfiqur Rouf, Matthias В. Hullin, Bjorn Labitzke, Wolfgang Heidrich, Andreas Kolb: "High-Quality Computational Imaging Through Simple Lenses" ACM Transactions on Graphics, 32:10 pages, 2013 ISSN:0730-0301 EISSN: 1557-7368 doi>10.1145/2516971.2516974]. В сложенном состоянии модуль камеры имеет небольшую толщину, что позволяет использовать линзы, а также светочувствительные элементы большего диаметра, при этом количество света существенно возрастает (пропорционально квадрату диаметра линз).

На фиг. 1 изображено мобильное устройство, где:

101 - сенсоры; 102 - оптические элементы; 103 - вспомогательные линии, показывающие оптические оси; 104 - плоскость, в которой расположены сенсоры. Изображение проецируется на семь сенсоров семью оптическими системами, каждая из которых состоит, в свою очередь, из двух групп линз. Характеристики линз в каждой системе отличаются друг от друга таким образом, чтобы покрыть весь диапазон расстояний.

На фиг. 2 показано прохождение лучей через одну из семи оптических систем, где:

201 - сенсор; 202 - оптические элементы; 203 - вспомогательные линии, показывающие прохождение пучков света.

На фиг. 3 изображен конкретный пример расположения модуля камеры на мобильном устройстве в экспонировочном положении, где:

301 - модуль камеры в экспонировочном положении; 302 - корпус мобильного устройства; 303 - пример расположения блока цифровой обработки изображения.

На фиг. 4 изображен конкретный пример расположения модуля камеры на мобильном устройстве в сложенном положении, где:

401 - модуль камеры в сложенном положении; 402 - корпус мобильного устройства; 403 - пример расположения блока цифровой обработки изображения.

На фиг. 5 показаны функции рассеяния точки на разных участках изображения до применения цифровой обработки изображения.

На фиг. 6 показаны функции рассеяния точки на разных участках изображения после применения цифровой обработки изображения.

Фото- и видеосъемка при помощи заявляемого устройства происходит следующим образом: модуль камеры переводится в экспонировочное положение относительно корпуса мобильного устройства, при котором оптические элементы сориентированы для проецирования света на светочувствительные элементы. Происходит экспонирование светочувствительных элементов в течение необходимого для конкретного случая времени. Информация со светочувствительных элементов конвертируется в цифровое представление и обрабатывается блоком цифровой обработки изображения. Блок цифровой обработки корректирует искажения (дисторсию), монохроматические аберрации (сферические, кому, астигматизм, кривизну поля изображения), хроматические (латеральные и тангенциальные) аберрации, а также аберрации более высокого порядка, внесенные оптической системой модуля камеры в процессе экспонирования. Блок цифровой обработки также улучшает качество изображения (четкость, контраст, цветовую насыщенность и т.п.). В случае съемки нескольких кадров, либо видеосъемки - процесс повторяется для каждого кадра.

При необходимости транспортировки мобильного устройства - модуль камеры переводится в сложенное положение, в котором оптические элементы и сенсоры максимально приближены к корпусу мобильного устройства. При этом габариты мобильного устройства увеличиваются незначительно.

Для исключения необходимости дополнительных устройств фокусировки используют несколько групп оптических элементов и соответствующее им количество сенсоров. Каждая группа оптических элементов и соответствующий им сенсор настроены на несколько отличающуюся от других дистанцию фокусировки. Каждая группа оптических элементов состоит из небольшого числа тонких линз, находящихся друг от друга на расстоянии, достаточном для возможности использования простого механизма складывания. Например, как показано на фиг. 2 - из двух групп линз. Таким образом, отдельные сенсоры получают изображение, которое является сфокусированным на различных дистанциях. Средствами цифровой обработки выбирают необходимую дистанцию фокусировки из имеющихся, либо получают сфокусированное изображение на промежуточной дистанции, используя изображения с нескольких сенсоров. В результате исключается необходимость в дополнительных механизмах изменения позиций линз, если требуется фокусировка системы на различную дистанцию. При этом существенно упрощается оптическая система, исключается необходимость коррекции кривизны поля изображения и, как правило, коррекции хроматических искажений. Средствами цифровой обработки возможно выбрать наиболее сфокусированные участки для каждого из сенсоров и объединить их для получения четкого и качественного изображения.

В другом варианте исполнения в оптической системе используют два элемента - основную, простую линзу и набор микролинз, располагающихся поблизости от светочувствительного элемента, которые корректируют искажения основной линзы. Микролинзы сконструированы таким образом, что корректируются именно те искажения, которые характерны для участка изображения, покрываемого данной микролинзой. Однако на пикселях, приходящиеся на участки рядом с краями микролинз, изображение ухудшается (в результате пересечения с изображением от соседней микролинзы и других факторов). Поэтому, необходимо использование нескольких таких групп с измененным расположением микролинз и последующее объединение участков изображения с разных сенсоров цифровыми методами.

Важно отметить, что возможны и другие варианты исполнения модуля камеры. Использование общего принципа: упрощенная оптическая система, состоящая из тонких линз достаточно большого диаметра (что стало возможным благодаря внешнему, относительно корпуса мобильного устройства, расположению), обеспечивающих высокий уровень освещенности, что, в комбинации с цифровой обработкой изображения, полученного со светочувствительных элементов, позволяет получать изображения высокого качества в сочетании с небольшими габаритами всего устройства при реализации различных вариантов исполнения.

При реализации изобретения был смоделирован модуль камеры с использованием оптической схемы триплета Кука из тонких линз, с апертурой 3.1, полем зрения 40 градусов, сенсором размером 13.2×8.8 мм, с размером пикселя 2.5 микрон. Были получены функции рассеяния точки по всему полю изображения для разных длин волн. На фиг. 5 отображены полученные функции рассеяния точки до цифровой обработки, а на фиг. 6 отображены полученные функции рассеяния точки после цифровой обработки.

Для перевода модуля камеры в сложенное состояние используют простой механизм в виде четырех вертикальных опор, закрепленных шарнирно на уровне светочувствительного элемента. Линзы шарнирно крепятся к опорам в плоскостях, проходящих перпендикулярно оптической оси. В сложенном состоянии опоры поворачиваются в горизонтальное положение (как показано на фиг. 4). При этом линзы попадают в одну плоскость со светочувствительным элементом, и толщина всей конструкции снижается до толщины максимально толстой из линз.

Преимущества предлагаемого решения для получения качественного изображения на мобильных устройствах:

I. При высоте (толщине) устройства, сопоставимой с толщиной коммерчески используемых модулей камеры в мобильных устройствах, кардинально (до двух порядков) увеличивается поток света, достигающий светочувствительного элемента камеры.

Это позволяет:

1. Сократить время выдержки, что позволяет решить проблемы, связанные со смазанностью изображения.

2. Уменьшить количество шума в полученном изображении. Качество изображения возрастает, малоконтрастные детали не теряются в шуме.

3. Снизить вес. Оптическая система, состоящая из малого количества тонких линз, существенно облегчает общий вес.

4. Использовать светочувствительные элементы (сенсоры) большого размера, без влияния на общую толщину системы.

5. Уменьшить потери света и контраста изображения за счет отражений от поверхности линз благодаря простоте оптической системы.

6. Осуществлять запись видео (которая практически невозможна, либо существенно удорожает системы при многокадровой экспозиции).

II. При использовании нескольких светочувствительных элементов:

- отсутствуют затраты времени на фокусировку. Дистанция фокусировки меняется с помощью изменения способа выбора участков изображения с сенсоров, формирующих финальное изображение, и их последующего объединения цифровыми методами, что также обеспечивает возможность выбора дистанции фокусировки и глубины резкости изображаемого пространства уже после съемки;

- есть возможность составления карты глубин сцены.

Claims

Мобильное устройство с оптическими элементами, расположенными в модуле камеры, включающем в себя один или несколько светочувствительных элементов - сенсоров, состоящих из светочувствительных пикселей, и содержащее конструктивные элементы для обработки цифрового представления изображения, полученного со светочувствительных элементов, отличающееся тем, что оптические элементы выполнены в виде набора тонких линз и/или зеркал; при этом модуль камеры установлен на корпусе мобильного устройства с возможностью изменения его положения:
при этом одно из положений модуля камеры - экспонировочное, при котором оптические элементы сориентированы с возможностью проецирования света на сенсор или сенсоры для получения на них изображения, причем при количестве сенсоров более одного, сенсоры и группы линз разделены непрозрачными перегородками для формирования отдельных световых потоков от отдельных групп линз к соответствующему индивидуальному сенсору, а конструктивные элементы для обработки цифрового представления изображения объединяют изображения, полученные с сенсоров для получения одного финального изображения повышенного качества;
второе положение модуля камеры - максимально приближенное к корпусу мобильного устройства вплотную путем складывания, при котором оптические элементы приводят в одну плоскость со светочувствительным элементом, за счет чего общая толщина модуля камеры конструктивно ограничена толщиной наиболее толстого оптического элемента либо светочувствительного элемента.