RU2794436C1 - Camera with rotating optical elements for switching the field of view - Google Patents
Camera with rotating optical elements for switching the field of view Download PDFInfo
- Publication number
- RU2794436C1 RU2794436C1 RU2022100079A RU2022100079A RU2794436C1 RU 2794436 C1 RU2794436 C1 RU 2794436C1 RU 2022100079 A RU2022100079 A RU 2022100079A RU 2022100079 A RU2022100079 A RU 2022100079A RU 2794436 C1 RU2794436 C1 RU 2794436C1
- Authority
- RU
- Russia
- Prior art keywords
- optical axis
- optical
- lens
- input
- lenses
- Prior art date
Links
Images
Abstract
Description
Область техники, к которой относится изобретениеThe field of technology to which the invention belongs
Предлагаемое изобретение относится в общем к области оптики, и более конкретно - к оптической системе объектива для захвата изображений, применимого в устройстве формирования изображения (камере) электронного устройства, такого как компактное пользовательское вычислительное устройство.The present invention relates generally to the field of optics, and more particularly to an optical system of an image capturing lens applicable to an imaging device (camera) of an electronic device such as a compact user computing device.
Уровень техникиState of the art
С появлением компактных электронных вычислительных устройств, таких как, в качестве неограничивающего примера, мобильные телефоны, смартфоны, планшетные компьютеры, карманные персональные компьютеры (КПК), коммуникаторы, нетбуки, ноутбуки, возникла необходимость в снабжении таких устройств средствами захвата изображения, такими как фото/видеокамеры, для реализации различных функций, связанных с захватом фото- и видеоизображений по команде пользователя, видеосвязью, распознаванием лица пользователя, «компьютерным зрением» и т.п.With the advent of compact electronic computing devices such as, by way of non-limiting example, mobile phones, smartphones, tablet computers, personal digital assistants (PDAs), communicators, netbooks, laptops, it has become necessary to provide such devices with image capture means such as photo/ video cameras, to implement various functions related to capturing photo and video images at the user's command, video communication, user face recognition, "computer vision", etc.
Такие устройства в основном обладают высоким разрешением захватываемого изображения. Высокое разрешение изображения оптического устройства складывается из двух параметров: разрешения датчика изображения и разрешения оптической системы. Эти две характеристики должны быть согласованы для наиболее эффективной фиксации изображения датчиком. Для соглавания этих величин обычно используется теорема Котельникова (частота Найквиста) применительно к оптике:Such devices generally have a high resolution of the captured image. The high image resolution of an optical device is made up of two parameters: the resolution of the image sensor and the resolution of the optical system. These two characteristics must be matched for the most efficient image capture by the sensor. To match these quantities, the Kotelnikov theorem (Nyquist frequency) is usually used as applied to optics:
Где d spot - диаметр пятна рассеяния, f sensor - частота сенсора, pix - размер пикселя сенсора.Where d spot is the scattering spot diameter, f sensor is the sensor frequency, pix is the sensor pixel size.
Для обеспечения компактности устройства необходимо использовать малоразмерные высокоразрешающие датчики. Ввиду их малого габаритного размера и высокого разрешения (большого количества пикселей, >50M) размер одного пикселя не велик - 0,6 ÷ 1,4 мкм. Как видно из соотношения (1), размер пятна рассеяния изображения, построенного оптической системой, должен быть также очень малым. Пятно рассеяния оптической системы имеет геометрическую и дифракционную составляющие.To ensure the compactness of the device, it is necessary to use small-sized high-resolution sensors. Due to their small overall size and high resolution (large number of pixels, >50M), the size of one pixel is not large - 0.6 ÷ 1.4 µm. As can be seen from relation (1), the size of the scattering spot of the image constructed by the optical system must also be very small. The scattering spot of an optical system has geometric and diffraction components.
Геометрическая составляющая зависит от степени коррекции оптических аберраций, которая обеспечивается конструкцией оптической системы - формой оптических элементов, их размещением и оптическими материалами. Конструкция определяется на этапе оптического расчета согласно известным методам синтеза и оптимизации оптических систем.The geometric component depends on the degree of correction of optical aberrations, which is provided by the design of the optical system - the shape of the optical elements, their placement and optical materials. The design is determined at the stage of optical calculation according to known methods of synthesis and optimization of optical systems.
Дифракционная составляющая зависит от диафрагменного числа оптической системы и выбирается до начала оптического расчета исходя из необходимого минимального размера пятна рассеяния.The diffraction component depends on the f-number of the optical system and is selected before the start of the optical calculation based on the required minimum size of the scattering spot.
Где d spot - диаметр дифракционного пятна рассеяния, λ - длина волны, F# - диафрагменное число.Where d spot is the diameter of the diffraction scattering spot, λ is the wavelength, F# is the f-number.
Таким образом, одним из основных параметров оптической системы для достижения высокого разрешения является диафрагменное число.Thus, one of the main parameters of the optical system for achieving high resolution is the f-number.
При этом возникла потребность в обеспечении возможности изменения поля зрения таких объективов («зумирования»). Традиционные объективы для фотокамер, в которых изменение фокусного расстояния (поля зрения) реализуется за счет подвижных элементов, в частности линз и групп линз, не подходят для использования в компактных электронных вычислительных устройствах ввиду своих больших размеров.At the same time, there was a need to provide the possibility of changing the field of view of such lenses (“zooming”). Traditional camera lenses, in which the focal length (field of view) is changed by moving elements, in particular lenses and lens groups, are not suitable for use in compact electronic computing devices due to their large size.
Следует отметить, что, как известно в области объективов с переменным фокусным расстоянием, для реализации изменения поля зрения (далее сокращенно называемого FOV) необходимо либо обеспечить перемещение одного или более компонентов оптической системы для физического изменения фокусного расстояния объектива, либо использовать несколько объективов или камер, каждая из которых имеет свое значение фокусного расстояния, переключаясь между ними по мере необходимости под управлением программного обеспечения, с обеспечением по возможности плавного переключения между объективами (камерами) без заметного для пользователя «скачкообразного» изменения поля зрения объектива (камеры).It should be noted that, as is known in the field of zoom lenses, in order to implement a change in the field of view (hereinafter referred to as FOV for short), it is necessary either to provide movement of one or more components of the optical system to physically change the focal length of the lens, or to use several lenses or cameras, each of which has its own focal length value, switching between them as necessary under the control of the software, ensuring as smoothly as possible switching between lenses (cameras) without a “jumping” change in the field of view of the lens (camera) noticeable to the user.
В случае объектива с подвижными компонентами оптической системы необходима очень высокая точность сборки оптической системы и высокоточные элементы конструкции, которые могли бы обеспечить необходимые значения допусков в оптической системе для всего диапазона величин переменного фокусного расстояния. Возможен также комбинированный вариант, при котором для покрытия всего требуемого диапазона фокусных расстояний используется несколько переключаемых между собой объективов или камер, в каждом из которых используется группа подвижных элементов оптической системы.In the case of a lens with moving components of the optical system, a very high precision of the assembly of the optical system and high-precision design elements are required that could provide the necessary tolerances in the optical system for the entire range of variable focal lengths. A combined version is also possible, in which to cover the entire required range of focal lengths, several interchangeable lenses or cameras are used, each of which uses a group of moving elements of the optical system.
В настоящее время в уровне техники предлагаются решения, в состав которых входит по меньшей мере один оптический элемент, позволяющий «складывать» оптическую систему путем по меньшей мере однократного преломления оптической оси системы. Такие оптические узлы (объективы, линзы) можно охарактеризовать как «сложенные» (по меньшей мере однократно) оптические узлы.At present, the state of the art proposes solutions that include at least one optical element that allows "folding" the optical system by at least one refraction of the optical axis of the system. Such optical assemblies (objectives, lenses) can be characterized as "folded" (at least once) optical assemblies.
В источнике US 20200241233 (Corephotonics Ltd., опубл. 30.07.2020) описан оптический модуль объектива для цифровой камеры, причем оптический модуль может содержать систему линз, сканирующий отражательный элемент, датчик изображения и контроллер, управляющий сканирующим отражательным элементом, который осуществляет сканирование области сцены, соответствующей требуемому коэффициенту увеличения («зумирования») и захватывает множество частично накладывающихся друг на друга длиннофокусных изображений. Сканирующий отражательный элемент расположен под углом ~45 градусов, что позволяет размещать линзовую систему не поперек устройства, а вдоль него. К недостаткам данного известного решения можно отнести необходимость сканирования области сцены посредством сканирующего отражательного элемента, что увеличивает время экспозиции, влияя на качество конечного изображения, а также делая неудобным использование камеры, в которой применяется известный оптический модуль. Кроме того, датчик изображения в данном известном решении также размещен поперек устройства, в котором применяется известное решение, что ограничивает возможные размеры датчика изображения и отрицательно влияет на разрешение конечного изображения.US 20200241233 (Corephotonics Ltd., publ. 07/30/2020) describes an optical lens module for a digital camera, wherein the optical module may include a lens system, a scanning reflective element, an image sensor, and a controller that controls the scanning reflective element that scans a scene area. corresponding to the required magnification (“zoom”) and captures many partially overlapping long-focus images. The scanning reflective element is located at an angle of ~45 degrees, which makes it possible to place the lens system not across the device, but along it. The disadvantages of this well-known solution include the need to scan the scene area by means of a scanning reflective element, which increases the exposure time, affecting the quality of the final image, and also makes it inconvenient to use a camera that uses a known optical module. In addition, the image sensor in this known solution is also placed across the device in which the known solution is used, which limits the possible dimensions of the image sensor and negatively affects the resolution of the final image.
В источнике US 20200341290 (Apple Inc., опубл. 29.10.2020) раскрыто устройство формирования изображений, включающее в себя датчик изображения и узел объектива с переменным фокусным расстоянием, включающий в себя множество подвижных линзовых элементов, выполненных с возможностью перемещения независимо друг от друга для изменения фокусного расстояния («зумирования»). Узел объектива и зеркала включает в себя зеркало для преломления оптической оси системы и исполнительный механизм, выполненный с возможностью поворота зеркала для оптической стабилизации. К недостаткам данного известного решения можно отнести высокое значение диафрагменного числа F, невозможность реализовать высокие величины относительного отверстия, а также низкую разрешающую способность.US 20200341290 (Apple Inc., publ. 10/29/2020) discloses an imaging device including an image sensor and a zoom lens assembly including a plurality of movable lens elements movable independently of each other for change the focal length ("zoom"). The lens and mirror assembly includes a mirror for refraction of the optical axis of the system and an actuator capable of rotating the mirror for optical stabilization. The disadvantages of this well-known solution include the high value of the f-number F, the inability to realize high values of the relative aperture, as well as low resolution.
В источнике US 20210041765 (Apple Inc., опубл. 11.02.2021) описан оптический узел для устройства формирования изображений, включающий в себя два оптических элемента для преломления оптической оси системы (например, призмы и/или зеркала), применение которых позволяет размещать датчик изображения не поперек устройства, в состав которого входит устройство формирования изображения, а вдоль него. К недостаткам данного известного решения можно отнести невозможность обеспечения высокого разрешения конечного изображения при предъявляемых требованиях к массогабаритным характеристикам оптического узла.US 20210041765 (Apple Inc., publ. Feb. 11, 2021) describes an optical assembly for an imaging device, which includes two optical elements for refraction of the optical axis of the system (for example, a prism and/or mirror), the use of which allows you to place an image sensor not across the device that includes the imaging device, but along it. The disadvantages of this known solution include the impossibility of providing a high resolution of the final image with the requirements for the weight and size characteristics of the optical assembly.
В источнике Double-Folded Catadioptric Lens For Smartphone Portraiture Photography (National Univ. of Ireland, Galway/DOI.ORG/10.1117/12.2310091/2018) раскрыта камера для смартфона, выполненная с обеспечением возможности портретной съемки и содержащая объектив с большим диаметром входного зрачка и низким числом F. В объективе применяется «дважды сложенная» катадиоптрическая линза, обеспечивая общую толщину объектива менее 5 мм и общую длину оптического пути в 13 мм. В качестве одного из отражающих компонентов «дважды сложенной» линзы используется призма свободной формы, обладающая определенной оптической силой для коррекции геометрических аберраций и формирования фокусного расстояния. Для «зумирования» в известном объективе используется подвижный оптический компонент внутри объектива. Однако, поскольку данный подвижный оптический компонент также участвует в коррекции аберраций, диапазон возможного изменения фокусного расстояния является небольшим, а также обеспечивается относительно небольшое поле зрения оптического узла. Кроме того, поддержание достаточно высокого разрешения во всем диапазоне доступных фокусных расстояний/полей зрения в известном оптическом узле является весьма проблематичным.Double-Folded Catadioptric Lens For Smartphone Portraiture Photography (National Univ. of Ireland, Galway/DOI.ORG/10.1117/12.2310091/2018) discloses a smartphone camera capable of portraiture and containing a lens with a large entrance pupil diameter and low F-number. The lens uses a “twice-folded” catadioptric lens, providing an overall lens thickness of less than 5mm and an overall optical path length of 13mm. As one of the reflective components of the "double-folded" lens, a free-form prism is used, which has a certain optical power to correct geometric aberrations and form a focal length. For "zooming" in a known lens, a movable optical component is used inside the lens. However, since this movable optical component also participates in the correction of aberrations, the range of possible change in the focal length is small, and a relatively small field of view of the optical assembly is provided. In addition, maintaining a sufficiently high resolution over the entire range of available focal lengths/fields of view in a known optical node is very problematic.
Раскрытие изобретенияDisclosure of invention
Данный раздел, раскрывающий различные аспекты и варианты выполнения заявляемого изобретения, предназначен для представления краткой характеристики заявляемых объектов изобретения и вариантов его выполнения. Подробная характеристика технических средств и методов, реализующих сочетания признаков заявляемых изобретений, приведена ниже. Ни данное раскрытие изобретения, ни нижеприведенное подробное описание и сопровождающие чертежи не следует рассматривать как определяющие объем заявляемого изобретения. Объем правовой охраны заявляемого изобретения определяется исключительно прилагаемой формулой изобретения.This section, which discloses various aspects and embodiments of the claimed invention, is intended to provide a brief description of the claimed objects of the invention and embodiments. A detailed description of technical means and methods that implement combinations of features of the claimed inventions is given below. Neither this disclosure nor the following detailed description and accompanying drawings should be construed as defining the scope of the claimed invention. The scope of legal protection of the claimed invention is determined solely by the attached claims.
Учитывая рассмотренные выше известные решения из уровня техники, объективная техническая проблема, решаемая изобретением, состоит в необходимости создания компактного оптического узла, в котором реализовано размещение оптических элементов таким образом, чтобы достичь малой толщины оптического узла и при этом реализовать функцию изменения поля зрения (фокусного расстояния).Taking into account the known solutions from the prior art discussed above, the objective technical problem solved by the invention is the need to create a compact optical assembly in which the placement of optical elements is implemented in such a way as to achieve a small thickness of the optical assembly and at the same time implement the function of changing the field of view (focal length ).
Задача, решаемая настоящим изобретением, состоит в создании оптического узла для объектива устройства формирования изображения, выполненного с возможностью изменения поля зрения (FOV) с сохранением высокого разрешения при малой толщине оптического узла.The problem solved by the present invention is to provide an optical assembly for an imaging device lens capable of changing the field of view (FOV) while maintaining high resolution with a small thickness of the optical assembly.
Технический результат, достигаемый при использовании настоящего изобретения, состоит в обеспечении широкого диапазона полей зрения оптического узла при высоком разрешении изображения.The technical result achieved by using the present invention is to provide a wide range of fields of view of the optical node with high image resolution.
В первом аспекте настоящего изобретения предложен оптический узел устройства формирования изображения, содержащий массив объективов с дважды преломленной оптической осью и датчик изображения. При этом каждый объектив с дважды преломленной оптической осью содержит входной элемент преломления оптической оси, по меньшей мере одну линзу с оптической силой и выходной элемент преломления оптической оси. При этом входной элемент преломления оптической оси по меньшей мере одного объектива с дважды преломленной оптической осью выполнен с возможностью изменения угла преломления оптической оси по двум координатам, изменяя поле зрения входного элемента преломления оптической оси. По меньшей мере одна линза образует группу линз, имеющую общую оптическую ось. Датчик изображения расположен в плоскости, по существу параллельной упомянутой общей оптической оси группы линз. Массив объективов с дважды преломленной оптической осью может представлять собой массив 2×2, причем все объективы с дважды преломленной оптической осью обращены своими выходными элементами преломления оптической оси к датчику изображения. Входные и выходные элементы преломления оптической оси могут быть выполнены в виде призм и/или плоских зеркал и могут иметь плоские оптические поверхности и/или криволинейные оптические поверхности. Выходные элементы преломления оптической оси являются неподвижными. Для упомянутого изменения угла преломления оптической оси по двум координатам входные элементы преломления оптической оси имеют исполнительные механизмы, выполненные с возможностью поворота входных оптических элементов преломления оптической оси вокруг оси X и/или оси Z независимо друг от друга. В другом варианте выполнения для упомянутого изменения угла преломления оптической оси по двум координатам входные элементы преломления оптической оси содержат дефлекторы оптического излучения, выполненные в виде электрооптических элементов на основе нематических жидких кристаллов (NLC). Упомянутая по меньшей мере одна линза с оптической силой составляет группу линз, содержащих один или более рефракционных оптических элементов для обеспечения оптической силы. Угол преломления оптической оси системы во входном и/или выходном элементе преломления оптической оси может составлять по существу 90 градусов.In a first aspect of the present invention, an optical assembly of an imaging apparatus is provided, comprising an array of lenses with a doubly refracted optical axis and an image sensor. Each lens with a doubly refracted optical axis contains an input refraction element of the optical axis, at least one lens with an optical power and an output refractive element of the optical axis. In this case, the input optical axis refraction element of at least one lens with a doubly refracted optical axis is configured to change the optical axis refraction angle in two coordinates, changing the field of view of the optical axis refractive input element. At least one lens forms a lens group having a common optical axis. The image sensor is located in a plane substantially parallel to said common optical axis of the lens group. The doubly refracting optical axis lens array may be a 2x2 array, with all doubly refracting optical axis lenses facing their output optical axis refractive elements towards the image sensor. The input and output refractive elements of the optical axis can be made in the form of prisms and/or flat mirrors and can have flat optical surfaces and/or curved optical surfaces. The output elements of the refraction of the optical axis are fixed. To change the angle of refraction of the optical axis in two coordinates, the input refractive elements of the optical axis have actuators configured to rotate the input optical refractive elements of the optical axis around the X-axis and/or the Z-axis independently of each other. In another embodiment, for the said change in the angle of refraction of the optical axis along two coordinates, the input elements of the refraction of the optical axis contain optical radiation deflectors made in the form of electro-optical elements based on nematic liquid crystals (NLC). Said at least one optical power lens constitutes a group of lenses containing one or more refractive optical elements to provide optical power. The angle of refraction of the optical axis of the system in the input and/or output refractive element of the optical axis may be essentially 90 degrees.
Во втором аспекте настоящего изобретения предложен способ формирования изображения, содержащий этапы, на которых вводят падающее оптическое излучение, формирующее изображение, в массив объективов с дважды преломленной оптической осью через входной элемент преломления оптической оси, пропускают оптическое излучение через по меньшей мере одну линзу с оптической силой, и выводят оптическое излучение через выходной элемент преломления оптической оси на датчик изображения, при этом в массиве объективов с дважды преломленной оптической осью оптическая ось оптического излучения преломляется дважды - во входном и выходном элементах преломления оптической оси, соответственно. При этом изменяют направление поля зрения входного элемента преломления оптической оси путем изменения угла преломления оптической оси для формирования соответствующего канала поля зрения на датчике изображения. В одном или более вариантах выполнения способа для упомянутого изменения угла преломления оптической оси независимо поворачивают входной элемент преломления оптической оси одного или более объективов в массиве объективов с дважды преломленной оптической осью вокруг оси X и/или оси Z. В другом варианте выполнения для упомянутого изменения угла преломления оптической оси управляют дефлекторами оптического излучения, выполненными в виде электрооптических элементов на основе нематических жидких кристаллов (NLC).In a second aspect of the present invention, an imaging method is provided, comprising the steps of introducing incident optical radiation forming an image into an array of lenses with a doubly refracted optical axis through an optical axis refractive input element, passing optical radiation through at least one lens with an optical power , and output optical radiation through the output refractive element of the optical axis to the image sensor, while in the array of lenses with a doubly refracted optical axis, the optical axis of the optical radiation is refracted twice - in the input and output refractive elements of the optical axis, respectively. In this case, the direction of the field of view of the input element of refraction of the optical axis is changed by changing the angle of refraction of the optical axis to form the corresponding channel of the field of view on the image sensor. In one or more embodiments of the method, to change the refractive angle of the optical axis, independently rotate the input refractive element of the optical axis of one or more lenses in the lens array with a doubly refracted optical axis around the X-axis and/or the Z-axis. refractions of the optical axis control the deflectors of optical radiation, made in the form of electro-optical elements based on nematic liquid crystals (NLC).
Способ может дополнительно содержать этап, на котором частично или полностью накладывают друг на друга каналы поля зрения, полученные каждым из объективов в массиве объективов с дважды преломленной оптической осью, на датчике изображения для получения итогового изображения. Угол преломления оптической оси оптического излучения во входном и/или выходном элементе преломления оптической оси может составлять по существу 90 градусов.The method may further comprise partially or completely overlapping the field of view channels acquired by each of the lenses in the doubly refracted optical axis lens array on the image sensor to produce a final image. The angle of refraction of the optical axis of the optical radiation in the input and/or output refractive element of the optical axis may be essentially 90 degrees.
Как будет очевидно специалистам в данной области техники, заявляемое изобретение может быть реализовано также в форме других объектов, таких как, в качестве неограничивающего примера, устройство формирования изображения, оптическая система и т.п.As will be apparent to those skilled in the art, the claimed invention may also be embodied in the form of other objects such as, but not limited to, an imaging device, an optical system, and the like.
Краткое описание чертежейBrief description of the drawings
Чертежи приведены в настоящем документе для облегчения понимания сущности настоящего изобретения. Чертежи являются схематичными и выполнены не в масштабе. Чертежи служат исключительно в качестве иллюстрации и не предназначены для определения объема настоящего изобретения.The drawings are given in this document to facilitate understanding of the essence of the present invention. The drawings are schematic and not to scale. The drawings are for illustrative purposes only and are not intended to define the scope of the present invention.
На Фиг. 1 показана принципиальная схема объектива с дважды преломленной оптической осью.On FIG. 1 shows a schematic diagram of a lens with a doubly refracted optical axis.
На Фиг. 2 схематично проиллюстрирован вариант выполнения оптического узла согласно изобретению с массивом объективов с дважды преломленной оптической осью 2×2.On FIG. 2 schematically illustrates an embodiment of an optical assembly according to the invention with a 2x2 doubly refracted optical axis objective lens array.
На Фиг. 3 схематично проиллюстрировано формирование общего поля зрения из соответствующих каналов поля зрения объективов, входящих в массив объективов с дважды преломленной оптической осью оптического узла согласно изобретению, в случае накладывающихся друг на друга каналов поля зрения.On FIG. 3 schematically illustrates the formation of a common field of view from the corresponding channels of the field of view of the lenses included in the array of lenses with a doubly refracted optical axis of the optical assembly according to the invention, in the case of overlapping channels of the field of view.
На Фиг. 4 схематично проиллюстрировано формирование общего поля зрения из соответствующих каналов поля зрения объективов, входящих в массив объективов с дважды преломленной оптической осью оптического узла согласно изобретению, в случае частично перекрывающихся каналов поля зрения.On FIG. 4 schematically illustrates the formation of a common field of view from the corresponding channels of the field of view of the lenses included in the array of lenses with a doubly refracted optical axis of the optical assembly according to the invention, in the case of partially overlapping channels of the field of view.
На Фиг. 5 схематично проиллюстрировано отображение полей зрения соответствующих объективов массива объективов с дважды преломленной оптической осью на плоскости датчика изображения для первого режима (вид А) и второго режима (вид В).On FIG. 5 schematically illustrates the display of the fields of view of the respective lenses of an array of lenses with a doubly refracted optical axis on the plane of the image sensor for the first mode (view A) and the second mode (view B).
На Фиг. 6 проиллюстрирован смешанный режим формирования изображения согласно одному или более вариантам выполнения изобретения.On FIG. 6 illustrates mixed mode imaging in accordance with one or more embodiments of the invention.
На Фиг. 7 схематично проиллюстрирован вариант выполнения массива объективов с дважды преломленной оптической осью с обозначением точек поворота входных элементов преломления оптической оси вокруг осей X и Z.On FIG. 7 schematically illustrates an embodiment of an array of lenses with a doubly refracted optical axis, with the rotation points of the input refractive elements of the optical axis around the X and Z axes indicated.
На Фиг. 8 схематично проиллюстрирован вариант выполнения изобретения с криволинейными оптическими поверхностями выходного элемента преломления оптической оси.On FIG. 8 schematically illustrates an embodiment of the invention with curved optical surfaces of the refractive output element of the optical axis.
На Фиг. 9 проиллюстрирован примерный вариант выполнения оптического узла согласно изобретению, в котором используется массив объективов с дважды преломленной оптической осью 3×3.On FIG. 9 illustrates an exemplary embodiment of an optical assembly according to the invention using a 3x3 doubly refracting optical axis lens array.
Осуществление изобретенияImplementation of the invention
Настоящее изобретение основано на использовании оптических элементов с «дважды сложенным» оптическим путем (оптической осью), используемого для формирования изображения. Преломление оптической оси падающего оптического излучения в изобретении реализуется в каждом объективе из упомянутого массива элементами преломления оптической оси, более конкретно - входным элементом преломления оптической оси и выходным элементом преломления оптической оси, соответственно. Это дает «дважды сложенную» оптическую систему.The present invention is based on the use of optical elements with a "doubly folded" optical path (optical axis) used for imaging. The refraction of the optical axis of the incident optical radiation in the invention is implemented in each lens of the said array by the refractive elements of the optical axis, more specifically, the input refractive element of the optical axis and the output refractive element of the optical axis, respectively. This gives a "doubly folded" optical system.
В первом аспекте настоящего изобретения предложен оптический узел устройства формирования изображения, основанный на использовании массива объективов с дважды преломленной оптической осью. Для преломления оптической оси каждый объектив в массиве объективов имеет входной элемент преломления оптической оси и выходной элемент преломления оптической оси, которые могут быть реализованы, в качестве неограничивающего примера, в виде призмы или зеркала, и могут иметь плоские или обладающие кривизной оптические поверхности. Каждый из входного и выходного элементов преломления оптической оси реализует преломление (поворот) оптической оси падающего оптического излучения, в качестве неограничивающего примера, на угол по существу в 90 градусов.In a first aspect of the present invention, an optical assembly of an imaging apparatus based on the use of an objective lens array with a doubly refracted optical axis is provided. For optical axis refraction, each lens in the lens array has an input optical axis refractive element and an output optical axis refractive element, which may be implemented as a non-limiting example as a prism or a mirror, and may have flat or curved optical surfaces. Each of the input and output optical axis refractive elements implements the refraction (rotation) of the optical axis of the incident optical radiation, as a non-limiting example, at an angle of essentially 90 degrees.
Каждый объектив в массиве объективов с дважды преломленной оптической осью формирует свой канал поля зрения на датчике изображения. Каждый канал поля зрения формирует изображение на соответствующей ему части поверхности датчика изображения, который представляет собой по существу камеру с составным полем зрения (камеру CEV).Each lens in the array of lenses with a doubly refracted optical axis forms its own field of view channel on the image sensor. Each field of view channel forms an image on its respective part of the surface of the image sensor, which is essentially a composite field of view camera (CEV camera).
Как указано выше, каждый объектив в массиве объективов с дважды преломленной оптической осью содержит входной элемент преломления оптической оси. Данный входной элемент выполнен с возможностью поворота по меньшей мере вокруг двух осей, а именно оси X и оси Z. Следует отметить, что каждый объектив в массиве объективов с дважды преломленной оптической осью выполнен с возможностью независимого поворота своего входного элемента вокруг одной или обеих из упомянутых осей, для чего в каждом объективе предусмотрен по меньшей мере один соответствующий исполнительный механизм. Поворот входного элемента преломления оптической оси обеспечивает возможность изменения (поворота) направления поля зрения (FOV) соответствующего канала.As stated above, each lens in the doubly refracting optical axis lens array contains an optical axis refractive input element. This input element is rotatable about at least two axes, namely the X-axis and the Z-axis. It should be noted that each lens in the array of lenses with doubly refracting optical axis is rotatable independently about its input element about one or both of the mentioned axes, for which at least one corresponding actuator is provided in each lens. Rotation of the optical axis refractive input element makes it possible to change (rotate) the direction of the field of view (FOV) of the corresponding channel.
В одном или более вариантах выполнения изобретения оптический узел согласно изобретению обеспечивает по меньшей мере два режима работы:In one or more embodiments of the invention, the optical node according to the invention provides at least two modes of operation:
- первый режим (так называемый «одинаково направленный»), в котором FOV всех каналов, реализуемые каждым из объективов в массиве объективов с дважды преломленной оптической осью, имеют одинаковое (одно общее) направление, что реализуется одинаковым поворотом всех входных элементов преломления оптической оси в массиве объективов вокруг соответствующих осей;- the first mode (the so-called "equally directed"), in which the FOV of all channels, realized by each of the lenses in the array of lenses with a doubly refracted optical axis, have the same (one common) direction, which is realized by the same rotation of all input refractive elements of the optical axis in an array of lenses around the respective axes;
- второй режим (так называемый «разнонаправленный»), в котором входной элемент преломления оптической оси каждого из объективов в массиве объективов поворачивается вокруг соответствующих осей независимо от других объективов, при этом FOV каналов, реализуемые каждым из объективов в массиве объективов, имеют разные направления.- the second mode (the so-called "multidirectional"), in which the input element of refraction of the optical axis of each of the lenses in the array of lenses rotates around the corresponding axes independently of other lenses, while the FOV channels implemented by each of the lenses in the array of lenses have different directions.
Формирование итогового изображения, объединяющего каналы поля зрения соответствующих объективов в массиве объективов с дважды преломленной оптической осью, на датчике изображения реализуется путем применения соответствующего программного алгоритма объединения изображений, известного из уровня техники.The formation of the final image, which combines the channels of the field of view of the corresponding lenses in an array of lenses with a doubly refracted optical axis, on the image sensor is implemented by applying the appropriate software image combining algorithm known from the prior art.
При этом в первом режиме поле зрения итогового изображения, формируемого на датчике изображения путем наложения каналов поля зрения каждого из объективов в массиве объективов, является более узким и соответствует полю зрения телеобъектива с большим фокусным расстоянием, а во втором режиме поле зрения итогового изображения является более широким и соответствует полю зрения широкоугольного объектива с меньшим фокусным расстоянием.At the same time, in the first mode, the field of view of the final image formed on the image sensor by superimposing the channels of the field of view of each of the lenses in the lens array is narrower and corresponds to the field of view of a telephoto lens with a large focal length, and in the second mode, the field of view of the final image is wider. and corresponds to the field of view of a wide-angle lens with a shorter focal length.
Это достигается за счет того, что каждый из объективов в массиве объективов с дважды преломленной оптической осью, в зависимости от ориентации входного элемента преломления оптической оси, на который попадает оптическое излучение, формирующее изображение, на входе в оптический узел, формирует либо изображение с одинаковым по отношению к остальным каналам полем зрения, в которое попадает часть наблюдаемой сцены (первый режим), либо изображение своей соответствующей части наблюдаемой сцены отличной от остальных каналов (второй режим). При этом в первом режиме каналы поля зрения каждого из объективов практически полностью накладываются друг на друга, позволяя алгоритму постобработки сформировать итоговое изображение с высоким разрешением и более узким полем зрения, а во втором режиме каналы поля зрения каждого из объективов накладываются друг на друга частично, позволяя соединить соответствующие части наблюдаемой сцены в итоговое изображение с более широким полем зрения.This is achieved due to the fact that each of the lenses in the array of lenses with a doubly refracted optical axis, depending on the orientation of the input refractive element of the optical axis, on which the optical radiation that forms the image, at the entrance to the optical assembly, forms either an image with the same in relation to other channels by the field of view, which includes a part of the observed scene (the first mode), or an image of its corresponding part of the observed scene that is different from the rest of the channels (the second mode). At the same time, in the first mode, the channels of the field of view of each of the lenses almost completely overlap each other, allowing the post-processing algorithm to generate a final image with a high resolution and a narrower field of view, and in the second mode, the channels of the field of view of each of the lenses partially overlap, allowing combine the relevant parts of the observed scene into a final image with a wider field of view.
В настоящем изобретении используется массив объективов с «дважды преломленной» оптической осью. Как проиллюстрировано на Фиг. 1, в основе такого объектива лежит оптическая система, содержащая входной оптический элемент 1 преломления оптической оси, группу 3 линз с оптической силой и выходной элемент 2 преломления оптической оси. Кроме того, позицией 4 на Фиг. 1 схематично показан датчик изображения. Жирными стрелками на Фиг. 1 схематично показан путь оптического излучения через объектив с дважды преломленной оптической осью.The present invention uses an array of lenses with a "doubly refracted" optical axis. As illustrated in FIG. 1, such a lens is based on an optical system comprising an optical axis refractive input
Принцип работы объектива с дважды преломленной оптической осью состоит в том, что падающее оптическое излучение, соответствующее наблюдаемой сцене, попадает на входной оптический элемент 1 преломления оптической оси, на котором оно отражается таким образом, что угол распространения оптического излучения изменяется, в неограничивающем варианте выполнения изобретения - по существу под углом 90 градусов (первое преломление оптической оси). Далее оптическое излучение проходит через группу 3 линз с оптической силой, которые, в качестве неограничивающего примера, могут представлять собой одну или более рефракционных линз аналогично оптическим системам известных объективов. Данная группа линз, обладающих оптической силой, позволяет преобразовать падающий на первый отражательный элемент плоский волновой фронт в сходящийся для фокусировки излучения на датчике изображения и, таким образом, формирования изображения. Данная группа линз спроектирована таким образом, что имеет низкое значение диафрагменного числа, что позволяет обеспечить малый размер пятна рассеяния для согласования с компактным высокоразрешающим датчиком изображения. После группы 3 линз с оптической силой оптическое излучение попадает на выходной элемент 2 преломления оптической оси, где оно снова отражается под углом (в неограничивающем варианте выполнения изобретения - по существу под углом 90 градусов; второе преломление оптической оси) и попадает на плоскость датчика 4 изображения, где формируется канал поля зрения, соответствующий данному объективу из массива объективов. При этом в такой конфигурации объектива плоскость датчика 4 изображения по существу параллельна плоскости изображаемого объекта, а не повернута на 90 градусов по отношению к плоскости изображаемого объекта, как в некоторых из рассмотренных выше известных аналогов.The principle of operation of a lens with a doubly refracted optical axis is that the incident optical radiation corresponding to the observed scene falls on the input
На Фиг. 2 схематично проиллюстрирован вариант выполнения оптического узла согласно изобретению с массивом объективов с дважды преломленной оптической осью 2×2. Этот массив объективов образует составную оптическую систему с составным полем зрения (FOV), в основе которой лежит один общий датчик изображения. Как видно на Фиг. 2, все объективы в массиве объективов с дважды преломленной оптической осью размещены таким образом, что их выходные элементы 2 преломления оптической оси обращены к общему датчику 4 изображения. Каждый из объективов массива объективов с дважды преломленной оптической осью обеспечивает свой канал поля зрения, при этом все каналы поля зрения отображаются на плоскости датчика 4 изображения, представляющего собой камеру с составным полем зрения (камеру CEV), обеспечивающую итоговое составное поле зрения в результате объединения упомянутых каналов поля зрения.On FIG. 2 schematically illustrates an embodiment of an optical assembly according to the invention with a 2x2 doubly refracted optical axis objective lens array. This array of lenses forms a stacked composite field of view (FOV) optical system based on a single common image sensor. As seen in FIG. 2, all the lenses in the array of lenses with doubly refracting optical axis are arranged so that their output optical axis
При этом в первом режиме работы оптического узла, охарактеризованном выше, изображения каждого из каналов FOV являются одинаковыми и отображают одну и ту же часть наблюдаемой сцены. На основе объединения изображений путем соответствующей программной обработки (в неограничивающем варианте выполнения изобретения, в качестве примера возможных методов программной обработки для объединения изображения см., например, патент США № US 10366472 B2, Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers, опубл. 30.07.2019 ([1]) или патент США № US 10182216 B2, Extended color processing on pelican array cameras, опубл. 15.01.2019 ([2])) этих каналов может быть получено итоговое изображение с очень высоким разрешением («суперразрешением»), отражающее относительно узкую область наблюдаемой сцены, аналогично использованию телеобъектива с большим фокусным расстоянием.In this case, in the first mode of operation of the optical node, described above, the images of each of the FOV channels are the same and display the same part of the observed scene. Based on combining images by appropriate software processing (in a non-limiting embodiment of the invention, as an example of possible software processing methods for combining an image, see, for example, US patent No. US 10366472 B2, Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers, published on 07/30/2019 ([1]) or US Patent No. US 10182216 B2, Extended color processing on pelican array cameras, published on 01/15/2019 ([2])) of these channels, the final image can be obtained with very high resolution ("super resolution"), reflecting a relatively narrow area of the observed scene, similar to using a telephoto lens with a long focal length.
Во втором режиме работы оптического узла, охарактеризованном выше, изображения каждого из каналов FOV являются отличными друг от друга и соответствуют различным частям наблюдаемой сцены, расположенным близко друг к другу по существу без интервалов между ними, и при объединении изображений путем соответствующей программной обработки по «сшивке» этих каналов FOV (в неограничивающем варианте выполнения изобретения, в качестве примера методов программной обработки по «сшивке» изображений см., например, патент США № US 11064116 B2, Image stitching in a multi-camera array, опубл. 13.07.2021 ([3])) может быть получено итоговое изображение с высоким разрешением, отражающее широкую область наблюдаемой сцены, аналогично использованию широкоугольного объектива с меньшим фокусным расстоянием.In the second mode of operation of the optical node, described above, the images of each of the FOV channels are different from each other and correspond to different parts of the observed scene located close to each other with essentially no intervals between them, and when combining images by appropriate software processing by "stitching » of these FOV channels (in a non-limiting embodiment of the invention, as an example of software processing methods for “stitching” images, see, for example, US patent No. US 11064116 B2, Image stitching in a multi-camera array, publ. 13.07.2021 ([ 3])) a high-resolution final image can be obtained that reflects a wide area of the observed scene, similar to using a wide-angle lens with a smaller focal length.
Выше с обращением к Фиг. 2 проиллюстрирован вариант выполнения настоящего изобретения, в котором массив объективов с дважды преломленной оптической осью представляет собой массив 2х2. Однако следует понимать, что объем изобретения не ограничен такой конфигурацией массива объективов, и в других вариантах выполнения изобретения могут быть использованы другие массивы, такие как, в качестве неограничивающего примера, 2×3 (3×2), 3×3 и т.п. Размер массива 2×2 соответствует наименьшему массиву, пригодному для практической реализации настоящего изобретения.Above with reference to FIG. 2 illustrates an embodiment of the present invention in which the doubly refracted optical axis lens array is a 2x2 array. However, it should be understood that the scope of the invention is not limited to such a lens array configuration, and in other embodiments of the invention, other arrays may be used, such as, as a non-limiting example, 2x3 (3x2), 3x3, etc. . The 2×2 array size is the smallest array suitable for the practice of the present invention.
Фиг. 3 и 4 иллюстрируют формирование общего поля 10 зрения из соответствующих каналов 20 поля зрения объективов, входящих в массив объективов с дважды преломленной оптической осью оптического узла согласно изобретению. Кроме того, на Фиг. 4 обозначены оси X и Z, вокруг которых могут поворачиваться входные элементы 1 преломления оптической оси. При этом на Фиг. 3 проиллюстрировано общее FOV 10, формируемое из нескольких каналов 20 FOV соответствующих объективов, которое соответствует FOV телеобъектива с большим фокусным расстоянием (узкое поле зрения, теле-FOV). В данном случае поле обзора каждого из объективов массива обеспечивает по существу одно и то же изображение, и итоговое изображение получается наложением этих изображений, характеризуется узким полем зрения и очень высоким разрешением. Иными словами, в данном случае общее FOV 10 равно каждому из каналов 20 FOV соответствующих объективов. Fig. 3 and 4 illustrate the formation of a common field of
На Фиг. 4 входные элементы 1 преломления оптической оси показаны повернутыми по меньшей мере вокруг оси X по сравнению с элементами 1 преломления оптической оси на Фиг. 3. В конфигурации на Фиг. 4 реализуется общее FOV 10, полученное «сшивкой» изображений, соответствующих каналам 20 FOV каждого из объективов, причем каждый из объективов в данном случае захватывает часть от общей наблюдаемой сцены. В результате получается более широкое поле зрения (широкоугольное поле зрения). В данном случае общее FOV 10 складывается из совокупности каналов 20 FOV всех объективов массива объективов.On FIG. 4, the optical axis
На видах А и В на Фиг. 5 схематично проиллюстрировано отображение полей зрения соответствующих каналов массива объективов с дважды преломленной оптической осью на плоскости датчика изображения для первого режима (вид А) и второго режима (вид В), описанных выше. Стрелками отмечена диагональ области итогового изображения, получаемого в результате обработки накладывающихся друг на друга полей зрения различных каналов. Как видно на виде А, в случае, если все объективы в массиве дают одинаковые каналы поля зрения, соответствующие поля зрения полностью накладываются друг на друга. Как видно на виде В, каждый канал поля зрения соответствует одной из областей на плоскости датчика изображения, причем упомянутые области соответствуют разным частям поверхности упомянутой плоскости, расположены под разными углами и по меньшей мере частично перекрываются (пересекаются) друг с другом. Путем применения программного алгоритма «сшивки» изображений из этих каналов поля зрения получается изображение, соответствующее общему полю зрения массива объективов.In views A and B in Fig. 5 schematically illustrates the display of the fields of view of the respective channels of an array of lenses with a doubly refracted optical axis on the plane of the image sensor for the first mode (view A) and the second mode (view B) described above. The arrows mark the diagonal of the area of the final image obtained as a result of processing overlapping fields of view of different channels. As can be seen in view A, if all lenses in the array provide the same field of view channels, the corresponding fields of view completely overlap each other. As can be seen in view B, each channel of the field of view corresponds to one of the regions on the image sensor plane, and the said regions correspond to different parts of the surface of the said plane, are located at different angles and at least partially overlap (intersect) with each other. By applying a software image stitching algorithm, these field of view channels produce an image corresponding to the total field of view of the lens array.
Фиг. 6 иллюстрирует так называемый «смешанный» режим формирования изображения, реализуемый в одном или более неограничивающих вариантах выполнения изобретения. Для реализации такого режима входные элементы 1 преломления оптической оси должны быть повернуты вокруг осей X и/или Z на определенные «переходные» углы, так чтобы в центральной части плоскости датчика изображения части изображения соответствующих каналов поля зрения по меньшей мере частично совпадали. При этом для упомянутой центральной части (заштрихованная область на Фиг. 6) может применяться описанный выше алгоритм наложения изображений с получением «суперразрешения», а для остальных частей, где каналы поля зрения соответствующих объективов по меньшей мере частично перекрываются друг с другом, могут использоваться алгоритмы «сшивки» изображений упомянутые выше.Fig. 6 illustrates the so-called "blended" imaging mode implemented in one or more non-limiting embodiments of the invention. To implement such a mode, the
На Фиг. 7 схематично проиллюстрирован вариант выполнения, в котором показаны два объектива из массива объективов с дважды преломленной оптической осью, при этом жирными точками схематично обозначены точки, вокруг которых осуществляется поворот соответствующих входных элементов преломления оптической оси вокруг осей X и Z. Для поворота входных элементов преломления оптической оси вокруг осей X и Z могут использоваться исполнительные механизмы (не показаны). По существу, может быть использован любой вид исполнительного механизма, пригодный для таких целей, как известно специалистам в данной области техники, такой как, например, магнитный исполнительный механизм или электростатический механизм. Исполнительные механизмы реализуют поворот соответствующих входных элементов преломления оптической оси вокруг осей X и/или Z в соответствии с управляющими сигналами от одного или более процессоров, которые осуществляют управление устройством формирования изображения, причем упомянутые управляющие сигналы могут выдаваться, например, в ответ на пользовательский ввод с целью регулирования поля зрения («зумирования») устройства формирования изображения для получения изображения интересующей пользователя части наблюдаемой сцены.On FIG. 7 schematically illustrates an embodiment in which two lenses from an array of lenses with a doubly refracted optical axis are shown, while bold dots schematically indicate the points around which the corresponding optical axis refractive input elements are rotated around the X and Z axes. axes around the X and Z axes, actuators (not shown) can be used. As such, any kind of actuator suitable for such purposes, as known to those skilled in the art, may be used, such as, for example, a magnetic actuator or an electrostatic mechanism. The actuators implement rotation of the respective optical axis refractive input elements about the X and/or Z axes in accordance with control signals from one or more processors that control the imaging device, and said control signals can be issued, for example, in response to user input from the purpose of adjusting the field of view ("zoom") of the image forming device to obtain an image of the part of the observed scene of interest to the user.
Следует отметить, что в соответствии с настоящим изобретением элементы преломления оптической оси являются частью оптической системы оптического узла согласно изобретению. При этом в различных вариантах выполнения они могут иметь по меньшей мере одну плоскую оптическую поверхность и/или по меньшей мере одну обладающую кривизной (выпуклую или вогнутую) оптическую поверхность и, соответственно, могут обладать оптической силой.It should be noted that, in accordance with the present invention, the refractive elements of the optical axis are part of the optical system of the optical assembly according to the invention. Moreover, in various embodiments, they may have at least one flat optical surface and/or at least one optical surface with curvature (convex or concave) and, accordingly, may have an optical power.
Кроме того, в одном или более вариантах выполнения элементы преломления оптической оси, и прежде всего входные элементы преломления оптической оси, могут быть выполнены в виде плоского зеркала или призмы. В одном или более вариантах выполнения изобретения в элементах преломления оптической оси может дополнительно осуществляться компенсация геометрических аберраций.In addition, in one or more embodiments, the refractive elements of the optical axis, and especially the input refractive elements of the optical axis, can be made in the form of a flat mirror or prism. In one or more embodiments of the invention, the optical axis refractive elements can additionally be compensated for geometric aberrations.
Так, например, в одном или более неограничивающих вариантах выполнения изобретения входная поверхность (оптическая поверхность объектива, на которую падает оптическое излучение, формирующее изображение наблюдаемой сцены) входного элемента преломления оптической оси, выполненного в виде призмы, может быть выпуклой с центром кривизны в области апертурной диафрагмы. Это может позволить уменьшить аберрации, такие как кома, на стадии разработки оптической системы.So, for example, in one or more non-limiting embodiments of the invention, the input surface (the optical surface of the lens on which the optical radiation that forms the image of the observed scene falls) of the input refraction element of the optical axis, made in the form of a prism, can be convex with a center of curvature in the aperture region. diaphragm. This may allow aberrations such as coma to be reduced at the design stage of an optical system.
Выходной элемент преломления оптической оси также может иметь по меньшей мере одну оптическую поверхность, обладающую кривизной, чтобы способствовать уменьшению аберраций, таких как астигматизм и дисторсия, на стадии разработки оптической системы. Таким образом, введение в оптический узел согласно изобретению элементов преломления оптических осей с криволинейными оптическими поверхностями может быть предпочтительным в определенных вариантах выполнения изобретения, поскольку это способствует улучшению рабочих характеристик оптической системы, повышению разрешающей способности, а также уменьшает количество необходимых линз в группе 3 линз с оптической силой, поскольку компенсация аберраций по меньшей мере частично реализуется в упомянутых элементах преломления оптической оси. Так, например, в случае выполнения выходного элемента преломления оптической оси в форме призмы в каждом из объективов оптическая поверхность выходного элемента преломления оптической оси, обращенная к группе линз с оптической силой, может быть выпуклой, а оптическая поверхность, обращенная к датчику изображения, может быть вогнутой, как проиллюстрировано на Фиг. 8.The output refractive element of the optical axis may also have at least one optical surface having a curvature to help reduce aberrations such as astigmatism and distortion during the development of the optical system. Thus, the introduction of optical axis refractive elements with curved optical surfaces into the optical assembly according to the invention may be preferable in certain embodiments of the invention, since this improves the performance of the optical system, increases resolution, and also reduces the number of lenses required in the
Как указано выше, массив объективов в оптическом узле согласно изобретению имеет минимальное количество объективов, то есть формирует минимальное количество каналов поля зрения, составляющее 2×2. Такое количество объективов в массиве обеспечивает минимальную кратность зумирования и позволяет повысить разрешение итогового изображения за счет вышеупомянутого алгоритма «суперразрешения».As stated above, the lens array in the optical assembly according to the invention has a minimum number of lenses, that is, it forms a minimum number of field of view channels of 2x2. This number of lenses in the array provides the minimum zoom ratio and allows you to increase the resolution of the final image due to the aforementioned “super resolution” algorithm.
Поскольку элементы преломления оптической оси вращаются вокруг оптической оси линз (более конкретно - вокруг оси X и/или Z, как описано выше), изображение на плоскости датчика изображения, формируемое каждым из каналов FOV, соответственно поворачивается вокруг оптической оси этого канала, делая области переналожения неравномерными, что ограничивает размер поля зрения итогового изображения в вышеописанном втором («широкоугольном») режиме.Since the refractive elements of the optical axis rotate around the optical axis of the lenses (more specifically, around the X and/or Z axis as described above), the image on the image sensor plane formed by each of the FOV channels is respectively rotated around the optical axis of that channel, making areas of overlap uneven, which limits the size of the field of view of the final image in the second (“wide-angle”) mode described above.
Количество объективов в массиве объективов с дважды преломленной оптической осью и, соответственно, количество каналов поля зрения на плоскости датчика изображения может быть различным в разных вариантах выполнения. В общем случае, возможны два варианта:The number of lenses in an array of lenses with a doubly refracted optical axis and, accordingly, the number of channels of the field of view on the plane of the image sensor can be different in different embodiments. In general, two options are possible:
- сохранение соотношения сторон кадра в первом и во втором вышеописанных режимах; или- maintaining the aspect ratio of the frame in the first and second modes described above; or
- изменение соотношения сторон кадра в зависимости от первого и второго режима. - changing the aspect ratio of the frame depending on the first and second modes.
В первом случае массив объективов может содержать объективы, формирующие, соответственно, 2×2, 2×3 (или 3×2), 3×3 канала поля зрения на плоскости датчика изображения.In the first case, the array of lenses may contain lenses that form, respectively, 2x2, 2x3 (or 3x2), 3x3 channels of the field of view on the plane of the image sensor.
Например, в случае 2×3 (или 3×2) каналов на плоскости датчика изображения в общей сложности формируются изображения, соответствующие 6 каналам поля зрения (FOV). Все каналы FOV имеют свои соответствующие величины (углы) поворота входных элементов преломления оптической оси, за счет чего в итоговом изображении на датчике изображения реализуется широкое поле зрения (FOV).For example, in the case of 2x3 (or 3x2) channels on the image sensor plane, images corresponding to 6 channels of the field of view (FOV) are formed in total. All FOV channels have their respective amounts (angles) of rotation of the input refractive elements of the optical axis, due to which a wide field of view (FOV) is realized in the final image on the image sensor.
В случае конфигурации массива объективов с дважды преломленной оптической осью 3×3 на плоскости датчика изображения формируется 9 каналов FOV. Все каналы FOV характеризуются своими величинами поворота входных элементов преломления оптической оси и вместе обеспечивают широкое поле зрения итогового изображения. В этом частном варианте выполнения, конфигурация которого проиллюстрирована на Фиг. 9, центральный объектив в массиве объективов не является объективом с дважды преломленной оптической осью, поскольку в массиве отсутствует место для размещения всех элементов такого центрального объектива среди других объективов с дважды преломленной оптической осью, конструкция которых описана выше.In the case of a lens array configuration with a 3×3 doubly refracted optical axis, 9 FOV channels are formed on the image sensor plane. All FOV channels are characterized by their input optical axis rotations and together provide a wide field of view of the final image. In this particular embodiment, the configuration of which is illustrated in FIG. 9, the central lens in the lens array is not a doubly refracting optical axis lens, since there is no space in the array to accommodate all the elements of such a central lens among other doubly refracting optical axis lenses, the construction of which is described above.
Во втором случае, в котором нет ограничения по соотношению сторон кадра изображения, могут быть предусмотрены варианты выполнения массива объективов с различными конфигурациями каналов FOV.In the second case, in which there is no limitation on the aspect ratio of the image frame, the lens array may be provided with different FOV channel configurations.
Возможна конфигурация 1×N (1×3, 1×4 и т.п.). В такой конфигурации N объективов размещают таким образом, что их выходные элементы преломления оптической оси располагаются над плоскостью датчика изображения в один ряд. Все объективы имеют свои соответствующие величины (углы) поворота входных элементов преломления оптической оси, за счет чего в итоговом изображении на датчике изображения реализуется широкое поле зрения (FOV).1×N configuration (1×3, 1×4, etc.) is possible. In such a configuration, N lenses are placed in such a way that their optical axis output refractive elements are arranged in a single row above the image sensor plane. All lenses have their respective values (angles) of rotation of the input refractive elements of the optical axis, due to which a wide field of view (FOV) is realized in the final image on the image sensor.
Возможна конфигурация 2×N. В данной конфигурации 2N объективов размещены таким образом, что их выходные элементы преломления оптической оси располагаются над плоскостью датчика изображения в два ряда. Все объективы имеют свои соответствующие величины (углы) поворота входных элементов преломления оптической оси, за счет чего в итоговом изображении на датчике изображения реализуется широкое поле зрения (FOV).2×N configuration possible. In this configuration, the 2N lenses are placed so that their optical axis output refractive elements are located above the image sensor plane in two rows. All lenses have their respective values (angles) of rotation of the input refractive elements of the optical axis, due to which a wide field of view (FOV) is realized in the final image on the image sensor.
В случае использования массива объективов, в котором объективы размещены более чем в две линии, возникает та же ситуация, что описана выше на примере конфигурации массива объективов 3×3, то есть между первой и последней линиями отсутствует место для размещения конструкции объектива с дважды преломленной оптической осью для центрального канала FOV.In the case of using a lens array in which lenses are arranged in more than two lines, the same situation occurs as described above for the example of a 3x3 lens array configuration, that is, there is no space between the first and last lines to accommodate a lens structure with a doubly refracted optical axis for the FOV center channel.
В одном или более неограничивающих вариантах выполнения вместо механического изменения положения (поворота вокруг оси X и/или Z) входного элемента преломления оптической оси изменение направления (угла поворота) каждого канала FOV может быть реализовано с использованием дефлектора оптического излучения - электрооптического элемента на основе нематических жидких кристаллов (NLC).In one or more non-limiting embodiments, instead of mechanically changing the position (rotation around the X and/or Z axis) of the input optical axis refraction element, changing the direction (rotation angle) of each FOV channel can be implemented using an optical radiation deflector - an electro-optical element based on nematic liquid crystals (NLC).
Материал NLC может использоваться в сочетании с оптическим полимером, обладающим показателем преломления, близким к показателю преломления NLC. Изменение углов поворота соответствующих каналов FOV в данном случае реализуется за счет изменения пространственного положения (ориентации) молекул NLC в дефлекторе оптического излучения. Когда продольные оси молекул NLC параллельны нижней поверхности элемента (на дефлектор оптического излучения не подается ток), может быть реализован максимальный угол отклонения оптического излучения, и в таком случае может быть реализовано «широкоугольное» итоговое FOV. При подаче тока на дефлектор оптического излучения продольные оси молекул NLC ориентируются перпендикулярно нижней поверхности дефлектора оптического излучения, и пучок оптического излучения с той же поляризацией пропускается через входной элемент преломления оптической оси по существу без преломления.The NLC material can be used in combination with an optical polymer having a refractive index close to that of NLC. The change in the rotation angles of the corresponding FOV channels in this case is realized by changing the spatial position (orientation) of the NLC molecules in the optical radiation deflector. When the longitudinal axes of the NLC molecules are parallel to the bottom surface of the element (no current is applied to the optical deflector), the maximum deflection angle of the optical radiation can be realized, and in such a case a "wide-angle" resulting FOV can be realized. When current is applied to the optical deflector, the longitudinal axes of the NLC molecules are oriented perpendicular to the bottom surface of the optical deflector, and an optical beam of the same polarization is passed through the input optical axis refractive element substantially without refraction.
Ввиду того, что кристаллы NLC работают с поляризованным оптическим излучением, в таких вариантах выполнения перед входным элементом преломления оптической оси должен быть установлен поляризатор для исключения попадания в оптическую систему нежелательного паразитного оптического излучения.Due to the fact that NLC crystals operate with polarized optical radiation, in such embodiments, a polarizer must be installed in front of the input refractive element of the optical axis to prevent unwanted parasitic optical radiation from entering the optical system.
Во втором аспекте настоящего изобретения предусмотрен способ формирования изображения, который по существу представляет собой способ работы оптического узла по вышеописанному первому аспекту настоящего изобретения. Предлагаемый способ содержит следующие этапы.In the second aspect of the present invention, an imaging method is provided, which is essentially the operation method of the optical node according to the above-described first aspect of the present invention. The proposed method contains the following steps.
На этапе S1 вводят падающее оптическое излучение, формирующее изображение наблюдаемой сцены, в массив объективов с дважды преломленной оптической осью через входной элемент преломления оптической оси.At step S1, the incident optical radiation, which forms the image of the observed scene, is introduced into the array of lenses with a doubly refracted optical axis through the optical axis refractive input element.
Далее, после прохождения оптическим излучением входного элемента преломления оптической оси, в котором выполняется преломление (поворот) оптической оси, на этапе S2 пропускают оптическое излучение через по меньшей мере одну линзу с оптической силой. Упомянутая по меньшей мере одна линза с оптической силой может представлять собой группу линз, которые могут быть выполнены с возможностью компенсации аберраций и т.п.Further, after the optical radiation passes through the optical axis refractive input element, in which the optical axis is refracted (rotated), at step S2, the optical radiation is passed through at least one lens with an optical power. The at least one power lens may be a group of lenses that can be configured to compensate for aberrations and the like.
Далее, на этапе S3 выводят оптическое излучение через выходной элемент преломления оптической оси на датчик изображения. В выходном элементе преломления оптической оси, который в одном или более вариантах выполнения изобретения является неподвижным, выполняется второе преломление (поворот) оптической оси оптического излучения, после чего оптическое излучение, формирующее соответствующий канал FOV, попадает на плоскость датчика изображения.Next, at step S3 output optical radiation through the output refractive element of the optical axis to the image sensor. In the optical axis refractive output element, which is fixed in one or more embodiments of the invention, the second refraction (rotation) of the optical axis of the optical radiation is performed, after which the optical radiation forming the corresponding FOV channel enters the image sensor plane.
В предлагаемом способе направление поля зрения входного элемента преломления оптической оси изменяется путем его поворота вокруг оси X и/или оси Z для формирования соответствующего канала поля зрения на датчике изображения.In the proposed method, the direction of the field of view of the input refractive element of the optical axis is changed by rotating it around the X-axis and/or the Z-axis to form the corresponding field of view channel on the image sensor.
Вышеописанное изобретение обеспечивает достижение по меньшей мере следующих технических эффектов.The above invention achieves at least the following technical effects.
За счет размещения массива объективов, формирующих узкие каналы поля зрения по существу параллельно плоскости датчика изображения, а также за счет использования объективов с дважды преломленной («дважды сложенной») оптической осью обеспечивается малая толщина оптического узла согласно изобретению. Это, в свою очередь, позволяет применять оптический узел согласно изобретению в миниатюрных устройствах формирования изображения, встраиваемых в различные портативные пользовательские устройства и т.п.By placing an array of lenses that form narrow channels of the field of view essentially parallel to the plane of the image sensor, as well as by using lenses with a doubly refracted ("doubly folded") optical axis, a small thickness of the optical assembly according to the invention is provided. This, in turn, allows the optical assembly according to the invention to be used in miniature imaging devices embedded in various portable user devices and the like.
За счет объединения каналов FOV, формируемых объективами массива объективов с дважды преломленной оптической осью, а также за счет того, что каждый канал FOV имеет низкое значение числа F, достигается высокое разрешение итогового изображения.By combining the FOV channels formed by the lenses of the doubly refracted optical axis lens array, and by having each FOV channel have a low F-number, a high resolution of the final image is achieved.
Благодаря тому, что входные элементы преломления оптической оси выполнены с возможностью поворота вокруг оси X и/или оси Z таким образом, что каждый входной элемент преломления оптической оси занимает свое уникальное положение и формирует свой канал FOV с соответствующим углом поворота и/или с полем зрения, захватывающим соответствующую часть наблюдаемой сцены, обеспечивается возможность изменения поля зрения итогового изображения от узкого поля зрения, соответствующего изображению, захватываемому телеобъективом, до широкого поля зрения, соответствующего изображению, захватываемому широкоугольным объективом.Due to the fact that the input refractive elements of the optical axis are made with the possibility of rotation around the X-axis and/or Z-axis in such a way that each input refractive element of the optical axis takes its unique position and forms its own FOV channel with the corresponding rotation angle and/or field of view , capturing the corresponding part of the observed scene, it is possible to change the field of view of the final image from a narrow field of view, corresponding to the image captured by a telephoto lens, to a wide field of view, corresponding to the image captured by a wide-angle lens.
Кроме того, при внимательном прочтении вышеприведенного описания специалистам в данной области техники будут очевидны и другие полезные технические эффекты, которые могут быть достигнуты при использовании конкретных вариантов выполнения настоящего изобретения.In addition, upon careful reading of the foregoing description, those skilled in the art will appreciate other beneficial technical effects that can be achieved by using specific embodiments of the present invention.
Специалистам в данной области техники будет понятно, что выше описаны и показаны на чертежах лишь некоторые из возможных примеров технических приемов и материально-технических средств, которыми могут быть реализованы варианты выполнения настоящего изобретения. Приведенное выше подробное описание вариантов выполнения изобретения не предназначено для ограничения или определения объема правовой охраны настоящего изобретения.Those skilled in the art will appreciate that what has been described and shown in the drawings above are only some of the possible examples of techniques and facilities by which embodiments of the present invention may be implemented. The above detailed description of embodiments of the invention is not intended to limit or determine the scope of legal protection of the present invention.
Предлагаемое изобретение может быть использовано в конструкции камеры с высоким разрешением и возможностью изменения поля зрения (фокусного расстояния) для портативных пользовательских устройств, таких как смартфон, планшетный компьютер, портативный компьютер, ноутбук и т.п. Кроме того, изобретение может быть использовано в любых других устройствах, содержащих миниатюрную камеру с высоким разрешением и возможностью изменения поля зрения (фокусного расстояния).The present invention can be used in the design of a camera with a high resolution and the ability to change the field of view (focal length) for portable user devices such as a smartphone, tablet computer, laptop computer, laptop, etc. In addition, the invention can be used in any other devices containing a miniature camera with high resolution and the ability to change the field of view (focal length).
Другие варианты выполнения, которые могут входить в объем настоящего изобретения, могут быть предусмотрены специалистами в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам, и все такие очевидные модификации, изменения и/или эквивалентные замены считаются входящими в объем настоящего изобретения. При том, что различные признаки изобретения, характеризующие частные варианты его выполнения, изложены в зависимых пунктах формулы изобретения, не исключается объединение признаков различных зависимых пунктов в других сочетаниях, не описанных в явном виде в настоящем документе.Other embodiments that may be within the scope of the present invention may be contemplated by those skilled in the art upon careful reading of the foregoing description with reference to the accompanying drawings, and all such obvious modifications, alterations and/or equivalent substitutions are deemed to be within the scope of the present invention. While the various features of the invention, characterizing private variants of its implementation, are set forth in the dependent claims, the combination of the features of various dependent claims in other combinations not explicitly described in this document is not excluded.
Все источники из уровня техники, приведенные и рассмотренные в настоящем документе, настоящим включены в данное описание путем ссылки, насколько это применимо.All prior art references cited and discussed in this document are hereby incorporated into this specification by reference as far as applicable.
При том, что настоящее изобретение описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники будет понятно, что в нем могут быть выполнены различные изменения в его форме и конкретных подробностях, не выходящие за рамки объема настоящего изобретения, который определяется только нижеприведенной формулой изобретения и ее эквивалентами.While the present invention has been described and illustrated with reference to various embodiments thereof, it will be understood by those skilled in the art that various changes may be made to its form and specific details without departing from the scope of the present invention, which is defined only the following claims and their equivalents.
Claims (25)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220139595A KR20230108208A (en) | 2022-01-10 | 2022-10-26 | Camera with tiltable optical field of view changing elements |
| US18/095,143 US20230236393A1 (en) | 2022-01-10 | 2023-01-10 | Camera with tiltable optical field of view changing elements |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2794436C1 true RU2794436C1 (en) | 2023-04-18 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150288865A1 (en) * | 2014-04-04 | 2015-10-08 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US11245827B2 (en) * | 2019-06-14 | 2022-02-08 | Samsung Electro-Mechanics Co., Ltd. | Portable electronic device and camera module with rotatable reflection module |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150288865A1 (en) * | 2014-04-04 | 2015-10-08 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US11245827B2 (en) * | 2019-06-14 | 2022-02-08 | Samsung Electro-Mechanics Co., Ltd. | Portable electronic device and camera module with rotatable reflection module |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8619368B2 (en) | Whole beam image splitting system | |
| US6618209B2 (en) | Optical apparatus | |
| JP4138671B2 (en) | Zoom lens and electronic still camera using the same | |
| US7463342B2 (en) | Optical tracking device using micromirror array lenses | |
| US6147808A (en) | Decentered image-forming optical system | |
| JP5623356B2 (en) | Imaging device | |
| US6185046B1 (en) | Multiple prism image forming optical system | |
| JP2006217131A (en) | Imaging apparatus | |
| US20090005112A1 (en) | Optical imaging system configurations for handheld devices | |
| US20050259329A1 (en) | Image-taking lens apparatus | |
| JP2008083503A (en) | Zoom lens equipped with reflection surface for reflecting optical path, and imaging apparatus equipped with same | |
| JP4883266B2 (en) | Zoom lens and imaging apparatus | |
| CN113302536B (en) | Image capturing apparatus | |
| RU2794436C1 (en) | Camera with rotating optical elements for switching the field of view | |
| US20230236393A1 (en) | Camera with tiltable optical field of view changing elements | |
| Duparre et al. | Theoretical analysis of an artificial superposition compound eye for application in ultra flat digital image acquisition devices | |
| KR20230108208A (en) | Camera with tiltable optical field of view changing elements | |
| US12019225B2 (en) | Optical system, optical apparatus, imaging apparatus, and method for manufacturing optical system and imaging apparatus | |
| US20220082745A1 (en) | Imaging apparatus | |
| WO2019208407A1 (en) | Camera module, optical device, and method for manufacturing camera module | |
| Zang et al. | Planar multi-aperture fish-eye lens using metagrating | |
| Curatu et al. | Lens design and system optimization for foveated imaging | |
| JP2004340995A (en) | Imaging lens device | |
| EP1197767A2 (en) | Optical apparatus comprising variable mirror | |
| RU2787075C1 (en) | Annular image formation lens with multiple fields of view |