RU2543688C2

RU2543688C2 - Camera and optical system for obtaining 3d images (versions)

Info

Publication number: RU2543688C2
Application number: RU2012144759/28A
Authority: RU
Inventors: Йонг-хва ПАРК; Александр Михайлович Горелов; Александр Федорович Ширанков; Джанг-ву Ю; Сеунг-ван ЛИ
Original assignee: Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date: 2012-02-01
Filing date: 2012-10-22
Publication date: 2015-03-10
Also published as: RU2012144759A

Abstract

FIELD: physics, video.

SUBSTANCE: invention relates to digital shooting and digital image processing. One version discloses an optical display system which includes an objective lens, first and second image sensors with different dimensions, a beam splitter and at least one optical element between the beam splitter and the second image sensor. The beam splitter directs light in a first and a second wavelength range to the first and second image sensors, respectively. The optical element comprises one Fresnel lens and a diffractive optical element (DOE). A camera, which captures a three-dimensional image, includes an optical display system, a light source, an image signal processor (ISP) and a control unit. The processor forms a three-dimensional image from images from the first and second image sensors. The control unit controls operation of the light source and the ISP.

EFFECT: reduced volume and weight of the camera, reduced production costs.

33 cl, 14 dwg

Description

Изобретение касается техники цифровой съемки и обработки цифрового изображения, а более конкретно - компактных оптических систем и камер, снабженных такими системами для получения трехмерных изображений.The invention relates to techniques for digital shooting and processing of digital images, and more specifically to compact optical systems and cameras equipped with such systems for obtaining three-dimensional images.

Наряду с интенсивной разработкой устройств для воспроизведения трехмерных изображений разрабатываются различные конструкции съемочных камер. Наиболее распространенный подход к разработке трехмерной камеры основан на концепции того, что такая камера должна фиксировать информацию об обычном плоском (двумерном) цветном изображении параллельно с данными относительно глубины в ходе одной фотографической операции.Along with the intensive development of devices for reproducing three-dimensional images, various designs of shooting cameras are being developed. The most common approach to the development of a three-dimensional camera is based on the concept that such a camera should capture information about an ordinary flat (two-dimensional) color image in parallel with data on depth during one photographic operation.

Данные карты глубины, касающиеся расстояния между поверхностями объекта съемки и трехмерной камеры получают, обычно, либо методом стерео видения, либо методом триангуляции. Примеры такого подхода можно найти в патенте РФ №2431876 [1] и патентной заявке США №20120162375 [2].Depth map data relating to the distance between the surfaces of the subject and the three-dimensional camera is obtained, usually either by the method of stereo vision or by the method of triangulation. Examples of this approach can be found in RF patent No. 2431876 [1] and US patent application No. 2016162375 [2].

Однако, по мере увеличения расстояния от объекта съемки, точность информации о глубине резко снижается. Кроме того, информация о глубине зависит от характера поверхностей объекта съемки, и, таким образом, получить точные данные о глубине с помощью упомянутых методов весьма затруднительно.However, as the distance from the subject increases, the accuracy of the depth information decreases sharply. In addition, the depth information depends on the nature of the surfaces of the subject, and thus it is very difficult to obtain accurate depth data using the above methods.

Чтобы преодолеть эти затруднения, был разработан метод «пролетного времени» (TOF - Time-of-Flight). В методе TOF источник освещения освещает объект съемки, и затем фиксируется оптическое «пролетное время», то есть период времени, за который световой луч, отраженный от объекта съемки, достигает модуля-приемника.To overcome these difficulties, the “Time-of-Flight” (TOF) method was developed. In the TOF method, the light source illuminates the subject, and then the optical “flight time” is recorded, that is, the period of time during which the light beam reflected from the subject reaches the receiver module.

Освещающий луч имеет специфическую длину волны (например, луч в ближней инфракрасной области - 850 нм) и облучает объект съемки посредством осветительной оптической системы, включающей светоизлучающий диод (светодиод) или лазерный диод (LD), и свет с той же длиной волны, отраженный от объекта съемки, поступает в модуль-приемник.The illuminating beam has a specific wavelength (for example, a beam in the near infrared region - 850 nm) and irradiates the subject with a lighting optical system including a light emitting diode (LED) or laser diode (LD), and light with the same wavelength reflected from the subject, enters the receiver module.

Затем выполняются определенные операции, в ходе которых поступивший свет модулируется с помощью модулятора, имеющего известный коэффициент усиления формы волны, чтобы получить информацию о глубине. Были внедрены различные методы TOF с использованием предопределенного набора операций. Эти методы описаны, например, в патенте США №8120606 [3] и патенте США №8 217 327 [4]. В патенте [4] заявлено устройство для получения изображения глубины, при этом устройство включает: модуль генерации первого луча, испускающего первый луч с первой длительностью импульса; модуль генерации второго луча, испускающего второй луч со второй длительностью импульса; модуль-приемник, принимающий первый отраженный луч, ассоциированный с первым лучом, и второй луч; и модуль-процессор, вычисляющий пролетное время (TOF) и значение глубины, соответствующее первому пикселу модуля-приемника, причем значение глубины определяется на основе нагрузки, поступившей от первого пиксела модуля-приемника, и на основе сравнения величины TOF для, по меньшей мере, одной из длительностей импульса - первой и второй.Then, certain operations are performed during which the incoming light is modulated using a modulator having a known waveform gain to obtain depth information. Various TOF methods have been implemented using a predefined set of operations. These methods are described, for example, in US patent No. 8120606 [3] and US patent No. 8 217 327 [4]. In the patent [4], a device for acquiring a depth image is claimed, the device including: a module for generating a first beam emitting a first beam with a first pulse duration; a second beam generating unit emitting a second beam with a second pulse duration; a receiver module receiving a first reflected beam associated with the first beam and a second beam; and a processor module calculating a flight time (TOF) and a depth value corresponding to the first pixel of the receiver module, the depth value being determined based on the load coming from the first pixel of the receiver module and comparing the TOF value for at least one of the pulse durations is the first and second.

Обычно, трехмерная камера, основанная на методе TOF, включает в себя осветительную оптическую систему для получения информации о глубине и отображающую оптическую систему для фиксации изображения объекта съемки. Отображающая оптическая система генерирует общее цветное изображение, считывая видимый свет, отраженный от объекта съемки, и одновременно генерирует изображение глубины, составленное только из информации о глубине, считывая осветительный свет, отраженный от объекта съемки.Typically, a TOF-based 3D camera includes an optical illumination system for acquiring depth information and an optical system for capturing an image of a subject. The imaging optical system generates a common color image by reading the visible light reflected from the subject, and at the same time generates a depth image composed only of depth information, reading the illumination light reflected from the subject.

С этой целью, отображающая оптическая система может отдельно включать объектив и датчик изображения для видимого света, а также объектив и датчик изображения для осветительного света, то есть, это структура с двумя датчиками и с двумя объективами (см., например, патент США №7560679) [5]. Однако, в структуре с двумя датчиками и с двумя объективами, у цветного изображения и изображения глубины получаются различные поля зрения, и таким образом, требуется отдельный процесс для точного совмещения этих двух изображений. В результате, габариты трехмерной камеры и производственные затраты весьма велики.To this end, the imaging optical system may separately include a lens and an image sensor for visible light, as well as a lens and an image sensor for illuminating light, that is, it is a structure with two sensors and two lenses (see, for example, US patent No. 7560679 ) [5]. However, in the structure with two sensors and with two lenses, the color image and the depth image produce different fields of view, and thus, a separate process is required for the exact combination of these two images. As a result, the dimensions of the three-dimensional camera and manufacturing costs are very large.

Проблема, на решение которой направлено заявляемое изобретение, состоит в разработке компактной отображающей оптической системы и 3D камеры с уменьшенными габаритами на основе такой системы.The problem to which the claimed invention is directed is to develop a compact imaging optical system and a 3D camera with reduced dimensions based on such a system.

Технический результат достигается за счет усовершенствованной конструкции отображающей оптической системы, которая включает в себя: объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, в свет первого диапазона длины волны и свет второго диапазона длины волны, и, соответственно, подачи света первого диапазона длины волны на первый датчик изображения и света второго диапазона длины волны на второй датчик изображения; и, по меньшей мере, один оптический элемент, расположенный между светоделителем и вторым датчиком изображения, подавая, таким образом, формирование изображения, при этом, по меньшей мере, один оптический элемент содержит, по меньшей мере, одну линзу Френеля и дифракционный оптический элемент (DOE).The technical result is achieved due to the improved design of the imaging optical system, which includes: a lens; first and second image sensors having different sizes; a beam splitter configured to separate the light focused by the lens into the light of the first wavelength range and the light of the second wavelength range, and, accordingly, supplying light of the first wavelength range to the first image sensor and light of the second wavelength range to the second image sensor; and at least one optical element located between the beam splitter and the second image sensor, thereby supplying image formation, wherein the at least one optical element comprises at least one Fresnel lens and a diffractive optical element ( DOE).

Это имеет смысл, чтобы упомянутый оптический элемент включал в себя, по меньшей мере, две линзы Френеля, последовательно расположенные вдоль оптической оси между светоделителем и вторым датчиком изображения.It makes sense that said optical element includes at least two Fresnel lenses sequentially located along the optical axis between the beam splitter and the second image sensor.

Альтернативно, упомянутый оптический элемент выполнен комбинированным и включает в себя первый оптический элемент и второй оптический элемент, последовательно расположенные вдоль оптической оси между светоделителем и вторым датчиком изображения, причем первый оптический элемент представлен линзой Френеля, и второй оптический элемент представлен DOE.Alternatively, said optical element is combined and includes a first optical element and a second optical element sequentially arranged along the optical axis between the beam splitter and the second image sensor, the first optical element being a Fresnel lens and the second optical element being DOE.

Первый оптический элемент может быть представлен коллиматором, выполненным с возможностью преобразования света, отраженного от светоделителя, в параллельные световые лучи, в то время как второй оптический элемент выполнен с возможностью формирования изображения за счет сведения параллельных световых лучей на второй датчик изображения.The first optical element can be represented by a collimator configured to convert the light reflected from the beam splitter into parallel light rays, while the second optical element is configured to form an image by converging parallel light rays to a second image sensor.

Отображающая оптическая система может далее включать в себя оптический прерыватель (затвор), расположенный между оптическим элементом и вторым датчиком изображения и выполненный с возможностью модуляции и подачи света первого диапазона длины волны на второй датчик изображения.The imaging optical system may further include an optical chopper (shutter) located between the optical element and the second image sensor and configured to modulate and supply light of the first wavelength range to the second image sensor.

Размер второго датчика изображения может быть меньше, чем размер первого датчика изображения, и свет первого диапазона длины волны может содержать видимый свет, а свет второго диапазона длины волны может содержать инфракрасный свет.The size of the second image sensor may be smaller than the size of the first image sensor, and the light of the first wavelength range may contain visible light, and the light of the second wavelength range may contain infrared light.

Светоделитель может быть выполнен с возможностью передачи света первого диапазона длины волны и отражения света второго диапазона длины волны.The beam splitter can be configured to transmit light of the first wavelength range and reflect light of the second wavelength range.

Согласно другому варианту реализации изобретения, отображающая оптическая система включает в себя объектив; первый и второй датчики изображения, имеющие разные размеры; и светоделитель, выполненный с возможностью разделения света, фокусируемого объективом в свет первого диапазона длины волны и свет второго диапазона длины волны, и, соответственно, подающий свет первого диапазона длины волны на первый датчик изображения и свет второго диапазона длины волны на второй датчик изображения, при этом светоделитель отклонен на ≥45 градусов относительно оптической оси объектива.According to another embodiment of the invention, the imaging optical system includes a lens; first and second image sensors having different sizes; and a beam splitter configured to separate the light focused by the lens into the light of the first wavelength range and the light of the second wavelength range, and, accordingly, supplying light of the first wavelength range to the first image sensor and light of the second wavelength range to the second image sensor, this, the beam splitter is deflected by ≥45 degrees relative to the optical axis of the lens.

Светоделитель может включать в себя первый набор мелких насечек, которые нанесены на светоприемную поверхность светоделителя, причем насечки имеют склоны в ≥45 градусов относительно оптической оси объектива; и второй набор мелких насечек, которые нанесены на световыводящую поверхность светоделителя, причем склоны второго набора насечек выполнены как дополняющие относительно насечек первого набора, и склоны первого набора и склоны второго набора параллельны один другому.The beam splitter may include a first set of small notches that are applied to the light receiving surface of the beam splitter, the notches having slopes of ≥45 degrees relative to the optical axis of the lens; and a second set of small notches that are deposited on the light output surface of the beam splitter, the slopes of the second set of notches being made complementary to the notches of the first set, and the slopes of the first set and the slopes of the second set parallel to one another.

Светоделитель может далее включать в себя фильтр-разделитель длины волны, выполненный с возможностью передачи света первого диапазона длины волны и отражения света второго диапазона длины волны, при этом такой фильтр может быть выполнен в виде пленки, нанесенной поверх первого набора мелких насечек.The beam splitter may further include a wavelength separator configured to transmit light of the first wavelength range and reflect light of the second wavelength range, such a filter may be in the form of a film deposited on top of a first set of small notches.

Светоделитель может включать в себя: первый отражающий дифракционный узор, нанесенный на светоприемную поверхность светоделителя и выполненный с возможностью передачи света первого диапазона длины волны с отражением света второго диапазона длины волны, и размещенный таким образом, что угол отражения отражаемого света второго диапазона длины волны равен приблизительно 45 градусам относительно оптической оси; а второй дифракционный узор нанесен на световыводящую поверхность светоделителя и выполнен как дополняющий относительно первого отражающего дифракционного узора.The beam splitter may include: a first reflective diffraction pattern deposited on the light receiving surface of the beam splitter and configured to transmit light of the first wavelength range with light reflection of the second wavelength range, and arranged so that the reflection angle of the reflected light of the second wavelength range is approximately 45 degrees relative to the optical axis; and a second diffraction pattern is deposited on the light output surface of the beam splitter and is made complementary to the first reflective diffraction pattern.

Отображающая оптическая система может далее включать в себя, по меньшей мере, один оптический элемент, расположенный между светоделителем и вторым датчиком изображения, оптический элемент, формирующий изображение, которое попадает на второй датчик изображения, причем указанный оптический элемент включает, по меньшей мере, один линзу Френеля и дифракционный оптический элемент (DOE).The imaging optical system may further include at least one optical element located between the beam splitter and the second image sensor, an optical element forming an image that hits the second image sensor, said optical element including at least one lens Fresnel and diffractive optical element (DOE).

Согласно другому варианту реализации изобретения, отображающая оптическая система включает в себя объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, на свет первого диапазона длины волны и свет второго диапазона длины волны, выполненную с возможностью подавать свет первого диапазона длины волны на первый датчик изображения, а свет второго диапазона длины волны - на второй датчик изображения, причем светоделитель имеет вогнутую отражающую поверхность, покрытую фильтром-разделителем длины волны, выполненным с возможностью передачи света первого диапазона длины волны и отражения света второго диапазона длины волны.According to another embodiment of the invention, the imaging optical system includes a lens; first and second image sensors having different sizes; a beam splitter configured to separate the light focused by the lens into the light of the first wavelength range and light of the second wavelength range, configured to supply light of the first wavelength range to the first image sensor, and light of the second wavelength range to the second image sensor, moreover, the beam splitter has a concave reflective surface covered with a wavelength separator filter configured to transmit light of the first wavelength range and reflect light of the second apazone wavelength.

Отображающая оптическая система может далее включать в себя выпуклое зеркало, выполненное с возможностью отражения света второго диапазона длины волны, отраженного светоделителем, и плоское зеркало, отражающее свет второго диапазона длины волны, отраженный выпуклым зеркалом, в направлении второго датчика изображения.The imaging optical system may further include a convex mirror configured to reflect light of the second wavelength range reflected by the beam splitter, and a flat mirror reflecting light of the second wavelength range reflected by the convex mirror in the direction of the second image sensor.

Отображающая оптическая система может далее включать в себя плоское зеркало, отражающее свет второго диапазона длины волны, отраженный светоделителем, и выпуклое зеркало, выполненное с возможностью отражения света второго диапазона длины волны, отраженного плоским зеркалом, в направлении второго датчика изображения.The imaging optical system may further include a flat mirror reflecting light of the second wavelength range reflected by the beam splitter, and a convex mirror configured to reflect light of the second wavelength range reflected by the flat mirror in the direction of the second image sensor.

Кроме того, отображающая оптическая система может включать в себя, по меньшей мере, один оптический элемент, расположенный между светоделителем и вторым датчиком изображения, причем данный оптический элемент выполнен с возможностью формирования изображения на вотором датчике изображения и состоит из, по меньшей мере, одной линзы Френеля и дифракционного оптического элемента (DOE).In addition, the imaging optical system may include at least one optical element located between the beam splitter and the second image sensor, and this optical element is configured to form an image on the second image sensor and consists of at least one lens Fresnel and diffractive optical element (DOE).

Согласно другому варианту реализации изобретения, отображающая оптическая система включает: объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, на свет первого диапазона длины волны и свет второго диапазона длины волны, и подачи света первого диапазона длины волны на первый датчик изображения, а света второго диапазона длины волны - на второй датчик изображения, при этом светоделитель включает в себя первое дихроическое зеркало и второе дихроическое зеркало, причем зеркала расположены в верхней области и в нижней области, соответственно, относительно оптической оси объектива, причем первое дихроическое зеркало и второе дихроическое зеркало находятся в частичном контакте друг с другом вдоль оптической оси объектива и повернуты под предопределенным углом одно относительно другого, при этом первое дихроическое зеркало передает свет первого диапазона длины волны и отражает свет второго диапазона длины волны в направлении верхней области оптической оси, а второе дихроическое зеркало передает свет первого диапазона длины волны и отражает свет второго диапазона длины волны в направлении нижней области оптической оси.According to another embodiment of the invention, the imaging optical system includes: a lens; first and second image sensors having different sizes; a beam splitter configured to separate the light focused by the lens into the light of the first wavelength range and the light of the second wavelength range, and supply the light of the first wavelength range to the first image sensor, and the light of the second wavelength range to the second image sensor, wherein the beam splitter includes a first dichroic mirror and a second dichroic mirror, the mirrors being located in the upper region and in the lower region, respectively, relative to the optical axis of the lens, the first the dichroic mirror and the second dichroic mirror are in partial contact with each other along the optical axis of the lens and rotated at a predetermined angle relative to one another, while the first dichroic mirror transmits light of the first wavelength range and reflects light of the second wavelength range in the direction of the upper region of the optical axis and the second dichroic mirror transmits the light of the first wavelength range and reflects the light of the second wavelength range in the direction of the lower region of the optical axis.

Отображающая оптическая система может также включать в себя первое зеркало, которое обращено к первому дихроическому зеркалу и отражает свет первого диапазона длины волны, отраженный первым дихроическим зеркалом, в направлении второго датчика изображения; и второе зеркало, которое обращено к второму дихроическому зеркалу и отражает свет первого диапазона длины волны, отраженный вторым дихроическим зеркалом в направлении второго датчика изображения.The imaging optical system may also include a first mirror that faces the first dichroic mirror and reflects the light of the first wavelength range reflected by the first dichroic mirror in the direction of the second image sensor; and a second mirror that faces the second dichroic mirror and reflects the light of the first wavelength range reflected by the second dichroic mirror in the direction of the second image sensor.

Отражающий дифракционный узор, выполненный с возможностью формирования изображения, может быть нанесен (сформирован) на отражающих поверхностях первого зеркала и второго зеркала.A reflective diffraction pattern configured to form an image can be deposited (formed) on the reflective surfaces of the first mirror and the second mirror.

Согласно еще одному варианту реализации изобретения, отображающая оптическая система включает в себя: объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, на свет первого диапазона длины волны и свет второго диапазона длины волны и подающий свет первого диапазона длины волны на первый датчик изображения, а свет второго диапазона длины волны на второй датчик изображения; и оптоволоконную воронку (концентратор), расположенную между светоделителем и вторым датчиком изображения и имеющую светоприемную поверхность, превышающую по размерам световыводящую поверхность.According to another embodiment of the invention, the imaging optical system includes: a lens; first and second image sensors having different sizes; a beam splitter configured to separate the light focused by the lens into light of a first wavelength range and light of a second wavelength range and supplying light of a first wavelength range to a first image sensor, and light of a second wavelength range to a second image sensor; and an optical fiber funnel (hub) located between the beam splitter and the second image sensor and having a light receiving surface that is larger than the light output surface.

Отображающая оптическая система может также включать, по меньшей мере, один оптический элемент, расположенный между светоделителем и оптоволоконной воронкой и формирующий изображение, поступающее на второй датчик изображения, при этом оптический элемент включает в себя, по меньшей мере, одну линзу Френеля и дифракционный оптический элемент (DOE).The imaging optical system may also include at least one optical element located between the beam splitter and the fiber funnel and forming an image supplied to the second image sensor, wherein the optical element includes at least one Fresnel lens and a diffractive optical element (DOE).

Оптический элемент может включать линзы Френеля, выполненные с возможностью преобразованию лучей света, поступающего от светоделителя, в параллельные лучи света, и оптоволоконную воронку, выполненную с возможностью формирования изображения путем сведения параллельных лучей на втором датчике изображения.The optical element may include Fresnel lenses configured to convert the rays of light coming from the beam splitter into parallel rays of light, and a fiber optic funnel configured to form an image by converging parallel rays on a second image sensor.

Оптический элемент может включать линзу Френеля, выполненную с возможностью преобразованию света от светоделителя в параллельные лучи света, и DOE, выполненный с возможностью формирования изображения путем сведения параллельных лучей света, и оптоволоконную воронку, выполненную с возможностью дополнительного формирования изображения, сформированного DOE.The optical element may include a Fresnel lens configured to convert light from the beam splitter into parallel light beams, and a DOE configured to form an image by converging parallel light beams, and a fiber optic funnel configured to further form the image formed by the DOE.

Согласно другому варианту реализации изобретения, камера (аппарат), фиксирующая трехмерное (3D) изображение, включает в себя отображающую оптическую систему, источник освещения, выполненный с возможностью генерации световых лучей и облучения светом второго диапазона длины волны объекта съемки; процессор обработки сигнала изображения (ISP), выполненный с возможностью формирования трехмерного изображения за счет использования изображения, вышедшего из первого датчика изображения, и изображения, вышедшего из второго датчика изображения; и блок управления, выполненный с возможностью управления работой источника освещения и ISP.According to another embodiment of the invention, a camera (apparatus) capturing a three-dimensional (3D) image includes a displaying optical system, a lighting source configured to generate light rays and irradiate light with a second wavelength range of the subject; an image signal processing processor (ISP) configured to generate a three-dimensional image by using an image emerging from a first image sensor and an image emerging from a second image sensor; and a control unit configured to control the operation of the light source and ISP.

Источник освещения может осуществлять облучение светом второго диапазона длины волны, имеющим предопределенный период и предопределенную форму волны, объекта съемки по командам блока управления.The illumination source can irradiate light of the second wavelength range having a predetermined period and a predetermined waveform of the subject under command of the control unit.

Свет первого диапазона длины волны может включать в себя видимый свет, а свет второго диапазона длины волны может включать в себя инфракрасный свет, первый датчик изображения может генерировать цветное изображение, имеющее красный (R) компонент, зеленый (G) компонент, и синий (В) компонент для каждого пиксела, а второй датчик изображения может генерировать изображение глубины относительно расстояния между 3D камерой и объектом съемки.The light of the first wavelength range may include visible light, and the light of the second wavelength range may include infrared light, the first image sensor may generate a color image having a red (R) component, a green (G) component, and blue (B ) component for each pixel, and the second image sensor can generate a depth image relative to the distance between the 3D camera and the subject.

ISP может вычислять расстояние между объектом съемки и 3D камерой для каждого пиксела путем использования выходящего изображения глубины из второго датчика изображения, объединять результаты вычисления с выходящим из первого датчика изображения цветным изображением, и, таким образом, генерировать 3D изображение.ISP can calculate the distance between the subject and the 3D camera for each pixel by using the output depth image from the second image sensor, combine the calculation results with the color image coming out of the first image sensor, and thus generate a 3D image.

Существо заявляемого изобретения станет очевидным и легче воспринимаемым из следующего описания примеров реализации со ссылками на соответствующие графические материалы.The essence of the claimed invention will become apparent and easier to read from the following description of examples of implementation with reference to the relevant graphic materials.

Фиг.1 - концептуальная схема, иллюстрирующая отображающую оптическую систему и структуру 3D камеры, включающей отображающую оптическую систему согласно одному из вариантов реализации изобретения.Figure 1 is a conceptual diagram illustrating a display optical system and the structure of a 3D camera including a display optical system according to one embodiment of the invention.

Фиг.2 - поперечное сечение, иллюстрирующее структуру оптического элемента по Фиг.1.Figure 2 is a cross section illustrating the structure of the optical element of Figure 1.

Фиг.3 - концептуальная схема, иллюстрирующая оптическую систему отображения, которая включает дифракционный оптический элемент (DOE), и структуру 3D камеры, включающей оптическую систему отображения согласно другому варианту реализации изобретения.Figure 3 is a conceptual diagram illustrating an optical display system that includes a diffractive optical element (DOE), and a 3D camera structure including an optical display system according to another embodiment of the invention.

Фиг.4.1 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.Fig. 4.1 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment.

Фиг.4.2 - концептуальная схема, иллюстрирующая модификацию варианта реализации по Фиг.4.1.Fig. 4.2 is a conceptual diagram illustrating a modification of the embodiment of Fig. 4.1.

Фиг.5 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.5 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment.

Фиг.6.1 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.Fig. 6.1 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment.

Фиг.6.2 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.Fig. 6.2 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment.

Фиг.7.1 и 7.2 - виды сбоку и спереди, иллюстрирующие структуру оптической системы отображения, согласно другому варианту реализации.Figures 7.1 and 7.2 are side and front views illustrating the structure of an optical display system according to another embodiment.

Фиг.7.3 - концептуальная схема, иллюстрирующая модификацию варианта реализации по Фиг.7.2.Fig. 7.3 is a conceptual diagram illustrating a modification of the embodiment of Fig. 7.2.

Фиг.8 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.Fig. 8 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment.

Фиг.9 - общий вид волоконно-оптического концентратора (воронки) по Фиг.8.Fig.9 is a General view of the fiber optic hub (funnel) of Fig.8.

Фиг.10 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.10 is a conceptual diagram illustrating a structure of an optical display system according to another embodiment.

Фиг.1 - концептуальная схема, иллюстрирующая оптическую систему отображения и структуру 3D камеры 100, включающей в себя оптическую систему отображения согласно одному из вариантов реализации. На Фиг.1, 3D камера 100 включает источник 101 света, предназначенный для того, чтобы генерировать свет освещения (подсветку) с предопределенной длиной волны, объектив 102, предназначенный для того, чтобы фокусировать как видимый свет, так и свет освещения, которые отражаются от внешнего объекта съемки (не показан), первый датчик 103 изображения, предназначенный для того, чтобы генерировать цветное изображение за счет видимого света, фокусируемого объективом 102, модуль ПО изображения глубины, предназначенный для того, чтобы генерировать изображение глубины за счет света освещения, фокусируемого объективом 102, процессор 104 сигнала изображения ISP, предназначенный для того, чтобы генерировать трехмерное изображение за счет использования цветного изображения и изображения глубины; и блок 107 управления, предназначенный для того, чтобы управлять работой источника 101 света, первый датчик 103 изображения, модуль 110 изображения глубины, и ISP104. Кроме того, 3D камера 100 может далее включать блок 106 памяти, предназначенный для того, чтобы сохранять окончательное трехмерное изображение; и панель дисплея 105, предназначенного для того, чтобы демонстрировать окончательное трехмерное изображение.Figure 1 is a conceptual diagram illustrating an optical display system and the structure of a 3D camera 100 including an optical display system according to one embodiment. 1, the 3D camera 100 includes a light source 101, designed to generate illumination light (backlight) with a predetermined wavelength, a lens 102, designed to focus both visible light and illumination light that are reflected from external image object (not shown), the first image sensor 103, designed to generate a color image due to visible light focused by the lens 102, the depth image image software module, designed to generate an image depths due to the light of illumination focused by the lens 102, an ISP image signal processor 104 designed to generate a three-dimensional image by using a color image and a depth image; and a control unit 107 for controlling the operation of the light source 101, a first image sensor 103, a depth image module 110, and ISP104. In addition, the 3D camera 100 may further include a memory unit 106 for storing the final three-dimensional image; and a display panel 105 for displaying the final three-dimensional image.

Например, источник 101 света может представлять собой светоизлучающий диод (LED) или лазерный диод (LD), который способен генерировать света освещения (подсветки), в состав которого входит свет ближнего инфракрасного диапазона (NIR) с длиной волны порядка 850 нм, который безопасен и невидим для человеческого глаза. Однако, вышеупомянутые параметры источника света 101 приведены лишь в качестве примера и, следовательно, существует возможность применения подсветки в другом подходящем диапазоне длины волн, а также и различных типов источника света, в зависимости от конструкции. Кроме того, источник 101 света может, по командному сигналу, полученному из блока 107 управления, генерировать свет освещения (подсветку) с синусоидальной, пилообразной или приямоугольной формой волны и с конкретно определенной длиной волны.For example, the light source 101 may be a light emitting diode (LED) or a laser diode (LD) that is capable of generating illumination (backlight) light, which includes near-infrared (NIR) light with a wavelength of about 850 nm, which is safe and invisible to the human eye. However, the above parameters of the light source 101 are given only as an example and, therefore, it is possible to use the backlight in another suitable wavelength range, as well as various types of light source, depending on the design. In addition, the light source 101 may, by a command signal received from the control unit 107, generate illumination light (backlight) with a sinusoidal, sawtooth or rectangular shape and with a specific wavelength.

Кроме того, модуль 110 изображения глубины может включать в себя светоделитель 111, который подает видимый свет на первый датчик 103 изображения путем передачи видимого света, сфокусированного объективом 102, и который отражает свет освещения (подсветку); второй датчик 115 изображения, который генерирует изображение глубины за счет получения свет освещения (подсветки), отраженного светоделителем 111; по крайней мере, по одному оптическому элементу 112 и 113, которые расположены между светоделителем 111 и вторым датчиком 115 изображения; и оптический прерыватель (затвор) 114, который расположен между вторым датчиком 115 изображения и оптическими элементами 112 и 113 и модулирует свет освещения (подсветки), используя форму волны с предопределенным коэффициентом усиления согласно методу «пролетного времени» (TOF).In addition, the depth image module 110 may include a beam splitter 111, which supplies visible light to the first image sensor 103 by transmitting visible light focused by the lens 102, and which reflects the illumination light (backlight); a second image sensor 115, which generates an image of the depth by receiving light illumination (backlight) reflected by the beam splitter 111; at least one optical element 112 and 113, which are located between the beam splitter 111 and the second image sensor 115; and an optical chopper (shutter) 114, which is located between the second image sensor 115 and the optical elements 112 and 113 and modulates the illumination (backlight) light using a waveform with a predetermined gain according to the "flight time" (TOF) method.

Фильтр-разделитель длины волны, который передает свет в видимом световом диапазоне и отражает свет в ближнем инфракрасном диапазоне (NIR), может быть нанесен в виде покрытия на поверхности светоделителя 111. В схеме на Фиг.1, светоделитель 111 передает видимый свет и отражает свет подсветки, но это может быть видоизменено. В зависимости от конструкции, светоделитель 111 может передать свет подсветки и отражать видимый свет. В дальнейшем, для удобства описания, предполагается, что светоделитель 111 передает видимый свет и отражает свет подсветки.A wavelength separator filter that transmits light in the visible light range and reflects light in the near infrared (NIR) region can be coated on the surface of the beam splitter 111. In the circuit of FIG. 1, the beam splitter 111 transmits visible light and reflects light backlighting, but this can be modified. Depending on the design, the beam splitter 111 may transmit backlight and reflect visible light. Hereinafter, for convenience of description, it is assumed that the beam splitter 111 transmits visible light and reflects the backlight.

В варианте реализации, представленном на Фиг.1, объектив 102, первый датчик 103 изображения, светоделитель 111, оптические элементы 112 и 113, оптический прерыватель (затвор) 114, и второй датчик 115 изображения могут образовывать оптическую систему отображения для 3D камеры 100. Для удобства, на Фиг.1 показана упрощенная структура, но объектив 102 может быть представлен вариообъективом, состоящим из нескольких групп линз. Первый датчик 103 изображения и второй датчик 115 изображения могут быть представлены полупроводниковыми устройствами отображения, такими как устройства с зарядовой связью (CCDs) или устройства с комплементарной логикой на транзисторах металл-оксид-полупроводник (CMOS). Как первый датчик 103 изображения, так и второй датчик 115 изображения имеют множество пикселов и преобразуют попадающий на них свет в электрический сигнал для каждого пиксела и затем выводят электрический сигнал.In the embodiment of FIG. 1, the lens 102, the first image sensor 103, the beam splitter 111, the optical elements 112 and 113, the optical chopper (shutter) 114, and the second image sensor 115 can form an optical display system for the 3D camera 100. For convenience, figure 1 shows a simplified structure, but the lens 102 can be represented by a zoom lens consisting of several groups of lenses. The first image sensor 103 and the second image sensor 115 may be represented by semiconductor display devices, such as charge-coupled devices (CCDs) or complementary logic devices based on metal oxide semiconductor transistors (CMOS). Both the first image sensor 103 and the second image sensor 115 have a plurality of pixels and convert the light incident on them into an electrical signal for each pixel and then output an electrical signal.

У первого датчика 103 изображения для того, чтобы сформировать общее цветное изображение, может быть более высокая разрешающая способность, по сравнению со вторым датчиком 115 изображения, что обеспечивает возможность генерирования изображение глубины, содержащее только информацию о глубине. Таким образом, у второго датчика 115 изображения может быть меньший размер, чем у первого датчика 103 изображения. Кроме того, чтобы получить информацию о глубине относительно объекта съемки, оптический прерыватель 114 модулирует свет подсветки за счет использования формы волны с предопределенным коэффициентом усиления согласно методу TOF. Например, оптический прерыватель 114 может быть полупроводниковым модулятором на основе арсенида галлия (GaAs), выполненного с возможностью высокоскоростной работы в диапазоне от нескольких десятков до нескольких сотен МГц.The first image sensor 103 in order to form a common color image may have a higher resolution than the second image sensor 115, which makes it possible to generate a depth image containing only depth information. Thus, the second image sensor 115 may have a smaller size than the first image sensor 103. In addition, in order to obtain depth information regarding the subject, the optical chopper 114 modulates the backlight by using a waveform with a predetermined gain according to the TOF method. For example, the optical chopper 114 may be a gallium arsenide (GaAs) semiconductor modulator configured to operate at high speeds in the range of several tens to several hundred MHz.

Когда размеры первого датчика 103 изображения и второго датчика 115 изображения неодинаковы, цветное изображение, сгенерированное первым датчиком 103 изображения, и изображение глубины, сгенерированное вторым датчиком 115 изображения, могут иметь разные поля зрения. То есть, первый датчик 103 изображения, имеющий больший размер, может сгенерировать цветное изображение с широким полем зрения, тогда как второй датчик 115 изображения может сгенерировать изображение глубины, имеющее узкое поле зрения. Таким образом, чтобы совместить поля зрения первого датчика 103 изображения и второго датчика 115 изображения, оптическая система отображения (увеличение у которой меньше 1), формирующая изображение, может быть расположена между светоделителем 111 и вторым датчиком 115 изображения. При этом изображение, сформированное оптической системой отображения, попадает на второй датчик 115 изображения, и поле зрения изображения, сгенерированного вторым датчиком 115 изображения, может быть расширено при формировании. Оптические элементы 112 и 113, приведенные на Фиг.1, функционируют в качестве оптической системы отображения.When the sizes of the first image sensor 103 and the second image sensor 115 are not the same, the color image generated by the first image sensor 103 and the depth image generated by the second image sensor 115 may have different fields of view. That is, the first image sensor 103 having a larger size can generate a color image with a wide field of view, while the second image sensor 115 can generate a depth image having a narrow field of view. Thus, in order to combine the field of view of the first image sensor 103 and the second image sensor 115, an optical display system (magnification of which is less than 1) forming an image can be located between the beam splitter 111 and the second image sensor 115. In this case, the image formed by the optical display system falls on the second image sensor 115, and the field of view of the image generated by the second image sensor 115 can be expanded during formation. The optical elements 112 and 113 shown in FIG. 1 function as an optical display system.

Когда оптическая система отображения скомпанована как группа обычных преломляющих линз (то есть, выпуклых или вогнутых линз), то объем и вес такой оптической системы и 3D камеры 100 может возрасти и, соответственно, производственные затраты тоже могут возрасти. Таким образом, в данном варианте реализации, каждый из оптических элементов 112 и 113, которые функционируют в качестве оптической системы отображения, может быть выполнен в виде тонкого плоского оптического элемента, такого как линза Френеля или дифракционный оптический элемент (DOE). Фиг.1 иллюстрирует пример, в котором каждый из оптических элементов 112 и 113 представляет собой линзу Френеля.When an optical imaging system is arranged as a group of conventional refractive lenses (i.e., convex or concave lenses), the volume and weight of such an optical system and 3D camera 100 can increase and, accordingly, production costs can also increase. Thus, in this embodiment, each of the optical elements 112 and 113, which function as an optical display system, can be in the form of a thin planar optical element, such as a Fresnel lens or a diffractive optical element (DOE). Figure 1 illustrates an example in which each of the optical elements 112 and 113 is a Fresnel lens.

Как показано на Фиг.2, у линзы Френеля имеется множество кривых поверхностей, распределенных в форме концентрических кругов на плоской пластине. По сравнению с обычной выпуклой линзой или вогнутой линзой, общий размер и вес линзы Френеля могут быть значительно меньшими, а фокусное расстояние может быть сделано очень коротким. Таким образом, при использовании линз Френеля в качестве оптических элементов 112 и 113, расстояние между светоделителем 111 и вторым датчиком 115 изображения может быть существенно уменьшено. В результате, имеется возможность уменьшить объем и вес 3D камеры 100 и снизить производственные затраты.As shown in FIG. 2, the Fresnel lens has many curved surfaces distributed in the form of concentric circles on a flat plate. Compared to a conventional convex lens or a concave lens, the total size and weight of the Fresnel lens can be significantly smaller and the focal length can be made very short. Thus, when using Fresnel lenses as optical elements 112 and 113, the distance between the beam splitter 111 and the second image sensor 115 can be significantly reduced. As a result, it is possible to reduce the volume and weight of the 3D camera 100 and reduce production costs.

Фиг.1 иллюстрирует пример, в котором оптические элементы 112 и 113, выполненные в виде линз Френеля, расположены между светоделителем 111 и вторым датчиком 115 изображения. Например, как оптический элемент 112, выполненный в виде линзы Френеля, так и оптический элемент 113, выполненный в виде линзы Френеля, могут функционировать в качестве генераторов изображения. Альтернативно, оптический элемент 112 может функционировать как коллиматор, который преобразует свет, отраженный светоделителем 111, в параллельные лучи, а оптический элемент 113 может фомировать изображение путем сведения параллельных лучей света на второй датчик 115 изображения. Кроме того, в зависимости от требований к конструкции, могут использоваться как одна линза Френеля, так и три или более линз Френеля для получения точного изображения, в котором аберрация скомпенсирована.Figure 1 illustrates an example in which optical elements 112 and 113, made in the form of Fresnel lenses, are located between the beam splitter 111 and the second image sensor 115. For example, both the optical element 112, made in the form of a Fresnel lens, and the optical element 113, made in the form of a Fresnel lens, can function as image generators. Alternatively, the optical element 112 may function as a collimator that converts the light reflected by the beam splitter 111 into parallel beams, and the optical element 113 can shape the image by converting the parallel light beams to a second image sensor 115. In addition, depending on the design requirements, either one Fresnel lens or three or more Fresnel lenses can be used to obtain an accurate image in which the aberration is compensated.

Далее по тексту будет кратко описана работа 3D камеры 100. Во-первых, по команде с блока управления 107, источник света 101 облучает светом освещения (подсветкой), который представляет собой инфракрасный свет, объект съемки. Например, источник света 101 может излучать свет, имеющий предопределенный период и форму волны, в направлении объекта съемки, согласно методу TOF. После этого, свет подсветки, который является инфракрасным светом и отражается от объекта съемки, фокусируется объективом 102. В то же время, обычный видимый свет, отраженный от объекта съемки, также фокусируется объективом 102. Что касается света, фокусируемого объективом 102,.то видимый свет проходит через светоделитель 111 и затем попадает на первый датчик 103 изображения. Первый датчик 103 изображения подобен устройству отображения обычной фотокамеры и выполнен с возможностью формирования цветного изображения, имеющего красный (R) компонент, зеленый (G) компонент, и синий (В) компонент для каждого пиксела.Next, the operation of the 3D camera 100 will be briefly described. First, by command from the control unit 107, the light source 101 irradiates the illumination light (backlight), which is infrared light, the subject. For example, the light source 101 may emit light having a predetermined period and waveform in the direction of the subject according to the TOF method. After that, the backlight, which is infrared and reflected from the subject, is focused by the lens 102. At the same time, the normal visible light reflected from the subject is also focused by the lens 102. As for the light focused by the lens 102, it is visible the light passes through a beam splitter 111 and then enters the first image sensor 103. The first image sensor 103 is similar to the display device of a conventional camera and is configured to form a color image having a red (R) component, a green (G) component, and a blue (B) component for each pixel.

В том, что касается света, фокусируемого объективом 102, следует отметить, что свет подсветки, который представляет собой инфракрасный свет, отражается светоделителем 111 и затем поступает на оптические элементы 112 и 113. Как описано выше, функция оптических элементов 112 и 113 заключается в формировании изображения путем сведения лучей подсветки на втором датчике 115 изображения. Соотношение размеров изображения может определяться, исходя из соотношения размеров первого датчика 103 изображения и второго датчика 115 изображения. Свет подсветки, который сводится оптическими элементами 112 и 113, модулируют оптическим прерывателем (затвором) 114 и затем направляют на второй датчик 115 изображения. Оптический прерыватель 114 может модулировать свет подсветки путем использования формы волны (сигнала) с предопределенным коэффициентом усиления, имеющей тот же самый период, что и период света подсветки, согласно методу TOF.Regarding the light focused by the lens 102, it should be noted that the backlight, which is infrared light, is reflected by the beam splitter 111 and then transmitted to the optical elements 112 and 113. As described above, the function of the optical elements 112 and 113 is to form image by converting the backlight rays on the second image sensor 115. The aspect ratio of the image can be determined based on the aspect ratio of the first image sensor 103 and the second image sensor 115. The backlight, which is reduced by the optical elements 112 and 113, is modulated by an optical chopper (shutter) 114 and then sent to a second image sensor 115. The optical chopper 114 can modulate the backlight by using a waveform (signal) with a predetermined gain having the same period as the backlight period according to the TOF method.

Второй датчик 115 изображения генерирует изображение глубины, преобразовывая промоделированный света подсветки в электрический сигнал для каждого пиксела. Затем, изображение глубины, выходящее из второго датчика 115 изображения, может быть введено в процессор 104 сигнала изображения. Процессор 104 сигнала изображения может вычислить расстояние между объектом съемки и 3D камерой 100 для каждого пиксела посредством использования выходящего из второго датчика 115 изображения глубины и может объединить результаты вычисления с выходящим из первого датчика 103 цветным изображением, и, таким образом, может формировать трехмерное изображение. Трехмерное изображение может храниться в памяти 106 или может быть выведено на панель дисплея 105.The second image sensor 115 generates a depth image, converting the simulated backlight to an electrical signal for each pixel. Then, a depth image output from the second image sensor 115 may be input to the image signal processor 104. The image signal processor 104 can calculate the distance between the subject and the 3D camera 100 for each pixel by using the depth image coming out of the second sensor 115 and can combine the calculation results with the color image coming out of the first sensor 103, and thus can form a three-dimensional image. A three-dimensional image may be stored in memory 106 or may be displayed on a display panel 105.

В варианте реализации по Фиг.1 оптические элементы 112 и 11 скомпонованы из линз Френеля. Однако, один из оптических элементов 112 и 11, которые образуют оптическую систему отображения, может быть выполнен в виде DOE, вместо линзы Френеля. Фиг.3 -концептуальная схема, иллюстрирующая оптическую систему отображения, включая DOE и структуру 3D камеры 100', включая оптическую систему отображения согласно другому варианту реализации.In the embodiment of FIG. 1, the optical elements 112 and 11 are composed of Fresnel lenses. However, one of the optical elements 112 and 11, which form the optical display system, can be made in the form of DOE, instead of a Fresnel lens. FIG. 3 is a conceptual diagram illustrating an optical display system, including DOE and a 3D camera structure 100 ′, including an optical display system according to another embodiment.

Что касается Фиг.3, то 3D камера 100' может иметь структуру, в которой оптическая система отображения, включающая первый оптический элемент 112, выполненный в виде линзы Френеля, и третий оптический элемент 116, выполненныйв виде DOE, расположена между светоделителем 111 и вторым датчиком 115 изображения. Аналогично линзе Френеля, DOE имеет множество концентрических круговых узоров, которые нанесены на плоскую пластину. Однако, каждый из концентрических круговых узоров не имеет кривой поверхности, преломляющей свет, а имеет узор в виде дифракционной решетки, дифрагирующей свет. DOE может обеспечивать сведение лучей света в соответствии с формой узора дифракционной решетки, который расположен концентрически. Кроме того, как и линза Френеля, DOE может быть выполнен очень тонким и легким.With reference to FIG. 3, the 3D camera 100 ′ may have a structure in which an optical display system including a first optical element 112 made in the form of a Fresnel lens and a third optical element 116 made in the form of a DOE is located between the beam splitter 111 and the second sensor 115 images. Like the Fresnel lens, DOE has many concentric circular patterns that are applied to a flat plate. However, each of the concentric circular patterns does not have a curved surface that refracts light, but has a pattern in the form of a diffraction grating that diffracts light. DOE can provide light beams in accordance with the shape of the diffraction grating pattern, which is located concentrically. In addition, like the Fresnel lens, DOE can be made very thin and light.

В варианте по Фиг.3, первый оптический элемент 112, выполненный в виде линзы Френеля, может функционировать как коллиматор, который преобразует свет, отраженный светоделителем 111, в параллельные лучи света, и третий оптический элемент 116, выполненный в виде DOE, может сформировать изображение путем сведения параллельных лучей света на втором датчике 115 изображения. Для этого первый оптический элемент 112, выполненный в виде линзы Френеля, может быть расположен на фокальной плоскости объектива 102.In the embodiment of FIG. 3, the first optical element 112, made in the form of a Fresnel lens, can function as a collimator that converts the light reflected by the beam splitter 111 into parallel beams of light, and the third optical element 116, made in the form of a DOE, can form an image by converging parallel rays of light on the second image sensor 115. For this, the first optical element 112, made in the form of a Fresnel lens, can be located on the focal plane of the lens 102.

Поскольку испускаемый свет непосредственно не сводится, а сводится только будучи преобразованным в параллельные лучи света, разница между центральной областью и периферийной областью изображения может быть уменьшена. Фиг.3 иллюстрирует пример оптической системы отображения, включающей только первый оптический элемент 112 и третий оптический элемент 116. Однако, в зависимости от предъявляемых к конструкции требований, оптическая система отображения может иметь структуру, в которой объединены три или больше линз Френеля и DOE. Остальная часть конфигурации и функций 3D камеры 100' по Фиг.3 является аналогичной таковым в 3D камере 100 по Фиг.1, поэтому их детальное описание здесь не приводится.Since the emitted light is not directly reduced, but reduced only when converted to parallel rays of light, the difference between the central region and the peripheral region of the image can be reduced. Figure 3 illustrates an example of an optical display system including only the first optical element 112 and the third optical element 116. However, depending on the design requirements, the optical display system may have a structure in which three or more Fresnel lenses and DOE are combined. The rest of the configuration and functions of the 3D camera 100 'of FIG. 3 is similar to that of the 3D camera 100 of FIG. 1, therefore, their detailed description is not given here.

Фиг.4.1 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации. В вариантах по Фиг.1 и 3 светоделитель 111 выполнен в виде покрытия плоской поверхности слоем фильтра-разделителя длины волны. Вообще, светоделитель 111 наклонен, примерно, на 45 градусов относительно оптической оси объектива 102, и, таким образом, у переданного изображения и отраженного изображения количество одинаковое.Fig. 4.1 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment. In the embodiments of FIGS. 1 and 3, the beam splitter 111 is made in the form of a flat surface coating with a layer of a wavelength separator filter. In general, the beam splitter 111 is inclined approximately 45 degrees with respect to the optical axis of the lens 102, and thus the number of the transmitted image and the reflected image is the same.

Однако, вариант по Фиг.4.1 может включать светоделитель 117, который наклонен больше, чем на 45 градусов, например, приблизительно, на 60 градусов, относительно оптической оси. Путем наклона светоделителя 117 на угол, превышающий 45 градусов, ширина оптической системы отображения может быть еще более уменьшена. Когда ширина оптической системы отображения уменьшается, расстояние между объективом 102 и первым датчиком 103 изображения может быть так же уменьшено, и, следовательно, ширину 3D камеры 100 и 100' можно тоже уменьшить. Кроме того, когда светоделитель 117 наклонен более, чем на, приблизительно, 45 градусов, изображение, посупающее на второй датчик 115 изображения, может быть уменьшено за счет светоделителя 117. Таким образом, в варианте по Фиг.4.1, первый оптический элемент 112 и третий оптический элемент 116 могут быть исключены.However, the embodiment of FIG. 4.1 may include a beam splitter 117 that is inclined more than 45 degrees, for example, approximately 60 degrees, relative to the optical axis. By tilting the beam splitter 117 by an angle exceeding 45 degrees, the width of the optical display system can be further reduced. When the width of the optical display system decreases, the distance between the lens 102 and the first image sensor 103 can also be reduced, and therefore, the width of the 3D camera 100 and 100 'can also be reduced. In addition, when the beam splitter 117 is tilted more than approximately 45 degrees, the image coupled to the second image sensor 115 can be reduced by a beam splitter 117. Thus, in the embodiment of FIG. 4.1, the first optical element 112 and the third optical element 116 may be excluded.

Чтобы позволить изображению, переданному светоделителем 117, который наклонен более, чем на 45 градусов, достигнуть первого датчика 103 изображения, и позволить изображению, отраженному светоделителем 117, достигать второго датчика 115 изображения, как показано на Фиг.4.1, имеет смысл нанести на поверхность светоделителя 117 множество мелких насечек 117.1, имеющих приблизительно 45-градусные склоны относительно оптической оси. Например, если светоделитель 117 наклонен примерно на 60 градусов относительно оптической оси, то склоны насечек 117.1 могут иметь наклон около 15 градусов относительно светоприемной поверхности светоделителя 117. Таким образом, насечки 117.1 могут сохранять наклон в 45 градусов относительно оптической оси. Аналогично светоделителю 111 по Фиг.1 и 3, фильтр-разделитель длины волны, который передает свет в видимом световом диапазоне и отражает свет в диапазоне NIR, может быть нанесен в виде покрытия на поверхностях насечек 117.1.To allow the image transmitted by the beam splitter 117, which is tilted more than 45 degrees, to reach the first image sensor 103, and to allow the image reflected by the beam splitter 117 to reach the second image sensor 115, as shown in FIG. 4.1, it makes sense to apply to the surface of the beam splitter 117 a plurality of small incisions 117.1 having approximately 45 degree slopes with respect to the optical axis. For example, if the beam splitter 117 is inclined about 60 degrees relative to the optical axis, then the slopes of the notches 117.1 can have a slope of about 15 degrees relative to the light receiving surface of the beam splitter 117. Thus, the notches 117.1 can maintain a 45 degree inclination relative to the optical axis. Similar to the beam splitter 111 of FIGS. 1 and 3, a wavelength separator filter that transmits light in the visible light range and reflects light in the NIR range can be coated on the surfaces of the notches 117.1.

Чтобы предотвратить расхождение света, прошедшего через светоделитель 117, на насечках 117.1, имеет смысл сформировать мелкие насечки 117.2 на световыводящей поверхности светоделителя 117. Например, насечки 117.2, сформированные на световыводящей поверхности светоделителя 117, могут иметь форму, комплементарную к насечкам 117.1, сформированным на светоприемной поверхности светоделителя 117. Таким образом, насечки 117.2, сформированные на световыводящей поверхности светоделителя 117, и насечки 117.1, сформированный на светоприемной поверхности светоделителя 117 могут быть параллельны одна другой.In order to prevent the divergence of the light passing through the beam splitter 117 on the notches 117.1, it makes sense to form small notches 117.2 on the light output surface of the beam splitter 117. For example, notches 117.2 formed on the light output surface of the beam splitter 117 may have a shape complementary to notches 117.1 formed on the light acceptor the beam splitter surface 117. Thus, the notches 117.2 formed on the light output surface of the beam splitter 117 and the notches 117.1 formed on the light receiving surface of the beam splitter La 117 can be parallel to one another.

В структуре светоделителя 117, свет, отраженный от одного из склонов насечек 117.1, может быть частично блокирован другим склоном насечек 117.1, который является к нему смежным. Однако, из-за того, что светоделитель 117 расположен вне области изображения, то есть, в нефокальной плоскости объектива 102, решетка из склонов насечек 117.1 не может оказывать влияния на окончательное изображение, фокусируемое на второй датчик 115 изображения. Кроме того, когда склоны насечек 117.1 являются достаточно малыми, оптическая интерференция между склонами насечек 117.1 может быть минимизирована таким образом, чтобы было возможно получить неискаженное отраженное изображение.In the structure of the beam splitter 117, the light reflected from one of the slopes of the notches 117.1 may be partially blocked by the other slope of the notches 117.1, which is adjacent to it. However, due to the fact that the beam splitter 117 is located outside the image area, that is, in the non-focal plane of the lens 102, a grid of slopes of the notches 117.1 cannot affect the final image focused on the second image sensor 115. In addition, when the slopes of the notches 117.1 are small enough, the optical interference between the slopes of the notches 117.1 can be minimized so that it is possible to obtain an undistorted reflected image.

Остальная часть структуры оптической системы отображения, за исключением светоделителя 117, в Фиг.4.1 может быть такой же, как структура оптической системы отображения на Фиг.1 или Фиг.3. Например, оптические элементы 112 и 113, сформированные из линз Френеля, или первый оптический элемент 112 и третий оптический элемент 116, сформированный из линз Френеля и DOE, могут быть расположены между светоделителем 117 и вторым датчиком 115 изображения. Однако, из-за того, что изображение может быть сформировано за счет применения светоделителя 117, наклоненного на более, чем 45 градусов, в варианте по Фиг.4.1 можно исключить первый оптический элемент 112 и третий оптический элемент 116. Хотя на Фиг.4.1 показаны первый оптический элемент 112 и третий оптический элемент 116, сформированные из линз Френеля и DOE, это является лишь примером реализации.The rest of the structure of the optical display system, with the exception of the beam splitter 117, in Figure 4.1 may be the same as the structure of the optical display system in Figure 1 or Figure 3. For example, optical elements 112 and 113 formed from Fresnel lenses, or a first optical element 112 and a third optical element 116 formed from Fresnel lenses and DOEs may be located between the beam splitter 117 and the second image sensor 115. However, due to the fact that the image can be formed through the use of a beam splitter 117, tilted more than 45 degrees, in the embodiment of FIG. 4.1, the first optical element 112 and the third optical element 116 can be excluded. Although FIG. 4.1 is shown the first optical element 112 and the third optical element 116, formed from Fresnel lenses and DOE, this is just an example of implementation.

Кроме того, вместо светоделителя 117, на котором расположена решетка из склонов насечек 117.1, снабженная нанесенным на нее покрытием, выполняющим функции фильтра-разделителя длины волны, как показано на Фиг.4.2, можно использовать светоделитель 117', в котором применены отражающие дифракционные узоры 117.3, выполняющие функцию разделения длины волны и функцию формирования изображения. Отражающие дифракционные узоры 117.3 могут выполнять ту же функцию, что и решетка из склонов насечек 117.1 с нанесенным на нее покрытием, выполняющим роль фильтра-разделителя длины волны, и могут также формировать изображение, дополняемое тем, что поступает от первого оптического элемента 112 и третьего оптического элемента 116.In addition, instead of a beam splitter 117, on which a lattice of slopes of notches 117.1 is located, provided with a coating applied thereon that functions as a wavelength separator filter, as shown in Fig. 4.2, a beam splitter 117 'may be used in which reflective diffraction patterns 117.3 are applied performing the function of dividing the wavelength and the function of imaging. Reflective diffraction patterns 117.3 can perform the same function as a lattice of slopes of notches 117.1 coated with a coating that acts as a filter-separator of the wavelength, and can also form an image supplemented by what comes from the first optical element 112 and the third optical element 116.

Например, углы отражения, сформированные отражающими дифракционными узорами 117.3, могут быть единообразно выполнены со значением в 45 градусов относительно оптического угла объектива 102. Кроме того, чтобы предотвратить деформацию изображения, проходящего через светоделитель 117', на световыводящей поверхности светоделителя 117' могут быть нанесены дифракционные узоры 117.4. имеющие комплементарный характер по отношению отражающих дифракционных узоров 117.3. У дифракционных узоров 117.3 и 117.4 могут быть различные формы, соответствующие значению угла наклона светоделителя 117', диапазону длины волны передаваемого света, диапазону длины волны отражаемого света, размеру светоделителя 117', или прочим параметрам.For example, the reflection angles formed by the reflective diffraction patterns 117.3 can be uniformly made with a value of 45 degrees with respect to the optical angle of the lens 102. In addition, to prevent deformation of the image passing through the beam splitter 117 ', diffraction patterns can be applied to the light output surface of the beam splitter 117' patterns 117.4. having a complementary character with respect to reflective diffraction patterns 117.3. Diffraction patterns 117.3 and 117.4 may have various shapes corresponding to the angle of inclination of the beam splitter 117 ', the wavelength range of the transmitted light, the wavelength range of the reflected light, the size of the beam splitter 117', or other parameters.

Фиг.5 - концептуальная схема, иллюстрирующая структуру оптической системы отображения согласно другому варианту реализации. Светоделители 111 и 117, приведенные на Фиг.1, 3, и 4.1, выполнены в виде плоских пластин. Однако, оптическая система отображения, показанная на Фиг.5, включает в себя светоделитель 118, имеющий вогнутую отражающую поверхность с нанесенным на нее покрытием в виде фильтра-разделителя длины волны. Таким образом, как показано на Фиг.5, светоприемная поверхность светоделителя 118 является вогнутой. Вогнутая отражающая поверхность обеспечивает схождение лучей света для того, чтобы светоделитель 118 мог дополнительно способствовать формированию изображения, попадающего на второй датчик 115 изображения. Кроме того, за счет использования светоделителя 118 с вогнутой отражающей поверхностью может быть уменьшена ширина оптической системы отображения.5 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment. The beam splitters 111 and 117 shown in FIGS. 1, 3, and 4.1 are made in the form of flat plates. However, the optical display system shown in FIG. 5 includes a beam splitter 118 having a concave reflective surface coated thereon in the form of a wavelength separator filter. Thus, as shown in FIG. 5, the light receiving surface of the beam splitter 118 is concave. The concave reflective surface ensures the convergence of light beams so that the beam splitter 118 can further contribute to the formation of an image incident on the second image sensor 115. In addition, by using a beam splitter 118 with a concave reflective surface, the width of the optical display system can be reduced.

Кроме того, как показано на Фиг.6.1 и 6.2, с целью компенсации искажений изображения, вызванных применением вогнутой отражающей поверхности светоделителя 118, между светоделителем 118 и оптическим элементом 112 целесообразно дополнительно поместить выпуклое зеркало 118.1. Например, как показано на Фиг.6.1, изображение, отражаемое светоделителем 118, может отражаться выпуклым зеркалом 118.1 и затем с помощью плоского зеркала 119 может отражаться в направлении второго датчика 115 изображения. Альтернативно, как показано на Фиг.6.2, изображение, отражаемое светоделителем 118, может отражаться плоским зеркалом 119 и затем может отражаться выпуклым зеркалом 118.1 в направлении второго датчика 115 изображения. В отличие от примера на Фиг.5, в примерах на Фиг.6.1 и 6.2 показано, что нет необходимости передавать изображение, отраженное светоделителем 118, непосредственно в направлении второго датчика 115 изображения. Таким образом, светоделитель 118 может быть наклонен еще сильнее. Кроме того, из-за того, что светоделитель, 118 с вогнутой отражающей поверхностью может формировать изображение, первый оптический элемент 112 и третий оптический элемент 116 может быть изъяты в примерах на Фиг.6.1 и 6.2.In addition, as shown in Figs. 6.1 and 6.2, in order to compensate for image distortion caused by the use of the concave reflective surface of the beam splitter 118, it is advisable to additionally place a convex mirror 118.1 between the beam splitter 118 and the optical element 112. For example, as shown in FIG. 6.1, the image reflected by the beam splitter 118 can be reflected by the convex mirror 118.1 and then can be reflected in the direction of the second image sensor 115 using the planar mirror 119. Alternatively, as shown in FIG. 6.2, the image reflected by the beam splitter 118 can be reflected by a planar mirror 119 and then can be reflected by a convex mirror 118.1 in the direction of the second image sensor 115. In contrast to the example in FIG. 5, the examples in FIGS. 6.1 and 6.2 show that it is not necessary to transmit the image reflected by the beam splitter 118 directly in the direction of the second image sensor 115. Thus, the beam splitter 118 can be tilted even more. In addition, due to the fact that the beam splitter 118 with a concave reflective surface can form an image, the first optical element 112 and the third optical element 116 can be removed in the examples in Figures 6.1 and 6.2.

Кроме того, чтобы еще более уменьшить ширину оптической системы отображения, можно использовать множество сложенных вместе светоделителей, вместо использования одного плоского светоделителя.In addition, in order to further reduce the width of the optical display system, a plurality of beamsplitters stacked together can be used instead of using a single planar beamsplitter.

Фиг.7.1 и 7.2 - вид сбоку и спереди на структуру оптической системы отображения, согласно другому варианту реализации.Figures 7.1 and 7.2 are side and front views of a structure of an optical display system, according to another embodiment.

Что касается Фиг.7.1 и 7.2, то светоделитель 120, расположенный между объективом 102 и первым датчиком 103 изображения, может включать первое дихроическое зеркало 120.1 и второе дихроическое зеркало 120.2, которые расположены, соответственно, сверху и снизу оптической оси объектива 102. Как показано на виде сбоку (Фиг.7.1), первое дихроическое зеркало 120.1 и второе дихроическое зеркало 120.2 частично соприкасаются одно с другим на оптической оси, и сложены под предопределенным углом одно относительно другого. Например, первое дихроическое зеркало 120.1, расположенное в верхней области относительно оптической оси, передает видимый свет и отражает свет подсветки, который является инфракрасным светом, в направлении верхней области относительно оптической оси. При этом второе дихроическое зеркало 120.2, расположенное в нижней области относительно оптической оси, передает видимый свет и отражает свет подсветки, который является инфракрасным светом, в направлении нижней области относительно оптической оси. Таким образом, изображение в видимом свете, фокусируемом объективом 102, может проходить сквозь светоделитель 120 и затем попадать на первый датчик 103 изображения.As for Figures 7.1 and 7.2, the beam splitter 120 located between the lens 102 and the first image sensor 103 may include a first dichroic mirror 120.1 and a second dichroic mirror 120.2, which are located, respectively, above and below the optical axis of the lens 102. As shown in side view (Fig. 7.1), the first dichroic mirror 120.1 and the second dichroic mirror 120.2 partially touch one another on the optical axis, and are folded at a predetermined angle one relative to the other. For example, the first dichroic mirror 120.1, located in the upper region relative to the optical axis, transmits visible light and reflects backlight, which is infrared light, in the direction of the upper region relative to the optical axis. In this case, the second dichroic mirror 120.2, located in the lower region relative to the optical axis, transmits visible light and reflects the backlight, which is infrared light, in the direction of the lower region relative to the optical axis. Thus, the image in visible light focused by the lens 102 can pass through the beam splitter 120 and then reach the first image sensor 103.

Чтобы передать изображение в инфракрасном свете на второй датчик 115 изображения, в котором инфракрасный свет отражается и разделяется на верхнюю область и нижнюю область первым дихроическим зеркалом 120.1 и вторым дихроическим зеркалом 120.2, в оптическую система отображения целесообразно дополнительно включить первое зеркало 121.1, обращенное к первому дихроическому зеркалу 120.1, и второе зеркало 121.2, обращенное к второму дихроическому зеркалу 120.2.In order to transmit an infrared image to a second image sensor 115 in which infrared light is reflected and divided into an upper region and a lower region by a first dichroic mirror 120.1 and a second dichroic mirror 120.2, it is advisable to additionally include a first mirror 121.1 facing the first dichroic into the optical display system a mirror 120.1, and a second mirror 121.2, facing the second dichroic mirror 120.2.

Что касается вида спереди, приведенного на Фиг.7.2, то первое зеркало 121.1 может отражать изображение, отраженное в направлении верхней области первым дихроическим зеркалом 120.1, в направлении второго датчика 115 изображения, а второе зеркало 121.2 может отражать изображение, отраженное в направлении нижней области вторым дихроическим зеркалом 120.2, в направлении второго датчика 115 изображения. Таким образом, инфракрасное изображение, разделенное на два изображения первым дихроическим зеркалом 120.1 и вторым дихроическим зеркалом 120.2, может рекомбинироваться во втором датчике 115 изображения первым зеркалом 121.1 и вторым зеркалом 121.2. Для этого, в отличие от предыдущих вариантов реализации, в которых второй датчик 115 изображения расположен ниже светоделителей 111, 117, и 118, а в варианте реализации на Фиг.7.1 и 7.2, второй датчик 115 изображения может быть расположен сбоку от светоделителя 120.As for the front view shown in Fig. 7.2, the first mirror 121.1 can reflect the image reflected in the direction of the upper region by the first dichroic mirror 120.1, in the direction of the second image sensor 115, and the second mirror 121.2 can reflect the image reflected in the direction of the lower region of the second dichroic mirror 120.2, in the direction of the second image sensor 115. Thus, the infrared image divided into two images by the first dichroic mirror 120.1 and the second dichroic mirror 120.2 can be recombined in the second image sensor 115 by the first mirror 121.1 and the second mirror 121.2. For this, in contrast to previous embodiments, in which the second image sensor 115 is located below the beam splitters 111, 117, and 118, and in the embodiment of FIGS. 7.1 and 7.2, the second image sensor 115 may be located on the side of the beam splitter 120.

Как описано выше, при использовании составного (сложенного) светоделителя 120, ширина оптической системы отображения может быть уменьшена наполовину, по сравнению с вариантом использования одного плоского светоделителя. Кроме того, за счет замены первого дихроического зеркала 120.1 и второго дихроического зеркала 120.2 двумя светоделителями 117, снабженными насечками 117.1, как показано на Фиг.4.1, ширину оптической системы отображения можно еще более уменьшить. В варианте реализации на Фиг.7.1 и 7.2 изображение может быть сформировано первым дихроическим зеркалом 120.1 и вторым дихроическим зеркалом 120.2, а также первым зеркалом 121.1 и вторым зеркалом 121.2, за сче чего можно отказаться от первого оптического элемента 112 и третьего оптического элемента 116.As described above, when using the composite (folded) beam splitter 120, the width of the optical display system can be reduced by half, compared with the use of one flat beam splitter. In addition, by replacing the first dichroic mirror 120.1 and the second dichroic mirror 120.2 with two beam splitters 117 provided with notches 117.1, as shown in FIG. 4.1, the width of the optical display system can be further reduced. In the embodiment of FIGS. 7.1 and 7.2, the image may be formed by the first dichroic mirror 120.1 and the second dichroic mirror 120.2, as well as the first mirror 121.1 and the second mirror 121.2, whereby the first optical element 112 and the third optical element 116 can be discarded.

Кроме того, вместо того, чтобы использовать первое зеркало 121.1 и второе зеркало 121.2, как показано на Фиг.7.3, имеется возможность использовать зеркала 121.3 и 121.4, на которых сформированы отражающие дифракционные узоры 123.1 и 123.2, обеспечивающие получение изображения. Отражающие дифракционные узоры 123.1 и 123.2, которые сформированы на отражающих поверхностях зеркал 121.3 и 121.4, могут способствовать получению изображения с помощью первого оптического элемента 112 и третьего оптического элемента 116.In addition, instead of using the first mirror 121.1 and the second mirror 121.2, as shown in FIG. 7.3, it is possible to use mirrors 121.3 and 121.4 on which reflective diffraction patterns 123.1 and 123.2 are formed to provide an image. Reflective diffraction patterns 123.1 and 123.2, which are formed on the reflective surfaces of mirrors 121.3 and 121.4, can facilitate image acquisition using the first optical element 112 and the third optical element 116.

Фиг.8 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно еще одному варианту реализации. Как показано на Фиг.8, оптическая система отображения в данном варианте реализации может включать концентратор в виде волоконно-оптической воронки 122 вместо третьего оптического элемента 116, состоящего из DOE. Таким образом, у оптической системы отображения может быть структура, в которой оптическая система, включающая первый оптический элемент 112, выполненный в виде линзы Френеля, и волоконно-оптическую воронку 122, расположена между светоделителем 111 и вторым датчиком 115 изображения. Как показано на Фиг.9, в принципе, волоконно-оптическая воронка 122 имеет структуру, в которой коэффициент сжатия в светоприемной части пучка оптоволокна отличается от коэффициента сжатия в световыводящей части пучка оптоволокна, чтобы позволяет отличаться размеру входящего изображения отличаться от размера выходящего изображения. Например, когда светоприемная поверхность волоконно-оптической воронки 122 больше световыводящей поверхности волоконно-оптической воронки 122, волоконно-оптическую воронку 122 можно использовать для уменьшения размера изображения.Fig. 8 is a conceptual diagram illustrating the structure of an optical display system according to another embodiment. As shown in FIG. 8, the optical display system in this embodiment may include a hub in the form of a fiber optic funnel 122 instead of the third optical element 116 consisting of DOE. Thus, the optical display system may have a structure in which the optical system including the first optical element 112, made in the form of a Fresnel lens, and a fiber optic funnel 122, is located between the beam splitter 111 and the second image sensor 115. As shown in FIG. 9, in principle, the fiber optic funnel 122 has a structure in which the compression ratio in the light receiving portion of the optical fiber bundle is different from the compression ratio in the light output portion of the optical fiber bundle to allow the size of the incoming image to differ from the size of the output image. For example, when the light receiving surface of the fiber optic funnel 122 is larger than the light output surface of the fiber optic funnel 122, the fiber optic funnel 122 can be used to reduce the image size.

В варианте реализации по Фиг.8, волоконно-оптическая воронка 122 способна формировать изображения, поэтому первый оптический элемент 112 и третий оптический элемент 116 могут быть изъяты. Альтернативно, имеется возможность использования только первого оптического элемента 112, выполненного в виде линзы Френеля. В этом случае, первый оптический элемент 112, выполненный в виде линзы Френеля, может функционировать в качестве коллиматора, который преобразует свет, отраженный от светоделителя 111 в параллельные лучи света. Волоконно-оптическая воронка 122 может создавать изображение путем сведения параллельных лучей света, сформированных первым оптическим элементом 112, на втором датчике 115 изображения.In the embodiment of FIG. 8, the fiber optic funnel 122 is capable of forming images, therefore, the first optical element 112 and the third optical element 116 can be removed. Alternatively, it is possible to use only the first optical element 112, made in the form of a Fresnel lens. In this case, the first optical element 112, made in the form of a Fresnel lens, can function as a collimator that converts the light reflected from the beam splitter 111 into parallel rays of light. Fiber optic funnel 122 can create an image by combining parallel rays of light formed by the first optical element 112, on the second image sensor 115.

Как показано на Фиг.10, имеется возможность использовать волоконно-оптическую воронку 122 совместно с третьим оптическим элементом 116, выполненным в виде DOE. Например, первый оптический элемент 112, представляющий собой линзу Френеля, может преобразовать свет, отраженный из светоделителя 111, в параллельные лучи, третий оптический элемент 116, представляющий собой DOE, может сформировать изображение, и затем волоконно-оптическая воронка 122 может дополнительно способствовать формированию изображения.As shown in FIG. 10, it is possible to use the fiber optic funnel 122 in conjunction with the third optical element 116, made in the form of DOE. For example, the first optical element 112, which is a Fresnel lens, can convert the light reflected from the beam splitter 111 into parallel beams, the third optical element 116, which is a DOE, can form an image, and then the fiber optic funnel 122 can further contribute to image formation .

Необходимо иметь в виду, что представленные здесь в качестве примеров варианты реализации изобретения, следует рассмотреть лишь как иллюстрацию, а не как ограничивающие признаки. Описания признаков или аспектов каждого варианта реализации надо рассматривать как основу для возможных модификаций в рамках изобретательского замысла.It should be borne in mind that the embodiments of the invention presented here as examples should be considered only as an illustration, and not as limiting features. Descriptions of the features or aspects of each embodiment should be considered as the basis for possible modifications within the scope of an inventive concept.

Claims

1. The imaging optical system, including:
a lens that transmits light to a beam splitter;
first and second image sensors having different sizes;
a beam splitter configured to separate the light focused by the lens into the light of the first wavelength range and the light of the second wavelength range and, accordingly, supplying light of the first wavelength range to the first image sensor and light of the second wavelength range to the second image sensor; and,
at least one optical element located between the beam splitter and the second image sensor and forming an image falling on the second image sensor,
wherein the at least one optical element comprises at least one Fresnel lens and a diffractive optical element (DOE).

2. The system according to claim 1, characterized in that the said optical element includes at least two Fresnel lenses and DOE, sequentially located along the optical axis between the beam splitter and the second image sensor.

3. The system according to claim 1, characterized in that said optical element is combined and includes a first optical element and a second optical element sequentially located along the optical axis between the beam splitter and the second image sensor, the first optical element being a Fresnel lens, and the second optical element is represented by DOE.

4. The system according to claim 1, characterized in that said optical element is combined and includes a first optical element and a second optical element sequentially located along the optical axis between the beam splitter and the second image sensor, said first optical element being a collimator made with the possibility of converting light reflected from the beam splitter into parallel light rays, while the second optical element is configured to form due to the reduction of parallel light rays to the second image sensor.

5. The system according to claim 1, characterized in that it further includes an optical chopper located between the optical element and the second image sensor and configured to modulate and supply light of the first wavelength range to the second image sensor.

6. The system according to claim 1, characterized in that the size of the first image sensor exceeds the size of the second image sensor and the light of the first wavelength range is visible light, and the light of the second wavelength range is infrared light.

7. The system according to claim 1, characterized in that the beam splitter is configured to transmit light of the first wavelength range and reflect light of the second wavelength range.

8. The imaging optical system, including:
lens;
first and second image sensors having different sizes;
and a beam splitter configured to separate the light focused by the lens into light of a first wavelength range and light of a second wavelength range and, accordingly, supplying light of a first wavelength range to a first image sensor and light of a second wavelength range to a second image sensor, this beam splitter deviated by ≥ 45 degrees relative to the optical axis of the lens, and the beam splitter includes a first set of small notches that are deposited on the light-receiving surface of the beam splitter, than notches have slopes of ≥ 45 degrees relative to the optical axis of the lens; and a second set of small notches that are deposited on the light output surface of the beam splitter, the slopes of the second set of notches being made complementary to the notches of the first set, and the slopes of the first set and the slopes of the second set parallel to one another.

9. The system of claim 8, characterized in that the beam splitter further includes a wavelength separator filter configured to transmit light of the first wavelength range and reflect light of the second wavelength range, wherein such a filter can be made in the form of a film applied over the first set of small notches.

10. The system of claim 8, characterized in that the beam splitter includes:
a first reflective diffraction pattern deposited on the light receiving surface of the beam splitter and configured to transmit light of the first wavelength range and reflect light of the second wavelength range, and arranged so that the reflection angle of the reflected light of the second wavelength range is approximately 45 degrees relative to the optical axis; but
a second diffraction pattern is deposited on the light-emitting surface of the beam splitter and is made complementary to the first reflective diffraction pattern.

11. The system of claim 8, characterized in that it further includes at least one optical element located between the beam splitter and the second image sensor and configured to form an image that falls on the second image sensor, wherein said optical element includes at least one Fresnel lens and a diffractive optical element (DOE).

12. The imaging optical system, including:
lens;
first and second image sensors having different sizes;
a beam splitter configured to separate the light focused by the lens into the light of the first wavelength range and the light of the second wavelength range and with the ability to apply light of the first wavelength range to the first image sensor, and light of the second wavelength range to the second image sensor, the beam splitter has a concave reflective surface coated with a wavelength separator configured to transmit light of the first wavelength range and reflect light of the second range for us a wave.

13. The system according to item 12, characterized in that it further includes a convex mirror configured to reflect light of the second wavelength range reflected by the beam splitter, and a flat mirror reflecting light of the second wavelength range reflected by the convex mirror in the direction of the second image sensor.

14. The system according to p. 12, characterized in that it further includes a flat mirror reflecting the light of the second wavelength range reflected by the beam splitter, and a convex mirror configured to reflect light of the second wavelength range reflected by the flat mirror in the direction of the second image sensor.

15. The system according to p. 12, characterized in that it further comprises at least one optical element located between the beam splitter and the second image sensor, and this optical element is configured to form an image on the second image sensor and consists of at least at least one Fresnel lens and a diffractive optical element (DOE).

16. The imaging optical system, including:
lens;
first and second image sensors having different sizes;
a beam splitter configured to separate the light focused by the lens into light of a first wavelength range and light of a second wavelength range and supplying light of a first wavelength range to a first image sensor, and light of a second wavelength range to a second image sensor, wherein includes a first dichroic mirror and a second dichroic mirror, the mirrors being located, respectively, in the upper region and in the lower region relative to the optical axis of the lens, the first the dichroic mirror and the second dichroic mirror are in partial contact with each other along the optical axis of the lens and rotated at a predetermined angle one relative to the other, while the first dichroic mirror transmits the light of the first wavelength range and reflects the light of the second wavelength range in the direction of the upper region of the optical axis and the second dichroic mirror transmits light of the first wavelength range and reflects the light of the second wavelength range in the direction of the lower region of the optical axis.

17. The system according to clause 16, characterized in that it includes a first mirror that faces the first dichroic mirror and reflects the light of the first wavelength range reflected by the first dichroic mirror in the direction of the second image sensor, and a second mirror that faces the second dichroic mirror and reflects the light of the first wavelength range, reflected by the second dichroic mirror, in the direction of the second image sensor.

18. The system according to clause 16, characterized in that a reflective diffraction pattern made with the possibility of image formation is applied to the reflective surfaces of the first mirror and the second mirror.

19. The system according to clause 16, characterized in that it further comprises at least one optical element located between the beam splitter and the second image sensor, and this optical element is configured to form an image on the second image sensor and consists of at least at least one Fresnel lens and a diffractive optical element (DOE).

20. The imaging optical system, including:
lens;
first and second image sensors having different sizes;
a beam splitter configured to separate the light focused by the lens into light of a first wavelength range and light of a second wavelength range and supplying light of a first wavelength range to a first image sensor, and light of a second wavelength range to a second image sensor; and
an optical fiber funnel located between the beam splitter and the second image sensor and having a light receiving surface that is larger than the light output surface.

21. The system according to claim 20, characterized in that it further includes at least one optical element located between the beam splitter and the fiber optic funnel and forming an image supplied to the second image sensor, while the optical element includes, at least one Fresnel lens and a diffractive optical element (DOE).

22. The system according to claim 20, characterized in that it includes Fresnel lenses configured to convert the rays of light coming from the beam splitter into parallel rays of light, and a fiber optic funnel configured to form images by converging parallel rays on a second sensor Images.

23. The system according to claim 20, characterized in that it includes a Fresnel lens configured to convert light from a beam splitter into parallel light beams, and DOE configured to form an image by converging parallel light beams, and a fiber optic funnel made with the possibility of additional image formation formed by DOE.

24. A camera capturing a three-dimensional image, including a display optical system according to claim 1, a lighting source configured to generate light rays and irradiate light of a second wavelength range of the subject; an image signal processing processor (ISP) configured to generate a three-dimensional image by using an image emerging from a first image sensor and an image emerging from a second image sensor; and a control unit configured to control the operation of the light source and ISP.

25. The camera according to paragraph 24, wherein the light source is configured to irradiate light of a second wavelength range having a predetermined period and a predetermined waveform of the subject under command of the control unit.

26. The camera according to paragraph 24, wherein the light of the first wavelength range includes visible light, and the light of the second wavelength range includes infrared light, the first image sensor is configured to generate a color image having red (R) a component, a green (G) component and a blue (B) component for each pixel, and the second image sensor is configured to generate a depth image relative to the distance between the camera and the subject.

27. The camera according to paragraph 24, wherein the ISP is configured to calculate the distance between the subject and the camera for each pixel by using the output depth image from the second image sensor, combining the calculation results with the color image coming from the first image sensor and forming 3D Images.

28. A camera capturing a three-dimensional image, including:
imaging optical system according to claim 8,
a lighting source configured to generate light rays and irradiate light with a second wavelength range of the subject;
an image signal processing processor (ISP) configured to generate a three-dimensional image by using an image emerging from a first image sensor and an image emerging from a second image sensor; and
a control unit configured to control the operation of the light source and ISP.

29. A camera capturing a three-dimensional image, including:
imaging optical system according to item 12,
a lighting source configured to generate light rays and irradiate light with a second wavelength range of the subject;
an image signal processing processor (ISP) configured to generate a three-dimensional image by using an image emerging from a first image sensor and an image emerging from a second image sensor; and
a control unit configured to control the operation of the light source and ISP.

30. A camera capturing a three-dimensional image, including:
imaging optical system according to clause 16,
a lighting source configured to generate light rays and irradiate light with a second wavelength range of the subject;
an image signal processing processor (ISP) configured to generate a three-dimensional image by using an image emerging from a first image sensor and an image emerging from a second image sensor; and
a control unit configured to control the operation of the light source and ISP.

31. A camera capturing a three-dimensional image, including:
imaging optical system according to claim 20,
a lighting source configured to generate light rays and irradiate light with a second wavelength range of the subject;
an image signal processing processor (ISP) configured to generate a three-dimensional image by using an image emerging from a first image sensor and an image emerging from a second image sensor; and
a control unit configured to control the operation of the light source and ISP.

32. A display optical system, including:
a beam splitter configured to supply light of a first wavelength range to a first image sensor, and light of a second wavelength range to a second image sensor;
at least one optical element located between the beam splitter and the second image sensor, and the optical element is configured to reduce the image size of the beam splitter in the first wavelength range, and the area of the first image sensor exceeds the area of the second image sensor, while the optical element includes at least one Fresnel lens and a diffractive optical element (DOE).