RU200144U1

RU200144U1 - Super resolution digital microscope

Info

Publication number: RU200144U1
Application number: RU2019134285U
Authority: RU
Inventors: Виталий Вениаминович Беззубик; Николай Романович Белашенков; Ярослав Вадимович Рудин
Original assignee: Акционерное общество "ЛОМО" (АО "ЛОМО")
Priority date: 2019-10-24
Filing date: 2019-10-24
Publication date: 2020-10-08

Abstract

Полезная модель относится к оптической технике, в частности к микроскопии, и может быть использована при получении цифровых изображений микрообъектов со сверхразрешением методом Фурье-птихографии. Цифровой микроскоп со сверхразрешением включает светодиодный осветитель исследуемого объекта, содержащий, по меньшей мере, три светодиода, микрообъектив и фотоприемник изображения. При этом расстояния между каждым светодиодом осветителя и двумя ближайшими к нему светодиодами равны, светодиоды в осветителе расположены на одинаковых расстояниях от центра входного зрачка микрообъектива и каждый из них снабжен коллиматорной линзой, установленной таким образом, что ее оптическая ось пересекает оптическую ось микрообъектива в его переднем фокусе под углом равным апертурному углу микрообъектива. Технический результат заключается в обеспечении возможности повышения качества изображения при обеспечении максимального разрешения. 2 ил.The utility model relates to optical technology, in particular to microscopy, and can be used to obtain digital images of microobjects with superresolution by the Fourier-ptychography method. A digital microscope with super-resolution includes an LED illuminator of the object under study, containing at least three LEDs, a microlens and an image detector. In this case, the distances between each LED of the illuminator and the two LEDs closest to it are equal, the LEDs in the illuminator are located at equal distances from the center of the entrance pupil of the microlens, and each of them is equipped with a collimator lens installed in such a way that its optical axis intersects the optical axis of the microlens in its front focus at an angle equal to the microlens aperture angle. The technical result consists in providing the possibility of improving the quality of the image while ensuring the maximum resolution. 2 ill.

Description

Полезная модель относится к оптической технике, в частности, к микроскопии и может быть использована при получении цифровых изображений микрообъектов со сверхразрешением методом Фурье-птихографии. В основе этого метода лежит использование поочередного освещения помещенного на предметный столик микроскопа объекта под разными углами и фиксации этих изображений фотоприемником. Затем полученные изображения с низким разрешением объединяют по специальному алгоритму в один высококачественный снимок. В результате, например, работая с микрообъективом с малой числовой апертурой и имея соответствующее поле зрения, можно получить изображение объекта с разрешением, соответствующим микрообъективу с высокой числовой апертурой, без изменения поля зрения.The utility model relates to optical technology, in particular, to microscopy and can be used to obtain digital images of microobjects with superresolution by the Fourier-ptychography method. This method is based on the use of alternate illumination of an object placed on the stage of a microscope at different angles and fixation of these images with a photodetector. Then the resulting low-resolution images are combined using a special algorithm into one high-quality image. As a result, for example, working with a micro-lens with a small numerical aperture and having an appropriate field of view, it is possible to obtain an image of an object with a resolution corresponding to a micro-lens with a high numerical aperture, without changing the field of view.

Известен цифровой микроскоп с лазерной системой подсветки объекта наблюдения (Патент США, US 10228550, опубл. 12.03.2019 «Laser-based Fourier ptychographic imaging systems and methods»). Данное устройство реализует метод Фурье-птихографии при получении цифровых изображений со сверхвысоким пространственным разрешением и включает лазерную систему подсветки объекта наблюдения, микрообъектив, матричный фотоприемник, контроллер и дисплей для отображения результата наблюдения, причем лазерная система подсветки объекта наблюдения выполнена в виде лазерного источника, оптического сканера и совокупности зеркал, совместно обеспечивающих возможность освещения объекта наблюдения коллимированным излучением под разными углами относительно оптической оси микрообъектива.Known digital microscope with a laser system for illuminating the object of observation (US Patent, US 10228550, publ. 03/12/2019 "Laser-based Fourier ptychographic imaging systems and methods"). This device implements the Fourier-ptychography method when obtaining digital images with ultra-high spatial resolution and includes a laser system for illuminating the observed object, a micro lens, a matrix photodetector, a controller and a display for displaying the observation result, and the laser system for illuminating the observed object is made in the form of a laser source, an optical scanner and a set of mirrors that together provide the ability to illuminate the object of observation with collimated radiation at different angles relative to the optical axis of the microlens.

Недостатком этого устройства является сложность механического управления лазерным лучом с обеспечением высокой точности его ориентации, а также наличие спекл-структуры в световом поле лазерного излучения, являющейся источником шумов при обработке изображений.The disadvantage of this device is the complexity of mechanical control of the laser beam with a high accuracy of its orientation, as well as the presence of a speckle structure in the light field of laser radiation, which is a source of noise during image processing.

Известен цифровой микроскоп с изображающей системой, основанный на использовании метода мультиплексной Фурье-птихографии (Международная заявка WO 2016/0890331, опубл. 09.06.2016 «Multiplexed Fourier ptychography imaging systems and methods»), включающий систему подсветки объекта наблюдения, микрообъектив, матричный фотоприемник, контроллер и дисплей для отображения результата наблюдения. В данном устройстве осветитель объекта выполнен в виде матрицы светодиодов, а цифровые изображения объекта получают путем последовательного освещения объекта наблюдения излучением нескольких светодиодов, образующих уникальные световые паттерны. Контроллер цифрового микроскопа обеспечивает управление светодиодами в матрице и обрабатывает получаемые с выхода фотодетектора цифровые изображения. Таким образом, получают первый набор изображений с низким разрешением, относящийся к режиму подсветки наблюдаемого объекта несколькими паттернами. Далее формируют второй набор изображений с низким разрешением путем математической обработки первого набора с целью соотнесения каждого изображения с низким разрешением с индивидуальным светодиодом в матрице. Изображение со сверхразрешением получают в результате математической обработки изображений второго набора методом Фурье-птихографии. Данный микроскоп реализует такой сложный алгоритм с целью сокращения времени получения цифрового изображения объекта с высоким пространственным Known digital microscope with an imaging system, based on the use of the method of multiplex Fourier-ptychography (International application WO 2016/0890331, publ. 09.06.2016 "Multiplexed Fourier ptychography imaging systems and methods"), including a system of illumination of the object of observation, microlens, matrix photodetector, controller and display for displaying the observation result. In this device, the illuminator of the object is made in the form of a matrix of LEDs, and digital images of the object are obtained by sequentially illuminating the object of observation with the radiation of several LEDs, which form unique light patterns. The digital microscope controller provides control of the LEDs in the matrix and processes the digital images received from the photodetector output. Thus, the first set of low-resolution images is obtained, related to the illumination mode of the observed object with several patterns. Next, a second set of low-resolution images is generated by mathematically processing the first set to map each low-resolution image to an individual LED in the array. The super-resolution image is obtained as a result of mathematical processing of the second set of images by the Fourier-ptychography method. This microscope implements such a complex algorithm in order to reduce the time for obtaining a digital image of an object with a high spatial

разрешением, однако, компромисс достигается за счет получения результирующих цифровых изображений с непрогнозируемым качеством, т.к. для достижения максимального качества каждый объект наблюдения требует, вообще говоря, индивидуального набора паттернов, который заранее неизвестен.resolution, however, a trade-off is achieved by obtaining the resulting digital images with unpredictable quality, since to achieve maximum quality, each object of observation requires, generally speaking, an individual set of patterns, which is unknown in advance.

Качество изображения со сверхразрешением определяется рядом предъявляемых к осветителю технических требований: высокая точность позиционирования каждого из светодиодов в матрице, идентичность их спектральных и энергетических характеристик, достаточная мощность светового потока, достигающего фотоприемника и др.The quality of the super-resolution image is determined by a number of technical requirements for the illuminator: high positioning accuracy of each of the LEDs in the matrix, the identity of their spectral and energy characteristics, sufficient power of the light flux reaching the photodetector, etc.

Наиболее близким к заявляемой полезной модели и выбранным за прототип является цифровой микроскоп со сверхразрешением, описанный в статье (Jiasong Sun, Chao Zuo, Jialin Zhang, Yao Fan & Qian Chen «High-speed Fourier ptychographic microscopy based on programmable annular illuminations» Scientific Reports. 2018. V. 8(7669). P. 1-12). Прототип включает матричный фотоприемник, микрообъектив, осветитель и программно-аппаратный модуль для реализации метода Фурье-птихографии. Осветитель прототипа выполнен в виде матрицы одинаковых светодиодов с коллимирующими микролинзами. Светодиоды в матрице ориентированы соосно друг другу и расположены в узлах прямоугольной координатной сетки. Осветитель дополнительно включает линзу, расположенную между матрицей светодиодов и микрообъективом.The closest to the claimed utility model and selected for the prototype is a super-resolution digital microscope described in the article (Jiasong Sun, Chao Zuo, Jialin Zhang, Yao Fan & Qian Chen "High-speed Fourier ptychographic microscopy based on programmable annular illuminations" Scientific Reports. 2018. V. 8 (7669). P. 1-12). The prototype includes a matrix photodetector, a microlens, an illuminator, and a software and hardware module for implementing the Fourier-ptychography method. The prototype illuminator is made in the form of a matrix of identical LEDs with collimating microlenses. The LEDs in the matrix are oriented coaxially to each other and are located at the nodes of a rectangular coordinate grid. The illuminator additionally includes a lens located between the LED array and the micro lens.

Цифровые изображения со сверхразрешением в прототипе получают методом Фурье-птихографии путем последовательной регистрации ряда изображений с низким пространственным разрешением при освещении наблюдаемого объекта коллимированными световыми пучками, излучаемыми Digital images with super-resolution in the prototype are obtained by the Fourier-ptychography method by sequential registration of a series of images with low spatial resolution when the observed object is illuminated with collimated light beams emitted

разными светодиодами матрицы, причем освещение объекта каждым светодиодом осуществляют под углом близким к апертурному углу микрообъектива, с последующим синтезом цифрового изображения со сверхразрешением путем математической обработки и преобразования Фурье-спектров изображений с низким пространственным разрешением. Качество цифрового изображения со сверхразрешением в прототипе определяется точностью сведения световых пучков светодиодов на наблюдаемом объекте после прохождения дополнительной линзы, расположенной между матрицей светодиодов и микрообъективом, совпадением их спектральных и энергетических характеристик, а также величиной разброса пространственных параметров волновых фронтов их пучков. Выбор угла сведения световых пучков близким к апертурному углу микрообъектива обеспечивает регистрацию набора изображений низкого разрешения близко к границе режима «светлого поля», что является компромиссом между степенью повышения пространственного разрешения микроскопа и качеством изображений низкого разрешения, обусловленных соотношением сигнал-шум и определяющих устойчивость и сходимость метода Фурье-птихографии.different LEDs of the matrix, and the illumination of the object with each LED is carried out at an angle close to the aperture angle of the microlens, followed by the synthesis of a digital image with superresolution by mathematical processing and transformation of Fourier spectra of images with low spatial resolution. The quality of a digital image with superresolution in the prototype is determined by the accuracy of converging the light beams of LEDs on the observed object after passing through an additional lens located between the LED matrix and the microlens, the coincidence of their spectral and energy characteristics, as well as the value of the spread of the spatial parameters of the wavefronts of their beams. The choice of the convergence angle of light beams close to the aperture angle of the microlens provides registration of a set of low-resolution images close to the border of the "brightfield" mode, which is a compromise between the degree of increase in the spatial resolution of the microscope and the quality of low-resolution images, due to the signal-to-noise ratio and determining stability and convergence Fourier-ptychography method.

Недостатком прототипа является низкое качество изображения со сверхразрешением, обусловленное разбросом углов, под которыми наблюдаемый объект освещают пучки светодиодов матрицы, и разбросом пространственных параметров волновых фронтов этих пучков. Первый фактор обусловлен особенностью расположения светодиодов матрицы в узлах прямоугольной координатной сетки и наличием осевой симметрии дополнительной линзы, обеспечивающей сведение освещающих наблюдаемый объект световых пучков. Эта особенность делает принципиально невозможным точное равенство углов, под The disadvantage of the prototype is the low quality of the image with superresolution, due to the spread of the angles at which the observed object is illuminated by the beams of the matrix LEDs, and the spread of the spatial parameters of the wave fronts of these beams. The first factor is due to the peculiarity of the arrangement of the LEDs of the matrix at the nodes of the rectangular coordinate grid and the presence of axial symmetry of the additional lens, which ensures the convergence of the light beams illuminating the observed object. This feature makes it fundamentally impossible to exactly equal the angles at

которыми разные светодиоды матрицы освещают наблюдаемый объект. Второй фактор связан с наличием самой дополнительной линзы, точнее с ее неустранимыми аберрациями, которые вносят различные искажения в волновые фронты световых пучков от разных светодиодов матрицы. Оба отмеченных фактора существенно влияют на результат обработки и преобразования Фурье-спектров изображений с низким пространственным разрешением и в конечном итоге определяют основной недостаток прототипа. Кроме того, наличие дополнительной линзы в прототипе усложняет его конструкцию и повышает стоимость устройства, т.к. требования к качеству обработки данного оптического компонента должны быть весьма высокими.with which different LEDs of the matrix illuminate the observed object. The second factor is associated with the presence of the additional lens itself, or rather, with its irreparable aberrations, which introduce various distortions into the wavefronts of light beams from different LEDs of the matrix. Both noted factors significantly affect the result of processing and transforming Fourier spectra of images with low spatial resolution and ultimately determine the main disadvantage of the prototype. In addition, the presence of an additional lens in the prototype complicates its design and increases the cost of the device. the requirements for the quality of processing of this optical component must be very high.

Задачей, на решение которой направлена предлагаемая полезная модель, является повышение качества цифровых изображений при обеспечении максимального разрешения микроскопа и упрощении его конструкции.The problem to be solved by the proposed utility model is to improve the quality of digital images while ensuring the maximum resolution of the microscope and simplifying its design.

Поставленная задача решается за счет достижения технического результата, заключающегося в оптимизации структуры осветителя цифрового микроскопа и устранении факторов, снижающих качество цифровых изображений максимального разрешения в прототипе. В частности, светодиоды в осветителе заявляемого устройства расположены по окружности на одинаковом расстоянии друг от друга, что соответствует осевой симметрии, обеспечивающей сведение освещающих наблюдаемый объект световых пучков под одинаковыми углами. Кроме того, волновые фронты световых пучков от разных светодиодов осветителя не испытывают дополнительных фазовых искажений, т.к. в заявляемой полезной модели отсутствует дополнительная линза. Отсутствие указанной линзы дополнительно упрощает конструкцию микроскопа.The problem is solved by achieving a technical result, which consists in optimizing the structure of the digital microscope illuminator and eliminating factors that reduce the quality of digital images of maximum resolution in the prototype. In particular, the LEDs in the illuminator of the claimed device are located around the circumference at the same distance from each other, which corresponds to axial symmetry, which ensures the convergence of the light beams illuminating the observed object at the same angles. In addition, wavefronts of light beams from different LEDs of the illuminator do not experience additional phase distortions, since in the claimed utility model there is no additional lens. The absence of this lens further simplifies the design of the microscope.

Заявляемый технический результат достигается тем, что в цифровом микроскопе со сверхразрешением, включающем светодиодный осветитель исследуемого объекта, содержащий, по меньшей мере, три светодиода, микрообъектив, фотоприемник изображения и компьютер, включающий средства управления светодиодным осветителем, а также средства обработки и отображения цифрового изображения, расстояния между каждым светодиодом осветителя и двумя ближайшими к нему светодиодами равны, светодиоды в осветителе расположены на одинаковых расстояниях от центра входного зрачка микрообъектива и каждый из них снабжен коллиматорной линзой, установленной таким образом, что ее оптическая ось пересекает оптическую ось микрообъектива в его переднем фокусе под углом равным апертурному углу микрообъектива.The claimed technical result is achieved in that in a digital microscope with superresolution, including a LED illuminator of the object under study, containing at least three LEDs, a microlens, an image photodetector and a computer including means for controlling the LED illuminator, as well as means for processing and displaying a digital image, the distances between each LED of the illuminator and two LEDs closest to it are equal, the LEDs in the illuminator are located at equal distances from the center of the entrance pupil of the microlens, and each of them is equipped with a collimator lens installed in such a way that its optical axis intersects the optical axis of the microlens in its front focus under angle equal to the aperture angle of the microlens.

Сущность полезной модели поясняется чертежом. На фиг. 1 представлена схема предлагаемого устройства. На фиг. 2 изображен вид светодиодного осветителя со стороны светодиодов.The essence of the utility model is illustrated by a drawing. FIG. 1 shows a diagram of the proposed device. FIG. 2 shows a view of the LED illuminator from the LED side.

Цифровой микроскоп со сверхразрешением состоит из светодиодного осветителя, содержащего несколько (не менее трех) светодиодов 1, каждый из которых снабжен коллиматорной линзой 2. Светодиоды 1 в осветителе расположены по окружности, центр которой расположен на оптической оси системы, на одинаковых расстояниях от центра входного зрачка микрообъектива 4. Расстояния между каждым светодиодом 1 и двумя соседними к нему светодиодами равны S, а коллиматорные линзы 2 на светодиодах 1 установлены таким образом, что оптическая ось 5 каждой из них пересекает оптическую ось 6 микрообъектива 4 в фокусе 3 микрообъектива 4 под углом α=arctg(R/L) равным апертурному углу A digital microscope with superresolution consists of an LED illuminator containing several (at least three) LEDs 1, each of which is equipped with a collimator lens 2. LEDs 1 in the illuminator are located in a circle, the center of which is located on the optical axis of the system, at equal distances from the center of the entrance pupil microlens 4. Distances between each LED 1 and two adjacent LEDs are equal to S, and collimator lenses 2 on LEDs 1 are installed in such a way that the optical axis 5 of each of them intersects the optical axis 6 of the microlens 4 at the focus 3 of the microlens 4 at an angle α = arctan (R / L) equal to the aperture angle

микрообъектива 4, где L - расстояние от каждого светодиода 1 до фокуса микроообъектива 4, a R - расстояние от каждого светодиода 1 в осветителе до оптической оси микрообъектива 4. Фотоприемник изображения 7 и светодиодный осветитель электрически соединены с компьютером 8, включающим средства управления светодиодным осветителем, а также средства обработки и отображения цифрового изображения.micro-lens 4, where L is the distance from each LED 1 to the focus of the micro-lens 4, and R is the distance from each LED 1 in the illuminator to the optical axis of the micro-lens 4. The image detector 7 and the LED illuminator are electrically connected to the computer 8, which includes the means for controlling the LED illuminator, as well as means for processing and displaying digital images.

Устройство работает следующим образом. Компьютер 8 с помощью средств управления светодиодным осветителем обеспечивает возможность включения и выключения светодиодов 1 в светодиодном осветителе. Излучение каждого светодиода 1 благодаря наличию коллиматорной линзы 2 параллельным пучком освещает установленный в передней фокальной плоскости микрообъектива 4 наблюдаемый объект, изображение которого регистрируют фотоприемником изображения 7. При последовательном включении светодиодов 1 изображение наблюдаемого объекта также последовательно регистрируют фотоприемником изображения 7. В силу осевой симметрии расположения всех светодиодов 1 относительно входного зрачка микрообъектива 4 фотоприемником изображения 7 в заявляемой полезной модели, в отличие от прототипа, регистрируют изображения наблюдаемого объекта с низким разрешением при его освещении под одним и тем же углом с разных направлений, что является необходимым условием для обеспечения точности обработки и формирования синтезированного цифрового изображения с достижением максимального разрешения заявляемого микроскопа методом Фурье-птихографии. Условие равенства каждого угла между оптической осью 5 каждой коллиматорной линзы 2, установленной на каждом светодиоде 1 и оптической осью 6 микрообъектива 4 апертурному углу микрообъектива 4 The device works as follows. Computer 8, using the LED illuminator controls, provides the ability to turn on and off the LEDs 1 in the LED illuminator. The radiation of each LED 1 due to the presence of a collimator lens 2 illuminates the observed object installed in the front focal plane of the microlens 4 with a parallel beam, the image of which is recorded by the image photodetector 7. When the LEDs 1 are switched on in series, the image of the observed object is also sequentially recorded by the image photodetector 7. Due to the axial symmetry of the location of all LEDs 1 relative to the entrance pupil of the microlens 4 by the photodetector of the image 7 in the claimed utility model, in contrast to the prototype, the images of the observed object are recorded with low resolution when illuminated at the same angle from different directions, which is a prerequisite for ensuring the accuracy of processing and formation a synthesized digital image with the achievement of the maximum resolution of the proposed microscope by the Fourier-ptychography method. The condition of equality of each angle between the optical axis 5 of each collimator lens 2 installed on each LED 1 and the optical axis 6 of the microlens 4 to the aperture angle of the microlens 4

обеспечивает повышение качества цифровых изображений высокого разрешения за счет реализации наблюдения объекта в режиме «светлого поля», при котором вероятность появления шумов на изображениях низкого разрешения значительно уменьшается, т.к. регистрируемый световой поток от светодиодов 1 значительно превышает порог чувствительности фотоприемника изображения 7. Работа заявляемой полезной модели завершается получением высококачественного цифрового изображения сверхвысокого разрешения из набора изображений с низким разрешением в компьютере 8 средствами обработки и отображения цифрового изображения.provides an increase in the quality of high-resolution digital images due to the implementation of object observation in the "bright field" mode, in which the probability of noise in low-resolution images is significantly reduced, because the registered luminous flux from LEDs 1 significantly exceeds the sensitivity threshold of the image detector 7. The work of the claimed utility model is completed by obtaining a high-quality ultra-high-resolution digital image from a set of low-resolution images in a computer 8 by means of processing and displaying a digital image.

Claims

A digital microscope with superresolution, including a LED illuminator of the object under study, containing at least three LEDs, a microlens and a photodetector, characterized in that the distances between each LED of the illuminator and two LEDs closest to it are equal, the LEDs in the illuminator are located at equal distances from the center of the entrance pupil of the microlens and each of them is equipped with a collimator lens installed in such a way that its optical axis intersects the optical axis of the microlens in its front focus at an angle equal to the aperture angle of the microlens.