RU2747129C1 - Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе - Google Patents

Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе Download PDF

Info

Publication number
RU2747129C1
RU2747129C1 RU2020115467A RU2020115467A RU2747129C1 RU 2747129 C1 RU2747129 C1 RU 2747129C1 RU 2020115467 A RU2020115467 A RU 2020115467A RU 2020115467 A RU2020115467 A RU 2020115467A RU 2747129 C1 RU2747129 C1 RU 2747129C1
Authority
RU
Russia
Prior art keywords
fiber
center
image
gray value
optical bundle
Prior art date
Application number
RU2020115467A
Other languages
English (en)
Inventor
Цзиньхуа ШАО
Цзинь СУНЬ
Хоули ДУАНЬ
Цян Ван
Original Assignee
Сучжоу Микровьюв Медикал Текнолоджис Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сучжоу Микровьюв Медикал Текнолоджис Ко., Лтд. filed Critical Сучжоу Микровьюв Медикал Текнолоджис Ко., Лтд.
Application granted granted Critical
Publication of RU2747129C1 publication Critical patent/RU2747129C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6484—Optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0635—Structured illumination, e.g. with grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0826—Fibre array at source, distributing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0833—Fibre array at detector, resolving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

Способ реконструкции изображения включает получение изображения оптического жгута с однородной флуоресценцией, определение целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на изображении оптического жгута с однородной флуоресценцией, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте; вычисление значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца; выполнение пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении с целью формирования реконструированного изображения. Технический результат - ускорение реконструкции изображения, устранение следов решетки в преобразованном изображении и повышение качества реконструированного изображения. 3 н. и 22 з.п. ф-лы, 8 ил.

Description

Область техники
Настоящее изобретение относится к технологии обработки изображений и, в частности, к способу и устройству для реконструкции изображения, а также к устройству для формирования изображения в микроскопе.
Уровень техники
Микроскопы структурированного освещения имеют функцию срезов изображения (визуализации среза) с подавлением внефокусных помех и отличаются простотой структуры и высокой скоростью формирования изображения по сравнению с конфокальными микроскопами. На уровне техники они часто используются в качестве обычного эндоскопа и помогают прогнозировать возникновение и развитие опухолей путем сканирования внутренних органов, в частности, желудочно-кишечного тракта человека, и наблюдения изменения формы клеток, что имеет важное определяющее значение для скрининга онкологических заболеваний.
Микроскопы структурированного освещения, в частности, оснащенные излучателем, излучают возбуждающее флуоресценцию организма свечение, которое затем проходит через дифракционную решетку с образованием синусоидального источника света с черно-белыми полосами; далее, с перемещением за каждый раз на треть периода дифракционной решетки, выполняется сбор и получение множества изображений, возвращаемых после сканирования человеческих клеток, например, изображения I1, изображения I2 и изображения I3; после этого изображение I1, изображение I2 и изображение I3 преобразуют по формуле среднеквадратичного значения
Figure 00000001
, получая реконструированное изображение I. Однако такой способ реконструкции требует вычисления уровней серого для всех пикселей изображения I1, изображения I2 и изображения I3 по формуле среднеквадратичного значения. Поэтому вычисления занимают много времени, а реконструированное изображение характерно выраженными следами дифракционной решетки и волоконно-оптических сеток, а также низким качеством изображения.
Сущность изобретения
Для устранения присущих уровню техники недостатков, состоящих в том, что микроскоп структурированного освещения имеет низкую эффективность реконструкции изображения, явные следы решетки на изображении и низкое качество изображения, настоящим изобретением предложены способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе, которые позволят ускорить реконструкцию изображения, устранить следы решетки в преобразованном изображении и повысить качество реконструированного изображения.
Настоящим изобретением предложен способ реконструкции изображения, включающий:
вычисление значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца;
выполнение пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении с целью формирования реконструированного изображения.
В некоторых случаях данный способ дополнительно включает:
получение специального изображения однородного флуоресцентного оптического жгута; и
определение целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на специальном изображении, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте.
В ряде случаев этап получения специального изображения однородного флуоресцентного оптического жгута включает:
сбор множества изображений оптического жгута с заранее заданным интервалом в пределах периода дифракционной решетки; и
получение усредненного изображения для множества изображений оптического жгута с целью формирования специального изображения однородного флуоресцентного оптического жгута.
В ряде случаев способ дополнительно включает следующий этап, выполняемый перед выполнением пространственной интерполяции:
определение весового значения интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна в соответствии с центром каждого волокна.
В ряде случаев способ дополнительно включает определение весового значения интерполяции посредством:
формирования множества треугольных структур с использованием центра каждого волокна и центров соседних волокон в качестве вершин; и
определения весового значения интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна в соответствии с треугольными структурами.
В ряде случаев способ дополнительно включает получение множества изображений образца посредством:
в соответствии с заранее заданным фазным интервалом выполняют перемещение N-1 раз в пределах периода дифракционной решетки для получения N изображений образца, включая начальную фазу и фазу, сдвинутую на заранее заданный фазный интервал относительно начальной фазы.
В ряде случаев заранее заданный фазный интервал равен 120 градусам; а N=3.
В ряде случаев способ дополнительно включает следующие этапы, выполняемые после определения значения серого в центре каждого волокна на одном или нескольких изображениях образца:
выполнение оценки насыщения по значению серого в центре каждого волокна;
при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображении образца, определение того, что волокно, для которого превышен заранее заданный порог насыщения, является волокном, подлежащим коррекции;
корректировка значения серого в центре волокна, подлежащего коррекции, до заранее заданного порога насыщения на реконструированном изображении и выполнение этапа вычисления значений серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображениях образца после коррекции; и
при отсутствии волокон, в центре которых значение серого превышает заранее заданный порог насыщения на изображениях образца, выполнение этапа вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенного на изображениях образца.
В ряде случаев этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на нескольких изображениях образца, включает:
вычитание значения серого в центре каждого волокна на нескольких изображениях образца друг из друга для получения значения разности, вычисление суммы квадратов полученных значений разности и последующее определение квадратного корня для получения значения серого в центре каждого волокна оптического жгута на реконструированном изображении.
Настоящим изобретением также предложено устройство для реконструкции изображения, содержащее:
расчетный модуль, сконфигурированный для вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца; и
формирующий модуль, сконфигурированный для выполнения пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении так, чтобы сформировать реконструированное изображение.
В ряде случаев устройство дополнительно содержит:
первый получающий модуль, сконфигурированный для получения специального изображения однородного флуоресцентного оптического жгута; и
первый определяющий модуль, сконфигурированный для определения целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на специальном изображении, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте.
В ряде случаев первый определяющий модуль содержит:
собирающий подмодуль, сконфигурированный для сбора множества изображений оптического жгута с заранее заданным интервалом в пределах периода дифракционной решетки; и
формирующий подмодуль, сконфигурированный для получения усредненного изображения для нескольких изображений оптического жгута для формирования специального изображения однородного флуоресцентного оптического жгута.
В ряде случаев устройство дополнительно содержит:
второй определяющий модуль, сконфигурированный для определения весового значения интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна в соответствии с центром каждого волокна.
В ряде случаев устройство дополнительно содержит:
третий определяющий модуль, сконфигурированный для формирования множества треугольных структур, вершинами которых служат центры каждого волокна и центры соседних волокон, а также для определения весового значения интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна в соответствии с треугольными структурами.
В ряде случаев устройство дополнительно содержит:
второй получающий модуль, сконфигурированный для перемещения N-1 раз в пределах периода дифракционной решетки в соответствии с заранее заданным фазным интервалом для получения N изображений образца, включая начальную фазу и фазу, сдвинутую на заранее заданный фазный интервал относительно начальной фазы.
В ряде случаев заранее заданный фазный интервал равен 120 градусам; а
N=3.
В ряде случаев устройство дополнительно содержит:
оценочный модуль, сконфигурированный для оценки насыщения по значению серого в центре каждого волокна;
первый обрабатывающий модуль, сконфигурированный для того, чтобы: при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображении образца, определять, что волокно, для которого превышен заранее заданный порог насыщения, является волокном, подлежащим коррекции; корректировать значения серого в центре волокна, подлежащего коррекции, до заранее заданного порога насыщения на реконструированном изображении, и выполнить этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображении образца после коррекции; и
второй обрабатывающий модуль, сконфигурированный для того, чтобы: при отсутствии волокон, в центре которых значение серого превышает заранее заданный порог насыщения на изображениях образца, выполнять этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображениях образца.
В ряде случаев расчетный модуль, специально сконфигурирован для вычитания значения серого в центре каждого волокна на нескольких изображениях образца друг из друга для определения значений разности, и использование суммы квадратов полученных значений разности и последующего вычислением квадратного корня для получения значения серого в центре каждого волокна оптического жгута на реконструированном изображении.
Кроме того, изобретением предложено устройство для формирования изображения в микроскопе, содержащее:
светоизлучающий блок, блок фазовой регулировки, управляющий блок, оптический жгут, содержащий множество волокон, блок обнаружения и блок обработки, причем:
светоизлучающий блок сконфигурирован для излучения возбуждающего света;
блок фазовой регулировки установлен на выходе оптического пути возбуждающего света, соединен с блоком обработки и сконфигурирован для регулировки фазы возбуждающего света в соответствии с количеством фаз, переданным блоком обработки для получения возбуждающего света в различных фазах;
управляющий блок сконфигурирован для управления возбуждающим светом в различных фазах, чтобы управляемый возбуждающий свет фокусировался на исследуемой ткани вдоль направления оптического жгута, а также для управления флуоресценцией в различных фазах, возвращаемой от исследуемой ткани;
блок обнаружения сконфигурирован для сбора флуоресценции в различных фазах для формирования множества изображений образца; и
блок обработки соединен с блоком обнаружения и сконфигурирован для получения множества изображений образца и вычисления значения серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна в оптическом жгуте, определенному по множеству изображений образца; а также для выполнения пространственной интерполяции по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении таким образом, чтобы сформировать реконструированное изображение.
В ряде случаев блок фазовой регулировки содержит: двигатель и дифракционную решетку;
двигатель соединен с блоком обработки и дифракционной решеткой, соответственно, и сконфигурирован для смещения дифракционной решетки в соответствии с количеством фаз, переданным блоком обработки, таким образом, чтобы возбуждающий свет проходил через дифракционную решетку, для получения возбуждающего света, соответствующего количеству фаз.
В ряде случаев двигатель содержит: двигатель постоянного тока;
соответственно, блок обработки определяет количество фаз с равным интервалом по заранее заданному фазному интервалу; двигатель постоянного тока получает количество фаз с равным интервалом и смещает дифракционную решетку на соответствующее интервалу расстояние в пределах периода дифракционной решетки, чтобы блок обработки мог получить множество изображений образца, соответствующих заранее заданному фазному интервалу.
В ряде случаев заранее заданный фазный интервал равен 120 градусам; а количество фаз равно 3.
В ряде случаев светоизлучающий блок содержит: лазер, сконфигурированный для излучения возбуждающего света; а также устройство для рассеивания-фокусировки пучка, установленное на выходе возбуждающего света из лазера и сконфигурированное для рассеивания возбуждающего света и одномерной фокусировки света в линейный луч.
В ряде случаев управляющий блок представляет собой дихроичное зеркало.
В ряде случаев устройство дополнительно содержит фильтр; при этом фильтр установлен между блоком фазовой регулировки и управляющим блоком и сконфигурирован для отфильтровывания рассеянного света.
В ряде случаев блок обнаружения содержит прибор с зарядовой связью (ПЗС).
В ряде случаев устройство дополнительно содержит: линзу объектива, содержащую множество линз; линза объектива установлена между управляющим блоком и оптическим жгутом и сконфигурирована для выполнения процесса фокусировки возбуждающего света, управляемого управляющим блоком.
Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе согласно данному изобретению предназначены для формирования реконструированного изображения путем вычисления значения серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна, определенному по одному или нескольким изображениям образца; а также выполнения пространственной интерполяции по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении. В данном способе реконструкции изображения рассчитывает только значение серого для точки пикселя в центре волокна, после чего посредством пространственной интерполяции получают значения серого для точек пикселей всего изображения, тем самым уменьшая объем вычислений путем вычисления значения серого для каждой точки пикселя и существенно ускоряют реконструкцию изображения; способ полезен для устранения следов дифракционной решетки и волоконно-оптической сетки на реконструированном изображении и улучшения качества реконструированного изображения.
Краткое описание чертежей
На ФИГ. 1 изображена блок-схема способа реконструкции изображения в соответствии с одним из примеров осуществления настоящего изобретения;
На ФИГ. 2 схематично изображен микроэндоскоп со структурированным освещением согласно примеру осуществления изобретения, показанному на ФИГ. 1;
На ФИГ. 3 изображена блок-схема способа реконструкции изображения в соответствии с другим примером осуществления настоящего изобретения;
На ФИГ. 4 изображена принципиальная схема треугольной структуры элемента волокна в соответствии с примером осуществления изобретения, показанным на ФИГ. 3;
На ФИГ. 5 изображена структурная схема устройства для реконструкции изображения в соответствии с одним из примеров осуществления настоящего изобретения;
На ФИГ. 6 изображена структурная схема устройства для реконструкции изображения в соответствии с другим примером осуществления настоящего изобретения;
На ФИГ. 7 изображена структурная схема устройства для формирования изображения в микроскопе в соответствии с одним из примеров осуществления настоящего изобретения; и
На ФИГ. 8 изображена структурная схема устройства для формирования изображения в микроскопе в соответствии с другим примером осуществления настоящего изобретения.
Ссылочные обозначения: 01 - светоизлучающий блок, 011 - лазер, 012 - устройство рассеивания-фокусировки луча, 02 - блок фазовой регулировки, 021 - двигатель, 022 - дифракционная решетка, 03 - управляющий блок, 04 - оптический жгут, 05 - блок обнаружения, 06 - блок обработки, 07 - фильтр, 08 - линза объектива.
Подробное раскрытие ПРИМЕРОВ осуществления изобретения
Для того чтобы прояснить цели, технические решения и преимущества настоящего изобретения, технические решения примеров осуществления настоящего изобретения будут четко и всесторонне раскрыты ниже со ссылкой на соответствующие чертежи примеров осуществления настоящего изобретения. Очевидно, что раскрытые примеры осуществления являются не всеми примерами осуществления, а только их частью. Все прочие примеры осуществления, полученные специалистами в данной области техники на основе примеров осуществления настоящего изобретения без творческой работы, входят в объем защиты настоящего изобретения.
На ФИГ. 1 изображена блок-схема способа реконструкции изображения в соответствии с одним из примеров осуществления настоящего изобретения. Как показано на ФИГ. 1, способ реконструкции изображения, предложенный настоящим изобретением, подходит для реконструкции любых оптических изображений, в частности, для реконструкции изображения на основании структурированного света. Для начала в этом примере осуществления кратко рассмотрим принцип структурированной световой визуализации на примере эндоскопа структурированного освещения:
В микроэндоскопе структурированного освещения, показанном на ФИГ. 2, свет, излучаемый излучающим устройством, модулируют дифракционной решеткой с целью получения синусоидального света, который пропускают через дихроичное зеркало (которое пропускает свет с определенной частотой и отфильтровывает свет с отличающейся частотой) и линзу объектива; свет возбуждает окрашенную ткань (например, клеточную ткань в организме человека) вдоль оптического жгута, а флуоресценция после возбуждения через оптический жгут, линзу объектива и дихроичное зеркало достигает прибора с зарядовой связью (ПЗС) и выполняет сбор изображений. ПЗС, также называемый датчиком изображения или контроллером изображения, представляет собой полупроводниковое устройство, способное преобразовывать оптическое изображение в электрические сигналы. Модулированный синусоидальный свет фокусируется в определенной фокальной плоскости на ткани. Путем визуализации с возбуждением флуоресценции в нескольких фазах (например, трех фазах) фоновая флуоресценция вне фокальной плоскости отфильтровывается по формуле Нейла, что позволяет получать послойные изображения. Технология формирования послойных изображений для медицинской КТ представляет собой адаптированную к медицине версию геофизического исследования, при котором полученную информацию инвертируют в соответствии со сканированием лучом с целью реконструкции изображения с учетом закона распределения упругих и электромагнитных волн в породе в диапазоне измерения, для выяснения контура геологической аномалии.
Источник структурированного освещения, модулированный дифракционной решеткой, может быть описан следующим образом:
Figure 00000002
.
В вышеприведенной формуле m означает модуляционный контраст;
Figure 00000003
 – нормализованную пространственную частоту, значение
Figure 00000004
 можно использовать для получения послойных изображений для различной глубины (глубины вдоль оси); β – увеличение между плоскостями образца и плоскостями сетки, λ – длина волны, v – фактическая пространственная частота, NA – числовая апертура.
В этом примере осуществления изобретения необходимо определить информацию о пикселях, передаваемую каждым волокном в оптическом жгуте, показанном на ФИГ. 2, чтобы точно определить информацию о флуоресценции, возвращаемой после облучения структурированным светом окрашенной ткани, и сформировать четкое и точное изображение этой информации. Определенные этапы реализации способа реконструкции изображения согласно данному примеру осуществления перечислены ниже:
Этап 101: вычисление значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца.
В частности, в микроэндоскопе со структурированным освещением, показанном на ФИГ. 2, двигатель постоянного тока активируется для смещения дифракционной решетки с целью получения одного или нескольких изображений образца. Изображения образца содержат информацию о пикселях, передаваемую каждым волокном оптического жгута. Один оптический жгут, как правило, содержит порядка 30000 волокон (разница в количестве может достигать нескольких тысяч). Информация о пикселях передается каждым волокном, поэтому оптический жгут можно также называть мультидатчиком. Визуализация волокон, как правило, показывает изображение в форме шестиугольной ячейки, а диаметр каждого волокна составляет, предпочтительно, 5-6 пикселей. На множестве изображений образца определяют центр каждого волокна и получают значение серого точки пикселя в каждом центре. Значение серого в центре можно определить по вышеприведенной формуле среднеквадратичного значения, то есть усредненное значение серого получают в одном и том же положении центра на множестве изображений образца, рассчитанное усредненное значение серого используют в качестве значения серого в центре волокна на реконструированном изображении, после чего получают значение серого в центре каждого волокна в оптическом жгуте на реконструированном изображении.
Этап 102: выполнение пространственной интерполяции с использованием значения серого в центре волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении с целью формирования реконструированного изображения.
В частности, центр каждого волокна используют как ориентир для нахождения линейной зависимости между другими точками пикселей и точкой пикселя в центре каждого волокна, что позволяет определить весовое значение интерполяции всех точек пикселей относительно точки пикселя в центре каждого волокна, то есть весового значения других точек пикселей относительно точки пикселя в центре каждого волокна. Поэтому, исходя из весового значения интерполяции между каждой точкой пикселя и центром волокна, пространственную интерполяцию выполняют с использованием значения серого в центре волокна, получая значения серого в остальных точках пикселей оптического жгута на реконструированном изображении, и формируют реконструированное изображение.
Способ реконструкции изображения согласно данному изобретению формирует реконструированное изображение путем вычисления значения серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна, определенному по одному или нескольким изображениям образца; а также выполнения пространственной интерполяции по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении. Данный способ реконструкции изображения рассчитывает только значение серого для точки пикселя в центре волокна, после чего с помощью пространственной интерполяции получает значения серого для точек пикселей всего изображения, тем самым уменьшая объем вычислений путем вычисления значения серого для каждой точки пикселя и существенно ускоряя реконструкцию изображения; способ полезен для устранения следов дифракционной решетки и волоконно-оптической сетки на реконструированном изображении и улучшения качества реконструированного изображения.
На ФИГ. 3 изображена блок-схема способа реконструкции изображения в соответствии с другим примером осуществления настоящего изобретения. Как показано на ФИГ. 3, способ реконструкции изображения в этом примере осуществления включает:
Этап 301: получение специального изображения однородного флуоресцентного оптического жгута.
Этап 302: определение целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на специальном изображении, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте.
В частности, перед реконструкцией изображения можно выполнить снимок с однородной флуоресценцией и использовать его для точной локализации волокна. Один оптический жгут, как правило, содержит порядка 30000 волокон (разница в количестве может достигать нескольких тысяч). Информация о пикселях передается каждым волокном, поэтому оптический жгут можно также называть мультидатчиком. Визуализация волокон, как правило, показывает изображение в форме шестиугольной ячейки, а диаметр каждого волокна составляет, предпочтительно, 5-6 пикселей. Для уменьшения взаимных помех между волокнами волокна расположены в пространстве неравномерно, а не выровнены по рядам или столбцам. Центр волокна в этом примере осуществления и изобретения соответствует наиболее яркой точке в центре волокна. Под наиболее яркой точкой понимают целевую точку пикселя, значение пикселя которой на исходном изображении превышает значения окружающих пикселей, причем целевая точка пикселя определена как центр каждого волокна оптического жгута, причем положение остальных точек пикселей в каждом волокне описывают, принимая координаты наиболее яркой точки в центре за координаты волокна. Для удаления сетки, то есть шестиугольной ячейки волокна, значение серого в центре волокна необходимо использовать для пространственной интерполяции, чтобы получить значения серого других точек пикселей в оптическом жгуте в целом. По существу, после установки дифракционной решетки захваченное локальное изображение, то есть специальное изображение, будет содержать решетку. Таким образом, можно выполнять съемку после удаления решетки для получения специального изображения однородного флуоресцентного оптического жгута; в одном из примеров осуществления в пределах периода дифракционной решетки можно собрать множество изображений оптического жгута, усредненное изображение которых формирует специальное изображение однородного флуоресцентного оптического жгута. Таким образом, с использованием двигателя постоянного тока, показанного на ФИГ. 2, единообразно выполняют несколько одинаковых смещений в пределах периода дифракционной решетки, после чего получают общее усредненное изображение. Специалист в данной области техники может самостоятельно определить способ получения специального изображения однородного флуоресцентного оптического жгута, не ограниченный данным примером осуществления.
Этап 303: вычисление значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на множестве изображений образца.
При этом образец изображения можно получить перемещением N-1 раз в пределах периода дифракционной решетки в соответствии с заранее заданным фазным интервалом для получения N изображений образца, включая начальную фазу и фазу, сдвинутую на заранее заданный фазный интервал относительно начальной фазы. Например, установлена дифракционная решетка, перемещаемая двигателем таким образом, чтобы получить N изображений образца оптического жгута. Например, в начале сбора изображений образца одно изображение снимают в начальной позиции двигателя; затем двигатель перемещают в другую позицию и снимают другое изображение; далее двигатель перемещают повторно и снимают еще одно изображение, получая тем самым N изображений образца. Для обеспечения точности полученных изображений образца двигатель можно поворачивать по часовой стрелке в несколько положений для получения вышеупомянутых N изображений образца. По истечении некоторого периода ожидания двигатель перемещают против часовой стрелки для продолжения получения N изображений образца. Это позволяет реконструировать два изображения в структурированном свете, точность которых может быть гарантирована путем сравнения. Предпочтительно, заранее заданный фазный интервал составляет 120 градусов, а N = 3; соответственно, двигатель смещает дифракционную решетку по горизонтали, а заранее заданный порог фазного интервала для каждого перемещения равен 1/3 периода дифракционной решетки. Перед сбором камера захватывает изображение в исходном положении, в которое перемещен двигатель, после этого двигатель выполняет перемещение, и камера последовательно снимает следующие изображения, получая изображения образца в трех фазах, после этого изображение реконструируют; далее для сохранения длительности периода выжидают некоторое время; после этого съемку продолжают в противоположном направлении ... это позволяет реконструировать два изображения в структурированном свете после однократного перемещения двигателя в прямом и обратном направлении. Три изображения образца могут представлять собой изображение I1 образца с фазой 0 градусов (начальная фаза), изображение I2 образца с фазой 120 градусов (перемещение на один заранее заданный порог фазного интервала), и изображение I3 образца с фазой 240 градусов (перемещение на два заранее заданных порога фазного интервала). На изображениях образца в трех фазах в соответствии с расположением центров волокон определяют значения серого в центрах волокон, после чего получают значение серого G1 в центре волокна на изображении I1 образца в фазе 0 градусов, значение серого G2 в центре волокна на изображении I2 образца в фазе 120 градусов и значение серого G3 в центре волокна на изображении I3 образца в фазе 240 градусов. Дополнительно вычисление значения серого в центре каждого волокна оптического жгута на реконструированном изображении может быть реализовано вычитанием значения серого в центре каждого волокна на множестве изображений образца друг из друга с целью определения разности, и использованием суммы квадратов полученных значений разности и последующим вычислением квадратного корня для получения значения серого в центре каждого волокна оптического жгута на реконструированном изображении. Например, по формуле Нейла
Figure 00000005
 определяют разности между тремя значениями серого в центре волокон на трех изображениях образца, после чего значения разностей возводят в квадрат, складывают квадраты разностей и извлекают квадратный корень, получая, тем самым, значение серого в центре каждого волокна на реконструированном изображении.
Тем не менее, недостаток вышеприведенной формулы Нейла заключается в том, что в случае перенасыщения изображения образца вычитание значений серого в центрах волокон друг из друга даст вычисленное значение серого в центре волокна в виде черной точки с очень низким уровнем серого. В результате на реконструированном изображении появится черная область, что сделает невозможным четкое отображение клеток. Чтобы избежать нечеткой визуализации, обусловленной насыщенностью изображения, к значению серого в центре волокна можно применить коррекцию насыщения. Таким образом, реконструированное изображение может иметь хороший эффект воспроизведения сечения.
Дополнительно после определения значения серого в центре каждого волокна на одном или нескольких изображениях образца можно добавить этап выполнения оценки насыщения по значению серого в центре каждого волокна. Таким образом, при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображении образца, определяют волокно, для которого превышен заранее заданный порог насыщения, в качестве волокна, подлежащего коррекции; далее корректируют значение серого в центре волокна, подлежащего коррекции, до заранее заданного порога насыщения на реконструированном изображении, и в соответствии со значением серого в центре каждого волокна, определенного на изображении образца после коррекции, выполняют этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении;
при отсутствии волокон, в центре которых значение серого превышает заранее заданный порог насыщения на изображениях образца, выполняют этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображениях образца.
Заранее заданный порог насыщения можно определить в зависимости от характеристик ПЗС-матрицы. Например, если определено, что три значения серого, в частности, значение серого G1 в центре волокна на изображении I1 образца с фазой 0 градусов, значение серого G2 в центре волокна на изображении I2 образца с фазой 120 градусов и значение серого G3 в центре волокна на изображении I3 образца с фазой 240 градусов, превышают 4095 (4095 соответствует максимальному значению 12-битного изображения, что подразумевает насыщение ПЗС-матрицы), тогда вместо использования вышеприведенной формулы Нейла
Figure 00000006
 для вычисления значения серого в центральной точке реконструированного изображения в качестве значения серого используют непосредственно заранее заданный порог насыщения 4095. Такая обработка позволяет избежать явления, при котором черные и белые тона на изображениях образцов и реконструированном изображении в структурированном свете визуально противоположны. Тем не менее, такая обработка является последним средством. Специалистам в данной области техники важно, по возможности, избегать насыщения изображений при сборе изображений образцов. Например, можно исключить избыточно долгую экспозицию и чрезмерное усиление параметров камеры, избыточное флуоресцентное окрашивание образца, а также избыточное лазерное излучение.
Аналогичным образом, при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображении образца, определяют, что волокно, в котором превышен заранее заданный порог насыщения, подлежит коррекции; значение серого в центре волокна, подлежащего коррекции, корректируют до заранее заданного порога насыщения на реконструированном изображении. То есть, если вычисленное значение
Figure 00000005
 превышает заранее заданный порог насыщения, волокно считают подлежащим коррекции, а заранее заданный порог насыщения также используют в качестве значения серого в центре волокна, корректируя тем самым насыщение изображения образца.
Этап 304: определение весового значения интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна в соответствии с центром каждого волокна.
В частности, как было описано выше, изображение образца и специальное изображение представляют собой оптические изображения оптического жгута одной и той же структуры. Таким образом, в соответствии с центром каждого волокна, определенным на специальном изображении, можно найти центр соответствующего волокна на изображении образца и прочитать значение серого в этом центре. Каждое волокно имеет место на N изображениях образца, а его значение серого получено. Поэтому каждое волокно соответствует значениям серого в N центральных положениях. На основании заданного алгоритма (например, по формуле Нейла среднеквадратичного значения, см. выше) получают усредненное значение серого в N центральных положениях, а вычисленное усредненное значение серого используют как среднее значение серого в центре волокна на реконструированном изображении.
Весовое значение интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна можно определить путем формирования множества треугольных структур, вершинами которых служат центры каждого волокна и соседних волокон, а также определения весового значения интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна в соответствии с треугольными структурами.
В частности, координаты центра волокна можно получить по способу максимума области, то есть, как показано на ФИГ. 4, центр волокна A используют в качестве вершины, при этом три центра волокна A и соседних волокон B и C образуют треугольник, вследствие чего диапазон оптического жгута в целом делится на множество треугольников. Посредством этих треугольников устанавливается интерполяционное соотношение между пикселями и волокнами. Поскольку оптический жгут характеризуется сечением в форме неправильного шестиугольника, а соседние волокна не выровнены в горизонтальных или вертикальных координатах, промежуточный пиксель не может быть интерполирован четырьмя правильными вершинами, как это имеет место при обычной билинейной интерполяции. Тем не менее, весовое значение интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна можно определить с использованием треугольной структуры.
Этап 305: выполнение пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значений серого других точек пикселя в оптическом жгуте на реконструированном изображении с целью формирования реконструированного изображения.
В частности, после получения специального изображения однородного флуоресцентного оптического жгута на специальном изображении определяют центры всех волокон, содержащихся в оптическом жгуте, то есть координаты положения наиболее яркой точки пикселя в каждом волокне. Центр каждого волокна используют как ориентир для нахождения линейной зависимости между другими точками пикселей каждого волокна и точкой пикселя в центре, что позволяет определить весовое значение интерполяции всех точек пикселей каждого волокна относительно точки пикселя в центре, то есть весовое значение других точек пикселей каждого волокна относительно точки пикселя в центре. Последующая реконструкция изображений образцов, полученных облучением ткани структурированным светом, может быть основана на линейных весовых значениях, рассчитанных предварительно и умноженных на значения серого волокон во время реконструкции для получения значений серого пикселей, интерполируемых для формирования реконструированного изображения.
Способ реконструкции изображения согласно данному примеру осуществления изобретения позволяет реконструировать изображение в структурированном освещении путем позиционирования волокна в треугольном пространстве пикселей, причем по формуле Нейла вычисляют только пиксели центральных точек волокон, после чего путем интерполяции реконструируют все изображение в структурированном свете. Это существенно ускоряет расчеты и позволяет устранить ячеистую структуру волокон. Если разница фаз между N изображениями образцов, например, тремя изображениями образцов, составляет ровно 120 градусов, следы дифракционной решетки также отсутствуют. Таким образом, способ реконструкции изображения согласно изобретению позволяет уменьшить объем вычислений путем вычисления значения серого для каждой точки пикселя и существенно ускорить реконструкцию изображения; способ полезен для устранения следов дифракционной решетки и волоконно-оптической сетки на реконструированном изображении и улучшения качества реконструированного изображения.
На ФИГ. 5 изображена структурная схема устройства для реконструкции изображения в соответствии с одним из примеров осуществления настоящего изобретения. Как показано на ФИГ. 5, устройство для реконструкции изображений в этом примере осуществления содержит:
расчетный модуль 1, сконфигурированный для вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца;
формирующий модуль 2, сконфигурированный для выполнения пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении, для формирования реконструированного изображения.
Этот пример осуществления изобретения может быть использован для реализации примера осуществления, изображенного на ФИГ. 1; принципы реализации обоих примеров схожи, поэтому детальное описание будет опущено.
В устройстве для реконструкции изображения согласно данному изобретению реконструированное изображение формируют путем вычисления значения серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна, определенному для множества изображений образца; и далее путем выполнения пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значений серого в других точках пикселя в оптическом жгуте на реконструированном изображении. В данном способе реконструкции изображения вычисляют только значения серого для точки пикселя в центрах волокон, после чего посредством пространственной интерполяции получают значения серого для точек пикселей всего изображения, тем самым уменьшая объем вычислений путем вычисления значения серого для каждой точки пикселя и существенно ускоряя реконструкцию изображения; способ полезен для устранения следов дифракционной решетки и волоконно-оптической сетки на реконструированном изображении и улучшения качества реконструированного изображения.
На ФИГ. 6 изображена структурная схема устройства для реконструкции изображения в соответствии с другим примером осуществления настоящего изобретения. Как показано на ФИГ. 6, на основании вышеописанного примера осуществления устройство для реконструкции изображений в этом примере осуществления дополнительно содержит:
первый получающий модуль 3, сконфигурированный для получения специального изображения однородного флуоресцентного оптического жгута;
первый определяющий модуль 4, сконфигурированный для определения целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на специальном изображении, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте.
Дополнительно первый получающий модуль 3 содержит:
собирающий подмодуль 31, сконфигурированный для сбора множества изображений оптического жгута, расположенных с заранее заданным интервалом в пределах периода дифракционной решетки;
формирующий подмодуль 32, сконфигурированный для получения усредненного изображения для множества изображений оптического жгута с целью формирования специального изображения однородного флуоресцентного оптического жгута.
В ряде случаев устройство дополнительно содержит:
второй определяющий модуль 5, сконфигурированный для определения весового значения интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна в соответствии с центром каждого волокна.
В ряде случаев устройство дополнительно содержит:
третий определяющий модуль 6, сконфигурированный для формирования множества треугольных структур, вершинами которых служат центры каждого волокна и соседних волокон, а также для определения весового значения интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна в соответствии с треугольными структурами.
В ряде случаев устройство дополнительно содержит:
второй получающий модуль 7, сконфигурированный для перемещения N-1 раз в пределах периода дифракционной решетки в соответствии с заранее заданным фазным интервалом для получения N изображений образца, включая начальную фазу и фазу, сдвинутую на заранее заданный фазный интервал относительно начальной фазы.
В ряде случаев заданный фазный интервал равен 120 градусам; а N=3.
В ряде случаев устройство дополнительно содержит:
оценочный модуль 8, сконфигурированный для оценки насыщения по значению серого в центре каждого волокна;
первый обрабатывающий модуль 9, сконфигурированный для того, чтобы: при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображениях образца, определять, что волокно, для которого превышен заранее заданный порог насыщения, является подлежащим коррекции волокном; корректировать значения серого в центре подлежащего коррекции волокна до заранее заданного порога насыщения на реконструированном изображении, и выполнять этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображении образца после коррекции; и
второй обрабатывающий модуль 10, сконфигурированный для того, чтобы: при отсутствии волокон, в центре которых значение серого превышает заранее заданный порог насыщения на изображениях образца, выполнять этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображениях образца.
Дополнительно расчетный модуль 1, в частности, сконфигурирован для вычитания значения серого в центре каждого волокна для множества изображений образца друг из друга с целью определения разности, и использование суммы квадратов полученных значений разности и последующего вычисления квадратного корня для получения значения серого в центре каждого волокна оптического жгута на реконструированном изображении.
Этот пример осуществления может быть использован для реализации примера осуществления, изображенного на ФИГ. 3; принципы реализации обоих примеров схожи, поэтому детальное описание будет опущено.
На ФИГ. 7 изображена структурная схема устройства для формирования изображения в микроскопе в соответствии с одним из примеров осуществления настоящего изобретения. Как показано на ФИГ. 7, этим примером осуществления предложено устройство для формирования изображения в микроскопе, содержащее светоизлучающий блок 01, блок 02 фазовой регулировки, управляющий блок 03, оптический жгут 04, содержащий множество волокон, блок 05 обнаружения и блок 06 обработки, причем:
светоизлучающий блок 01 сконфигурирован для излучения возбуждающего света;
блок 02 фазовой регулировки установлен на выходе оптического пути возбуждающего света, соединен с блоком 06 обработки и сконфигурирован для фазовой регулировки возбуждающего света в соответствии с количеством фаз, переданным блоком 06 обработки для получения возбуждающего света в различных фазах;
управляющий блок 03 сконфигурирован для управления возбуждающим светом в различных фазах, благодаря чему управляемый возбуждающий свет фокусируется на исследуемой ткани вдоль оптического жгута 04, а также управления возвращаемой от исследуемой ткани флуоресценцией, в различных фазах;
блок 05 обнаружения сконфигурирован для сбора флуоресценции в различных фазах для формирования множества изображений образца; и
блок 06 обработки соединен с блоком 05 обнаружения и сконфигурирован для получения множества изображений образца и вычисления значения серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна в оптическом жгуте, определенному по множеству изображений образца; а также для выполнения пространственной интерполяции по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении таким образом, чтобы сформировать реконструированное изображение.
В частности, возбуждающий свет, излучаемый светоизлучающим блоком 01, проходит через управляющий блок 03 (то есть свет с определенной частотой пропускается, а свет с другой частотой отражается), и возбуждает окрашенную ткань (например, клеточную ткань в теле человека) вдоль оптического жгута 04, причем флуоресценция после возбуждения достигает блока 05 обнаружения вдоль оптического жгута и управляющего блока 03, и выполняется сбор изображений. Блок 05 обнаружения может быть образован прибором с зарядовой связью (ПЗС-матрицей), также называемой датчиком изображения или контроллером изображения, и представляет собой полупроводниковое устройство, способное преобразовывать оптическое изображение в электрические сигналы. Возбуждающий свет, испускаемый светоизлучающим блоком 01, фокусируется в определенной фокальной плоскости ткани, а блок 02 фазовой регулировки регулирует фазу возбуждающего света в соответствии с количеством фаз, переданным блоком 06 обработки для получения возбуждающего света в различных фазах; блок 06 обработки возбуждает флуоресценцию для получения изображений в нескольких фазах (например, трех фазах), а формула Нейла используется для фильтрации фоновой флуоресценции вне фокальной плоскости для получения послойных изображений. Технология послойных изображений представляет собой адаптированную инверсию геофизического исследования, при которой полученную информацию инвертируют в соответствии со сканированием лучом на основании медицинской КТ с целью реконструкции изображения с учетом закона распределения упругих и электромагнитных волн в породе в диапазоне измерения и, тем самым определяя контур геологической аномалии. В частности, блок 06 обработки вычисляет значение серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна оптического жгута, определенному по множеству изображений образца в нескольких фазах; а также выполняет пространственную интерполяцию по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении, формируя реконструированное изображение.
Устройство для формирования изображения в микроскопе согласно данному примеру осуществления содержит светоизлучающий блок, блок фазовой регулировки, управляющий блок, оптический жгут, содержащий множество волокон, блок обнаружения и блок обработки, причем светоизлучающий блок сконфигурирован для излучения возбуждающего света; блок фазовой регулировки установлен на выходе оптического пути возбуждающего света, соединен с блоком обработки и сконфигурирован для фазовой регулировки возбуждающего света в соответствии с количеством фаз, переданным блоком обработки для получения возбуждающего света в различных фазах; управляющий блок сконфигурирован для управления возбуждающим светом в различных фазах, благодаря чему управляемый возбуждающий свет фокусируется на исследуемой ткани вдоль оптического жгута, а также для управления возвращаемой от исследуемой ткани флуоресценции в различных фазах; блок обнаружения сконфигурирован для сбора флуоресценции в различных фазах для формирования множества изображений образца; блок обработки соединен с блоком обнаружения и сконфигурирован для получения множества изображений образца и вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении по значению серого в центре каждого волокна в оптическом жгуте, определенному по множеству изображений образца; а также для выполнения пространственной интерполяции по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении таким образом, чтобы сформировать реконструированное изображение. Блок фазовой регулировки регулирует фазу возбуждающего света в соответствии с количеством фаз, переданным блоком обработки; таким образом, блок обработки может получить множество изображений образца в требуемых фазах. Это позволяет улучшить качество реконструированного изображения, полученного после обработки множества изображений образца. Кроме того, использование устройства позволяет сократить объем вычислений для значений серого точек пикселей на реконструированном изображении, ускоряя тем самым реконструкцию изображения.
На ФИГ. 8 изображена структурная схема устройства для формирования изображения в микроскопе в соответствии с другим примером осуществления настоящего изобретения. Как показано на ФИГ. 8, в соответствии с вышеуказанным примером блок 02 фазовой регулировки содержит: двигатель 021 и дифракционную решетку 022;
двигатель 021 соединен с блоком 06 обработки и дифракционной решеткой 022, соответственно, и сконфигурирован для смещения дифракционной решетки 022 в соответствии с количеством фаз, переданным блоком 06 обработки, таким образом, чтобы возбуждающий свет проходил через дифракционную решетку 022 с целью получения возбуждающего света, соответствующего количеству фаз.
Дополнительно двигатель 021 содержит: двигатель постоянного тока; блок 06 обработки определяет количество фаз с равным интервалом по заранее заданному фазному интервалу; двигатель постоянного тока получает количество фаз с равным интервалом и смещает дифракционную решетку 022 на величину равного интервала в пределах периода дифракционной решетки, чтобы блок 06 обработки мог получить множество изображений образца, соответствующих заранее заданному фазному интервалу.
В частности, блок 06 обработки приводит в действие двигатель постоянного тока, чтобы сместить дифракционную решетку 022 и получить множество изображений образца. Изображения образца содержат информацию о пикселях, передаваемую каждым волокном оптического жгута 04. Один оптический жгут 04, как правило, содержит порядка 30000 волокон (разница в количестве может достигать нескольких тысяч). Информация о пикселях передается каждым волокном, поэтому оптический жгут 04 можно также называть мультидатчиком. Схематичное изображение волокна представлено на ФИГ. 4. Визуализация посредством волокон, как правило, показывает изображение в форме шестиугольной ячейки, а диаметр каждого волокна составляет, предпочтительно, 5-6 пикселей. На множестве изображений образца определяют центр каждого волокна и получают значение серого точки пикселя в каждом центре. Значение серого в центре можно определить по формуле среднеквадратичного значения, то есть усредненное значение серого получают в одном и том же центральном положении на множестве изображений образца, рассчитанное усредненное значение серого используют в качестве значения серого в этом центре волокна на реконструированном изображении, после чего получают значение серого в каждом центре волокна в оптическом жгуте 04 на реконструированном изображении.
В ряде случаев заранее заданный фазный интервал равен 120 градусам; а количество фаз равно 3.
Например, установлена дифракционная решетка 022, перемещаемая двигателем 021 таким образом, чтобы получить N изображений образца оптического жгута. Например, до начала сбора изображений образца одно изображение снимают в начальной позиции двигателя 021; затем двигатель 021 перемещают в другую позицию и снимают другое изображение; далее двигатель 021 перемещают еще раз и снимают еще одно изображение, получая, тем самым, N изображений образца. Для обеспечения точности полученных изображений образца двигатель 021 можно поворачивать по часовой стрелке в несколько положений для получения вышеупомянутых N изображений образца. По истечении некоторого периода ожидания двигатель 021 перемещают против часовой стрелки для продолжения получения N изображений образца. Это позволяет реконструировать два изображения в структурированном свете, точность которых может быть гарантирована путем сравнения. Если заранее заданный фазный интервал составляет 120 градусов, а количество фаз равно 3 (то есть N=3), двигатель 021 смещает дифракционную решетку по горизонтали, а заранее заданный порог фазного интервала для каждого перемещения равен 1/3 периода дифракционной решетки 022. Перед сбором камера захватывает изображение в исходном положении, в которое перемещен двигатель 021, после этого двигатель 021 выполняет перемещение и камера последовательно снимает следующие изображения, получая изображения образца в трех фазах, после этого изображение реконструируют; далее для сохранения длительности периода выжидают некоторое время; после этого съемку продолжают в противоположном направлении ... это позволяет реконструировать два изображения в структурированном свете после однократного перемещения двигателя 021 в прямом и обратном направлении. Три изображения образца могут представлять собой изображение I1 образца с фазой 0 градусов (начальная фаза), изображение I2 с фазой 120 градусов (перемещение на один заранее заданный порог фазного интервала), и изображение I3 с фазой 240 градусов (перемещение на два заранее заданных порога фазного интервала). На изображениях образца в трех фазах в соответствии с расположением центров волокон определяют значения серого в центрах волокон, после чего получают значение G1 серого в центре волокна на изображении I1 образца с фазой 0 градусов, значение G2 серого в центре волокна на изображении I2 образца с фазой 120 градусов и значение G3 серого в центре волокна на изображении I3 образца с фазой 240 градусов.
В одном из примеров осуществления светоизлучающий блок 01 содержит: лазер 011, сконфигурированный для излучения возбуждающего света; а также устройство 012 рассеяния-фокусировки луча, установленное на выходе возбуждающего света лазера 011 и сконфигурированное для рассеяния возбуждающего света и одномерной фокусировки света в линейный луч.
Лазер 011 сконфигурирован для излучения возбуждающего света. Он может представлять собой лазер для излучения коллимированного лазерного луча с определенной длиной волны. Характерная длина волны может составлять от 20 до 2000 нм. Лазерный свет в этом диапазоне длины волны может возбуждать широкий диапазон флуорофоров. Лазер 011 может представлять собой квантово-размерный лазер, твердотельный лазер, газовый лазер (например, аргон-ионный лазер) или лазерный диод. Устройство 012 рассеяния-фокусировки луча установлено на выходе возбуждающего света лазера 011 и сконфигурировано для рассеяния возбуждающего света и линейной фокусировки света в линейный луч. Оно может содержать рассеивающую линзу и цилиндрическую линзу. Рассеивающая линза сконфигурирована для рассеяния коллимированного луча, излучаемого лазером 011, для изменения диаметра коллимированного луча; цилиндрическая линза линейно фокусирует расширенный луч в линейный луч и передает его на управляющий блок 03.
В ряде случаев управляющий блок 03 представляет собой дихроичное зеркало или дихроскоп. Устройство может характеризоваться диапазоном длины волны от 40 до 2200 нм, передавать свет с определенной частотой и отражать свет с другими частотами.
В ряде случаев устройство дополнительно содержит: фильтр 07, установленный между блоком 02 фазовой регулировки и управляющим блоком 03 и сконфигурированный для отфильтровывания рассеянного света для улучшения качества изображений образца и улучшения качества реконструированного изображения.
В ряде случаев блок 05 обнаружения содержит прибор с зарядовой связью (ПЗС). Блок 05 обнаружения может представлять собой детектор с линейной или плоской матрицей. Примером может служить камера с линейной матрицей ПЗС (прибор с зарядовой связью) или камера с линейной матрицей КМОП (комплиментарный металлооксидный полупроводник) и т.п. Скорость визуализации блока обнаружения с линейной матрицей составляет от десятков кадров до десятков миллионов кадров.
В ряде случаев устройство дополнительно содержит: линзу 08 объектива, содержащую несколько линз; линза 08 объектива установлена между управляющим блоком 03 и оптическим жгутом 04 и сконфигурирована для фокусировки возбуждающего света, управляемой управляющим блоком 03.
Устройство для формирования изображения в микроскопе можно использовать для осуществления способа реконструкции изображения согласно любому из примеров способа, представленных на ФИГ. 1 и ФИГ. 3; поскольку принципы их реализации схожи, детальное раскрытие будет опущено.
Специалистам в данной области техники очевидно, что все действия для реализации примеров осуществления способа, раскрытые выше, или их часть могут быть выполнены аппаратным обеспечением с установленными программами. Вышеупомянутая программа может храниться на машиночитаемом носителе информации. При исполнении программы выполняются этапы, входящие в вышеописанные примеры осуществления способа; вышеописанный носитель информации может представлять собой различные носители, на которых могут быть записаны программные коды, например, ПЗУ, ОЗУ, НМД или компакт-диск.
Следует отметить, что вышеуказанные примеры осуществления изобретения только иллюстрируют технические решения настоящего изобретения и не должны толковаться как имеющие ограничительный характер; в то время как настоящее изобретение было подробно раскрыто со ссылкой на вышеуказанные примеры осуществления, специалисты в данной области техники должны понимать, что технические решения, раскрытые в вышеуказанных примерах осуществления, могут быть изменены, или возможны эквивалентные замены их некоторых или всех технических функций; и такие изменения или замены не представляют собой суть соответствующих технических решений, отклоняясь от объема технических решений примеров осуществления настоящего изобретения.

Claims (65)

1. Способ реконструкции изображения, включающий:
получение изображения оптического жгута с однородной флуоресценцией;
определение целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на изображении оптического жгута с однородной флуоресценцией, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте;
вычисление значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца;
выполнение пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении с целью формирования реконструированного изображения.
2. Способ по п. 1, в котором этап получения изображения оптического жгута с однородной флуоресценцией включает:
сбор множества изображений оптического жгута с заранее заданным интервалом в пределах периода дифракционной решетки; и
получение усредненного изображения для множества изображений оптического жгута с целью формирования изображения оптического жгута с однородной флуоресценцией.
3. Способ по п. 1, который дополнительно включает следующий этап, выполняемый перед выполнением пространственной интерполяции:
определение весового значения интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна в соответствии с центром каждого волокна.
4. Способ по п. 3, дополнительно включающий определение весового значения интерполяции следующим образом:
формирование множества треугольных структур с использованием центра каждого волокна и центров соседних волокон в качестве вершин; и
определение весового значения интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна в соответствии с треугольными структурами.
5. Способ по п. 1, дополнительно включающий получение нескольких изображений образца следующим образом:
в соответствии с заранее заданным фазным интервалом выполняют перемещение N-1 раз в пределах периода дифракционной решетки для получения N изображений образца, включая начальную фазу и фазу, сдвинутую на заранее заданный фазный интервал относительно начальной фазы.
6. Способ по п. 5, в котором:
заранее заданный фазный интервал равен 120 градусам; и N=3.
7. Способ по п. 1, который дополнительно включает следующие этапы, выполняемые после определения значения серого в центре каждого волокна на одном или нескольких изображениях образца:
выполнение оценки насыщения по значению серого в центре каждого волокна;
при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображении образца, определение того, что волокно, для которого превышен заранее заданный порог насыщения, является волокном, подлежащим коррекции;
корректировка значения серого в центре волокна, подлежащего коррекции, до заранее заданного порога насыщения на реконструированном изображении и выполнение этапа вычисления значений серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображениях образца после коррекции; и
при отсутствии волокон, в центре которых значение серого превышает заранее
заданный порог насыщения на изображениях образца, выполнение этапа вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенного на изображениях образца.
8. Способ по п. 1, в котором этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на нескольких изображениях образца, включает:
вычитание значения серого в центре каждого волокна на нескольких изображениях образца друг из друга для получения значения разности, вычисление суммы квадратов полученных значений разности и последующее определение квадратного корня для получения значения серого в центре каждого волокна оптического жгута на реконструированном изображении.
9. Устройство для реконструкции изображения, содержащее:
первый получающий модуль, сконфигурированный для получения изображения оптического жгута с однородной флуоресценцией;
первый определяющий модуль, сконфигурированный для определения целевой точки пикселя со значением пикселя, превышающим значения окружающих пикселей на изображении оптического жгута с однородной флуоресценцией, а также определение целевой точки пикселя как центра каждого волокна в оптическом жгуте;
расчетный модуль, сконфигурированный для вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на одном или нескольких изображениях образца; и
формирующий модуль, сконфигурированный для выполнения пространственной интерполяции с использованием значения серого в центре каждого волокна для получения значения серого других точек пикселя в оптическом жгуте на реконструированном изображении так, чтобы формировать реконструированное изображение.
10. Устройство по п. 9, отличающееся тем, что первый получающий модуль содержит:
собирающий подмодуль, сконфигурированный для сбора множества изображений оптического жгута с заранее заданным интервалом в пределах периода дифракционной решетки; и
формирующий подмодуль, сконфигурированный для получения усредненного изображения для нескольких изображений оптического жгута для формирования изображения оптического жгута с однородной флуоресценцией.
11. Устройство по п. 9, дополнительно содержащее:
второй определяющий модуль, сконфигурированный для определения весового значения интерполяции между каждой точкой пикселя в оптическом жгуте и центром каждого волокна в соответствии с центром каждого волокна.
12. Устройство по п. 11, дополнительно содержащее:
третий определяющий модуль, сконфигурированный для формирования множества треугольных структур, вершинами которых служат центры каждого волокна и соседних волокон, а также определения весового значения интерполяции между точкой пикселя в каждой треугольной структуре и центром каждого волокна в соответствии с треугольными структурами.
13. Устройство по п. 9, дополнительно содержащее:
второй получающий модуль, сконфигурированный для перемещения N-1 раз в пределах периода дифракционной решетки в соответствии с заранее заданным фазным интервалом для получения N изображений образца, включая начальную фазу и фазу, сдвинутую на заранее заданный фазный интервал относительно начальной фазы.
14. Устройство по п. 13, в котором:
заранее заданный фазный интервал равен 120 градусам; и N=3.
15. Устройство по п. 9, дополнительно содержащее:
оценочный модуль, сконфигурированный для оценки насыщения по значению серого в центре каждого волокна;
первый обрабатывающий модуль, сконфигурированный для того, чтобы: при наличии волокна, в центре которого значение серого превышает заранее заданный порог насыщения на изображении образца, определять, что волокно, для которого превышен заранее заданный порог насыщения, является волокном, подлежащим коррекции; корректировать значения серого в центре волокна, подлежащего коррекции, до заранее заданного порога насыщения на реконструированном изображении, и вычислять значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображении образца после коррекции; и
второй обрабатывающий модуль, сконфигурированный для того, чтобы: при отсутствии волокон, в центре которых значение серого превышает заранее заданный порог насыщения на изображениях образца, выполнять этап вычисления значения серого в центре каждого волокна оптического жгута на реконструированном изображении в соответствии со значением серого в центре каждого волокна, определенным на изображениях образца.
16. Устройство по п. 9, в котором:
расчетный модуль сконфигурирован для вычитания значения серого в центре каждого волокна на нескольких изображениях образца друг из друга для получения значений разности, и вычисления суммы квадратов полученных значений разности и последующего вычисления квадратного корня для получения значения серого в центре каждого волокна оптического жгута на реконструированном изображении.
17. Устройство для формирования изображения в микроскопе, содержащее: светоизлучающий блок, блок фазовой регулировки, управляющий блок, оптический жгут, содержащий множество волокон, блок обнаружения и блок обработки, причем
светоизлучающий блок сконфигурирован для излучения возбуждающего света;
блок фазовой регулировки установлен на выходе оптического пути возбуждающего света, соединен с блоком обработки и сконфигурирован для фазовой регулировки возбуждающего света в соответствии с количеством фаз, переданным блоком обработки для получения возбуждающего света в различных фазах;
управляющий блок сконфигурирован для управления возбуждающим светом в различных фазах, чтобы управляемый возбуждающий свет фокусировался на исследуемой ткани вдоль направления оптического жгута, а также для управления флуоресценцией в различных фазах, возвращаемой от исследуемой ткани;
блок обнаружения сконфигурирован для сбора флуоресценции в различных фазах для формирования множества изображений образца; и
блок обработки соединен с блоком обнаружения и сконфигурирован для получения множества изображений образца и вычисления значения серого в центре каждого волокна в оптическом жгуте на реконструированном изображении по значению серого в центре каждого волокна в оптическом жгуте, определенному по множеству изображений образца; а также для выполнения пространственной интерполяции по значению серого в центре каждого волокна для получения значений серого в других точках пикселей в оптическом жгуте на реконструированном изображении таким образом, чтобы сформировать реконструированное изображение.
18. Устройство по п. 17, в котором блок фазовой регулировки содержит: двигатель и дифракционную решетку;
двигатель соединен с блоком обработки и дифракционной решеткой, соответственно, и сконфигурирован для смещения дифракционной решетки в соответствии с количеством фаз, переданным блоком обработки, таким образом, чтобы возбуждающий свет проходил через дифракционную решетку для получения возбуждающего света, соответствующего количеству фаз.
19. Устройство по п. 18, в котором двигатель содержит: двигатель постоянного тока; и
соответственно, блок обработки определяет количество фаз с равным
интервалом по заранее заданному фазному интервалу; двигатель постоянного тока получает количество фаз с равным интервалом и смещает дифракционную решетку на соответствующее интервалу расстояние в пределах периода дифракционной решетки, чтобы блок обработки мог получить множество изображений образца, соответствующих заранее заданному фазному интервалу.
20. Устройство по п. 19, в котором
заранее заданный фазный интервал равен 120 градусам; а количество фаз равно 3.
21. Устройство по п. 17, в котором светоизлучающий блок содержит: лазер, сконфигурированный для излучения возбуждающего света; а также устройство для рассеивания фокусировки пучка, установленное на выходе возбуждающего света лазера и сконфигурированное для рассеивания возбуждающего света и одномерной фокусировки его в линейный луч.
22. Устройство по п. 17, в котором управляющий блок представляет собой дихроичное зеркало.
23. Устройство по п. 17, дополнительно содержащее фильтр, установленный между блоком фазовой регулировки и управляющим блоком и сконфигурированный для отфильтровывания рассеянного света.
24. Устройство по п. 17, в котором блок обнаружения содержит прибор с зарядовой связью (ПЗС).
25. Устройство по п. 17, дополнительно содержащее: линзу объектива, содержащую множество линз, установленную между управляющим блоком и оптическим жгутом и сконфигурированную для выполнения фокусировки возбуждающего света, управляемого управляющим блоком.
RU2020115467A 2017-10-16 2018-09-29 Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе RU2747129C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710959434.8A CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置
CN201710959434.8 2017-10-16
PCT/CN2018/108865 WO2019076192A1 (zh) 2017-10-16 2018-09-29 图像重建方法、装置及显微成像装置

Publications (1)

Publication Number Publication Date
RU2747129C1 true RU2747129C1 (ru) 2021-04-28

Family

ID=61092506

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020115467A RU2747129C1 (ru) 2017-10-16 2018-09-29 Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе

Country Status (11)

Country Link
US (1) US11449964B2 (ru)
EP (1) EP3699576A4 (ru)
JP (1) JP7064796B2 (ru)
KR (1) KR102358848B1 (ru)
CN (1) CN107621463B (ru)
AU (1) AU2018352821B2 (ru)
BR (1) BR112020007609B1 (ru)
CA (1) CA3079243C (ru)
MX (1) MX2020003985A (ru)
RU (1) RU2747129C1 (ru)
WO (1) WO2019076192A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2813941C1 (ru) * 2023-03-01 2024-02-20 Общество С Ограниченной Ответственностью "Сэлли" Автоматизированная система и способ проведения лабораторных микроскопических исследований микропрепаратов

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622491B (zh) * 2017-10-16 2022-03-11 苏州微景医学科技有限公司 光纤束图像分析方法和装置
CN107621463B (zh) * 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
CN111024659B (zh) * 2019-11-28 2020-12-11 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111461975B (zh) * 2020-03-17 2021-04-23 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、系统、计算机设备和存储介质
CN113570520A (zh) * 2021-07-28 2021-10-29 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) * 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置
US20150168702A1 (en) * 2012-07-05 2015-06-18 Martin Russell Harris Structured illumination microscopy apparatus and method
CN106981090A (zh) * 2017-02-16 2017-07-25 南京邮电大学 一种管内步进单向光束扫描断层图像的三维重建方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436980A (en) * 1988-05-10 1995-07-25 E. I. Du Pont De Nemours And Company Method for determining quality of dispersion of glass fibers in a thermoplastic resin preform layer and preform layer characterized thereby
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
AUPQ685900A0 (en) * 2000-04-12 2000-05-11 Goyen Controls Co Pty Limited Method and apparatus for detecting particles in a gas flow
AU2003214760A1 (en) * 2002-12-05 2003-11-11 Telefonaktiebolaget Lm Ericsson (Publ) Fusion temperature calibration
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
KR20100045964A (ko) * 2007-07-06 2010-05-04 내셔널 유니버시티 오브 싱가포르 형광 초점변조 현미경 시스템 및 방법
TWI426296B (zh) * 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
CN101692971B (zh) * 2009-10-13 2011-04-06 西安电子科技大学 非接触式光学断层成像方法
JP5343065B2 (ja) * 2010-12-07 2013-11-13 富士フイルム株式会社 放射線撮影システム
KR101260051B1 (ko) * 2012-01-30 2013-05-06 한국화학연구원 살아있는 세포에 대한 명시야 이미징 및 형광 이미징의 동시 수행이 가능한 세포 이미징 장치 및 방법
JP5951293B2 (ja) * 2012-03-14 2016-07-13 日立Ｇｅニュークリア・エナジー株式会社 画像処理方法および装置
US10096098B2 (en) * 2013-12-30 2018-10-09 Carestream Health, Inc. Phase retrieval from differential phase contrast imaging
CN103592722B (zh) * 2013-08-22 2015-08-05 浙江大学 一种熊猫型保偏光纤侧视对轴装置及方法
CN103438802B (zh) * 2013-09-17 2016-04-20 上海理工大学 光纤涂覆层几何参数测量方法
JP2017512405A (ja) * 2014-02-21 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ビデオのための新たな色空間及びデコーダ
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
CN104794475B (zh) * 2015-04-03 2018-04-27 燕山大学 一种光子晶体光纤的端面结构特征提取方法
CN106447717B (zh) * 2016-09-30 2019-05-03 中国科学院自动化研究所 一种基于多角度的选择性光片照明显微成像的重建方法
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) * 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置
US20150168702A1 (en) * 2012-07-05 2015-06-18 Martin Russell Harris Structured illumination microscopy apparatus and method
CN106981090A (zh) * 2017-02-16 2017-07-25 南京邮电大学 一种管内步进单向光束扫描断层图像的三维重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2813941C1 (ru) * 2023-03-01 2024-02-20 Общество С Ограниченной Ответственностью "Сэлли" Автоматизированная система и способ проведения лабораторных микроскопических исследований микропрепаратов

Also Published As

Publication number Publication date
JP7064796B2 (ja) 2022-05-11
JP2020537162A (ja) 2020-12-17
CN107621463B (zh) 2024-03-22
KR20200070313A (ko) 2020-06-17
EP3699576A1 (en) 2020-08-26
CA3079243A1 (en) 2019-04-25
KR102358848B1 (ko) 2022-02-08
EP3699576A4 (en) 2020-11-25
AU2018352821A1 (en) 2020-05-14
AU2018352821B2 (en) 2021-09-16
CA3079243C (en) 2023-05-16
BR112020007609A2 (pt) 2020-11-10
MX2020003985A (es) 2020-08-13
BR112020007609B1 (pt) 2023-11-28
CN107621463A (zh) 2018-01-23
WO2019076192A1 (zh) 2019-04-25
US20200242732A1 (en) 2020-07-30
US11449964B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
RU2747129C1 (ru) Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
JP6416887B2 (ja) 構造化照明を用いた組織試料の顕微鏡観察
US20190196172A1 (en) Systems and Methods for Three Dimensional Imaging
US8019136B2 (en) Optical sectioning microscopy
KR101252938B1 (ko) 초고해상도 현미경 시스템 및 그 시스템을 이용한 영상 획득 방법
JP5784435B2 (ja) 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
JP6544789B2 (ja) パターン投影装置、パターン投影方法、及び、位相変調量設定方法
JP4538661B2 (ja) 光学結像システムにおける深度弁別改良のための方法
US10776955B2 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
JP2006317261A (ja) 走査型サイトメータの画像処理方法及び装置
TWI554740B (zh) 高速三維成像之光學系統
JP2018054448A (ja) スペクトルの測定方法
JP2021509181A (ja) プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置
RU2579640C1 (ru) Конфокальный спектроанализатор изображений
JP2017187532A (ja) 画像取得装置および画像取得方法
JP2010039323A (ja) 共焦点顕微鏡
JP7311142B2 (ja) 生体組織識別装置および生体組織識別プログラム
KR20120041839A (ko) 렌즈의 색수차를 이용한 3차원 영상 획득 방법 및 이를 이용한 3차원 현미경
CN220626208U (zh) 一种寻址扫描超分辨显微成像系统
CN116539576A (zh) 寻址扫描超分辨率显微成像方法及相关设备
CN117930497A (zh) 用于光场显微术的方法和设备