KR102358848B1 - 이미지 재건 방법, 장치 및 현미 이미징 장치 - Google Patents

이미지 재건 방법, 장치 및 현미 이미징 장치 Download PDF

Info

Publication number
KR102358848B1
KR102358848B1 KR1020207013484A KR20207013484A KR102358848B1 KR 102358848 B1 KR102358848 B1 KR 102358848B1 KR 1020207013484 A KR1020207013484 A KR 1020207013484A KR 20207013484 A KR20207013484 A KR 20207013484A KR 102358848 B1 KR102358848 B1 KR 102358848B1
Authority
KR
South Korea
Prior art keywords
optical fiber
image
gray level
reconstruction
fiber bundle
Prior art date
Application number
KR1020207013484A
Other languages
English (en)
Other versions
KR20200070313A (ko
Inventor
진화 소우
진 순
허우리 두완
치양 왕
Original Assignee
수저우 마이크로뷰 메디칼 테크놀로지스 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수저우 마이크로뷰 메디칼 테크놀로지스 컴퍼니 리미티드 filed Critical 수저우 마이크로뷰 메디칼 테크놀로지스 컴퍼니 리미티드
Publication of KR20200070313A publication Critical patent/KR20200070313A/ko
Application granted granted Critical
Publication of KR102358848B1 publication Critical patent/KR102358848B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6484—Optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0635—Structured illumination, e.g. with grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0826—Fibre array at source, distributing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0833—Fibre array at detector, resolving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

이미지 재건 방법, 장치 및 현미 이미징 장치는, 하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들(04) 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들(04) 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다. 이미지 재건 방법은 광섬유 중심 위치의 픽셀점의 그레이 레벨만 계산한 다음 공간 보간에 의해 전체 이미지의 픽셀점의 그레이 레벨을 얻기에, 각각의 픽셀점의 그레이 레벨을 계산하는 계산량을 감소하여 이미지 재건 속도가 크게 증가되고, 이 방법은 재건 이미지 중 격자(022) 및 광섬유 번들(04) 셀룰러 그리드의 잔류를 제거하는데 도움을 주어 재건 이미지의 이미징 품질이 향상된다.

Description

이미지 재건 방법, 장치 및 현미 이미징 장치
본 발명은 이미지 처리 기술에 관한 것이고, 특히 이미지 재건 방법, 장치 및 현미 이미징 장치에 관한 것이다.
구조화 광 조명(structured illumination)에 기반한 현미경은 포커싱 평면 외부(out of focus)의 노이즈를 억제하는 섹셔닝(sectioning) 이미징 기능을 구비하고, 공초점 현미경과 비교하여 구조가 간단하고 이미징 속도가 빠른 장점을 구비한다. 선행기술에서 이는 종종 통상적인 내시경으로 사용되고, 인체 소화도 등 내부 기관을 스캔하는 것을 통해 세포 형상의 변화를 관찰하여 종양의 발생과 변화를 미리 예지하여 암 검진에 있어 중요한 지도적 의의가 있다.
구조화 광 조명에 기반한 현미경은 구체적으로 레이저를 통해 생물체가 형광을 띠도록 여기시키는 형광을 발사하고, 상기 형광은 추후 격자를 통과하여 흑백 스트립 형상의 정현(sinusoidal) 광원을 형성하고; 매번 격자 1/3만큼의 격자 간격을 이동하는 것을 통해 인체 세포를 스캔한 후 리턴한 다수의 이미지를 수집한다. 예를 들면 이미지 I 1, 이미지 I 2, 이미지 I 3을 얻은 다음 제곱 평균 공식
Figure 112020047553268-pct00001
에 따라 이미지 I 1, 이미지 I 2, 이미지 I 3에 대해 재건을 진행하여 재건 후의 이미지 I를 얻는다. 그러나 상기 재건 방법은 이미지 I 1, 이미지 I 2, 이미지 I 3 중 모든 픽셀의 그레이 레벨을 상기 제곱 평균 공식으로 계산해야 한다. 따라서, 계산 시간이 많이 들고 재건 후의 이미지 중 격자 및 광섬유 번들(fiber bundle) 셀룰러 그리드의 잔류가 현저하고 이미징 품질이 높지 않다.
선행기술 중 구조화 광 조명에 기반한 현미경의 이미지 재건 효율이 높지 못하고 이미지에 격자 잔류가 현저하여 이미징 품질이 높지 않은 기술적 과제를 해결하기 위해, 본 발명은 이미지 재건 속도가 빠르고 재건 이미지 중 격자 잔류를 제거하여 재건 후 이미지의 품질을 향상시키는 이미지 재건 방법, 장치 및 현미 이미징 장치를 제공한다.
본 발명은 하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계; 및
광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하는 단계; 를 포함하는 이미지 재건 방법을 제공한다.
선택 가능하게,
균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 단계; 및
상기 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하고, 상기 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정하는 단계; 를 더 포함한다.
선택 가능하게, 상기 균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 단계는,
하나의 격자 간격 거리 범위 내에서, 기설정 스텝사이즈만큼 이격된 다수의 광섬유 번들 이미지를 수집하는 단계; 및
상기 다수의 광섬유 번들 이미지에 대해 그 평균값 이미지를 구하고, 상기 균일한 형광성의 광섬유 번들의 오리지널 이미지를 형성하는 단계; 를 포함한다.
선택 가능하게, 상기 공간 보간을 진행하기 전에,
각각의 광섬유의 중심 위치에 따라, 광섬유 번들 내 각각의 픽셀점과 각각의 광섬유의 상기 중심 위치 사이의 보간 가중치를 결정하는 단계; 를 더 포함한다.
선택 가능하게,
각각의 광섬유의 중심 위치, 및 인접 광섬유의 중심 위치를 정점으로 하여 다수의 삼각형 구조를 형성하고;
상기 삼각형 구조에 따라, 각각의 삼각형 구조 내의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치를 결정하는 방법을 통해 상기 보간 가중치를 결정하는 단계; 를 더 포함한다.
선택 가능하게,
기설정 위상 간격에 따라, 하나의 격자 간격 거리 내에서 N-1번 이동하여, 초기 위상을 포함하고 상기 초기 위상으로부터 매 번 상기 기설정 위상 간격만큼 이동한 N개의 샘플 이미지를 획득하는 방법을 통해 다수의 샘플 이미지를 획득하는 단계; 를 더 포함한다.
선택 가능하게, 상기 기설정 위상 간격은 120 도이고; N = 3이다.
선택 가능하게, 상기 하나 또는 다수의 샘플 이미지에서 각각의 광섬유 중심 위치의 그레이 레벨을 결정하는 단계 이후에,
각각의 광섬유 중심 위치의 그레이 레벨에 대해 포화도 판단을 진행하는 단계;
상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 상기 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하는 단계;
재건 이미지 중에서 상기 피교정 광섬유의 중심 위치의 그레이 레벨를 상기 기설정 포화도 한계값으로 교정하고, 교정 후의 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 단계; 및
상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 단계; 를 더 포함한다.
선택 가능하게, 상기 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계는,
각각의 광섬유 중심 위치가 상기 다수의 샘플 이미지에서의 그레이 레벨을 서로 덜어 얻은 차이값에 대해 제곱과 제곱근을 구하여, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 얻는 단계; 를 포함한다.
본 발명은,
하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 계산 모듈; 및
광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하는 형성 모듈을 포함하는 이미지 재건 장치를 더 제공한다.
선택 가능하게,
균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 제1 획득 모듈; 및
상기 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하고, 상기 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정하는 제1 결정 모듈; 을 더 포함한다.
선택 가능하게, 상기 제1 획득 모듈은,
하나의 격자 간격 거리 범위 내에서, 기설정 스텝사이즈만큼 이격된 다수의 광섬유 번들 이미지를 수집하는 수집 서브 모듈; 및
상기 다수의 광섬유 번들 이미지에 대해 그 평균값 이미지를 구하고, 상기 균일한 형광성의 광섬유 번들의 오리지널 이미지를 형성하는 형성 서브 모듈; 을 포함한다.
선택 가능하게, 상기 장치는,
각각의 광섬유의 중심 위치에 따라, 광섬유 번들 내 각각의 픽셀점과 각각의 광섬유의 상기 중심 위치 사이의 보간 가중치를 결정하는 제2 결정 모듈; 을 더 포함한다.
선택 가능하게, 상기 장치는,
각각의 광섬유의 중심 위치, 및 인접 광섬유의 중심 위치를 정점으로 하여 다수의 삼각형 구조를 형성하고; 상기 삼각형 구조에 따라, 각각의 삼각형 구조 내의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치를 결정하는 제3 결정 모듈; 을 더 포함한다.
선택 가능하게, 상기 장치는,
기설정 위상 간격에 따라, 하나의 격자 간격 거리 내에서 N-1번 이동하여, 초기 위상을 포함하고 상기 초기 위상으로부터 매 번 상기 기설정 위상 간격만큼 이동한 N개의 샘플 이미지를 획득하는 제2 획득 모듈; 을 더 포함한다.
선택 가능하게, 상기 기설정 위상 간격은 120 도이고;
N = 3이다.
선택 가능하게, 상기 장치는,
각각의 광섬유 중심 위치의 그레이 레벨에 대해 포화도 판단을 진행하는 판단 모듈;
상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 상기 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하고; 재건 이미지 중에서 상기 피교정 광섬유의 중심 위치의 그레이 레벨를 상기 기설정 포화도 한계값으로 교정하고, 교정 후의 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 제1 처리 모듈; 및
상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 제2 처리 모듈; 을 더 포함한다.
선택 가능하게, 상기 계산 모듈은 구체적으로,
각각의 광섬유 중심 위치가 상기 다수의 샘플 이미지에서의 그레이 레벨을 서로 덜어 얻은 차이값에 대해 제곱과 제곱근을 구하여, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 얻는다.
본 발명은
광 발사 유닛, 위상 조절 유닛, 스티어링 유닛, 다수의 광섬유를 포함하는 광섬유 번들, 탐지 유닛, 처리 유닛을 포함하고,
상기 광 발사 유닛은 여자 광(excitation light)을 발사하며;
상기 위상 조절 유닛은 상기 여자 광의 광행로 출구 위치에 설치되고 상기 처리 유닛에 연결되어, 상기 처리 유닛이 발송한 위상 조절량에 따라, 상기 여자 광의 위상을 조절하여 상이한 위상의 여자 광을 얻고;
상기 스티어링 유닛은 상이한 위상의 여자 광에 대해 스티어링을 진행하여, 스티어링 후의 여자 광이 상기 광섬유 번들을 따라 피검출 조직에 포커싱되고, 상기 피검출 조직에 의해 리턴된 상이한 위상의 형광을 투과하며;
상기 탐지 유닛은 상이한 위상의 형광을 수집하여 다수의 샘플 이미지를 형성하고;
상기 처리 유닛은 상기 탐지 유닛에 연결되어, 상기 다수의 샘플 이미지를 수신하고, 다수의 샘플 이미지에서 결정한 상기 광섬유 번들 중 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하는 현미 이미징 장치를 더 제공한다.
선택 가능하게, 상기 위상 조절 유닛은 모터 및 격자를 포함하고;
상기 모터는 상기 처리 유닛, 상기 격자에 각각 연결되어, 상기 처리 유닛이 발송한 위상 조절량에 따라, 상기 격자를 이동하도록 드래그하여, 상기 여자 광이 상기 격자를 투과한 후 상기 위상 조절량에 대응되는 여자 광을 얻는다.
선택 가능하게, 상기 모터는 직류 모터를 포함하고,
상응하게, 상기 처리 유닛은 기설정 위상 간격에 따라 등간격의 위상 조절량을 결정하고; 상기 직류 모터는 상기 등간격의 위상 조절량을 수신하고 상기 격자를 드래그하여 하나의 격자 간격 범위 내에서 등간격 거리만큼 이동하도록 하여, 상기 처리 유닛이 상기 기설정 위상 간격에 대응되는 다수의 샘플 이미지를 획득하도록 한다.
선택 가능하게, 상기 기설정 위상 간격은 120 도이고; 상기 위상 조절량은 3 개이다.
선택 가능하게, 상기 광 발사 유닛은 여자 광을 발사하기 위한 레이저를 포함하고, 상기 레이저의 여자 광의 출구 위치에 설치되어, 상기 여자 광을 확장하여 라인 빔으로 일차원 포커싱하는 빔 확장 및 초점조절기를 더 포함한다.
선택 가능하게, 상기 스티어링 유닛은 다이크로익 미러이다.
선택 가능하게, 필터를 더 포함하고; 상기 필터는 상기 위상 조절 유닛과 상기 스티어링 유닛 사이에 설치되어 미광을 필터링한다.
선택 가능하게, 상기 탐지 유닛은 전하 결합 소자(CCD)를 포함한다.
선택 가능하게, 다수의 렌즈로 이루어진 대물 렌즈를 더 포함하고, 상기 대물 렌즈는 상기 스티어링 유닛과 상기 광섬유 번들 사이에 설치되어 상기 스티어링 유닛에 의해 스티어링된 후의 여자 광에 대해 포커싱 처리를 진행한다.
본 발명의 이미지 재건 방법, 장치 및 현미 이미징 장치는 하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다. 상기 이미지 재건 방법은 광섬유 중심 위치의 픽셀점의 그레이 레벨만 계산한 다음 공간 보간에 의해 전체 이미지의 픽셀점의 그레이 레벨을 얻기에, 각각의 픽셀점의 그레이 레벨을 계산하는 계산량을 감소하여 이미지 재건 속도가 크게 증가되고, 이 방법은 또한 재건 이미지 중 격자 및 광섬유 번들 셀룰러 그리드의 잔류를 제거하는데 도움을 주어 재건 이미지의 이미징 품질이 향상된다.
도 1은 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 방법의 흐름도이다.
도 2는 도 1에 도시된 실시예의 구조화 광 현미 내시경 장치의 모식도이다.
도 3은 다른 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 방법의 흐름도이다.
도 4는 도 3에 도시된 실시예의 광섬유 픽셀 삼각형 구조의 모식도이다.
도 5는 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 장치의 구조 모식도이다.
도 6은 다른 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 장치의 구조 모식도이다.
도 7은 일 예시적 실시예에 따라 도시한 본 발명의 현미 이미징 장치의 구조 모식도이다.
도 8은 다른 일 예시적 실시예에 따라 도시한 본 발명의 현미 이미징 장치의 구조 모식도이다.
본 발명의 실시예의 목적, 과제의 해결 수단 및 장점이 더 명확하도록, 아래 본 발명의 실시예 중의 도면을 참조하여 본 발명의 실시예의 과제의 해결 수단에 대해 명확하고 완전한 설명을 진행한다. 물론, 여기서 기술된 실시예는 본 발명의 일부 실시예일 뿐 전부 실시예가 아니다. 본 발명 중의 실시예에 기반하여 본 기술분야의 통상의 기술자가 진보성 창출에 힘쓸 필요가 없이 얻은 모든 다른 실시예는 모두 본 발명의 보호 범위에 속한다.
도 1은 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 방법의 흐름도이다. 도 1에 도시된 바와 같이, 본 발명의 이미지 재건 방법은 모든 광학 이미징의 이미지 재건에 적용되고, 특히 구조화 광에 기반한 이미지 재건에 적용된다. 우선 본 실시에는 구조화 광에 기반한 내시경을 예로 들어 구조화 광의 이미징 원리에 대해 간단히 설명한다.
도 2에 도시된 구조화 광에 기반한 현미 내시경 장치에 있어서, 익사이터(exciter)가 발사한 광원은 격자를 거쳐 정현 광을 변조하고, 정현 광은 다이크로익 미러(즉 특정 주파수의 광을 투과시키고 비특정 주파수의 광은 반사시킴), 대물 렌즈를 거쳐, 광섬유 번들을 따라 염색 후의 조직(예를 들면 인체 내의 세포 조직)을 여기시키고, 여기 후의 형광은 광섬유 번들, 대물 렌즈, 다이크로익 미러를 거쳐 전하 결합 소자(Charge-coupled Device, 약칭 “CCD”)에 도달하여 이미지 수집을 진행한다. CCD는 이미지 센서 또는 이미지 컨트롤러라고 할 수도 있고 반도체 소자로서 광학 영상을 전기적 신호로 변환시킨다. 여기서 변조된 정현 광원은 조직의 어느 하나의 포커싱 평면에 포커싱되고, 다수의 위상(예를 들면 3 개의 위상)에 대해 형광 이미징을 여기하고 Neil 공식을 적용하여 포커싱 평면 외부의 배경 형광을 필터링함으로써, 섹셔닝 이미징을 실현한다. 섹셔닝 이미징 기술은 의학 CT를 참고하고 사선 스캔에 따라 얻은 정보에 대해 역계산을 진행하여, 측정 범위 내의 암체 탄성파 및 전자파 파라미터 분포 규율의 이미지를 재건함으로써, 지질 이상체의 범위를 결정하는 물리 탐사 역해석 방법에 도달한다.
여기서 격자를 거쳐 변조된 구조화 광원은 아래 식으로 표시될 수 있다.
Figure 112020047553268-pct00002
상기 식에서 m은 변조 대비(modulation contrast)이고,
Figure 112020047553268-pct00003
은 규범화된 공간 주파수이고,
Figure 112020047553268-pct00004
값이 변화된 후 상이한 깊이(axial depth) 이미지의 섹셔닝을 실현하는데 사용할 수 있으며;
Figure 112020047553268-pct00005
는 샘플 평면(specimen plane)과 격자 평면(grid plane) 사이의 확대 배수이고;
Figure 112020047553268-pct00006
는 파장이며,
Figure 112020047553268-pct00007
는 실제 공간 주파수이고,
Figure 112020047553268-pct00008
는 개구수(numerical aperture)이다.
본 실시예는 도 2의 광섬유 번들 중 각각의 광섬유에서 전달되는 픽셀 정보를 결정하여, 구조화 광이 염색된 조직을 조사한 후 리턴된 형광 정보를 정확하게 획득하고, 해당 정보에 대해 명확하고 정확한 이미지를 형성하는 것이다. 본 실시예의 이미지 재건 방법의 구체적인 구현 단계는 아래와 같다.
단계 101에서, 하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산한다.
구체적으로, 도 2에 도시된 구조화 광에 기반한 현미 내시경 장치는 직류 모터를 구동하여 격자를 이동하도록 드래그하여 하나 또는 다수의 샘플 이미지를 획득한다. 샘플 이미지에는 광섬유 번들 중 각각의 광섬유에서 전달되는 픽셀 정보가 포함되고, 광섬유 번들에 있어서 한 가닥의 광섬유 번들은 통상적으로 3만 가닥 가까이의 광섬유(수량 차이는 몇 천개에 달할 수 있음)으로 이루어진다. 각각의 광섬유 가닥마다 모두 픽셀 정보가 전달되기에, 광섬유 번들은 또한 멀티 센서라고 할 수 있다. 광섬유의 이미징은 이미지에 일반적으로 6각형의 셀룰러 형상이 나타나고, 각각의 광섬유의 직경은 5 개 내지 6 개의 픽셀인 것이 좋다. 다수의 샘플 이미지에서, 각각의 광섬유의 중심 위치를 결정하고 각각의 중심 위치 픽셀점의 그레이 레벨을 획득한다. 중심 위치의 그레이 레벨의 결정 방법은 전술한 제곱 평균 공식에 의해 구할 수 있다. 즉 다수의 샘플 이미지 중의 동일한 중심 위치의 그레이 레벨에 대해 그 그레이 레벨의 평균값을 구하고, 계산해 낸 그레이 레벨 평균값을 재건 후 이미지 중 상기 광섬유 중심의 그레이 레벨로 하여, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 얻는다.
단계 102에서, 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다.
구체적으로, 각각의 광섬유의 중심 위치를 기준으로 하여 각각의 광섬유 중의 다른 픽셀점과 상기 중심 위치의 픽셀점 사이의 선형 관계를 찾고, 각각의 광섬유 중 모든 픽셀점이 상기 중심 위치 픽셀점에 대한 보간 가중치를 결정한다. 즉 각각의 광섬유 중 다른 픽셀점이 중심 위치 픽셀점에 대한 가중치 값을 결정한다. 이로써 각각의 픽셀점과 광섬유 중심사이의 보간 가중치에 기반하여, 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다.
본 실시예의 이미지 재건 방법은 하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다. 상기 이미지 재건 방법은 광섬유 중심 위치의 픽셀점의 그레이 레벨만 계산한 다음 공간 보간에 의해 전체 이미지의 픽셀점의 그레이 레벨을 얻기에, 각각의 픽셀점의 그레이 레벨을 계산하는 계산량을 감소하여 이미지 재건 속도가 크게 증가되고, 이 방법은 또한 재건 이미지 중 격자 및 광섬유 번들 셀룰러 그리드의 잔류를 제거하는데 도움을 주어 재건 이미지의 이미징 품질이 향상된다.
도 3은 다른 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 방법의 흐름도이다. 도 3에 도시된 바와 같이, 본 실시예의 이미지 재건 방법은 아래와 같은 단계를 포함한다.
단계 301에서, 균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득한다.
단계 302에서, 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하고, 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정한다.
구체적으로, 이미지 재건 전에 하나의 균일한 형광성의 이미지를 촬영하는데, 상기 균일한 형광성의 이미지는 광섬유에 대해 정확한 위치 결정을 하기 위한 것이다. 광섬유 번들에 있어서 한 가닥의 광섬유 번들은 통상적으로 3만 가닥 가까이의 광섬유(수량 차이는 몇 천개에 달할 수 있음)으로 이루어진다. 각각의 광섬유 가닥마다 모두 픽셀 정보가 전달되기에, 광섬유 번들은 또한 멀티 센서라고 할 수 있다. 광섬유의 이미징은 이미지에 일반적으로 6각형의 셀룰러 형상이 나타나고, 각각의 광섬유의 직경은 5 개 내지 6 개의 픽셀인 것이 좋다. 광섬유 사이의 간섭을 감소하기 위해, 광섬유 사이는 행이나 열이 정렬되는 것이 아니라 공간이 불규칙적으로 배열된다. 본 실시예 중의 광섬유의 중심 위치는 광섬유 중심의 가장 밝은 점을 광섬유 중심으로 하고, 가장 밝은 점은 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하여 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정하고 상기 중심의 가장 밝은 점의 좌표를 광섬유 좌표로 하여 각각의 광섬유 중의 다른 픽셀점에 대해 위치 결정을 진행한다. 그리드, 즉 광섬유의 6각형 셀룰러를 제거하기 위해, 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여 전반 광섬유 번들 범위 내에서 다른 픽셀의 그레이 레벨을 얻어야 한다. 통상적으로 격자를 설치한 후, 촬영된 위치 결정 이미지, 즉 오리지널 이미지 중에는 격자가 존재하게 되기에, 격자를 제거하여 촬영하면 균일한 형광성의 광섬유 번들의 오리지널 이미지를 얻을 수 있다. 선택 가능하게, 하나의 격자 간격 거리 범위 내에서, 기설정 스텝사이즈만큼 이격된 다수의 광섬유 번들 이미지를 수집하고; 다수의 광섬유 번들 이미지에 대해 그 평균값 이미지를 구하고, 균일한 형광성의 광섬유 번들의 오리지널 이미지를 형성할 수도 있다. 즉 도 2에 도시된 직류 모터가 하나의 격자 간격 범위 내에서 다수의 동일한 변위만큼 균일하게 이동한 다음, 수집된 평균값 이미지를 취한다. 본 기술분야의 통상의 기술자는 자체적으로 균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 방법을 결정할 수 있으며, 본 실시예는 이에 대해 구체적으로 한정하지 않는다.
단계 303에서, 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산한다.
여기서, 샘플 이미지에는, 기설정 위상 간격에 따라, 하나의 격자 간격 거리 내에서 N-1번 이동하여, 초기 위상을 포함하고 상기 초기 위상으로부터 매 번 상기 기설정 위상 간격만큼 이동한 N개의 샘플 이미지를 획득하는 것을 통해 획득할 수 있다. 예를 들면, 격자를 설치하고 모터를 통해 격자를 이동하도록 드래그함으로써 N개의 광섬유 번들의 샘플 이미지를 획득한다. 예를 들면, 샘플 이미지 수집을 시작하기 전에, 모터의 초기 위치에서 한 장의 샘플 이미지를 촬영한 다음, 모터가 다른 위치로 이동하여 한 장의 샘플 이미지를 더 촬영하고; 모터가 또 이동하고 또 촬영하여 N개의 샘플 이미지를 얻는다. 획득한 샘플 이미지의 정확성을 보장하기 위해, 모터를 시계 방향으로 다수의 위치로 회전하면서 상기 N개의 샘플 이미지를 획득하고, 일정 시간이 지난 후 모터를 반시계 방향으로 이동하면서 N개의 샘플 이미지를 획득할 수 있다. 이로써 2 개의 구조화 광 이미지를 재건할 수 있는데, 대비를 통해 재건 이미지의 정확성을 보장할 수 있다. 바람직하게, 기설정 위상 간격은 120 도이고, N = 3이다. 상응하게, 모터에 의해 격자를 드래그하여 수평 이동을 진행하고 매 번 기설정 위상 간격 한계값이 1/3인 격자 간격만큼 이동한다. 수집을 시작하기 전에, 모터가 초기 위치로 이동하고 카메라가 한 장 촬영하며, 모터가 이동하고 촬영하며, 모터가 또 이동하고 촬영하여 3 개 위상의 샘플 이미지를 얻은 후 이미지를 재건한다. 다음, 주기가 일정하도록 일정 시간 기다렸다가 다시 촬영하고 반대 방향으로 이동한다. 이로써 모터가 왔다갔다 1번 왕복 이동하면 2 개의 구조화 광의 이미지를 재건할 수 있다. 3 개의 샘플 이미지는 각각 0 도 위상 샘플 이미지 I 1(초기 위상), 120 도 위상 샘플 이미지 I 2(하나의 기설정 위상 간격 한계값만큼 이동), 240 도 위상 샘플 이미지 I 3(2 개의 기설정 위상 간격 한계값만큼 이동)일 수 있고, 이 3 개의 샘플 이미지 중 광섬유 중심 위치에 따라 3 개의 위상 이미지의 광섬유 중심의 그레이 레벨을 검색한다. 즉 0 도 위상 샘플 이미지 I 1의 광섬유 중심 그레이 레벨 G1, 120 도 위상 샘플 이미지 I 2의 광섬유 중심 그레이 레벨 G2, 240 도 위상 샘플 이미지 I 3의 광섬유 중심 그레이 레벨 G3을 얻는다. 선택 가능하게, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨에 대한 계산은, 각각의 광섬유 중심 위치가 다수의 샘플 이미지에서의 그레이 레벨을 서로 덜어 얻은 차이값에 대해 제곱과 제곱근을 구하여, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 얻는 방법을 사용할 수 있다. 예를 들면 Neil공식
Figure 112020047553268-pct00009
에 의해 3 개의 샘플 이미지 중 3 개의 중심 그레이 레벨에 대해 둘둘씩 덜고 차이값에 대해 제곱을 구하며 제곱 후의 각각의 차이값을 서로 더한 다음 제곱근을 구하여 재건 이미지 중 광섬유 중심의 그레이 레벨을 계산해 낸다.
그러나 상기 Neil 공식의 단점은 샘플 이미지의 포화도가 너무 클 경우 중심 그레이 레벨을 둘둘씩 덜면, 중심 점에서 계산해 낸 그레이 레벨이 오히려 하나의 그레이 레벨이 아주 작은 검은 점이기에 재건된 이미지에 검은 영역이 나타나 세포에 대해 명확한 이미징이 불가능하다. 이미지 포화가 재건 이미지에 대해 이미징이 불명확한 문제를 일으키는 것을 방지하기 위해, 광섬유 중심 점의 그레이 레벨에 대해 포화도 교정을 수행한다. 이렇게 재건된 이미지는 우수한 섹셔닝 효과가 있다.
선택 가능하게, 하나 또는 다수의 샘플 이미지에서 각각의 광섬유 중심 위치의 그레이 레벨을 결정한 후, 각각의 광섬유 중심 위치의 그레이 레벨의 포화도를 판단하는 단계를 추가할 수 있다. 다시 말하면, 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하고; 재건 이미지 중에서 피교정 광섬유의 중심 위치의 그레이 레벨를 기설정 포화도 한계값으로 교정하고, 교정 후의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하고;
샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행한다.
여기서, 기설정 포화도 한계값은 CCD의 성능에 따라 결정할 수 있다. 예를 들면, 0 도 위상샘플 이미지I 1의 광섬유 중심 그레이 레벨G1, 120 도 위상샘플 이미지I 2의 광섬유 중심 그레이 레벨G2, 240 도 위상샘플 이미지I 3의 광섬유 중심 그레이 레벨G3 등 3개의 그레이 레벨에 4095(4095는 12 비트 이미지 최댓값에 대응되고 CCD 포화를 표시함)보다 큰 것이 있는지 판단한 다음, 상기 Neil공식
Figure 112020047553268-pct00010
을 사용하여 재건 이미지의 중심 점 그레이 레벨을 계산하지 않고, 직접 4095의 기설정 포화도 한계값을 상기 중심 점 그레이 레벨로 한다. 이런 처리는 샘플 이미지와 재건 구조화 광 이미지가 시각적으로 흑백이 반대되는 현상을 방지한다. 그러나 이런 처리는 부득이한 경우에 사용하는 구제 수단이고, 본 기술분야의 통상의 기술자는 샘플 이미지 수집 시 이미지 포화가 발생하는 문제를 최대한 피해야 한다. 예를 들면, 카메라 파라미터의 노출 시간이 너무 길거나 게인이 너무 큰 것을 피하고; 샘플 형광 염색 물질이 너무 짙은 것을 피하며; 레이저가 발사한 레이저광의 세기가 너무 높은 것을 피하는 등 수단을 사용할 수 있다.
마찬가지로, 재건 이미지 중에 광섬유 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하고; 재건 이미지 중에서 피교정 광섬유의 중심 위치의 그레이 레벨을 기설정 포화도 한계값으로 교정한다. 다시 말하면, 계산한
Figure 112020047553268-pct00011
값이 기설정 포화도 한계값을 초과하면, 상기 광섬유를 피교정 광섬유로 결정하고, 즉 기설정 포화도 한계값을 상기 광섬유의 중심 위치의 그레이 레벨로 하여, 샘플 이미지에 대한 포화도 교정을 진행한다.
단계 304에서, 각각의 광섬유의 중심 위치에 따라, 광섬유 번들 내 각각의 픽셀점과 각각의 광섬유의 상기 중심 위치 사이의 보간 가중치를 결정한다
구체적으로, 상술한 바와 같이, 샘플 이미지든지 오리지널 이미지든지 모두 동일한 구조의 광섬유 번들에 대해 광학 이미징을 진행하기에, 오리지널 이미지에서 결정한 각각의 광섬유의 중심 위치에 따라 샘플 이미지 중 대응되는 광섬유의 중심 위치를 찾고, 상기 중심 점의 그레이 레벨을 판독할 수 있다. N개의 샘플 이미지 중 각각의 광섬유는 모두 위치 결정을 진행하고 그 그레이 레벨을 획득한다. 따라서 각각의 광섬유는 모두 N개의 중심 위치의 그레이 레벨에 대응되고, 기설정 알고리즘(전술한 제곱 평균의 Neil공식)에 의해 N개의 중심 위치의 그레이 레벨에 대해 그레이 레벨의 평균값을 구하고, 계산한 그레이 레벨 평균값을 재건 후 이미지 중 상기 광섬유 중심의 그레이 레벨로 한다.
광섬유 번들 내 각각의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치에 대해, 각각의 광섬유의 중심 위치, 및 인접 광섬유의 중심 위치를 정점으로 하여 다수의 삼각형 구조를 형성하고; 삼각형 구조에 따라, 각각의 삼각형 구조 내의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치를 결정하는 방법을 사용할 수 있다.
구체적으로, 영역 극대값법에 의해 광섬유 중심 좌표를 얻을 수 있다. 즉 도 4에 도시된 광섬유 A의 중심 위치를 정점으로 하고, 광섬유 A 및 그와 인접한 광섬유 B와 광섬유 C의 3개의 중심 위치에 의해 하나의 3각형을 구성하여 전체 광섬유 번들 범위 내에서 다수의 삼각형으로 나눈다. 이런 삼각형을 통해 픽셀과 광섬유의 보간 관계를 구축한다. 광섬유 번들은 대략 6각형이기에 분포가 불규칙적이다. 인접 광섬유는 횡방향 또는 종방향 좌표가 정렬되는 관계를 구비하지 않기에 통상적인 이중 선형 보간과 같이 4 개의 규칙적인 정점으로 중간의 픽셀에 대해 보간을 진행할 수 없다. 그러나 이런 삼각형 구조를 사용하면 마찬가지로 각각의 삼각형 구조 내의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치를 결정할 수 있다.
단계 305에서, 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다.
구체적으로, 균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득한 후, 오리지널 이미지에서 광섬유 번들에 포함된 모든 광섬유의 중심 위치를 결정하고, 즉 각각의 광섬유에서 가장 밝은 그 픽셀점의 위치 좌표를 결정한다. 각각의 광섬유의 중심 위치를 기준으로 하여 각각의 광섬유 중의 다른 픽셀점과 상기 중심 위치의 픽셀점 사이의 선형 관계를 찾고, 각각의 광섬유 중 모든 픽셀점이 상기 중심 위치 픽셀점에 대한 보간 가중치를 결정한다. 즉 각각의 광섬유 중 다른 픽셀점이 중심 위치 픽셀점에 대한 가중치 값을 결정한다. 후속적으로 구조화 광이 조직을 조사한 후 얻은 샘플 이미지에 대한 재건은 미리 계산해 놓은 선형 가중치 값에 기반하여 재건 시 광섬유의 그레이 레벨을 곱하여 보간을 진행하고자 하는 픽셀의 그레이 레벨을 얻고 재건 이미지를 형성한다.
본 실시예의 이미지 재건 방법은 삼각형의 픽셀 공간에 기초하고 광섬유의 위치 결정을 이용하여 구조화 광 이미징의 재건을 진행함으로써, 광섬유 중심 점의 픽셀에 대해서만 Neil공식과 같은 그레이 레벨 계산을 진행한 다음, 보간을 통해 전체 구조화 광 이미지를 재건한다. 이로써 계산 시간을 크게 절약하고 광섬유의 셀룰러 구조를 제거할 수 있다. N개의 샘플 이미지, 예를 들면 3 개의 샘플 이미지 위상이 정확히 120 도 차이날 경우, 격자의 흔적도 없다. 따라서 본 발명의 이미지 재건 방법은 각각의 픽셀점 그레이 레벨을 계산하는 계산량을 크게 감소하여 이미지 재건 속도가 크게 증가되고, 이 방법은 또한 재건 이미지 중 격자 및 광섬유 번들 셀룰러 그리드의 잔류를 제거하는데 도움을 주어 재건 이미지의 이미징 품질이 향상된다.
도 5는 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 장치의 구조 모식도이다. 도 5에 도시된 바와 같이, 본 실시예의 이미지 재건 장치는,
하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 계산 모듈(1); 및
광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하는 형성 모듈(2); 을 포함한다.
본 실시예는 도 1에 도시된 실시예를 구현할 수 있고, 구현 원리는 유사하므로 여기서는 더이상 설명하지 않는다.
본 실시예의 이미지 재건 장치는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다. 상기 이미지 재건 방법은 광섬유 중심 위치의 픽셀점의 그레이 레벨만 계산한 다음 공간 보간에 의해 전체 이미지의 픽셀점의 그레이 레벨을 얻기에, 각각의 픽셀점의 그레이 레벨을 계산하는 계산량을 감소하여 이미지 재건 속도가 크게 증가되고, 이 방법은 또한 재건 이미지 중 격자 및 광섬유 번들 셀룰러 그리드의 잔류를 제거하는데 도움을 주어 재건 이미지의 이미징 품질이 향상된다.
도 6은 다른 일 예시적 실시예에 따라 도시한 본 발명의 이미지 재건 장치의 구조 모식도이다. 도 6에 도시된 바와 같이, 상기 실시예에 기반하면 본 실시예의 이미지 재건 장치는
균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 제1 획득 모듈(3); 및
상기 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하고, 상기 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정하는 제1 결정 모듈(4); 을 더 포함한다.
선택 가능하게, 상기 제1 획득 모듈(3)은,
하나의 격자 간격 거리 범위 내에서, 기설정 스텝사이즈만큼 이격된 다수의 광섬유 번들 이미지를 수집하는 수집 서브 모듈(31); 및
상기 다수의 광섬유 번들 이미지에 대해 그 평균값 이미지를 구하고, 상기 균일한 형광성의 광섬유 번들의 오리지널 이미지를 형성하는 형성 서브 모듈(32);을 포함한다.
선택 가능하게, 상기 장치는,
각각의 광섬유의 중심 위치에 따라, 광섬유 번들 내 각각의 픽셀점과 각각의 광섬유의 상기 중심 위치 사이의 보간 가중치를 결정하는 제2 결정 모듈(5); 을 더 포함한다.
선택 가능하게, 상기 장치는,
각각의 광섬유의 중심 위치, 및 인접 광섬유의 중심 위치를 정점으로 하여 다수의 삼각형 구조를 형성하고; 상기 삼각형 구조에 따라, 각각의 삼각형 구조 내의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치를 결정하는 제3 결정 모듈(6); 을 더 포함한다.
선택 가능하게, 상기 장치는,
기설정 위상 간격에 따라, 하나의 격자 간격 거리 내에서 N-1번 이동하여, 초기 위상을 포함하고 상기 초기 위상으로부터 매 번 상기 기설정 위상 간격만큼 이동한 N개의 샘플 이미지를 획득하는 제2 획득 모듈(7); 을 더 포함한다.
선택 가능하게, 상기 기설정 위상 간격은 120 도이고; N = 3이다.
선택 가능하게, 상기 장치는,
각각의 광섬유 중심 위치의 그레이 레벨에 대해 포화도 판단을 진행하는 판단 모듈(8);
상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 상기 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하고; 재건 이미지 중에서 상기 피교정 광섬유의 중심 위치의 그레이 레벨를 상기 기설정 포화도 한계값으로 교정하고, 교정 후의 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 제1 처리 모듈(9); 및
상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 제2 처리 모듈(10); 을 더 포함한다.
선택 가능하게, 계산 모듈(1)은 구체적으로, 각각의 광섬유 중심 위치가 상기 다수의 샘플 이미지에서의 그레이 레벨을 서로 덜어 얻은 차이값에 대해 제곱과 제곱근을 구하여, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 얻는다.
본 실시예는 도 3에 도시된 실시예를 구현할 수 있고, 구현 원리는 유사하므로 여기서는 더이상 설명하지 않는다.
도 7은 일 예시적 실시예에 따라 도시한 본 발명의 현미 이미징 장치의 구조 모식도이다. 도 7에 도시된 바와 같이, 본 실시예는 현미 이미징 장치를 제공하고, 이는 광 발사 유닛(01), 위상 조절 유닛(02), 스티어링 유닛(03), 다수의 광섬유를 포함하는 광섬유 번들(04), 탐지 유닛(05), 처리 유닛(06)을 포함하고, 여기서
광 발사 유닛(01)은 여자 광을 발사하며;
위상 조절 유닛(02)은 여자 광의 광행로 출구 위치에 설치되고 처리 유닛(06)에 연결되어, 처리 유닛(06)이 발송한 위상 조절량에 따라, 여자 광의 위상을 조절하여 상이한 위상의 여자 광을 얻고;
스티어링 유닛(03)은 상이한 위상의 여자 광에 대해 스티어링을 진행하여, 스티어링 후의 여자 광이 광섬유 번들(04)을 따라 피검출 조직에 포커싱되고, 피검출 조직에 의해 리턴된 상이한 위상의 형광을 투과하며;
탐지 유닛(05)은 상이한 위상의 형광을 수집하여 다수의 샘플 이미지를 형성하고;
처리 유닛(06)은 탐지 유닛(05)에 연결되어, 다수의 샘플 이미지를 수신하고, 다수의 샘플 이미지에서 결정한 광섬유 번들 중 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다.
구체적으로, 광 발사 유닛(01)이 발사한 여자 광은 스티어링 유닛(03)(즉 특정 주파수의 광을 투과시키고 비특정 주파수의 광은 반사시킴)을 거치고, 광섬유 번들(04)을 따라 염색 후의 조직(예를 들면 인체 내의 세포 조직)을 여기시키고, 여기 후의 형광은 광섬유 번들, 스티어링 유닛(03)을 거쳐 탐지 유닛(05)에 도달하여 이미지 수집을 진행한다. 상기 탐지 유닛(05)은 전하 결합 소자(Charge-coupled Device, 약칭 “CCD”)일 수 있고, 이미지 센서 또는 이미지 컨트롤러라고 할 수도 있고 반도체 소자로서 광학 영상을 전기적 신호로 변환시킨다. 여기서 광 발사 유닛(01)이 발사한 여자 광은 조직의 어느 하나의 포커싱 평면에 포커싱되고, 위상 조절 유닛(02)을 통해 처리 유닛(06)이 발송한 위상 조절량에 따라 여자 광의 위상을 조절하여 상이한 위상의 여자 광을 얻는다. 처리 유닛(06)은 다수의 위상(예를 들면 3 개의 위상)에 대해 형광 이미징을 여기하고 Neil 공식을 적용하여 포커싱 평면 외부의 배경 형광을 필터링함으로써, 섹셔닝 이미징을 실현한다. 섹셔닝 이미징 기술은 의학 CT를 참고하고 사선 스캔에 따라 얻은 정보에 대해 역계산을 진행하여, 측정 범위 내의 암체 탄성파 및 전자파 파라미터 분포 규율의 이미지를 재건함으로써, 지질 이상체의 범위를 결정하는 물리 탐사 역해석 방법에 도달한다. 구체적으로, 처리 유닛(06)은 다수의 위상의 다수의 샘플 이미지에서 결정한 광섬유 번들 중 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다.
본 실시예의 현미 이미징 장치는 광 발사 유닛, 위상 조절 유닛, 스티어링 유닛, 다수의 광섬유를 포함하는 광섬유 번들, 탐지 유닛, 처리 유닛을 포함하고, 광 발사 유닛은 여자 광을 발사하며; 위상 조절 유닛은 여자 광의 광행로 출구 위치에 설치되고 처리 유닛에 연결되어, 처리 유닛이 발송한 위상 조절량에 따라, 여자 광의 위상을 조절하여 상이한 위상의 여자 광을 얻고; 스티어링 유닛은 상이한 위상의 여자 광에 대해 스티어링을 진행하여, 스티어링 후의 여자 광이 광섬유 번들을 따라 피검출 조직에 포커싱되고, 피검출 조직에 의해 리턴된 상이한 위상의 형광을 투과하며; 탐지 유닛은 상이한 위상의 형광을 수집하여 다수의 샘플 이미지를 형성하고; 처리 유닛은 탐지 유닛에 연결되어, 다수의 샘플 이미지를 수신하고, 다수의 샘플 이미지에서 결정한 광섬유 번들 중 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 재건 이미지를 형성한다. 위상 조절 유닛이 처리 유닛이 발송한 위상 조절량에 따라 여자광의 위상을 조절하고, 처리 유닛이 필요한 위상의 다수의 샘플 이미지를 획득할 수 있기에, 다수의 샘플 이미지 처리 후 얻은 재건 이미지의 이미징 품질을 향상시키고, 상기 장치를 사용하면 또 재건 이미지 중 픽셀점그레이 레벨의 계산량을 감소할 수도 있어 이미지 재건 속도가 증가된다,
도 8은 다른 일 예시적 실시예에 따라 도시한 본 발명의 현미 이미징 장치의 구조 모식도이다. 도 8에 도시된 바와 같이, 앞의 실시예의 기초상에서 위상 조절 유닛(02)은 모터(021), 격자(022)를 포함하고;
모터(021)는 처리 유닛(06), 격자(022)에 각각 연결되어, 처리 유닛(06)이 발송한 위상 조절량에 따라, 격자(022)를 이동하도록 드래그하여, 여자 광이 격자(022)를 투과한 후 위상 조절량에 대응되는 여자 광을 얻는다.
선택 가능하게, 모터(021)는 직류 모터를 포함하고, 처리 유닛(06)은 기설정 위상 간격에 따라 등간격의 위상 조절량을 결정하고; 직류 모터는 등간격의 위상 조절량을 수신하고 격자(022)를 드래그하여 하나의 격자 간격 범위 내에서 등간격 거리만큼 이동하도록 하여, 처리 유닛(06)이 기설정 위상 간격에 대응되는 다수의 샘플 이미지를 획득하도록 한다.
구체적으로, 처리 유닛(06)은 직류 모터를 구동하여 격자(022)를 이동하도록 드래그하여 다수의 샘플 이미지를 획득한다. 샘플 이미지에는 광섬유 번들 중(04) 각각의 광섬유에서 전달되는 픽셀 정보가 포함되고, 광섬유 번들(04)에 있어서 한 가닥의 광섬유 번들(04)은 통상적으로 3만 가닥 가까이의 광섬유(수량 차이는 몇 천개에 달할 수 있음)으로 이루어진다. 각각의 광섬유 가닥마다 모두 픽셀 정보가 전달되기에, 광섬유 번들(04)은 또한 멀티 센서라고 할 수 있다. 광섬유 이미징의 모식도는 도 4에 도시된 바와 같고, 광섬유의 이미징은 이미지에 일반적으로 6각형의 셀룰러 형상이 나타나고, 각각의 광섬유의 직경은 5 개 내지 6 개의 픽셀인 것이 좋다. 다수의 샘플 이미지에서, 각각의 광섬유의 중심 위치를 결정하고 각각의 중심 위치 픽셀점의 그레이 레벨을 획득한다. 중심 위치의 그레이 레벨의 결정 방법은 전술한 제곱 평균 공식에 의해 구할 수 있다. 즉 다수의 샘플 이미지 중의 동일한 중심 위치의 그레이 레벨에 대해 그 그레이 레벨의 평균값을 구하고, 계산해 낸 그레이 레벨 평균값을 재건 후 이미지 중 상기 광섬유 중심의 그레이 레벨로 하여, 재건 이미지 중 광섬유 번들(04) 내 각각의 광섬유 중심의 그레이 레벨을 얻는다.
선택 가능하게, 기설정 위상 간격은 120 도이고; 위상 조절량은 3 개이다.
예를 들면, 격자(022)를 설치하고 모터(021)를 통해 격자(022)를 이동하도록 드래그함으로써 N개의 광섬유 번들의 샘플 이미지를 획득한다. 예를 들면, 샘플 이미지 수집을 시작하기 전에, 모터(021)의 초기 위치에서 한 장의 샘플 이미지를 촬영한 다음, 모터(021)가 다른 위치로 이동하여 한 장의 샘플 이미지를 더 촬영하고; 모터(021)가 또 이동하고 또 촬영하여 N개의 샘플 이미지를 얻는다. 획득한 샘플 이미지의 정확성을 보장하기 위해, 모터(021)를 시계 방향으로 다수의 위치로 회전하면서 상기 N개의 샘플 이미지를 획득하고, 일정 시간이 지난 후 모터(021)를 반시계 방향으로 이동하면서 N개의 샘플 이미지를 획득할 수 있다. 이로써 2 개의 구조화 광 이미지를 재건할 수 있는데, 대비를 통해 재건 이미지의 정확성을 보장할 수 있다. 기설정 위상 간격은 120 도이고, 위상 조절량이 3개(즉 N = 3)인 경우, 모터(021)에 의해 격자를 드래그하여 수평 이동을 진행하고 매 번 기설정 위상 간격 한계값이 1/3인 격자(022) 간격만큼 이동한다. 수집을 시작하기 전에, 모터(021)가 초기 위치로 이동하고 카메라가 한 장 촬영하며, 모터(021)가 이동하고 촬영하며, 모터(021)가 또 이동하고 촬영하여 3 개 위상의 샘플 이미지를 얻은 후 이미지를 재건한다. 다음, 주기가 일정하도록 일정 시간 기다렸다가 다시 촬영하고 반대 방향으로 이동한다. 이로써 모터(021)가 왔다갔다 1번 왕복 이동하면 2 개의 구조화 광의 이미지를 재건할 수 있다. 3 개의 샘플 이미지는 각각 0 도 위상 샘플 이미지 I 1(초기 위상), 120 도 위상 샘플 이미지 I 2(하나의 기설정 위상 간격 한계값만큼 이동), 240 도 위상 샘플 이미지 I 3(2 개의 기설정 위상 간격 한계값만큼 이동)일 수 있고, 이 3 개의 샘플 이미지 중 광섬유 중심 위치에 따라 3 개의 위상 이미지의 광섬유 중심의 그레이 레벨을 검색한다. 즉 0 도 위상 샘플 이미지 I 1의 광섬유 중심 그레이 레벨 G1, 120 도 위상 샘플 이미지 I 2의 광섬유 중심 그레이 레벨 G2, 240 도 위상 샘플 이미지 I 3의 광섬유 중심 그레이 레벨 G3을 얻는다.
선택 가능하게, 광 발사 유닛(01)은 여자 광을 발사하기 위한 레이저(011)를 포함하고, 레이저(011)의 여자 광의 출구 위치에 설치되어, 여자 광을 확장하여 라인 빔으로 일차원 포커싱하는 빔 확장 및 초점조절기(012)를 더 포함한다.
레이저(011)는 여자 광을 발사하고, 특정 파장의 시준 레이저광을 발사하는 레이저일 수 있다. 상기 특정 파장 범위는 20 nm ~ 2000nm 일 수 있다. 상기 파장 범위 내의 레이저광은 큰 범위의 형광체를 여기할 수 있다. 레이저(011)는 양자우물 레이저, 고체 레이저, 기체 레이저(예를 들면 아르곤 이온 레이저) 또는 레이저 다이오드일 수 있다. 빔 확장 및 초점조절기(012)는 레이저(011)의 여자 광의 출구 위치에 설치되어, 여자 광을 확장하여 라인 빔으로 일차원 포커싱한다. 이는 확장 렌즈 및 렌티큘러 렌즈를 포함할 수 있다. 확장 렌즈는 레이저(011)가 발사한 시준 광속에 대해 확장을 진행하여, 시준 광속의 직경을 변경하고, 렌티큘러 렌즈는 확장 후의 광속을 라인 빔으로 일차원 포커싱하고 스티어링 유닛(03)에 전달한다.
선택 가능하게, 스티어링 유닛(03)은 다이크로익 미러이고 이색경이라고도 한다. 그 파장 범위는 40 nm ~ 2200 nm 파장 범위 내에 있을 수 있고, 특정 주파수의 광을 투과하고 비특정 주파수의 광을 반사하는 작용이 있다.
선택 가능하게, 필터(07)를 더 포함하고; 필터(07)는 위상 조절 유닛(02)과 스티어링 유닛(03) 사이에 설치되어 미광을 필터링함으로써, 샘플 이미지의 이미징 품질을 향상시키고 나아가 재건 이미지의 이미징 품질을 향상시킨다.
선택 가능하게, 탐지 유닛(05)은 전하 결합 소자(CCD)를 포함한다. 상기 탐지 유닛(05)은 선형 배열 탐지 유닛일 수 있고, 면 배열(area array) 탐지 유닛일 수도 있다. 예를 들면, CCD(전하 결합 소자) 선형 배열 카메라 또는 CMOS(상보형금속산화반도체) 선형 배열 카메라 등일 수 있다. 선형 배열 탐지 유닛의 이미징 속도는 몇십 프레임 내지 몇천 프레임의 범위 내이다.
선택 가능하게, 다수의 렌즈로 이루어진 대물 렌즈(08)를 더 포함하고, 대물 렌즈(08)는 스티어링 유닛(03)과 광섬유 번들(04) 사이에 설치되어 스티어링 유닛(03)에 의해 스티어링된 후의 여자 광에 대해 포커싱 처리를 진행한다.
상기 현미 이미징 장치는 도 1, 도 3에 도시된 임의의 방법 실시예에 따른 이미지 재건 방법을 구현할 수 있고, 구현 원리는 유사하므로 여기서는 더이상 설명하지 않는다.
본 기술분야의 통상의 기술자는 상기 각 방법 실시예의 전부 또는 일부 단계의 수행은 프로그램 명령과 관련된 하드웨어를 통해 완성될 수 있다는 것을 이해할 것이다. 전술한 프로그램은 컴퓨터 판독가능 저장매체에 저장될 수 있다. 상기 프로그램이 수행될 경우, 상기 각 방법 실시예를 포함하는 단계를 수행할 수 있다. 전술한 저장매체는 ROM, RAM, 디스크 또는 cd-rom 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로 설명해야 할 것은, 상술한 각 실시예는 본 발명의 과제의 해결 수단을 설명하기 위한 것일 뿐 한정하기 위한 것이 아니다. 전술한 각 실시예를 참조하여 본 발명을 상세히 설명하였으나 본 기술분야의 통상의 기술자는 전술한 각 실시예에 기재된 해결 수단을 수정하거나 그중의 일부 또는 전부 해결 수단에 대해 등가 교환을 진행할 수 있고, 이러한 수정 또는 변환을 진행하더라도 상응한 해결 수단의 본질이 본 발명의 각 실시예의 해결 수단의 범위를 벗어나지 않는다.
01: 광 발사 유닛;
011: 레이저;
012: 빔 확장 및 초점조절기;
02: 위상 조절 유닛;
021: 모터;
022: 격자;
03: 스티어링 유닛;
04: 광섬유 번들;
05: 탐지 유닛;
06: 처리 유닛;
07: 필터;
08: 대물 렌즈.

Claims (27)

  1. 이미지 재건 방법에 있어서,
    하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계; 및
    광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하는 단계; 를 포함하되,
    상기 하나 또는 다수의 샘플 이미지에서 각각의 광섬유 중심 위치의 그레이 레벨을 결정하는 단계 이후에,
    각각의 광섬유 중심 위치의 그레이 레벨에 대해 포화도 판단을 진행하는 단계;
    상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 상기 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하는 단계;
    재건 이미지 중에서 상기 피교정 광섬유의 중심 위치의 그레이 레벨를 상기 기설정 포화도 한계값으로 교정하고, 교정 후의 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 단계; 및
    상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 재건 방법.
  2. 제1항에 있어서,
    균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 단계; 및
    상기 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하고, 상기 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 재건 방법.
  3. 제2항에 있어서,
    상기 균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 단계는,
    하나의 격자 간격 거리 범위 내에서, 기설정 스텝사이즈만큼 이격된 다수의 광섬유 번들 이미지를 수집하는 단계; 및
    상기 다수의 광섬유 번들 이미지에 대해 그 평균값 이미지를 구하고, 상기 균일한 형광성의 광섬유 번들의 오리지널 이미지를 형성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 재건 방법.
  4. 제1항에 있어서,
    상기 공간 보간을 진행하기 전에,
    각각의 광섬유의 중심 위치에 따라, 광섬유 번들 내 각각의 픽셀점과 각각의 광섬유의 상기 중심 위치 사이의 보간 가중치를 결정하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 재건 방법.
  5. 제4항에 있어서,
    각각의 광섬유의 중심 위치, 및 인접 광섬유의 중심 위치를 정점으로 하여 다수의 삼각형 구조를 형성하고;
    상기 삼각형 구조에 따라, 각각의 삼각형 구조 내의 픽셀점과 각각의 광섬유의 중심 위치 사이의 보간 가중치를 결정하는 방법을 통해 상기 보간 가중치를 결정하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 재건 방법.
  6. 제1항에 있어서,
    기설정 위상 간격에 따라, 하나의 격자 간격 거리 내에서 N-1번 이동하여, 초기 위상을 포함하고 상기 초기 위상으로부터 매 번 상기 기설정 위상 간격만큼 이동한 N개의 샘플 이미지를 획득하는 방법을 통해 다수의 샘플 이미지를 획득하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 재건 방법.
  7. 제6항에 있어서,
    상기 기설정 위상 간격은 120 도이고;
    N = 3인 것을 특징으로 하는 이미지 재건 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계는,
    각각의 광섬유 중심 위치가 상기 다수의 샘플 이미지에서의 그레이 레벨을 서로 덜어 얻은 차이값에 대해 제곱과 제곱근을 구하여, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 얻는 단계; 를 포함하는 것을 특징으로 하는 이미지 재건 방법.
  10. 이미지 재건 장치에 있어서,
    하나 또는 다수의 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 계산 모듈; 및
    광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하는 형성 모듈; 을 포함하고,
    상기 이미지 재건 장치는,
    각각의 광섬유 중심 위치의 그레이 레벨에 대해 포화도 판단을 진행하는 판단모듈;
    상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 상기 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하고; 재건 이미지 중에서 상기 피교정 광섬유의 중심 위치의 그레이 레벨를 상기 기설정 포화도 한계값으로 교정하고, 교정 후의 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 제1 처리모듈; 및
    상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 제1 처리모듈;을 더 포함하는 것을 특징으로 하는 이미지 재건 장치.
  11. 제10항에 있어서,
    균일한 형광성의 광섬유 번들의 오리지널 이미지를 획득하는 제1 획득 모듈; 및
    상기 오리지널 이미지에서 픽셀값이 주변 픽셀값보다 높은 타깃 픽셀점을 확인하고, 상기 타깃 픽셀점을 광섬유 번들 중 각 광섬유의 중심 위치로 결정하는 제1 결정 모듈; 을 더 포함하는 것을 특징으로 하는 이미지 재건 장치.
  12. 현미 이미징 장치에 있어서,
    광 발사 유닛, 위상 조절 유닛, 스티어링 유닛, 다수의 광섬유를 포함하는 광섬유 번들, 탐지 유닛, 처리 유닛을 포함하고,
    상기 광 발사 유닛은 여자 광(excitation light)을 발사하며;
    상기 위상 조절 유닛은 상기 여자 광의 광행로 출구 위치에 설치되고 상기 처리 유닛에 연결되어, 상기 처리 유닛이 발송한 위상 조절량에 따라, 상기 여자 광의 위상을 조절하여 상이한 위상의 여자 광을 얻고;
    상기 스티어링 유닛은 상이한 위상의 여자 광에 대해 스티어링을 진행하여, 스티어링 후의 여자 광이 상기 광섬유 번들을 따라 피검출 조직에 포커싱되고, 상기 피검출 조직에 의해 리턴된 상이한 위상의 형광을 투과하며;
    상기 탐지 유닛은 상이한 위상의 형광을 수집하여 다수의 샘플 이미지를 형성하고;
    상기 처리 유닛은 상기 탐지 유닛에 연결되어, 상기 다수의 샘플 이미지를 수신하고, 다수의 샘플 이미지에서 결정한 상기 광섬유 번들 중 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하고; 광섬유 중심의 그레이 레벨을 이용하여 공간 보간을 진행하여, 재건 이미지 중 광섬유 번들 내 다른 픽셀점의 그레이 레벨을 얻고, 상기 재건 이미지를 형성하고,
    상기 처리유닛은 또한, 상기 하나 또는 다수의 샘플 이미지에서 각각의 광섬유 중심 위치의 그레이 레벨을 결정한 후에, 각각의 광섬유 중심 위치의 그레이 레벨에 대해 포화도 판단을 진행하고;
    상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하면, 상기 기설정 포화도 한계값을 초과하는 광섬유를 피교정 광섬유로 결정하고; 재건 이미지 중에서 상기 피교정 광섬유의 중심 위치의 그레이 레벨를 상기 기설정 포화도 한계값으로 교정하고, 교정 후의 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하고;
    상기 샘플 이미지에 중심 위치의 그레이 레벨이 기설정 포화도 한계값을 초과하는 광섬유가 존재하지 않으면, 상기 샘플 이미지에서 결정한 각각의 광섬유 중심 위치의 그레이 레벨에 따라, 재건 이미지 중 광섬유 번들 내 각각의 광섬유 중심의 그레이 레벨을 계산하는 단계를 수행하는 것을 특징으로 하는 현미 이미징 장치.
  13. 제12항에 있어서,
    상기 위상 조절 유닛은 모터 및 격자를 포함하고;
    상기 모터는 상기 처리 유닛, 상기 격자에 각각 연결되어, 상기 처리 유닛이 발송한 위상 조절량에 따라, 상기 격자를 이동하도록 드래그하여, 상기 여자 광이 상기 격자를 투과한 후 상기 위상 조절량에 대응되는 여자 광을 얻는 것을 특징으로 하는 현미 이미징 장치.
  14. 제13항에 있어서,
    상기 모터는 직류 모터를 포함하고,
    상응하게, 상기 처리 유닛은 기설정 위상 간격에 따라 등간격의 위상 조절량을 결정하고; 상기 직류 모터는 상기 등간격의 위상 조절량을 수신하고 상기 격자를 드래그하여 하나의 격자 간격 범위 내에서 등간격 거리만큼 이동하도록 하여, 상기 처리 유닛이 상기 기설정 위상 간격에 대응되는 다수의 샘플 이미지를 획득하도록 하는 것을 특징으로 하는 현미 이미징 장치.
  15. 제14항에 있어서,
    상기 기설정 위상 간격은 120 도이고; 상기 위상 조절량은 3 개인 것을 특징으로 하는 현미 이미징 장치.
  16. 제12항에 있어서,
    상기 광 발사 유닛은
    여자 광을 발사하기 위한 레이저; 를 포함하고,
    상기 레이저의 여자 광의 출구 위치에 설치되어, 상기 여자 광을 확장하여 라인 빔으로 일차원 포커싱하는 빔 확장 및 초점조절기; 를 더 포함하는 것을 특징으로 하는 현미 이미징 장치.
  17. 제12항에 있어서,
    상기 스티어링 유닛은 다이크로익 미러인 것을 특징으로 하는 현미 이미징 장치.
  18. 제12항에 있어서,
    필터를 더 포함하고; 상기 필터는 상기 위상 조절 유닛과 상기 스티어링 유닛 사이에 설치되어 미광을 필터링하는 것을 특징으로 하는 현미 이미징 장치.
  19. 제12항에 있어서,
    상기 탐지 유닛은 전하 결합 소자(CCD)를 포함하는 것을 특징으로 하는 현미 이미징 장치.
  20. 제12항에 있어서,
    다수의 렌즈로 이루어진 대물 렌즈를 더 포함하고, 상기 대물 렌즈는 상기 스티어링 유닛과 상기 광섬유 번들 사이에 설치되어 상기 스티어링 유닛에 의해 스티어링된 후의 여자 광에 대해 포커싱 처리를 진행하는 것을 특징으로 하는 현미 이미징 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
KR1020207013484A 2017-10-16 2018-09-29 이미지 재건 방법, 장치 및 현미 이미징 장치 KR102358848B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710959434.8A CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置
CN201710959434.8 2017-10-16
PCT/CN2018/108865 WO2019076192A1 (zh) 2017-10-16 2018-09-29 图像重建方法、装置及显微成像装置

Publications (2)

Publication Number Publication Date
KR20200070313A KR20200070313A (ko) 2020-06-17
KR102358848B1 true KR102358848B1 (ko) 2022-02-08

Family

ID=61092506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013484A KR102358848B1 (ko) 2017-10-16 2018-09-29 이미지 재건 방법, 장치 및 현미 이미징 장치

Country Status (11)

Country Link
US (1) US11449964B2 (ko)
EP (1) EP3699576A4 (ko)
JP (1) JP7064796B2 (ko)
KR (1) KR102358848B1 (ko)
CN (1) CN107621463B (ko)
AU (1) AU2018352821B2 (ko)
BR (1) BR112020007609B1 (ko)
CA (1) CA3079243C (ko)
MX (1) MX2020003985A (ko)
RU (1) RU2747129C1 (ko)
WO (1) WO2019076192A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
CN107622491B (zh) * 2017-10-16 2022-03-11 苏州微景医学科技有限公司 光纤束图像分析方法和装置
CN111024659B (zh) * 2019-11-28 2020-12-11 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111461975B (zh) * 2020-03-17 2021-04-23 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、系统、计算机设备和存储介质
CN113962918A (zh) * 2020-06-08 2022-01-21 飞巽传感技术(上海)有限公司 一种光纤纤芯的聚焦方法及系统
CN113570520B (zh) * 2021-07-28 2024-09-20 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260051B1 (ko) * 2012-01-30 2013-05-06 한국화학연구원 살아있는 세포에 대한 명시야 이미징 및 형광 이미징의 동시 수행이 가능한 세포 이미징 장치 및 방법
JP2013192063A (ja) * 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436980A (en) * 1988-05-10 1995-07-25 E. I. Du Pont De Nemours And Company Method for determining quality of dispersion of glass fibers in a thermoplastic resin preform layer and preform layer characterized thereby
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
AUPQ685900A0 (en) * 2000-04-12 2000-05-11 Goyen Controls Co Pty Limited Method and apparatus for detecting particles in a gas flow
ATE364857T1 (de) * 2002-12-05 2007-07-15 Ericsson Telefon Ab L M Fusionstemperaturkalibration
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
DE102006011707B4 (de) * 2006-03-14 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
KR20100045964A (ko) * 2007-07-06 2010-05-04 내셔널 유니버시티 오브 싱가포르 형광 초점변조 현미경 시스템 및 방법
TWI426296B (zh) * 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
CN101692971B (zh) * 2009-10-13 2011-04-06 西安电子科技大学 非接触式光学断层成像方法
JP5343065B2 (ja) * 2010-12-07 2013-11-13 富士フイルム株式会社 放射線撮影システム
EP2870498A4 (en) * 2012-07-05 2016-03-02 Martin Russell Harris STRUCTURED LIGHTING MICROSCOPE AND METHOD
US10096098B2 (en) * 2013-12-30 2018-10-09 Carestream Health, Inc. Phase retrieval from differential phase contrast imaging
CN103592722B (zh) * 2013-08-22 2015-08-05 浙江大学 一种熊猫型保偏光纤侧视对轴装置及方法
CN103438802B (zh) * 2013-09-17 2016-04-20 上海理工大学 光纤涂覆层几何参数测量方法
US10419767B2 (en) * 2014-02-21 2019-09-17 Koninklijke Philips N.V. Encoding video with the luminances of the pixel colors converted into lumas with a predetermined code allocation and decoding the video
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
CN104794475B (zh) * 2015-04-03 2018-04-27 燕山大学 一种光子晶体光纤的端面结构特征提取方法
CN106447717B (zh) * 2016-09-30 2019-05-03 中国科学院自动化研究所 一种基于多角度的选择性光片照明显微成像的重建方法
CN106981090B (zh) * 2017-02-16 2020-04-28 南京邮电大学 一种管内步进单向光束扫描断层图像的三维重建方法
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260051B1 (ko) * 2012-01-30 2013-05-06 한국화학연구원 살아있는 세포에 대한 명시야 이미징 및 형광 이미징의 동시 수행이 가능한 세포 이미징 장치 및 방법
JP2013192063A (ja) * 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bozinovic et al. Fluorescence endomicroscopy with structured illumination. Optics express, 2008년, pp. 8016-8025. 1부.*
Keahey et al. Differential structured illumination microendoscopy for in vivo imaging of molecular contrast agents. Proceedings of the National Academy of Sciences, 2016년, pp. 10769-10773. 1부.*

Also Published As

Publication number Publication date
KR20200070313A (ko) 2020-06-17
US20200242732A1 (en) 2020-07-30
JP7064796B2 (ja) 2022-05-11
CN107621463A (zh) 2018-01-23
AU2018352821B2 (en) 2021-09-16
WO2019076192A1 (zh) 2019-04-25
MX2020003985A (es) 2020-08-13
CA3079243A1 (en) 2019-04-25
AU2018352821A1 (en) 2020-05-14
EP3699576A1 (en) 2020-08-26
RU2747129C1 (ru) 2021-04-28
EP3699576A4 (en) 2020-11-25
BR112020007609A2 (pt) 2020-11-10
BR112020007609B1 (pt) 2023-11-28
CN107621463B (zh) 2024-03-22
CA3079243C (en) 2023-05-16
US11449964B2 (en) 2022-09-20
JP2020537162A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
KR102358848B1 (ko) 이미지 재건 방법, 장치 및 현미 이미징 장치
US11460685B2 (en) Systems and methods for three-dimensional imaging
JP5784435B2 (ja) 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
EP3520074B1 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
JP2021509181A (ja) プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置
JP5299078B2 (ja) レーザ走査顕微鏡、３次元画像取得方法、及びプログラム
JP2011247656A (ja) 蛍光検出装置および蛍光顕微鏡
JP2011237616A (ja) 走査型顕微鏡
CN117631249B (zh) 线扫共聚焦扫描光场显微成像装置及方法
JP6003072B2 (ja) 顕微鏡装置
JP5562582B2 (ja) 蛍光観察装置
KR101831820B1 (ko) 영상 처리 장치 및 영상 처리 방법
Corbett et al. Toward multi-focal spot remote focusing two-photon microscopy for high speed imaging
JP2012118126A (ja) 観察装置および観察方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20200512

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200512

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210930

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220117

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220128

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220128

End annual number: 3

Start annual number: 1

PG1601 Publication of registration