KR102659201B1 - Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법 - Google Patents

Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법 Download PDF

Info

Publication number
KR102659201B1
KR102659201B1 KR1020220065988A KR20220065988A KR102659201B1 KR 102659201 B1 KR102659201 B1 KR 102659201B1 KR 1020220065988 A KR1020220065988 A KR 1020220065988A KR 20220065988 A KR20220065988 A KR 20220065988A KR 102659201 B1 KR102659201 B1 KR 102659201B1
Authority
KR
South Korea
Prior art keywords
refractive index
image
resolution
cell
patches
Prior art date
Application number
KR1020220065988A
Other languages
English (en)
Other versions
KR20230166265A (ko
Inventor
민현석
류동민
이운수
윤한솔
Original Assignee
주식회사 토모큐브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토모큐브 filed Critical 주식회사 토모큐브
Priority to KR1020220065988A priority Critical patent/KR102659201B1/ko
Priority to EP22188557.7A priority patent/EP4287109A1/en
Priority to CN202210939196.5A priority patent/CN117191672A/zh
Priority to US17/818,987 priority patent/US20230410256A1/en
Publication of KR20230166265A publication Critical patent/KR20230166265A/ko
Application granted granted Critical
Publication of KR102659201B1 publication Critical patent/KR102659201B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453—Holographic interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8483—Investigating reagent band
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는, AI 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법을 제공한다. 본 개시는, 인공지능을 기반으로, 저분해능3차원 굴절률 현미경 영상을 물리적 기계 변환 및 재촬영없이 고분해능 3차원 굴절률 영상으로 변환하는 기술을 제공한다. 즉, 본 개시는 세포와 조직 등 다양한 시편에 대한 저분해능 3차원 굴절률 현미경 영상과 고분해능 3차원 굴절률 영상 간의 물리적 상관관계를 학습하고, 이를 기반으로 물리적 현미경 변경없이 저분해능 영상을 고분해능 영상으로 변환하기 위하여 딥러닝 등의 인공지능 기술을 적용하는 것을 특징으로 한다. 또한, 이를 위한 인공지능 모델 학습을 위해서, 본 개시는 굴절률 영상의 물리적 특성을 활용함을 특징으로 한다.

Description

AI 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법{SYSTEM AND METHOD FOR IMPROVE IMAGE RESOLUTION OF 3D REFRACTIVE INDEX MICROSCOPE BASED ON AI TECHNOLOGY}
본 개시는 AI 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법에 관한 것이다.
3차원 정량 위상 이미징(quantitative phase imaging) 기술 또는 3차원 홀로그래픽 현미경 기술은 시편의 3차원 굴절률(refractive index) 분포를 측정할 수 있는 광학 영상 기법이다. 3차원 홀로그래픽 현미경은 기존 사실 표준에 준하게 사용되던 형광 현미경과 달리 어떠한 표지 방식도 없이 시편 내부의 자세한 구조를 관찰할 수 있으며, 굴절률이 시편의 농도와 선형 비례한다는 점을 바탕으로 정량적인 영상 분석이 가능하다.
고해상도 3차원 굴절률 측정을 위해서는 높은 NA(numerical aperture) 값을 갖는 대물 렌즈를 이용하여 시편에서 회절되는 광학 정보를 정밀하게 측정해야 한다. 대물 렌즈의 NA가 높을수록 더 높은 공간분해능을 갖게 되어, 세밀한 영상 측정이 가능하다. 하지만, 대물 렌즈의 NA가 높아질수록 한번에 측정 가능한 영상 영역(field-of-view; FoV)은 비례해서 줄어드는 문제가 있다. 기존의 광학 영상 기술 만으로는 넓은 FoV와 높은 해상도를 동시에 달성하는 것은 불가능하며, 낮은 NA 렌즈에서 여러 입사 각도의 영상을 측정하여 NA를 합성하는 방식으로 해상도를 올리거나, 높은 NA의 렌즈로 고해상도의 영상을 좁은 FoV에서 측정한 뒤, 스캐닝(scanning)하는 방식으로 FoV를 합성하는 방법이 사용되었다. 두 가지 방법들 모두 시간과 계산의 측면에서 희생이 필요하다.
본 개시는 저분해능(low NA) 렌즈로 넓은 면적을 촬영하여 영상 분해능이 낮아지더라도 인공지능 기술을 기반으로 고분해능(high NA) 영상으로 복원하는 기술을 제공한다. 즉, 본 개시는 저분해능으로 넓은 영역을 빠르게 촬영하고, 이를 기반으로 대응되는 고분해능 현미경 영상을 예측하기 위해 딥러닝(deep learning) 알고리즘을 적용하는 것을 특징으로 하여, 3차원 고분해능 영상을 생성하는 기술이다.
본 개시는, AI 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법을 제공한다.
본 개시에 따르면, AI 기술 기반의 3차원 굴절률 영상 분해능 개선 시스템은, 3차원 굴절률 세포 영상을 획득하도록 구성되는 3차원 굴절률 세포 영상 측정부, 및 딥러닝 알고리즘을 기반으로, 상기 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행하도록 구성되는 3차원 굴절률 영상 전환부를 포함한다.
본 개시에 따르면, 시스템의 AI 기술 기반의 3차원 굴절률 영상 분해능 개선 방법은, 3차원 굴절률 세포 영상을 획득하는 단계, 및 딥러닝 알고리즘을 기반으로, 상기 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행하는 단계를 포함한다.
본 개시에 따르면, 염색이나 표지 등의 과정없이 측정된 세포의 3차원 굴절률 영상을 딥러닝 알고리즘을 사용하여 고분해능 영상으로 신속하게 생성할 수 있다. 이를 통해, 더 넓은 면적을 한번에 촬영하여 세포 관찰 속도와 효율성의 증가가 가능하다. 또한, 이러한 인공지능 모델 학습 과정에서 별도의 고분해능 영상에 대응되는 저분해능 영상의 촬영없이 학습이 가능하고, 물리적 특징을 기반으로 학습을 진행해 인공지능 모델 학습이 용이하고 안정성을 높일 수 있다.
도 1은 본 개시를 위한 시스템을 개략적으로 도시하는 도면이다.
도 2는 도 1의 3차원 굴절률 세포 영상 측정부에 대한 가능한 다양한 측정 광학 구현을 도시하는 도면들이다.
도 3은 도 1의 3차원 굴절률 세포 영상 측정부의 일 실시예를 세부적으로 도시하는 도면이다.
도 4는 도 1의 3차원 굴절률 영상 전환부의 일 실시예를 세부적으로 도시하는 도면이다.
도 5는 도 4의 3차원 패치 추출부의 내부 구성을 도시하는 도면이다.
도 6 및 도 7은 도 4의 3차원 패치 추출부의 동작을 설명하기 위한 도면들이다.
도 8 및 도 9는 도 4의 3차원 굴절률 패치 전환부의 동작을 설명하기 위한 도면들이다.
도 10 및 도 11은 도 4의 패치 결합부의 동작을 설명하기 위한 도면이다.
도 12는 도 4의 3차원 굴절률 패치 전환부의 변환 모델을 설명하기 위한 도면이다.
도 13, 도 14, 도 15, 및 도 16은 3차원 굴절률 영상 분해능 개선 모델 구축부의 동작을 설명하기 위한 도면들이다.
영상 개선 기술은 기존 의료 영상 등에서 많은 연구가 진행되어 왔다. 특히, 환자의 방사선 피폭량을 줄이기 위한 저선량 엑스레이(X-ray) CT의 경우 고선량 CT에 비해 잡음이 심하고 해상도가 떨어진다. 이를 극복하기 위해, 기존에는 CT의 해석적 원리를 기반으로 한 효율적 복원 기법이 개발되었다. 최근에는 인공지능 기술의 향상으로 영상 해상도 변환 기술이 발전되어 왔다. 이 때, 제한된 팬텀에 대한 저선량 CT 데이터와 고선량 CT 데이터를 구축하여 지도 학습으로 이루어진다.
따라서 본 개시의 목적은 더 넓은 영역을 촬영하거나 제한적인 물리적 환경에서 촬영하기 위해 생성된 세포의 저분해능 3차원 굴절률 영상을 인공지능 기술을 사용하여 고분해능 영상으로 신속하게 기술을 제공한다. 즉, 본 개시는 염색이나 표지없이 세포의 형태학적 특징을 3차원 굴절률 현미경으로 측정하고, 이를 기반으로 그 분해능을 개선하기 위하여 딥러닝 알고리즘을 적용하는 것을 특징으로 하여, 고분해능의 3차원 굴절률 현미경 영상을 생성하는 기술이다. 또한, 본 개시는 이러한 인공지능 학습을 위하여 물리적 특성을 고려하여 학습하는 것을 특징으로 한다.
상기한 목적을 감안하여 예의 연구한 결과, 제안자는 세포의 3차원 굴절률을 제한된 분해능으로 측정하고, 이 측정값을 입력으로 하는 변환 알고리즘으로써 딥러닝 알고리즘을 적용한 결과, 향상된 분해능을 가진 굴절률 영상을 간단하면서도 빠르게 생성할 수 있는 것을 발견하고 본 개시에 도달했다. 이하, 본 개시의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 본 개시를 위한 시스템(100)을 개략적으로 도시하는 도면이다.
도 1을 참조하면, 시스템(100)은 관찰하고자 하는 세포 시료를 입력으로 받아 그 세포의 고분해능 3차원 굴절률 세포 영상을 출력으로 제공한다. 구체적으로, 시스템(100)은 3차원 굴절률 세포 영상 측정부(110) 및 3차원 굴절률 영상 전환부(120)를 포함한다.
3차원 굴절률 세포 영상 측정부(110)는 세포 시료에 대해 3차원 굴절률 세포 영상을 측정한다. 3차원 굴절률 세포 영상 측정부(110)는 슬라이드 위에 관찰하고자 하는 세포가 놓여 있거나 도말된 상태로 촬영한다.
모든 물체는 굴절률 분포를 가지고 있다. 굴절률은 빛이 그 물질을 지날 때 얼마나 속도가 감속하는지를 기술하는 물질 자체의 고유한 광학적 물리량이다. 세포의 3차원 굴절률을 측정하기 위해서는, 광학 회절 단층 촬영법(optical diffraction tomography), 광학 투영 단층 촬영법(3D digital holographic microscopy, tomographic phase microscopy), 또는 강도(Intensity) 기반 회절 단층 촬영법이 사용될 수 있다. 광원에 따른 광학적인 구현 방법으로는, 결맞음 광원(coherent light source)과 간섭계를 사용하는 방법, 또는 간섭계 없이 부분결맞음 광원(partially coherent source)을 사용하는 방법이 있을 수 있다.
도 2는 도 1의 3차원 굴절률 세포 영상 측정부(110)에 대한 가능한 다양한 측정 광학 구현을 도시하는 도면들이다. 광학 회절 단층 촬영법과 광학 투영 단층 촬영법은 같은 광학 구현을 이용할 수 있다. 도 2의 (a) 또는 (b)에 도시된 바와 같이, 결맞음 광원을 입사광으로 사용하는 경우에는 세포에 의해 회절되거나 투영된 투과광의 홀로그램을 간섭계를 이용해서 측정한다. 이 때, 도 2의 (a)에 도시된 바와 같이, 세포에 입사되는 각도를 회전을 바꿔가며 스캔하면서 측정된 여러 장의 2차원 홀로그램을 이용하여, 세포의 3차원 굴절률 분포를 측정한다. 다만, 광학 회절 단층 촬영법과 광학 투영 단층 촬영법의 차이는 시편에서의 빛의 회절 여부를 고려하는 복원 알고리즘에 있다. 또는, 도 2의 (b)에 도시된 바와 같이, 입사광을 회전시키는 대신 세포를 직접 회전시켜, 3차원 굴절률을 측정하는 것도 가능하다. 한편, 도 2의 (c)에 도시된 바와 같이, 부분결맞음 광원을 입사광으로 사용하는 경우에는 간섭계를 필요로 하지 않는다. 이 때에는 최적화된 패턴의 입사광을 세포에 조사하면서 세포의 축방향 스캔을 하는 것으로 3차원 밝기 영상을 얻는다. 이렇게 얻은 3차원 밝기 영상을 해당 입사광 패턴에 대응되는 점확산함수(point spread function)로 디콘볼루션(deconvolution)하여 세포의 3차원 굴절률 분포를 얻는다.
도 3은 도 1의 3차원 굴절률 세포 영상 측정부(110)의 일 실시예를 세부적으로 도시하는 도면이다. 일 실시예에 따르면, 3차원 굴절률 세포 영상 측정부(110)는, 도 3에 도시된 바와 같이, 3차원 굴절률 패치 영상 측정부(311) 및 패치 영상 결합부(313)를 포함한다. 한번에 찍을 수 있는 영역보다 관찰 영역이 클 경우, 3차원 굴절률 패치 영상 측정부(311)가 관찰 영역 내에서 상이한 영역들에 대해 3차원 굴절률 패치 영상들을 각각 촬영한다. 패치 영상 결합부(313)가 3차원 굴절률 패치 영상들을 연결하여 3차원 굴절률 슬라이드 이미지, 즉, 3차원 굴절률 세포 영상을 생성한다.
3차원 굴절률 영상 전환부(120)는 3차원 굴절률 세포 영상 측정부(110)에서 생성된 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행한다. 여기서, 3차원 굴절률 영상 전환부(120)는 관찰 영역 전체의 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행한다. 이 때, 즉, 3차원 굴절률 영상 전환부(120)는 3차원 굴절률 세포 영상을 저해상도에서 고해상도로 변환한다. 이를 위해, 3차원 굴절률 영상 전환부(120)는 딥러닝 알고리즘, 특히, 합성곱 알고리즘(convolutional neural network; CNN)을 사용한다.
도 4는 도 1의 3차원 굴절률 영상 전환부(120)의 일 실시예를 세부적으로 도시하는 도면이다. 일 실시예에 따르면, 3차원 굴절률 영상 전환부(120)는, 도 4에 도시된 바와 같이, 효율적인 변환 과정을 위하여, 3차원 변환의 효율과 변환 계산 환경을 고려하여 3차원 굴절률 패치들을 생성하고 패치 단위로 분해능 개선 후 병합한다. 즉, 3차원 굴절률 영상 전환부(120)는 3차원 굴절률 세포 영상을 패치 단위로 저해상도에서 고해상도로 변환한다. 구체적으로, 3차원 굴절률 영상 전환부(120)는 3차원 패치 추출부(421), 3차원 굴절률 패치 전환부(425), 및 패치 결합부(427)를 포함한다.
3차원 패치 추출부(421)는 3차원 굴절률 세포 영상으로부터 3차원 굴절률 패치들을 추출한다. 이 때, 3차원 패치 추출부(421)는 영상 외곽 영역에서의 안정적인 결과 도출과 결합 과정에서 발생하는 외곽 영역 값 소실 방지를 위하여, 추출 전 패딩 과정을 거친 후 세포 영역에 대해서 패치 샘플링을 진행한다. 도 5는 도 4의 3차원 패치 추출부(421)의 내부 구성을 도시하는 도면이다. 도 6 및 도 7은 도 4의 3차원 패치 추출부(421)의 동작을 설명하기 위한 도면들이다. 3차원 패치 추출부(421)는, 도 5에 도시된 바와 같이, 영상 패딩부(521), 세포 영역 추출부(522), 및 3차원 굴절률 패치 샘플링부(523)를 포함한다. 영상 패딩부(521)는, 도 6에 도시된 바와 같이, 3차원 굴절률 세포 영상 전체에 대해, 외곽에 대해서만 사용되는 패치의 크기의 비례하여 내부 영상의 연속성을 보장할 수 있도록 가장자리를 축으로 대칭되는 영상을 붙여 패딩한다. 세포 영역 추출부(522)는 패딩된 영상에서 세포 영역을 추출하여 불필요한 배경 부분의 과도한 학습을 방지한다. 3차원 굴절률 패치 샘플링부(523)는, 도 7에 도시된 바와 같이, 패딩된 영상에서 3차원 굴절률 패치들을 샘플링한다.
3차원 굴절률 패치 전환부(425)는 3차원 굴절률 패치들의 각각에 대해 딥러닝 알고리즘을 이용하여 분해능 개선을 진행한다. 이 때, 딥러닝 알고리즘은 미리 학습되어 있다. 도 8 및 도 9는 도 4의 3차원 굴절률 패치 전환부(425)의 동작을 설명하기 위한 도면들이다. 도 8 및 도 9에 도시된 바와 같이, 딥러닝 알고리즘에 입력되는 정보는 각 세포들의 3차원 굴절률 정보로서, 저분해능을 나타내고, 딥러닝 알고리즘에서 출력되는 정보는 3차원 굴절률 패치들의 각각에 대응하는 변환된 3차원 굴절률 정보로서, 고분해능을 나타낸다.
패치 결합부(427)는 개선된 분해능을 갖는 3차원 굴절률 패치들을 다시 결합한다. 도 10 및 도 11은 도 4의 패치 결합부(427)의 동작을 설명하기 위한 도면이다. 패치 결합부(427)는, 도 10에 도시된 바와 같이, 개선된 분해능을 갖는 3차원 굴절률 패치들을 다시 결합하여, 하나의 영상으로 재구성한다. 이 때, 패치 결합부(427)는 중복되는 영역에 대해 재구성된 영상의 연속성을 보장하기 위해, 패치 중심으로부터의 거리에 따른 선형/비선형 가중치를 곱하여 더해주게 된다. 가중치는 스플라인 커널 함수의 형태로 패치에 적용되며, 중심부로부터 멀어질수록 인접한 패치의 중심부와 가까워지므로 더 높은 가중치를 가지는 인접한 패치의 예측값에 더 가까운 값을 출력하게 된다. 그리고, 패치 결합부(427)는, 도 11에 도시된 바와 같이, 3차원 패치 추출부(421)에 의해 패딩된 영역을 제거한다. 이렇게 된 결과가 최종적으로 하나의 3차원 영상, 즉, 고분해능 3차원 굴절률 세포 영상이 된다.
도 12는 도 4의 3차원 굴절률 패치 전환부(425)의 변환 모델(1210)을 설명하기 위한 도면이다.
도 12를 참조하면, 3차원 굴절률 패치 전환부(425)는 전술된 딥러닝 알고리즘을 기반으로 구축되는 인공지능 변환 모델(1210)을 구비하며, 변환 모델(1210)을 기반으로 3차원 굴절률 패치들의 각각에 대해 분해능 개선을 진행한다. 이 때, 변환 모델(1210)은 고분해능 3차원 굴절률 영상과 이를 기반으로 이론적으로 생성되는 저분해능 3차원 굴절률 영상을 이용하여 구축된다. 이러한 변환 모델(1210)은 3차원 굴절률 영상 분해능 개선 모델 구축부(1220)에 의해 학습된다.
3차원 굴절률 영상 분해능 개선 모델 구축부(1220)가 변환 모델(1210)을 학습할 때에는 여러 종류의 손실함수들이 조합되어 사용된다. 기본적으로는, 평균 제곱 오차(Mean Squared Error)가 사용된다. 도 13, 도 14, 도 15, 및 도 16은 3차원 굴절률 영상 분해능 개선 모델 구축부(1220)의 동작을 설명하기 위한 도면들이다. 일 실시예에 따르면, 도 13에 도시된 바와 같이 영상으로 관찰할 수 있는 차이보다, 도 14에 도시된 바와 같이 푸리에 공간에서 그 차이가 명확히 난다. 이에, 본 개시에서는, 변환 모델(1210)을 학습할 때, 3차원 굴절률 영상의 물리적 특성을 참조하기 위해 출력 영상과 타겟 영상의 주파수 정보를 푸리에 공간에서 함께 비교할 수 있도록, FFT 오차 함수가 함께 사용된다. 픽셀 단위로 푸리에 공간에서의 오차를 계산하기 위해 하기 [수학식 1]과 같은 오차함수가 설계되어 활용된다.
상기 [수학식 1]에서 F는 푸리에 변환을 의미하며
Figure 112022056860485-pat00002
은 L1 norm을 의미한다. 이와 같은 손실함수를 통해 학습된 모델은 영상 레벨에서 확인할 수 있는 다양한 평가지표로 평가된다. 평가지표로 활용한 지수는 SSIM(Structural SIMilarity), MSE(Mean Squared Error), PSNR(Peak Signal to Noise Ratio), PCC(Pearson Correlation Coefficient) 등이며 해당 지표는 모델에서 출력한 영상의 평가지표로도 함께 활용되었다(도 15 참조). 이러한 다양한 특성을 활용하여 적용영상이 생성 데이터 환경과 다른 경우에도 안정적으로 구동할 수 있도록 한다.
본 개시에 사용되는 딥러닝 알고리즘, 즉, 인공지능 변환 모델(1210)은 입력과 출력 영상을 사용하는 지도 학습을 기반으로 학습된다. 이에, 본 개시의 인공지능 변환 모델(1210) 학습에는 같은 영상을 촬영한 고분해능 영상 - 저분해능 영상의 쌍이 필요하다. 고분해능 영상과 저분해능 영상의 촬영을 각각 진행할 경우, 세포의 움직임으로 인해 세포의 모양이나 위치가 일치하지 않는 상황이 발생할 수 있다. 따라서, 고분해능 영상에서 주파수 정보 필터링을 통해 저분해능 영상을 생성한다. 고분해능 영상의 푸리에 공간에서의 주파수 정보 중 저분해능 영상이 차지할 수 있는 공간의 주파수 정보만을 남기는 방식의 필터링을 통해 저분해능 영상을 생성하였다(도 16 참조). 이 때, 고분해능 영상의 NA는 0.72, 저분해능 영상의 NA는 0.35의 값이 사용되었다. 다른 분해능도 구축 가능하다.
본 개시에 따르면, 염색이나 표지 등의 과정없이 측정된 세포의 3차원 굴절률 영상을 딥러닝 알고리즘을 사용하여 고분해능 영상으로 신속하게 생성할 수 있다. 이를 통해, 더 넓은 면적을 한번에 촬영하여 세포 관찰 속도와 효율성의 증가가 가능하다. 또한, 이러한 인공지능 모델 학습 과정에서 별도의 고분해능 영상에 대응되는 저분해능 영상의 촬영없이 학습이 가능하고, 물리적 특징을 기반으로 학습을 진행해 인공지능 모델 학습이 용이하고 안정성을 높일 수 있다.
요컨대, 본 개시는, AI 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템(100) 및 방법을 제공한다.
본 개시에 따른 시스템(100)은, 3차원 굴절률 세포 영상을 획득하도록 구성되는 3차원 굴절률 세포 영상 측정부(110), 및 딥러닝 알고리즘을 기반으로, 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행하도록 구성되는 3차원 굴절률 영상 전환부(120)를 포함한다.
본 개시에 따르면, 3차원 굴절률 영상 전환부(120)는, 3차원 굴절률 세포 영상으로부터 복수의 3차원 굴절률 패치들을 생성하도록 구성되는 3차원 패치 추출부(421), 딥러닝 알고리즘을 기반으로, 3차원 굴절률 패치들의 각각에 대해 분해능 개선을 진행하도록 구성되는 3차원 굴절률 패치 전환부(425), 및 3차원 굴절률 패치들을 결합하도록 구성되는 패치 결합부(427)를 포함한다.
본 개시에 따르면, 3차원 패치 추출부(421)는, 3차원 굴절률 세포 영상의 외곽에 패딩 영역을 추가하여 패딩된 영상을 구성하도록 구성되는 영상 패딩부(521), 및 패딩된 영상에서 3차원 굴절률 패치들을 샘플링하도록 구성되는 샘플링부(523)를 포함한다.
본 개시에 따르면, 패치 결합부(427)는, 3차원 굴절률 패치들을 결합한 후에, 패딩 영역을 제거하도록 구성된다.
본 개시에 따르면, 딥러닝 알고리즘은, 평균 제곱 오차 함수와 푸리에 변환 오차 함수의 조합을 기반으로, 구축된다.
본 개시에 따르면, 3차원 굴절률 세포 영상 측정부(110)는, 결맞음 광원을 사용하는 경우, 간섭계를 함께 사용하여 세포의 3차원 굴절률 분포를 측정함으로써, 3차원 굴절률 세포 영상을 획득하고, 부분결맞음 광원을 사용하는 경우, 점확산점수를 이용한 디콘볼루션을 통해 세포의 3차원 굴절률 분포를 측정함으로써, 3차원 굴절률 세포 영상을 획득하도록 구성된다.
본 개시에 따른 방법은, 3차원 굴절률 세포 영상을 획득하는 단계, 및 딥러닝 알고리즘을 기반으로, 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행하는 단계를 포함한다.
본 개시에 따르면, 분해능 개선을 진행하는 단계는, 3차원 굴절률 세포 영상으로부터 복수의 3차원 굴절률 패치들을 생성하는 단계, 딥러닝 알고리즘을 기반으로, 3차원 굴절률 패치들의 각각에 대해 분해능 개선을 진행하는 단계, 및 3차원 굴절률 패치들을 결합하는 단계를 포함한다.
본 개시에 따르면, 3차원 굴절률 패치들을 생성하는 단계는, 3차원 굴절률 세포 영상의 외곽에 패딩 영역을 추가하여 패딩된 영상을 구성하는 단계, 및 패딩된 영상에서 3차원 굴절률 패치들을 샘플링하는 단계를 포함한다.
본 개시에 따르면, 3차원 굴절률 패치들을 결합하는 단계는, 3차원 굴절률 패치들을 결합한 후에, 패딩 영역을 제거한다.
본 개시에 따르면, 딥러닝 알고리즘은, 평균 제곱 오차 함수와 푸리에 변환 오차 함수의 조합을 기반으로, 구축된다.
본 개시에 따르면, 3차원 굴절률 세포 영상을 획득하는 단계는, 결맞음 광원을 사용하는 경우, 간섭계를 함께 사용하여 세포의 3차원 굴절률 분포를 측정함으로써, 3차원 굴절률 세포 영상을 획득하는 단계, 및 부분결맞음 광원을 사용하는 경우, 점확산점수를 이용한 디콘볼루션을 통해 세포의 3차원 굴절률 분포를 측정함으로써, 3차원 굴절률 세포 영상을 획득하는 단계를 포함한다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(물리적으로 또는 기능적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
다양한 실시예들에 따르면, 기술한 구성요소들의 각각의 구성요소는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 통합 이전에 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다.

Claims (10)

  1. AI 기술 기반의 3차원 굴절률 영상 분해능 개선 시스템에 있어서,
    3차원 굴절률 세포 영상을 획득하도록 구성되는 3차원 굴절률 세포 영상 측정부; 및
    딥러닝 알고리즘을 기반으로, 상기 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행하도록 구성되는 3차원 굴절률 영상 전환부
    를 포함하고,
    3차원 굴절률 세포 영상 측정부는,
    결맞음 광원을 사용하는 경우, 간섭계를 함께 사용하여 세포의 3차원 굴절률 분포를 측정함으로써, 상기 3차원 굴절률 세포 영상을 획득하고,
    부분결맞음 광원을 사용하는 경우, 점확산점수를 이용한 디콘볼루션을 통해 세포의 3차원 굴절률 분포를 측정함으로써, 상기 3차원 굴절률 세포 영상을 획득하도록 구성되는,
    3차원 굴절률 영상 분해능 개선 시스템.
  2. 제 1 항에 있어서,
    상기 3차원 굴절률 영상 전환부는,
    상기 3차원 굴절률 세포 영상으로부터 복수의 3차원 굴절률 패치들을 생성하도록 구성되는 3차원 패치 추출부;
    상기 딥러닝 알고리즘을 기반으로, 상기 3차원 굴절률 패치들의 각각에 대해 분해능 개선을 진행하도록 구성되는 3차원 굴절률 패치 전환부; 및
    상기 3차원 굴절률 패치들을 결합하도록 구성되는 패치 결합부
    를 포함하는,
    3차원 굴절률 영상 분해능 개선 시스템.
  3. 제 2 항에 있어서,
    상기 3차원 패치 추출부는,
    상기 3차원 굴절률 세포 영상의 외곽에 패딩 영역을 추가하여 패딩된 영상을 구성하도록 구성되는 영상 패딩부; 및
    상기 패딩된 영상에서 상기 3차원 굴절률 패치들을 샘플링하도록 구성되는 샘플링부
    를 포함하고,
    상기 패치 결합부는,
    상기 3차원 굴절률 패치들을 결합한 후에, 상기 패딩 영역을 제거하도록 구성되는,
    3차원 굴절률 영상 분해능 개선 시스템.
  4. 제 1 항에 있어서,
    상기 딥러닝 알고리즘은,
    평균 제곱 오차 함수와 푸리에 변환 오차 함수의 조합을 기반으로, 구축되는,
    3차원 굴절률 영상 분해능 개선 시스템.
  5. 삭제
  6. 시스템의 AI 기술 기반의 3차원 굴절률 영상 분해능 개선 방법에 있어서,
    3차원 굴절률 세포 영상을 획득하는 단계; 및
    딥러닝 알고리즘을 기반으로, 상기 3차원 굴절률 세포 영상에 대해 분해능 개선을 진행하는 단계
    를 포함하고,
    상기 3차원 굴절률 세포 영상을 획득하는 단계는,
    결맞음 광원을 사용하는 경우, 간섭계를 함께 사용하여 세포의 3차원 굴절률 분포를 측정함으로써, 상기 3차원 굴절률 세포 영상을 획득하는 단계; 및
    부분결맞음 광원을 사용하는 경우, 점확산점수를 이용한 디콘볼루션을 통해 세포의 3차원 굴절률 분포를 측정함으로써, 상기 3차원 굴절률 세포 영상을 획득하는 단계
    를 포함하는,
    3차원 굴절률 영상 분해능 개선 방법.
  7. 제 6 항에 있어서,
    상기 분해능 개선을 진행하는 단계는,
    상기 3차원 굴절률 세포 영상으로부터 복수의 3차원 굴절률 패치들을 생성하는 단계;
    상기 딥러닝 알고리즘을 기반으로, 상기 3차원 굴절률 패치들의 각각에 대해 분해능 개선을 진행하는 단계; 및
    상기 3차원 굴절률 패치들을 결합하는 단계
    를 포함하는,
    3차원 굴절률 영상 분해능 개선 방법.
  8. 제 7 항에 있어서,
    상기 3차원 굴절률 패치들을 생성하는 단계는,
    상기 3차원 굴절률 세포 영상의 외곽에 패딩 영역을 추가하여 패딩된 영상을 구성하는 단계; 및
    상기 패딩된 영상에서 상기 3차원 굴절률 패치들을 샘플링하는 단계
    를 포함하고,
    상기 3차원 굴절률 패치들을 결합하는 단계는,
    상기 3차원 굴절률 패치들을 결합한 후에, 상기 패딩 영역을 제거하는,
    3차원 굴절률 영상 분해능 개선 방법.
  9. 제 6 항에 있어서,
    상기 딥러닝 알고리즘은,
    평균 제곱 오차 함수와 푸리에 변환 오차 함수의 조합을 기반으로, 구축되는,
    3차원 굴절률 영상 분해능 개선 방법.
  10. 삭제
KR1020220065988A 2022-05-30 2022-05-30 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법 KR102659201B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020220065988A KR102659201B1 (ko) 2022-05-30 2022-05-30 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법
EP22188557.7A EP4287109A1 (en) 2022-05-30 2022-08-03 System and method for improving image resolution of 3-d refractive index microscope based on ai technology
CN202210939196.5A CN117191672A (zh) 2022-05-30 2022-08-05 提高三维折射率显微镜图像分辨率的系统及方法
US17/818,987 US20230410256A1 (en) 2022-05-30 2022-08-11 System and method for improving image resolution of 3-d refractive index microscope based on ai technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220065988A KR102659201B1 (ko) 2022-05-30 2022-05-30 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230166265A KR20230166265A (ko) 2023-12-07
KR102659201B1 true KR102659201B1 (ko) 2024-04-22

Family

ID=82786504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220065988A KR102659201B1 (ko) 2022-05-30 2022-05-30 Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법

Country Status (4)

Country Link
US (1) US20230410256A1 (ko)
EP (1) EP4287109A1 (ko)
KR (1) KR102659201B1 (ko)
CN (1) CN117191672A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102246439B1 (ko) * 2020-02-19 2021-04-30 주식회사 토모큐브 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치
KR102272366B1 (ko) 2020-01-22 2021-07-02 주식회사 토모큐브 위상 정보 추출과 입체 영상 구성 방법 및 장치
KR102355140B1 (ko) 2020-07-28 2022-02-07 주식회사 토모큐브 저간섭성 광원과 다중 패턴 조명을 이용한 3차원 광회절 단층촬영 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302333B1 (ko) * 2019-11-05 2021-09-16 주식회사 토모큐브 3차원 굴절률 영상과 딥러닝을 활용한 비표지 방식의 3차원 분자 영상 생성 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102272366B1 (ko) 2020-01-22 2021-07-02 주식회사 토모큐브 위상 정보 추출과 입체 영상 구성 방법 및 장치
KR102246439B1 (ko) * 2020-02-19 2021-04-30 주식회사 토모큐브 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치
KR102355140B1 (ko) 2020-07-28 2022-02-07 주식회사 토모큐브 저간섭성 광원과 다중 패턴 조명을 이용한 3차원 광회절 단층촬영 방법 및 장치

Also Published As

Publication number Publication date
EP4287109A1 (en) 2023-12-06
US20230410256A1 (en) 2023-12-21
KR20230166265A (ko) 2023-12-07
CN117191672A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CA3071685C (en) Systems, devices, and methods for image processing to generate an image having predictive tagging
US11781966B2 (en) 3D diffraction tomography microscopy imaging method based on LED array coded illumination
EP2915180B1 (en) Fourier ptychographic imaging systems, devices, and methods
JP5705096B2 (ja) 画像処理装置及び画像処理方法
WO2016070771A1 (zh) X射线相衬成像系统与成像方法
EP2736403A1 (en) Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection
CN101865673B (zh) 一种微观光场采集与三维重建方法及装置
Ziemczonok et al. Optical diffraction tomography meets metrology—measurement accuracy on cellular and subcellular level
CN106257323B (zh) 叠层成像术成像的方法
KR102659201B1 (ko) Ai 기술 기반의 3차원 굴절률 현미경 영상 분해능 개선 시스템 및 방법
CN116097177A (zh) 全息成像系统的对焦方法
Coe et al. Computational modeling of optical projection tomographic microscopy using the finite difference time domain method
Sung Hyperspectral Three-Dimensional Refractive-Index Imaging Using Snapshot Optical Tomography
Hsiao et al. Telecentric design for digital‐scanning‐based HiLo optical sectioning endomicroscopy with an electrically tunable lens
CN112967268A (zh) 基于光场的数字光学层析方法和装置
Garud et al. Volume visualization approach for depth-of-field extension in digital pathology
CN113870184A (zh) 基于x射线吸收图像生成相位衬度图像和暗场图像的方法、装置、计算设备和存储介质
Biggs et al. Subpixel deconvolution of 3D optical microscope imagery
Prieels et al. Holographic topometry for a dense visualization of soft tissue for facial reconstruction
Zhang et al. Deep-learning light-sheet fluorescence microscopy for high-throughput, voxel-super-resolved imaging of biomedical specimens
Smith et al. On 2.5 D surface reconstruction of cell cultures
Hoffman Structured Illumination for In-Vivo Sectioning and Imaging
Wu et al. Enhanced phase retrieval for non-ideal in-line phase contrast x-ray imaging based on deep learning
Sun et al. HistDeblur: A Pyramid Trustworthy Framework for Blurry Histologic Artifacts Quality Control
Thapa et al. TIE-GANs: single-shot quantitative phase imaging using transport of intensity equation with integration of GANs

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant