KR102104238B1 - 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 - Google Patents

광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 Download PDF

Info

Publication number
KR102104238B1
KR102104238B1 KR1020180125285A KR20180125285A KR102104238B1 KR 102104238 B1 KR102104238 B1 KR 102104238B1 KR 1020180125285 A KR1020180125285 A KR 1020180125285A KR 20180125285 A KR20180125285 A KR 20180125285A KR 102104238 B1 KR102104238 B1 KR 102104238B1
Authority
KR
South Korea
Prior art keywords
sample
light
image
microscope system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180125285A
Other languages
English (en)
Inventor
박민철
주현수
황도경
곽기성
강지훈
한정헌
구정회
Original Assignee
한국과학기술연구원
(주)새론테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, (주)새론테크놀로지 filed Critical 한국과학기술연구원
Priority to KR1020180125285A priority Critical patent/KR102104238B1/ko
Application granted granted Critical
Publication of KR102104238B1 publication Critical patent/KR102104238B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

실시예들은 광을 발산하는 광원; 샘플과 대향하는 대물렌즈; 상기 광원으로부터의 광에 전기적 신호를 적용하여 격자무늬 패턴 변조된 패턴 변조광을 생성하는 광변조기로서, 상기 패턴 변조광은 상기 샘플에 공급되는, 광변조기; 상기 샘플로부터 방출된 샘플광의 신호를 검출하는 광검출기; 상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 제어부; 및 상기 검출된 샘플광의 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 이미지 생성부로서, 상기 이미지 생성부는 샘플광 신호의 데이터를 처리하여 데이터 처리 이전 보다 높은 축방향 분해능을 갖는 이미지를 생성하도록 더 구성되는, 이미지 생성부를 포함하는 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법에 관련된다.

Description

광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법{STRUCTURE ILLUMINATION MICROSCOPE SYSTEM BASED ON LIGHT MODULATOR AND METHOD FOR GENERATING IMAGE PERFORMED BY THE SAME}
본 발명은 광변조기 기반 구조 조명 현미경 기술에 관한 것으로서, 보다 상세하게는 광변조기를 이용해 격자무늬 패턴의 위상 천이를 보다 용이하게 변화시키고, 이미지를 생성하기 위한 최적의 조건을 설정하며, 샘플로부터의 광신호의 데이터를 처리하여, 보다 높은 축방향 분해능을 갖는 고품질의 이미지를 획득하는 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법에 관한 것이다.
구조 조명 현미경(Structure Illumination Microscpe, SIM)은 광학 현미경 중에서 상대적으로 높은 분해능, 고속의 영상 획득 속도, 광학계의 안정성을 구비하는 현미경으로서, 휴대용 현미경으로 사용가능하다. 전술한 장점들로 인해 안정적으로 미시 단계의 관찰이 요구되는 의료 분야에서 각광받고 있다.
종래의 구조 조명 현미경은 일정한 격자무늬 패턴이 있는 그리드(grid)를 조명계에 배치하고, 기계적으로 (또는 수동으로) 그리드를 움직여 각각의 다른 위상에서 얻어진 영상 정보를 이용하여 샘플에 대한 고해상도의 이미지를 획득한다.
그러나, 그리드의 움직임이 기계적으로 수행되어 이미지를 획득하는 속도에 한계가 있고, 기계적인 그리드의 움직임 과정에서 진동에 의한 오차가 발생하는 문제가 있다. 특히 그리드의 격자무늬 패턴의 설계를 변형(예를 들어, 격자 간격(grid pitch)을 36um에서 30um으로 변형)하고자 하는 경우 변형하고자 하는 격자무늬 패턴을 갖는 새로운 그리드를 다시 제작해야 하는 한계가 있다.
특허공개공보 제10-2013-0152131호
본 발명의 일 측면에 따르면, 광변조기를 이용해 격자무늬 패턴의 위상 천이를 보다 용이하게 변화시키고, 이미지를 생성하기 위한 최적의 조건을 설정하며, 샘플로부터의 광신호의 데이터를 처리하여, 보다 높은 축방향 분해능을 갖는 고품질의 이미지를 획득하는 광변조기 기반 구조 조명 현미경 시스템이 제공될 수 있다.
이 외에도, 상기 구조 조명 현미경 시스템에 의해 수행되는 이미지 생성 방법이 제공될 수 있다.
본 발명의 일 측면에 따른 광변조기 기반 구조 조명 현미경 시스템은 광변조기, 특히 SLM을 이용하여 격자무늬 패턴의 위상 천이(phase shift) 과정에서 발생하는 진동에 의한 오차를 방지할 수 있다.
또한, SLM을 이용하여 격자무늬 패턴을 자유자재로 설계할 수 있다. 예를 들어, 보다 높은 축방향 분해능을 갖는 이미지를 생성하기 위한 격자무늬 패턴, 예를 들어, 높은 공간 주파수를 갖는 격자무늬 패턴, 또는 정면 응답(axial response)을 최소화하는 공간 주파수를 갖는 격자무늬 패턴을 설계하여 패턴 변조광을 생성할 수 있고, 이를 이용하여 축방향 분해능이 높은 이미지를 얻을 수 있다. 또는, 사용자가 제1 격자무늬 패턴에서 새로운 제2 격자무늬 패턴으로 변형하고자 하는 경우 제2 격자무늬 패턴을 구비한 그리드를 별도로 제조할 필요가 없다. 따라서, 경제적, 시간적 측면에서 자원 소모를 최소화할 수 있다.
나아가, 샘플로부터의 광신호의 데이터를 노이즈 제거하고, 디컨벌루션을 적용하는 등의 데이터 처리를 통해 이미지의 품질을 개선할 수 있다.
또한, 기계 학습을 통해 배경과 객체를 판단하는 능력을 갖거나, 또는 강도가 최고가 되는 종축 위치를 찾는 것과 같이 최적의 환경 조건을 찾음으로써, 이미지의 품질을 추가로 개선할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 광변조기 기반 구조 조명 현미경 시스템의 구조를 개략적으로 도시한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 공간 주파수에 따른 패턴 변조광을 설명하기 위한 도면이다.
도 3a 내지 도 3d는, 본 발명의 일 실시예에 따른, 샘플광에 기초한 이미지를 생성하는 과정을 예시적으로 도시한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 정규화된 공간 주파수와 축방향 분해능 사이의 관계를 설명하기 위한 도면이다.
도 5a 내지 도 5b는, 본 발명의 일 실시예에 따른, 샘플의 이미지 품질를 개선하는 이미지 처리 과정을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 추정함수 기반 판단 모델을 설명하기 위한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 도 6의 판단 모델의 비용함수를 설명하기 위한 도면이다.
본 발명에서 사용한 용어는 단지 확정한 실시예를 설명하기 위해 사용된 것이지, 본 발명을 한정하려는 의도가 아니다. 본 발명 및 첨부 된 특허청구의 범위에서 사용되는 단수 표현은 아래위 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현도 포함하는 것을 의도한다. 또한 본 발명에서 사용한 "및/또는"이라는 용어에 대해서는 하나 또는 복수의 관련되는 열거한 항목들의 임의 또는 모든 가능한 조합들을 포함하는 것으로 이해 하여야 한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
또한, 명세서 전체에서, "평면으로"라 할 때, 이는 대상 부분을 위에서 보았을 때를 의미하며, "단면으로"라 할 때, 이는 대상 부분을 수직으로 자른 단면을 옆에서 보았을 때를 의미한다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 광변조기 기반 구조 조명 현미경 시스템의 구조를 개략적으로 도시한 도면이다.
상기 구조 조명 현미경 시스템(1)은 광원(110), 광변조기(200), 빔 스플리터(310), 대물렌즈(330), 샘플(400)이 위치하는 샘플 스테이지(410), 광검출기(510) 및 데이터 처리 장치(600)를 포함한다. 데이터 처리 장치(600)는 제어부(610), 및 이미지 생성부(630)를 포함한다. 일 실시예에서, 데이터 처리 장치(600)는 학습부(670)를 더 포함할 수 있다.
구조 조명 현미경 시스템(1)은 임의의 종축 위치에서 위상 천이(phase shift)를 통해 측정 대상물(샘플)의 강도(intensity)가 변조(modulation)되는 부분만을 현미경 상에서 측정(임의의 종축위치에서의 강도 추출)할 수 있다. 또한, 샘플(400)의 밑면에서부터 윗면까지의 스캐닝을 통해 각각의 종축 위치에서의 강도 분포를 구할 수 있다. 그러면, 강도가 정점이 되는 임의의 종축 위치(index)를 결정하여 샘플(400)의 이미지 전체 픽셀에 대한 3차원 형상을 구할 수 있다.
도 1을 참조하면, 실시예들에 따른 광변조기 기반 구조 조명 현미경 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 데이터 처리 장치(600)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
실시예들에 따른 데이터 처리 장치(600)를 구성하는 각각의 부(610, 630, 670)는 이들이 구현된 컴퓨팅 장치에서 수행하는 동작에 따라 장치를 기능적으로 구분한 것일 뿐, 반드시 서로 분리된 별개의 소자를 의미하는 것이 아니다. 또한, 각각의 부(610, 630, 670)는 반드시 동일한 하나의 장치(예컨대, 컴퓨터, 디스플레이 장치 등) 내에 집적화되는 것을 의도하지 않는다. 즉, 도 1에서는 서로 하나의 장치(600) 내에 포함된 것으로 도시되나, 실시예에 따라서 제어부(610), 이미지 생성부(630), 학습부(670)중 일부 또는 전부는 물리적으로 구분되는 별개의 구성요소로 구현될 수도 있다.
다시 도 1을 참조하면, 광원(110)은 광을 발산하여 샘플(400)에 공급한다. 일 실시예에서, 광원(110)은 백색광(white light) 또는 다수의 파장을 가지는 광이 혼합된 빛(polychromatic light)을 출력할 수 있다.
광변조기(200)는 광원(110)으로부터 출력된 광을 수신하여 패턴 변조광으로 변조한다. 일 실시예에서 광변조기(200)는 SLM(Spatial Light Modulator)일 수 있다. SLM을 광변조기(200)로 사용하면, 격자무늬 패턴의 위상 천이(phase shift) 과정에서 발생하는 진동에 의한 오차를 방지할 수 있다.
일 실시예에서, 광변조기(200)는 투과형 광변조기, 또는 반사형 광변조기일 수 있다. 투과형 광변조기는 예를 들어, 액정을 활용하여 파면의 진폭 또는 위상을 변조시킬 수 있는 LCSLM(Liquid Crystal Spatial Light Modulator)을 포함할 수 있다. 반사형 광변조기는 액정 혹은 작은 거울을 반도체 위에 부착해 제어하는 광변조기로서, 예를 들어 LCos(Liquid Crystal on Silicon), DMD(Digital Mircromirror Device) 등을 포함할 수 있다. LCoS 패널은 액정 표시(LCD, liquid crystal display) 패널을 사용하면서 DLP(Digital Light Processing)형의 반사 칩을 이용한 방식이다. DMD 패널은 실리콘 웨이퍼 상에 미세한 거울을 일정한 간격으로 심어 이 거울을 통해 빛이 반사되는 것을 제어해 영상을 표현하는 장치이다.
예를 들어, 반사형 광변조기(200)는 광원(110)으로부터 수신된 광에 반사 원리를 적용하여 격자무늬 패턴을 형성하고, 전기적 신호를 사용하여 격자무늬 패턴의 공간 위상을 변조시킬 수 있다. 예를 들어, 0, (2π)/3, (4π)/3로 격자무늬 패턴의 공간 위상을 변조시킬 수 있다.
도 2는, 본 발명의 일 실시예에 따른, 공간 주파수에 따른 패턴 변조광을 설명하기 위한 도면이다. 광변조기(200)에 적용되는 변조 공간 주파수를 제어하여 다른 형태의 패턴 변조광을 생성할 수 있다. 도 2에 도시된 바와 같이, 광원(110)으로부터의 광이 저공간 주파수에 의해 변조되는 경우 격자와 격자 간격이 상대적으로 넓은 격자무늬 패턴이 생성된다. 반면, 동일한 광원(110)으로부터의 광이 고공간 주파수에 의해 변조되는 경우 격자와 격자 간격이 상대적으로 좁은 격자무늬 패턴이 생성된다.
패턴 변조광의 패턴 특성(예컨대, 공간 주파수, 패턴 주기 등)에 따라 고품질의 축방향 분해능을 갖는 이미지가 생성될 수 있다. 이에 대해서는 아래의 표 1 및 도 4를 참조하여 보다 상세하게 서술된다.
일 실시예에서, 광변조기(200)는 격자무늬 패턴의 주기가 0, (2π)/3, (4π)/3인 위상 천이를 통해 광원(110)으로부터의 광을 변조할 수 있다(이산 변조 방식). 다른 일 실시예에서, 광변조기(200)는 총 4번의 위상 천이를 통해 광원(110)으로부터의 광을 변조할 수 있다(정현파 변조 방식). 이 경우, 위상 천이 마다 정현파 형태의 신호를 갖는 오실레이션 운동을 가하여 연속적인 변조가 수행된다.
이와 같이, 전기적 신호에 의해 격자무늬 패턴 변조가 수행되는 광변조기(200)를 사용함으로써, 다양한 형태 및/또는 방향을 갖는 격자무늬 패턴을 얻을 수 있다. 또한, SLM에 의해 구현되는 격자무늬 패턴의 형태를 사용자의 입력 및/또는 설정 등 간편한 조작을 통해 용이하게 변경할 수 있다. 따라서, 기존의 격자무늬 패턴과 상이한 격자무늬 패턴으로 변경하고자 하는 경우, 새로운 격자무늬 패턴을 갖는 그리드(grid)를 별도로 제작할 필요가 없어, 경제적, 시간적 측면에서 자원 소모를 최소화할 수 있다.
추가적으로, 구조 조명 현미경 시스템(1)은 광원(110)과 광변조기(200) 사이에 위치하는, 광원(110)으로부터의 광을 집광하는 렌즈(130)를 더 포함할 수 있다.
광변조기(200)로부터 출력된 패턴 변조광의 일부 또는 전부는 빔 스플리터(310)와 대물렌즈(330)를 통해 샘플(400)에 공급된다.
추가적으로, 상기 구조 조명 현미경 시스템(1)은 광변조기(200)에서 빔 스플리터(310)로 광이 진행하기 이전에 패턴 변조광을 평행 광으로 변화시키는 렌즈(350)를 더 포함할 수 있다. 일 예에서, 렌즈(350)는 광변조기(200)와 빔 스플리터(310) 사이에 위치할 수 있다.
추가적으로, 구조 조명 현미경 시스템(1)은 SLM(200)의 패턴 변조광의 출력하는 실시예들에 따라서 도 1에 도시된 바와 같이, 광원(110)과 광변조기(200) 사이에 위치하는 PBS(Polarzaing Beam Spliter)(370)를 더 포함할 수 도 있다. SLM(200)의 패턴 변조광이 BS(310)로 진행하지 않는 경우 PBS(370)를 사용하여 샘플(400)에 패턴 변조광이 공급되게 할 수 있다.
다른 실시예들에서, 상기 구조 조명 현미경 시스템(1)은 빔 스플리터(310) 및/또는 PBS(370) 대신에, 광변조기(200)로부터의 광을 샘플(400)로 진행시키고, 샘플(400)로부터의 광을 광검출기(510)로 진행하게 하는 다양한 광학 구성요소를 포함할 수도 있다.
이미지 대상인 샘플(400)은 대물렌즈(330)에 대향하도록 샘플 스테이지(410) 상에 배치된다. 샘플(400)에 패턴 변조광이 공급되면, 구조 조명 현미경 시스템(1)은 이에 기초하여 샘플(400)로부터 방출된 광(즉, 샘플광)을 이용해 샘플(400)에 대한 이미지를 생성할 수 있다. 여기서, 샘플광은 샘플(400)로부터 방출된 광으로서 패턴 변조광이 샘플(400)에 공급되어 샘플(400)로부터 반사되거나 산란된 광을 포함한다.
광검출기(510)는 샘플광을 수신하고, 상기 샘플광의 신호를 검출한다. 예를 들어, 광검출기(510)는 샘플광의 강도(intensity)를 검출할 수 있다. 일 실시예에서, 광검출기(510)는 샘플(400)의 전 영역을 촬영할 수 있는 CCD(Charge-Coupled Device)일 수 있다. 이 경우, 광검출기(510)는 광검출기(510) 내부로 전달된 광 신호를 광의 강도에 기초해 전기적 신호로 변환하고, 상기 전기적 신호는 다시 아날로그 신호를 디지털 신호로 바꿔주는 변환 장치(예를 들어, ADC(analog-digital converter))를 통해 이미지 데이터를 생성할 수 있다.
추가적으로, 상기 구조 조명 현미경 시스템(1)은 샘플광을 집광시키는 렌즈(530)를 더 포함할 수 있다.
데이터 처리 장치(600)는 광검출기(510)에서 검출된 샘플광에 대한 정보를 수신하여 샘플(400)에 대한 이미지를 생성한다.
제어부(610)는 상기 구조 조명 현미경 시스템(1)의 전반적인 동작을 제어한다. 일 실시예에서, 제어부(610)는 광변조기(200)의 패턴 변조광의 형태를 제어할 수 있다. 예를 들어, 사용자의 입력 및/또는 설정에 응답하여 패턴 변조 신호로서 전기적 신호를 광변조기(200)에 전달한다. 상기 패턴 변조 신호는 공간 주파수에 연관된 정보에 의해 결정되며, 광변조기(200)가 해당 공간 주파수에 연관된 패턴 변조광을 생성하게 한다.
일 실시예에서, 제어부(610)는 샘플 스테이지(410)와 대물렌즈(330) 간의 상대적인 위치를 제어할 수 있다. 예를 들어, 샘플 스테이지(410)의 높이를 조절하여 대물렌즈(330)의 초점 거리에 맞출 수 있다. 또한, 샘플(400)에 대한 3차원 이미지를 생성하기 위해 샘플(400)의 밑면에서 윗면까지 스캐닝하는 동작을 제어할 수 있다. 그리고, 제어부(610)는 축 제어 신호로서 전기적 신호를 샘플 스테이지(410)의 연결부(미도시)에 전달하여 샘플광의 강도(intensity)가 정점이 되는 임의의 종축 위치로 샘플 스테이지(410)의 위치를 조절할 수도 있다.
도 3a 내지 도 3d는, 본 발명의 일 실시예에 따른, 샘플광에 기초한 이미지를 생성하는 과정을 예시적으로 도시한 도면이다.
이미지 생성부(630)는 광검출기(510)에 의해 검출된 샘플광에 기초하여 샘플(400)에 대한 이미지를 생성한다.
관찰 대상이 도 3a에 도시된 바와 같이 일반적인 현미경의 축방향 분해능보다 작은 패턴으로 이루어져 있는 경우, 축방향 분해능의 한계로 인해 샘플에 대한 광학 이미지를 정확하게 생성하기 어렵다. 도 3b에 도시된 바와 같은 특정 패턴에 대한 정보를 사전에 알고 있으면, 샘플에 대한 광학 이미지를 보다 정확하게 생성할 수 있다. 구조 조명 현미경 시스템(1)은 도 3b의 특정 패턴으로 광변조기(200)의 패턴 변조광을 이용한다.
도 3a의 샘플(400)과 도 3b의 패턴을 중첩시키면, 도 3c에 도시된 바와 같은 간섭 패턴(무아레 패턴(moire pattern))이 발생한다. 이러한 간섭 패턴에 대한 정보를 감지하면, 이미 알고 있는 특정 패턴의 정보를 사용하여 샘플에 대한 정보를 역으로 산출할 수 있다.
일 실시예에서, 광변조기(200)에 의해 변조된 패턴 변조광을 사용한 경우, 광검출부(510)에 의해 검출된 광 신호에 기초하여 생성된 이미지는 도 3c에 도시된 바와 같이 도 3b의 패턴 일부 부분이 도 3a의 샘플에 연관된 실제 패턴과 중첩된 격자무늬 패턴으로 이루어진다. 이미지 생성부(630)는 이미 알고 있는 격자무늬 패턴에 대한 정보를 사용해 샘플(400)에 대한 이미지를 생성할 수 있다.
나아가, 하나 이상의 위상에서 검출된 광 신호의 데이터를 수신하고 섹셔닝 작업을 더 수행할 수 있다. 상기 섹셔닝 작업은 격자무늬 패턴의 위상 천이된 이미지들에 기초하여 수행된다. 하나 이상의 위상 천이 이후 섹셔닝된 이미지들(예컨대, 대상의 강도가 변하는 부분만 측정하여 비초점면은 제거된 이미지들)에서는 측정 대상의 단차(step height)에 의해 초점이 맞지 않는 부분 및/또는 이미지가 있을 수 있다. 따라서, 측정 대상을 z축 방향(밑면에서 윗면)으로 스캐닝하면서 섹셔닝 이미지들을 z축으로 쌓은 뒤 초점면의 정보만 추출하면 도 3d에 도시된 바와 같이 샘플(400)에 대한 3차원 형상의 이미지를 생성할 수 있다.
일 실시예에서, 광변조기(200)가 이산 변조 방식으로 패턴 변조광을 생성하는 경우, 샘플(400)에 대한 이미지는 다음의 수학식 1에 의해 생성될 수 있다.
[수학식 1]
Figure 112018103441488-pat00001
여기서, S는 샘플의 광학 절편(optical sections)을 나타내고, I1, I2, I3은 각각 0, (2π)/3, (4π)/3인 경우 얻어지는 이미지의 강도를 나타낸다.
다른 일 실시예에서, 광변조기(200)가 정현파 변조 방식으로 패턴 변조광을 생성하는 경우, 샘플(400)에 대한 이미지는 다음의 수학식 2에 의해 생성될 수도 있다.
[수학식 2]
Figure 112018103441488-pat00002
여기서, Ia, Ib, Ic, Id는 서로 다른 4개의 이미지의 강도를 나타낸다.
이미지 생성부(630)는 광변조기(200)의 변조 방식에 적합한 이미지 생성 알고리즘을 수행하여 샘플(400)에 대한 이미지를 생성할 수 있다.
추가적으로, 구조 조명 현미경 시스템(1)은 이미지 생성부(630)가 생성하는 이미지의 품질을 개선한 이미지를 얻기 위해 다양한 동작들을 더 수행할 수 있다.
일 실시예에서, 구조 조명 현미경 시스템(1)은 특정 공간 주파수를 갖는 격자무늬 패턴으로 패턴 변조광을 생성하고, 이에 기초하여 보다 높은 품질의 축방향 분해능을 갖는 이미지를 얻을 수 있다.
현미경의 축방향 분해능을 판단하는 기준으로서 점상 강도 분포 함수(point spread function)의 반치폭(FWHM)이 가장 대표적이다. 구조 조명의 점상 강도 분포 함수를 2차원 푸리에 변환한 결과인 구조 조명의 광학 전달 함수(optical transfer function, OTF)는 종축 방향에서 원뿔(cone)을 갖지 않는다. 즉, 구조 조명 현미경 시스템(1)은 소위, missing cone이라고 지칭되는, 광학적 섹셔닝을 방해하는 현상을 나타내는 원뿔이 없어, 일반적인 광학 현미경 보다 높은 축방향 분해능을 가진다. 추가적으로, 이러한 특징을 갖는 구조 조명 현미경 시스템(1)은 격자무늬 패턴을 적절하게 설계하면 보다 높은 축방향 분해능을 갖는 점상 강도의 분포를 산출할 수 있다.
일 실시예에서, 제어부(610)는 상대적으로 좁은 패턴 주기를 갖는 패턴 변조광을 디자인할 수 있다. 패턴 주기가 좁아질수록 FWHM의 폭은 좁아진다.
패턴 주기 18um 24um 36um 56um
FWHM(um) 65 96 110 118
또한, 제어부(610)는 보다 높은 축방향 분해능을 갖는 패턴를 디자인하기 위한 최적화된 공간 주파수를 산출할 수 있다. 일 실시예에서, 제어부(610)는 실제 공간 좌표(x, y, z)와 공간 주파수(vx, vy)와 관련된 광학 좌표(ρx, ρy, u)와 정규화된 공간 주파수(vx‘, vy‘)에 기초하여 높은 축방향 분해능에 연관된 공간 주파수를 산출할 수 있다.
도 4는, 본 발명의 일 실시예에 따른, 정규화된 공간 주파수와 축방향 분해능 사이의 관계를 설명하기 위한 도면이다.
상기 일부 실시예에서, 공간 주파수는 다음의 수학식들에 의해 정규화된다.
[수학식 3 - 5]
Figure 112018103441488-pat00003
여기서, k=(2π)/λ , NA=nsinα, α는 반개구 각(semi-aperture angle), n은 잠입 매개물질(immersion media)의 굴절률을 나타낸다. 샘플(400)이 얇은 형광 필름(thin fluorescent film)인 경우 구조 조명 현미경의 정면 응답(axial response)의 반치폭(FHWM)은 정규화된 공간 주파수(vx‘, vy‘)에 대응하는 정규화된 변조 주파수(vg')와 도 4의 그래프로 표현되는 함수 관계를 가진다.
도 4에 도시된 바와 같이, vg'=1인 경우 정면 응답의 반치폭이 가장 낮아, vg'=1인 공간 주파수(vx1‘, vy1‘)를 최적화 공간 주파수로 산출된다. 구조 조명 현미경 시스템(1)은 SLM기반이므로 제어부(610)가 상기 최적화 공간 주파수를 산출하면, 상기 최적화 공간 주파수를 갖는 그리드를 별도로 제작할 필요 없이 손쉽게 상기 최적화 공간 주파수를 갖는 패턴 변조광을 생성할 수 있다. 이와 같이, 제어부(610)가 광변조기(200)가 vg'=1인 공간 주파수(vx1‘, vy1‘)를 갖는 격자무늬 패턴을 생성하게 하면, 격자무늬 패턴을 변수 조건으로 하는 이미지 생성 과정에서 가장 고품질의 축방향 분해능을 가진 이미지를 생성할 수 있다.
일 실시예에서, 이미지 생성부(630)는 샘플광 신호의 데이터를 처리하여 고품질의 이미지를 생성하도록 더 구성될수 있다. 이를 위해, 이미지 생성부(630)는 하나 이상의 다양한 이미지 처리 과정을 수행할 수 있다.
도 5a 내지 도 5b는, 본 발명의 일 실시예에 따른, 샘플의 이미지 품질를 개선하는 이미지 처리 과정을 설명하기 위한 도면이다.
일 실시예에서, 이미지 생성부(630)는 샘플광 신호의 데이터에서 노이즈 데이터를 필터링 할 수 있다. 광변조기(200)가 이산 변조 방식으로 변조 과정을 수행하는 경우, 축방향 분해능을 얻는 것을 저해하는 잔류 변조(residual modulation)가 나타날 수 있다. 잔류 변조를 제거하기 위해 주파수 영역에서 불필요한 정보를 담고 있는 고주파 대역을 임의적으로 필터링하여 노이즈를 제거할 수 있다.
도 5a에 도시된 바와 같이, 위상 천이 이후 얻은 샘플광 신호의 데이터에 푸리에 변환을 적용하면 해당 샘플에 대한 주파수 대역의 데이터를 얻을 수 있다. 도 5a에서 비 이상적으로 솟은 부분을 필터링한 결과, 도 5b에 도시된 바와 같이 노이즈가 제거된 보다 선명한 이미지를 얻을 수 있다.
구조 조명을 이용하는 구조 조명 현미경 시스템(1)은 사인파 형태의 격자무늬 패턴을 가질 수 있다. 이 경우, 격자무늬 패턴의 주기에 각기 다른 변조 방식에 상응하는 위상 천이 변조를 통해 초점이 맺히는 부분에서 샘플의 강도를 산출할 수 있다.
이미지 생성부(630)는 위상 천이 후 변조된 이미지(즉, 섹셔닝 이미지)에서 배경(defocusing)과 객체를 판단하기 어려운 경우, 배경과 객체의 판단 기준인 임계치(T1)를 최초의 임의 값으로 설정한 뒤, T1보다 큰 강도를 갖는 픽셀은 그룹(G1)으로, 보다 낮은 강도를 갖는 픽셀은 그룹(G2)로 우선 그룹화한다. 이어서 각 그룹(G1 및 G2)의 영역의 픽셀들에 대해 각각의 평균 밝기 값(M1, M2)를 산출하여 새 문턱치(T2)를 산출한다. 이미지 생성부(630)는 △T(=|T2-T1|) 값이 미리 설정한 △Tpreset보다 작아질 때까지 전술한 과정을 반복한다. △T<△Tpreset 인 경우, 마지막 임계치(T)을 기준 임계치로 결정하고 임계치(Tn) 보다 큰 강도를 갖는 픽셀은 샘플(400)에 연관된 픽셀로, 보다 작은 강도를 갖는 픽셀은 배경에 연관된 픽셀로 결정한다. 그러면, 이미지 생성부(630)는 샘플(400)에 연관된 픽셀로 구성된 샘플(400) 이미지와 배경에 연관된 픽셀로 구성된 배경 이미지를 분할할 수 있다.
일 실시예에서, 이미지 생성부(630)는 디컨볼루션(deconvolution)을 이용하여 샘플광 신호의 데이터를 처리할 수 있다.
구조 조명광을 이용하여 대상의 이미지를 생성하는 경우 초점면 이외의 상이 포함되어 축방향 분해능이 저하될 수 있다. 객체 평면(object plane)에서 샘플은(400) 점 객체(point object)로 이루어지는데, 각각의 점에서 방출된 광이 한 점으로 결상하지 않고, 점상 강도 분포 함수를 따라 퍼지기 때문에 상평면(image plane)에서 비 초점면을 포함한 3차원 이미지를 형성하게 된다.
3차원 상의 강도 분포(I(x, y))는 샘플(400)의 강도 분포(O(x, y))와 점상 강도 분포 함수의 컨볼루션으로 나타낼 수 있다. 통계적 추정(statistical estimation)을 통해 산출된 점상 강도 분포 함수와 비초점면을 포함한 3차원 이미지에 푸리에 변환이 적용되면 주파수 도메인에서는 상기 비초점면을 포함한 3차원 이미지를 물체의 강도 분포(intensity speard)와 광학 전달 함수의 곱으로 나타낼 수 있다. 이 값에 역 푸리에 변환 및 디컨볼루션을 적용하면 컨볼루션을 분리하여 축방향 분해능이 향상된 물체의 강도 분포를 구할 수 있다.
일 실시예에서, 이미지 생성부(630)는 디블러링(deblurring) 알고리즘을 이용하여 디컨볼루션 작업을 수행할 수 있다. 상기 디블러링 알고리즘은 점상 강도 분포 함수를 이용하여 블러(blur)를 산출하고, 종축으로 축적된 원래의 이미지로부터 블러를 제거하는 방식으로서, nearest neighbor, Multi neighbor, no neighbor, unsharp masking 등을 포함할 수 있다.
다른 일 실시예에서, 이미지 생성부(630)는 이미지 복원(image restoration) 알고리즘을 이용하여 디컨볼루션 작업을 수행할 수 있다. 상기 이미지 복원 알고리즘은 아웃 포커싱된 광을 포커싱되는 자리로 복원하는 방식으로서, 속박 반복(constrained iterative) 방식, 또는 역필터 방식을 포함한다. 상기 속박 반복 방식은 샘플(400)의 추정치와 이미지를 계산하고 기록된 이미지와 비교하여 차이에 따라 원하지 않는 이미지를 제거하는 방식으로서, Jansson van Cittert, statistical image restoration, blind deconvolution 등을 포함한다. 역필터 방식은 점상 강도 분포 함수를 푸리에 변환하여 공간 주파수 스펙트럼(PSF(u, v))으로 나타내고, 전달 함수가 1/(PSF(u, v))인 필터를 사용하여 원래의 이미지를 복원하는 방식으로서, Wiener deconvolution, linear least square 등을 포함한다.
또한, 구조 조명 현미경 시스템(1)은 사전에 미리 모델링한 모델들을 이용하여 개선된 이미지를 생성할 수도 있다.
일 실시예에서, 이미지 생성부(630)는 대수적 재구성(algebraic reconstruction)에 기반한 판단 모델에 샘플광 신호, 및 샘플광 신호에 기초한 이미지를 적용하여 고품질의 축방향 분해능을 갖는 이미지를 생성할 수 있다. 대수적 재구성 알고리즘은 Ax=b 형태와 같은 선형 시스템에 적용된다. 여기서 A는 m×n 형태의 행렬로서, 이미지 생성에 있어서 전달 함수(transfer function)에 해당하고, 벡터(x)는 검출된 샘플광의 강도 값, 그리고 b는 강도 값과 전달 함수에 의해 투영된 측정 값(즉, 이미지의 강도 값)을 나타낸다. 대수적 재구성에 기반한 판단 모델은 아래의 수학식 6으로 모델링되며, 이미지 생성부(630)는 아래의 수학식 6을 통해 반복적인 계산을 함으로써 최적화된 벡터(x)를 결정할 수 있다.
[수학식 6]
Figure 112018103441488-pat00004
여기서, i=k mod m+1, ai는 행렬 A의 i번째 행(row)이며, bi는 벡터 b의 i번째 구성요소이고, λk는 완화 파라미터(relaxation parameter), k는 반복 계산의 횟수를 각각 나타낸다.
결국, 이미지 생성부(630)는 최적화된 벡터(x)를 산출하고, 상기 최적화된 벡터(x)에 연관된 검출된 샘플광의 강도 값을 산출함으로써, 최적화된 샘플광의 강도 값에 기초한 이미지를 생성할 수 있다.
또한, 이미지 생성부(630)는 샘플과 배경을 뚜렷하게 구분하는 특정 임계치를 산출하는 판단 모델에 섹셔닝 이미지를 적용하여 축방향 분해능이 보다 높은 이미지를 갖는 섹셔닝 이미지를 생성할 수도 있다. 상기 특정 임계치에 대응하는 이미지는 샘플과 배경이 뚜렷한 최적화된 이미지를 나타낸다.
도 6은, 본 발명의 일 실시예에 따른, 추정함수 기반 판단 모델을 설명하기 위한 도면이고, 도 7은, 본 발명의 일 실시예에 따른, 도 6의 판단 모델의 비용함수를 설명하기 위한 도면이다.
배경과 객체를 구분하는 데 있어서, 선형 회귀(linear regression) 방식에 기반하여 접근하는 경우 데이터가 새로 추가되면 이전과는 결과가 다르게 데이터를 분류하거나, 또는 기준점이 변경되는 문제가 있다. 따라서, 배경과 객체를 구분하는데 보다 적합한 로지스틱 회귀(logistic regression) 및/또는 시그모이드 함수(sigmoid function)에 기초하여 통계적 복원(statistical reconstruction)을 수행한다.
구조 조명광을 이용하는 구조 조명 현미경 시스템(1)에서 임의의 종축 위치에서의 섹셔닝 이미지내 샘플 강도의 분포에 대하여 섹셔닝 이미지내 각각의 픽셀에 대한 0과 1 사이로 정규화된 강도 값을 x로 갖는 판단 모델은 다음의 수학식 7로 표현되는 추정함수(hθ(x))로 모델링될 수 있다.
[수학식 7]
Figure 112018103441488-pat00005
여기서, 추정함수 hθ(x)는 0과 1사이의 확률을 가지며, 강도와 상관관계를 가진다. 여기서 파라미터(θ)는 가중치를 나타낸다.
상기 추정함수 기반 판단 모델은 비용 함수가 최소가 되는 파라미터를 갖는 경우 최적화된 (즉, 추정함수(hθ(x))의 x에 연관된 픽셀이 물체인지 배경인지 가장 잘 구분된) 섹셔닝 이미지를 얻을 수 있다.
이러한 추정함수(hθ(x))에 대해 non-convex 형태의 비용함수(cost function, J(θ))를 사용하는 경우 global optimum이 아니라 local optimum을 찾아 수렴할 확률이 높다. 따라서, 도 7에 도시된 바와 같이, convex 형태의 비용함수를 사용하여 최적화 파라미터(θO)를 산출한다. 상기 convex 형태의 비용함수(Cost(hθ(x), y))는 다음의 수학식 8로 나타낼 수 있다. 이 경우, 구조 조명 현미경 시스템(1)의 판단 모델(즉, 추정함수(h(x))의 비용함수(J(θ))는 수학식 9로 표현할 수 있다.
[수학식 8]
Figure 112018103441488-pat00006
[수학식 9]
Figure 112018103441488-pat00007
비용함수를 최소화하는 파라미터(θ)를 산출하여 추정함수에 적용하면 추정함수가 최적화된다. 비용함수를 최소화하는 파라미터(θ)는 기울기 하강(gradient descent)을 사용하여 산출될 수 있다. 예를 들어, 최초 설정한 파라미터(θinital)로부터 구해진 판단 모델의 비용함수를 계산하고, 그 값을 이용해 반복적으로 파라미터(θ)를 변경하여 (예를 들어, 1부터 m 번 반복하여) 비용함수 J를 최소화하는 파라미터(θ)를 산출할 수 있다. 상기 비용함수는 convex 형태이므로, 상기 최소화하는 파라미터(θ)는 비용함수 값이 비용함수 전체에 대해 최소가 되는 (즉, global optimum) 파라미터이다.
이미지 생성부(630)는 상기 비용함수 J를 최소화하는 파라미터(θ)를 최적화 파라미터(θO)로 결정하고, 상기 최적화 파라미터(θO)를 추정함수(h(x))에 적용하여 특정 임계치를 산출한다. 그리고 이미지 생성부(630)는 섹셔닝 이미지내 각각의 픽셀이 상기 특정 임계치 미만인지, 상기 특정 임계치 이상인지 결정한다. 따라서, 섹셔닝 이미지내 각각의 픽셀은 두 개의 그룹으로 그룹화되며, 이미지 생성부(630)는 그룹화된 결과에 기초하여 이미지를 생성할 수 있다. 예를 들어, 상기 특정 임계치 이상에 해당하는 이미지 픽셀을 물체로, 특정 임계치 미만에 해당하는 이미지 픽셀을 배경으로 갖는 이미지를 생성할 수 있다. 따라서, 이와 같이 최적화 파라미터(θO) 및 특정 임계치를 이용하여 생성된 이미지는 최적의 축방향 분해능을 가진다 (즉, 샘플과 배경이 가장 잘 구분된다).
이와 같이, 이미지 생성부(630)는 검출된 샘플광 신호로부터 섹셔닝 이미지를 우선 생성하고, 상기 비용함수 J를 이용하여 최적화 파라미터(θO)를 산출하고, 상기 최적화 파라미터(θO)를 추정함수 h에 적용하여 특정 임계치를 산출한 뒤, 상기 특정 임계치를 기준으로 섹셔닝 이미지내 각각의 픽셀을 그룹화하여 섹셔닝 이미지 내 물체와 배경이 보다 잘 구분되게 할 수 있다.
그 결과, 구조 조명 현미경 시스템(1)은 우수한 정면 응답을 가질 수 있다. 따라서, 상기 시스템(1)의 특정 임계치를 이용하여 얻어진 복원 이미지는 객체와 배경 사이의 엣지 부분의 판단이 보다 용이하다.
추가적으로, 물체와 배경이 시각적으로 구분되는 이미지가 생성될 수도 있다. 일 예에서, 이미지 생성부(630)는 샘플(300)의 실루엣에 해당하는 선을 추가할 수도 있다. 다른 일 예에서, 이미지 생성부(630)는 특정 임계치에 의해 물체로 결정된 픽셀을 추출하여 샘플(300)에 대한 이미지를 생성할 수도 있다.
상기 파라미터(θ)는 임의의 종축 위치에서의 섹셔닝 이미지 별로 상이한 값을 가질 수 있다. 따라서, 전체 샘플(300)에 대해 최적화된 이미지를 생성하기 위해서 상기 파라미터(θ)를 산출하는 과정이 일회 이상 수행될 수도 있다. 상기 시스템(1)은 각 종축별 위치의 섹셔닝 이미지를 최적화하여 복원 이미지를 생성하고, 상기 복원 이미지를 조합하여 전체 샘플(300)에 대해 최적화된 이미지를 생성할 수 있다.
일 실시예에서, 이미지 생성부(630)는 컨볼루션 신경망(convolution nueral networks, CNN) 기반 판단 모델에 샘플(300)에 대한 데이터를 적용하여 샘플(300)에 대한 이미지를 생성할 수 있다. 일 예에서, 이미지 생성부(630)는 샘플(300)에 대한 섹셔닝 이미지를 생성하고, 상기 섹셔닝 이미지를 CNN 기반 판단 모델에 적용하여 보다 선명한 이미지로 복원(reconstruction)할 수 있다.
상기 컨볼루션 기반 판단 모델은 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer), 및 완전 연결 레이어(fully connected layer) 중 적어도 하나를 포함한다.
컨볼루션 레이어는 미리 정한 크기의 컨볼루션 필터를 사용하여 각 프레임에서 검출된 영역(예컨대, 32Х32 크기)으로부터 특징을 추출하고, 추출된 특징을 특징 맵(feature map)으로 출력한다. 상기 CNN 기반 판단 모델의 컨볼루션 필터는 배경과 객체 사이의 엣지를 판단하는 것에 연관된 특징을 추출한다.
그 후, 풀링 레이어는 특징 맵에 포함된 특징 값에 대하여 미리 정한 크기의 윈도우로 일정 칸식 스트라이드(stride)하면서, 해당 윈도우 내에 포함된 특징 값들을 대표 값으로 변환하여 특징 맵의 크기(size)를 스케일링할 수 있다. 이 과정은 서브 샘플링(sub-sampling) 또는 풀링(pooling) 이라고 지칭된다. 학습부(670)는 특징 맵을 풀링 처리함으로써 특징 맵의 크기를 스케일링 다운하여 효율적인 계산을 가능하게 하고, 입력 영상을 추상화하여 왜곡에 강하게 할 수 있다.
일 실시예에서, 풀링 레이어에서는 해당 윈도우 내 최대 값을 추출하는 맥스 풀링을 통해 풀링 과정이 수행된다. 그러나, 이에 제한되지 않으며 평균 값을 추출하는 평균 풀링, L2-norm 풀링 등과 같은 다양한 풀링 방식이 사용될 수 있다.
상기CNN 기반 판단 모델은 2개 이상의 완전 연결 레이어(Fully connected layer)를 포함할 수 있다. 완전 연결 레이어는 기존 신경망과 같은 형태의 레이어로서, 모든 입력 노드(Input Node)가 모든 출력 노드(Output Node)로 연결된 상태이다. 구조 조명 현미경 시스템(1)은 반복 학습을 통해 판단 모델을 모델링하는 학습부(670)를 더 포함할 수도 있다.
일 실시예에서, CNN 기반 판단 모델은 학습부(670)에 의해 학습될 수도 있다.
컨볼루션 필터의 가중치와 완전 연결 레이어의 노드 가중치는 복수의 훈련 이미지(training image)를 이용하여 학습부(670)에 의해 미리 학습될 수도 있다. 예컨대, CNN 기반 판단 모델의 컨볼루션 필터 및 완전 연결 레이어는 복수의 훈련 영상를 사용하여 객체와 배경 사이의 엣지를 판단하고, 나아가 배경에 연관된 픽셀과 객체에 연관된 픽셀을 분리하도록 학습될 수 있다.
추가적으로, 컨볼루션 필터의 가중치와 완전 연결 레이어의 노드 가중치는 이전에 획득되었던 객체의 이미지 및 이에 대한 판단 결과에 기초하여 업데이트될 수도 있다. 이로 인해, 상기 구조 조명 현미경 시스템(1)의 엣지 판단 기능이 더욱 강화될 수 있다.
추가적으로, 상기 CNN 기반 판단 모델은 하나 이상의 서브 모델을 포함하도록 구성될 수도 있다. 예를 들어, 샘플(400)의 종류별로 서브 모델을 포함할 수도 있다. 이 경우, 각 서브 모델은 해당 종류별 훈련 이미지를 이용하여 학습된다.
이로 인해, 구조 조명 현미경 시스템(1)은 학습부(670)에 의해 모델링된 판단 모델을 이용하여 구조 조명 현미경 시스템(1)이 보다 높은 축방향 분해능을 갖는 이미지를 생성하도록 한다.
일 실시예에서, 학습부(670)는 데이터 처리 장치(600)와 별개의 장치 내에 집적될 수도 있다. 이 경우 구조 조명 현미경 시스템(1)의 데이터 처리 장치(600)는 학습부(670)에서 미리 학습된 모델들을 수신하여 고품질의 이미지를 생성하는데 이용할 수도 있다. 다른 일 실시예에서, 상기 학습부(670)는 도 1에 도시된 바와 같이 데이터 처리 장치(600)에 포함될 수도 있다. 일부 실시예에서, 이미지 생성부(630)가 학습부(670)에서 수행되는 동작 중 일부 또는 전부를 수행하도록 구성될 수도 있다. 예를 들어, 이미지 생성부(630) 는 아래의 도 6 및 도 7의 이미지의 품질을 개선하는 모델을 모델링하는 동작을 수행하도록 더 구성될 수도 있다.
또한, 이미지 생성부(630)는 학습부(670)에서 모델링된 판단 모델에 샘플광에 기초한 섹셔닝 이미지를 적용하여 섹셔닝 이미지를 보다 고품질의 이미지로 복원할 수 있다. 또는 학습부(670)에서 모델링된 판단 모델에 샘플광 신호를 바로 적용하여 고품질의 이미지를 생성할 수 있다.
상기 구조 조명 현미경 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 상기 구조 조명 현미경 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
이와 같이, 구조 조명 현미경 시스템(1)은 이미지를 생성하는 동작들을 수행할 수 있으며, 일 실시예에서, 구조 조명 현미경 시스템(1)에 의해 수행되는 이미지 생성 과정은 이미지 생성 방법으로 지칭될 수 있다. 상기 이미지 생성 방법은 광원에 의해 발산된 광을 수신하여 샘플에 공급하기 위한 격자무늬 패턴 변조된 패턴 변조광을 생성하는 단계; 상기 샘플로부터 방출된 샘플광의 신호를 검출하는 단계; 상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 단계; 및 상기 검출된 샘플광의 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 패턴 변조광을 생성하는 단계는, 사용자의 응답 및/또는 설정에 응답하여 제1 패턴 변조광을 제2 패턴 변조광으로 손쉽게 변화시킬 수 있다. 이미지를 생성하는 단계는, 축방향 분해능을 개선하기 위해 데이터를 처리하는 하나 이상의 단계들을 포함할 수 있다. 또한, 스캐닝하는 단계는 강도가 최대가 되는 종축 위치로 대물렌즈의 위치를 조절하는 단계를 포함할 수 있다.
이상에서 설명한 실시예들에 따른 구조 조명 현미경 시스템 및 이미지 생성 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (16)

  1. 광변조기 기반 구조 조명 현미경 시스템으로서,
    광을 발산하는 광원;
    샘플과 대향하는 대물렌즈;
    상기 광원으로부터의 광에 전기적 신호를 적용하여 격자무늬 패턴 변조된 패턴 변조광을 생성하는 광변조기 - 상기 패턴 변조광은 상기 샘플에 공급됨;
    상기 샘플로부터 방출된 샘플광의 신호를 검출하는 광검출기;
    상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 제어부; 및
    상기 검출된 샘플광의 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 이미지 생성부-상기 이미지 생성부는 샘플광 신호의 데이터를 처리하여 데이터 처리 이전 보다 높은 축방향 분해능을 갖는 이미지를 생성함-를 포함하되,
    상기 이미지 생성부는,
    섹셔닝 이미지에 대한 추정함수 hθ(x)로 모델링된 추정함수 기반 판단 모델을 이용하여 산출된 특정 임계치를 기준으로 섹셔닝 이미지의 픽셀을 그룹화하며, 상기 그룹화 결과에 기초하여 물체와 배경이 그룹화 이전 보다 선명한 섹셔닝 이미지를 복원하도록 더 구성되며,
    상기 추정함수 hθ(x)는 다음의 수학식으로 표현되고,
    Figure 112019094312384-pat00022

    여기서, x는 섹셔닝 이미지내 각각의 픽셀에 대한 0과 1 사이로 정규화된 강도 값을 나타내고, 파라미터(θ)는 가중치를 나타내는 것을 특징으로 하는 구조 조명 현미경 시스템.
  2. 제1항에 있어서,
    상기 광변조기는 SLM(Spatial light modulator)인 것을 특징으로 하는 구조 조명 현미경 시스템.
  3. 제2항에 있어서,
    상기 광변조기는 제1 패턴 변조광과 상이한 제2 패턴 변조광을 생성할 수 있는 것을 특징으로 하는 구조 조명 현미경 시스템.
  4. 제2항에 있어서,
    상기 패턴 변조광의 격자무늬 패턴은 정면 응답(axial response)의 반치폭(FWHM)이 최소가 되게 하는 공간 주파수로 이루어지는 것을 특징으로 하는 구조 조명 현미경 시스템.
  5. 제4항에 있어서, 상기 샘플광의 광신호는 정규화되며,
    여기서 정규화는 0 내지 2의 범위에서 정면 응답의 반치폭이 최소가 될 경우 1의 값을 갖는 것을 특징으로 하는 구조 조명 현미경 시스템.
  6. 제1항에 있어서, 상기 이미지 생성부는,
    상기 샘플광 신호의 데이터를 주파수 대역으로 변환한 뒤, 소정의 제1 임계치 보다 큰 정보를 담고 있는 고주파 대역을 필터링하도록 구성되는 구조 조명 현미경 시스템.
  7. 제1항에 있어서, 상기 이미지 생성부는,
    배경과 객체를 포함한 이미지의 픽셀 중에서 제2 임계치 보다 큰 강도를 갖는 픽셀은 상기 객체에 연관된 픽셀로 결정하고, 보다 낮은 강도를 갖는 픽셀은 상기 배경에 연관된 픽셀로 결정하도록 구성되는 구조 조명 현미경 시스템.
  8. 제7항에 있어서, 상기 제2 임계치는,
    임의로 설정된 초기 임계치에 의해 상기 이미지의 픽셀을 두 그룹으로 그룹화하고, 각 그룹의 평균 밝기 값을 산출하여 새로운 임계치를 산출하며, 상기 그룹화와 새로운 임계치 산출을 반복한 결과 새로운 임계치와 이전 임계치 간의 차이가 소정 값 미만인 경우 가장 마지막에 산출된 임계치인 것을 특징으로 하는 구조 조명 현미경 시스템.
  9. 제1항에 있어서, 상기 이미지 생성부는,
    디컨볼루션을 이용하여 샘플광 신호의 데이터를 처리하도록 구성되는 것을 특징으로 하는 구조 조명 현미경 시스템.
  10. 삭제
  11. 광변조기 기반 구조 조명 현미경 시스템으로서,
    광을 발산하는 광원;
    샘플과 대향하는 대물렌즈;
    상기 광원으로부터의 광에 전기적 신호를 적용하여 격자무늬 패턴 변조된 패턴 변조광을 생성하는 광변조기 - 상기 패턴 변조광은 상기 샘플에 공급됨;
    상기 샘플로부터 방출된 샘플광의 신호를 검출하는 광검출기;
    상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 제어부; 및
    상기 검출된 샘플광의 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 이미지 생성부-상기 이미지 생성부는 샘플광 신호의 데이터를 처리하여 데이터 처리 이전 보다 높은 축방향 분해능을 갖는 이미지를 생성함-를 포함하되,
    상기 이미지 생성부는 배경과 객체를 판단하는 판단 모델을 이용하여 이미지를 생성하도록 더 구성되며,
    상기 판단 모델은 다음의 수학식에 기초하여 모델링되며,
    Figure 112019094312384-pat00008

    여기서, A는 m×n 형태의 행렬을 갖는 전달 함수, x는 벡터로서 검출된 샘플광의 강도 값, 그리고b는 강도 값과 전달 함수에 의해 투영된 측정 값을 나타내고, i는 k mod m+1, ai는 행렬 A의 i번째 행(row), bi는 벡터b의 i번째 구성요소, λk는 완화 파라미터(relaxation parameter), k는 반복 계산의 횟수를 각각 나타내는 구조 조명 현미경 시스템.
  12. 삭제
  13. 삭제
  14. 제1항에 있어서,
    상기 특정 임계치는 판단 모델의 비용 함수를 최소화 하는 파라미터(θO)가 hθ(x)에 적용되어 산출된 것으로서,
    상기 판단 모델의 비용함수 J(θ)는 다음의 수학식으로 표현되고,
    Figure 112019094312384-pat00010

    여기서, m은 상기 비용함수 값을 최소화 하는 파라미터(θO)를 산출하기 위해 파라미터(θ)를 변경하여 반복한 계산 회수를 나타내는 것을 특징으로 하는 구조 조명 현미경 시스템.
  15. 광변조기 기반 구조 조명 현미경 시스템에 의해 수행되는 이미지 생성 방법으로서,
    광원에 의해 발산된 광을 수신하여 샘플에 공급하기 위한 격자무늬 패턴 변조된 패턴 변조광을 생성하는 단계;
    상기 샘플로부터 방출된 샘플광의 신호를 검출하는 단계;
    상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 단계;
    데이터 처리 이전 보다 높은 축방향 분해능을 갖기 위해 상기 검출된 샘플광 신호의 데이터를 처리하는 단계; 및
    상기 데이터 처리된 샘플광 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 단계를 포함하되,
    상기 검출된 샘플광 신호의 데이터를 처리하는 단계는,
    섹셔닝 이미지에 대한 추정함수 hθ(x)로 모델링된 추정함수 기반 판단 모델을 이용하여 산출된 특정 임계치를 기준으로 섹셔닝 이미지의 픽셀을 그룹화하며, 상기 그룹화 결과에 기초하여 물체와 배경이 그룹화 이전 보다 선명한 섹셔닝 이미지를 복원하는 단계를 포함하며,
    상기 추정함수 hθ(x)는 다음의 수학식으로 표현되고,
    Figure 112019094312384-pat00023

    여기서, x는 섹셔닝 이미지내 각각의 픽셀에 대한 0과 1 사이로 정규화된 강도 값을 나타내고, 파라미터(θ)는 가중치를 나타내는 것을 특징으로 하는 이미지 생성 방법.
  16. 광변조기 기반 구조 조명 현미경 시스템에 의해 수행되는 이미지 생성 방법으로서,
    광원에 의해 발산된 광을 수신하여 샘플에 공급하기 위한 격자무늬 패턴 변조된 패턴 변조광을 생성하는 단계;
    상기 샘플로부터 방출된 샘플광의 신호를 검출하는 단계;
    상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 단계;
    데이터 처리 이전 보다 높은 축방향 분해능을 갖기 위해 상기 검출된 샘플광 신호의 데이터를 처리하는 단계; 및
    상기 데이터 처리된 샘플광 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 단계를 포함하되,
    상기 검출된 샘플광 신호의 데이터를 처리하는 단계는,
    이미지를 생성하기 위해 배경과 객체를 판단하는 판단 모델을 이용하는 단계를 더 포함하고,
    상기 판단 모델은 다음의 수학식에 기초하여 모델링된 것으로서,
    Figure 112019094312384-pat00024

    여기서, A는 m×n 형태의 행렬을 갖는 전달 함수, x는 벡터로서 검출된 샘플광의 강도 값, 그리고b는 강도 값과 전달 함수에 의해 투영된 측정 값을 나타내고, i는 k mod m+1, ai는 행렬 A의 i번째 행(row), bi는 벡터b의 i번째 구성요소, λk는 완화 파라미터(relaxation parameter), k는 반복 계산의 횟수를 각각 나타내는 이미지 생성 방법.
KR1020180125285A 2018-10-19 2018-10-19 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 Active KR102104238B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180125285A KR102104238B1 (ko) 2018-10-19 2018-10-19 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180125285A KR102104238B1 (ko) 2018-10-19 2018-10-19 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법

Publications (1)

Publication Number Publication Date
KR102104238B1 true KR102104238B1 (ko) 2020-04-24

Family

ID=70465907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180125285A Active KR102104238B1 (ko) 2018-10-19 2018-10-19 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법

Country Status (1)

Country Link
KR (1) KR102104238B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021255281A1 (en) * 2020-06-19 2021-12-23 Oxford NanoImaging Limited A method for obtaining an optically-sectioned image of a sample, and a device suitable for use in such a method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112183A (ko) * 2015-03-18 2016-09-28 한화테크윈 주식회사 포커스 제어 장치 및 포커스 측정 방법
US9494782B2 (en) * 2012-04-05 2016-11-15 Carl Zeiss Microscopy Gmbh Device and method for microscopy using light with differing physical properties
JP2017187532A (ja) * 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法
KR101847334B1 (ko) * 2017-02-02 2018-04-10 한국기초과학지원연구원 형광 이미지 획득 장치 및 방법
KR101896357B1 (ko) * 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램
KR20180107988A (ko) * 2017-03-23 2018-10-04 한국전자통신연구원 객체 탐지 장치 및 방법
US20180292634A1 (en) * 2015-10-12 2018-10-11 Crestoptics S.P.A. Confocal microscopy apparatus and related process for acquiring and processing images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9494782B2 (en) * 2012-04-05 2016-11-15 Carl Zeiss Microscopy Gmbh Device and method for microscopy using light with differing physical properties
KR20160112183A (ko) * 2015-03-18 2016-09-28 한화테크윈 주식회사 포커스 제어 장치 및 포커스 측정 방법
US20180292634A1 (en) * 2015-10-12 2018-10-11 Crestoptics S.P.A. Confocal microscopy apparatus and related process for acquiring and processing images
JP2017187532A (ja) * 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法
KR101847334B1 (ko) * 2017-02-02 2018-04-10 한국기초과학지원연구원 형광 이미지 획득 장치 및 방법
KR20180107988A (ko) * 2017-03-23 2018-10-04 한국전자통신연구원 객체 탐지 장치 및 방법
KR101896357B1 (ko) * 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021255281A1 (en) * 2020-06-19 2021-12-23 Oxford NanoImaging Limited A method for obtaining an optically-sectioned image of a sample, and a device suitable for use in such a method

Similar Documents

Publication Publication Date Title
Malik et al. A novel algorithm for estimation of depth map using image focus for 3D shape recovery in the presence of noise
JP7356453B2 (ja) 光学処理システム
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
Aslantas et al. Fusion of multi-focus images using differential evolution algorithm
CN105806259B (zh) 一种基于二值光栅离焦投影的三维测量方法
CN110702034A (zh) 高反光表面三维面形测量方法、服务器及系统
CN102867288A (zh) 深度图像转换设备和方法
US20170285318A1 (en) Imaging system and imaging method
CN110097634B (zh) 一种自适应多尺度的三维鬼成像方法
WO2018034241A1 (ja) 電磁波位相振幅生成装置、電磁波位相振幅生成方法及び電磁波位相振幅生成プログラム
JP2017533450A (ja) 被写体の３次元画像を生成する装置と方法
JP2013531268A (ja) 符号化開口を使用した距離の測定
CN104111038A (zh) 利用相位融合算法修复饱和产生的相位误差的方法
JP2007334892A (ja) デジタルグレー値画像の処理方法
Sha et al. Research on auto-focusing technology for micro vision system
Liu et al. Large depth-of-field 3D measurement with a microscopic structured-light system
JP5980197B2 (ja) 時系列流体速度計測システム
KR102104238B1 (ko) 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법
KR101806969B1 (ko) 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법
CN111062916B (zh) 显微图像的清晰度评价方法及装置
Widjanarko et al. A post-processing technique for extending depth of focus in conventional optical microscopy
US20170108532A1 (en) Image processing method of two-photon structured illumination point scanning microscopy
Li et al. Multi-frame super-resolution for time-of-flight imaging
US12343954B2 (en) Apparatus and method for manufacturing phase masks for lens-less camera
Sahay et al. Shape extraction of low‐textured objects in video microscopy

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181019

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190722

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200123

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200420

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200421

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230321

Start annual number: 4

End annual number: 4