KR102243079B1 - 광원 위치를 보정하기 위한 현미경 장치 및 그 방법 - Google Patents

광원 위치를 보정하기 위한 현미경 장치 및 그 방법 Download PDF

Info

Publication number
KR102243079B1
KR102243079B1 KR1020190077732A KR20190077732A KR102243079B1 KR 102243079 B1 KR102243079 B1 KR 102243079B1 KR 1020190077732 A KR1020190077732 A KR 1020190077732A KR 20190077732 A KR20190077732 A KR 20190077732A KR 102243079 B1 KR102243079 B1 KR 102243079B1
Authority
KR
South Korea
Prior art keywords
image
light source
light emitting
source unit
position error
Prior art date
Application number
KR1020190077732A
Other languages
English (en)
Other versions
KR20210001516A (ko
Inventor
최준규
주철민
송승리
허선웅
Original Assignee
주식회사 스몰머신즈
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스몰머신즈, 연세대학교 산학협력단 filed Critical 주식회사 스몰머신즈
Priority to KR1020190077732A priority Critical patent/KR102243079B1/ko
Priority to US16/598,054 priority patent/US10768401B1/en
Publication of KR20210001516A publication Critical patent/KR20210001516A/ko
Application granted granted Critical
Publication of KR102243079B1 publication Critical patent/KR102243079B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

본 발명의 실시예에 따른 광원 위치를 보정하기 위한 현미경 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 광원 위치를 보정하기 위한 현미경 장치는, 복수의 발광 소자로 구성된 발광 소자 어레이(array)를 포함하고, 대상체에 광을 조사하도록 구성된 광원부; 상기 대상체와 평행하게 배치되고, 상기 광이 조사된 상기 대상체의 확대된 상을 형성하도록 구성된 광학부; 상기 광학부를 통해 형성된 확대된 상을 촬영하여 상기 대상체에 대한 확대 영상을 획득하도록 구성된 이미지 센서; 및 상기 조명부, 상기 광원부 및 상기 이미지 센서와 동작 가능하게 연결되고, 상기 이미지 센서를 통해 획득된 영상을 기초로 상기 광원부의 위치를 보정하는 프로세서를 포함한다.

Description

광원 위치를 보정하기 위한 현미경 장치 및 그 방법{MICROSCOPE APPARATUS AND METHOD FOR CALIBRATING POSITION OF LIGHT SOURCE}
본 발명은 광원 위치를 보정하기 위한 현미경 장치 및 그 방법을 제공한다.
현미경 장치는 광원을 통해 시료와 같은 대상체에 광을 조사하여 대상체로부터 반사되는 광을 렌즈에 통과시켜 확대된 상을 형성하고, 형성된 상을 이미지 센서를 통해 촬영하여 대상체의 확대된 영상을 획득하기 위한 장치이다.
현미경 장치에 의해 획득된 확대 영상을 정확하게 분석하기 위해서 획득된 확대 영상은 고화질 및/또는 고해상도일 필요가 있다.
그러나, 사용자가 현미경 장치를 조작하거나, 사용자가 현미경 장치를 운반하는 등과 같은 이벤트에 의해 현미경 장치의 내부에 포함된 광원의 위치가 변형될 수 있으며, 이와 같이 변형된 위치의 광원을 이용하는 경우 현미경 장치는 광원의 위치 오차에 의해 노이즈가 발생된 확대 영상을 획득할 수 있다.
또한, 이와 같이 위치가 변형된 광원의 실제 위치를 찾기 위해 위치 추정을 이용한 다양한 기술이 이용되지만, 이러한 기술들은 광원의 위치를 찾기 위해 많은 시간이 소요된다는 문제점이 있다.
따라서, 현미경 장치에서 광원의 위치가 변형되는 경우 광원의 위치를 정확하게 보정하여 영상 노이즈 및 광원의 정확한 위치를 찾기 위해 소요되는 시간을 최소화하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 광원 위치를 보정하기 위한 현미경 장치 및 방법을 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 광원의 위치 오차에 따른 영상 노이즈를 최소화하면서 광원의 정확한 위치를 찾기 위해 소요되는 시간을 최소화하도록 광원 위치를 보정하기 위한 현미경 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 광원 위치를 보정하기 위한 현미경 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 광원 위치를 보정하기 위한 현미경 장치는, 복수의 발광 소자로 구성된 발광 소자 어레이(array)를 포함하고, 대상체에 광을 조사하도록 구성된 광원부; 상기 대상체와 평행하게 배치되고, 상기 광이 조사된 상기 대상체의 확대된 상을 형성하도록 구성된 광학부; 상기 광학부를 통해 형성된 확대된 상을 촬영하여 상기 대상체에 대한 확대 영상을 획득하도록 구성된 이미지 센서; 및 상기 조명부, 상기 광원부 및 상기 이미지 센서와 동작 가능하게 연결되고, 상기 이미지 센서를 통해 획득된 영상을 기초로 상기 광원부의 위치를 보정하는 프로세서를 포함하고, 상기 프로세서는, 상기 광원부를 통해 상기 대상체로 복수의 광을 동시에 또는 순차적으로 조사하고, 상기 광학부를 통해 상기 복수의 광 각각이 조사된 상기 대상체의 확대된 상을 형성하고, 상기 이미지 센서를 통해 상기 형성된 확대된 상을 촬영하여 상기 대상체에 대한 복수의 대상체 영상을 획득하고, 상기 광원부에 대한 복수의 위치 오차 후보값을 설정하고, 상기 설정된 복수의 위치 오차 후보값을 이용하여 상기 획득된 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득하고, 상기 획득된 복수의 최종 대상체 영상과 원본 영상 간의 복수의 영상 오차를 산출하고, 상기 산출된 복수의 영상 오차에 기반하여 상기 광원부의 위치를 보정하도록 구성된다.
본 발명의 실시예에 따른 현미경 장치의 프로세서에 의해서 수행되는 광원 위치를 보정하기 위한 방법에 있어서, 복수의 발광 소자로 구성된 발광 소자 어레이(array)를 포함하고, 대상체에 광을 조사하도록 구성된 광원부를 통해 상기 대상체로 복수의 광을 동시에 또는 순차적으로 조사하는 단계; 상기 대상체와 평행하게 배치된 광학부를 통해 상기 복수의 광 각각이 조사된 상기 대상체의 확대된 상을 형성하는 단계; 이미지 센서를 통해 상기 형성된 확대된 상을 촬영하여 상기 광학부의 위치 변화에 따른 상기 대상체에 대한 복수의 대상체 영상을 획득하는 단계; 상기 광원부에 대한 복수의 위치 오차 후보값을 설정하는 단계; 상기 설정된 복수의 위치 오차 후보값을 이용하여 상기 획득된 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득하는 단계; 상기 획득된 복수의 최종 대상체 영상과 원본 영상 간의 복수의 영상 오차를 산출하는 단계; 및 상기 산출된 복수의 영상 오차에 기반하여 상기 광원부의 위치를 보정하는 단계를 포함한다.
본 발명은 광원의 위치 오차를 정확하게 보정하여 영상 노이즈를 최소화함으로써, 대상체에 대한 고화질 및/또는 고해상도의 확대 영상을 획득할 수 있다.
또한, 본 발명은 광원의 정확한 위치를 빠르게 찾을 수 있고, 정확한 광원의 위치를 찾기 위해 소요되는 자원 및 시간을 최소화할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 현미경 시스템의 구성도를 도시한다.
도 2는 본 발명의 실시예에 따른 현미경 장치의 사시도를 도시한다.
도 3은 본 발명의 실시예에 따른 현미경 내부에 포함되는 이미지 획득부의 구성도를 도시한다.
도 4는 본 발명의 실시예에 따른 현미경 장치의 블록도를 도시한다.
도 5는 본 발명의 실시예에 따른 현미경 장치에서 광원의 위치를 보정하기 위한 방법을 나타내는 흐름도를 도시한다.
도 6 내지 도 8은 본 발명의 실시예에 따른 현미경 장치에서 광원의 위치를 보정하기 위한 방법을 설명하기 위한 예시도들을 도시한다.
도 9는 본 발명의 실시예에 따른 현미경 장치에서 광원의 위치를 보정하기 위해 사용되는 최소 영상 오차를 획득하는 동작을 재수행하는 방법을 설명하기 위한 예시도를 도시한다.
도 10a, 도 10b, 도 10c 및 도 10d는 본 발명의 실시예에 따른 현미경 장치의 표시부를 통해서 표시되는 인터페이스 화면들의 예시도를 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 현미경 시스템의 구성도를 도시한다.
도 1을 참조하면, 현미경 시스템(10)은 대상체의 확대된 영상을 획득하기 위한 현미경 장치(100) 및 현미경 장치(100)와 동작 가능하게 연결되어 현미경 장치(100)로부터 대상체의 영상을 수신하고, 수신된 영상을 제공하는 컴퓨팅 장치(300)를 포함할 수 있다.
다양한 실시예에서 컴퓨팅 장치(300)는 현미경 시스템(10)에 선택적으로 포함될 수 있으며, 현미경 장치(100)가 대상체의 영상을 표시할 수 있는 표시부를 포함하는 경우 컴퓨팅 장치(300)는 포함되지 않을 수 있다.
현미경 장치(100)는 분석 시료와 같은 대상체가 배치된 슬라이드 글라스(slide glass)에 광을 조사하여 대상체의 확대된 상을 형성하고, 형성된 상을 촬영하여 대상체의 확대된 영상을 획득하기 위한 장치이다. 예를 들어, 분석 시료는 전혈, 혈장, 혈청, 침, 안구액, 뇌척수액, 땀, 뇨, 젖, 복수액, 활액, 복막액, 세포 용해물의 액체 시료, 또는 조직 모, 손발톱의 피부계 하위기관 고체시료일 수 있다.
이와 같이 현미경 장치(100)를 통해서 획득된 영상은 대상체를 분석하여 연구 및/또는 진단을 진행하기 위해 사용되므로, 고화질 및/또는 고해상도의 영상일 필요가 있다.
이에 따라, 현미경 장치(100)는 복수의 대상체 영상을 획득하고, 획득된 영상들을 푸리에 공간(Fourier Domain)에 배열한 후 배열된 영상들을 중합하여 고화질 및/또는 고해상도의 영상을 획득하기 위한 푸리에 타이포그래피 기술(Fourier Ptychography)을 이용할 수 있다.
이러한 복수의 대상체 영상을 획득하기 위해 사용되는 광원은 일정 간격으로 적어도 하나 이상의 열로 배열된 복수의 발광 소자를 포함하는 발광 소자 다이오드 어레이(light emitted diode array, 이하 '발광 소자 어레이'라고 함)일 수 있다. 발광 소자 어레이는 각 발광 소자의 위치에 따라 대상체로 조사되는 광의 양이 서로 다를 수 있으므로, 각 발광 소자에 대응하여 획득된 영상은 서로 다른 영상 정보를 가질 수 있다. 예를 들어, 발광 소자 어레이의 가장자리에 위치하는 발광 소자들의 광량은 중앙 부분에 위치하는 발광 소자의 광량보다 적을 수 있다. 이에 따라, 특정 광원의 위치에서 획득된 영상은 대상체의 특정 부분에 대한 고해상도의 영상 정보를 가지고, 다른 광원의 위치에서 획득된 영상은 저해상도이지만 대상체의 전체적인 부분에 대한 영상 정보를 가질 수 있다.
이처럼 서로 다른 영상 정보를 가지는 저해상도의 영상들을 이용하여 고화질 및/또는 고해상도의 최종 영상을 획득하기 위해 현미경 장치(100)는 발광 소자 어레이의 가장자리에 위치한 발광 소자들로부터 조사되는 광량이 많아지도록 하여 발광 소자 어레이의 전반적인 광량이 일정하도록 할 수 있다. 예를 들어, 현미경 장치(100)는 발광 소자 어레이의 가장자리에 위치하는 발광 소자들로부터 조사되는 광의 양이 많아지도록 현미경 장치(100)에 포함된 카메라의 노출시간을 조절하거나, 발광 소자 어레이의 가장자리에 위치하는 발광 소자들의 광 세기를 중앙에 위치하는 발광 소자들의 광 세기보다 더 세게 조절할 수 있다.
그러나 발광 소자 어레이의 전반적인 광량이 일정하도록 현미경 장치(100)가 동작하더라도 해당 대상체 영상을 이용하여 고화질 및/또는 고해상도의 최종 영상을 획득하기 위해 현미경 장치(100)는 각 발광 소자의 위치에 따라 획득된 저해상도의 영상을 푸리에 공간에서 각 발광 소자의 위치에 대응하도록 정렬해야 한다. 이때, 현미경 장치(100)의 내부에 구성된 발광 소자 어레이의 위치가 평행 변환(예: x축 및 y축 중 적어도 하나의 평행 이동(global shift))에 의해 올바르지 않을 경우 획득된 최종 영상은 발광 소자 어레이의 위치 오차로 인한 노이즈가 발생될 수 있다.
이러한 노이즈 발생을 방지하면서 고화질 및/또는 고해상도의 최종 영상을 획득하기 위해 현미경 장치(100)는 발광 소자 어레이에 대한 임의의 복수의 위치 오차 후보값을 설정하고, 설정된 복수의 위치 오차 후보값을 이용하여 발광 소자 어레이를 구성하는 각 발광 소자에 의해 획득된 대상체 영상을 정합하여 복수의 최종 대상체 영상을 획득하고, 획득된 복수의 최종 대상체 영상과 원본 영상 간의 복수의 영상 오차를 산출한 후 산출된 복수의 영상 오차에 기반하여 발광 소자 어레이의 위치를 보정할 수 있다. 여기서, 현미경 장치(100)에 포함된 렌즈의 광축을 기준으로 하여 발광 소자 어레이의 중심이, 복수의 발광 소자가 배열된 방향과 평행을 이루는 제1 축(예: x축) 및 제1 축과 수직을 이루는 제2 축(예: y축) 중 적어도 하나에 의해서 정의되는 임의의 복수의 후보 위치로 평행 이동하였다고 가정한 경우 복수의 위치 오차 후보값은 광축의 위치와 임의의 복수의 후보 위치 간의 오차값들을 의미할 수 있다. 제시된 실시예에서 복수의 위치 오차 후보값은 3개 이상 5개 이하일 수 있으나, 이에 한정되지 않는다. 예를 들어, 발광 소자 어레이가 x축 및 y축 중 어느 하나로 평행 이동된 경우 위치 오차 후보값은 적어도 3개로 설정될 수 있고, 발광 소자 어레이가 x축 및 y축으로 평행 이동된 경우 위치 오차 후보값은 적어도 5개로 설정될 수 있으나, 이에 한정되지 않는다.
현미경 장치(100)는 이와 같이 위치가 보정된 발광 소자 어레이에 기반하여 복수의 대상체 영상을 획득하고, 획득된 복수의 대상체 영상을 푸리에 공간에서 중합하여 고화질 및/또는 고해상도의 최종 영상을 생성한 후 생성된 최종 영상을 컴퓨팅 장치(300)로 전달할 수 있다.
다양한 실시예에서 현미경 장치(100)는 발광 소자 어레이의 회전 변환에 따른 발광 소자 어레이의 위치를 보정한 이후에 발광 소자 어레이의 평행 변환에 따른 발광 소자 어레이의 위치를 보정하거나, 평행 변환에 따른 발광 소자 어레이의 위치를 보정한 이후에 회전 변환에 따른 발광 소자 어레이의 위치를 보정할 수도 있다. 여기서, 회전 변환에 따른 발광 소자 어레이의 위치 보정은 다양한 방법으로 수행될 수 있다. 제시된 실시예에서 회전 변환 및 평행 변환에 따른 위치 보정은 상술한 순서로 한정되지 않으며, 순차적으로 수행되거나, 동시에 수행될 수도 있다.
현미경 장치(100)와 동작 가능하게 연결된 컴퓨팅 장치(300)는 현미경 장치(100)로부터 대상체의 영상을 수신하고, 수신된 영상을 나타내는 인터페이스 화면을 컴퓨팅 장치(300)의 디스플레이를 통해서 표시할 수 있다. 예를 들어, 대상체의 영상은 각 발광 소자에 대응하여 획득된 저화질 및/또는 저해상도의 영상, 또는 푸리에 타이포그래피 기술에 의해 획득된 고화질 및/또는 고해상도의 영상일 수 있다.
다양한 실시예에서 현미경 장치(100)가 디스플레이를 포함하는 경우 현미경 장치(100)는 디스플레이를 통해서 대상체의 영상을 나타내는 인터페이스 화면을 표시할 수도 있다.
다양한 실시예에서 현미경 장치(100)의 디스플레이가 터치스크린인 경우 현미경 장치(100)는 디스플레이를 통해서 현미경 장치(100)의 기능을 제어하기 위한 인터페이스 화면을 제공할 수 있다. 이를 통해서, 사용자는 제공된 인터페이스 화면을 통해 현미경 장치(100)의 다양한 기능을 제어할 수 있다.
하기에서는 도 2 및 도 3을 참조하여 현미경 장치(100)에 대하여 좀 더 상세하게 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 현미경 장치의 사시도를 도시하고, 도 3은 본 발명의 실시예에 따른 현미경 내부에 포함되는 이미지 획득부의 구성도를 도시한다.
도 2 및 도 3을 참조하면, 현미경 장치(100)는 대상체의 확대 영상을 획득하기 위한 이미지 획득부(200)를 감싸도록 형성된 하우징(110)을 포함할 수 있다.
하우징(110)의 일 면에는 하우징(110)의 내부로 대상체가 배치된 슬라이드 글라스(130)를 삽입할 수 있는 삽입부(120), 현미경 장치(100)에 관련된 다양한 콘텐츠를 표시하는 표시부(140) 및 현미경 장치(100)의 전원을 온/오프하기 위한 전원부(150)가 형성될 수 있다.
삽입부(120)는, 대상체가 배치된 슬라이드 글라스(130)가 하우징(110) 내부로 삽입될 시 대상체의 확대 영상을 획득하기 위한 적절한 위치에 놓이도록 하우징(110)의 일 면의 적절한 위치에 형성될 수 있다. 예를 들어, 적절한 위치는 도 2의 광원부(210)와, 광학부(220)의 광축에 기반하여 광원부(210)와 평행하게 배치된 광학부(220) 사이일 수 있다. 표시부(140)는 선택적으로 포함될 수 있으며, 현미경 장치(100)의 다양한 기능에 관련된 사용자 인터페이스를 제공할 수 있다.
제시된 실시예에서는 하우징(110)의 일면에 삽입부(120), 표시부(140) 및 전원부(150)가 형성되는 것으로 설명하였으나, 이에 한정되지 않으며, 삽입부(120), 표시부(140) 및 전원부(150)는 대상체의 확대 영상을 획득하도록 하기 위해 하우징(110)의 다양한 위치에 형성될 수 있다.
하우징(110)의 내부에 형성된 이미지 획득부(200)는 삽입부(120)를 통해서 하우징(110) 내부로 삽입된 대상체의 확대 영상을 획득하기 위한 광원부(210), 광학부(220) 및 이미지 센서(230)를 포함할 수 있다. 광원부(210), 광학부(220) 및 이미지 센서(230)는 광학부(220)의 광축에 기반하여 서로 평행하게 배치되고, 삽입부(120)를 통해서 삽입된 대상체 또한 광원부(210), 광학부(220) 및 이미지 센서(230)와 서로 평행하게 배치될 수 있다. 삽입부(120)를 통해 대상체가 배치된 슬라이드 글라스(130)가 삽입되면 삽입된 슬라이드 글라스(130)는 광원부(210)와 광학부(220) 사이의 적절한 위치에 배치될 수 있다.
이어서, 이미지 획득부(200)의 광원부(210)는 복수의 발광 소자(212)가 배열된 발광 소자 어레이일 수 있다. 복수의 발광 소자(212) 각각은 서로 다른 색상 또는 동일한 색상으로 발광할 수 있다. 이러한 광원부(210)는 복수의 발광 소자(212) 각각이 동시에 혹은 순차적으로 발광하여 대상체로 광을 조사할 수 있다.
광학부(220)는 제1 렌즈(222) 및 제2 렌즈(224)를 포함하고, 광원부(210)로부터 대상체로 조사된 광에 의해 대상체의 확대된 상을 형성하고, 형성된 상을 이미지 센서(230)로 제공할 수 있다.
제1 렌즈(222)는 대상체에 조사된 광에 의해 형성된 대상체의 확대된 상을 투영하는 렌즈로서, 대물 렌즈(objective lens)일 수 있다.
제2 렌즈(224)는 제1 렌즈(222)를 통해서 투영된, 확대된 상을 이미지 센서(230)로 전달하는 렌즈로서, 튜브 렌즈(tube lens)일 수 있다. 이러한 제1 렌즈(222) 및 제2 렌즈(224) 각각의 광축은 서로 일치할 수 있다.
이미지 센서(230)는 광학부(220)를 통과한 대상체의 상을 촬영하여 적어도 하나의 영상을 생성할 수 있다. 예를 들어, 이미지 센서(230)는 CCD(Charge-Coupled Device) 센서 및/또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등을 포함할 수 있다.
하기에서는 표시부를 포함하는 현미경 장치(100)에서의 고화질 및/또는 고해상도의 영상을 획득하기 위한 구체적인 동작에 대해서 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 실시예에 따른 현미경 장치의 블록도를 도시한다.
도 4를 참조하면, 현미경 장치(100)는 이미지 획득부(200), 표시부(140), 통신부(240), 저장부(250) 및 프로세서(260)를 포함하고, 이미지 획득부(200)는 광원부(210), 광학부(220) 및 이미지 센서(230)를 포함할 수 있다.
광원부(210)는 평행 이동 및/또는 회전 이동이 가능하도록 배치되고, 복수의 발광 소자(212)가 배열된 발광 소자 어레이로서 구성될 수 있다.
광학부(220)는 복수의 렌즈들을 포함하는 복수의 렌즈 어레이로 구성되고, 복수의 렌즈 어레이는 대물렌즈와 같은 제1 렌즈(222) 및 튜브 렌즈와 같은 제2 렌즈(224)를 포함할 수 있다. 제1 렌즈(222) 및 제2 렌즈(224) 각각은 하나 이상의 렌즈를 포함할 수 있다. 상기 제1 렌즈(222) 및 제2 렌즈(224) 각각의 광축은 서로 일치하고, 해당 광축에 대하여 서로 평행하게 배치될 수 있다. 제1 렌즈(222)는 대상체를 기준으로 제2 렌즈(224)보다 대상체에 더 가깝게 배치될 수 있다.
광학부(220)의 렌즈들은 광원부(210)에 의해서 대상체로 조사된 광에 기반하여 대상체의 확대된 상을 형성하고, 형성된 상을 이미지 센서(230)로 전달할 수 있다.
이미지 센서(230)는 광학부(220)를 통해서 통과된 상을 촬영하여 광학부(220)의 시야 범위에 해당하는 대상체의 영상을 획득할 수 있다.
이러한 광원부(210), 광학부(220) 및 이미지 센서(230)는 광학부(220)의 광축을 기초로 서로 평행하게 배치될 수 있다. 광원부(210)와 광학부(220) 사이의 적절한 위치에 배치되는 대상체 또한 광축을 기초로 광원부(210), 광학부(220) 및 이미지 센서(230)와 서로 평행하게 배치될 수 있다.
표시부(140)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심벌 등)를 표시할 수 있다. 구체적으로, 표시부(140)는 현미경 장치(100)의 다양한 기능을 제어하기 위한 사용자 인터페이스 화면을 표시할 수 있다. 예를 들어, 다양한 기능은 현미경 장치(100)의 광원 위치를 보정하는 가능, 대상체의 영상을 획득하는 기능, 현미경 장치(100)의 렌즈 포커싱을 설정하는 기능, 프리뷰 영상을 표시하는 기능 및/또는 렌즈 배율을 조정하는 기능 등을 포함할 수 있다. 다양한 실시예에서 표시부(140)는 획득된 영상을 표시할 수 있다. 이러한 경우 다양한 기능은 획득된 영상을 줌 인(zoom-in)/줌 아웃(zoom-out)하는 기능을 더 포함할 수 있다.
다양한 실시예에서 표시부(140)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.
통신부(240)는 현미경 장치(100)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(240)는 유/무선 통신을 이용하여 컴퓨팅 장치(300)와 연결되어 다양한 정보를 송수신할 수 있다. 구체적으로, 컴퓨터 장치(300)가 대상체의 영상을 표시하거나, 대상체의 영상을 저장하도록 하기 위해 통신부(240)는 대상체의 영상을 컴퓨팅 장치(300)로 전달할 수 있다.
저장부(250)는 현미경 장치(100)가 광원 위치에 따른 오류를 확인하고, 이를 보정하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 또한, 저장부(250)는 대상체 영상 및 각 발광 소자에 대응하는 원본 영상을 저장할 수 있다. 다양한 실시예에서 저장부(250)는 현미경 장치(100)의 다양한 기능에 관련된 사용자 인터페이스를 구성하기 위해 사용되는 그래픽 데이터를 저장할 수도 있다.
다양한 실시예에서 저장부(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 현미경 장치(100)는 인터넷(internet)상에서 상기 메모리(250)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
프로세서(260)는 이미지 획득부(200), 표시부(140), 통신부(240) 및 저장부(250)와 동작 가능하게 연결되며, 현미경 장치(100)의 광원 위치를 보정하고, 보정된 광원 위치에 따라 대상체의 고화질 및/또는 고해상도 영상을 획득하기 위한 다양한 명령들을 수행할 수 있다.
광원부(210)의 위치를 보정하기 위해 프로세서(260)는 광원부(210)의 위치 오차를 확인하고, 확인된 위치 오차에 따라 광원부(210)의 위치 보정을 수행할 수 있다. 구체적으로, 프로세서(260)는 광원부(210)를 구성하는 복수의 발광 소자(212)를 발광시켜 대상체로 복수의 광을 동시에 혹은 순차적으로 조사하고, 조사된 광에 기반하여 광학부(220)를 통해서 대상체의 확대된 상을 형성한 후 이미지 센서(230)를 통해서 확대된 상을 촬영하여 복수의 대상체 영상을 획득할 수 있다.
프로세서(260)는 광원부(210)에 대한 복수의 위치 오차 후보값을 설정할 수 있다. 구체적으로, 프로세서(260)는 광학부(220)의 광축을 기준으로 하여 발광 소자 어레이의 중심이 제1 축 및 제2 축 중 적어도 하나에 의해서 정의되는 임의의 복수의 후보 위치로 평행 이동하였다고 가정하고, 광축의 위치와 임의의 복수의 후보 위치 간의 오차값을, 복수의 위치 오차값으로서 설정할 수 있다. 예를 들어, 복수의 위치 오차 후보값이 5개로 설정된 경우 5개의 위치 오차 후보값은
Figure 112019066441308-pat00001
,
Figure 112019066441308-pat00002
와 같이 표현될 수 있다.
프로세서(260)는 설정된 복수의 위치 오차 후보값을 이용하여 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득할 수 있다. 복수의 최종 대상체 영상을 획득하기 위해 프로세서(260)는 복수의 위치 오차 후보값 각각을 이용하여 발광 소자 어레이를 구성하는 각 발광 소자의 k-벡터(k-vector)를 산출하고, 산출된 k-벡터 및 FPM 알고리즘(Fourier Ptychography microscopy algorithm)을 이용하여 복수의 대상체 영상을 중합하여 최종 대상체 영상을 획득할 수 있다.
5개의 위치 오차 후보값을 이용하여 각 발광 소자의 k-벡터(
Figure 112019066441308-pat00003
,
Figure 112019066441308-pat00004
)를 산출하기 위해 하기의 <수학식 1>이 이용될 수 있다.
Figure 112019066441308-pat00005
여기서,
Figure 112019066441308-pat00006
,
Figure 112019066441308-pat00007
는 대상체 영상의 중심 좌표,
Figure 112019066441308-pat00008
,
Figure 112019066441308-pat00009
은 (m, n)번째 발광 소자의 위치 좌표,
Figure 112019066441308-pat00010
는 해당 발광 소자의 중앙 파장값,
Figure 112019066441308-pat00011
는 대상체와 해당 발광 소자 사이의 거리,
Figure 112019066441308-pat00012
,
Figure 112019066441308-pat00013
는 설정된 복수의 위치 오차 후보값일 수 있다. 이때, 대상체 영상의 중심 좌표는 광학부(220)의 광축 좌표를 의미할 수 있다.
발광 소자 어레이의 위치 이동(예: 평행 이동)이 발생된 것으로 가정할 경우 k-벡터를 산출하기 위해 이용되는 발광 소자 어레이의 중심 위치에서 (m, n)번째 발광 소자의 중심 위치까지의 거리는 위치 오차 후보값인
Figure 112019066441308-pat00014
,
Figure 112019066441308-pat00015
가 더 포함될 수 있다. 이에, 프로세서(260)는 복수의 위치 오차 후보값 각각이 포함된 발광 소자 어레이의 중심 위치에서 (m, n)번째 발광 소자의 중심 위치까지의 거리, 및 대상체가 배치된 슬라이드 글라스(130)와 발광 소자 어레이 사이의 거리를 이용하여 (m, n)번째 발광 소자의 k-벡터를 산출할 수 있다. 이러한 경우 산출된 k-벡터는 발광 소자별로 5개가 산출될 수 있다.
다양한 실시예에서 대상체 영상을 여러 개의 세그먼트로 분할하여 고해상도 영상을 복원하고자 하는 경우 프로세서(260)는 각 대상체 영상을 적어도 하나의 이미지 세그먼트(예: 저해상도의 영상)로 분할하고, 분할된 이미지 세그먼트 각각에 관련하여 각 발광 소자의 k-벡터를 산출할 수 있다. 이러한 경우 프로세서(260)는 각 이미지 세그먼트의 중심 좌표를 입력 파라미터로서 <수학식 1>에 적용하여 k-벡터를 산출할 수 있다. 상술한 <수학식 1>에서 x, y는 대상체 영상의 중심 좌표에 해당하지만, 대상체 영상을 분할한 경우 <수학식 1>에서 x, y는 이미지 세그먼트의 중심 좌표에 해당하므로, 프로세서(260)는 이미지 세그먼트의 중심 좌표에서 대상체 영상의 중심 좌표 간의 거리를 더 이용하여 k-벡터를 산출할 수 있다. 이를 통해서 본 발명은 영상 복원을 위해 수행되는 계산의 양을 최소화할 수 있다.
프로세서(260)는 이와 같이 산출된 각 k-벡터와 FPM 알고리즘을 이용하여 푸리에 공간에서 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득할 수 있다. 이를 통해서, 고화질 및/또는 고해상도의 복수의 최종 대상체 영상이 복원될 수 있다. 이때, 복원된 최종 대상체 영상 각각은 평행 변환에 의한 노이즈가 발생된 영상일 수 있다.
프로세서(260)는 획득된 복수의 최종 대상체 영상 각각을 적어도 하나의 발광 소자에 대응하도록 변환하고, 적어도 하나의 발광 소자에 대응하도록 변환된 영상과 적어도 하나의 발광 소자에 대응하는 원본 영상 간의 영상 오차를 산출할 수 있다. 여기서, 변환된 영상은 복수의 최종 대상체 영상 각각이 적어도 하나의 발광 소자에 대응하여 획득된 대상체 영상과 매칭되도록 변환된 영상일 수 있다. 또한, 변환된 영상과의 비교를 위한 원본 영상은 회전 또는 평행 변환이 존재하지 않은 발광 소자 어레이를 구성하는 적어도 하나의 발광 소자의 실제 위치에 대응하여 획득된 대상체 영상일 수 있다. 이러한 원본 영상은 영상 오차를 확인하기 위해 각 발광 소자에 대응하여 미리 획득되어 저장부(250)에 저장될 수 있다. 예를 들어, 발광 소자 어레이에 포함된 복수의 발광 소자(212)의 개수가 200개인 경우 200개의 발광 소자에 대응하는 원본 영상이 저장될 수 있다.
발광 소자 어레이의 위치 오차가
Figure 112019066441308-pat00016
,
Figure 112019066441308-pat00017
(i>0)인 경우 변환된 영상과 원본 영상 간의 영상 오차(
Figure 112019066441308-pat00018
)를 산출하기 위해 RMS(Root Mean Square) 방식을 기반으로 한 하기의 <수학식 2>가 이용될 수 있다.
Figure 112019066441308-pat00019
여기서,
Figure 112019066441308-pat00020
는 (m, n)번째 발광 소자에 대응하는 원본 영상을 나타내고,
Figure 112019066441308-pat00021
는 (m, n)번째 발광 소자에 대응하는 변환된 영상을 나타낼 수 있다. 특히,
Figure 112019066441308-pat00022
에서 m과 n은 발광 소자 어레이의 (m, n)번째 발광 소자를 나타내고, l은 (m, n)번째 발광 소자의 위치에 대응하여 FPM 알고리즘으로 복원한 고화질 및/또는 고해상도 영상을 저역 통과 필터링(Low Pass Filtering)한 영상을 나타낼 수 있다. (m, n)번째 발광 소자에 대응하는 원본 영상은 (m, n)번째 발광 소자의 위치에서 획득된 저화질 및/또는 저해상도의 영상일 수 있다.
이와 같이 적어도 하나의 발광 소자에 대응하도록 변환된 영상과 적어도 하나의 발광 소자에 대응하는 원본 영상 간의 영상 오차는 최종 대상체 영상의 개수에 대응하도록 산출될 수 있다. 예를 들어, 최종 대상체 영상의 개수가 5개인 경우 산출되는 영상 오차는 5개일 수 있다.
제시된 실시예에서는 RMS 방식을 이용하여 영상 오차를 산출하는 동작을 설명하였으나, 이에 한정되지 않으며, 엔트로피(Entropy) 방식 등을 이용하는 등의 다양한 방식이 이용될 수 있다.
프로세서(260)는 산출된 복수의 영상 오차에 기반하여 발광 소자 어레이의 위치를 보정할 수 있다. 구체적으로, 프로세서(260)는 다항 함수 보간법(Polynomial interpolation)을 이용하여 복수의 영상 오차를 포함하는 적어도 하나의 다항 함수를 획득하고, 획득된 적어도 하나의 다항 함수에 기반하여 최소 영상 오차 및 해당 최소 영상 오차에 해당하는 위치 오차를 산출할 수 있다. 예를 들어, 최소 영상 오차에 해당하는 위치 오차를 획득하기 위해 다항함수 보간법을 기반으로 한 하기의 <수학식 3>이 이용될 수 있다.
Figure 112019066441308-pat00023
여기서,
Figure 112019066441308-pat00024
,
Figure 112019066441308-pat00025
는 최소 영상 오차에 대응하는 위치 오차를 나타낼 수 있다.
프로세서(260)는 획득된 위치 오차를 이용하여 광원부(210)의 위치 보정을 수행할 수 있다. 예를 들어, 프로세서(260)는 발광 소자 어레이의 중심 좌표에 획득된 위치 오차를 가산하여 발광 소자 어레이의 위치를 보정할 수 있다. 이와 같이 획득된 위치 오차를 이용하여 보정된 광원부(210)의 위치는 광원부(210)의 최적 위치가 될 수 있다.
다양한 실시예에서 프로세서(260)는 적어도 하나의 새로운 위치 오차 후보값을 설정하고, 설정된 적어도 하나의 새로운 위치 오차값에 대응하여 새로운 영상 오차를 획득한 후 복수의 영상 오차 중 일부 영상 오차 및 새롭게 획득된 영상 오차를 이용하여 광원부(210)의 위치 오차를 산출하기 위한 최소 영상 오차를 획득하는 동작을 재수행할 수 있다. 프로세서(260)는 재수행 결과에 의해 획득된 최소 위치 오차를 이용하여 광원부(210)의 위치를 보정할 수 있다. 여기서, 일부 영상 오차는 최소 영상 오차 및 복수의 영상 오차 중 최소 영상 오차 다음으로 작은 영상 오차를 포함할 수 있으나, 이에 한정되지 않는다.
예를 들어, 프로세서(260)는 (m, n)번째 발광 소자에 관련하여 임의의 새로운 위치 오차값을 설정하고, 설정된 새로운 위치 오차값을 이용하여 각 발광 소자에 대응하는 복수의 대상체 영상을 중합하여 최종 대상체 영상을 획득할 수 있다.
프로세서(260)는 획득된 최종 대상체 영상을 (m, n)번째 발광 소자에 의해서 획득된 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 새로운 영상 오차를 산출할 수 있다. 프로세서(206)는 이전 다항 함수를 통해 획득된 복수의 영상 오차 중 최소 영상 오차인 제1 영상 오차, 최소 영상 오차 다음으로 작은 영상 오차인 제2 영상 오차 및 새롭게 산출된 영상 오차인 제3 영상 오차를 포함하는 다항 함수를 생성하고, 생성된 다항 함수의 최소 영상 오차에 대응하는 위치 오차를 획득한 후 획득된 위치 오차를 이용하여 발광 소자 어레이에 대한 위치 보정을 수행할 수 있다.
제시된 실시예에서는 발광 소자 어레이의 위치 오차를 산출하기 위한 최소 영상 오차를 획득하는 동작이 재수행되는 것으로 설명하였으나, 이에 한정되지 않으며, 이러한 재수행 동작이 복수 회차만큼 수행될 수 있다. 이러한 경우 보정된 광원부(210)의 위치는 보다 최적 위치가 될 수 있다. 이를 통해서 광원에 대한 정확한 위치 보정이 수행될 수 있다.
광원부(210)의 위치 보정이 완료되면 프로세서(260)는 각 발광 소자에 대응하는 대상체 영상을 중합하여 고화질 및/또는 고해상도의 최종 영상을 획득하고, 획득된 최종 영상을 나타내는 인터페이스 화면을 표시부(140)를 통해서 표시하거나, 최종 영상을 통신부(240)를 통해서 컴퓨팅 장치(300)로 전달할 수 있다.
이와 같이 본 발명은 광원의 정확한 위치를 빠르게 찾아 노이즈가 최소화된 고화질 및/또는 고해상도의 확대 영상을 획득 및 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 현미경 장치에서 광원의 위치를 보정하기 위한 방법을 나타내는 흐름도를 도시한다. 하기에서 설명하는 동작들은 현미경 장치(100)의 프로세서(260)에 의해서 수행될 수 있다.
도 5를 참조하면, 현미경 장치(100)는 광원부(210)를 통해 대상체로 복수의 광을 동시에 또는 순차적으로 조사하고(S500), 광학부(220)를 통해 복수의 광 각각이 조사된 대상체의 확대된 상을 형성하며(S510), 이미지 센서(230)를 통해, 확대된 상을 촬영하여 대상체에 대한 복수의 대상체 영상을 획득한다(S520).
현미경 장치(100)는 광원부(210)에 대한 복수의 위치 오차 후보값을 설정하고(S530), 설정된 복수의 위치 오차 후보값을 이용하여 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득한다(S540).
구체적으로, 현미경 장치(100)는 발광 소자 어레이의 임의의 복수의 위치 오차 후보값을 설정하고, 설정된 복수의 위치 오차 후보값을 이용하여 (m, n)번째 발광 소자의 k-벡터를 산출할 수 있다. 현미경 장치(100)는 산출된 복수의 k-벡터 각각을 이용하여 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 생성할 수 있다. 예를 들어, 발광 소자 어레이의 중심 좌표가 발광 소자 어레이의 제1축에 해당하는 x축 및 제2축에 해당하는 y축에 의해서 정의되는 5개의 임의의 위치 좌표로 평행 이동한 것으로 가정한 경우 임의의 복수의 위치 오차 후보값은 발광 소자 어레이의 중심 좌표에서 5개의 임의의 위치 좌표 사이의 거리값을 의미할 수 있다. 이러한 경우 복수의 위치 오차 후보값은 (Δx1, Δy1), (Δx2, Δy2), (Δx3, Δy3), (Δx4, Δy4), (Δx5, Δy5)로 표현될 수 있다.
현미경 장치(100)는 (m, n)번째 발광 소자에 대한 복수의 k-벡터를 산출하고, 산출된 복수의 k-벡터 및 FPM 알고리즘을 이용하여 푸리에 공간에서 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 생성할 수 있다. 현미경 장치(100)는 복수의 위치 오차 후보값 각각이 포함된 발광 소자 어레이의 중심 좌표와 (m, n)번째 발광 소자의 위치 좌표 사이의 거리, 및 슬라이드 글라스(130)와 발광 소자 어레이 사이의 거리를 이용하여 (m, n)번째 발광 소자의 k-벡터를 산출할 수 있다. (m, n)번째 발광 소자에 대한 복수의 k-벡터를 산출하기 위해 상술한 <수학식 1>이 이용될 수 있다.
이를 통해서 현미경 장치(100)는 발광 소자 어레이를 구성하는 전체 발광 소자에 대한 k-벡터를 산출할 수 있다. 현미경 장치(100)는 이와 같이 획득된 전체 발광 소자 각각의 k-벡터 및 FPM 알고리즘을 이용하여 전체 발광 소자 각각에 대응하는 대상체 영상을 중합하여 복수의 최종 대상체 영상을 생성할 수 있다. 예를 들어, 5개의 최종 대상체 영상이 생성될 수 있다.
현미경 장치(100)는 획득된 복수의 최종 대상체 영상과 원본 영상 간의 복수의 영상 오차를 산출하고(S550), 산출된 복수의 영상 오차에 기반하여 광원부(210)의 위치를 보정한다(S560).
구체적으로, 현미경 장치(100)는 복수의 최종 대상체 영상 각각을 (m, n)번째 발광 소자에 대응하여 획득된 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차를 산출할 수 있다. 예를 들어, 현미경 장치(100)는 복수의 최종 대상체 영상 각각을 (m, n)번째 발광 소자의 k-벡터만큼 이동시키고 저역 통과 필터링하여 (m, n)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환할 수 있다.
현미경 장치(100)는 변환된 영상 각각과 (m, n)번째 발광 소자에 대응하는 원본 영상(예: 저해상도 영상) 간의 영상 오차인 E1, E2, E3, E4, E5을 산출할 수 있다. 이러한 영상 오차를 산출하기 위해 상술한 <수학식 2>가 이용될 수 있다. 예를 들어, 현미경 장치(100)는 복수의 최종 대상체 영상 중 제1 최종 대상체 영상을 (m, n)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E1을 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제2 최종 대상체 영상을 (m, n)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E2를 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제3 최종 대상체 영상을 (m, n)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E3을 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제4 최종 대상체 영상을 (m, n)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E4를 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제5 최종 대상체 영상을 (m, n)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E5를 산출할 수 있다.
이러한 경우 현미경 장치(100)는 E1을 제1 위치 오차값에 대응하는 제1 영상 오차, E2를 제2 위치 오차값에 대응하는 제2 영상 오차, E3을 제3 위치 오차값에 대응하는 제3 영상 오차, E4를 제4 위치 오차값에 대응하는 제4 영상 오차 및 E5를 제5 위치 오차값에 대응하는 제5 영상 오차로 결정할 수 있다.
다양한 실시예에서 현미경 장치(100)는 복수의 최종 대상체 영상 각각을 (m+1, n+1)번째 발광 소자에 대응하여 획득된 대상체 영상과 매칭되도록 변환하고, 변환된 영상 각각과 (m+1, n+1)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E6, E7, E8, E9, E10을 산출할 수 있다. 예를 들어, 현미경 장치(100)는 복수의 최종 대상체 영상 중 제1 최종 대상체 영상을 (m+1, n+1)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m+1, n+1)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E6을 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제2 최종 대상체 영상을 (m+1, n+1)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m+1, n+1)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E7을 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제3 최종 대상체 영상을 (m+1, n+1)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m+1, n+1)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E8을 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제4 최종 대상체 영상을 (m+1, n+1)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m+1, n+1)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E8를 산출할 수 있다. 현미경 장치(100)는 복수의 최종 대상체 영상 중 제5 최종 대상체 영상을 (m+1, n+1)번째 발광 소자에 대응하는 대상체 영상과 매칭되도록 변환하고, 변환된 영상과 (m+1, n+1)번째 발광 소자에 대응하는 원본 영상 간의 영상 오차값인 E10을 산출할 수 있다.
이러한 경우 현미경 장치(100)는 (m, n)번째 발광 소자에 관련하여 산출된 E1, E2, E3, E4, E5 각각과 (m+1, n+1)번째 발광 소자에 관련하여 산출된 영상 오차인 E6, E7, E8, E9, E10 각각을 결합하고, 결합된 (E1+E6)을 제1 위치 오차값에 대응하는 제1 영상 오차, 결합된 (E2+E7)을 제2 위치 오차값에 대응하는 제2 영상 오차, 결합된 (E3+E8)을 제3 위치 오차값에 대응하는 제3 영상 오차, 결합된 (E4+E9)을 제4 위치 오차값에 대응하는 제4 영상 오차, 및 결합된 (E5+E10)을 제5 위치 오차값에 대응하는 제5 영상 오차로서 결정할 수도 있다.
제시된 실시예에서 서로 다른 발광 소자에 대응하여 산출된 복수의 영상 오차값 각각을 서로 결합하는 것으로 설명하였으나, 이에 한정하지 않으며, 오차값을 산출하기 위한 다양한 방식이 이용될 수 있다.
제시된 실시예에서는 1개 또는 2개의 발광 소자에 관련하여 산출된 영상 오차를 결합하여 최종 대상체 영상과 원본 영상 간의 최종 영상 오차로서 결정하는 것을 설명하였으나, 이에 한정되지 않으며, 셋 이상의 발광 소자에 관련하여 상술한 바와 같은 방법으로 영상 오차를 산출하고, 산출된 영상 오차를 결합하여 최종 영상 오차로서 결정하는 것 또한 가능하다.
이어서, 현미경 장치(100)는 다항함수 보간법을 이용하여, 산출된 복수의 영상 오차를 포함하는 다항 함수를 획득하고, 획득된 다항 함수에서의 최소값을 이용하여 발광 소자 어레이의 위치 보정을 수행할 수 있다. 예를 들어, 획득된 다항 함수는 영상 오차값에 따른 위치 오차값을 나타내는 2차원 또는 3차원 함수일 수 있다. 발광 소자 어레이가 x축 및 y축 중 어느 하나로 평행 이동된 경우 현미경 장치(100)는 영상 오차 E1, E2, E3, E4, E5 중 적어도 3개를 포함하는 2차원 다항 함수를 획득하고, 획득된 2차원 다항 함수에서의 최소 영상 오차값에 따른 위치 오차값을 획득할 수 있다. 발광 소자 어레이가 x축 및 y축으로 평행 이동된 경우 현미경 장치(100)는 영상 오차 E1, E2, E3, E4, E5를 포함하는 3차원 다항 함수를 획득하고, 획득된 3차원 다항 함수에서의 최소 영상 오차값에 따른 위치 오차값을 획득할 수 있다.
다양한 실시예에서 영상 오차 E6, E7, E8, E9, E10 및 (E1+E6), (E2+E7), (E3+E8), (E4+E9), (E5+E10)에 대해서도 상술한 동작이 동일하게 적용될 수 있다. 현미경 장치(100)는 발광 소자 어레이의 중심 좌표에서 획득된 위치 오차값을 가산함으로써, 발광 소자 어레이의 위치를 보정할 수 있다.
이를 통해서 본 발명은 광원의 위치 오차에 의한 영상 노이즈를 최소화하고, 광원의 정확한 위치를 찾기 위해 소요되는 시간을 최소화하여 대상체에 대한 고화질 및/또는 고해상도의 영상을 획득할 수 있다.
도 6 내지 도 8은 본 발명의 실시예에 따른 현미경 장치에서 광원의 위치를 보정하기 위한 방법을 설명하기 위한 예시도들을 도시한다. 제시된 실시예에서는 5개의 위치 오차 후보값을 설정하는 경우를 설명하도록 한다.
도 6을 참조하면, 현미경 장치(100)는 5개의 위치 오차 후보값 각각이 포함된 발광 소자 어레이(예: 광원부(210))의 중심 좌표에서 (m, n)번째 발광 소자(600)까지의 거리, 및 슬라이드 글라스(130)와 발광 소자 어레이 간의 거리(z)를 이용하여 상술한 <수학식 2>에 의해 (m, n)번째 발광 소자(600)에 관한 5개의 k-벡터를 산출할 수 있다.
예를 들어, 발광 소자 어레이가 200개의 발광 소자로 구성된 경우 200개의 발광 소자 각각에 대응하여 5개의 k-벡터가 산출될 수 있다. 현미경 장치(100)는 산출된 5개의 k-벡터 및 FPM 알고리즘을 이용하여 각 발광 소자에 대응하여 획득된 대상체 영상을 푸리에 공간(610)에서 중합하여 복수의 최종 대상체 영상을 생성할 수 있다. 현미경 장치(100)는 5개의 k-벡터 각각 및 FPM 알고리즘을 이용하여 복수의 대상체 영상을 푸리에 공간에서 중합하여 5개의 최종 대상체 영상을 생성할 수 있다. 현미경 장치(100)는 5개의 최종 대상체 영상이 (m, n)번째 발광 소자에 대응하여 획득된 대상체 영상과 매칭되도록 각 최종 대상체 영상을 (m, n)번째 발광 소자의 k-벡터만큼 이동시키고 저역 통과 필터링하여 변환된 영상을 획득할 수 있다. 현미경 장치(100)는 획득된 각 변환 영상과 (m, n)번째 발광 소자에 대응하는 원본 영상 사이의 복수의 영상 오차를 산출할 수 있다. 이에 대해서 구체적으로 도 7을 참조하여 하기에서 설명하도록 한다.
도 7을 참조하면, 현미경 장치(100)는 도 7의 (a)와 같이 획득된 최종 대상체 영상을 (m, n)번째 발광 소자의 k-벡터만큼 이동시키고 저역 통과 필터링하여 변환 영상을 생성할 수 있다. 이를 위해 현미경 장치(100)는 최종 대상체 영상을 푸리에 변환을 통해 (m, n)번째 발광 소자의 위치에 대응하는 푸리에 공간 영상으로 변환할 수 있다. 이러한 푸리에 공간 영상은 도 7의 (b)와 같이 나타낼 수 있다. 현미경 장치(100)는 푸리에 공간 영상을 저역 통과 필터링 및 역푸리에 변환을 수행하여 (m, n)번째 발광 소자에 대응하도록 변환된 영상을 획득할 수 있다. 이와 같이 획득된 영상은 도 7의 (c)와 같이 나타낼 수 있다. 현미경 장치(100)는 획득된 영상과 도 7의 (d)와 같은 원본 영상 간의 복수의 영상 오차를 산출할 수 있다. 현미경 장치(100)는 이와 같이 산출된 복수의 영상 오차를 포함하는 적어도 하나의 다항 함수를 획득할 수 있으며, 획득된 적어도 하나의 다항 함수는 도 8와 같이 나타낼 수 있다.
도 8을 참조하면, 산출된 복수의 영상 오차가 Ex1y1, Ex2y2, Ex3y3, Ex4y4, Ex5y5인 경우 현미경 장치(100)는 다항함수 보간법을 이용하여 Ex1y1, Ex2y2, Ex3y3, Ex4y4, Ex5y5를 포함하는 다항 함수(800, 810)를 획득할 수 있다. 현미경 장치(100)는 다항 함수(800, 810)를 이루는 영상 오차들 중 최소값을 가지는 최소 영상 오차(Emin)를 획득할 수 있다. 현미경 장치(100)는 상술한 <수학식 3>을 이용하여 획득된 최소 영상 오차(Emin)에 따른 위치 오차를 획득하고, 획득된 위치 오차를 이용하여 발광 소자 어레이의 위치를 보정할 수 있다.
발광 소자 어레이에 대한 위치 보정이 완료되면 현미경 장치(100)는 보정된 발광 소자 어레이를 구성하는 각 발광 소자의 k-벡터를 산출하고, 산출된 k-벡터 및 FPM 알고리즘을 이용하여 복수의 대상체 영상을 중합하여 고화질 및/또는 고해상도의 최종 영상을 획득할 수 있다. 이와 같이 획득된 고화질 및/또는 고해상도의 최종 영상은 광원의 위치 오차에 의한 노이즈가 최소화된 영상일 수 있다.
도 9는 본 발명의 실시예에 따른 현미경 장치에서 위치를 보정하기 위해 사용되는 최소 영상 오차를 획득하는 동작을 재수행하는 방법을 설명하기 위한 예시도를 도시한다. 제시된 실시예에서는 발광 소자 어레이에 대한 x축 평행 이동이 발생되지 않고, y축 평행 이동이 발생되어 상술한 방법에 의해서 3개의 영상 오차가 획득된 경우를 설명하도록 한다. 이때, 획득된 3개의 영상 오차는 3개의 위치 오차 후보값에 기반하여 획득되었다고 가정한다.
도 9를 참조하면, 현미경 장치(100)는 다항 함수 보간법 등을 이용하여 도 9의 (a)와 같이 3개의 영상 오차(Ey1, Ey2, Ey3)를 포함하는 제1 다항 함수(900)를 획득할 수 있다. 현미경 장치(100)는 평행 이동된 발광 소자 어레이의 새로운 위치 오차 후보값을 설정하고, 새롭게 설정된 위치 오차 후보값을 이용하여 발광 소자 어레이의 위치 오차를 산출하기 위한 동작을 수행할 수 있다.
이러한 경우 현미경 장치(100)는 상술한 영상 오차를 산출하는 동작에 의해서 새로운 위치 오차 후보값에 대응하여 새로운 영상 오차(Ey4)를 획득할 수 있다.
현미경 장치(100)는 제1 다항 함수(200)의 최소 영상 오차(A)인 제1 영상 오차, 복수의 영상 오차(Ey1, Ey2, Ey3) 중 최소 영상 오차(A) 다음으로 작은 영상 오차(Ey2)인 제2 영상 오차 및 새롭게 산출된 영상 오차(Ey4)인 제3 영상 오차를 포함하는 제2 다항 함수(910)를 도 9의 (b)와 같이 획득할 수 있다.
현미경 장치(100)는 이와 같이 획득된 제2 다항 함수(910)에서 최소값을 가지는 최소 영상 오차(B)를 획득할 수 있다. 현미경 장치(100)는 상술한 <수학식 3>을 이용하여 최소 영상 오차(B)에 따른 위치 오차값(Δymin3)을 산출할 수 있다. 산출된 위치 오차값(Δymin3)은 최적의 위치 오차에 해당할 수 있다.
제시된 실시예에서는 최소 영상 오차를 획득하는 동작이 1번의 재수행되는 것으로 설명하였으나, 이에 한정되지 않으며, 여러 번의 재수행 동작을 수행할수록 보다 최적의 위치 오차가 산출될 수 있다.
이와 같이 본 발명은 적어도 3개 또는 5개의 위치 오차 후보값을 이용하여 발광 소자 어레이의 최적의 위치 오차를 산출함으로써, 발광 소자 어레이의 정확한 위치를 빠르게 찾을 수 있고, 발광 소자 어레이의 최적의 위치 오차를 산출하기 위해 소비되는 자원 및 시간 등을 최소화할 수 있다.
도 10a, 10b, 10c 및 10d는 본 발명의 실시예에 따른 현미경 장치의 표시부를 통해서 표시되는 인터페이스 화면들의 예시도를 도시한다.
도 10a를 참조하면, 현미경 장치(100)의 표시부(140)는 현미경 장치(100)의 다양한 기능에 관련된 인터페이스 화면(1000)을 표시할 수 있다. 예를 들어, 삽입부(120)를 통해 대상체가 삽입되고, 전원부(150)를 통해 현미경 장치(100)의 전원이 온(on)되면 표시부(140)는 인터페이스 화면(1000)을 표시할 수 있다.
이러한 인터페이스 화면(1000)은 대상체의 확대 영상을 생성하기 위한 제1 아이콘(1002), 저장된 확대 영상을 확인하기 위한 제2 아이콘(1004) 및 현미경 장치(100)의 설정에 관련된 제3 아이콘(1006)을 포함할 수 있다. 사용자에 의해서 제1 아이콘(1002)이 선택되면 표시부(140)는 도 10b와 같이 확대 영상을 생성하기 위한 인터페이스 화면(1010)을 표시할 수 있다.
도 10b를 참조하면, 인터페이스 화면(1010)은 대상체의 확대된 상을 미리보기하기 위한 미리보기 영역(1012)과 함께 대상체의 확대된 상을 촬영(또는 스캔(scan))하기 위한 제1 아이콘(1014), 영상의 기본 설정된 이름, 크기, 비율을 나타내는 제1 텍스트(1016), 광원부의 포커스를 조절하기 위한 제2 아이콘(1018) 및 자동 포커싱(auto focusing) 기능의 사용 또는 미사용을 나타내는 제2 텍스트(1020)를 포함할 수 있다.
사용자에 의해서 제1 아이콘(1014)이 선택되면 현미경 장치(100)는 광원 위치를 보정하는 동작을 수행하고, 이를 수행하는 동안 표시부(140)를 통해 도 10c와 같은 광원 보정을 나타내는 그래픽 화면(1022)을 표시할 수 있다. 이와 같이 보정 동작이 완료되면 현미경 장치(100)는 확대 영상을 획득하기 위한 동작을 수행하고, 이를 수행하는 동안 표시부(140)를 통해 도 10d와 같은 영상 획득을 나타내는 그래픽 화면(1024)을 표시할 수 있다. 확대 영상을 획득하기 위한 동작이 완료되면 현미경 장치(100)는 확대 영상을 표시부(140)를 통해 표시하거나, 확대 영상을 컴퓨팅 장치(300)로 전달할 수 있다.
제시된 실시예에서 도 10a, 도 10b, 도 10c 및 도 10d에서 설명한 인터페이스 화면은 상술한 설명으로 한정되지 않으며, 다양한 인터페이스 화면으로 구성될 수 있다.
이와 같이 본 발명은 광원의 위치 오차에 따른 영상 노이즈를 최소화하면서 광원의 정확한 위치를 찾기 위해 소요되는 시간을 최소화하여 고화질 및/또는 고해상도의 대상체 영상을 제공할 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 현미경 장치
110: 하우징
120: 삽입부
130: 대상체
140: 표시부
150: 전원부
200: 이미지 획득부
210: 광원부
212: 발광 소자
220: 광학부
222: 제1 렌즈
224: 제2 렌즈
230: 이미지 센서
240: 통신부
250: 저장부
260: 프로세서
300: 컴퓨팅 장치

Claims (18)

  1. 복수의 발광 소자로 구성된 발광 소자 어레이(array)를 포함하고, 대상체에 광을 조사하도록 구성된 광원부;
    상기 대상체와 평행하게 배치되고, 상기 광이 조사된 상기 대상체의 확대된 상을 형성하도록 구성된 광학부;
    상기 광학부를 통해 형성된 확대된 상을 촬영하여 상기 대상체에 대한 확대 영상을 획득하도록 구성된 이미지 센서; 및
    상기 광원부 및 상기 이미지 센서와 동작 가능하게 연결되고, 상기 이미지 센서를 통해 획득된 영상을 기초로 상기 광원부의 위치를 보정하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 광원부를 통해 상기 대상체로 복수의 광을 동시에 또는 순차적으로 조사하고,
    상기 광학부를 통해 상기 복수의 광 각각이 조사된 상기 대상체의 확대된 상을 형성하고,
    상기 이미지 센서를 통해 상기 형성된 확대된 상을 촬영하여 상기 대상체에 대한 복수의 대상체 영상을 획득하고,
    상기 광원부에 대한 복수의 위치 오차 후보값을 설정하고,
    상기 설정된 복수의 위치 오차 후보값을 이용하여 상기 획득된 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득하고,
    상기 획득된 복수의 최종 대상체 영상과 원본 영상 간의 복수의 영상 오차를 산출하고,
    상기 산출된 복수의 영상 오차에 기반하여 상기 광원부의 위치를 보정하도록 구성되며,
    상기 복수의 영상 오차를 산출한 이후에 새로운 위치 오차값을 설정하고, 상기 설정된 새로운 위치 오차값에 대응하여 새로운 영상 오차를 획득하고, 상기 산출된 복수의 영상 오차 중 최소 영상 오차, 상기 최소 영상 오차 다음으로 작은 영상 오차 및 상기 획득된 새로운 영상 오차를 포함하는 제2 다항 함수를 획득하고, 상기 획득된 제2 다항 함수를 이용하여 상기 광원부의 위치 오차값을 결정하는, 현미경 장치.
  2. 제1항에 있어서, 상기 복수의 위치 오차 후보값은,
    평행 변환(global shift)에 의한 임의의 복수의 위치 오차값인, 현미경 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 발광 소자의 k-벡터(k-vector)를 산출하고, 상기 산출된 k-벡터 및 FPM 알고리즘(Fourier Ptychography microscopy algorithm)을 이용하여 상기 복수의 최종 대상체 영상을 획득하는, 현미경 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 획득된 복수의 최종 대상체 영상 각각을 소정의 발광 소자에 의해서 획득된 대상체 영상과 매칭되도록 변환하고,
    상기 변환된 복수의 영상과 상기 소정의 발광 소자에 대응하는 원본 영상 간의 복수의 영상 오차를 산출하는, 현미경 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 획득된 복수의 최종 대상체 영상 각각을, 상기 소정의 발광 소자의 k-벡터만큼 이동시키고, 저역 통과 필터링(Low Pass Filtering)하여 저해상도 영상으로 변환하는, 현미경 장치.
  6. 제1항에 있어서, 상기 프로세서는,
    상기 복수의 영상 오차를 포함하는 제1 다항 함수를 획득하고, 상기 획득된 제1 다항 함수를 이용하여 상기 광원부의 위치 오차값을 결정하는, 현미경 장치.
  7. 제6항에 있어서, 상기 프로세서는,
    상기 제1 다항 함수의 최소 영상 오차에 해당하는 위치 오차값을 상기 광원부의 위치 오차값으로 결정하는, 현미경 장치.
  8. 삭제
  9. 제1항에 있어서, 상기 프로세서는,
    상기 제2 다항 함수의 최소 영상 오차에 해당하는 위치 오차값을 상기 광원부의 위치 오차값으로 결정하는, 현미경 장치.
  10. 현미경 장치의 프로세서에 의해서 수행되는 광원 위치를 보정하기 위한 방법에 있어서,
    복수의 발광 소자로 구성된 발광 소자 어레이(array)를 포함하고, 대상체에 광을 조사하도록 구성된 광원부를 통해 상기 대상체로 복수의 광을 동시에 또는 순차적으로 조사하는 단계;
    상기 대상체와 평행하게 배치된 광학부를 통해 상기 복수의 광 각각이 조사된 상기 대상체의 확대된 상을 형성하는 단계;
    이미지 센서를 통해 상기 형성된 확대된 상을 촬영하여 상기 광학부의 위치 변화에 따른 상기 대상체에 대한 복수의 대상체 영상을 획득하는 단계;
    상기 광원부에 대한 복수의 위치 오차 후보값을 설정하는 단계;
    상기 설정된 복수의 위치 오차 후보값을 이용하여 상기 획득된 복수의 대상체 영상을 중합하여 복수의 최종 대상체 영상을 획득하는 단계;
    상기 획득된 복수의 최종 대상체 영상과 원본 영상 간의 복수의 영상 오차를 산출하는 단계; 및
    상기 산출된 복수의 영상 오차에 기반하여 상기 광원부의 위치를 보정하는 단계를 포함하고,
    상기 산출된 복수의 영상 오차에 기반하여 상기 광원부의 위치를 보정하는 단계는,
    상기 복수의 영상 오차를 산출한 이후에 새로운 위치 오차값을 설정하는 단계;
    상기 설정된 새로운 위치 오차값에 대응하여 새로운 영상 오차를 획득하는 단계;
    상기 산출된 복수의 영상 오차 중 최소 영상 오차, 최소 영상 오차 다음으로 작은 영상 오차 및 상기 획득된 새로운 영상 오차를 포함하는 제2 다항 함수를 획득하는 단계; 및
    상기 획득된 제2 다항 함수를 이용하여 상기 광원부의 위치 오차값을 결정하는 단계를 포함하는, 현미경 장치에서의 광원 위치 보정 방법.
  11. 제10항에 있어서, 상기 복수의 위치 오차 후보값은,
    평행 변환(global shift)에 의한 임의의 복수의 위치 오차값인, 현미경 장치에서의 광원 위치 보정 방법.
  12. 제10항에 있어서, 상기 복수의 최종 대상체 영상을 획득하는 단계는,
    상기 발광 소자의 k-벡터(k-vector)를 산출하고, 상기 산출된 k-벡터 및 FPM 알고리즘(Fourier Ptychography microscopy algorithm)을 이용하여 상기 복수의 최종 대상체 영상을 획득하는 단계인, 현미경 장치에서의 광원 위치 보정 방법.
  13. 제10항에 있어서, 상기 획득된 최종 대상체 영상과 상기 원본 영상 간의 상기 복수의 영상 오차를 산출하는 단계는,
    상기 획득된 복수의 최종 대상체 영상 각각을 소정의 발광 소자에 의해서 획득된 대상체 영상과 매칭되도록 변환하는 단계; 및
    상기 변환된 복수의 영상과 상기 소정의 발광 소자에 대응하는 원본 영상 간의 복수의 영상 오차를 산출하는 단계를 포함하는, 현미경 장치에서의 광원 위치 보정 방법.
  14. 제13항에 있어서, 상기 획득된 복수의 최종 대상체 영상 각각을 상기 소정의 발광 소자에 의해서 획득된 대상체 영상과 매칭되도록 변환하는 단계는,
    상기 획득된 복수의 최종 대상체 영상 각각을, 상기 소정의 발광 소자의 k-벡터만큼 이동시키고, 저역 통과 필터링(Low Pass Filtering)하여 저해상도 영상으로 변환하는 단계인, 현미경 장치에서의 광원 위치 보정 방법.
  15. 제10항에 있어서, 상기 산출된 복수의 영상 오차에 기반하여 상기 광원부의 위치를 보정하는 단계는,
    상기 복수의 영상 오차를 포함하는 제1 다항 함수를 획득하는 단계; 및
    상기 획득된 제1 다항 함수에서의 최소값을 이용하여 상기 광원부의 위치 오차값을 결정하는 단계를 포함하는, 현미경 장치에서의 광원 위치 보정 방법.
  16. 제15항에 있어서, 상기 획득된 제1 다항 함수에서의 최소값을 이용하여 상기 광원부의 위치 오차값을 결정하는 단계는,
    상기 제1 다항 함수의 최소 영상 오차에 해당하는 위치 오차값을 상기 광원부의 위치 오차값으로 결정하는 단계인, 현미경 장치에서의 광원 위치 보정 방법.
  17. 삭제
  18. 제10항에 있어서, 상기 획득된 제2 다항 함수를 이용하여 상기 광원부의 위치 오차값을 결정하는 단계는,
    상기 제2 다항 함수의 최소 영상 오차에 해당하는 위치 오차값을 상기 광원부의 위치 오차값으로 결정하는 단계를 포함하는, 현미경 장치에서의 광원 위치 보정 방법.
KR1020190077732A 2019-06-28 2019-06-28 광원 위치를 보정하기 위한 현미경 장치 및 그 방법 KR102243079B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190077732A KR102243079B1 (ko) 2019-06-28 2019-06-28 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
US16/598,054 US10768401B1 (en) 2019-06-28 2019-10-10 Microscope apparatus and method for calibrating position of light source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077732A KR102243079B1 (ko) 2019-06-28 2019-06-28 광원 위치를 보정하기 위한 현미경 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210001516A KR20210001516A (ko) 2021-01-06
KR102243079B1 true KR102243079B1 (ko) 2021-04-21

Family

ID=72289843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077732A KR102243079B1 (ko) 2019-06-28 2019-06-28 광원 위치를 보정하기 위한 현미경 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10768401B1 (ko)
KR (1) KR102243079B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114136591B (zh) * 2021-11-26 2023-09-08 广东工业大学 一种微透镜阵列超精密加工误差评定方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018503059A (ja) 2014-12-23 2018-02-01 キヤノン株式会社 照明システム及びフーリエタイコグラフィイメージングの装置
JP2018504627A (ja) 2014-12-04 2018-02-15 カリフォルニア インスティチュート オブ テクノロジー 多重フーリエタイコグラフィイメージングシステム及び方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577417B1 (en) * 2000-08-19 2003-06-10 Jehad Khoury Heterodyne-wavelength division demultiplexing for optical pick-ups, microscopy, tomography telecommunication and lidar
US7155049B2 (en) * 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
DE10254139A1 (de) * 2002-11-15 2004-05-27 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
US7351207B2 (en) * 2003-07-18 2008-04-01 The Board Of Trustees Of The University Of Illinois Extraction of one or more discrete heart sounds from heart sound information
EP2254265A3 (en) * 2005-01-05 2013-11-27 ATC Technologies, LLC Adaptive beam forming with multi-user detection and interference reduction in satellite communication systems and methods
JP2009530661A (ja) * 2006-03-15 2009-08-27 ゼブラ・イメージング・インコーポレイテッド 動的裸眼立体視ディスプレイ
WO2007140281A2 (en) * 2006-05-24 2007-12-06 Imagerecon, Llc Curvature-preserving filters for denoising and controlled deblurring of images
US7978403B2 (en) * 2007-05-10 2011-07-12 Stc.Unm Imaging interferometric microscopy
GB0709796D0 (en) * 2007-05-22 2007-06-27 Phase Focus Ltd Three dimensional imaging
NZ583546A (en) * 2007-08-29 2012-12-21 Aneeta Window Systems Vic Pty Ltd Sliding window or door with multiple panes and a sill and a head formed of parts snap-fitted together
US9239455B2 (en) * 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US8296069B2 (en) * 2008-10-06 2012-10-23 Bp Corporation North America Inc. Pseudo-analytical method for the solution of wave equations
EP2905645B1 (en) * 2012-10-05 2018-03-07 University of Hyogo Holographic microscope and holographic image generation method
DE102013017124A1 (de) * 2013-10-15 2015-04-16 Carl Zeiss Microscopy Gmbh Scanmikroskop und Verfahren zum Betreiben eines Scanmikroskops
DE102014215095A1 (de) * 2014-07-31 2016-02-04 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur von beleuchtungsbedingten Abbildungsfehlern in einem modularen Digitalmikroskop, Digitalmikroskop und Datenverarbeitungsprogramm
WO2016168941A1 (en) * 2015-04-23 2016-10-27 The University Of British Columbia Multifocal method and apparatus for stabilization of optical systems
DE102015109674A1 (de) * 2015-06-17 2016-12-22 Carl Zeiss Microscopy Gmbh Verfahren zur Bestimmung und Kompensation geometrischer Abbildungsfehler
EP3121637B1 (de) * 2015-07-24 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts
EP3350643B1 (en) * 2015-09-16 2023-04-05 Technion Research & Development Foundation Limited Ptychography system
US20170301079A1 (en) * 2016-04-19 2017-10-19 Incheon University Industry Academic Cooperation Foundation Method of acquiring tsom image and method of examining semiconductor device
US10477097B2 (en) * 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
CA3100816A1 (en) * 2018-04-18 2019-10-24 Gentex Corporation Confined field of view illumination in surgical microscopy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018504627A (ja) 2014-12-04 2018-02-15 カリフォルニア インスティチュート オブ テクノロジー 多重フーリエタイコグラフィイメージングシステム及び方法
JP2018503059A (ja) 2014-12-23 2018-02-01 キヤノン株式会社 照明システム及びフーリエタイコグラフィイメージングの装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
system calibration method for Fourier ptychography microscopy*

Also Published As

Publication number Publication date
US10768401B1 (en) 2020-09-08
KR20210001516A (ko) 2021-01-06

Similar Documents

Publication Publication Date Title
JP6236118B2 (ja) 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP5536071B2 (ja) 空間光パターンに基づく深さデータの生成
WO2015180659A1 (zh) 图像处理方法和图像处理装置
US10650573B2 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
JP5560721B2 (ja) 画像処理装置、画像表示システム、及び画像処理方法
JP2011022796A (ja) 画像処理方法および画像処理装置
WO2012029658A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
WO2020087015A1 (en) Phase detection and correction using image-based processing
KR102243079B1 (ko) 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
KR102028864B1 (ko) 광원 위치를 보정하기 위한 현미경 장치 및 그 방법
US9979858B2 (en) Image processing apparatus, image processing method and program
TW200809698A (en) A method and system for obtaining multiple views of an object for real-time video output
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP6314688B2 (ja) 入力装置
JP6162971B2 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP5728399B2 (ja) 計測装置、方法及びプログラム
JP2009077022A (ja) 運転支援システム及び車両
JP6263024B2 (ja) 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
JP2018014583A (ja) 画像処理装置
JP7393179B2 (ja) 撮影装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant