KR20240037649A - 이미지 분할 기반 광검출 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 이미지 분할 기반 광검출 시스템은 대상 영상에서 하나 이상의 관심 영역을 선택하고, 각 관심 영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 패턴 생성부; 특정 패턴을 수신하며 대상 영상으로부터 각 관심 영역의 광경로를 선택적으로 분리하는 광변조부; 및 각 관심 영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 광검출부를 포함한다.

Description

이미지 분할 기반 광검출 시스템 및 방법{APPARATUS AND METHOD FOR OPTICAL DETECTION BASED ON ADAPTIVE OPTICAL SEGMENTATION}

본 발명은 이미지 분할 기반 광검출 시스템 및 방법에 대한 것이다.

적응형 광변조 기술은 디지털 광변조장치를 이용하여 광경로를 제어하는 기술로서 빔프로젝터나 홀로그램 디스플레이에서 사용되고 있다. 최근 광유전학 자극이나 형광여기, 다광자 현미경 등에서 다양하게 사용되고 있으나, 광조사 모듈에 주로 사용되고 있다. 일부 광변조 기술을 샘플에서 광검출기(혹은 카메라) 사이의 측정경로에 위치시켜서 사용하는 경우가 있으나, 주로 광학수차(optical abberation)를 줄여줌으로써 이미지의 왜곡을 줄이는 목적으로 사용된다.

광신호를 검출하는 장치로는 크게 카메라와 포인트 디텍터 방식이 있는데, 카메라를 사용할 경우, 고속으로 촬영하기 위해서는 이미징 영역의 일부만 기록하거나(subarray readout), 픽셀을 묶어서 기록(pixel binning)하는 방법이 주로 사용된다. 그러나 이 경우 관찰영역이 제한되거나 해상도가 저하되는 문제가 발생한다.

일반적인 카메라의 프레임 레이트는 수십에서 수백인 Hz인 경우가 대부분이다. 즉 프레임 레이트를 KHz 이상으로 올려서 촬영하기 위해서는 매우 제한적인 픽셀만 사용하여 이미지해야 하며, 이에 따라 응용에 제한이 크다. 또한 포인트 디텍터의 경우 속도에서는 사실상 제한이 없는 반면 한번에 픽셀 하나의 정보만을 기록하기 때문에 스캐닝 모듈과 함께 결합하여 이미지를 기록해야 한다는 단점이 있다. 이 경우에도 스캐닝을 많이 할수록 속도가 느려지기 때문에 KHz 이상을 구현하기 어렵다는 문제가 있다.

이와 관련하여, 한국공개특허 제 2017-0099985호(발명의 명칭: 물체의 초 해상도 이미지를 얻기 위한 이미징 방법 및 시스템)는 물체의 이미지를 캡쳐하도록 구성된 광학 현미경에 기초하여 물체의 초해상도 이미지를 얻는 이미징 방법에 관한 것을 개시한다.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 사용자가 원하는 임의의 관심영역(region-of-interest; ROI) 단위로 광신호를 검출할 수 있는 광검출 시스템 및 방법을 제공하는데 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 이미지 분할 기반 광검출 시스템은 대상 영상에서 하나 이상의 관심 영역을 선택하고, 각 관심 영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 패턴 생성부; 특정 패턴을 수신하며 대상 영상으로부터 각 관심 영역의 광경로를 선택적으로 분리하는 광변조부; 및 각 관심 영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 광검출부를 포함한다.

본 발명의 다른 실시예에 따른 이미지 분할 기반 광검출 시스템을 이용한 광검출 방법은 (a) 패턴 생성부에 의해, 대상 영상에서 하나 이상의 관심영역을 선택하고, 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 단계; (b) 광변조부에 의해, 특정 패턴을 수신하며 대상 영상으로부터 각 관심영역의 광경로를 선택적으로 분리하는 단계; 및 (c) 광검출부에 의해, 각 관심영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 단계를 포함한다.

전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 고해상도 저속으로 촬영된 영상으로부터 초고속으로 관찰하고자 하는 ROI영역을 광학적으로 분리한 후, 각 관심영역에서 발생되는 광신호를 서로 다른 픽셀에 기초하여 검출하여 초고속으로 기록하는 것이 가능하다.

나아가 본 발명은 카메라를 기반으로하는 다양한 현미경에 추가 모듈 형태로 부착될 수 있어 산업적 적용이 용이하다.

도 1은 본 발명의 일 실시예에 따른 이미지 분할 기반 광검출 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 분할 기반 광검출 시스템의 구조도이다.
도 3은 본 발명의 일 실시예에 따른 패턴 생성부가 관심영역의 광경로를 제어하는 방법을 설명하기 위한 순서도이다.
도 4는 도 3에 따른 각 단계 별로 관심영역의 광경로를 제어하여 각 객체가 출력되는 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 각 관심영역과 대응하는 객체의 이동방향을 제어하는 특정패턴을 설명하기 위한 도면이다.
도 5는 본 발명과 기존의 현미경으로 측정한 신호 분석 결과를 비교 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명과 기존의 현미경으로 측정한 광신호 분석 결과를 비교 설명하기 위한 도면이다.
도 8은 본 발명의 관심영역의 광경로를 제어하는 방법에 따라 각 객체가 출력되는 다른 예를 도시한 것이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 분할 기반 광검출 시스템을 이용한 광검출 방법을 도시한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 “부” 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다.

먼저 기존의 공간광변조 장치는 샘플에 조사되는 광원의 형태를 제어하기 위해서 사용되고 있다. 즉 조사용 여기 광원의 형태를 통해 일부 선택적인 영역의 광반응 또는 형광신호가 측정된다. 예를 들어 일반적인 광학이미징 방법은 시간해상도를 높이기 위한 픽셀 비닝(pixel binning), 광학줌, 센서의 일부 영역만을 관찰하는 하위배열 판독(subarray readout) 방식, 제한된 관찰 영역만을 스캔 또는 이러한 방법들을 조합하는 방식이 있다. 이처럼 기존의 광학이미징 방법은 공간 해상도 또는 관찰영역을 제한함으로써 시간해상도를 높이는 방식으로 구현된다. 여기서 공간 해상도를 제한하는 경우 인접영역의 신호가 간섭되는 문제가 있다.

그러나 본 발명에서는 고해상도 상태에서 관찰 영역의 광경로를 변조하여 인접한 영역들로부터 분리 시킨 후, 하나의 혹은 매우 제한된 수의 검출 픽셀로 압축되어 광을 검출한다. 이에 따라 데이터 샘플링이 감소되기 때문에 초고속으로 신호를 분석하는것이 가능하다.

즉 기존과 달리 본 발명은 광원의 형태에 제한이 없을 뿐만 아니라 형광, 반사, 투과, 발광의 경우에도 적용이 가능하며, 동시에 인접한 여러 영역에서 발생되는 신호를 간섭없이 측정할 수 있다는 점에서 확장된 적용이 가능하다. 또한 관찰영역 간의 간섭이 없기 때문에 추가적인 광압축을 통해 초고속 광신호 측정이 가능하다.

따라서 본 발명은 기존의 광학이미징 방법이 가지는 정형화된 광신호 측정 경로를 유연하게 변조하여, 공간해상도와 시간해상도를 분리시킬 수 있다. 즉 공간해상도와 시간해상도가 분리됨에 따라, 복잡한 형태의 구조체에서 발생되는 광신호의 변화를 주변 구조의 영향없이 초고속으로 측정할 수 있다.

일 예로, 기존의 방법으로 고속 이미징을 촬영할 경우, 보통 이미지의 해상도를 줄이거나, 일부만 찍는 방식으로 고속 촬영을 수행한다. 그러나, 본 발명은 고해상도 상태에서 관찰하고자 하는 영역(관심영역(region-of-interest; ROI))을 디지털 이미지로부터 설정한 후, 이 영역(관심영역)에서 발생되는 광신호를 광변조 기술을 통해 분리시킬 수 있다. 이후 분리된 광신호를 1개 또는 매우 적은 수의 광학렌즈 및 광검출기(광검출부)에 임의로 배정함으로써, 복수의 광학렌즈 및 광검출기(광검출부) 간 서로 다른 픽셀을 가짐으로써, 기존 대비 매우 적은 수의 픽셀만을 이용하여 광신호 기록이 가능하다.

이하, 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 이미지 분할 기반 광검출 시스템의 구성도이다.

도1에 도시된 바와 같이 이미지 분할 기반 광검출 시스템 (1)은 패턴 생성부(10), 광변조부(20), 광검출부(30) 및 디스플레이부(40)를 포함할 수 있다.

도 1을 참조하면, 이미지 분할 기반 광검출 시스템(1)은 대상 영상에서 하나 이상의 관심영역을 선택하고, 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 패턴 생성부(10), 특정 패턴을 수신하며 대상 영상으로부터 각 관심영역의 광경로를 선택적으로 분리하는 광변조부(20) 및 각 관심영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 광검출부(30)를 포함한다.

따라서, 본 발명은 각 관심영역 별로 서로 다른 픽셀을 사용함으로써 기존의 픽셀 기반의 측정방식과 비교하여 측정 속도가 비약적으로 증가하며, 잡음(readout noise)을 효과적으로 제거할 수 있다.

예시적으로, 이미지 분할 기반 광검출 시스템(1)은 관심영역의 광경로 제어 프로그램을 저장하는 메모리(미도시)를 더 포함할 수 있다. 이때 메모리에 저장된 관심영역의 광경로 제어 프로그램은 패턴 생성부(10)에 의하여 구동될 수 있다.

또한, 메모리는 패턴 생성부(10)가 처리하는 데이터를 저장하는 기능을 수행한다. 여기서, 메모리는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있다.

메모리는 패턴 생성부(10)의 처리 및 제어를 위한 운영 체제 등 별도의 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.

메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 이미지 분할 기반 광검출 시스템(1)은 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

패턴 생성부(10)는 메모리에 저장된 관심영역의 광경로 제어 프로그램을 실행하되, 관심영역의 광경로 제어를 위한 전반적인 동작을 제어한다.

이를 위해 패턴 생성부(10)는 적어도 하나의 프로세싱 유닛(CPU, micro-processor, DSP 등), RAM(Random Access Memory), ROM(Read-Only Memory) 등을 포함하여 구현될 수 있으며, 메모리에 저장된 프로그램을 RAM으로 독출하여 적어도 하나의 프로세싱 유닛을 통해 실행할 수 있다. 또한, 실시예에 따라서 ‘프로세서’ 라는 용어는 ‘컨트롤러’, ‘연산 장치’, ‘패턴 생성부’ 등의 용어와 동일한 의미로 해석될 수 있다.

도 2는 본 발명의 일 실시예에 따른 이미지 분할 기반 광검출 시스템의 구조도이다.

구체적으로 광변조부(20)는 대상 영상을 수신하며 각 관심영역의 광경로를 선택적으로 분리한다. 예를 들어 광변조부(20)는 디지털 미소 반사 표시기(digital micromirror device), 액정(liquid crystal) 기반의 투과형 혹은 반사형 공간광변조기(spatial light modulator), 또는 스캐너(검류계(galvanometers), 음향 광학 편향기(acousto-optic deflector), 전기 광학 편향기(electro-optic deflector) 등)를 포함한다.

여기서 대상 영상은 고해상도로 촬영된 영상을 포함하며, 이에 한정되는 것은 아니며, 투과, 반사, 형광, 위상차(phase-contrast) 등을 포함한 광학 신호를 포함한다.

광검출부(30)는 관심영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출한다. 즉 광검출부(30)는 포인트 디텍터 어레이 또는 제한된 수의 픽셀만을 사용하는 카메라로 구성될 수 있다. 따라서 동시에 인접한 여러 관심영역에서 발생되는 신호를 간섭없이 측정할 수 있다. 또한 관찰하려는 관심영역 간의 간섭이 없기 때문에 추가적인 광압축을 통해 초고속 광신호 측정이 가능하다.

예를 들어 광검출부(30)는 광학렌즈 및 광검출기를 포함한다. 예시적으로 광학렌즈는 sCMOS, EMCCD, CCD 등의 광학 카메라를 포함하며, 이에 한정되는 것은 아니다. 또한 광검출기는 PMT(photomultiplier tube), APD(avalanche photodiode) 및 SPAD(single-photon avalanche diode)를 기반으로 하는 점광원 복수의 검출기 또는 어레이 형태의 검출계를 포함하며 이에 한정되는 것은 아니다.

광변조부(20)는 공간광변조기(SLM, Spatial light modulator)로 구성될 수 있다. 이때 본 발명은 공간광변조기로부터 전달되는 이미지의 크기가 기정해진 광검출부(30) 픽셀의 크기와 일치하도록 조절하는 릴레이렌즈부(210)를 포함할 수 있다.

일 예로 도 2를 참조하면 본 발명의 이미지 분할 기반 광검출 시스템(1)은 카메라를 기반으로하는 다양한 현미경에 추가 모듈 형태로 형성될 수 있다. 예시적으로 광검출부(30)는 릴레이렌즈부(210), 제1 광검출기(301), 제2 광검출기(302), 제3 광검출기(303), 및 마이크로렌즈 어레이(310)를 포함할 수 있다.

도 2에 도시된 것처럼 본 발명은 대상 영상(100)을 광변조부(20)로 전달하는 릴레이렌즈부(210), 광변조부(20)를 포함하고, 각 광검출기(301-303) 별로 마이크로렌즈 어레이(310) 또는 릴레이렌즈부(210)가 하나의 모듈로 구성된 광검출부(30)를 포함한다. 즉 광검출부(30)는 광변조부(20)로부터 전달되는 대상 영상(100)에서 분할된 관심영역 별 광신호를 검출하는 제1 광검출기(301) 내지 제3 광검출기(303)를 포함할 수 있다. 이때, 광 검출기의 개수에 제한이 있는 것은 아니다. 여기서 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 패턴 생성부(10)의 동작 과정은 도 3 내지 6을 참조하여 후술하도록 한다.

예시적으로 대상 영상(100)은 현미경의 카메라 포트 위치에 형성되는 광학이미지로서, 릴레이렌즈부(210)를 통해 광변조부(20)의 표면으로 전달될 수 있다. 이때 광변조부(20)의 크기와 변조 파라미터를 고려하여 릴레이렌즈부(210)가 대상 영상(100)의 크기를 줄이거나 늘릴 수 있다.

예를 들어 광변조부(20)가 공간광변조기이면 공간광변조기와 제1 광검출기(301)의 사이에 릴레이렌즈부(210)가 배치될 수 있다. 이때 릴레이렌즈부(210)는 공간광변조기로부터 관심영역 별 광신호를 제 1 내지 제3 광검출기(301-303)의 픽셀 사이즈와 일치하도록 조절할 수 있다.

즉, 광검출부(30)는 복수의 광검출기 모듈로 구성될 수 있다. 일 예로, 광검출기 모듈은 마이크로렌즈 어레이(310) 및 제2 광검출기(302)로 구성되며, 마이크로렌즈 어레이(310)를 통해 수신한 이미지를 서브이미지로 분리한 후 검출할 수 있다. 다른 예로, 광검출기 모듈은 마이크로렌즈 어레이(310), 릴레이렌즈부(210) 및 제3 광검출기(303)로 구성되며, 서브이미지를 또 한번의 릴레이렌즈부(210)를 통해 제3 광검출기(303)의 크기에 맞는 적절한 크기의 서브이미지로 조절한 후 검출할 수 있다.

디스플레이부(40)는 사용자가 관심영역을 선택하도록 대상 영상을 출력하거나, 광검출부로부터 수신한 광신호를 출력할 수 있다. 디스플레이부(40)에 대한 상세한 설명은 후술하도록 한다

도 3은 본 발명의 일 실시예에 따른 패턴 생성부가 관심영역의 광경로를 제어하는 방법을 설명하기 위한 순서도이고, 도 4는 도 3에 따른 각 단계 별로 관심영역의 광경로를 제어하여 각 객체가 출력되는 일 예를 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 각 관심영역과 대응하는 객체의 이동방향을 제어하는 특정패턴을 설명하기 위한 도면이다.

도 3을 참조하면 패턴 생성부(10)는 대상 영상을 수신하고(S21), 대상 영상에서 하나 이상의 관심영역을 선택하고 (S22), 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성할 수 있다(S23). 이어서, 패턴 생성부(10)는 각 관심영역 별로 줄무늬 패턴의 방향, 간격 및 색상을 다르게 설정하여 특정 패턴을 구분함과 동시에 각 관심영역과 대응하는 각 영상 객체의 광경로를 제어할 수 있다(S24).

예시적으로 도4(a)에 도시된 것처럼 S21단계에서, 패턴 생성부(10)는 대상 영상을 수신하고, 디스플레이부(40)를 통해 사용자가 관심영역을 선택하도록 대상 영상을 출력할 수 있다. 이어서, 도 4(b)에 도시된 것처럼 S22단계에서, 사용자 또는 패턴 생성부(10)를 통해 대상 영상에서 하나 이상의 관심영역을 선택할 수 있다. 예를 들어, 관심영역을 설정하고자하는 대상 영상이 DEMOSAIC라는 문자로 이루어진 대상 이미지인 경우, 사용자가 8개의 각 문자를 8개의 각 관심영역으로 선택하도록 디스플레이부(40)를 통해 출력되거나, 패턴 생성부(10)에 의해, 자동으로 8개의 각 관심영역이 선택될 수 있다. 이때 패턴 생성부(10)는 디스플레이부(40)가 출력하는 관심영역의 특정좌표와 광변조부(20)가 수신하는 관심영역의 특정좌표가 일치하도록 이미지 해상도를 변환할 수 있다. 예를 들어, 카메라로 촬영된 대상 이미지의 해상도와 광변조부(20)의 해상도가 상이하므로, 대상 이미지(RI1)=변환행렬(MSLM)*광변조부(RI2)의 식에 따라 이미지 해상도를 변환할 수 있다. 이때 변환행렬은 포인트 기반 coregistration 방법으로 산출될 수 있으나, 이에 한정된 것은 아니다.

도 4(c)에 도시된 것처럼 S23단계에서, 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성할 수 있다. 다음으로 패턴 생성부(10)는 각 관심영역 별로 줄무늬 패턴의 방향, 간격 및 색상을 다르게 설정하여 특정 패턴을 구분함과 동시에 도 4(d)에 도시된 것처럼, S24단계에서, 각 관심영역과 대응하는 각 영상 객체의 광경로를 제어할 수 있다.

예를 들어, 패턴 생성부(10)는 각 관심영역에 대한 이진화 이미지(binary image)를 생성하고, 이진화 이미지의 흰색 영역 안에 줄무늬 패턴(grating pattern)을 채울 수 있다. 이때, 줄무늬 패턴은 각 흰색 영역을 구성하는 줄무늬의 방향과 간격이 다르게 채워질 수 있다. 이에 따라 패턴 생성부(10)는 서로 다른 패턴이 채워진 관심영역(각 영상 객체)을 광변조부(20)에 전달하고, 광변조부(20)가 각 관심영역(각 영상 객체)의 광경로를 선택적으로 분리할 수 있다.

예시적으로, 도 4 및 도 5를 참조하면 각 관심영역의 광경로를 분할하는 줄무늬 패턴은 가운데를 기준으로 8개의 회절 방향으로 구분되는 패턴 유닛으로 구성될 수 있다. 이때 패턴 유닛은 평행하는 하나의 직선(d) 별로 명도가 상이한 3개의 직선(3d)이 하나의 유닛으로 구성될 수 있다.

예를 들어, 도4(c) 및 도4(d)에 도시된 것처럼, ‘A’ 객체와 대응하는 관심영역에 특정 패턴을 적용할 수 있다. 이 경우, 도 5에 도시된 것처럼 ‘A’객체의 특정 패턴은 좌측 아래 방향(시계방향 7시30분)으로 구성된 회절 방향(diffraction direction)과 우측 아래로 기울어진 대각선으로 구성된 패턴 유닛(pattern unit)을 포함할 수 있다. 이때, ‘A’ 객체의 패턴 유닛은 3개의 직선(3d) 중 가장 명도가 낮은 검은색 대각선이 ‘A’ 객체의 회절 방향과 동일한 방향인 좌측 아래 방향에 배치될 수 있다. 도4(c) 및 도4(d)에 도시된 것처럼, ‘A’객체와 마주보는 ‘M’ 객체와 대응하는 관심영역에 적용되는 특정 패턴은 우측 위 방향(시계방향 1시30분)으로 구성된 회절 방향과 우측 아래로 기울어진 대각선으로 구성된 패턴 유닛을 포함할 수 있다. 이 경우 ‘A’ 객체와 ‘M’ 객체의 줄무늬 패턴의 방향은 동일한 반면 ‘A’객체의 패턴 유닛과 달리, ‘M’ 객체의 패턴 유닛은 3개의 직선(3d) 중 가장 명도가 낮은 검은색 대각선이 ‘M’ 객체의 회절 방향과 동일한 방향인 우측 위 방향에 배치될 수 있다.

마찬가지로, ‘D’객체의 특정 패턴은 우측 위 방향(시계방향 10시30분)으로 구성된 회절 방향과 좌측 아래로 기울어진 대각선으로 구성된 패턴 유닛을 포함할 수 있다. 이때, ‘D’ 객체의 패턴 유닛은 3개의 직선 중 가장 명도가 낮은 대각선(검은색)이 ‘D’ 객체의 회절 방향과 동일한 방향인 우측 위 방향에 배치될 수 있다. ‘D’객체와 마주보는 ‘C’ 객체의 특정 패턴은 좌측 아래 방향(시계방향 4시30분)으로 구성된 회절 방향과 좌측 아래로 기울어진 대각선으로 구성된 패턴 유닛을 포함할 수 있다. 이 경우 ‘C’ 객체와 ‘D’ 객체의 줄무늬 패턴의 방향이 동일한 반면 ‘D’ 객체의 패턴 유닛과 달리, ‘C’ 객체의 패턴 유닛은 3개의 직선 중 가장 명도가 낮은 대각선(검은색)이 ‘C’ 객체의 회절 방향과 동일한 방향인 우측 아래 방향에 배치될 수 있다.

위 방향(시계방향 12시)의 회절방향을 갖는 ‘E’ 객체와 아래 방향(시계방향 6시)의 회절방향을 갖는 ‘I’객체의 경우, ‘E’ 객체의 패턴 유닛은 3개의 직선 중 가장 명도가 낮은 직선(검은색)이 ‘E’ 객체의 회절방향과 동일한 방향인 위 방향에 배치되고, ‘I’ 객체의 패턴 유닛은 3개의 직선 중 가장 명도가 낮은 직선(검은색)이 ‘I’ 객체의 회절방향과 동일한 아래 방향에 배치될 수 있다.

좌측 방향(시계방향 9시)의 회절방향을 갖는 ‘S’ 객체와 우측 방향(시계방향 3시)의 회절방향을 갖는 ‘O’객체의 경우, ‘S’ 객체의 패턴 유닛은 3개의 직선 중 가장 명도가 낮은 직선(검은색)이 ‘S’ 객체의 회절방향과 동일한 방향인 좌측 방향에 배치되고, ‘O’ 객체의 패턴 유닛은 3개의 직선 중 가장 명도가 낮은 직선(검은색)이 ‘O’ 객체의 회절방향과 동일한 우측 방향에 배치될 수 있다.

도4(d)에 도시된 것처럼 패턴 생성부(10)는 디스플레이부(40)를 통해 각 관심영역과 대응하는 전체 객체를 출력하는 전체 객체 화면과 전체 객체 화면을 기준으로 각 객체의 이동방향과 일치하는 방향에 분할 화면을 제공할 수 있다.

도 6 및 도 7은 본 발명과 기존의 현미경으로 측정한 광신호 분석 결과를 비교 설명하기 위한 도면이고, 도 8은 본 발명의 관심영역의 광경로를 제어하는 방법에 따라 각 객체가 출력되는 다른 예를 도시한 것이다.

예시적으로 기존의 현미경 대비 본 발명의 광검출 성능을 비교하기 위하여, 디지털 미소 반사 표시기로 구성된 광변조부(20)와 PMT장치로 구성된 광검출부(30)를 포함하는 광학셋업을 이용하여 각 관심영역의 광신호를 검출하였다. 도 6(a)에 도시된 것처럼 이를 위한 대상 영상으로서, DEMOSAIC라는 문자가 중첩된 형태의 대상 이미지를 광변조부(20)의 표면에 조사한 후, 각 객체(문자)들이 시간 시퀀스에 따라 105 마이크로초 단위로 깜빡이도록 셋팅하였다.

도7에 도시된 것처럼 기존의 현미경을 이용하여 측정한 결과, 마이크로초 단위로 깜빡거리는 신호를 구분하기 어렵고, 기존의 단일 PMT장치를 사용하는 경우에도 광신호가 어느 객체로부터 발생되었는지를 알수가 없었다.

그러나 도 4(b), 도 6(b) 및 도 6(c)에 도시된 것처럼 본 발명은 125 kHz로 측정한 결과로서, 광신호가 발생된 각 객체(관심영역)의 모양과 위치 및 광신호의 세기 변화를 확인할 수 있다. 예를 들어, 도 6(b)는 전체 객체의 광신호의 세기 변화를 도시한 그래프이고, 도 6(c)는 도 6(a)의 시간 시퀀스에 따라 첫번째로 깜빡이는 ‘I’ 객체의 광신호 세기 변화를 도시한 그래프이다. 즉 본 발명은 기존의 기술과 달리 광신호가 어떤 객체로부터 발생하는지를 특정할 수 있다. 이와 같은 측정 속도는 기존의 현미경으로 동일한 관심영역을 관찰할 때 구현 가능한 최대속도(일반적인 sCMOS의 경우 200Hz)의 600배 이상 빠른 속도이다.

다른 실시예로, 도8(a)에 도시된 것처럼 대상 영상에서 4개의 관심영역이 선택되면 도 8(b)에 도시된 것처럼 패턴 생성부(10)는 각 관심영역 별로 상술한 상하좌우측 방향의 회절 방향과 검-회-백의 3개의 직선으로 이루어진 패턴 유닛을 포함하는 특정 패턴을 적용하고, 광변조부(20)는 4개의 관심영역 별 각 객체의 이동 방향이 설정된 특정 패턴을 수신하여 각 관심영역의 광경로를 분리할 수 있다. 이때 도 8(c)에 도시된 것처럼, 디스플레이부(40)는 메인 화면에 4개의 전체 객체를 출력하고, 가운데 메인 화면을 기준으로 각 객체의 이동방향과 일치하는 방향에 각 객체의 분할 화면을 출력할 수 있다.

이하에서는 상술한 도 1 내지 도 8에 도시된 구성 중 동일한 구성의 설명은 생략하도록 한다.

도 9는 본 발명의 다른 실시예에 따른 이미지 분할 기반 광검출 시스템을 이용한 광검출 방법을 도시한 순서도이다.

도 9를 참조하면 본 발명의 다른 실시예에 따른 이미지 분할 기반 광검출 시스템(1)을 이용한 광검출 방법은 패턴 생성부(10)에 의해, 대상 영상에서 하나 이상의 관심영역을 선택하고, 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 단계(S110), 광변조부(20)에 의해, 특정 패턴을 수신하며 대상 영상으로부터 각 관심영역의 광경로를 선택적으로 분리하는 단계(S120) 및 광검출부(30)에 의해, 각 관심영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 단계(S130)를 포함한다.

S110단계에서, 패턴 생성부(10)는 각 관심영역 별로 줄무늬 패턴의 방향, 간격 및 색상을 다르게 설정하여 특정 패턴을 구분함과 동시에 각 관심영역과 대응하는 각 영상 객체의 이동방향을 제어할 수 있다. 또한 패턴 생성부(10)는 디스플레이부(40)가 출력하는 관심영역들의 좌표와 광변조부(20)가 수신하는 관심영역의 특정좌표가 일치하도록 이미지 해상도, 크기, 위치 및 방향을 변환할 수 있다. 예시적으로 광변조부(30)는 공간광변조기이고, 광학위상을 변조하는 위상광변조기(phase only spatial light modulator, phase only SLM)와 픽셀별로 제어가능한 디지털 마이크로미러 장치(Digital mirror device, DMD)를 포함하며, 공간광변조기로부터 분할된 이미지의 크기가 기정해진 광검출부 픽셀의 크기와 일치하도록 조절하는 릴레이렌즈부를 더 포함할 수 있다.

S110 단계 이전에, 디스플레이부(40)에 의해, 사용자가 관심영역을 선택하도록 대상 영상을 출력하는 단계를 포함할 수 있다.

S130 단계 이후에, 디스플레이부(40)는, 광검출부(30)로부터 수신한 광신호를 출력하며, 패턴 생성부(10)는 디스플레이부(40)를 통해 각 관심영역과 대응하는 전체 객체를 출력하는 전체 객체 화면과 전체 객체 화면을 기준으로 각 객체의 이동방향과 일치하는 방향에 분할 화면을 제공할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

1: 광검출 시스템
10 패턴 생성부
20: 광변조부
30: 광검출부
40: 디스플레이부
210: 릴레이렌즈부
301: 제1 광검출기
302: 제2 광검출기
303: 제3 광검출기
310: 마이크로렌즈 어레이

Claims (10)

1. 이미지 분할 기반 광검출 시스템에 있어서,
   대상 영상에서 하나 이상의 관심영역을 선택하고, 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 패턴 생성부;
   상기 특정 패턴을 수신하며 상기 대상 영상으로부터 상기 각 관심영역의 광경로를 선택적으로 분리하는 광변조부; 및
   상기 각 관심영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 광검출부를 포함하는 광검출 시스템.
   
2. 제1항에 있어서,
   상기 패턴 생성부는 상기 각 관심영역 별로 줄무늬 패턴의 방향, 간격 및 색상을 다르게 설정하여 상기 특정 패턴을 구분함과 동시에 상기 각 관심영역과 대응하는 각 영상 객체의 광경로를 제어하는 것인, 광검출 시스템.
   
3. 제2항에 있어서,
   사용자가 상기 관심영역을 선택하도록 상기 대상 영상을 출력하거나, 상기 광검출부로부터 수신한 광신호를 출력하는 디스플레이부를 더 포함하되,
   상기 패턴 생성부는 상기 디스플레이부를 통해 상기 각 관심영역과 대응하는 전체 객체를 출력하는 전체 객체 화면과 상기 전체 객체 화면을 기준으로 상기 각 객체의 이동방향과 일치하는 방향에 분할 화면을 제공하는 것인, 광검출 시스템.
   
4. 제3항에 있어서,
   상기 대상 영상은 고해상도로 촬영된 영상을 포함하며,
   상기 패턴 생성부는 상기 디스플레이부가 출력하는 상기 관심영역들의 좌표와 상기 광변조부가 수신하는 상기 관심영역의 특정좌표가 일치하도록 이미지 해상도, 크기, 위치, 및 방향을 변환하는 것인, 광검출 시스템.
   
5. 제1항에 있어서,
   상기 광변조부는 공간광변조기이고, 광학위상을 변조하는 위상광변조기(phase only spatial light modulator, phase only SLM)와 픽셀별로 제어가능한 디지털 마이크로미러 장치(Digital mirror device, DMD)를 포함하며, 상기 공간광변조기로부터 분할된 이미지의 크기가 기정해진 상기 광검출부 픽셀의 크기와 일치하도록 조절하는 릴레이렌즈부를 더 포함하는 것인, 광검출 시스템.
   
6. 이미지 분할 기반 광검출 시스템을 이용한 광검출 방법에 있어서,
   (a) 패턴 생성부에 의해, 대상 영상에서 하나 이상의 관심영역을 선택하고, 각 관심영역 별로 광경로를 제어하기 위한 특정 패턴을 생성하는 단계;
   (b) 광변조부에 의해, 상기 특정 패턴을 수신하며 상기 대상 영상으로부터 상기 각 관심영역의 광경로를 선택적으로 분리하는 단계; 및
   (c) 광검출부에 의해, 상기 각 관심영역 별로 분리된 광신호를 서로 다른 픽셀에 기초하여 검출하는 단계를 포함하는, 광검출 방법.
   
7. 제6항에 있어서,
   상기 (a) 단계에서
   상기 패턴 생성부는 상기 각 관심영역 별로 줄무늬 패턴의 방향, 간격 및 색상을 다르게 설정하여 상기 특정 패턴을 구분함과 동시에 상기 각 관심영역과 대응하는 각 영상 객체의 광경로를 제어하는 것인, 광검출 방법.
   
8. 제7항에 있어서,
   상기 (a) 단계 이전에
   디스플레이부에 의해, 사용자가 상기 관심영역을 선택하도록 상기 대상 영상을 출력하는 단계를 포함하고,
   상기 (c) 단계 이후에
   상기 디스플레이부는, 상기 광검출부로부터 수신한 광신호를 출력하며,
   상기 패턴 생성부는 상기 디스플레이부를 통해 상기 각 관심영역과 대응하는 전체 객체를 출력하는 전체 객체 화면과 상기 전체 객체 화면을 기준으로 상기 각 객체의 이동방향과 일치하는 방향에 분할 화면을 제공하는 것인, 광검출 방법.
   
9. 제8항에 있어서,
   상기 (a) 단계에서
   상기 대상 영상은 고해상도로 촬영된 영상을 포함하며,
   상기 패턴 생성부는 상기 디스플레이부가 출력하는 상기 관심영역들의 좌표와 상기 광변조부가 수신하는 상기 관심영역의 특정좌표가 일치하도록 이미지 해상도, 크기, 위치 및 방향을 변환하는 것인, 광검출 방법.
   
10. 제6항에 있어서,
    상기 광변조부는 공간광변조기이고, 광학위상을 변조하는 위상광변조기(phase only spatial light modulator, phase only SLM)와 픽셀별로 제어가능한 디지털 마이크로미러 장치(Digital mirror device, DMD)를 포함하며, 상기 공간광변조기로부터 분할된 이미지의 크기가 기정해진 상기 광검출부 픽셀의 크기와 일치하도록 조절하는 릴레이렌즈부를 더 포함하는 것인, 광검출 방법.

Images