KR20160121707A

KR20160121707A - 집적영상 현미경 장치 및 심도범위 개선 방법

Info

Publication number: KR20160121707A
Application number: KR1020150050795A
Authority: KR
Inventors: 김남; 권기철; 임영태
Original assignee: 충북대학교 산학협력단
Priority date: 2015-04-10
Filing date: 2015-04-10
Publication date: 2016-10-20
Also published as: KR101715470B1

Abstract

본 발명은 집적영상 현미경 장치 및 제공 방법에 대하여 개시한다. 본 발명의 일면에 따른 집적영상 현미경 장치는, 대물 렌즈와 튜브 렌즈(Tube Lens)를 거쳐 전달된 피사체의 상을 적어도 두 개의 광 축으로 공간 분할하는 빔 스플리터(Beam Spliter); 상기 적어도 두 개의 광 축상에 각기 구비되며, 각기 다른 초점거리를 갖는 복수의 렌즈 어레이; 상기 복수의 렌즈 어레이와 일정거리 이격되어 위치하며, 상기 복수의 렌즈 어레이를 통과한 피사체의 상을 각기 촬영하여 복수의 집적영상을 각기 생성하는 복수의 이미지 센서; 및 상기 복수의 집적영상을 재구성하여 피사체의 3차원 영상을 복원하는 영상 처리부를 포함하는 것을 특징으로 한다.

Description

집적영상 현미경 장치 및 심도범위 개선 방법{Integral Imaging Microscope Apparatus and the Method for Improving Depth of Focus thereof}

본 발명은 집적영상 현미경에 관한 것으로서, 더 구체적으로는 집적영상의 화질을 향상시킬 수 있는 집적영상 현미경 장치 및 심도범위 개선 방법에 관한 것이다.

피검체를 입체적으로 파악하기 위한 종래의 공초점 현미경은 피검체의 깊이정보를 일정한 단계별로 스케닝하여 집적영상을 획득한 후 컴퓨터를 이용해 일련의 깊이 영상들을 합성 및 재구성하여 관찰자에게 3차원영상을 제공한다.

집적영상 현미경은 공초점 현미경처럼 3차원 피검체의 영상을 얻기 위한 단계별 스케닝을 수행할 필요 없이 피검체의 3차원 정보를 한번에 얻을 수 있고 3차원 정보를 재구성하여 3차원 영상을 제공할 수 있다. 그러나, 집적영상 현미경은 렌즈어레이를 사용하기 때문에 초점의 심도 범위가 짧은 단점을 갖는다.

본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 복수의 렌즈 어레이 및 복수의 이미지 센서를 이용하는 집적영상 현미경 장치 및 제공 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일면에 따른 집적영상 현미경 장치는, 대물 렌즈와 튜브 렌즈(Tube Lens)를 거쳐 전달된 피사체의 상을 적어도 두 개의 광 축으로 공간 분할하는 빔 스플리터(Beam Spliter); 상기 적어도 두 개의 광 축상에 각기 구비되며, 각기 다른 초점거리를 갖는 복수의 렌즈 어레이; 상기 복수의 렌즈 어레이와 일정거리 이격되어 위치하며, 상기 복수의 렌즈 어레이를 통과한 피사체의 상을 각기 촬영하여 복수의 집적영상을 각기 생성하는 복수의 이미지 센서; 및 상기 복수의 집적영상을 재구성하여 피사체의 3차원 영상을 복원하는 영상 처리부를 포함하는 것을 특징으로 한다.

본 발명의 다른 면에 따른 대물 렌즈와 튜브 렌즈(Tube Lens)를 거쳐 전달된 피사체의 상을 공간 분할하는 빔 스플리터(Beam Spliter); 상기 공간 분할된 피사체의 상을 복수의 이미지 센서에 제공하는 각기 다른 초점거리를 갖는 복수의 렌즈 어레이를 포함하는 집적영상 현미경의 영상 처리부에 의한 집적영상 제공 방법은, 집적영상 현미경의 구동시에 상기 복수의 이미지 센서에 의해 각기 상기 복수의 렌즈 어레이를 통과한 피사체의 상을 촬영함에 따라 복수의 집적영상을 생성하는 단계; 및 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용해 상기 복수의 집적영상을 초점 범위별로 재구성함에 따라 피사체의 3차원 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 집적영상의 초점의 심도범위를 향상시킬 수 있다.

도 1은 본 발명의 실시예에 따른 집적영상 현미경 장치를 도시한 구성도.
도 2 및 도 3은 본 발명의 실시예에 따른 집적영상 현미경 장치의 특성을 도시한 도면.
도 4 및 도 5는 각기 단일 렌즈 어레이를 사용한 경우와 복수의 렌즈 어레이를 사용한 경우의 초점의 심도범위를 도시한 도면.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 집적영상 현미경 장치를 도시한 구성도이다.

도 1에 도시된 바와 같이, 도 1은 본 발명의 실시예에 따른 집적영상 현미경 장치는 대물 렌즈(OL)와 튜브 렌즈(TL)를 포함하는 현미경부(OL, TL), 하프빔 스플리터(HBS), 제1 및 제2 렌즈 어레이(ML1, ML2), 제1 및 제2 이미지 센서(IS1, IS2) 및 영상 처리부(Com)를 포함한다.

현미경부(OL, TL)는 대물 렌즈(OL; Objective Lens)와 튜브 렌즈(TL; Tube Lens)를 포함하고, 대물 렌즈(OL)와 튜브 렌즈(TL)에 의해 피검체의 상을 관찰자에 의해 설정된 배율만큼 확대한다.

여기서, 대물 렌즈(OL)는 관찰되는 피검체에 가까운 거리에 위치하며 설정된 배율만큼의 피검체의 확대상을 만든다. 그리고, 튜브 렌즈(TL)는 초점렌즈로서, 대물 렌즈(OL)에 의해 확대한 피검체의 상을 그 초점거리에 맞춰 하프빔 스플리터(HBS)상에 있는 하나의 광축에 모은다.

하프빔 스플리터(HBS; Half Beam Spliter)는 현미경부(OL, TL)에 의해 확대된 피검체의 상을 공간 분할 방식으로 두 개의 광 경로에 전달한다. 다시 말해, 하프빔 스플리터(HBS)는 하나의 광축을 제1 및 제2 렌즈 어레이(ML1, ML2)의 위치에 대응하는 두 개의 광축으로 분리할 수 있다.

제1 및 제2 렌즈 어레이(ML1, ML2)는 두 개의 광축상에서 제1 및 제2 이미지 센서(IS1, IS2)의 렌즈 앞에 각기 위치하며, 각 렌즈 어레이는 각기 구비된 복수의 기초 렌즈에 의해 복수의 기초 영상을 생성하기 위한 피사체의 상을 결상시킨다.

이때, 제1 및 제2 렌즈 어레이(ML1, ML2)는 서로 다른 초점거리(F1, F2)를 갖는 렌즈 어레이일 수 있다.

제1 및 제2 이미지 센서(IS1, IS2)는 제1 및 제2 렌즈 어레이(ML1, ML2)와 일정거리 이격되며, 제1 및 제2 렌즈 어레이(ML1, ML2)에 의해 결상된 물체의 상을 촬영하여 각기 복수의 기초 영상을 생성한다. 이하, 제1 및 제2 이미지 센서(IS1, IS2)에 의해 촬영된 2채널 복수의 기초 영상을 제1 및 제2 집적영상이라고 한다.

영상 처리부(Com)는 제1 및 제2 이미지 센서(IS1, IS2)에 의해 생성된 제1 및 제2 집적영상을 연관시켜 저장부(미도시)에 저장시킬 수 있다. 이때, 영상 처리부(Com)은 집적영상을 깊이정보와 연관시켜 저장하고, 집적영상으로부터 3차원 영상을 복원가능한 프로세서일 수 있다.

또한, 영상 처리부(Com)는 제1 및 제2 집적영상에서 초점범위별 영상에 CIIR(Computational Integral Imaging Reconstruction) 기술을 적용하여 제1 및 제2 집적영상을 초점범위별로 복원함에 따라 입체감이 향상된 피사체의 3차원 영상을 복원할 수 있다. 이후, 영상 처리부(Com)는 표출부(미도시)를 통해 복원된 피사체의 3차원 영상을 관찰자에게 제공할 수 있다.

이와 같이, 본 발명에서는 제1 및 제2 집적영상을 깊이 방향으로 상호 연관시켜 재구성함에 따라 보다 심도범위가 넓고 해상도가 높은 피사체의 3차원 영상을 관찰자에게 제공할 수 있다.

한편, 본 발명의 실시예에 따른 영상 처리부(Com)에 의한 집적영상 제공 방법은 다음과 같을 수 있다. 온 스위치 조작 등에 의해 집적영상 현미경 장치가 구동되면, 영상 처리부(Com)는 제1 및 제2 이미지 센서(IS1, IS2)에 의해 각기 제1 및 제2 렌즈 어레이(ML1, ML2)를 통과한 피사체의 상을 촬영함에 따라 제1 및 제2 집적영상을 생성하고, 이를 저장부(미도시)에 저장한다. 이어서, 영상 처리부(Com)는 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용해 초점의 범위별로 제1 및 제2 집적영상을 재구성함에 따라 피사체의 3차원 영상을 복원하여 관찰자에게 제공할 수 있다. 이때, 실시간성 보장을 위해서 제1 및 제2 직접영상 생성과 제1 및 제2 집적영상 재구성을 위한 시간 간격은 짧은 것이 좋다.

또한, 전술한 예에서는 하프빔 스플리터(HBS)가 대물 렌즈(OL)와 튜브 렌즈(TL)로부터의 피사체의 상을 두 개의 광 경로로 공간 분할하여 전달하는 경우를 예로 들어 설명하였다. 하지만, 이와 달리, 본 발명의 실시예에 따른 집적영상 현미경 장치는 피사체의 상에 대한 광축을 두 개 이상으로 공간 분할할 수도 있다. 이 경우에는 이미지 센서와 렌즈 어레이 또한 공간 분할되는 광 경로에 대응하여 두 개 이상으로 구비됨은 물론이다. 이 경우, 집적영상 현미경의 초점의 심도범위는 더욱 향상될 수 있다.

통상, 집적영상 현미경은 배율이 높아질수록(피사체를 더 많이 확대할수록) 피사체의 깊이 방향에 대한 초점의 심도범위가 짧아져 피사체의 특정지점이외의 다른 지점을 흐리게 표현하는 문제점이 있다. 그러나, 본 발명의 실시예는 각기 다른 초점거리를 갖는 렌즈 어레이를 사용하여 피사체의 깊이 방향의 초점길이를 더 길게 맞출 수 있다. 다시 말해, 본 발명에서는 배율이 높아질 경우에도 종래에 비해 피사체를 더 입체적으로 또한 더 선명하게 표현할 수 있다.

뿐만 아니라, 본 발명의 실시예는 공간 분할 방식으로 분할된 피사체의 광을 소프트웨어적으로 통합하므로, 렌즈, 카메라 등을 기계적으로 움직이지 않아도 되므로, 시 분할 방식을 사용하는 경우 등에 발생할 수 있는 기계적 고장 발생 문제를 예방할 수 있고, 빠르게 피사체의 집적영상을 획득할 수 있다.

이하, 도 2 및 도 3을 참조하여 본 발명의 실시예에 따른 집적영상 현미경 장치의 특성에 대하여 살펴본다.

도 2와 같이, 가우스 렌즈 공식에 의해 기초 렌즈에 의한 초점거리를 살펴보면 하기 수학식 1과 같다.

여기서, l은 기초 렌즈와 물체의 거리, g는 기초 렌즈와 이미지 센서의 거리, f는 초점거리이다.

따라서, 본 발명과 같이 복수의 렌즈 어레이를 사용하는 경우, 도 3 및 수학식 2와 같이, 본 발명의 실시예에 따른 집적영상 현미경 장치의 초점의 심도범위(Depth of Focus(Field))는 제1 렌즈 어레이(ML1)의 초점의 심도범위의 최소값 내지 제2 렌즈 어레이(ML2)의 초점의 심도범위의 최대값이다.

도 3에서, 제1 및 제2 렌즈 어레이(ML1, ML2)의 초점의 심도범위는 각 렌즈 어레이의 초점의 중심깊이평면(Central Depth Plane)을 기준으로 전후의 기설정된 간격의 깊이평면을 포함할 수 있다.

이때, 제1 렌즈 어레이(ML1)의 초점거리는 제2 렌즈 어레이(ML1)의 초점거리보다 클 수도 있고, 작을 수도 있지만, 본 명세서에서는 제1 렌즈 어레이(ML1)의 초점거리가 제2 렌즈 어레이(ML1)의 초점거리보다 작은 경우를 예로 들어 설명한다. 다만, 제1 렌즈 어레이(ML1)와 제2 렌즈 어레이(ML2)의 초점의 심도범위는 적어도 일부분이 겹치거나 연속적으로 이어져야 한다.

이하, 도 4 및 도 5를 참조하여 단일 렌즈 어레이를 사용한 경우와 복수의 렌즈 어레이를 사용한 경우의 초점의 심도범위의 차이를 살펴본다.

도 4를 참조하면, 단일 렌즈 어레이에 의한 집적영상에서 각 기초 영상은 피사체의 시차정보를 가지므로, 서로 근접한 기초 영상은 그 시차의 크기만큼 이동되어서 각기 기초 영상으로 저장된다. 따라서, 기초 영상의 각 화소들이 임의의 거리 z만큼 떨어진 재구성 평면에서 재구성된다면, 전체 기초 영상의 중첩에 의해 깊이 방향의 영상이 생성될 수 있다.

도 5와 같이, 본 발명에 따른 영상 처리부(Com)는 초점거리가 각기 다른 복수의 렌즈 어레이에 의해 각기 생성된 제1 및 제2 집적 영상을 이용하므로 그 재구성 평면의 깊이 또한 향상됨을 알 수 있다.

이와 같이, 본 발명의 실시예는 각기 다른 초점거리를 갖는 복수의 렌즈 어레이를 통해 피사체에 대한 집적영상의 초점의 심도범위를 확장할 수 있고, 그에 따라 관찰자에게 더 높은 품질의 복원영상을 제공할 수 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims

대물 렌즈와 튜브 렌즈(Tube Lens)를 거쳐 전달된 피사체의 상을 적어도 두 개의 광 축으로 공간 분할하는 빔 스플리터(Beam Spliter);
상기 적어도 두 개의 광 축상에 각기 구비되며, 각기 다른 초점거리를 갖는 복수의 렌즈 어레이;
상기 복수의 렌즈 어레이와 일정거리 이격되어 위치하며, 상기 복수의 렌즈 어레이를 통과한 피사체의 상을 각기 촬영하여 복수의 집적영상을 각기 생성하는 복수의 이미지 센서; 및
상기 복수의 집적영상을 재구성하여 피사체의 3차원 영상을 복원하는 영상 처리부
를 포함하는 집적영상 현미경 장치.
제1항에 있어서, 상기 영상 처리부는,
상기 복수의 집적영상을 초점 범위별로 재구성하여 상기 피사체의 3차원 영상을 복원하는 것인 집적영상 현미경 장치.
제2항에 있어서, 상기 영상 처리부는,
상기 초점 범위별 집적영상에 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용하여 상기 피사체의 3차원 영상을 복원하는 것인 집적영상 현미경 장치.
제1항에 있어서, 상기 복수의 렌즈 어레이 및 상기 복수의 이미지 센서가 각기 두 개이면,
상기 빔 스플리터는, 하프빔 스플리터(Half Beam Spliter)인 집적영상 현미경 장치.
대물 렌즈와 튜브 렌즈(Tube Lens)를 거쳐 전달된 피사체의 상을 공간 분할하는 빔 스플리터(Beam Spliter); 상기 공간 분할된 피사체의 상을 복수의 이미지 센서에 제공하는 각기 다른 초점거리를 갖는 복수의 렌즈 어레이를 포함하는 집적영상 현미경의 영상 처리부에 의한 집적영상 제공 방법으로서,
집적영상 현미경의 구동시에 상기 복수의 이미지 센서에 의해 각기 상기 복수의 렌즈 어레이를 통과한 피사체의 상을 촬영함에 따라 복수의 집적영상을 생성하는 단계; 및
CIIR(Computational Integral Imaging Reconstruction) 기술을 이용해 상기 복수의 집적영상을 초점 범위별로 재구성함에 따라 피사체의 3차원 영상을 복원하는 단계
를 포함하는 집적영상 제공 방법.
제5항에 있어서, 상기 생성하는 단계 및 상기 복원하는 단계는,
실시간성을 보장하도록 기설정된 시간 간격으로 수행되는 것인 집적영상 제공 방법.