KR101900254B1 - 홀로그램 광학소자 마이크로 렌즈 어레이를 이용한 집적영상 현미경 시스템 - Google Patents

Abstract

본 발명의 집적영상 현미경 시스템은 설정된 배율만큼 피검체의 상을 확대한 확대 상을 생성하기 위한 현미경부, 제1 초점거리와 제2 초점거리의 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이가 포함되며, 상기 현미경부를 통해 전달된 확대 상에 대하여, 상기 제1 초점거리를 갖는 제1 모드를 통해 결상하고, 상기 제2 초점거리를 갖는 제2 모드를 통해 결상하도록, 상기 홀로그램 광학소자 마이크로 렌즈 어레이를 회전시키는 구조의 회전 스테이지, 상기 회전 스테이지를 회전시키기 위한 모터부, 상기 제1 모드를 통해 결상된 상을 촬영하여 제1 집적영상을 생성하고, 상기 제2 모드를 통해 결상된 상을 촬영하여 제2 집적영상을 생성하기 위한 카메라부 및 상기 카메라부를 통해 생성된 제1 집적영상과 제2 집적영상의 2채널 영상을 연관시켜 재구성하여 3차원 영상을 제공하기 위한 영상처리부를 포함한다. 본 발명에 의하면, 집적영상 현미경의 초점 심도범위를 향상시킬 수 있는 효과가 있다.

Description

홀로그램 광학소자 마이크로 렌즈 어레이를 이용한 집적영상 현미경 시스템 {Integral imaging microscope system using bifocal holographic optical element micro lens array}

본 발명은 집적영상 현미경 시스템에 관한 것으로서, 더욱 상세하게는 깊이방향의 심도범위를 향상시킬 수 있는 집적영상 현미경 시스템에 관한 것이다.

광학 현미경은 고배율을 대물렌즈의 사용함에 따른 화각 및 초점의 심도범위가 부족할 수밖에 없는 단점을 가지고 있는데, 기존 광학현미경에 대해 집적영상 기술을 적용함으로써, 이러한 단점을 극복할 수 있다.

집적영상 기술은 여러 개의 렌즈로 구성된 렌즈 어레이를 이용하여 3차원 물체 정보를 2차원 영상으로 저장하고, 저장된 2차원 영상을 처리하여 3차원 물체 정보를 획득하는 기술이다. 이러한 집적영상 기술은 3차원 영상으로 표현할 수 있는 수직시차와 수평시차가 모두 제공되며, 깊이방향으로의 복원이 가능하다.

집적영상 기술은 렌즈 어레이를 사용하기 때문에, 렌즈 어레이를 이루는 각 기초 렌즈들의 광학적 특성이 복원 혹은 디스플레이 영상의 품질에 많은 영향을 끼친다. 이는 특히 기초 렌즈의 초점거리와 밀접한 관계가 있다.

집적영상 기술에서는 여러 개의 렌즈로 구성된 렌즈 어레이를 사용하기 때문에, 하나의 렌즈를 사용하는 경우와 비교하여 큰 구경의 렌즈를 사용할 수 없는 단점이 있으며, 이로 인해 초점거리가 매우 짧은 거리를 갖는다. 그러나, 획득된 집적영상을 이용하여 3차원 디스플레이가 아니 2차원 초점별 영상을 복원한다면 다양한 초점거리별 2차원 영상을 획득할 수 있고, 각각의 초점거리별 2차원 영상을 합하여 긴 초점 심도를 얻을 수 있다.

집적영상 현미경은 기존 광학현미경에 대해 카메라 장창 부분 앞에 마이크로 렌즈 어레이를 추가하여 집적영상을 획득하고, 획득된 영상을 복원하는 방법으로 초점의 심도범위를 늘릴 수 있다. 그러나, 종래 집적영상 현미경 시스템 구현에 있어서 다중화를 위한 시스템 크기의 문제와, 정밀도가 저하되는 등의 여러 가지 제약조건들이 발생한다.

대한민국 등록특허 10-1203699

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 홀로그램 광학소자 마이크로 렌즈 어레이를 이용하여 2채널의 집적영상을 획득함으로써, 집적영상 현미경의 초점 심도범위를 향상시킬 수 있는 집적영상 현미경 시스템을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 집적영상 현미경 시스템은 설정된 배율만큼 피검체의 상을 확대한 확대 상을 생성하기 위한 현미경부, 제1 초점거리와 제2 초점거리의 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이가 포함되며, 상기 현미경부를 통해 전달된 확대 상에 대하여, 상기 제1 초점거리를 갖는 제1 모드를 통해 결상하고, 상기 제2 초점거리를 갖는 제2 모드를 통해 결상하도록, 상기 홀로그램 광학소자 마이크로 렌즈 어레이를 회전시키는 구조의 회전 스테이지, 상기 회전 스테이지를 회전시키기 위한 모터부, 상기 제1 모드를 통해 결상된 상을 촬영하여 제1 집적영상을 생성하고, 상기 제2 모드를 통해 결상된 상을 촬영하여 제2 집적영상을 생성하기 위한 카메라부 및 상기 카메라부를 통해 생성된 제1 집적영상과 제2 집적영상의 2채널 영상을 연관시켜 재구성하여 3차원 영상을 제공하기 위한 영상처리부를 포함한다.

본 발명의 일 실시예에서 상기 제1 모드인 경우를 기준으로, 상기 홀로그램 광학소자 마이크로 렌즈 어레이를 90°회전시킨 상태를 상기 제2 모드로 설정할 수 있다.

또는, 본 발명의 다른 실시예에서 상기 제1 모드인 경우를 기준으로, 상기 홀로그램 광학소자 마이크로 렌즈 어레이를 45°회전시킨 상태를 상기 제2 모드로 설정할 수도 있다.

상기 현미경부는, 피검체의 상을 설정된 배율만큼 확대하기 위한 대물 렌즈와, 상기 대물 렌즈에 의해 확대된 피검체의 상을 초점거리에 맞춰 하나의 광축에 모으기 위한 튜브 렌즈를 포함하여 이루어질 수 있다.

상기 영상처리부는 상기 제1 집적영상과 상기 제2 집적영상을 깊이 방향으로 상호 연관시켜 초점 범위별로 재구성하여 피검체의 3차원 영상을 복원하고, 깊이정보와 연관시켜 저장하되, 상기 초점 범위별 집적영상에 CIIR(Computational Integral Imaging Reconstruction) 기술을 적용하여 상기 제1 집적영상과 상기 제2 집적영상을 초점 범위별로 복원하는 방식으로 상기 피검체의 3차원 영상을 복원할 수 있다.

본 발명에 의하면, 홀로그램 광학소자 마이크로 렌즈 어레이를 이용하여 2채널의 집적영상을 획득함으로써, 집적영상 현미경의 초점 심도범위를 향상시킬 수 있는 효과가 있다. 즉, 본 발명은 서로 다른 초점거리를 갖는 렌즈 어레이를 통해 획득된 2채널의 집적영상을 재구성함으로써, 초점의 심도범위를 확장시킬 수 있다.

또한, 본 발명에 의하면 동일한 심도 범위에 대해 복원 영상의 품질을 더 높일 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 집적영상 현미경 시스템을 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 집적영상 현미경 시스템에서 홀로그램 광학소자 마이크로 렌즈 어레이의 회전 다중화 개념을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 회전 다중화를 위한 홀로그램 광학소자 마이크로 렌즈 어레이를 제작하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 초점거리가 다른 홀로그램 광학소자 마이크로 렌즈 어레이의 사용에 의한 초점의 심도 향상을 보여주는 개념도이다.
도 5는 CIIR 방법을 이용한 집적영상의 깊이 방향의 복원 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 초점 정보가 다른 2개의 집적영상을 사용한 깊이 방향의 복원 과정을 보여주는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 집적영상 기법을 현미경에 적용하여 회전 다중화 방법에 의한 2채널 집적영상을 획득하고 재구성하는 기법에 관한 것으로서, 획득된 집적 영상의 초점 심도를 향상시키는 방법에 관한 것이다.

본 발명은 현미경의 심도범위 개선을 위한 집적영상 현미경 시스템에 관한 것으로서, 기존 현미경 장치의 카메라 장착 부분에 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이를 회전 스테이지(rotary stage)에 장착된 구성이다. 예를 들어, 0도의 회전 스테이지에서 첫 번째 집적영상을 획득한 후, 회전 스테이지를 90도 회전시켜서 2번째 집적영상을 획득하고, 획득된 2장의 집적영상에서 초점 거리별로 재구성하여 심도범위를 확장시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 집적영상 현미경 시스템을 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 집적영상 현미경 시스템에서 홀로그램 광학소자 마이크로 렌즈 어레이의 회전 다중화 개념을 보여주는 도면이다.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 집적영상 현미경 시스템은 현미경부(100), 모터부(150), 회전 스테이지(200), 카메라부(300), 영상처리부(400)를 포함한다.

현미경부(100)는 설정된 배율만큼 피검체(10)의 상을 확대한 확대 상을 생성하는 역할을 한다.

현미경부(100)는 피검체(10)의 상을 설정된 배율만큼 확대하기 위한 대물 렌즈(Objective Lens, OL)(110)와, 대물 렌즈(110)에 의해 확대된 피검체의 상을 초점거리에 맞춰 하나의 광축에 모으기 위한 튜브 렌즈(Tube Lens, TL)(120)를 포함하여 이루어진다.

회전 스테이지(200)는 제1 초점거리와 제2 초점거리의 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이(Holographic optical element micro lens array, HOE-MLA)(210)를 포함하며, 현미경부(100)를 통해 전달된 확대 상에 대하여, 제1 초점거리를 갖는 제1 모드를 통해 결상하고, 제2 초점거리를 갖는 제2 모드를 통해 결상하도록, 홀로그램 광학소자 마이크로 렌즈 어레이를 회전시키는 구조로 되어 있다.

모터부(150)는 회전 스테이지(200)를 회전시키는 역할을 한다.

카메라부(300)는 제1 모드를 통해 결상된 상을 촬영하여 제1 집적영상을 생성하고, 제2 모드를 통해 결상된 상을 촬영하여 제2 집적영상을 생성하는 역할을 한다.

영상처리부(400)는 카메라부(300)를 통해 생성된 제1 집적영상과 제2 집적영상의 2채널 영상을 연관시켜 재구성하여 3차원 영상을 제공한다.

본 발명의 일 실시예에서 제1 모드인 경우를 기준으로, 홀로그램 광학소자 마이크로 렌즈 어레이(210)를 90°회전시킨 상태를 제2 모드로 설정할 수 있다. 본 발명에서는 이 실시예를 예시하여 설명하기로 한다. 마찬가지로 도 1 및 도 2에서도 이 실시예를 기준으로 도시된 도면이다.

또는, 본 발명의 다른 실시예에서 제1 모드인 경우를 기준으로, 홀로그램 광학소자 마이크로 렌즈 어레이를 45°회전시킨 상태를 제2 모드로 설정할 수도 있다.

그러나, 본 발명이 이러한 실시예들에 한정되는 것은 아니며, 다양한 각도로 제1 모드와 제2 모드가 되도록 홀로그램 광학소자 마이크로 렌즈 어레이를 구현할 수 있음은 당연하다 할 것이다.

본 발명에서 영상처리부(400)는 제1 집적영상과 제2 집적영상을 깊이 방향으로 상호 연관시켜 초점 범위별로 재구성하여 피검체의 3차원 영상을 복원하고, 깊이정보와 연관시켜 저장하되, 초점 범위별 집적영상에 CIIR(Computational Integral Imaging Reconstruction) 기술을 적용하여 제1 집적영상과 상기 제2 집적영상을 초점 범위별로 복원하는 방식으로 피검체(10)의 3차원 영상을 복원할 수 있다.

도 1에서 대물 렌즈(110)를 통해 획득된 물체의 상은 튜브 렌즈(120)를 통해 집적영상을 획득하기 위해 추가된 회전 스테이지(200)에 고정된 이중 홀로그램 광학소자 마이크로 렌즈 어레이(210)에 전달된다.

도 2에서 보는 바와 같이, 회전 다중화를 위해, 제1 모드(a)의 경우, 회전 스테이지(200)의 회전 없이 첫 번째 기록된 홀로그램 광학소자 마이크로 렌즈 어레이(210)의 초점 거리에, 모터부(150)를 통한 회전에 의해 회전 스테이지(200)를 90°회전 시킨 후, 제2 모드(b)의 경우, 두 번째 기록된 마이크로 렌즈 어레이의 초점 거리에 대한 시료의 집적영상이 각각 획득된다. 즉, 초점 거리가 다른 2개의 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이(210)를 통해 2개의 집적영상을 획득한다.

도 3은 본 발명의 일 실시예에 따른 회전 다중화를 위한 홀로그램 광학소자 마이크로 렌즈 어레이를 제작하는 과정을 설명하기 위한 개념도이다.

도 3을 참조하면, 첫 번째 초점거리에 대한 마이크로 렌즈 어레이를 홀로그램 기록 매질에 기록하여 1차 홀로그램 작업을 진행한 후, 90도 회전시켜서 다시 두 번째 초점 거리에 대한 마이크로 렌즈 어레이를 홀로그램 기록 매질에 기록하여 제작한다. 그리고, 재생은 기록과 동일한 방법으로 이루어진다.

통상, 집적영상 현미경은 배율이 높아질수록(피사체를 더 많이 확대할수록) 피사체의 깊이 방향에 대한 초점의 심도범위가 짧아져 피사체의 특정지점이외의 다른 지점을 흐리게 표현하는 문제점이 있다. 그러나, 본 발명은 각기 다른 초점거리의 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이를 사용하여 피사체의 깊이 방향의 초점길이를 더 길게 맞출 수 있다. 다시 말해, 본 발명에서는 배율이 높아질 경우에도 종래에 비해 피사체를 더 입체적으로 표현할 수 있고, 또한 더 선명하게 표현할 수 있다.

도 4는 본 발명의 일 실시예에 따른 초점거리가 다른 홀로그램 광학소자 마이크로 렌즈 어레이의 사용에 의한 초점의 심도 향상을 보여주는 개념도이다.

도 4를 참조하면, 본 발명을 통해 2장의 집적영상이 획득되므로, 더 넓은 초점별 기초영상으로 이루어지는 것을 확인할 수 있다. 즉, 본 발명에서는 초점 거리가 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이(210)를 이용하여, 깊이 방향의 유효 초점 길이인 초점의 심도가 제1 모드의 홀로그램 광학소자 마이크로 렌즈 어레이(210)의 초점심도의 최소거리와, 제2 모드의 홀로그램 광학소자 마이크로 렌즈 어레이(210)의 초점심도의 최대거리를 더한 길이가 된다.

제1 모드에서 초점의 심도범위(Depth of Focus, DOF)가 ML1_DOF이고, 제2 모드에서 초점의 심도범위가 ML2_DOF라고 할 때, 최대 심도 Tot_DOF는 다음 수학식과 같이 나타낼 수 있다.

본 발명에서 집적영상은 다수의 초점별 기초영상으로 이루어져 있으며, 초점별 영상은 CIIR(Computational Integral Imaging Reconstruction) 기술을 이용하여 깊이방향으로 복원(3D영상 복원)한다.

도 5는 CIIR 방법을 이용한 집적영상의 깊이 방향의 복원 과정을 보여주는 도면이다.

도 5를 참조하면, 집적영상의 깊이방향 복원방법은 CIIR(Computational integral imaging reconstruction)을 사용하며, 집적영상에서 각각의 요소 영상은 물체의 시차 정보를 가지고 있기 때문에, 서로 근접한 요소 영상은 시차의 크기만큼 이동되어, 요소영상 형태로 저장된다. 따라서, 요소 영상의 화소들이 임의의 거리 z 만큼 떨어진 위치의 면에 대응할 때, 이러한 대응된 전체영상들의 중첩을 통해 깊이 방향의 영상이 생성된다.

도 6은 본 발명의 일 실시예에 따른 초점 정보가 다른 2개의 집적영상을 사용한 깊이 방향의 복원 과정을 보여주는 도면이다.

도 6을 참조하면, 본 발명에서는 초점거리를 다르게 하여 획득한 2장의 집적영상을 사용하여 CIIR 방법을 통해 깊이방향 복원함으로써, 그 재구성 평면의 깊이 또한 향상됨을 알 수 있다.

이와 같이, 본 발명의 실시예는 각기 다른 초점거리를 갖는 이중초점 기능을 갖는 홀로그램 광학소자 마이크로 렌즈 어레이(210)를 통해 피검체(10)에 대한 집적영상의 초점의 심도범위를 확장할 수 있고, 그에 따라 관찰자에게 더 높은 품질의 복원영상을 제공할 수 있다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100 현미경부
110 대물 렌즈
120 튜브 렌즈
200 회전 스테이지
210 홀로그램 광학소자 마이크로 렌즈 어레이
150 모터부
300 카메라부
400 영상처리부

Claims (5)

1. 설정된 배율만큼 피검체의 상을 확대한 확대 상을 생성하기 위한 현미경부;
   제1 초점거리와 제2 초점거리의 2개의 서로 다른 초점거리를 갖는 이중초점으로 다중화된 렌즈로 구성되는 홀로그램 광학소자 마이크로 렌즈 어레이(Holographic optical element micro lens array, HOE-MLA);
   상기 홀로그램 광학소자 마이크로 렌즈 어레이를 회전시키는 구조로 되어 있는 회전 스테이지;
   상기 현미경부를 통해 전달된 확대 상에 대하여, 상기 홀로그램 광학소자 마이크로 렌즈 어레이가 제1 초점거리로 결상하도록 하는 제1 모드와, 또는 상기 홀로그램 광학소자 마이크로 렌즈 어레이가 제2 초점거리로 결상하도록 하는 제2 모드 상태로 상기 회전 스테이지를 회전시키기 위한 모터부;
   상기 제1 모드를 통해 결상된 상을 촬영하여 제1 집적영상을 생성하고, 상기 제2 모드를 통해 결상된 상을 촬영하여 제2 집적영상을 생성하기 위한 카메라부; 및
   상기 카메라부를 통해 생성된 제1 집적영상과 제2 집적영상의 2채널 영상을 연관시켜 재구성하여 3차원 영상을 제공하기 위한 영상처리부를 포함하며,
   상기 제1 모드를 기준으로, 상기 홀로그램 광학소자 마이크로 렌즈 어레이를 미리 정해진 각도만큼 회전시킨 상태를 제2 모드인 것으로 설정하며,
   초점의 최대 심도범위(Depth of Focus, DOF)를 Tot_DOF라 하고, 상기 제1 모드에서의 홀로그램 광학소자 마이크로 렌즈 어레이의 초점심도 거리를 ML1_DOF라 하고, 상기 제2 모드에서의 홀로그램 광학소자 마이크로 렌즈 어레이의 초점심도 거리를 ML2_DOF라 할 때,
   

   

   
   의 수학식으로 나타낼 수 있는 것을 특징으로 하는 집적영상 현미경 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images