KR20190066145A

KR20190066145A - 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템

Info

Publication number: KR20190066145A
Application number: KR1020170165599A
Authority: KR
Inventors: 엄주범; 박안진; 엄종현
Original assignee: 한국광기술원
Priority date: 2017-12-05
Filing date: 2017-12-05
Publication date: 2019-06-13
Also published as: KR102018103B1

Abstract

본 발명은 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템에 관한 것으로서, 복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈; 초점가변렌즈의 초점 위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈; 및 카메라 모듈의 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈;을 포함한다.
상기와 같은 본 발명에 따르면, 초점가변렌즈를 통해 깊이방향으로 스캔하는 형광영상시스템을 제공하고, 광원(LED)으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어함으로써, 병변에 대해 정확하고 빠르게 초점을 찾아내어 조정이 가능하고, 계속적인 열발생을 억제하여 광원의 열문제를 해결하며, 수술장의 밝은 조명하에서도 대비도가 높은 형광영상의 획득이 가능함에 따라 병변의 조기진단이 가능한 효과가 있다.

Description

초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템{FLUORESCENT IMAGING SYSTEM CAPABLE OF AUTOFOCUS USING FOCUS VARIABLE LENS AND FREQUENCY MODULATION OF LIGHT SOURCE}

본 발명은 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템에 관한 것으로 더욱 상세하게는, 초점가변렌즈를 이용하여 형광영상의 초점을 조절하고, 광원의 주파수 변조를 통해 LED 광원의 열문제를 해결하며, 각 변조된 부분에서 획득한 이미지를 수학적으로 계산하고, 노이즈 레벨과의 대비도를 높여 병변의 조기진단이 가능하며, 수술시 정확한 영상정보를 전달하는 기술에 관한 것이다.

형광영상시스템은 현재 ICG를 이용하여 임상에서 사용되어지고 있다. 이때 ICG(Indocyanine Green)는 780 nm의 빛은 흡수하여, 850 nm 대역의 파장을 방출하는데 카메라에서는 850 nm 대역의 파장을 검출하여서 암의 위치를 정확히 찾아내는 기능을 수행하고 있다.

이와 같은 형광영상시스템은 유방암, 피부암 등의 각종 암을 실시간으로 모니터링하여 수술시 정확한 병변의 위치를 찾는 기능을 수행하며, 대한민국 공개특허 제2016-0117440호(2016.10.10.공개), “실시간 형광 소스들의 다채널 이미징을 위한 시스템들, 방법들 및 장치” 외에 다수의 선행특허가 공개된바 있다.

그렇지만 수술중에 환자의 움직임 그리고 위치의 변화에 따라 고정된 렌즈를 이용한 시스템은 정확한 위치를 찾아내기 위해서 높낮이를 조절해야하고, 심지어 사용자가 프로브를 들고 움직이는 불편함을 초래할 수 있다.

또한, 수술장의 조명환경하에서 형광이미지를 획득하여야 하기 때문에 밝은 조명에서도 형광영상획득이 쉬워야하고, 수술장에서는 감염을 막기 위해 형광프로브를 외부에서 커버를 씌워야하기 때문에 열에 취약하다는 단점을 가진다.

열이 발생하면 광원으로 사용되는 LED의 효율이 떨어지고, 광원의 세기가 줄어드는 결과를 가진다. 이를 해결하기 위해서 광원을 주기함수의 전원을 공급하여, 열 발생을 억제하고, 각각의 구간에서 여러 장의 형광영상을 획득하여서, 밝은 영상 하에서도 대비도가 높은 영상을 획득할 필요가 있다.

한국공개특허 제2016-0117440호

본 발명의 목적은, 초점가변렌즈를 통해 깊이방향으로 스캔하는 형광영상시스템을 제공함으로써, 병변에 대해 정확하고 빠르게 초점을 찾아내어 조정이 가능하도록 하는데 있다.

그리고, 본 발명의 목적은, 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어함으로써, 계속적인 열발생을 억제하여 광원의 열문제를 해결하고, 수술장의 밝은 조명하에서도 대비도가 높은 형광영상의 획득이 가능함에 따라 병변의 조기진단이 가능하게 하는데 있다.

이러한 기술적 과제를 달성하기 위한 본 발명의 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템은, 복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈; 초점가변렌즈의 초점 위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈; 및 카메라 모듈의 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈;을 포함한다.

또한, 카메라 모듈은, 카메라 하단에 구성된 제1렌즈; 제1렌즈와 소정거리 이격된 하부에 구성된 제2렌즈; 제2렌즈와 소정거리 이격된 하부에 구성된 제3렌즈; 및 제2렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 카메라 제어모듈로부터 수신하여 제2렌즈의 초점을 제어하는 초점가변렌즈 제어모듈;을 포함하는 것을 특징으로 한다.

또한, 제2렌즈는, 그 초점이 카메라 제어모듈로부터 인가받은 제어신호와 대응하도록 상측 또는 하측으로 이동 가능한 초점가변렌즈인 것을 특징으로 한다.

또한, 카메라 제어모듈은, 초점가변렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상을 검출하되, 초점가변렌즈의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 초점가변렌즈 제어모듈로 인가하는 것을 특징으로 한다.

또한, 광원 제어모듈은, 주기함수 형태로 공급되는 전류의 1주기 내에서 상기 카메라 모듈로부터 4개의 위치(x0, x1, x2, x3)와 대응하는 4장의 형광영상을 획득하는 것을 특징으로 한다.

또한, 광원 제어모듈은, 획득한 4장의 형광영상을 [수학식 1] 내지 [수학식 4]를 통해 계산하여 백그라운드 대비 대비도가 향상된 형광영상을 추출하는 것을 특징으로 한다.

그리고, 카메라 모듈의 위치를 상하 수직방향으로 이동하여 형광영상 이미지의 초점을 추출하는 전동스테이션;을 더 포함한다.

상기와 같은 본 발명에 따르면, 초점가변렌즈를 통해 깊이방향으로 스캔하는 형광영상시스템을 제공함으로써, 병변에 대해 정확하고 빠르게 초점을 찾아내어 조정이 가능한 효과가 있다.

그리고, 본 발명에 따르면, 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어함으로써, 계속적인 열발생을 억제하여 광원의 열문제를 해결하고, 수술장의 밝은 조명하에서도 대비도가 높은 형광영상의 획득이 가능함에 따라 병변의 조기진단이 가능한 효과가 있다.

도 1은 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템을 도시한 구성도.
도 2는 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템을 통해 형광영상 이미지를 획득하고 초점이 되는 위치를 찾는 일련의 과정을 도시한 예시도.
도 3은 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템을 통해 대비도가 낮은 형광영상 이미지로부터 대비도가 높은 형광영상 이미지를 추출하는 것을 도시한 예시도.
도 4는 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템의 전동스테이션을 도시한 구성도.

본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

도 1에 도시된 바와 같이, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)은, 복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈(10)과, 초점가변렌즈의 초점위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈(20), 및 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈(30)을 포함한다.

구체적으로, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)의 카메라 모듈(10)은 카메라 하단에 제1렌즈(11)를 구성하고, 제1렌즈(11)와 소정거리 이격된 하부에 제2렌즈(12)를 구성하며, 제2렌즈(12)와 소정거리 이격된 하부에 제3렌즈(13)를 포함하여 구성한다.

이때, 제2렌즈(12)는 초점가변렌즈로 구성되어 제1렌즈(11)와 제3렌즈(13) 사이에 구비되며, 카메라 제어모듈(20)로부터 인가받는 전류와 대응하도록 가변된 복수개의 초점에서 획득한 다수의 영상을 카메라 제어모듈(20)로 인가한다.

또한, 제2렌즈(12)의 초점이 초점가변렌즈 제어모듈(14)로부터 인가받은 제어신호와 대응하도록 상측 또는 하측으로 이동 가능하도록 구성된다.

그리고, 초점가변렌즈 제어모듈(14)은 카메라 제어모듈(20)로부터 제2렌즈(12)의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 수신하여 제2렌즈(12)의 초점 가변을 제어한다.

이때, 초점가변렌즈 제어모듈(14)은 기 설치된 구동 드라이버의 소프트웨어가 상기 제어신호와 부합하도록 전류를 가변하여 제2렌즈(12)의 굴절율이 변화시키고, 이로 인해 제2렌즈(12)의 초점이 변화하도록 구성된다.

한편, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)의 카메라 제어모듈(20)은, 초점가변렌즈인 제2렌즈(12)의 초점의 위치를 상하로 이동시켜 형광영상 이미지 촬영을 위한 초점을 추출하도록 구성된다.

구체적으로, 카메라 제어모듈(20)은 제2렌즈(12)가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상을 검출하고, 제2렌즈(12)의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 초점가변렌즈 제어모듈(14)로 인가하여, 제2렌즈(12)의 초점 위치를 제어신호와 대응하는 위치로 이동하도록 구성된다.

도 2에 도시된 바와 같이, 카메라 제어모듈(20)의 제어에 따라 카메라 모듈(10)이 각 위치에서 형광영상 이미지를 획득하고, 이 획득된 영상에서 밝기와 그래프가 증가하는 부분의 기울기를 측정하여 초점이 되는 위치를 찾는다.

이 과정을 통해서 분석된 데이터를 초점가변렌즈 제어모듈(14)로 전송하여 초점 가변렌즈가 정확한 초점을 신속하게 찾아낼 수 있도록 구성된다.

그리고, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)의 광원 제어모듈(30)은, LED에서 발생하는 열 문제를 수냉식 또는 공랭식의 하드웨어적 구성이 아니라, 광원 구동을 위한 전류를 주기함수 형태로 공급하여 광원의 on-off 기능을 제어한다.

이때, 광원 제어모듈(30)은 기 설정된 온도를 초과하는 경우 전원을 off 상태로 전환하고, 기 설정된 온도 미만인 경우 전원을 on 상태로 전환하도록 제어한다.

또한, 광원 제어모듈(30)은 주기함수 형태로 공급되는 전류의 1주기 내에서 4장의 형광영상을 획득하고, 4장의 형광영상을 수학적으로 계산하여 백그라운드 대비 형광영상의 대비도를 향상시킨다.

또한, 광원 제어모듈(30)이 전송하는 신호(s(t))는 [수학식 1]과 같이 표현될 수 있고, 형광영상 획득을 위해 카메라 모듈(10)이 수신하는 신호(r(t))는 [수학식 2]와 같이 표현된다.

여기서, A는 상수이고, B는 주기함수를 동작하지 않을 때 카메라 모듈(10)이 수신하는 신호이다. 또한, s(t)와 r(t)의 교차상관(Cross-correlation)은 [수학식 3]과 같이 표현된다.

여기서, “the four-bucket method”를 사용한다.

또한, 광원 제어모듈(30)은 전술한 바와 같이 주기함수 형태로 공급되는 전류의 1주기 내에서 4개의 위치(x0, x1, x2, x3)와 대응하는 이미지를 획득한다.

여기서, 4개의 이미지에 대한 교차상관은 c(x0), c(x1), c(x2), c(x3)로 표시할 수 있고, 여기에서 이미지의 세기는 아래의 [수학식 4]에 의해서 도출된다.

정리하면, 도 3에 도시된 바와 같이, 주기함수 형태로 공급되는 전류의 1주기 내에서 4장의 영상을 획득하는 수학적 계산([수학식 1] 내지 [수학식 4])을 통해 대비도가 낮은 형광영상 이미지로부터 대비도가 높은 형광영상 이미지를 추출할 수 있다.

따라서, 본 발명에 따른 광원 제어모듈(30)에 따르면, 수술실내에서 커버등의 영향으로 형광영상시스템의 LED의 온도가 올라가서 LED의 동작에 문제가 발생하는 것을 미연에 방지할 수 있고, 전류를 구동할 때 1주기 내에서 4개의 이미지를 획득하고, 이를 [수학식 1] 내지 [수학식 4]에 적용시키면, 도 3에 도시된 바와 같이 이미지의 백그라운드 대비 대비도가 증가함을 확인할 수 있다.

아울러, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)은, 도 4에 도시된 바와 같이 카메라 모듈(10)의 위치를 상하 수직방향으로 이동(기계적으로 이송)하여 형광영상 이미지의 초점을 추출하는 전동스테이션(40)을 더 포함하여 구성된다.

즉, 본 발명에 따르면 초점가변렌즈인 제2렌즈(12)의 구성없이, 전동스테이션(40)의 구성을 통해 카메라 모듈(10)을 전후로 이동하는 것으로 초점을 가변하여 이미지의 획득이 가능하다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

S: 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템
10: 카메라 모듈 11: 제1렌즈
12: 제2렌즈(초점가변렌즈) 13: 제3렌즈
14: 초점가변렌즈 제어모듈 20: 카메라 제어모듈
30: 광원 제어모듈 40: 전동스테이션

Claims

형광영상시스템에 있어서,
복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈;
상기 초점가변렌즈의 초점 위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈; 및
상기 카메라 모듈의 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈;을 포함하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
제1항에 있어서,
상기 카메라 모듈은,
카메라 하단에 구성된 제1렌즈;
상기 제1렌즈와 소정거리 이격된 하부에 구성된 제2렌즈;
상기 제2렌즈와 소정거리 이격된 하부에 구성된 제3렌즈; 및
상기 제2렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 상기 카메라 제어모듈로부터 수신하여 상기 제2렌즈의 초점을 제어하는 초점가변렌즈 제어모듈;을 포함하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
제1항에 있어서,
상기 제2렌즈는,
상기 그 초점이 카메라 제어모듈로부터 인가받은 제어신호와 대응하도록 상측 또는 하측으로 이동 가능한 초점가변렌즈인 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
제1항에 있어서,
상기 카메라 제어모듈은,
상기 초점가변렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상을 검출하되,
상기 초점가변렌즈의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 상기 카메라 모듈에 구비된 초점가변렌즈 제어모듈로 인가하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
제1항에 있어서,
상기 광원 제어모듈은,
주기함수 형태로 공급되는 전류의 1주기 내에서 상기 카메라 모듈로부터 4개의 위치(x0, x1, x2, x3)와 대응하는 4장의 형광영상을 획득하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
제5항에 있어서,
상기 광원 제어모듈은,
획득한 4장의 형광영상을 [수학식 1] 내지 [수학식 4]를 통해 계산하여 백그라운드 대비 대비도가 향상된 형광영상을 추출하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
[수학식 1]

[수학식 2]

[수학식 3]

[수학식 4]

여기서, s(t)는 상기 광원 제어모듈이 전송하는 신호이고, r(t)는 형광영상 획득을 위해 상기 카메라 모듈이 수신하는 신호이며, A는 상수이고, B는 주기함수를 동작하지 않을 때 상기 카메라 모듈이 수신하는 신호이며, [수학식 3]은 s(t)와 r(t)의 교차상관(Cross-correlation)을 표현한 수식이고, 상기 4장의 형광영상에 대한 교차상관은 c(x0), c(x1), c(x2), c(x3)로 표현되며, [수학식 4]를 통해 백그라운드 대비 이미지의 세기를 도출한다.
제1항에 있어서,
상기 카메라 모듈의 위치를 상하 수직방향으로 이동하여 형광영상 이미지의 초점을 추출하는 전동스테이션;을 더 포함하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.