KR102018103B1 - Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source - Google Patents

Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source Download PDF

Info

Publication number
KR102018103B1
KR102018103B1 KR1020170165599A KR20170165599A KR102018103B1 KR 102018103 B1 KR102018103 B1 KR 102018103B1 KR 1020170165599 A KR1020170165599 A KR 1020170165599A KR 20170165599 A KR20170165599 A KR 20170165599A KR 102018103 B1 KR102018103 B1 KR 102018103B1
Authority
KR
South Korea
Prior art keywords
lens
light source
focus
variable
control module
Prior art date
Application number
KR1020170165599A
Other languages
Korean (ko)
Other versions
KR20190066145A (en
Inventor
엄주범
박안진
엄종현
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020170165599A priority Critical patent/KR102018103B1/en
Publication of KR20190066145A publication Critical patent/KR20190066145A/en
Application granted granted Critical
Publication of KR102018103B1 publication Critical patent/KR102018103B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2254—
    • H04N5/2256—

Abstract

본 발명은 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템에 관한 것으로서, 복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈; 초점가변렌즈의 초점 위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈; 및 카메라 모듈의 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈;을 포함한다.
상기와 같은 본 발명에 따르면, 초점가변렌즈를 통해 깊이방향으로 스캔하는 형광영상시스템을 제공하고, 광원(LED)으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어함으로써, 병변에 대해 정확하고 빠르게 초점을 찾아내어 조정이 가능하고, 계속적인 열발생을 억제하여 광원의 열문제를 해결하며, 수술장의 밝은 조명하에서도 대비도가 높은 형광영상의 획득이 가능함에 따라 병변의 조기진단이 가능한 효과가 있다.The present invention relates to a fluorescent imaging system capable of autofocus using a variable focus lens and capable of frequency modulation of a light source, comprising: a camera module having any one of a plurality of focal variable lenses; A camera control module for extracting the focus of the fluorescent image by moving the focal position of the focal variable lens up and down; And a light source control module for supplying a current corresponding to a periodic function having a constant frequency to the light source of the camera module to control the on-off function of the light source.
According to the present invention as described above, it provides a fluorescent imaging system for scanning in the depth direction through the focus variable lens, and by supplying a current corresponding to the periodic function having a constant frequency to the light source (LED) to the on-off function of the light source By controlling it, it is possible to find and adjust the focal point accurately and quickly, to solve the heat problem of the light source by suppressing continuous heat generation, and to obtain a high contrast fluorescence image even under bright illumination of the operating room. Early diagnosis of the lesion is possible.

Description

초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템{FLUORESCENT IMAGING SYSTEM CAPABLE OF AUTOFOCUS USING FOCUS VARIABLE LENS AND FREQUENCY MODULATION OF LIGHT SOURCE}FLUORESCENT IMAGING SYSTEM CAPABLE OF AUTOFOCUS USING FOCUS VARIABLE LENS AND FREQUENCY MODULATION OF LIGHT SOURCE}

본 발명은 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템에 관한 것으로 더욱 상세하게는, 초점가변렌즈를 이용하여 형광영상의 초점을 조절하고, 광원의 주파수 변조를 통해 LED 광원의 열문제를 해결하며, 각 변조된 부분에서 획득한 이미지를 수학적으로 계산하고, 노이즈 레벨과의 대비도를 높여 병변의 조기진단이 가능하며, 수술시 정확한 영상정보를 전달하는 기술에 관한 것이다.The present invention relates to a fluorescent imaging system capable of autofocus using a variable focus lens and capable of frequency modulation of a light source. More particularly, the focus of a fluorescent image can be adjusted using a variable focus lens, and frequency modulation of the light source is performed. It solves the thermal problem of the LED light source, mathematically calculates the image acquired from each modulated part, increases the contrast with the noise level, enables early diagnosis of the lesion, and delivers accurate image information during surgery. It is about.

형광영상시스템은 현재 ICG를 이용하여 임상에서 사용되어지고 있다. 이때 ICG(Indocyanine Green)는 780 nm의 빛은 흡수하여, 850 nm 대역의 파장을 방출하는데 카메라에서는 850 nm 대역의 파장을 검출하여서 암의 위치를 정확히 찾아내는 기능을 수행하고 있다.Fluorescence imaging systems are currently used in the clinic using ICG. At this time, ICG (Indocyanine Green) absorbs 780 nm light and emits a wavelength of 850 nm band, and the camera detects the wavelength of 850 nm band and accurately locates the cancer.

이와 같은 형광영상시스템은 유방암, 피부암 등의 각종 암을 실시간으로 모니터링하여 수술시 정확한 병변의 위치를 찾는 기능을 수행하며, 대한민국 공개특허 제2016-0117440호(2016.10.10.공개), “실시간 형광 소스들의 다채널 이미징을 위한 시스템들, 방법들 및 장치” 외에 다수의 선행특허가 공개된바 있다.Such a fluorescence imaging system monitors various cancers such as breast cancer and skin cancer in real time, and performs a function of finding the exact location of the lesion during surgery, and Korean Patent Application Publication No. 2016-0117440 (October 10, 2016), “Real Time Fluorescence Numerous prior patents have been published in addition to systems, methods and apparatus for multichannel imaging of sources.

그렇지만 수술중에 환자의 움직임 그리고 위치의 변화에 따라 고정된 렌즈를 이용한 시스템은 정확한 위치를 찾아내기 위해서 높낮이를 조절해야하고, 심지어 사용자가 프로브를 들고 움직이는 불편함을 초래할 수 있다.However, systems using fixed lenses in response to patient movement and position changes during surgery may require height adjustment to locate the correct position, and may even cause the user to uncomfortably move the probe.

또한, 수술장의 조명환경하에서 형광이미지를 획득하여야 하기 때문에 밝은 조명에서도 형광영상획득이 쉬워야하고, 수술장에서는 감염을 막기 위해 형광프로브를 외부에서 커버를 씌워야하기 때문에 열에 취약하다는 단점을 가진다.In addition, since the fluorescent image should be obtained under the lighting environment of the operating room, the fluorescent image should be easy to obtain even in bright light, and the operating area has to be covered with a fluorescent probe outside to prevent infection.

열이 발생하면 광원으로 사용되는 LED의 효율이 떨어지고, 광원의 세기가 줄어드는 결과를 가진다. 이를 해결하기 위해서 광원을 주기함수의 전원을 공급하여, 열 발생을 억제하고, 각각의 구간에서 여러 장의 형광영상을 획득하여서, 밝은 영상 하에서도 대비도가 높은 영상을 획득할 필요가 있다. When heat is generated, the efficiency of the LED used as the light source is reduced, and the intensity of the light source is reduced. In order to solve this problem, it is necessary to supply power of a periodic function to a light source, to suppress heat generation, and to obtain a plurality of fluorescent images in each section, thereby obtaining a high contrast image even under a bright image.

한국공개특허 제2016-0117440호Korean Laid-Open Patent No. 2016-0117440

본 발명의 목적은, 초점가변렌즈를 통해 깊이방향으로 스캔하는 형광영상시스템을 제공함으로써, 병변에 대해 정확하고 빠르게 초점을 찾아내어 조정이 가능하도록 하는데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a fluorescence imaging system that scans in a depth direction through a focal variable lens, thereby making it possible to accurately and quickly find and adjust a focal point for a lesion.

그리고, 본 발명의 목적은, 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어함으로써, 계속적인 열발생을 억제하여 광원의 열문제를 해결하고, 수술장의 밝은 조명하에서도 대비도가 높은 형광영상의 획득이 가능함에 따라 병변의 조기진단이 가능하게 하는데 있다.In addition, an object of the present invention, by supplying a periodic function having a constant frequency and a corresponding current to the light source to control the on-off function of the light source, to suppress the continuous heat generation to solve the heat problem of the light source, The high-contrast fluorescence image can be obtained even under bright illumination, thereby enabling early diagnosis of the lesion.

이러한 기술적 과제를 달성하기 위한 본 발명의 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템은, 복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈; 초점가변렌즈의 초점 위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈; 및 카메라 모듈의 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈;을 포함한다.In order to achieve the above technical problem, the autofocus using the variable focus lens of the present invention and the frequency modulation of the light source includes a camera module having any one of a plurality of focal variable lenses; A camera control module for extracting the focus of the fluorescent image by moving the focal position of the focal variable lens up and down; And a light source control module for supplying a current corresponding to a periodic function having a constant frequency to the light source of the camera module to control the on-off function of the light source.

또한, 카메라 모듈은, 카메라 하단에 구성된 제1렌즈; 제1렌즈와 소정거리 이격된 하부에 구성된 제2렌즈; 제2렌즈와 소정거리 이격된 하부에 구성된 제3렌즈; 및 제2렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 카메라 제어모듈로부터 수신하여 제2렌즈의 초점을 제어하는 초점가변렌즈 제어모듈;을 포함하는 것을 특징으로 한다.In addition, the camera module, the first lens configured at the bottom of the camera; A second lens configured to be spaced apart from the first lens by a predetermined distance; A third lens configured to be spaced apart from the second lens by a predetermined distance; And a focus variable for controlling the focus of the second lens by receiving a control signal from the camera control module to move a control signal for moving the image having a resolution higher than or equal to a preset reference position from the plurality of images captured by the second lens to a position corresponding to the position coordinate where the image is captured. Lens control module; characterized in that it comprises a.

또한, 제2렌즈는, 그 초점이 카메라 제어모듈로부터 인가받은 제어신호와 대응하도록 상측 또는 하측으로 이동 가능한 초점가변렌즈인 것을 특징으로 한다.In addition, the second lens is characterized in that the focus variable lens is movable to the upper or lower side so that the focus corresponds to the control signal received from the camera control module.

또한, 카메라 제어모듈은, 초점가변렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상을 검출하되, 초점가변렌즈의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 초점가변렌즈 제어모듈로 인가하는 것을 특징으로 한다.In addition, the camera control module detects an image having a resolution higher than or equal to a preset reference value from the plurality of images captured by the focus variable lens, and moves the focus of the focus variable lens to a position corresponding to the position coordinate at which the detected image is captured. The control signal may be applied to the focus variable lens control module.

또한, 광원 제어모듈은, 주기함수 형태로 공급되는 전류의 1주기 내에서 상기 카메라 모듈로부터 4개의 위치(x0, x1, x2, x3)와 대응하는 4장의 형광영상을 획득하는 것을 특징으로 한다.The light source control module may acquire four fluorescent images corresponding to four positions x0, x1, x2, and x3 from the camera module within one cycle of the current supplied in the form of a periodic function.

또한, 광원 제어모듈은, 획득한 4장의 형광영상을 [수학식 1] 내지 [수학식 4]를 통해 계산하여 백그라운드 대비 대비도가 향상된 형광영상을 추출하는 것을 특징으로 한다.In addition, the light source control module is characterized by extracting the fluorescence image with improved background contrast contrast by calculating the obtained four fluorescence images through [Equation 1] to [Equation 4].

그리고, 카메라 모듈의 위치를 상하 수직방향으로 이동하여 형광영상 이미지의 초점을 추출하는 전동스테이션;을 더 포함한다.And, the electric motor station for extracting the focus of the fluorescent image image by moving the position of the camera module in the vertical direction.

상기와 같은 본 발명에 따르면, 초점가변렌즈를 통해 깊이방향으로 스캔하는 형광영상시스템을 제공함으로써, 병변에 대해 정확하고 빠르게 초점을 찾아내어 조정이 가능한 효과가 있다.According to the present invention as described above, by providing a fluorescence imaging system to scan in the depth direction through the focus variable lens, it is possible to find and adjust the focus accurately and quickly on the lesion.

그리고, 본 발명에 따르면, 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어함으로써, 계속적인 열발생을 억제하여 광원의 열문제를 해결하고, 수술장의 밝은 조명하에서도 대비도가 높은 형광영상의 획득이 가능함에 따라 병변의 조기진단이 가능한 효과가 있다.And, according to the present invention, by supplying a periodic function having a constant frequency and a corresponding current to the light source to control the on-off function of the light source, to suppress the continuous heat generation to solve the heat problem of the light source, bright As it is possible to obtain a high contrast fluorescence image even under illumination, early diagnosis of the lesion is possible.

도 1은 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템을 도시한 구성도.
도 2는 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템을 통해 형광영상 이미지를 획득하고 초점이 되는 위치를 찾는 일련의 과정을 도시한 예시도.
도 3은 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템을 통해 대비도가 낮은 형광영상 이미지로부터 대비도가 높은 형광영상 이미지를 추출하는 것을 도시한 예시도.
도 4는 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템의 전동스테이션을 도시한 구성도.1 is a configuration diagram showing a fluorescence imaging system capable of autofocus using a variable focus lens according to the present invention and frequency modulation of a light source.
Figure 2 is an exemplary view showing a series of processes for obtaining a fluorescent image and finding a focus position through a fluorescent image system capable of autofocus using a variable focus lens according to the present invention.
FIG. 3 is a diagram illustrating extracting a high contrast fluorescence image from a low contrast fluorescence image through an autofocus using a variable focus lens according to the present invention and a fluorescence image system capable of modulating a light source. Illustrated diagram.
Figure 4 is a block diagram showing the electric station of the fluorescent imaging system capable of autofocus using the variable focus lens according to the present invention, the frequency modulation of the light source.

본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, the terms or words used in the present specification and claims are defined in the technical spirit of the present invention on the basis of the principle that the inventor can appropriately define the concept of the term in order to explain his invention in the best way. It should be interpreted to mean meanings and concepts. In addition, when it is determined that the detailed description of the known function and its configuration related to the present invention may unnecessarily obscure the subject matter of the present invention, it should be noted that the detailed description is omitted.

도 1에 도시된 바와 같이, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)은, 복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈(10)과, 초점가변렌즈의 초점위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈(20), 및 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈(30)을 포함한다.As shown in FIG. 1, the fluorescence imaging system S capable of autofocus using the variable focus lens according to the present invention and capable of frequency modulation of a light source includes a focal variable lens of any one of a plurality of lenses. The camera module 10, the camera control module 20 for extracting the focus of the fluorescent image by moving the focal position of the focus variable lens up and down, and the light source by supplying a current corresponding to a periodic function having a constant frequency It includes a light source control module 30 for controlling the on-off function of the.

구체적으로, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)의 카메라 모듈(10)은 카메라 하단에 제1렌즈(11)를 구성하고, 제1렌즈(11)와 소정거리 이격된 하부에 제2렌즈(12)를 구성하며, 제2렌즈(12)와 소정거리 이격된 하부에 제3렌즈(13)를 포함하여 구성한다.Specifically, the camera module 10 of the fluorescent imaging system (S) capable of autofocus using the variable focus lens according to the present invention and the frequency modulation of the light source constitutes the first lens 11 at the bottom of the camera, The second lens 12 is disposed below the first lens 11 at a predetermined distance, and the third lens 13 is disposed below the second lens 12 at a predetermined distance.

이때, 제2렌즈(12)는 초점가변렌즈로 구성되어 제1렌즈(11)와 제3렌즈(13) 사이에 구비되며, 카메라 제어모듈(20)로부터 인가받는 전류와 대응하도록 가변된 복수개의 초점에서 획득한 다수의 영상을 카메라 제어모듈(20)로 인가한다.In this case, the second lens 12 is composed of a focal variable lens and is provided between the first lens 11 and the third lens 13, and the plurality of lenses are variable to correspond to the current applied from the camera control module 20. A plurality of images acquired at the focus is applied to the camera control module 20.

또한, 제2렌즈(12)의 초점이 초점가변렌즈 제어모듈(14)로부터 인가받은 제어신호와 대응하도록 상측 또는 하측으로 이동 가능하도록 구성된다.In addition, the focus of the second lens 12 is configured to be movable upward or downward to correspond to a control signal applied from the focus variable lens control module 14.

그리고, 초점가변렌즈 제어모듈(14)은 카메라 제어모듈(20)로부터 제2렌즈(12)의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 수신하여 제2렌즈(12)의 초점 가변을 제어한다.In addition, the focus variable lens control module 14 receives a control signal for moving the focus of the second lens 12 from the camera control module 20 to a position corresponding to the position coordinate at which the detected image is photographed. The focus variable of 12 is controlled.

이때, 초점가변렌즈 제어모듈(14)은 기 설치된 구동 드라이버의 소프트웨어가 상기 제어신호와 부합하도록 전류를 가변하여 제2렌즈(12)의 굴절율이 변화시키고, 이로 인해 제2렌즈(12)의 초점이 변화하도록 구성된다.At this time, the focus variable lens control module 14 changes the refractive index of the second lens 12 by varying the current so that the software of the pre-installed driver driver corresponds to the control signal, thereby changing the focus of the second lens 12. It is configured to change.

한편, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)의 카메라 제어모듈(20)은, 초점가변렌즈인 제2렌즈(12)의 초점의 위치를 상하로 이동시켜 형광영상 이미지 촬영을 위한 초점을 추출하도록 구성된다.On the other hand, the camera control module 20 of the fluorescence imaging system (S) capable of autofocus using the variable focus lens according to the present invention and the frequency modulation of the light source, the focus of the second lens 12 that is the variable focus lens It is configured to extract the focus for fluorescence image imaging by moving the position of up and down.

구체적으로, 카메라 제어모듈(20)은 제2렌즈(12)가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상을 검출하고, 제2렌즈(12)의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 초점가변렌즈 제어모듈(14)로 인가하여, 제2렌즈(12)의 초점 위치를 제어신호와 대응하는 위치로 이동하도록 구성된다.In detail, the camera control module 20 detects an image having a resolution higher than or equal to a preset reference from a plurality of images captured by the second lens 12, and captures an image of detecting the focus of the second lens 12. The control signal for moving to a position corresponding to the position coordinate is applied to the focus variable lens control module 14 to move the focus position of the second lens 12 to a position corresponding to the control signal.

도 2에 도시된 바와 같이, 카메라 제어모듈(20)의 제어에 따라 카메라 모듈(10)이 각 위치에서 형광영상 이미지를 획득하고, 이 획득된 영상에서 밝기와 그래프가 증가하는 부분의 기울기를 측정하여 초점이 되는 위치를 찾는다.As shown in FIG. 2, under the control of the camera control module 20, the camera module 10 acquires a fluorescence image image at each position, and measures the inclination of the portion where the brightness and the graph increase in the obtained image. To find the point of focus.

이 과정을 통해서 분석된 데이터를 초점가변렌즈 제어모듈(14)로 전송하여 초점 가변렌즈가 정확한 초점을 신속하게 찾아낼 수 있도록 구성된다.By transmitting the analyzed data through this process to the focus variable lens control module 14, the focus variable lens is configured to quickly find the correct focus.

그리고, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)의 광원 제어모듈(30)은, LED에서 발생하는 열 문제를 수냉식 또는 공랭식의 하드웨어적 구성이 아니라, 광원 구동을 위한 전류를 주기함수 형태로 공급하여 광원의 on-off 기능을 제어한다.In addition, the light source control module 30 of the fluorescent imaging system S capable of autofocusing using the variable focus lens according to the present invention and capable of frequency modulation of the light source may be configured as a water-cooled or air-cooled hardware. The on-off function of the light source is controlled by supplying the current for driving the light source in the form of a periodic function.

이때, 광원 제어모듈(30)은 기 설정된 온도를 초과하는 경우 전원을 off 상태로 전환하고, 기 설정된 온도 미만인 경우 전원을 on 상태로 전환하도록 제어한다.At this time, the light source control module 30 controls to turn off the power when the temperature exceeds the preset temperature, and to turn on the power when the temperature is below the preset temperature.

또한, 광원 제어모듈(30)은 주기함수 형태로 공급되는 전류의 1주기 내에서 4장의 형광영상을 획득하고, 4장의 형광영상을 수학적으로 계산하여 백그라운드 대비 형광영상의 대비도를 향상시킨다.In addition, the light source control module 30 obtains four fluorescent images within one cycle of the current supplied in the form of a periodic function, and mathematically calculates four fluorescent images to improve the contrast of the background to fluorescent images.

또한, 광원 제어모듈(30)이 전송하는 신호(s(t))는 [수학식 1]과 같이 표현될 수 있고, 형광영상 획득을 위해 카메라 모듈(10)이 수신하는 신호(r(t))는 [수학식 2]와 같이 표현된다.Further, the signal s (t) transmitted by the light source control module 30 may be expressed as shown in [Equation 1], and the signal r (t) received by the camera module 10 for obtaining a fluorescence image. ) Is expressed as shown in [Equation 2].

Figure 112017121031123-pat00001
Figure 112017121031123-pat00001

Figure 112017121031123-pat00002
Figure 112017121031123-pat00002

여기서, A는 상수이고, B는 주기함수를 동작하지 않을 때 카메라 모듈(10)이 수신하는 신호이다. 또한, s(t)와 r(t)의 교차상관(Cross-correlation)은 [수학식 3]과 같이 표현된다.Here, A is a constant and B is a signal received by the camera module 10 when the periodic function is not operated. In addition, the cross-correlation of s (t) and r (t) is expressed as shown in [Equation 3].

Figure 112017121031123-pat00003
Figure 112017121031123-pat00003

여기서, “the four-bucket method”를 사용한다.Here, we use the four-bucket method.

또한, 광원 제어모듈(30)은 전술한 바와 같이 주기함수 형태로 공급되는 전류의 1주기 내에서 4개의 위치(x0, x1, x2, x3)와 대응하는 이미지를 획득한다.In addition, the light source control module 30 acquires images corresponding to four positions x0, x1, x2, and x3 within one cycle of the current supplied in the form of a periodic function as described above.

여기서, 4개의 이미지에 대한 교차상관은 c(x0), c(x1), c(x2), c(x3)로 표시할 수 있고, 여기에서 이미지의 세기는 아래의 [수학식 4]에 의해서 도출된다. Here, the cross-correlation of the four images can be represented by c (x0), c (x1), c (x2), c (x3), where the intensity of the image is expressed by Equation 4 below. Derived.

Figure 112017121031123-pat00004
Figure 112017121031123-pat00004

정리하면, 도 3에 도시된 바와 같이, 주기함수 형태로 공급되는 전류의 1주기 내에서 4장의 영상을 획득하는 수학적 계산([수학식 1] 내지 [수학식 4])을 통해 대비도가 낮은 형광영상 이미지로부터 대비도가 높은 형광영상 이미지를 추출할 수 있다.In summary, as shown in FIG. 3, the contrast is low through a mathematical calculation ([Equation 1] to [Equation 4]) that acquires four images within one period of the current supplied in the form of a periodic function. A fluorescent image with high contrast can be extracted from the fluorescent image.

따라서, 본 발명에 따른 광원 제어모듈(30)에 따르면, 수술실내에서 커버등의 영향으로 형광영상시스템의 LED의 온도가 올라가서 LED의 동작에 문제가 발생하는 것을 미연에 방지할 수 있고, 전류를 구동할 때 1주기 내에서 4개의 이미지를 획득하고, 이를 [수학식 1] 내지 [수학식 4]에 적용시키면, 도 3에 도시된 바와 같이 이미지의 백그라운드 대비 대비도가 증가함을 확인할 수 있다.Therefore, according to the light source control module 30 according to the present invention, the temperature of the LED of the fluorescent imaging system rises under the influence of the cover lamp in the operating room, it is possible to prevent the problem in the operation of the LED in advance, and to prevent the current When driving, four images are acquired within one period and applied to [Equation 1] to [Equation 4], as shown in FIG. 3, it can be seen that the background contrast of the image is increased. .

아울러, 본 발명에 따른 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템(S)은, 도 4에 도시된 바와 같이 카메라 모듈(10)의 위치를 상하 수직방향으로 이동(기계적으로 이송)하여 형광영상 이미지의 초점을 추출하는 전동스테이션(40)을 더 포함하여 구성된다.In addition, the autofocus using the variable focus lens according to the present invention, and the fluorescent image system (S) capable of frequency modulation of the light source, as shown in Figure 4 the vertical position of the camera module 10 in the vertical direction It further comprises a transmission station 40 for moving (mechanical transfer) to extract the focus of the fluorescent image.

즉, 본 발명에 따르면 초점가변렌즈인 제2렌즈(12)의 구성없이, 전동스테이션(40)의 구성을 통해 카메라 모듈(10)을 전후로 이동하는 것으로 초점을 가변하여 이미지의 획득이 가능하다.That is, according to the present invention, the image may be acquired by changing the focus by moving the camera module 10 back and forth through the configuration of the electric station 40 without the configuration of the second lens 12 which is the variable focus lens.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.As described above and described with reference to a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, it is a deviation from the scope of the technical idea It will be understood by those skilled in the art that many modifications and variations can be made to the invention without departing from the scope of the invention. Accordingly, all such suitable changes, modifications, and equivalents should be considered to be within the scope of the present invention.

S: 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템
10: 카메라 모듈 11: 제1렌즈
12: 제2렌즈(초점가변렌즈) 13: 제3렌즈
14: 초점가변렌즈 제어모듈 20: 카메라 제어모듈
30: 광원 제어모듈 40: 전동스테이션S: Fluorescence imaging system capable of autofocus using focus variable lens and frequency modulation of light source
10: camera module 11: the first lens
12: Second lens (focal variable lens) 13: Third lens
14: variable focus lens control module 20: camera control module
30: light source control module 40: electric station

Claims (7)

형광영상시스템에 있어서,
복수개의 렌즈 중에 어느 하나의 초점가변렌즈를 구비한 카메라 모듈;
상기 초점가변렌즈의 초점 위치를 상하로 이동시켜 형광영상 이미지의 초점을 추출하는 카메라 제어모듈; 및
상기 카메라 모듈의 광원으로 일정한 주파수를 가진 주기함수와 대응하는 전류를 공급하여 광원의 on-off 기능을 제어하는 광원 제어모듈을 포함하되,
상기 카메라 모듈은,
카메라 하단에 구성된 제1렌즈;
상기 제1렌즈와 소정거리 이격된 하부에 구성된 제2렌즈;
상기 제2렌즈와 소정거리 이격된 하부에 구성된 제3렌즈; 및
상기 제2렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 상기 카메라 제어모듈로부터 수신하여 상기 제2렌즈의 초점을 제어하는 초점가변렌즈 제어모듈을
포함하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.In fluorescence imaging system,
A camera module having any one of a plurality of lenses of a focal variable lens;
A camera control module for extracting a focus of a fluorescent image by moving a focal position of the focal variable lens up and down; And
It includes a light source control module for controlling the on-off function of the light source by supplying a current corresponding to the periodic function having a constant frequency to the light source of the camera module,
The camera module,
A first lens configured at the bottom of the camera;
A second lens configured to be spaced apart from the first lens by a predetermined distance;
A third lens disposed below the second lens and spaced apart from the second lens by a predetermined distance; And
Controlling a focal point of the second lens by receiving a control signal from the camera control module for moving the image having a resolution higher than or equal to a preset reference position from the plurality of images photographed by the second lens to a position corresponding to the position coordinate where the image is captured; The focus variable lens control module
An autofocus using a variable focus lens, characterized in that it comprises a fluorescent image system capable of frequency modulation of the light source. 삭제delete 제1항에 있어서,
상기 제2렌즈는,
상기 제2렌즈의 초점이 카메라 제어모듈로부터 인가받은 제어신호와 대응하도록 상측 또는 하측으로 이동 가능한 초점가변렌즈인 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.The method of claim 1,
The second lens,
The focus of the second lens is a focus variable lens that can be moved upward or downward to correspond to the control signal applied from the camera control module, it is possible to autofocus using a variable focus lens, the frequency modulation of the light source Imaging system. 제1항에 있어서,
상기 카메라 제어모듈은,
상기 초점가변렌즈가 촬영한 복수개의 영상으로부터 기 설정된 기준 이상의 해상도를 갖는 영상을 검출하되,
상기 초점가변렌즈의 초점을 검출된 영상이 촬영된 위치좌표와 대응하는 위치로 이동시키는 제어신호를 상기 카메라 모듈에 구비된 초점가변렌즈 제어모듈로 인가하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.The method of claim 1,
The camera control module,
Detecting an image having a resolution higher than a predetermined reference from a plurality of images taken by the variable-focal lens,
Auto focus using a focus variable lens, characterized in that for applying a control signal for moving the focus of the focus variable lens to a position corresponding to the position coordinate where the detected image is captured to the focus variable lens control module provided in the camera module. Fluorescence imaging system capable of frequency modulation of the light source. 제1항에 있어서,
상기 광원 제어모듈은,
주기함수 형태로 공급되는 전류의 1주기 내에서 상기 카메라 모듈로부터 4개의 위치(x0, x1, x2, x3)와 대응하는 4장의 형광영상을 획득하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.The method of claim 1,
The light source control module,
Autofocus using a focus variable lens, characterized in that to obtain four fluorescent images corresponding to four positions (x0, x1, x2, x3) from the camera module within one period of the current supplied in the form of a periodic function And a fluorescence imaging system capable of frequency modulation of the light source. 제5항에 있어서,
상기 광원 제어모듈은,
획득한 4장의 형광영상을 [수학식 1] 내지 [수학식 4]를 통해 계산하여 백그라운드 대비 대비도가 향상된 형광영상을 추출하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.
[수학식 1]
Figure 112017121031123-pat00005

[수학식 2]
Figure 112017121031123-pat00006

[수학식 3]
Figure 112017121031123-pat00007

[수학식 4]
Figure 112017121031123-pat00008

여기서, s(t)는 상기 광원 제어모듈이 전송하는 신호이고, r(t)는 형광영상 획득을 위해 상기 카메라 모듈이 수신하는 신호이며, A는 상수이고, B는 주기함수를 동작하지 않을 때 상기 카메라 모듈이 수신하는 신호이며, [수학식 3]은 s(t)와 r(t)의 교차상관(Cross-correlation)을 표현한 수식이고, 상기 4장의 형광영상에 대한 교차상관은 c(x0), c(x1), c(x2), c(x3)로 표현되며, [수학식 4]를 통해 백그라운드 대비 이미지의 세기를 도출한다.The method of claim 5,
The light source control module,
It is possible to autofocus using a variable-focal lens, characterized in that to extract the fluorescence image with improved background contrast contrast by calculating the four fluorescence images obtained through [Equation 1] to [Equation 4]. Fluorescence imaging system capable of frequency modulation.
[Equation 1]
Figure 112017121031123-pat00005

[Equation 2]
Figure 112017121031123-pat00006

[Equation 3]
Figure 112017121031123-pat00007

[Equation 4]
Figure 112017121031123-pat00008

Here, s (t) is a signal transmitted by the light source control module, r (t) is a signal received by the camera module for obtaining a fluorescence image, A is a constant, B is not operating the periodic function Equation 3 represents a cross-correlation of s (t) and r (t), and the cross-correlation of the four fluorescent images is c (x0). ), c (x1), c (x2), and c (x3), and the intensity of the image is compared with the background through Equation 4. 제1항에 있어서,
상기 카메라 모듈의 위치를 상하 수직방향으로 이동하여 형광영상 이미지의 초점을 추출하는 전동스테이션;을 더 포함하는 것을 특징으로 하는 초점가변렌즈를 이용한 자동초점이 가능하고, 광원의 주파수 변조가 가능한 형광영상시스템.The method of claim 1,
An electric station capable of extracting the focus of the fluorescent image by moving the position of the camera module vertically and vertically; autofocus using a variable focus lens, characterized in that the fluorescent image capable of frequency modulation of the light source system.
KR1020170165599A 2017-12-05 2017-12-05 Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source KR102018103B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165599A KR102018103B1 (en) 2017-12-05 2017-12-05 Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165599A KR102018103B1 (en) 2017-12-05 2017-12-05 Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source

Publications (2)

Publication Number Publication Date
KR20190066145A KR20190066145A (en) 2019-06-13
KR102018103B1 true KR102018103B1 (en) 2019-09-04

Family

ID=66847422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165599A KR102018103B1 (en) 2017-12-05 2017-12-05 Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source

Country Status (1)

Country Link
KR (1) KR102018103B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049249A (en) * 2015-08-31 2017-03-09 株式会社ミツトヨ Multi-focus image using tunable lens in machine vision inspection system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106455979A (en) 2013-12-31 2017-02-22 纪念斯隆-凯特琳癌症中心 Systems, methods, and apparatus for multichannel imaging of fluorescent sources in real time
KR102314027B1 (en) * 2014-03-28 2021-10-20 한국전자통신연구원 Apparatus for Imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049249A (en) * 2015-08-31 2017-03-09 株式会社ミツトヨ Multi-focus image using tunable lens in machine vision inspection system

Also Published As

Publication number Publication date
KR20190066145A (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US10375330B2 (en) Systems and methods for surface topography acquisition using laser speckle
KR102226447B1 (en) Eye tracking device and head mounted display device
US10652973B2 (en) Control apparatus, control system, and control method
EP2996544B1 (en) Imaging a patient's interior
JP4380663B2 (en) Three-dimensional shape measurement method, apparatus, and focus adjustment method
JP6168879B2 (en) Endoscope apparatus, operation method and program for endoscope apparatus
KR101046677B1 (en) Methods for tracking position of eyes and medical head lamp using thereof
US10682040B2 (en) Endoscope apparatus and focus control method for endoscope apparatus
JP6362050B2 (en) Imaging apparatus, illumination control apparatus, and illumination control method
JP2013225118A5 (en)
US20150335242A1 (en) Ophthalmic apparatus and control method for the same
WO2016147822A1 (en) Superimposed image creation apparatus and superimposed image creation method
KR101992016B1 (en) fundus fluorescence image acquisition apparatus with optical source and focus automatic control function, and method thereof
CN109076155A (en) The method and photoelectron lighting device, camera and mobile terminal illuminated for the face to people
KR102018103B1 (en) Fluorescent imaging system capable of autofocus using focus variable lens and frequency modulation of light source
CN105785561A (en) Digital microscope and focusing method thereof
CN105682531B (en) Endoscope apparatus
CN108814525A (en) The fluorescence navigation endoscopic system and laser power automatic adjusting method of focusing feedback
CN110945380A (en) ToF module and object recognition device using the same
CN209450493U (en) A kind of fluorescence navigation endoscopic system based on focusing feedback
CN103795916A (en) Imaging apparatus and focusing method for imaging apparatus
JP2010207460A (en) Observation apparatus
KR20160069181A (en) Vein Irradiation Device
US11534057B2 (en) Light source device, medical observation system, illumination method, and computer readable recording medium
US20200302610A1 (en) Medical image processing device, medical observation device, method of processing image, and computer readable recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right