KR102379981B1 - Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof - Google Patents

Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof Download PDF

Info

Publication number
KR102379981B1
KR102379981B1 KR1020200179536A KR20200179536A KR102379981B1 KR 102379981 B1 KR102379981 B1 KR 102379981B1 KR 1020200179536 A KR1020200179536 A KR 1020200179536A KR 20200179536 A KR20200179536 A KR 20200179536A KR 102379981 B1 KR102379981 B1 KR 102379981B1
Authority
KR
South Korea
Prior art keywords
image
fluorescence
gaussian
correction
background image
Prior art date
Application number
KR1020200179536A
Other languages
Korean (ko)
Inventor
김기현
신인희
강희영
송우섭
김현식
신영훈
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020200179536A priority Critical patent/KR102379981B1/en
Application granted granted Critical
Publication of KR102379981B1 publication Critical patent/KR102379981B1/en

Links

Images

Classifications

    • G06T5/006—
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

The present invention relates to a device and method for correcting fluorescence image distortion of a fluorescence imaging device. In more detail, in the provided device and method for correcting fluorescence image distortion using a fluorescence background image, with respect to the arrangement of a light source of a fluorescence image probe, a background observation area in which the incident light is evenly distributed is photographed, and a fluorescence (molecular) image captured in real time for fluorescence excitation light which is not evenly irradiated using the acquired fluorescence background image is corrected.

Description

형광배경영상을 이용한 형광영상 왜곡 보정 장치 및 방법{Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof}Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof

본 발명은 형광영상장치의 형광영상 왜곡 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 형광영상 프로브의 광원의 배치에 대해 입사광이 고르게 분포되는 배경 관찰영역을 촬영하여 획득되는 형광배경영상을 이용하여 고르게 조사되지 못하는 형광 여기광에 대해서 실시간 촬영되는 형광(분자)영상을 보정하는 형광배경영상을 이용한 형광영상 왜곡 보정 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for correcting fluorescence image distortion of a fluorescence imaging device, and more particularly, by using a fluorescence background image obtained by photographing a background observation area where incident light is evenly distributed with respect to the arrangement of a light source of a fluorescence imaging probe. A fluorescence image distortion correction apparatus and method using a fluorescence background image for correcting a fluorescence (molecular) image captured in real time with respect to fluorescence excitation light that is not evenly irradiated.

일반적으로, 분자영상은 생체 내에서 발생하는 분자 또는 세포 수준에서 일어나는 변화를 영상화하는 기법으로 광학분자영상, 핵의학분자영상, 가지공명분자영상, 초음파분자영상 등 다양한 방식으로 활용되고 있다.In general, molecular imaging is a technique for imaging changes occurring at the molecular or cellular level occurring in a living body, and is used in various ways such as optical molecular imaging, nuclear medicine molecular imaging, branch resonance molecular imaging, and ultrasonic molecular imaging.

특히, 광학분자영상 중 형광영상은 형광물질에 여기 가능한 특정 파장의 입사광을 형광물질이 투여된 관찰영역에 조사하여, 상기 관찰영역에서 반사되는 입사 파장의 빛 보다 긴 특정 파장의 빛을 검출하여 영상화하는 기법을 이용하여 획득된다.In particular, among optical molecular images, fluorescence images are imaged by irradiating incident light of a specific wavelength excitable to a fluorescent material to the observation area to which the fluorescent material is administered, and detecting light of a specific wavelength longer than the light of the incident wavelength reflected from the observation area. obtained using the method

형광영상은 유전자 치료 모니터링, 세포추적, 세포 치료 모니터링, 항체 영상, 종양 표적 영상, 치료 효과 조기 평가, 치료 효과 예측, 신약 개발 등 임상적으로 이용되고 있다.Fluorescence imaging is clinically used in gene therapy monitoring, cell tracking, cell therapy monitoring, antibody imaging, tumor-targeted imaging, early evaluation of therapeutic effects, prediction of therapeutic effects, and new drug development.

형광영상은 형광물질의 양과 조사되는 빛의 양에 비례하여 검출이 되며, 이러한 근거로 정량적인 분석이 가능하다.Fluorescence images are detected in proportion to the amount of fluorescent material and the amount of light irradiated, and quantitative analysis is possible based on this basis.

형광영상 획득에 있어서, 충분한 입사광의 세기를 확보하기 위하여 다수의 LED 광원을 구성하여 형광을 발현시킨다.In acquiring a fluorescence image, a plurality of LED light sources are configured to ensure sufficient intensity of incident light to express fluorescence.

상술한 바와 같이 다수의 LED 광원을 구성하여 형광을 발현시킴에 따라 입사광이 형광물질에 고르게 조사되지 않는 경우가 발생하며, 입사광이 고르게 조사되지 않으면 같은 양의 형광물질이 분포하더라도 영상 내에서 형광의 세기가 달라지는 문제점이 있다.As described above, as a plurality of LED light sources are configured to express fluorescence, incident light may not be evenly irradiated to the fluorescent material. If the incident light is not evenly irradiated, even if the same amount of fluorescent material is distributed, the There is a problem with the changing of the century.

이에 따라, 종래 형광영상장치는 촬영된 영광영상으로부터 형광신호의 정량적인 분석을 수행할 수 없는 문제점이 있었다.Accordingly, the conventional fluorescence imaging apparatus has a problem in that it cannot quantitatively analyze the fluorescence signal from the photographed Youngwang image.

이러한 문제점을 해결하기 위해 대한민국 등록특허 제10-1298974호 [광원 제어 및 영상 보정을 통한 영상 처리장치 및 방법](이하 "선행기술"이라 함)은 관찰영역에 복수의 광원으로부터 광을 조사하고, 관찰영역 임의의 영역에서 광의 세기를 검출한 후 광세기에 기반하여 관찰영역에서 광이 균일해지도록 광원의 광세기를 제어하는 기술을 개시한다.In order to solve this problem, Republic of Korea Patent No. 10-1298974 [image processing apparatus and method through light source control and image correction] (hereinafter referred to as "prior art") irradiates light from a plurality of light sources to an observation area, Disclosed is a technique for controlling the light intensity of a light source so that the light is uniform in the observation area based on the light intensity after detecting the light intensity in an arbitrary area of the observation area.

그러나 선행기술은 광세기를 측정하기 위해 미세한 관찰영역의 위치에 광세기 센싱 수단을 구비하여야 하므로 그 설치가 복잡하고 장비의 가격이 증가하며, 세포조직 및 분자 단위의 형광영상을 측정하는 데는 어려움이 있었다.However, the prior art requires a light intensity sensing means at the position of a fine observation area to measure the light intensity, so the installation is complicated, the price of the equipment increases, and it is difficult to measure the fluorescence image in cell tissues and molecules. there was.

..

대한민국 등록특허 제10-1298974호(2013.08.23. 공고)Republic of Korea Patent Registration No. 10-1298974 (2013.08.23. Announcement)

따라서 본 발명의 목적은 형광영상 프로브의 광원의 배치에 대해 입사광이 고르게 분포되는 배경 관찰영역을 촬영하여 획득되는 형광배경영상을 이용하여 고르게 조사되지 못하는 형광 여기광에 대해서 실시간 촬영되는 형광(분자)영상을 보정하는 형광배경영상을 이용한 형광영상 왜곡 보정 장치 및 방법을 제공함에 있다.Accordingly, it is an object of the present invention to use a fluorescence background image obtained by photographing a background observation area in which incident light is evenly distributed with respect to the arrangement of the light source of the fluorescence imaging probe to capture fluorescence (molecular) in real time for fluorescence excitation light that is not evenly irradiated. An object of the present invention is to provide an apparatus and method for correcting fluorescence image distortion using a fluorescence background image for correcting an image.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치는: 광을 조사하는 다수의 광원이 배치되는 형광영상 프로브를 통해 형광물질이 없는 배경 관찰영역을 촬영하여 상기 배경 관찰영역에 입사하는 입사광이 고르게 분포된 형광영상인 형광배경영상을 획득하여 출력하는 배경영상 획득부; 상기 형광영상 프로브를 통해 실제 촬영 대상인 관찰영역을 촬영한 형광영상을 획득하여 출력하는 형광영상 획득부; 및 상기 형광배경영상 및 상기 형광영상을 입력받아 상기 형광배경영상을 상기 형광영상에 적용하여 상기 형광영상의 왜곡을 보정하는 배경영상 보정부를 포함하는 것을 특징으로 한다.In accordance with the present invention for achieving the above object, a fluorescence image distortion correction apparatus using a fluorescence background image is provided by photographing a background observation area without fluorescence material through a fluorescence image probe in which a plurality of light sources irradiating light are disposed. a background image acquisition unit for acquiring and outputting a fluorescence background image, which is a fluorescence image in which incident light incident on the background observation area is evenly distributed; a fluorescence image acquisition unit for acquiring and outputting a fluorescence image obtained by photographing an observation area that is an actual photographing target through the fluorescence imaging probe; and a background image correction unit configured to receive the fluorescence background image and the fluorescence image and apply the fluorescence background image to the fluorescence image to correct distortion of the fluorescence image.

상기 배경영상 보정부는, 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경영상 직접 보정부; 다수의 형광배경영상을 평균한 평균 형광배경영상을 획득한 후, 상기 평균 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경 평균영상 보정부; 및 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성한 후, 상기 보정함수로 상기 형광영상의 픽셀들을 보정하는 가우시안 보정부 중 어느 하나를 포함하는 것을 특징으로 한다.The background image correcting unit obtains a light source intensity distribution image from the fluorescent background image and corrects the brightness of surrounding pixels of the fluorescent image based on a portion having the strongest light intensity of the light source intensity distribution image while comparing the intensity distribution image and the fluorescent image. a background image direct correction unit; After obtaining an average fluorescence background image obtained by averaging a plurality of fluorescence background images, a light source intensity distribution image is obtained from the average fluorescence background image, and the intensity distribution image is compared with the fluorescence image, and the light intensity of the light source intensity distribution image is strongest a background average image correcting unit that corrects the brightness of surrounding pixels of the fluorescence image based on ; and a Gaussian correction unit that acquires a light source intensity distribution image from the fluorescent background image, generates an image correction function by matching the light source intensity distribution image to a two-dimensional Gaussian function, and corrects pixels of the fluorescent image with the correction function It is characterized in that it contains any one.

상기 배경영상 보정부는, 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경영상 직접 보정부; 다수의 형광배경영상을 평균한 평균 형광배경영상을 획득한 후, 상기 평균 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경 평균영상 보정부; 및 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성한 후, 상기 보정함수로 상기 형광영상의 픽셀들을 보정하는 가우시안 보정부 중 어느 둘 이상을 포함하는 것을 특징으로 한다.The background image correcting unit obtains a light source intensity distribution image from the fluorescent background image and corrects the brightness of surrounding pixels of the fluorescent image based on a portion having the strongest light intensity of the light source intensity distribution image while comparing the intensity distribution image and the fluorescent image. a background image direct correction unit; After obtaining an average fluorescence background image obtained by averaging a plurality of fluorescence background images, a light source intensity distribution image is obtained from the average fluorescence background image, and the intensity distribution image is compared with the fluorescence image, and the light intensity of the light source intensity distribution image is strongest a background average image correcting unit that corrects the brightness of surrounding pixels of the fluorescence image based on ; and a Gaussian correction unit that acquires a light source intensity distribution image from the fluorescent background image, generates an image correction function by matching the light source intensity distribution image to a two-dimensional Gaussian function, and corrects pixels of the fluorescent image with the correction function It is characterized in that it includes any two or more of them.

상기 장치는: 획득되는 형광영상의 상태에 따라 상기 배경영상 직접 보정부, 배경 평균영상 보정부 및 및 가우시안 보정부 중 어느 하나를 선택하여 구동시키는 보정 선택부를 더 포함하는 것을 특징으로 한다.The apparatus further comprises: a correction selector which selects and drives any one of the background image direct correction unit, the background average image correction unit, and the Gaussian correction unit according to the state of the acquired fluorescence image.

상기 배경영상 직접 보정부는, 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 상기 광원 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 왜곡을 보정하는 형광영상 보정부; 및 상기 보정된 형광영상의 콘트라스트를 조절하여 출력하는 콘트라스트 조절부를 포함하는 것을 특징으로 한다.The background image direct correction unit obtains a light source intensity distribution image from the fluorescent background image and compares the light source intensity distribution image with the fluorescence image. a fluorescence image correction unit for correcting distortion; and a contrast adjusting unit that adjusts and outputs the contrast of the corrected fluorescence image.

상기 가우시안 보정부는, 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 영상 보정함수에 대응하는 가우시안 피팅 광원 세기 분포 영상을 생성하여 정규화(normalization)시키는 가우시안 배경영상 획득부; 및 상기 형광영상 및 상기 가우시안 피팅 광원 세기 분포 영상을 입력받아 상기 가우시안 피팅 광원 세기 분포 영상으로 상기 형광영상을 보정하는 가우시안 피팅 보정부를 포함하는 것을 특징으로 한다.The Gaussian correction unit may include: a Gaussian background image acquisition unit for obtaining a light source intensity distribution image from the fluorescent background image, generating a Gaussian fitting light source intensity distribution image corresponding to the image correction function, and normalizing the image; and a Gaussian fitting correction unit receiving the fluorescence image and the Gaussian fitting light source intensity distribution image and correcting the fluorescence image with the Gaussian fitting light source intensity distribution image.

상기 가우시안 보정부는, 상기 정규화된 가우시안 보정함수에서 70% 이하인지의 여부에 따라 상기 보정된 형광영상의 과잉 보정 여부를 판단하여 과잉 보정된 것으로 판단되면 과잉 보상 보정용 정규화된 가우시안 보정함수에서 0.3 이하에 1을 반영한 수정된 가우시안 보정함수를 획득하여 과잉 보상된 형광영상의 픽셀을 보정하는 과잉 보상부를 더 포함하는 것을 특징으로 한다. The Gaussian correction unit determines whether the corrected fluorescence image is over-corrected according to whether or not it is 70% or less in the normalized Gaussian correction function. It is characterized in that it further comprises an over-compensation unit for correcting the pixels of the over-compensated fluorescence image by obtaining the corrected Gaussian correction function reflecting 1 .

상기 가우시안 보정부는, 상기 과잉 보상부로부터 출력되는 형광영상의 콘트라스트를 조절하여 출력하는 콘트라스트 조절부를 더 포함하는 것을 특징으로 한다.The Gaussian correction unit may further include a contrast control unit configured to adjust and output the contrast of the fluorescent image output from the excess compensation unit.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 방법은: 배경영상 획득부가 광을 조사하는 다수의 광원이 배치되는 형광영상 프로브를 통해 형광물질이 없는 배경 관찰영역을 촬영하여 상기 배경 관찰영역에 입사하는 입사광이 고르게 분포된 형광영상인 형광배경영상을 획득하여 출력하는 배경영상 획득 과정; 형광영상 획득부가 상기 형광영상 프로브로를 통해 실제 촬영 대상인 관찰영역을 촬영한 형광영상을 획득하여 출력하는 형광영상 획득 과정; 및 배경영상 보정부가 상기 형광배경영상 및 상기 형광영상을 입력받아 상기 형광배경영상을 상기 형광영상에 적용하여 상기 형광영상의 왜곡을 보정하는 배경영상 보정 과정을 포함하는 것을 특징으로 한다.The method for correcting fluorescence image distortion using a fluorescence background image according to the present invention for achieving the above object is: a background observation area without a fluorescence material through a fluorescence image probe in which a plurality of light sources irradiated by a background image acquisition unit are disposed. a background image acquisition process of acquiring and outputting a fluorescence background image, which is a fluorescence image in which incident light incident on the background observation area is evenly distributed by photographing; a fluorescence image acquisition process in which a fluorescence image acquisition unit acquires and outputs a fluorescence image obtained by photographing an observation area that is an actual photographing target through the fluorescence imaging probe; and a background image correction process in which a background image correction unit receives the fluorescence background image and the fluorescence image and applies the fluorescence background image to the fluorescence image to correct distortion of the fluorescence image.

상기 배경영상 보정 과정은, 상기 배경영상 보정부가 배경영상 직접 보정부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경영상 직접 보정 단계; 상기 배경영상 보정부가 배경 평균영상 보정부를 통해 다수의 형광배경영상을 평균한 평균 형광배경영상을 획득한 후, 상기 평균 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경 평균영상 보정 단계; 및 상기 배경영상 보정부가 가우시안 보정부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성한 후, 상기 보정함수로 상기 형광영상의 픽셀들을 보정하는 가우시안 보정 단계 중 어느 하나를 포함하는 것을 특징으로 한다.In the background image correction process, the background image correction unit acquires the light source intensity distribution image from the fluorescent background image through the background image direct correction unit and compares the intensity distribution image with the fluorescence image while the light intensity of the light source intensity distribution image is strongest a background image direct correction step of correcting the brightness of surrounding pixels of the fluorescence image based on After the background image correction unit acquires an average fluorescence background image obtained by averaging a plurality of fluorescence background images through the background average image correction unit, acquires a light source intensity distribution image from the average fluorescence background image and compares the intensity distribution image with the fluorescence image a background average image correction step of correcting the brightness of neighboring pixels of the fluorescent image based on the light intensity distribution image of the light source intensity distribution image; and the background image correction unit acquires a light source intensity distribution image from the fluorescence background image through a Gaussian correction unit, generates an image correction function by matching the light source intensity distribution image to a two-dimensional Gaussian function, and then uses the correction function to convert the fluorescence It characterized in that it comprises any one of the Gaussian correction step of correcting the pixels of the image.

상기 배경영상 보정 과정은, 상기 배경영상 보정부가 배경영상 직접 보정부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 광원 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 왜곡을 보정하는 배경영상 직접 보정 단계; 상기 배경영상 보정부가 배경 평균영상 보정부를 통해 다수의 형광배경영상을 평균한 평균 형광배경영상을 획득한 후, 상기 평균 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 배경 평균영상 보정 단계; 및 상기 배경영상 보정부가 가우시안 보정부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성한 후, 상기 보정함수로 상기 형광영상의 픽셀들을 보정하는 가우시안 보정 단계 중 어느 둘 이상을 포함하는 것을 특징으로 한다.In the background image correction process, the background image correcting unit acquires the light source intensity distribution image from the fluorescent background image through the background image direct correction unit and compares the light source intensity distribution image with the fluorescence image, while the light intensity of the light source intensity distribution image is the strongest A background image direct correction step of correcting the distortion of surrounding pixels of the fluorescent image based on the part; After the background image correction unit acquires an average fluorescence background image obtained by averaging a plurality of fluorescence background images through the background average image correction unit, acquires a light source intensity distribution image from the average fluorescence background image and compares the intensity distribution image with the fluorescence image a background average image correction step of correcting the brightness of neighboring pixels of the fluorescent image based on the light intensity distribution image of the light source intensity distribution image; and the background image correction unit acquires a light source intensity distribution image from the fluorescence background image through a Gaussian correction unit, generates an image correction function by matching the light source intensity distribution image to a two-dimensional Gaussian function, and then uses the correction function to convert the fluorescence It characterized in that it comprises any two or more of the Gaussian correction step of correcting the pixels of the image.

상기 방법은: 보정 선택부가 획득되는 형광영상의 상태에 따라 상기 배경영상 직접 보정부, 배경 평균영상 보정부 및 및 가우시안 보정부 중 어느 하나를 선택하여 구동시키는 보정 선택 과정을 더 포함하는 것을 특징으로 한다.The method further comprises: a correction selection process in which the correction selection unit selects and drives any one of the background image direct correction unit, the background average image correction unit, and the Gaussian correction unit according to the state of the acquired fluorescence image do.

상기 배경영상 직접 보정 단계는, 상기 배경영상 보정부가 배경영상 직접 보정부의 형광영상 보정부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고 세기 분포 영상과 형광영상을 비교하면서 광원 세기 분포 영상의 광의 세기가 가장 강한 부분을 기준으로 형광영상의 주변 픽셀들의 밝기를 보정하는 형광영상 보정 단계; 및 상기 배경영상 보정부가 배경영상 직접 보정부의 콘트라스트 조절부를 통해 상기 보정된 형광영상의 콘트라스트를 조절하여 출력하는 콘트라스트 조절 단계를 포함하는 것을 특징으로 한다.In the background image direct correction step, the background image correction unit acquires a light source intensity distribution image from the fluorescence background image through the background image direct correction unit fluorescence image correction unit and compares the intensity distribution image with the fluorescence image of the light source intensity distribution image. a fluorescence image correction step of correcting the brightness of surrounding pixels of the fluorescence image based on a portion having the strongest light intensity; and a contrast adjusting step in which the background image correcting unit adjusts the contrast of the corrected fluorescent image through a contrast adjuster of the background image direct corrector and outputs the adjusted contrast.

상기 가우시안 보정 단계는, 상기 배경영상 보정부가 가우시안 보정부의 가우시안 배경영상 획득부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 영상 보정함수에 대응하는 가우시안 피팅 광원 세기 분포 영상을 생성하는 가우시안 배경영상 획득 단계; 및 상기 배경영상 보정부가 가우시안 보정부의 가우시안 피팅 보정부를 통해 상기 형광영상 및 상기 가우시안 피팅 광원 세기 분포 영상을 입력받아 상기 가우시안 피팅 광원 세기 분포 영상으로 상기 형광영상을 보정하는 가우시안 피팅 보정 단계를 포함하는 것을 특징으로 한다.In the Gaussian correction step, the background image correction unit acquires a light source intensity distribution image from the fluorescence background image through the Gaussian background image acquisition unit of the Gaussian correction unit, and generates a Gaussian fitting light source intensity distribution image corresponding to the image correction function. Gaussian background image acquisition step; and a Gaussian fitting correction step in which the background image correction unit receives the fluorescence image and the Gaussian fitting light source intensity distribution image through the Gaussian fitting correction unit of the Gaussian correction unit and corrects the fluorescence image with the Gaussian fitting light source intensity distribution image. characterized in that

상기 가우시안 보정 단계는, 상기 배경영상 보정부가 상기 정규화된 가우시안 보정함수에서 70% 이하인지의 여부에 따라 상기 보정된 형광영상의 과잉 보정 여부를 판단하여 과잉 보정된 것으로 판단되면 과잉 보상 보정용 정규화된 가우시안 보정함수에서 0.3 이하에 1을 반영한 수정된 가우시안 보정함수를 획득하여 과잉 보상된 형광영상의 픽셀을 보정하는 과잉 보상 단계를 더 포함하는 것을 특징으로 한다. In the Gaussian correction step, the background image correction unit determines whether or not to overcorrect the corrected fluorescence image according to whether or not the normalized Gaussian correction function is 70% or less in the normalized Gaussian correction function. It characterized in that it further comprises an over-compensation step of correcting the pixels of the over-compensated fluorescence image by obtaining a corrected Gaussian correction function that reflects 1 to 0.3 in the correction function.

본 발명은 형광배경영상을 이용하여 획득되는 형광영상을 보정하므로 별도의 센서 등의 장치를 분자 또는 세포 단위의 관찰영역에 설치하지 않아도 되고 광원의 광원 세기를 개별 제어를 수행할 필요가 없으므로 그 설치가 용이하고 단가를 낮출 수 있는 효과가 있다.Since the present invention corrects a fluorescence image obtained using a fluorescence background image, there is no need to install a separate sensor, etc., in the observation area of a molecule or cell unit, and there is no need to individually control the light source intensity of the light source. It is easy to use and has the effect of lowering the unit cost.

또한, 본 발명은 형광배경영상을 이용한 3가지의 기법 중 어느 하나를 선택적으로 적용할 수 있도록 함으로써 보정 효율을 향상시킬 수 있는 효과가 있다.In addition, the present invention has the effect of improving the correction efficiency by selectively applying any one of the three techniques using the fluorescent background image.

또한, 본 발명은 관찰영역의 형광영상의 여기광을 보정하므로써 관찰영역에 대해 정량화된 형광영상을 획득할 수 있는 효과가 있다.In addition, the present invention has the effect of obtaining a quantified fluorescence image for the observation area by correcting the excitation light of the fluorescence image of the observation area.

도 1은 본 발명에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치의 배경영상 보정부의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 배경영상 보정부의 배경영상 직접 보정부의 구성을 나타낸 도면이다.
도 4는 본 발명에 따른 배경영상 보정부의 배경 평균영상 보정부의 구성을 나타낸 도면이다.
도 5는 본 발명에 따른 배경영상 보정부의 가우시안 보정부의 구성을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 형광영상 보정방법별 형광영상을 나타낸 도면이다.1 is a diagram showing the configuration of a fluorescence image distortion correction apparatus using a fluorescence background image according to the present invention.
2 is a diagram showing the configuration of a background image correction unit of an apparatus for correcting fluorescence image distortion using a fluorescence background image according to an embodiment of the present invention.
3 is a diagram showing the configuration of a background image direct correction unit of the background image correction unit according to the present invention.
4 is a diagram showing the configuration of a background average image correcting unit of the background image correcting unit according to the present invention.
5 is a diagram showing the configuration of a Gaussian correction unit of the background image correction unit according to the present invention.
6 is a view showing a fluorescence image for each fluorescence image correction method according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치의 구성 및 동작을 설명하고, 상기 장치에서의 형광영상 왜곡 보정 방법을 설명한다.Hereinafter, the configuration and operation of a fluorescence image distortion correction apparatus using a fluorescence background image according to the present invention will be described with reference to the accompanying drawings, and a fluorescence image distortion correction method in the apparatus will be described.

도 1은 본 발명에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치의 구성을 나타낸 도면이다.1 is a diagram showing the configuration of a fluorescence image distortion correction apparatus using a fluorescence background image according to the present invention.

도 1을 참조하면, 본 발명에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치는 형광영상 프로브(10), 영상 저장부(20), 배경영상 획득부(30), 형광영상 획득부(40), 배경영상 보정부(60) 및 출력부(70)를 포함하고, 실시예에 따라 보정 선택부(50)를 더 포함할 수 있을 것이다.1 , the apparatus for correcting fluorescence image distortion using a fluorescence background image according to the present invention includes a fluorescence image probe 10 , an image storage unit 20 , a background image acquisition unit 30 , and a fluorescence image acquisition unit 40 . , the background image correction unit 60 and the output unit 70, and may further include a correction selection unit 50 according to an embodiment.

형광영상 프로브(10)는 CCD 카메라(미도시) 및 CCD 카메라의 렌즈 주변에 구성되는 다수의 광원부(미도시)를 포함하여 구성된다.The fluorescence imaging probe 10 includes a CCD camera (not shown) and a plurality of light sources (not shown) configured around a lens of the CCD camera.

형광영상 프로브(10)는 CCD 카메라가 촬영하고자 하는 관찰영역을 촬영하되, 배경영상 획득부(30)의 제어를 받아 형광물질이 없고 광원이 고르게 분포될 수 있는 관찰영역(이하 "배경 관찰영역"이라 함)에 다수의 광원에 의한 광을 조사하고 그에 대한 형광배경영상을 촬영하여 출력한다. 상기 배경 관찰영역은 실제 물질 또는 세포 등의 촬영영역이 아닌 평평한 영역이 될 수 있을 것이다. The fluorescent imaging probe 10 captures the observation area that the CCD camera wants to photograph, but under the control of the background image acquisition unit 30, there is no fluorescent material and the observation area in which the light source can be evenly distributed (hereinafter "background observation area") ) is irradiated with light from a plurality of light sources, and a fluorescent background image is taken and output. The background observation area may be a flat area, not a photographing area of an actual material or cell.

상기 형광영상 프로브(10)는 형광영상 획득부(40)의 제어를 받아 분자단위 또는 세포단위의 관찰영역을 촬영하고, 관찰영역에 투입된 형광물질과 상기 광원에서 출사되어 상기 관찰영역으로 입사하는 입사광인 여기광에 의해 반응하여 관찰영역으로부터 방출되는 형광신호를 포함하는 관찰영역을 촬영한 형광영상을 출력한다.The fluorescence imaging probe 10 is controlled by the fluorescence image acquisition unit 40 to photograph the observation area in molecular or cellular units, and the fluorescent material injected into the observation area and incident light emitted from the light source and incident into the observation area. A fluorescence image obtained by photographing an observation area including a fluorescence signal emitted from the observation area in response to phosphorus excitation light is output.

영상 저장부(20)는 상기 형광영상 프로브(10)를 통해 촬영되는 형광영상을 저장하는 형광영상 저장부(21) 및 형광배경영상을 저장하는 배경영상 저장부(22)를 포함한다.The image storage unit 20 includes a fluorescence image storage unit 21 for storing a fluorescence image photographed through the fluorescence image probe 10 and a background image storage unit 22 for storing a fluorescence background image.

상기 배경영상 획득부(30)는 촬영대상의 관찰영역을 촬영하기 이전에 형광영상 프로브(10)를 제어하여 형광물질이 투여되지 않은 배경 관찰영역에 다수의 광원에 의한 광을 조사한 후 상기 배경 관찰영역을 촬영하여 형광배경영상을 획득하여 배경영상 저장부(22)에 저장한다.The background image acquisition unit 30 controls the fluorescent imaging probe 10 before photographing the observation area of the object to be photographed, irradiates light from a plurality of light sources into the background observation area to which the fluorescent material is not administered, and then observes the background. The area is photographed to obtain a fluorescent background image and stored in the background image storage unit 22 .

상기 배경영상 획득부(30)는 형광배경영상의 획득과 동시에 형광배경영상을 배경영상 보정부(60)로 출력할 수도 있고, 배경영상 보정부(60)의 요청 시 배경영상 저장부(22)로부터 형광배경영상을 획득하여 배경영상 보정부(60)로 제공할 수도 있을 것이다.The background image acquisition unit 30 may output a fluorescent background image to the background image correction unit 60 at the same time as the acquisition of the fluorescent background image, and at the request of the background image correction unit 60, the background image storage unit 22 It may be possible to obtain a fluorescent background image from the fluorescence background image and provide it to the background image correction unit 60 .

형광영상 획득부(40)는 형광영상 프로브(10)를 제어하여 형광물질이 투입된 촬영대상의 관찰영역에 다수의 광원에 의한 광을 조사하고, 그에 따른 형광신호를 포함하는 관찰영역을 촬영한 형광영상을 획득하여 형광영상 저장부(21)에 저장한다.The fluorescence image acquisition unit 40 controls the fluorescence image probe 10 to irradiate light from a plurality of light sources to the observation area of the subject to be photographed into which the fluorescent material is injected, and the fluorescent image obtained by photographing the observation area including the resulting fluorescence signal. An image is acquired and stored in the fluorescence image storage unit 21 .

형광영상 획득부(40) 또한 형광영상의 획득과 동시에 형광영상을 배경영상 보정부(60)로 출력할 수도 있고, 배경영상 보정부(60)의 요청 시 형광영상 저장부(21)로부터 하나 이상의 형광영상을 획득하여 배경영상 보정부(60)로 제공할 수도 있을 것이다.The fluorescence image acquisition unit 40 may also output a fluorescence image to the background image correction unit 60 at the same time as the acquisition of the fluorescence image, and at the request of the background image correction unit 60, one or more fluorescence image storage units 21 It may be possible to obtain a fluorescence image and provide it to the background image corrector 60 .

배경영상 보정부(60)는 상기 배경영상 획득부(30)로부터 입력되는 형광배경영상을 형광영상 획득부(40)로부터 입력되는 형광영상에 적용하여 여기광이 관찰영역에 불균형 입사함에 따른 형광영상의 왜곡을 보정하여 출력부(70)로 출력한다.The background image corrector 60 applies the fluorescence background image input from the background image acquirer 30 to the fluorescence image input from the fluorescence image acquirer 40 to cause the excitation light to be unbalanced incidentally on the observation area. The distortion is corrected and output to the output unit 70 .

상기 배경영상 보정부(60)는 3가지 방식 중 어느 하나의 방식이 적용될 수도 있고, 3가지 방식 중 둘 이상을 포함하여 복수의 방식 중 보정 선택부(50)를 통해 선택된 하나에 의해 상기 형광영상의 왜곡을 보상한다.Any one of three methods may be applied to the background image correcting unit 60, and the fluorescent image is selected by one selected through the correction selection unit 50 among a plurality of methods including two or more of the three methods. to compensate for the distortion of

상기 방식으로는 상기 형광배경영상을 이용하되, 형광배경영상을 직접 형광영상에 적용하여 형광영상의 왜곡을 보정하는 배경영상 직접 보정 방식, 다수의 형광배경영상들에 대한 평균 형광배경영상을 생성하여 형광영상에 적용하여 형광영상의 왜곡을 보정하는 배경 평균 영상 보정 방식 및 가우시안 함수를 이용하는 가우시안 보정 방식이 적용될 수 있을 것이다.In the above method, the fluorescence background image is used, but the background image direct correction method for correcting the distortion of the fluorescence image by directly applying the fluorescence background image to the fluorescence image, by generating an average fluorescence background image for a plurality of fluorescence background images A background average image correction method for correcting distortion of a fluorescence image by applying it to a fluorescence image and a Gaussian correction method using a Gaussian function may be applied.

보정 선택부(50)는 실시예에 따라 구성되어 배경영상 보정부(60)에 둘 이상의 보정 방식이 적용되는 경우 둘 이상 중 하나를 선택하여 동작하도록 한다.The correction selector 50 is configured according to an embodiment so that when two or more correction methods are applied to the background image corrector 60, one of two or more is selected and operated.

상기 보정 선택부(50)는 사용자로부터 보정 방식을 입력받아 선택할 수도 있고, 모드에 따라 자동으로 선택되도록 구성될 수도 있을 것이다. 후자의 경우, 일예를 들면, 보정 선택부(50)는 형광영상 획득부(40)가 형광영상 프로브(10)로부터 획득된 형광영상을 배경영상 보정부(60)로 바로 출력하는 경우 상기 배경영상 직접 보정 방식을 선택하고, 형광영상 획득부(40)가 영상 저장부(20)의 형광영상 저장부(210)로부터 형광영상을 로드하여 배경영상 보정부(60)로 출력하는 경우 배경 평균영상 보정 방식을 선택할 수 있으며, 형광배경영상의 최대 밝은 픽셀의 밝기가 미리 설정된 기준치 이하인 경우 가우시안 보정방식을 선택하도록 구성될 수 있을 것이다.The correction selection unit 50 may receive a correction method input from a user and select it, or may be configured to be automatically selected according to a mode. In the latter case, for example, when the correction selector 50 directly outputs the fluorescence image obtained from the fluorescence image probe 10 to the background image correction unit 60 by the fluorescence image acquisition unit 40, the background image When a direct correction method is selected and the fluorescence image acquisition unit 40 loads the fluorescence image from the fluorescence image storage unit 210 of the image storage unit 20 and outputs it to the background image correction unit 60, the background average image correction A method may be selected, and when the brightness of the brightest pixel of the fluorescent background image is less than or equal to a preset reference value, the Gaussian correction method may be selected.

출력부(70)는 액정 디스플레이장치(Liquid Crystal Display: LCD), 유기 EL(Electro Luminescence) 디스플레이장치 등으로 상기 배경영상 보정부(60)에서 보정된 형광영상을 표시한다.The output unit 70 displays the fluorescence image corrected by the background image correction unit 60 using a liquid crystal display (LCD), an organic electroluminescence (EL) display, or the like.

상기 출력부(70)는 프린터 등이 될 수도 있으며, 이 경우 상기 형광영상을 프린트할 것이다.The output unit 70 may be a printer or the like, and in this case, the fluorescent image will be printed.

도 2는 본 발명의 일실시예에 따른 형광배경영상을 이용한 형광영상 왜곡 보정 장치의 배경영상 보정부의 구성을 나타낸 도면이고, 도 3은 본 발명에 따른 배경영상 보정부의 배경영상 직접 보정부의 구성을 나타낸 도면이고, 도 4는 본 발명에 따른 배경영상 보정부의 배경 평균영상 보정부의 구성을 나타낸 도면이고, 도 5는 본 발명에 따른 배경영상 보정부의 가우시안 보정부의 구성을 나타낸 도면이며, 도 6은 본 발명의 일실시예에 따른 형광영상 보정방법별 형광영상을 나타낸 도면이다. 이하 도 2 내지 도 6을 참조하여 설명한다.2 is a view showing the configuration of a background image correction unit of a fluorescence image distortion correction apparatus using a fluorescence background image according to an embodiment of the present invention, and FIG. 3 is a background image direct correction unit of the background image correction unit according to the present invention. 4 is a diagram showing the configuration of the background average image correction unit of the background image correction unit according to the present invention, Figure 5 is a view showing the configuration of the Gaussian correction unit of the background image correction unit according to the present invention 6 is a view showing a fluorescence image for each fluorescence image correction method according to an embodiment of the present invention. Hereinafter, it will be described with reference to FIGS. 2 to 6 .

배경영상 보정부(60)는 배경영상 직접 보정부(100), 배경 평균영상 보정부(200) 및 가우시안 보정부(300) 중 어느 하나만을 포함할 수도 있고, 배경영상 직접 보정부(100), 배경 평균영상 보정부(200) 및 가우시안 보정부(300) 중 둘 이상을 포함하여 보정 선택부(50)에 의해 선택된 하나가 동작하도록 구성될 수도 있을 것이다.The background image correcting unit 60 may include any one of the background image direct correcting unit 100, the background average image correcting unit 200 and the Gaussian correcting unit 300, and the background image direct correcting unit 100, One selected by the correction selection unit 50 including two or more of the background average image correction unit 200 and the Gaussian correction unit 300 may be configured to operate.

도 3을 참조하면 배경영상 직접 보정부(100)는 배경영상 직접 보정부(110) 및 콘트라스트 조절부(120)를 포함한다.Referring to FIG. 3 , the background image direct corrector 100 includes a background image direct corrector 110 and a contrast adjuster 120 .

배경영상 직접 보정부(110)는 도 6의 601과 같은 형광배경영상 및 602와 같은 형광영상을 입력받고, 형광배경영상(601)으로부터 광원 세기 분포 영상(611)을 획득하고 광원 세기 분포 영상(611)과 형광영상(602)을 비교하면서 광원 세기 분포 영상(611)의 광의 세기가 가장 강한 부분을 기준으로 형광영상(602)의 주변 픽셀들의 왜곡을 보정한다.The background image direct correction unit 110 receives a fluorescence background image such as 601 and a fluorescence image such as 602 of FIG. 6 , and obtains a light source intensity distribution image 611 from the fluorescent background image 601, and obtains a light source intensity distribution image ( 611) and the fluorescence image 602 are compared, and distortion of surrounding pixels of the fluorescence image 602 is corrected based on a portion having the strongest light intensity of the light source intensity distribution image 611 .

상기 콘트라스트 조절부(120)는 배경영상 직접 보정부(110)에서 보정된 형광영상의 콘트라스트를 조절하여 콘트라스트가 조절된 배경영상(613)을 출력한다.The contrast adjusting unit 120 adjusts the contrast of the fluorescent image corrected by the background image direct correcting unit 110 to output the contrast-adjusted background image 613 .

도 4를 참조하면, 배경 평균영상 보정부(200)는 평균 배경영상 획득부(210), 평균 보상부(220) 및 콘트라스트 조절부(230)를 포함한다.Referring to FIG. 4 , the background average image correcting unit 200 includes an average background image obtaining unit 210 , an average compensating unit 220 , and a contrast adjusting unit 230 .

평균 배경영상 획득부(210)는 배경영상 획득부(30)로부터 형광배경영상을 획득하여 출력하는 형광 배경영상 획득부(211), 상기 형광 배경영상 획득부(211)로부터 출력되는 형광배경영상의 수를 카운트하여 미리 설정된 개수의 형광배경영상이 획득되는지를 판단하는 획득 형광 배경영상 개수 카운트부(212) 및 미리 설정된 개수의 형광배경영상이 획득되면 획득된 형광배경영상들을 평균화하여 평균 형광배경영상을 생성하여 출력하는 형광 배경영상 평균화부(213)를 포함한다.The average background image acquisition unit 210 includes a fluorescent background image acquisition unit 211 that acquires and outputs a fluorescent background image from the background image acquisition unit 30, and a fluorescent background image output from the fluorescent background image acquisition unit 211. An acquired fluorescence background image count unit 212 that counts the number and determines whether a preset number of fluorescence background images are acquired, and when a preset number of fluorescence background images are acquired, the acquired fluorescence background images are averaged to average the average fluorescence background image and a fluorescent background image averaging unit 213 for generating and outputting .

평균 보상부(220)는 형광영상 획득부(40)를 통해 형광영상을 입력받고 상기 평균 배경영상 획득부(210)로부터 평균 형광배경영상을 입력받아 상기 평균 형광배경영상을 상기 형광영상에 적용하여 상기 형광영상의 왜곡을 보정하여 출력한다.The average compensation unit 220 receives the fluorescence image through the fluorescence image acquisition unit 40, receives the average fluorescence background image from the average background image acquisition unit 210, and applies the average fluorescence background image to the fluorescence image. The distortion of the fluorescence image is corrected and output.

콘트라스트 조절부(230)는 상기 왜곡이 보상된 형광영상의 콘트라스트를 미리 설정된 값으로 조절하여 출력부(70)로 출력한다.The contrast adjusting unit 230 adjusts the contrast of the fluorescence image for which the distortion has been compensated to a preset value and outputs it to the output unit 70 .

도 5를 참조하면, 가우시안 보정부(300)는 가우시안 배경영상 획득부(310) 및 가우시안 피팅 보정부(320)를 포함하고, 실시예에 따라 과잉 보상부(330) 및 콘트라스트 조절부(340)를 더 포함할 수 있을 것이다.Referring to FIG. 5 , the Gaussian correction unit 300 includes a Gaussian background image acquisition unit 310 and a Gaussian fitting correction unit 320 , and according to an embodiment, an over-compensation unit 330 and a contrast adjustment unit 340 . may include more

가우시안 배경영상 획득부(310)는 형광 배경영상 획득부(311), 가우시안 매개변수 획득부(312) 및 가우시안 피팅 배경영상 생성부(313)를 포함한다.The Gaussian background image obtaining unit 310 includes a fluorescent background image obtaining unit 311 , a Gaussian parameter obtaining unit 312 , and a Gaussian fitting background image generating unit 313 .

형광배경영상 획득부(311)는 배경영상 획득부(30)를 통해 형광배경영상(601)을 획득하고, 형광배경영상으로부터 광원 세기 분포 영상(611)을 생성하여 출력한다.The fluorescent background image obtaining unit 311 obtains a fluorescent background image 601 through the background image obtaining unit 30 , and generates and outputs a light source intensity distribution image 611 from the fluorescent background image.

가우시안 매개변수 획득부(312)는 상기 광원 세기 분포 영상을 입력받고 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성하고 보정함수의 최대값으로 나눠줌으로써 정규화된 보정함수를 출력한다.The Gaussian parameter acquisition unit 312 receives the light source intensity distribution image, matches the light source intensity distribution image to a two-dimensional Gaussian function, generates an image correction function, and divides it by the maximum value of the correction function to output a normalized correction function. do.

가우시안 피팅 배경영상 생성부(313)는 상기 보정함수를 입력받고 상기 보정함수에 대응하는 가우시안 피팅 광세기 분포 영상인 가우시안 피팅 배경영상(621)을 생성하여 가우시안 피팅 보정부(320)로 출력한다.The Gaussian fitting background image generating unit 313 receives the correction function, generates a Gaussian fitting background image 621 that is a Gaussian fitting light intensity distribution image corresponding to the correction function, and outputs it to the Gaussian fitting correcting unit 320 .

가우시안 피팅 보정부(320)는 형광영상 획득부(40)로부터 형광영상(602)을 입력받고 상기 가우시안 배경영상획득부(310)의 가우시안 피팅 배경영상 생성부(313)로부터 가우시안 피팅 배경영상(621)을 입력받는다.The Gaussian fitting corrector 320 receives the fluorescence image 602 from the fluorescence image acquisition unit 40 and receives the Gaussian fitting background image 621 from the Gaussian fitting background image generator 313 of the Gaussian background image acquisition unit 310 . ) is input.

가우시안 피팅 보정부(320)는 상기 배경영상(602)을 가우시안 피팅 배경영상(621)으로 보정하여 보정된 형광영상(622)을 출력한다. 상기 가우시안 피팅 배경영상(621)으로 배경영상(602)을 보정하는 방법은 광세기 분포 영상(611)으로 배경영상(602)을 보정하는 방법과 동일한 방법이 적용될 수 있을 겄이다.The Gaussian fitting correcting unit 320 outputs the corrected fluorescence image 622 by correcting the background image 602 with the Gaussian fitting background image 621 . The method of correcting the background image 602 with the Gaussian fitting background image 621 may be the same as the method of correcting the background image 602 with the light intensity distribution image 611 may be applied.

과잉 보상부(330)는 과잉보상 판단부(331), 가잉보상 영상 획득부(332) 및 과잉보상 보정부(333)를 포함한다.The overcompensation unit 330 includes an overcompensation determining unit 331 , a false compensation image obtaining unit 332 , and an overcompensation correcting unit 333 .

과잉보상 판단부(331)는 정규화된 가우시안 보정함수에서 70% 이하(광원의 특성에 따라 달라질 수 있음)로 기준을 정하여 정규화된 가우시안 보정함수의 값을 기준으로 판단할 수 있을 것이다. 즉, 과잉 보상부(331)는 상기 광세기 값의 범위가 광세기가 0~1까지 분포하는 정규화된 가우시안 보정함수의 70% 이하(0.3이하, 광원의 특성에 따라 달라질 수 있음) 인지를 기준으로 판단한다.The overcompensation determining unit 331 may determine the normalized Gaussian correction function based on the value of the normalized Gaussian correction function by setting the criterion to be 70% or less (which may vary depending on the characteristics of the light source) in the normalized Gaussian correction function. That is, the excess compensator 331 determines whether the range of the light intensity value is 70% or less (0.3 or less, may vary depending on the characteristics of the light source) of the normalized Gaussian correction function in which the light intensity is distributed from 0 to 1. to be judged as

과잉보상 영상 획득부(330)는 상기 과잉 보상 판단부(331)에 의해 과잉보상인 것으로 판단되면 과잉보상 보정용 광세기 분포 영상인 과잉보상 보정용 영상(631)을 생성하여 과잉보상 보정부(333)로 출력한다.When the overcompensation image acquisition unit 330 is determined to be overcompensation by the overcompensation determination unit 331, the overcompensation correction image 631 is generated, which is a light intensity distribution image for overcompensation correction, and the overcompensation correction unit 333 output as

과잉보상 보정부(330)는 상기 가우시안 피팅 보정부(320)로부터 입력된 형광영상을 상기 과잉보상 영상 획득부(332)로부터 입력되는 과잉보상 보정용 영상(631)로 보정하여 출력한다.The overcompensation corrector 330 corrects the fluorescence image input from the Gaussian fitting corrector 320 into the overcompensation correction image 631 input from the overcompensation image obtainer 332 and outputs it.

상기 과잉 보상부(330)는 배경영상 직접 보정부(100) 및 배경 평균영상 보정부(200)에도 동일하게 적용될 수 있을 것이다.The excess compensation unit 330 may be equally applied to the background image direct correction unit 100 and the background average image correction unit 200 .

콘트라스트 조절부(340)는 가우시안 피팅 보정부(320) 및 과잉 보상부(330) 중 어느 하나로부터 입력되는 형광영상의 콘트라스트를 조절하여 출력부(70)로 출력한다.The contrast adjusting unit 340 adjusts the contrast of the fluorescence image input from any one of the Gaussian fitting correcting unit 320 and the excess compensating unit 330 and outputs it to the output unit 70 .

한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.On the other hand, it is common knowledge in the art that the present invention is not limited to the typical preferred embodiments described above, but can be improved, changed, replaced, or added in various ways without departing from the spirit of the present invention. Those who have will be able to understand it easily. If implementation by such improvement, change, substitution or addition falls within the scope of the following appended claims, the technical idea should also be considered to belong to the present invention.

10: 형광영상 프로브 20: 영상 저장부
21: 형광영상 저장부 22: 배경영상 저장부
30: 배경영상 획득부 40: 형광영상 획득부
50: 보정 선택부 60: 배경영상 보정부
70: 출력부 100: 배경영상 직접 보정부
110: 배경영상 직접 보정부 120: 콘트라스트 조절부
200: 배경 평균영상 보정부 210: 평균 배경영상 획득부
211: 형광 배경영상 획득부 212: 획득 형광 배경영상 개수 카운트부
213: 형광 배경영상 평균화부 220: 평균 보상부
230: 콘트라스 조절부 300: 가우시안 보정부
310: 가우시안 배경영상 획득부 311: 형광 배경영상 획득부
312: 가우시안 매개변수 획득부 313: 가우시안 피팅 배경영상 생성부
320: 가우시안 피팅 보정부 330: 과잉 보상부
331: 과잉보상 판단부 332: 과잉보상 영상 획득부
333: 과잉보상 보정부10: fluorescence image probe 20: image storage unit
21: fluorescence image storage unit 22: background image storage unit
30: background image acquisition unit 40: fluorescence image acquisition unit
50: correction selection unit 60: background image correction unit
70: output unit 100: background image direct correction unit
110: background image direct correction unit 120: contrast control unit
200: background average image correction unit 210: average background image acquisition unit
211: fluorescence background image acquisition unit 212: acquisition fluorescence background image number counting unit
213: fluorescence background image averaging unit 220: average compensation unit
230: contrast control unit 300: Gaussian correction unit
310: Gaussian background image acquisition unit 311: Fluorescent background image acquisition unit
312: Gaussian parameter acquisition unit 313: Gaussian fitting background image generation unit
320: Gaussian fitting correcting unit 330: Excessive compensating unit
331: overcompensation determination unit 332: overcompensation image acquisition unit
333: overcompensation correction unit

Claims (15)

광을 조사하는 다수의 광원이 배치되는 형광영상 프로브를 통해 형광물질이 없는 배경 관찰영역을 촬영하여 상기 배경 관찰영역에 입사하는 입사광이 고르게 분포된 형광영상인 형광배경영상을 획득하여 출력하는 배경영상 획득부;
상기 형광영상 프로브를 통해 실제 촬영 대상인 관찰영역을 촬영한 형광영상을 획득하여 출력하는 형광영상 획득부; 및
상기 형광배경영상 및 상기 형광영상을 입력받아 상기 형광배경영상을 상기 형광영상에 적용하여 상기 형광영상의 왜곡을 보정하는 배경영상 보정부를 포함하되,
상기 배경영상 보정부는,
상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성한 후, 상기 보정함수로 상기 형광영상의 픽셀들을 보정하는 가우시안 보정부이고,
상기 가우시안 보정부는,
상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 영상 보정함수에 대응하는 가우시안 피팅 광원 세기 분포 영상을 생성하여 정규(Normalization)시키는 가우시안 배경영상 획득부; 및
상기 형광영상 및 상기 가우시안 피팅 광원 세기 분포 영상을 입력받아 상기 가우시안 피팅 광원 세기 분포 영상으로 상기 형광영상을 보정하는 가우시안 피팅 보정부를 포함하는 것을 특징으로 하는 형광배경영상을 이용한 형광영상 왜곡 보정 장치.
A background image obtained by photographing a background observation area without a fluorescent substance through a fluorescent imaging probe in which a plurality of light sources irradiating light is disposed to obtain and output a fluorescent background image, which is a fluorescent image in which incident light incident on the background observation area is evenly distributed acquisition department;
a fluorescence image acquisition unit for acquiring and outputting a fluorescence image obtained by photographing an observation area that is an actual photographing target through the fluorescence imaging probe; and
A background image correction unit receiving the fluorescence background image and the fluorescence image and applying the fluorescence background image to the fluorescence image to correct distortion of the fluorescence image,
The background image correction unit,
Obtaining a light source intensity distribution image from the fluorescence background image, generating an image correction function by matching the light source intensity distribution image to a two-dimensional Gaussian function, and then using the correction function to correct the pixels of the fluorescence image. ,
The Gaussian correction unit,
a Gaussian background image acquisition unit obtaining a light source intensity distribution image from the fluorescence background image, generating a Gaussian fitting light source intensity distribution image corresponding to the image correction function, and performing normalization; and
and a Gaussian fitting correction unit receiving the fluorescence image and the Gaussian fitting light source intensity distribution image and correcting the fluorescence image with the Gaussian fitting light source intensity distribution image.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 가우시안 보정부는,
상기 정규화된 가우시안 보정함수에서 70% 이하인지의 여부에 따라 상기 보정된 형광영상의 과잉 보정 여부를 판단하여 과잉 보정된 것으로 판단되면 과잉 보상 보정용 정규화된 가우시안 보정함수에서 0.3 이하에 1을 반영한 수정된 가우시안 보정함수를 획득하여 과잉 보상된 형광영상의 픽셀을 보정하는 과잉 보상부를 더 포함하는 것을 특징으로 하는 형광배경영상을 이용한 형광영상 왜곡 보정 장치.
The method of claim 1,
The Gaussian correction unit,
In the normalized Gaussian correction function, it is determined whether the corrected fluorescence image is over-corrected according to whether or not it is 70% or less. Fluorescent image distortion correction apparatus using a fluorescent background image, characterized in that it further comprises an over-compensation unit to obtain a Gaussian correction function to correct the pixels of the over-compensated fluorescent image.
 제7항에 있어서,
상기 가우시안 보정부는,
상기 과잉 보상부로부터 출력되는 형광영상의 콘트라스트를 조절하여 출력하는 콘트라스트 조절부를 더 포함하는 것을 특징으로 하는 형광배경영상을 이용한 형광영상 왜곡 보정 장치.
8. The method of claim 7,
The Gaussian correction unit,
A fluorescence image distortion correction apparatus using a fluorescence background image, characterized in that it further comprises a contrast adjuster for adjusting and outputting the contrast of the fluorescence image output from the excess compensator.
 배경영상 획득부가 광을 조사하는 다수의 광원이 배치되는 형광영상 프로브를 통해 형광물질이 없는 배경 관찰영역을 촬영하여 상기 배경 관찰영역에 입사하는 입사광이 고르게 분포된 형광영상인 형광배경영상을 획득하여 출력하는 배경영상 획득 과정;
형광영상 획득부가 상기 형광영상 프로브로를 통해 실제 촬영 대상인 관찰영역을 촬영한 형광영상을 획득하여 출력하는 형광영상 획득 과정; 및
배경영상 보정부가 상기 형광배경영상 및 상기 형광영상을 입력받아 상기 형광배경영상을 상기 형광영상에 적용하여 상기 형광영상의 왜곡을 보정하는 배경영상 보정 과정을 포함하되,
상기 배경영상 보정 과정은,
상기 배경영상 보정부가 가우시안 보정부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 광원 세기 분포 영상을 2차원 가우시안 함수에 정합하여 영상 보정함수를 생성한 후, 상기 보정함수로 상기 형광영상의 픽셀들을 보정하는 가우시안 보정 단계이되,
상기 가우시안 보정 단계는,
상기 배경영상 보정부가 가우시안 보정부의 가우시안 배경영상 획득부를 통해 상기 형광배경영상으로부터 광원 세기 분포 영상을 획득하고, 상기 영상 보정함수에 대응하는 가우시안 피팅 광원 세기 분포 영상을 생성하여 정규화(Normalization)시키는 가우시안 배경영상 획득 단계; 및
상기 배경영상 보정부가 가우시안 보정부의 가우시안 피팅 보정부를 통해 상기 형광영상 및 상기 가우시안 피팅 광원 세기 분포 영상을 입력받아 상기 가우시안 피팅 광원 세기 분포 영상으로 상기 형광영상을 보정하는 가우시안 피팅 보정 단계를 포함하는 것을 특징으로 하는 형광배경영상을 이용한 형광영상 왜곡 보정 방법.
The background image acquisition unit captures a background observation area without a fluorescent material through a fluorescent image probe in which a plurality of light sources irradiating light are arranged, and acquires a fluorescent background image, which is a fluorescent image in which incident light incident on the background observation area is evenly distributed. an outputting background image acquisition process;
a fluorescence image acquisition process in which a fluorescence image acquisition unit acquires and outputs a fluorescence image obtained by photographing an observation area that is an actual photographing target through the fluorescence imaging probe; and
a background image correction process in which a background image correction unit receives the fluorescence background image and the fluorescence image and applies the fluorescence background image to the fluorescence image to correct distortion of the fluorescence image,
The background image correction process is
The background image correction unit acquires a light source intensity distribution image from the fluorescent background image through a Gaussian correction unit, generates an image correction function by matching the light source intensity distribution image to a two-dimensional Gaussian function, and then uses the correction function to use the fluorescence image Gaussian correction step to correct the pixels of
The Gaussian correction step is
Gaussian that the background image correction unit acquires a light source intensity distribution image from the fluorescent background image through the Gaussian background image acquisition unit of the Gaussian correction unit, generates a Gaussian fitting light source intensity distribution image corresponding to the image correction function, and normalizes it obtaining a background image; and
The background image correction unit receives the fluorescence image and the Gaussian fitting light source intensity distribution image through the Gaussian fitting correction unit of the Gaussian correction unit and corrects the fluorescence image with the Gaussian fitting light source intensity distribution image Comprising a Gaussian fitting correction step Fluorescence image distortion correction method using a fluorescent background image, characterized in that.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제9항에 있어서,
상기 가우시안 보정 단계는,
상기 배경영상 보정부가 상기 정규화된 가우시안 보정함수에서 70% 이하인지의 여부에 따라 상기 보정된 형광영상의 과잉 보정 여부를 판단하여 과잉 보정된 것으로 판단되면 과잉 보상 보정용 정규화된 가우시안 보정함수에서 0.3 이하에 1을 반영한 수정된 가우시안 보정함수를 획득하여 과잉 보상된 형광영상의 픽셀을 보정하는 과잉 보상 단계를 더 포함하는 것을 특징으로 하는 형광배경영상을 이용한 형광영상 왜곡 보정 방법.10. The method of claim 9,
The Gaussian correction step is,
If it is determined that the background image correction unit is over-corrected by determining whether the corrected fluorescence image is over-corrected according to whether it is 70% or less in the normalized Gaussian correction function or not, 0.3 or less in the normalized Gaussian correction function for over-compensation correction Fluorescent image distortion correction method using a fluorescent background image, characterized in that it further comprises an over-compensation step of correcting the pixels of the over-compensated fluorescent image by obtaining a corrected Gaussian correction function reflecting 1.
KR1020200179536A 2020-12-21 2020-12-21 Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof KR102379981B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200179536A KR102379981B1 (en) 2020-12-21 2020-12-21 Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200179536A KR102379981B1 (en) 2020-12-21 2020-12-21 Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof

Publications (1)

Publication Number Publication Date
KR102379981B1 true KR102379981B1 (en) 2022-03-29

Family

ID=80995609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179536A KR102379981B1 (en) 2020-12-21 2020-12-21 Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof

Country Status (1)

Country Link
KR (1) KR102379981B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197251A (en) * 2009-02-25 2010-09-09 Fujitsu Ltd Image capturing apparatus, method and program
KR101298974B1 (en) 2011-09-30 2013-08-23 한국전기연구원 Apparatus and method for processing images through light sources control and image calibration
KR20170057495A (en) * 2015-11-16 2017-05-25 한국광기술원 Portable device for multi-channel fulorescence image acquisition
JP2018032980A (en) * 2016-08-24 2018-03-01 富士フイルム株式会社 Shading correction device, and operation method and operation program of the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010197251A (en) * 2009-02-25 2010-09-09 Fujitsu Ltd Image capturing apparatus, method and program
KR101298974B1 (en) 2011-09-30 2013-08-23 한국전기연구원 Apparatus and method for processing images through light sources control and image calibration
KR20170057495A (en) * 2015-11-16 2017-05-25 한국광기술원 Portable device for multi-channel fulorescence image acquisition
JP2018032980A (en) * 2016-08-24 2018-03-01 富士フイルム株式会社 Shading correction device, and operation method and operation program of the same

Similar Documents

Publication Publication Date Title
US8289382B2 (en) Method for producing high-quality reproductions of the front and/or rear sections of the eye
US10634615B2 (en) Method of correcting a fluorescence image
JP6362050B2 (en) Imaging apparatus, illumination control apparatus, and illumination control method
TWI246015B (en) Radiographic apparatus and radiographic method
US20070141623A1 (en) Correction method for the distribution of quantity of light and biochip-reader
JP2010219606A5 (en)
CN111263076A (en) System and method for image acquisition using supervised high quality imaging
KR20130046515A (en) Color lighting control method for improving image quality of vision system
US20120092471A1 (en) Endoscopic device
KR102379981B1 (en) Fluorescence image distortion compensation apparatus using fluorescence excitation light image and method thereof
US10281644B2 (en) Method and apparatus for calibrating low-light level optical imaging systems
KR101298974B1 (en) Apparatus and method for processing images through light sources control and image calibration
KR101984849B1 (en) Imaging device for multi-exposure laser speckle image and calibration method thereof
US7538334B2 (en) Devices and methods for targeting printing plates and measuring dot coverage thereon
JP2011247656A (en) Fluorescence detection device and fluorescence microscope
US9781802B1 (en) Illumination correcting method and apparatus for at least one light source board
JP6798096B2 (en) Fundus photography device
JP2011112780A (en) Scanning-type microscope
JPH05211996A (en) Correcting method for uniformity of scope image
CN117152014B (en) Flat field correction method and device for multichannel fluorescence microscope
JP6257294B2 (en) Microscope equipment
US20240069316A1 (en) Microscope and imaging method for a microscope
CN114052911B (en) Navigation system, method and storable medium in near infrared fluorescence operation
CN218512972U (en) Camera calibration device
US11763758B2 (en) Luminance unevenness correction system and luminance unevenness correction method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant