KR20190135705A - System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously - Google Patents

System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously Download PDF

Info

Publication number
KR20190135705A
KR20190135705A KR1020180061055A KR20180061055A KR20190135705A KR 20190135705 A KR20190135705 A KR 20190135705A KR 1020180061055 A KR1020180061055 A KR 1020180061055A KR 20180061055 A KR20180061055 A KR 20180061055A KR 20190135705 A KR20190135705 A KR 20190135705A
Authority
KR
South Korea
Prior art keywords
visible light
image
infrared
detection value
visible
Prior art date
Application number
KR1020180061055A
Other languages
Korean (ko)
Other versions
KR102190398B1 (en
Inventor
배수진
이대식
김한석
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020180061055A priority Critical patent/KR102190398B1/en
Publication of KR20190135705A publication Critical patent/KR20190135705A/en
Application granted granted Critical
Publication of KR102190398B1 publication Critical patent/KR102190398B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H04N5/2256—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Disclosed is a visible light and near-infrared image providing system, which may use a single color camera and simultaneously acquire visible and near-infrared images. According to the present invention, the visible light and near-infrared image providing system comprises: an irradiation light source unit for irradiating visible and near-infrared rays having a predetermined wavelength of a subject; and an image processing unit arranged in accordance of a predetermined pattern and detecting a visible light region having a wavelength of red, green, and blue, and processing image data detected from an image detection sensor including pixels having similar sensitivity to each other in a near-infrared region. The irradiation light source unit simultaneously irradiates visible and near-infrared rays excluding some wavelength regions of red, green, and blue. The image processing unit includes a near-infrared ray detection value calculating portion, a visible ray detection value calculating portion, and an estimated visible light detection value calculation unit.

Description

단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법 {SYSTEM AND METHOD FOR PROVIDING VISIBLE RAY IMAGE AND NEAR-INFRARED RAY IMAGE, USING A SINGLE COLOR CAMERA AND CAPABLE OF THOSE IMAGES SIMULTANEOUSLY}System and method for providing visible and near infrared images using a single color camera and simultaneously acquiring visible and near infrared images {SYSTEM AND METHOD FOR PROVIDING VISIBLE RAY IMAGE AND NEAR-INFRARED RAY IMAGE SIMULTANEOUSLY}

본 발명은 영상 시스템에 관한 것으로서, 더욱 상세하게는 생체 조직 검사 등을 위해 가시광선이나 근적외선 형광 영상과 같은 광학 영상을 제공하는 시스템 및 방법에 관한 것이다.The present invention relates to an imaging system, and more particularly to a system and method for providing an optical image, such as visible light or near-infrared fluorescence image for biopsy.

형광을 이용하는 광학 영상법은 민감도나 선택성 그리고 편리한 사용법 등의 장점을 가진다. 생체 조직들은 700~900nm의 근적외선 영역에서 고유형광(Autofluorescence) 영향이 적기 때문에, 근적외선 형광물질을 이용하여 시각화가 필요한 다양한 생체 조직들과 암을 포함한 질병 조직의 표적화하는 근적외선 형광 영상이 의료분야에서 다양하게 활용되고 있다.Optical imaging using fluorescence has advantages such as sensitivity, selectivity, and convenient usage. Since biological tissues are less affected by autofluorescence in the near-infrared region of 700-900 nm, the near-infrared fluorescence image that targets various biological tissues and disease tissues including cancer that need to be visualized using near-infrared fluorescent materials is diverse in the medical field. It is utilized.

일 예로, ICG(Indocyanin green)는 체내 세포질과 조직에 존재하는 수용성 단백질인 알부민과 결합하며, 805nm의 적외선 파장에서 835nm 형광 발현하는 특징을 가지므로, 기존의 내시경 영상들로는 확인이 어려웠던 혈관, 병변 주변 림프절의 위치 및 분포를 파악할 수 있으며, 혈액과 림프액의 흐름을 관찰할 수 있게 된다. For example, ICG (Indocyanin green) binds to albumin, a water-soluble protein present in the cytoplasm and tissues of the body, and has a characteristic of 835 nm fluorescence expression at an infrared wavelength of 805 nm, so it is difficult to identify conventional endoscopic images around blood vessels and lesions. The location and distribution of lymph nodes can be identified, and the flow of blood and lymph fluid can be observed.

한편, 일반적으로 가시광선 및 근적외선 영상 검출시스템은, 가시광선과 근적외선 채널용으로 개별 영상센서를 사용하거나, 단일 센서를 순차적으로 사용하는 방식을 사용한다.On the other hand, in general, the visible light and near-infrared image detection system uses a separate image sensor for the visible light and the near-infrared channel, or uses a single sensor in sequence.

다중 채널 검출기를 사용하는 방식은, 표적 객체의 근적외선 형광과 주변 조직을 관찰하기 위하여 가시광선 파장 영역과 근적외선 파장영역 등 다른 파장 영상을 동시에 획득하여 융합 영상을 생성한다. 그런데 이러한 방식은 정확한 광학 정렬과 복수의 부품이 요구되기 때문에 그 구성이 복잡하며 가격이 높다는 문제점이 있다.In the method using a multi-channel detector, in order to observe near-infrared fluorescence and surrounding tissue of a target object, a fusion image is generated by simultaneously acquiring different wavelength images such as a visible wavelength region and a near infrared wavelength region. However, this method has a problem in that its configuration is complicated and expensive because accurate optical alignment and a plurality of components are required.

또한, 단일 검출기를 사용하는 방식은 특정 파장 범위에 대해 선택적이며 순차적인 검출 방식으로서, 가시광선과 근적외선 파장 영상을 획득하고 영상처리를 통해 융합 영상을 생성한다. 하지만, 이 경우 가시광선 영상과 근적외선 형광 영상을 순차적(sequential)으로 영상 제공하기 때문에, 동시간의 대상체 영상을 검출할 수 없다는 문제점이 있다. In addition, a method of using a single detector is a selective and sequential detection method for a specific wavelength range, and acquires visible and near infrared wavelength images and generates fused images through image processing. However, in this case, since the visible light image and the near infrared fluorescence image are sequentially provided, there is a problem in that the object image cannot be detected at the same time.

USUS 91735549173554 B2B2

본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 단일 카메라를 구비하면서도 가시광선 파장과 근적외선 파장을 동시에 검출하여 주변 조직영상과 근적외선 영상을 동시에 획득하고 제공할 수 있는 영상 시스템 및 방법을 제공하는 것을 목적을 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and provides an imaging system and method capable of simultaneously acquiring and providing a surrounding tissue image and a near infrared image by simultaneously detecting a visible wavelength and a near infrared wavelength while having a single camera. The purpose is to provide.

상기 목적을 달성하기 위해 본 발명에 따른 가시광선 및 근적외선 영상 제공 시스템은, 피사체에 미리 설정된 파장의 가시광선과 근적외선을 조사하는 조사 광원부와 적색, 녹색, 청색 필터들이 일정한 패턴으로 교차 배치된 전통적인 CMOS, CCD 이미지 센서를 포함하는 컬러 카메라, 및 검출된 영상 데이터를 처리하는 영상 처리부를 포함하는 가시광선 및 근적외선 영상 제공 시스템으로서, 조사 광원부는 적색, 녹색, 청색 중 일부 파장 영역을 제외한 가시 광선 및 근적외선을 동시에 조사하고, 영상 처리부는 근적외선 검출값 산출부, 가시광선 검출값 산출부, 및 추정 가시광선 검출값 산출부를 포함한다.In order to achieve the above object, the visible and near-infrared image providing system according to the present invention includes a conventional CMOS in which an irradiation light source unit for irradiating visible and near-infrared rays of a predetermined wavelength to a subject and red, green, and blue filters are arranged in a predetermined pattern; A visible light and near-infrared image providing system comprising a color camera including a CCD image sensor and an image processing unit for processing detected image data, wherein the irradiating light source includes visible light and near infrared light excluding some wavelength regions of red, green, and blue. Irradiating simultaneously, the image processing unit includes a near infrared ray detection value calculator, a visible ray detection value calculator, and an estimated visible ray detection value calculator.

근적외선 검출값 산출부는 영상 검출 센서 중 근적외선만이 검출되는 일부 화소들로부터 획득된 근적외선 검출값을 통해 주변 화소들의 근적외선 검출값을 산출하고, 가시광선 검출값 산출부는 산출된 근적외선 검출값과 획득된 가시광선 검출값을 통해 보정된 가시광선 검출값을 산출하며, 추정 가시광선 검출값 산출부는 산출된 다른 화소들의 가시광선 검출값을 이용하여 근적외선만이 검출된 화소들의 추정 가시광선 검출값을 산출한다.The near-infrared detection value calculating unit calculates the near-infrared detection value of neighboring pixels through the near-infrared detection value obtained from some pixels in which only the near-infrared light is detected among the image detection sensors, and the visible-light detection value calculating unit calculates the calculated near-infrared detection value and the obtained visible The corrected visible light detection value is calculated using the light beam detection value, and the estimated visible light detection value calculator calculates an estimated visible light detection value of pixels in which only near infrared rays are detected using the calculated visible light detection values of other pixels.

이와 같은 구성에 의하면, 단일 영상 검출 센서의 서로 다른 화소에서 각각 검출된 서로 다른 파장의 광을 이용하여, 단일 카메라를 구비하면서도 가시광선 파장과 근적외선 파장을 동시에 검출하여 주변 조직영상과 근적외선 영상을 동시에 획득하고 제공할 수 있게 된다.According to such a configuration, by using light of different wavelengths detected by different pixels of a single image detection sensor, a visible light wavelength and a near infrared wavelength are simultaneously detected while a single camera is provided to simultaneously detect surrounding tissue images and near infrared images. Can be acquired and provided.

이때, 영상 시스템은 영상 검출 센서를 포함하는 영상 검출부를 더 포함할 수 있으며, 영상 검출부는 가시광선 영역과 여기 파장을 제외한 근적외선 영역을 통과시키는 필터부를 더 포함할 수 있다.In this case, the imaging system may further include an image detector including an image detection sensor, and the image detector may further include a filter configured to pass a visible light region and a near infrared region excluding an excitation wavelength.

또한, 조사 광원부에서 제외되는 일부 파장 영역은 적색 가시광선 영역을 포함할 수 있으며, 조사 광원부는 미리 설정된 파장의 가시광선을 선택적으로 조사하기 위한 가시광선 광원부, 및 형광을 여기시키기 위해 미리 설정된 여기 파장의 근적외선을 조사하는 근적외선 광원부를 포함할 수 있다.In addition, some wavelength regions excluded from the irradiation light source unit may include a red visible light region, and the irradiation light source unit may include a visible light source unit for selectively irradiating visible light having a predetermined wavelength, and a preset excitation wavelength to excite fluorescence. It may include a near infrared light source unit for irradiating the near infrared.

또한, 영상 처리부에 의해 제공되는 영상 데이터를 출력하는 영상 출력부를 더 포함할 수 있으며, 이때, 영상 출력부는 근적외선 형광 신호를 가상 색으로 변환하여 출력할 수 있다.The image output unit may further include an image output unit configured to output image data provided by the image processor. In this case, the image output unit may convert the near infrared fluorescence signal into a virtual color and output the virtual color signal.

또한, 조사 광원부에 의해 여기 파장의 근적외선과 함께 조사되는 가시광선 파장은 청색이고, 영상 검출 센서의 적색과 녹색 파장의 가시광선을 검출하는 화소에서는 여기된 근적외선 형광만을 검출하며, 영상 처리부는 근적외선 검출값을 이용하여 청색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색과 녹색 가시광선 검출 화소에서의 추정 청색 가시광선 검출값을 산출할 수 있다.In addition, the visible light wavelength irradiated together with the near infrared ray of the excitation wavelength by the irradiation light source unit is blue, and the pixel detecting the visible ray of the red and green wavelengths of the image detection sensor detects only the excited near infrared fluorescence, and the image processing unit detects near infrared ray. The value can be used to calculate a near-infrared detection value in the blue visible light detection pixel, and to estimate the estimated blue visible light detection value in the red and green visible light detection pixels.

또한, 조사 광원부에 의해 여기 파장의 근적외선과 함께 조사되는 가시광선 파장은 청색 및 녹색이고, 영상 검출 센서의 적색의 가시광선을 검출하는 화소에서는 여기된 근적외선 형광만을 검출하며, 영상 처리부는 근적외선 검출값을 이용하여 청색 및 녹색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색 가시광선 검출 화소에서의 추정 청색 및 녹색 가시광선 검출값을 산출할 수 있다.In addition, the visible light wavelengths irradiated together with the near infrared rays of the excitation wavelength by the irradiation light source unit are blue and green, and the pixels detecting red visible rays of the image detection sensor detect only the excited near infrared fluorescence, and the image processing unit detects the near infrared detection values. By using the above, the near infrared detection value in the blue and green visible light detection pixels can be calculated, and the estimated blue and green visible light detection values in the red visible light detection pixel can be calculated.

또한, 영상 검출 센서에서의 검출값을 미리 설정된 기준에 따라 캘리브레이션하는 캘리브레이션부를 더 포함할 수 있다. The apparatus may further include a calibration unit configured to calibrate the detection value of the image detection sensor according to a preset reference.

아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 영상 처리 장치 및 영상 처리 방법이 개시된다.In addition, an invention in which the system is implemented in the form of a method, and an image processing apparatus and an image processing method for executing the method are disclosed.

본 발명에 의하면, 단일 영상 검출 센서내 컬러 채널 화소의 파장별 감도 특성을 고려하여 설정된 가시광선 파장 영역의 조사광과 근적외선 파장 영역의 여기광과, 단일 영상 검출 센서의 서로 다른 화소에서 각각 검출된 서로 다른 파장의 광 검출값을 이용하여, 단일 카메라를 구비하면서도 가시광선 파장과 근적외선 파장을 동시에 검출하여 주변 조직영상과 근적외선 형광 영상을 동시에 획득하고 제공할 수 있게 된다.According to the present invention, the detection light in the visible light wavelength region, the excitation light in the near infrared wavelength region, and the different pixels of the single image detection sensor are respectively detected in consideration of the sensitivity characteristics for each wavelength of the color channel pixels in the single image detection sensor. By using light detection values of different wavelengths, a visible light wavelength and a near infrared wavelength can be simultaneously detected while a single camera is provided to simultaneously acquire and provide a surrounding tissue image and a near infrared fluorescent image.

도 1은 본 발명의 일 실시예에 따른 가시광선 및 근적외선 영상 제공 시스템의 개략적인 블록도.
도 2a는 도 1의 영상 검출 센서의 스펙트럼 특성을 도시한 그래프.
도 2b는 도 1의 가시광선 광원부에서 조사되는 백색광 영역을 도시한 도면.
도 2c 도 1의 근적외선 광원부에서 조사되는 근적외선 영역을 도시한 도면.
도 2d는 도 1의 조사 광원부에서 가시광선과 근적외선이 동시 조사되는 경우 가시광선과 근적외선 영역을 도시한 도면.
도 2e는 도 1의 영상 검출부 필터부의 검출 파장 특성이 도시된 도면.
도 3은 베이어 패턴의 예가 도시된 도면.
도 4 내지 도 6은 각각 근적외선 형광 영상(INIR), 컬러 배경 영상(IVIS), 및 근적외선 형광 영상(INIR)과 컬러 배경 영상(IVIS)의 융합 영상(I)의 개념을 개략적으로 도시한 도면.
도 7은 도 1의 영상 처리부에서 수행하는 색상값 보간의 예를 설명하기 위한 도면.1 is a schematic block diagram of a visible and near infrared image providing system according to an embodiment of the present invention.
FIG. 2A is a graph illustrating spectral characteristics of the image detection sensor of FIG. 1. FIG.
FIG. 2B is a view illustrating a white light region irradiated from the visible light source unit of FIG. 1. FIG.
FIG. 2C is a diagram illustrating a near infrared region irradiated from the near infrared light source unit of FIG. 1. FIG.
FIG. 2D is a view illustrating a visible light and a near infrared region when visible light and near infrared rays are simultaneously irradiated from the irradiation light source unit of FIG. 1. FIG.
FIG. 2E is a diagram illustrating detection wavelength characteristics of the image detector filter of FIG. 1; FIG.
3 shows an example of a Bayer pattern.
4 to 6 schematically illustrate the concept of a near infrared fluorescence image (I NIR ), a color background image (I VIS ), and a fusion image (I) of a near infrared fluorescence image (I NIR ) and a color background image (I VIS ), respectively. Figure shown.
FIG. 7 illustrates an example of color value interpolation performed by the image processor of FIG. 1. FIG.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 가시광선 근적외선 영상 제공 시스템의 개략적인 블록도이다. 가시광선 및 근적외선 영상 제공 시스템(100)은, 조사 광원부(110), 영상 검출부(120), 영상 처리부(130), 및 영상 출력부(140)를 포함한다. 1 is a schematic block diagram of a visible light near infrared image providing system according to an exemplary embodiment of the present invention. The visible and near-infrared image providing system 100 includes an irradiation light source 110, an image detector 120, an image processor 130, and an image output unit 140.

또한, 조사 광원부(110)는 다시 가시광선 광원부(112) 및 근적외선 광원부(114)를 포함하고, 영상 검출부(120)는 다시 영상 검출 센서(122) 및 필터부(124)를 포함하고, 영상 처리부(130)는 다시 근적외선 검출값 산출부(132), 가시광선 검출값 산출부(134), 추정 가시광선 검출값 산출부(136), 및 캘리브레이션부(138)를 포함한다.In addition, the irradiation light source unit 110 may further include a visible light source unit 112 and a near infrared light source unit 114, and the image detector 120 may further include an image detection sensor 122 and a filter unit 124. 130 again includes a near-infrared detection value calculator 132, a visible light detection value calculator 134, an estimated visible light detection value calculator 136, and a calibration unit 138.

조사 광원부(110)는 가시광선 조사광원과 근적외선 형광 여기광원을 구비한 복합광원장치로 구현될 수 있으며, 이때, 가시광선 조사광원은 선택적으로 조사광의 파장을 조절할 수 있다.The irradiation light source unit 110 may be implemented as a complex light source device having a visible light irradiation light source and a near infrared fluorescent excitation light source. In this case, the visible light irradiation light source may selectively adjust the wavelength of the irradiation light.

이를 위해, 가시광선 광원부(112)는 영상 검출 센서의 스펙트럼 특성을 고려하여 설정된 파장의 가시광선을 선택적으로 조사하고, 근적외선 광원부(114)는 형광 물질을 여기시키는 여기 파장의 근적외선을 조사한다.To this end, the visible light source unit 112 selectively irradiates visible light having a set wavelength in consideration of the spectral characteristics of the image detection sensor, and the near infrared light source unit 114 irradiates near infrared light of an excitation wavelength that excites a fluorescent material.

도 2a는 도 1의 영상 검출 센서의 스펙트럼 특성을 도시한 그래프이고, 도 2b 및 도 2c는 각각 가시광선 광원부에서 조사되는 백색광 영역과 근적외선 광원부서 조사되는 근적외선 영역을 도시한 도면이다. 2A is a graph illustrating spectral characteristics of the image detection sensor of FIG. 1, and FIGS. 2B and 2C are diagrams illustrating a white light region irradiated from a visible light source unit and a near infrared region irradiated from a near infrared light source unit, respectively.

또한, 도 2d는 도 1의 조사 광원부에서 가시광선과 근적외선이 동시 조사되는 경우 가시광선과 근적외선 영역이 도시된 도면이다. 특히, 도 2d에서, 가시광선 영역은 가시광선 광원부(112)에 의해 선택된 일부 파장에 대해서만 표시된 것을 확인할 수 있다.2D is a view showing the visible light and the near infrared region when the visible light and the near infrared are simultaneously irradiated from the irradiation light source unit of FIG. 1. In particular, in FIG. 2D, it can be seen that the visible light region is displayed only for some wavelengths selected by the visible light source unit 112.

영상 검출부(120)는 단일 칩 컬러 카메라로 구현될 수 있으며, 가시광선 조사광원과 근적외선 형광 여기 광원이 동시에 조사될 때, 가시광선 조사광원의 반사광과 근적외선 형광을 동시에 단일 칩 컬러 카메라로 검출할 수 있다. The image detector 120 may be implemented as a single chip color camera. When the visible light source and the near infrared fluorescence excitation light source are irradiated simultaneously, the image detector 120 may simultaneously detect the reflected light and the near infrared fluorescence of the visible light source with a single chip color camera. have.

영상 검출 센서(122)는 설정된 패턴에 따라 배열된 적색, 녹색, 청색 중 일부 파장의 가시광선 및 근적외선을 검출하는 화소들을 포함한다. 일반적인 단일 칩 CMOS, CCD로 구성된 영상 검출 센서에서는 컬러 필터 어레이(Color filter array; CFA)로 베이어 패턴(Bayer pattern)을 갖고, R, G, B 필터들은 인간의 시각 특성을 따라 G가 50%, R과 B가 각각 25%가 되도록 일정하게 교차 배치되며 각 픽셀 위치에서 단일 색상 정보를 감지한다. 도 3은 베이어 패턴의 예가 도시된 도면이다.The image detection sensor 122 includes pixels for detecting visible light and near infrared light of some wavelengths among red, green, and blue arranged according to a set pattern. In general, the single-chip CMOS and CCD image detection sensor has a Bayer pattern as a color filter array (CFA). The R, G, and B filters have a G of 50%, Constantly intersected so that R and B are 25% each, detecting single color information at each pixel location. 3 is a diagram illustrating an example of a Bayer pattern.

컬러 영상을 출력, 디스플레이할 때 영상 검출 센서의 각 화소는 R, G, B 필터 중 하나로만 결합되기 때문에 하나의 화소는 하나의 색만 감지하므로 각 화소마다 누락된 색 정보는 주변 화소들로부터 색상값 보간(interpolation)하는 영상 처리 과정인 demosaicing을 통해 색 정보를 완성하게 된다. When outputting and displaying a color image, each pixel of the image detection sensor is combined with only one of the R, G, and B filters, so one pixel detects only one color. Color information is completed through demosaicing, an interpolated image processing process.

한편, 일반적으로, 흑백 카메라에는 적외선 차단 필터(Infrared Cut Filter)가 없지만, 컬러 카메라는 색재현력을 위해 차단 필터를 내장한다. 하지만, 최근에는 이미지 센서와 이미지 프로세싱 기술의 발전으로 적외선 차단 필터를 뺀 제품들이 출시되고 있다. 이때, 적외선 차단 필터를 갖지 않으면서 R, G, B 컬러 필터가 배치된 단일 칩 RGB 카메라에서 근적외선 영역은 아래에 표시된 바와 같이 모든 컬러 채널에서 동일한 신호 감도로 감지된다. In general, black and white cameras do not have an infrared cut filter, but color cameras have a built-in cut filter for color reproduction. However, recent advances in image sensors and image processing technologies have resulted in the release of products without the infrared cut filter. At this time, in a single-chip RGB camera in which the R, G, and B color filters are disposed without the infrared cutoff filter, the near infrared region is detected with the same signal sensitivity in all color channels as shown below.

R 채널 : RVIS + RNIR R channel: R VIS + R NIR

G 채널 : GVIS + GNIR G channel: G VIS + G NIR

B 채널 : BVIS + BNIR B channel: B VIS + B NIR

이러한 사실은 도 2a에서 모든 컬러 채널에서 근적외선 영역이 동일한 신호 감도로 감지되는 것을 확인할 수 있다. 이에 따라, R, G, B 픽셀은 근적외선 채널로도 사용할 수 있다.This fact can be seen in FIG. 2A that the near infrared region is detected with the same signal sensitivity in all color channels. Accordingly, the R, G, and B pixels can also be used as a near infrared channel.

보다 구체적으로, ICFA를 영상 검출 장치에서 검출된 각 픽셀의 단일 컬러 컴포넌트(single color component)라 할 때, 각 픽셀의 ICFA(i,j)는 i = 1, 2...M, j = 1, 2...N 일때, 아래와 같이 표현할 수 있다.More specifically, I CFA When referring to a single color component of each pixel detected by the image detecting apparatus, the I CFA (i, j) of each pixel is i = 1, 2 ... M, j = 1, 2 ... When N, it can be expressed as

Figure pat00001
Figure pat00001

Rij, Bij, Gij는 CFA image ICFA의 color component이고 컬러 채널 8bit인 경우, Rij, Bij, Gij 값은 0-255이다. 각 화소마다 누락된 색 정보를 주변 화소들로부터 색상값 보간 처리를 통해 디스플레이에 출력하는 위한 영상(

Figure pat00002
)을 획득할 수 있다. If R ij , B ij , G ij is a color component of CFA image I CFA and the color channel is 8 bits, the values of R ij , B ij , G ij are 0-255. Image for outputting the missing color information for each pixel to the display through the color value interpolation process from the surrounding pixels (
Figure pat00002
) Can be obtained.

이때 영상 검출 센서의 컬러 필터 어레이 스펙트럼 특성에 의해 CFA image ICFA 의 각 화소들은 해당 컬러 필터의 가시광선 영역 뿐 만 아니라 근적외선 영역도 포함하고 있기 때문에 각 화소들로부터 근적외선 신호의 분리를 통해

Figure pat00003
과
Figure pat00004
을 다음과 같이 구분하여 획득할 수 있다.In this case, each pixel of the CFA image I CFA includes a near infrared region as well as a visible light region of the corresponding color filter due to the spectral characteristics of the color filter array of the image detection sensor.
Figure pat00003
and
Figure pat00004
Can be obtained by dividing as follows.

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

이때,

Figure pat00007
,
Figure pat00008
,
Figure pat00009
는 누락된 색 정보 추정값이다. At this time,
Figure pat00007
,
Figure pat00008
,
Figure pat00009
Is the missing color information estimate.

예를 들어, 근적외선 형광을 관찰할 때 근적외선 여기광(excitation light)과 더불어 영상 검출 센서의 컬러 필터 어레이 적색 필터(Color filter array Red filter)의 스탑 리밋 파장(stopband limit wavelength)인 λ2 이하의 파장을 주변 조직을 관찰하기 위한 조사광(illumination light)으로 조사하는 경우, 단일 칩 RGB 카메라의 R 채널은 근적외선 형광을 검출하고 G 채널과 B 채널은 조사광에 조사에 따른 주변 조직에서 반사되는 광(Reflection light)과 근적외선 형광을 검출할 수 있게 된다.For example, when observing near-infrared fluorescence, in addition to near-infrared excitation light, the wavelength below λ 2 , which is the stop limit wavelength of the color filter array red filter of the image detection sensor, is used. Is irradiated with illumination light to observe the surrounding tissue, the R channel of the single chip RGB camera detects near infrared fluorescence, and the G channel and B channel are the light reflected from the surrounding tissue according to the irradiation. Reflection light and near-infrared fluorescence can be detected.

R 채널 : RNIR R channel: R NIR

G 채널 : GVIS + GNIR G channel: G VIS + G NIR

B 채널 : BVIS + BNIR B channel: B VIS + B NIR

R 채널은 근적외선 값만을 가지며 주변 G 채널과 B 채널의 추정 근적외선 값을 산출하는데 이용될 수 있다.The R channel has only a near infrared value and can be used to calculate an estimated near infrared value of neighboring G and B channels.

Figure pat00010
Figure pat00010

Figure pat00011
,
Figure pat00012
는 B채널과 G채널의 추정 근적외선 값이다. 각 화소로부터 근적외선 신호를 분리함으로써 가시광선 신호만을 갖는 CFA image ICFA 데이터를 추정하여 산출할 수 있다.
Figure pat00011
,
Figure pat00012
Is an estimated near infrared value of B channel and G channel. By separating the near infrared signal from each pixel, the CFA image I CFA data having only the visible light signal may be estimated and calculated.

Figure pat00013
Figure pat00013

가시광선 신호만을 갖는 CFA image ICFA를 이용하여 주변 화소들로부터 색상값 보간(interpolation) 하는 영상 처리 과정인 demosaicing을 거쳐 다음과 같은 관찰 대상체의 배경 영상을 획득할 수 있다. A CFA image I CFA having only a visible light signal may be used to acquire a background image of an observation object through demosaicing, which is an image processing process of interpolating color values from surrounding pixels.

Figure pat00014
Figure pat00014

따라서 본 발명에서는 근적외선 형광 영상(INIR), 컬러 배경 영상(IVIS)을 동시에 획득할 수 있으며, 이 영상들은 각각 단독으로 또는 융합(I)하여 디스플레이 할 수 있다. Therefore, in the present invention, the near-infrared fluorescence image I NIR and the color background image I VIS can be acquired at the same time, and these images can be displayed alone or by fusion (I), respectively.

즉 단일 RGB 카메라를 구비한 시스템을 가지고 복수개의 카메라 또는 센서를 구비한 시스템과 마찬가지로 동시에 가시광선 영역의 컬러 배경 영상과 근적외선 영역의 형광 영상 획득이 가능하다. 더욱이 근적외선 형광 신호 분리가 되므로 근적외선 형광 신호 세기만 강조하는 강조 영상 생산도 가능하다. That is, similar to a system having a single RGB camera and having a plurality of cameras or sensors, it is possible to simultaneously acquire a color background image in the visible region and a fluorescent image in the near infrared region. In addition, near-infrared fluorescence signal separation allows the production of an emphasis image that emphasizes only the near-infrared fluorescence signal intensity.

도 4 내지 도 6은 각각 근적외선 형광 영상(INIR), 컬러 배경 영상(IVIS), 및 근적외선 형광 영상(INIR)과 컬러 배경 영상(IVIS)의 융합 영상(I)의 개념을 개략적으로 도시한 도면이다.4 to 6 schematically illustrate the concept of a near infrared fluorescence image (I NIR ), a color background image (I VIS ), and a fusion image (I) of a near infrared fluorescence image (I NIR ) and a color background image (I VIS ), respectively. Figure is shown.

필터부(124)는 가시광선과 여기 파장을 제외한 근적외선 영역을 통과시키며, 노치필터 등으로 구성할 수 있다. 도 2e는 도 1의 필터부에 의해 필터링된 이후의 검출 파장 영역이 도시된 도면이다.The filter unit 124 passes through a near infrared region excluding visible light and an excitation wavelength, and may be configured as a notch filter. 2E is a diagram illustrating a detection wavelength region after filtering by the filter unit of FIG. 1.

근적외선 검출값 산출부(132)는 영상 검출 센서 중 근적외선만이 검출되는 일부 화소들로부터 획득된 근적외선 검출값을 이용하여 다른 화소들의 근적외선 검출값을 산출하고, 가시광선 검출값 산출부(134)는 산출된 근적외선 검출값을 이용하여 다른 화소들의 가시광선 검출값을 산출하며, 추정 가시광선 검출값 산출부(136)는 산출된 다른 화소들의 가시광선 검출값을 이용하여 근적외선만이 검출된 일부 화소들의 추정 가시광선 검출값을 산출한다.The near-infrared detection value calculator 132 calculates the near-infrared detection values of other pixels by using the near-infrared detection values obtained from some pixels in which only the near-infrared light is detected among the image detection sensors, and the visible light detection value calculation unit 134 The calculated visible light detection value of the other pixels is calculated using the calculated near infrared light detection value, and the estimated visible light detection value calculator 136 calculates the visible light detection value of some pixels in which only the near infrared light is detected using the calculated visible light detection values of the other pixels. The estimated visible light detection value is calculated.

이와 같은 구성에 의하면, 단일 영상 검출 센서의 서로 다른 화소에서 각각 검출된 서로 다른 파장의 광을 이용하여, 단일 카메라를 구비하면서도 가시광선 파장과 근적외선 파장을 동시에 검출하여 주변 조직영상과 근적외선 영상을 동시에 획득하고 제공할 수 있게 된다.According to this configuration, by using the light of different wavelengths respectively detected in different pixels of a single image detection sensor, while simultaneously having a single camera and detecting the visible light wavelength and near infrared wavelength simultaneously to detect the surrounding tissue image and the near infrared image Can be acquired and provided.

캘리브레이션부(138)는 영상 검출 센서(122)에서의 검출값을 미리 설정된 기준에 따라 캘리브레이션(calibration)한다. 도 2a에 도시된 바와 같이 R, G, B 감도는 파장에 따라 차이가 있다. 예를 들어, R이라고 하더라도 차폐영역인 400~550nm 영역에서도 감도가 0이 아니며, 근적외선영역에서의 R, G, B 감도도 약간의 차이가 있다. 따라서 이를 캘리브레이션(calibration)하는 기능을 수행하는 것이다.The calibration unit 138 calibrates the detection value of the image detection sensor 122 according to a preset reference. As shown in Figure 2a, the R, G, B sensitivity is different depending on the wavelength. For example, even in the case of R, the sensitivity is not 0 even in the 400 to 550 nm region, which is a shielding region, and R, G, and B sensitivity in the near infrared region are also slightly different. Therefore, to perform this function (calibration).

일 예로서, 조사 광원부(110)에 의해 조사되는 파장의 가시광선은 청색이고, 영상 검출 센서의 적색과 녹색 파장의 가시광선을 검출하는 화소에서는 근적외선만을 검출하며, 영상 처리부(130)는 근적외선 검출값을 이용하여 청색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색과 녹색 가시광선 검출 화소에서의 추정 청색 가시광선 검출값을 산출할 수 있다. As an example, the visible light of the wavelength irradiated by the irradiation light source unit 110 is blue, and only the near infrared is detected in the pixel detecting the visible light of the red and green wavelengths of the image detection sensor, and the image processor 130 detects the near infrared. The value can be used to calculate a near-infrared detection value in the blue visible light detection pixel, and to estimate the estimated blue visible light detection value in the red and green visible light detection pixels.

도 7은 도 1의 영상 처리부에서 수행하는 색상값 보간의 예를 설명하기 위한 도면이다. 도 7에는 청색 셀 주위의 적색과 녹색 셀의 근적외선 검출값을 이용하여 청색 셀의 근적외선값을 산출하는 예가 도시되어 있다.FIG. 7 is a diagram for describing an example of color value interpolation performed by the image processor of FIG. 1. 7 shows an example of calculating a near infrared value of a blue cell using the near infrared detection values of the red and green cells around the blue cell.

보다 구체적으로, 가시광선 조사광원과 근적외선 형광 여기광원이 동시에 조사할 때, 조사광의 파장 λEX < λ1 이면 검출된 R 채널과 G 채널 신호는 근적외선 형광 신호이며, 검출된 B 채널은 근적외선 형광과 가시광선 조사광의 반사광을 포함하고 있다.More specifically, when the visible light source and the near infrared fluorescence excitation light source are irradiated at the same time, if the wavelength λ EX <λ 1 of the irradiation light, the detected R channel and G channel signals are near infrared fluorescence signals, and the detected B channel is near infrared fluorescence The reflected light of visible light irradiation light is included.

따라서, R 채널과 G 채널 근적외선 형광 신호로부터 B 채널의 근적외선 형광 신호를 추정하여 근적외선 형광 영상을 획득하고, B 채널의 가시광선 신호로부터 R 채널과 G 채널의 반사광 정보를 추정하여, 반사광으로 이루어진 관찰 대상체의 배경 영상을 아래와 같이 획득할 수 있다.Therefore, a near infrared fluorescence image is obtained by estimating the near infrared fluorescence signal of the B channel from the R channel and the G channel near infrared fluorescence signal, and the reflected light information of the R channel and the G channel is estimated from the visible light signal of the B channel, and the observation is made of the reflected light. A background image of the object may be obtained as follows.

λEX < λ 1 일 때,when λ EX <λ 1 ,

R 채널 : RNIR, R channel: R NIR,

G 채널 : GNIR G channel: G NIR

B 채널 : BVIS + BNIR B channel: B VIS + B NIR

Figure pat00015
Figure pat00015

다른 예로서, 조사 광원부(110)에 의해 조사되는 파장의 가시광선은 청색 및 녹색이고, 영상 검출 센서(122)의 적색의 가시광선을 검출하는 화소에서는 근적외선만을 검출하며, 영상 처리부(130)는 근적외선 검출값을 이용하여 청색 및 녹색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색 가시광선 검출 화소에서의 추정 청색 및 녹색 가시광선 검출값을 산출할 수 있다.As another example, the visible light having the wavelength irradiated by the irradiation light source unit 110 is blue and green, and only the near infrared ray is detected in the pixel detecting the red visible light of the image detection sensor 122, and the image processing unit 130 The near-infrared detection value in the blue and green visible light detection pixels can be calculated using the near-infrared detection value, and the estimated blue and green visible light detection values in the red visible light detection pixel can be calculated.

보다 구체적으로, 가시광선 조사광원과 근적외선 형광 여기광원이 동시에 조사할 때, λ 1 < λEX < λ 2이면 근적외선 형광 신호만을 갖는 R 채널로부터 G 채널의 근적외선 형광 신호와 B 채널의 근적외선 형광 신호 세기를 추정하고, G 채널과 B 채널의 반사광의 세기를 계산한다. G 채널과 B 채널의 반사광의 세기로부터 R 채널의 반사광 정보를 추정하여, 반사광으로 이루어진 관찰 대상체의 배경 영상을 아래와 같이 획득할 수 있다. More specifically, when λ 1 <λ EX <λ 2 when the visible light source and the near infrared fluorescence excitation light source are irradiated simultaneously, the near infrared fluorescence signal intensity of the G channel and the near infrared fluorescence signal intensity of the B channel from the R channel having only the near infrared fluorescence signal Estimate the intensity of the reflected light of the G and B channels. By reflecting the reflected light information of the R channel from the intensity of the reflected light of the G channel and the B channel, the background image of the observation object consisting of the reflected light can be obtained as follows.

λ1 < λEX < λ 2 일 때, When λ 1 <λ EX <λ 2

R 채널 : RNIR R channel: R NIR

G 채널 : GVIS + GNIR G channel: G VIS + G NIR

B 채널 : BVIS + BNIR B channel: B VIS + B NIR

Figure pat00016
Figure pat00016

Figure pat00017
Figure pat00017

Figure pat00018
Figure pat00018

영상 출력부(140)는 영상 처리부(130)에 의해 제공되는 영상 데이터를 출력한다. 이때, 영상 출력부(140)는 가시광선 조사광원의 반사광과 근적외선 형광을 동시에 각각 또는 오버랩하여 디스플레이할 수 있으며, 이때, 근적외선 형광신호를 Pseudo color로 표시할 수도 있다.The image output unit 140 outputs image data provided by the image processor 130. In this case, the image output unit 140 may display the reflected light of the visible light irradiation source and the near infrared fluorescence at the same time or overlap each other. In this case, the near infrared fluorescence signal may be displayed in pseudo color.

본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야 할 것이다.Although the present invention has been described in terms of some preferred embodiments, the scope of the present invention should not be limited thereby, but should be construed as modifications or improvements of the embodiments supported by the claims.

100: 가시광선 및 근적외선 영상 제공 시스템
110: 조사 광원부
112: 가시광선 광원부
114: 근적외선 광원부
120: 영상 검출부
122: 영상 검출 센서
124: 필터부
130: 영상 처리부
132: 근적외선 검출값 산출부
134: 가시광선 검출값 산출부
136: 추정 가시광선 검출값 산출부
140: 영상 출력부100: visible and near infrared image providing system
110: irradiation light source
112: visible light source
114: near-infrared light source
120: image detector
122: image detection sensor
124: filter part
130: image processing unit
132: near-infrared detection value calculation unit
134: visible light detection value calculator
136: estimated visible light detection value calculator
140: video output unit

Claims (20)

피사체에 미리 설정된 파장의 가시광선과 근적외선을 조사하는 조사 광원부; 및
미리 설정된 패턴에 따라 배열되고 적색, 녹색, 청색 중 일부 파장의 가시광선 영역을 검출하고 근적외선 영역에서는 서로 유사한 감도를 가지는 화소들을 포함하는 영상 검출 센서로부터 검출된 영상 데이터를 처리하는 영상 처리부를 포함하는 가시광선 및 근적외선 영상 제공 시스템으로서,
상기 조사 광원부는 상기 적색, 녹색, 청색 중 일부 파장 영역을 제외한 가시 광선 및 근적외선을 동시에 조사하고,
상기 영상 처리부는,
상기 영상 검출 센서 중 근적외선만이 검출되는 일부 화소들로부터 획득된 근적외선 검출값을 이용하여 다른 화소들의 근적외선 검출값을 산출하는 근적외선 검출값 산출부;
상기 산출된 근적외선 검출값을 이용하여 상기 다른 화소들의 가시광선 검출값을 산출하는 가시광선 검출값 산출부; 및
상기 다른 화소들의 가시광선 검출값을 이용하여 상기 일부 화소들의 추정 가시광선 검출값을 산출하는 추정 가시광선 검출값 산출부를 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
An irradiation light source unit irradiating visible light and near infrared light having a predetermined wavelength to a subject; And
And an image processor configured to detect visible light regions of some wavelengths of red, green, and blue, and process image data detected from an image detection sensor including pixels having similar sensitivity to each other in the near infrared region. A visible light and near infrared image providing system,
The irradiation light source unit irradiates visible light and near infrared light excluding some wavelength regions of the red, green, and blue at the same time,
The image processor,
A near-infrared detection value calculator configured to calculate a near-infrared detection value of other pixels by using the near-infrared detection value obtained from some pixels in which only near-infrared is detected among the image detection sensors;
A visible light detection value calculator configured to calculate visible light detection values of the other pixels using the calculated near infrared light detection value; And
And an estimated visible light detection value calculator configured to calculate an estimated visible light detection value of the some pixels by using the visible light detection values of the other pixels.
청구항 1에 있어서,
상기 영상 검출 센서를 포함하는 영상 검출부를 더 포함하는 것을 특징으로 하는 영상 시스템.
The method according to claim 1,
And an image detector including the image detection sensor.
청구항 2에 있어서,
상기 제외되는 일부 파장 영역은 적색 가시광선 영역을 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 2,
The excluded part of the wavelength region includes a visible red light region, visible and near-infrared image providing system.
청구항 3에 있어서, 상기 조사 광원부는
상기 미리 설정된 파장의 가시광선을 선택적으로 조사하기 위한 가시광선 광원부; 및
형광을 여기시키기 위해 미리 설정된 여기 파장의 근적외선을 조사하는 근적외선 광원부를 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 3, wherein the irradiation light source unit
A visible light source unit for selectively irradiating visible light of the preset wavelength; And
And a near-infrared light source unit for irradiating near-infrared light of a predetermined excitation wavelength to excite fluorescence.
청구항 2에 있어서,
상기 영상 검출부는 가시광선 영역과 상기 여기 파장을 제외한 근적외선 영역을 통과시키는 필터부를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 2,
And the image detector further includes a filter configured to pass a visible light region and a near infrared region excluding the excitation wavelength.
청구항 1에 있어서,
상기 영상 처리부에 의해 제공되는 영상 데이터를 출력하는 영상 출력부를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 1,
And a video output unit configured to output the image data provided by the image processing unit.
청구항 6에 있어서,
상기 영상 출력부는 근적외선 형광 신호를 가상 색으로 변환하여 출력하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 6,
The image output unit converts a near infrared fluorescence signal into a virtual color and outputs the visible light and the near infrared image.
청구항 1에 있어서,
상기 조사 광원부에 의해 조사되는 파장의 가시광선은 청색이고,
상기 영상 검출 센서의 적색과 녹색 파장의 가시광선을 검출하는 화소에서는 근적외선만을 검출하며,
상기 영상 처리부는 근적외선 검출값을 이용하여 청색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색과 녹색 가시광선 검출 화소에서의 추정 청색 가시광선 검출값을 산출하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 1,
The visible light of the wavelength irradiated by the irradiation light source unit is blue,
Only the near infrared ray is detected in the pixel detecting the visible light of the red and green wavelengths of the image detection sensor.
The image processor calculates a near-infrared detection value in the blue visible light detection pixel by using the near-infrared detection value, and calculates an estimated blue visible light detection value in the red and green visible light detection pixels. Image Provision System.
청구항 1에 있어서,
상기 조사 광원부에 의해 조사되는 파장의 가시광선은 청색 및 녹색이고,
상기 영상 검출 센서의 적색의 가시광선을 검출하는 화소에서는 근적외선만을 검출하며,
상기 영상 처리부는 근적외선 검출값을 이용하여 청색 및 녹색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색 가시광선 검출 화소에서의 추정 청색 및 녹색 가시광선 검출값을 산출하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 1,
Visible light having a wavelength irradiated by the irradiation light source unit is blue and green,
In the pixel detecting red visible light of the image detection sensor, only near infrared rays are detected.
The image processing unit calculates near-infrared detection values in the blue and green visible light detection pixels using the near-infrared detection values, and calculates estimated blue and green visible light detection values in the red visible light detection pixels. And a near infrared image providing system.
청구항 1에 있어서,
상기 영상 검출 센서에서의 검출값을 미리 설정된 기준에 따라 캘리브레이션하는 캘리브레이션부를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 시스템.
The method according to claim 1,
And a calibration unit configured to calibrate the detection value of the image detection sensor according to a preset reference.
피사체에 미리 설정된 파장의 가시광선과 근적외선을 조사하는 광원 조사 단계; 및
미리 설정된 패턴에 따라 배열되고 적색, 녹색, 청색 중 일부 파장의 가시광선 영역을 검출하고 근적외선 영역에서는 서로 유사한 감도를 가지는 화소들을 포함하는 영상 검출 센서로부터 검출된 영상 데이터를 처리하는 영상 처리 단계를 포함하는 가시광선 및 근적외선 영상 동시 시스템의 영상 제공 방법으로서,
상기 광원 조사 단계는 상기 적색, 녹색, 청색 중 일부 파장 영역을 제외한 가시 광선 및 근적외선을 동시에 조사하고,
상기 영상 처리 단계는,
상기 영상 검출 센서 중 근적외선만이 검출되는 일부 화소들로부터 획득된 근적외선 검출값을 이용하여 다른 화소들의 근적외선 검출값을 산출하는 근적외선 검출값 산출 단계;
상기 산출된 근적외선 검출값을 이용하여 상기 다른 화소들의 가시광선 검출값을 산출하는 가시광선 검출값 산출 단계; 및
상기 다른 화소들의 가시광선 검출값을 이용하여 상기 일부 화소들의 추정 가시광선 검출값을 산출하는 추정 가시광선 검출값 산출 단계를 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
A light source irradiating step of irradiating visible and near infrared rays having a predetermined wavelength to a subject; And
An image processing step of detecting a visible light region of some wavelengths of red, green, and blue arranged according to a preset pattern, and processing the detected image data from an image detection sensor including pixels having similar sensitivity to each other in the near infrared region; An image providing method of a simultaneous visible light and near infrared imaging system,
The light source irradiating step simultaneously irradiates visible and near infrared rays excluding some wavelength regions of the red, green, and blue,
The image processing step,
A near-infrared detection value calculating step of calculating near-infrared detection values of other pixels by using the near-infrared detection value obtained from some pixels in which only near-infrared light is detected among the image detection sensors;
A visible light detection value calculating step of calculating visible light detection values of the other pixels by using the calculated near infrared light detection value; And
And calculating an estimated visible light detection value for calculating an estimated visible light detection value of the some pixels by using the visible light detection values of the other pixels.
청구항 11에 있어서,
상기 영상 검출 센서를 통해 가시광선 및 근적외선을 검출하는 영상 검출 단계를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 11,
And detecting the visible light and the near infrared light through the image detection sensor.
청구항 12에 있어서,
상기 제외되는 일부 파장 영역은 적색 가시광선 영역을 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 12,
The excluded part of the wavelength region includes a visible red light region, visible and near-infrared image providing method.
청구항 13에 있어서, 상기 광원 조사 단계는
상기 미리 설정된 파장의 가시광선을 선택적으로 조사하고,
형광을 여기시키기 위해 미리 설정된 여기 파장의 근적외선을 상기 가시광선과 동시에 조사하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method of claim 13, wherein the light source irradiation step
Selectively irradiating visible light of the preset wavelength,
A method of providing visible and near-infrared images, comprising irradiating near-infrared rays of a predetermined excitation wavelength simultaneously with the visible rays to excite fluorescence.
청구항 12에 있어서,
상기 영상 검출 단계는 가시광선과 상기 여기 파장을 제외한 근적외선 영역을 통과시키는 필터링 단계를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 12,
The detecting of the image may further include filtering the visible light and passing the near infrared region excluding the excitation wavelength.
청구항 11에 있어서,
상기 영상 처리 단계에 의해 제공되는 영상 데이터를 출력하는 영상 출력 단계를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 11,
And a video output step of outputting the video data provided by the image processing step.
청구항 16에 있어서,
상기 영상 출력 단계는 근적외선 형광 신호를 가상 색으로 변환하여 출력하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 16,
In the image output step, the visible and near-infrared image providing method, characterized in that for converting the near-infrared fluorescent signal to a virtual color to output.
청구항 11에 있어서,
상기 조사 광원 단계에 의해 조사되는 파장의 가시광선은 청색이고,
상기 영상 검출 센서의 적색과 녹색 파장의 가시광선을 검출하는 화소에서는 근적외선만을 검출하며,
상기 영상 처리 단계는 근적외선 검출값을 이용하여 청색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색과 녹색 가시광선 검출 화소에서의 추정 청색 가시광선 검출값을 산출하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 11,
The visible light of the wavelength irradiated by the irradiation light source step is blue,
Only the near infrared ray is detected in the pixel detecting the visible light of the red and green wavelengths of the image detection sensor.
In the image processing step, the near-infrared detection value in the blue visible light detection pixel is calculated using the near-infrared detection value, and the estimated blue visible light detection value in the red and green visible light detection pixels is calculated. Method of providing near infrared image.
청구항 11에 있어서,
상기 조사 광원 단계에 의해 조사되는 파장의 가시광선은 청색 및 녹색이고,
상기 영상 검출 센서의 적색의 가시광선을 검출하는 화소에서는 근적외선만을 검출하며,
상기 영상 처리 단계는 근적외선 검출값을 이용하여 청색 및 녹색 가시광선 검출 화소에서의 근적외선 검출값을 산출하고, 적색 가시광선 검출 화소에서의 추정 청색 및 녹색 가시광선 검출값을 산출하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 11,
Visible light of the wavelength irradiated by the irradiation light source step is blue and green,
In the pixel detecting red visible light of the image detection sensor, only near infrared rays are detected.
In the image processing step, the near infrared detection value of the blue and green visible light detection pixels is calculated using the near infrared detection value, and the estimated blue and green visible light detection value of the red visible light detection pixel is calculated. Ray and near infrared image providing method.
청구항 11에 있어서,
상기 영상 검출 센서에서의 검출값을 미리 설정된 기준에 따라 캘리브레이션하는 캘리브레이션 단계를 더 포함하는 것을 특징으로 하는 가시광선 및 근적외선 영상 제공 방법.
The method according to claim 11,
And a calibration step of calibrating the detection value of the image detection sensor according to a preset reference.
KR1020180061055A 2018-05-29 2018-05-29 System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously KR102190398B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180061055A KR102190398B1 (en) 2018-05-29 2018-05-29 System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180061055A KR102190398B1 (en) 2018-05-29 2018-05-29 System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously

Publications (2)

Publication Number Publication Date
KR20190135705A true KR20190135705A (en) 2019-12-09
KR102190398B1 KR102190398B1 (en) 2020-12-11

Family

ID=68837533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180061055A KR102190398B1 (en) 2018-05-29 2018-05-29 System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously

Country Status (1)

Country Link
KR (1) KR102190398B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738970A (en) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 Image fusion method and device and computer readable storage medium
KR102350164B1 (en) * 2021-07-15 2022-01-17 이규동 Multispectral imaging conversion method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9173554B2 (en) 2008-03-18 2015-11-03 Novadaq Technologies, Inc. Imaging system for combined full-color reflectance and near-infrared imaging
JP2016518197A (en) * 2013-04-23 2016-06-23 シーダーズ−サイナイ メディカル センター System and method for simultaneously recording phosphor-derived visible and infrared light images
KR20180024298A (en) * 2016-08-29 2018-03-08 (주) 지안 image sensor for visible color and near infrared imaging
WO2018083848A1 (en) * 2016-11-07 2018-05-11 ソニー株式会社 Image processing device, chart for calibration, and calibration system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9173554B2 (en) 2008-03-18 2015-11-03 Novadaq Technologies, Inc. Imaging system for combined full-color reflectance and near-infrared imaging
JP2016518197A (en) * 2013-04-23 2016-06-23 シーダーズ−サイナイ メディカル センター System and method for simultaneously recording phosphor-derived visible and infrared light images
KR20180024298A (en) * 2016-08-29 2018-03-08 (주) 지안 image sensor for visible color and near infrared imaging
WO2018083848A1 (en) * 2016-11-07 2018-05-11 ソニー株式会社 Image processing device, chart for calibration, and calibration system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738970A (en) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 Image fusion method and device and computer readable storage medium
KR102350164B1 (en) * 2021-07-15 2022-01-17 이규동 Multispectral imaging conversion method

Also Published As

Publication number Publication date
KR102190398B1 (en) 2020-12-11

Similar Documents

Publication Publication Date Title
US11823403B2 (en) Fluorescence imaging in a light deficient environment
JP5735031B2 (en) Compact fluorescent endoscope imaging system
JP5925251B2 (en) Near-infrared fluorescence detection apparatus and method for sentinel lymph node
WO2017145529A1 (en) Calculation system
EP2992805B1 (en) Electronic endoscope system
US9907493B2 (en) Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system
US20150042774A1 (en) Image Pickup Device and Image Pickup Method
US11716543B2 (en) Wide dynamic range using a monochrome image sensor for fluorescence imaging
US20220236421A1 (en) Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US20200404131A1 (en) Hyperspectral and fluorescence imaging with topology laser scanning in a light deficient environment
JP3983947B2 (en) Fluorescent image display method and apparatus
US11218645B2 (en) Wide dynamic range using a monochrome image sensor for fluorescence imaging
CN111031888B (en) System for endoscopic imaging and method for processing images
US11622094B2 (en) Wide dynamic range using a monochrome image sensor for fluorescence imaging
JP6770587B2 (en) Endoscope system and image display device
EP2548496B1 (en) Fluorescence endoscopy device
WO2020256916A1 (en) Fluorescence imaging in a light deficient environment
JP2021035549A (en) Endoscope system
KR102190398B1 (en) System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously
JP2001161696A (en) Method and apparatus for acquiring fluorescent image
JP2006261861A (en) Imaging apparatus
EP3824799A1 (en) Device, apparatus and method for imaging an object
KR20170051264A (en) Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same
CN109520975B (en) Near-infrared fluorescence detection device and near-infrared fluorescence detection method
WO2020183462A1 (en) System and method for enhanced imaging of biological tissue

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant