KR20190032758A - Apparatus and method for detecting near-infrared fluorescence - Google Patents

Apparatus and method for detecting near-infrared fluorescence Download PDF

Info

Publication number
KR20190032758A
KR20190032758A KR1020170120962A KR20170120962A KR20190032758A KR 20190032758 A KR20190032758 A KR 20190032758A KR 1020170120962 A KR1020170120962 A KR 1020170120962A KR 20170120962 A KR20170120962 A KR 20170120962A KR 20190032758 A KR20190032758 A KR 20190032758A
Authority
KR
South Korea
Prior art keywords
color
image
white light
infrared
infrared fluorescence
Prior art date
Application number
KR1020170120962A
Other languages
Korean (ko)
Other versions
KR101998592B1 (en
Inventor
강욱
신일형
Original Assignee
인더스마트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인더스마트 주식회사 filed Critical 인더스마트 주식회사
Priority to KR1020170120962A priority Critical patent/KR101998592B1/en
Priority to CN201711365144.7A priority patent/CN109520975B/en
Publication of KR20190032758A publication Critical patent/KR20190032758A/en
Application granted granted Critical
Publication of KR101998592B1 publication Critical patent/KR101998592B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418—Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope

Abstract

The present invention provides a near infrared fluorescence detection apparatus comprising: a white light source unit irradiating an observation object with white light; a near infrared excitation light source unit irradiating near infrared excitation light to the observation object; an optical analyzing assembly transmitting near infrared fluorescence and reflected white light each generated from the observation object by the near infrared excitation light and the white light; a multi-wavelength image processing unit detecting the near infrared fluorescence and the reflected white light, which are transmitted from the optical analyzing assembly, to be processed into a near infrared fluorescence image signal and a visible reflection light image signal, respectively; and a display unit outputting a composite image signal obtained by combining the visible reflection image signal and the near infrared fluorescence image signal which are processed by the multi-wavelength image processing unit. The multi-wavelength image processing unit separates the detected reflected white light into red (R), green (G), and blue (B) image signals, implements the visible reflection light image signal with a first color consisting of red (R), green (G), and blue (B) in a pixel in which the near infrared fluorescence image signal is not detected, and performs image processing to implement the near infrared fluorescence image signal with a second color different from the first color in a pixel in which the near infrared fluorescence image signal is detected. According to the present invention, a unique color of a living tissue can be implemented.

Description

근적외선 형광 검출장치 및 방법 {APPARATUS AND METHOD FOR DETECTING NEAR-INFRARED FLUORESCENCE}[0001] APPARATUS AND METHOD FOR DETECTING NEAR-INFRARED FLUORESCENCE [0002]

본 출원은 신체 내부의 감시림프절을 관찰하기 위한 장치로써, 보다 상세하게는 감시림프절에서의 ICG과 같은 형광물질에 의한 근적외선 형광을 검출하기 위한 장치 및 방법에 관한 것이다.The present application relates to an apparatus for observing a surveillance lymph node in the body, and more particularly, to an apparatus and a method for detecting near-infrared fluorescence by a fluorescent substance such as ICG in a surveillance lymph node.

일반적으로 감시림프절(Sentinel Lymph Node, SLN)은 종양이 림프절을 통해 직접 전이되는 경우, 가장 처음에 도달하는 림프절이며, 감시림프절 생검은 암조직에 염색 색소를 주입해 감시림프절을 발견한 후 이를 절제, 병리조직학적 검사(histopathologic examination)를 실시해 암전이 여부를 확인하는 것이다.In general, the sentinel lymph node (SLN) is the first lymph node to reach the tumor when the tumor is directly metastasized through the lymph node. The surveillance lymph node biopsy is performed by injecting a staining pigment into the cancer tissue to detect the surveillance lymph node, , Histopathologic examination (histopathologic examination) is to check whether the cancer.

감시림프절에서 암이 발견되면 암주변의 림프절 전체를 절제하지만, 발견되지 않으면 림프절에 암이 전이가 되지 않은 것으로 판단하고 림프절제를 최소화할 수 있다.If the cancer is found in the surveillance lymph node, the entire lymph node around the cancer is excised, but if not found, it is judged that the cancer has not metastasized to the lymph node and the lymph node can be minimized.

이러한 감시림프절 생검에 있어서, 육안으로는 감시림프절의 위치를 정확하게 찾을 수 없기 때문에, 추적자(tracer)로 방사선 동위원소를 사용하는 핵의학적 영상방법, 자성을 갖는 자성 유체를 사용하는 영상 방법, 생체 염료를 사용하는 광학 영상방법 또는 방사선 동위원소와 생체 염료를 동시에 병행하는 방식이 사용된다(dual tracer method).In this surveillance lymph node biopsy, since the position of the surveillance lymph node can not be found visually in the naked eye, a nuclear medicine imaging method using a radioisotope as a tracer, a imaging method using a magnetic fluid having magnetic properties, Or a dual tracer method is used in which a radioactive isotope and a biological dye are concurrently used.

주로, 환자에게 방사선에 의한 노출을 최대한 줄이며 감시 림프절 감지를 위한 광학 영상 방법과 생체 염료로 다양한 형광 물질들이 연구되었다. 예로 폴리감마글루탐산과 광학 영상염료 복합체를 포함하는 감시림프절 검진용 광학 영상 프로브에 관한 연구 등이 진행되었다. 형광 염료들 중에 미국식품의약국(FDA)을 포함한 다수 국가 식약청에서 사용이 허가된 것은 인도시아닌 그린(Indocyanine Green, ICG)으로 근적외선 영역에서 광이 여기 되며, 형광이 발생한다. 또한 10~20mm의 깊이까지 분포된 생체 조직의 내부 구조 관찰이 가능하며, 수술장과 같이 백색 가시광이 비추는 장소에서도 근적외선 형광 관찰이 가능하다.Mainly, various fluorescent materials have been studied as an optical imaging method and a biological dye for monitoring lymph node detection, minimizing radiation exposure to patients. For example, research has been conducted on optical image probes for surveillance lymph node examination, including poly-gamma-glutamic acid and an optical imaging dye complex. Fluorescent dyes that are approved by the US Food and Drug Administration (FDA), including the US Food and Drug Administration (FDA), are Indocyanine Green (ICG), which emits light in the near infrared region and fluorescence. In addition, it is possible to observe the internal structure of living tissue distributed to a depth of 10 to 20 mm, and it is possible to observe near-infrared fluorescence even in a place where white visible light is shining like a surgical field.

이러한 근적외선 형광 염료는 육안으로는 볼 수가 없기 때문에 근적외선 형광을 관찰할 수 있는 장비들이 개발되어 왔다.Since these near-infrared fluorescent dyes can not be seen by the naked eye, devices capable of observing near-infrared fluorescence have been developed.

대표적으로, 대한민국 공개특허 10-2015-0007679에서는 근적외선 형광 신호의 유무 혹은 근적외선 형광 신호의 세기에 따라 근적외선 형광 영상신호를 빨강(R), 녹색(G), 파랑(B) 영상 신호 중 파랑(B) 영상신호를 선택하여 영상처리함으로써, 근적외선 감시림프절의 근적외선 형광 검출에 있어 보다 정확성을 높일 수 있도록 하였다. In Korean Patent Laid-open Publication No. 10-2015-0007679, near infrared ray fluorescent image signals are classified into red (R), green (G), and blue (B) image signals according to the presence or absence of near- ) Image signal is selected for image processing, thereby making it possible to improve the accuracy of detection of near-infrared fluorescence in the near-infrared monitoring lymph node.

그러나 대한민국 공개특허 10-2015-0007679에서는 근적외선 형광을 특정색(B)으로 한정하여 영상신호를 구현함으로써 생체 조직과 생체 조직내의 감시 림프절의 구별을 정확히 할 수 있지만, 대상이 되는 생체 조직에서 반사되는 반사 백색광을 빨강(R), 녹색(G)만으로 가시광 반사광 영상신호를 구현함으로써, 생체 조직의 고유색을 관찰하기 어려운 점이 있었다. 즉, 생체 조직 종류에 따라 다를 수 있는 색감을 한정적으로 밖에 표현할 수 없게 되어 조직의 색 재현성을 떨어뜨리게 한다.However, in Korean Patent Laid-open Publication No. 10-2015-0007679, it is possible to accurately distinguish between a living tissue and a living lymph node in a living tissue by realizing a video signal by limiting the near-infrared fluorescence to a specific color (B) It is difficult to observe the unique color of the living tissue by realizing the visible light reflected video signal only with red (R) and green (G) reflection white light. That is, the coloring which can be different depending on the kind of living tissue can be limitedly expressed, and the color reproducibility of the tissue is deteriorated.

대한민국 공개특허 제10-2015-0007679호Korean Patent Publication No. 10-2015-0007679 일본 공개특허 제2006-340796호Japanese Patent Laid-Open No. 2006-340796 미국 공개특허 제2001/0063427호U.S. Published Patent Application 2001/0063427 미국 공개특허 제2002/0013531호U.S. Published Patent Application 2002/0013531 미국 공개특허 제2011/0104071호U.S. Published Patent Application No. 2011/0104071 미국 공개특허 제2004/0010192호US Patent Publication No. 2004/0010192 미국 특허 제6,293,911호U.S. Patent No. 6,293,911

본 발명은 상기와 같은 문제점을 해결하기 위하여, 생체 조직의 고유색을 구현하고, 동시에 근적외선 형광 영상신호에 대해 구현된 색이 생체 조직의 고유색과 구별될 수 있도록 영상 처리할 수 있는 근적외선 형광 검출 장치 및 방법을 제공하고자 한다.In order to solve the above-described problems, the present invention provides a near-infrared fluorescence detection apparatus capable of realizing an intrinsic color of a living body tissue and at the same time capable of image processing so that a color realized with respect to a near-infrared fluorescence image signal can be distinguished from a unique color of a living tissue. Method.

본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present application are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기한 목적을 달성하기 위해, 본 발명의 일 관점에 따른 근적외선 형광검출장치는 관찰대상에 백색광을 조사하는 백색 광원부; 상기 관찰대상에 근적외선 여기광을 조사하는 근적외선 여기 광원부; 상기 백색광과 상기 근적외선 여기광에 의해 각각 상기 관찰대상으로부터 발생된 반사 백색광과 근적외선 형광을 전달하는 광진단 조립체; 상기 광진단 조립체로부터 전달받은 상기 반사 백색광 및 상기 근적외선 형광을 검출하여, 각각 가시광선 반사광 영상신호 및 근적외선 형광 영상신호로 처리하는 다파장 영상 처리부; 상기 다파장 영상 처리부로부터 처리된 상기 가시광선 반사광 영상신호 및 상기 근적외선 형광 영상신호를 조합한 복합영상 신호를 출력하는 디스플레이부를 포함하며, 상기 다파장 영상 처리부는 검출된 상기 반사 백색광을 빨강(R), 녹색(G), 파랑(B) 영상신호로 분리한 다음, 상기 근적외선 형광 영상신호가 검출되지 않은 픽셀에는 빨강(R), 녹색(G), 파랑(B)으로 이루어진 제 1컬러로 상기 가시광 반사광 영상신호를 구현하고, 상기 근적외선 형광신호가 검출된 픽셀에는 상기 제 1컬러와 다른 제 2 컬러로 상기 근적외선 형광 영상신호를 구현하도록 한다.According to an aspect of the present invention, there is provided a near-infrared fluorescence detecting apparatus comprising: a white light source unit for emitting white light to an object to be observed; A near infrared ray excitation light source unit for irradiating near infrared ray excitation light to the object to be observed; A photodiagnostic assembly for transmitting reflected white light and near-infrared fluorescence generated from the observation object by the white light and the near-infrared ray excitation light; A multi-wavelength image processor for detecting the reflected white light and the near-infrared fluorescence transmitted from the photodiode assembly and processing the reflected white light and the near-infrared fluorescence image signal, respectively; And a display unit for outputting a composite image signal obtained by combining the visible light reflection image signal and the near-infrared fluorescent image signal processed by the multi-wavelength image processing unit, wherein the multi-wavelength image processing unit converts the detected reflected white light into red (R) Green (G), and blue (B) image signals, and the pixels in which the near-infrared fluorescence image signals are not detected are separated into a first color composed of red (R), green Infrared fluorescence image signal in a second color different from the first color in the pixel in which the near-infrared fluorescence signal is detected.

본 발명의 또 다른 관점에 따른 근적외선 형광 검출 장치는 관찰대상에 백색광을 조사하는 백색 광원부; 상기 관찰대상에 근적외선 여기광을 조사하는 근적외선 여기 광원부; 상기 백색광과 상기 근적외선 여기광에 의해 각각 상기 관찰대상으로부터 발생된 반사 백색광과 근적외선 형광을 전달하는 광진단 조립체; 상기 광진단 조립체로부터 전달받은 상기 반사 백색광 및 상기 근적외선 형광을 검출하여, 각각 가시광선 반사광 영상신호 및 근적외선 형광 영상신호로 처리하는 다파장 영상 처리부; 상기 다파장 영상 처리부로부터 처리된 상기 가시광선 반사광 영상신호 및 상기 근적외선 형광 영상신호를 조합한 복합영상 신호를 출력하는 디스플레이부를 포함하며, 상기 다파장 영상 처리부는 검출된 상기 반사 백색광을 빨강(R), 녹색(G), 파랑(B) 영상신호로 분리한 다음, 상기 근적외선 형광 영상신호가 검출되지 않은 픽셀에는 빨강(R), 녹색(G), 파랑(B)으로 이루어진 제 1컬러로 상기 가시광 반사광 영상신호를 구현하고, 상기 근적외선 형광 영상신호가 검출된 픽셀에는 빨강(R), 녹색(G), 파랑(B) 중 적어도 어느 하나인 제 2컬러로 상기 근적외선 형광 영상신호를 구현할 때, 상기 제 2컬러가 상기 제 1컬러와 동일하면, 상기 제 1 컬러 및 제 2 컬러 중 적어도 어느 하나의 그레이스케일(grayscale)을 조절하여 영상처리하거나 상기 제 2컬러가 비연속적으로 구현되도록 상기 근적외선 형광 영상신호의 타이밍 펄스를 조절하여 영상처리 한다.According to another aspect of the present invention, a near-infrared fluorescence detecting apparatus includes a white light source unit for emitting white light to an object to be observed; A near infrared ray excitation light source unit for irradiating near infrared ray excitation light to the object to be observed; A photodiagnostic assembly for transmitting reflected white light and near-infrared fluorescence generated from the observation object by the white light and the near-infrared ray excitation light; A multi-wavelength image processor for detecting the reflected white light and the near-infrared fluorescence transmitted from the photodiode assembly and processing the reflected white light and the near-infrared fluorescence image signal, respectively; And a display unit for outputting a composite image signal obtained by combining the visible light reflection image signal and the near-infrared fluorescent image signal processed by the multi-wavelength image processing unit, wherein the multi-wavelength image processing unit converts the detected reflected white light into red (R) Green (G), and blue (B) image signals, and the pixels in which the near-infrared fluorescence image signals are not detected are separated into a first color composed of red (R), green Wherein when the near infrared ray fluorescent image signal is implemented in a second color which is at least one of red (R), green (G), and blue (B) for the pixel in which the near infrared ray fluorescent image signal is detected, If the second color is the same as the first color, adjusting the grayscale of at least one of the first color and the second color to image processing, or if the second color is discontinuous And adjusts the timing pulse of the near-infrared fluorescence image signal so as to implement image processing.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 따른 근적외선 형광 검출장치는 감시림프절과 같은 생체 조직의 고유색을 올바로 재현하여 의료 행위시 조직의 상태나 검사 등을 정확히 판단할 수 있다.As described above, the near-infrared fluorescence detection apparatus according to an embodiment of the present invention accurately reproduces the unique color of a living tissue such as a surveillance lymph node, and can accurately determine the state or inspection of tissue during medical treatment.

본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present application are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 근적외선 형광 검출 장치에 관한 개략도이다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)을 이미지 처리하여 나타낸 영상에 관한 것이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)과 조직내의 감시 림프절(Sentinel Lymph Node)를 이미지 처리하여 나타낸 영상에 관한 것이다.
도 4는 본 발명의 다른 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)을 이미지 처리하여 나타낸 영상에 관한 것이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)과 조직내의 감시 림프절을 이미지 처리하여 나타낸 영상에 관한 것이다.
도 6은 본 발명의 일 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지의 컬러 구현을 위한 다파장 영상 처리부의 개략도를 나타낸 도이다.
도 7은 본 발명에 따른 일 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지를 중첩하여 복합 영상을 형성하는 과정을 순차적으로 나타낸 블록도이다.
도 8은 본 발명의 다른 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지의 컬러 구현을 위한 다파장 영상 처리부의 개략도를 나타낸 도이다.
도 9는 본 발명에 따른 다른 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지를 중첩하여 복합 영상을 형성하는 과정을 순차적으로 나타낸 블록도이다.
도 10은 본 발명의 또 다른 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지의 컬러 구현을 위한 다파장 영상 처리부의 개략도를 나타낸 도이다.1 is a schematic diagram of a near-infrared fluorescence detection apparatus according to an embodiment of the present invention.
FIGS. 2A to 2C illustrate an image obtained by image-processing a biological tissue (tissue inside the human body) using a near-infrared fluorescence detection apparatus according to an embodiment of the present invention.
FIGS. 3A to 3C are views showing images obtained by imaging a biological tissue (a tissue inside the human body) and a sentinel lymph node in a tissue using the near-infrared fluorescence detection apparatus according to an embodiment of the present invention. FIG.
FIG. 4 is a view showing an image obtained by imaging a biological tissue (tissue inside the human body) using a near-infrared fluorescence detecting apparatus according to another embodiment of the present invention.
FIGS. 5A to 5C are views showing images of a biological tissue (a tissue inside the human body) and a monitoring lymph node in a tissue by image processing using the near-infrared fluorescence detecting apparatus according to an embodiment of the present invention.
FIG. 6 is a schematic diagram of a multi-wavelength image processing unit for color implementation of a reflected white light image and a near-infrared fluorescence image, according to an embodiment of the present invention.
7 is a block diagram sequentially illustrating a process of forming a composite image by superimposing a reflected white light image and a near-infrared fluorescence image according to an embodiment of the present invention.
8 is a schematic diagram of a multi-wavelength image processing unit for color implementation of a reflected white light image and a near-infrared fluorescence image, according to another embodiment of the present invention.
9 is a block diagram sequentially illustrating a process of forming a composite image by superposing a reflected white light image and a near-infrared fluorescence image according to another embodiment of the present invention.
10 is a schematic diagram of a multi-wavelength image processing unit for color implementation of a reflected white light image and a near-infrared fluorescence image, according to another embodiment of the present invention.

이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It is to be understood, however, that the appended drawings illustrate the present invention in order to more easily explain the present invention, and the scope of the present invention is not limited thereto. You will know.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Also, the terms used in the present application are used only to describe certain embodiments and are not intended to limit the present invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1은 본 발명의 일 실시예에 따른 근적외선 형광 검출 장치에 관한 개략도이다.1 is a schematic diagram of a near-infrared fluorescence detection apparatus according to an embodiment of the present invention.

도시된 바와 같이, 근적외선 형광 검출 장치는 복합 광원부 (Combined White-NIR Illuminator; 10), 광 가이드(Light guide; 20), 광 진단 조립체(Optical analyzing assembly; 30), 광 어댑터(Optical adapter: 40), 다파장 영상 처리부(Multispectral Image processor; 50), 비디오 처리 및 제어유닛(Video processing and control unit; 60), 컴퓨터(Computer; 70) 및 디스플레이부(Display unit; 80)을 포함한다.As shown in the figure, the near-infrared fluorescence detecting apparatus includes a Combined White-NIR Illuminator 10, a light guide 20, an optical analyzing assembly 30, an optical adapter 40, A multispectral image processor 50, a video processing and control unit 60, a computer 70 and a display unit.

복합 광원부(10)는 백색광을 방출하는 백색광원과 근적외선 여기광을 방출하는 근적외선 여기광원을 포함할 수 있다. 백색 광원은 LED, 메탈 할라이드 램프 또는 크세논 램프 등을 포함할 수 있고, 이외에도 백색광을 방출할 수 있는 것이면 어떤 광원이든 사용가능하다. 근적외선 여기광원은 레이저를 이용하여 800 ± 20nm 광을 방출할 수 있고, 근적외선 여기광을 방출할 수 있는 것이면 어떤 광원이든 사용가능하다.The composite light source unit 10 may include a white light source that emits white light and a near-infrared ray excitation light source that emits near-infrared light. The white light source may include an LED, a metal halide lamp, or a xenon lamp, and any light source may be used as long as it can emit white light. The near-infrared excitation light source can emit light of 800 ± 20 nm using a laser, and any light source can be used as long as it can emit near-infrared excitation light.

도 1에서, 백색광원 및 근적외선 여기광원이 일체로 설치된 복합 광원부(10)를 예시로 설명하였으나, 복합 광원부의 일정한 형태로 한정되지 않으며, 백색광 및 근적외선 여기광을 관찰대상(A)으로 제공하여 줄 수 있는 어떤 형태라면 족하다. 예를 들어, 백색 광원과 근적외선 여기 광원이 별도로 설치되고, 백색 광원과 근적외선 여기 광원은 각각 별도의 광 경로를 통하여 관찰대상(A)에 광을 조사할 수 있거나 도시된 바와 같이 동일 광로인 광 가이드(20)을 통하여 관찰대상(A)에 광을 조사할 수 있다. 이 때, 관찰대상(A)은 림프절을 포함한 다양한 생물학적 측정 대상이 될 수 있고, 관찰대상(A)과 비교 관찰을 할 수 있는 표준 시편이 이용될 수 있다.1, the combined light source unit 10 in which the white light source and the near-infrared light source are integrally formed is described as an example, but the present invention is not limited to a specific form of the complex light source unit, Any form can be satisfied. For example, a white light source and a near-infrared ray excitation light source are separately provided, and the white light source and the near-infrared ray excitation light source can irradiate light to the observation target A through separate optical paths, respectively, It is possible to irradiate the observation target A with light through the light source 20. At this time, the object to be observed (A) can be a variety of biological measurement objects including the lymph node, and a standard specimen capable of performing comparison observation with the object to be observed (A) can be used.

복합 광원부로부터의 백색광 및 근적외선 여기광은 광 가이드(20) 및 광진단 조립체(30)를 통해 관찰대상(A)에 조사되고, 관찰대상으로부터 반사된 반사 백색광(Visible Reflection Light; 반사 가시광) 및 여기광(Laser Excitation Light), 여기광에 의한 근적외선 형광(Near-infrared Fluorescence)이 방출된다. The white light and the near-infrared ray excitation light from the composite light source unit are irradiated to the observation target A through the light guide 20 and the photodiagnostic assembly 30, and reflected white light (visible reflected light) Laser excitation light, and near-infrared fluorescence by excitation light are emitted.

방출된 반사 백색광, 여기광, 근적외선 형광은 광진단 조립체(30) 및 광 어댑터(40)를 통하여 다파장 영상 처리부(50)로 입력되어 영상처리 된다. The emitted reflected white light, excitation light, and near-infrared fluorescence are input to the multi-wavelength image processing unit 50 through the photodiagnostic assembly 30 and the optical adapter 40, and are image-processed.

광 어댑터(40)는 여기광(Laser Excitation Light)이 다파장 영상처리부(50)에 입력되는 것을 차단하기 위해 특정 파장대의 광을 차폐시키는 차폐 필터(42)를 포함할 수 있다. 이는 관찰대상(A)의 배경을 위한 반사 백색광과 관찰대상내에서 검출하고자하는 형광을 제외한 여기광(Laser Excitation Light)은 실제 관찰 대상의 특성을 파악하는데 필요치 않기 때문이다.The optical adapter 40 may include a shielding filter 42 for shielding light of a specific wavelength band in order to block the excitation light from being input to the multi-wavelength image processing unit 50. This is because the excitation light (excitation light) except for the reflected white light for the background of the observation object A and the fluorescence to be detected in the observation object is not necessary to grasp the characteristics of the actual observation object.

다파장 영상 처리부(50)는 가시광 영역과 근적외선 영역의 영상을 동시에 이미지 처리하기 위하여 2개의 이미지 센서(54, 55)를 포함할 수 있다. The multi-wavelength image processing unit 50 may include two image sensors 54 and 55 for simultaneously image-processing images of the visible light region and the near-infrared region.

또한, 다파장 영상 처리부(50)는 입력된 반사 백색광과 근적외선 형광의 경로에 설치된 광분리기(beam splitter; 51)와 광학필터(52, 53)를 포함할 수 있다. 광분리기(51)는 관찰대상으로부터 방출된 이차광 즉, 가시광선 영역인 반사 백색광과 근적외선 영역인 형광을 별도 채널로 분리하고, 다이크로익 프리즘(Dichroic prism)과 같은 광을 분리하는 프리즘을 사용할 수 있다. 광학필터(52, 53)는 반사 백색광 및 근적외선 형광의 스펙트럼을 선택한다.In addition, the multi-wavelength image processing unit 50 may include a beam splitter 51 and optical filters 52 and 53 installed in the path of the input reflected white light and near-infrared fluorescence. The optical isolator 51 separates the secondary light emitted from the observation object, that is, the reflected white light in the visible light region and the fluorescent light in the near infrared region into separate channels, and uses a prism for separating light such as a dichroic prism . Optical filters 52 and 53 select a spectrum of reflected white light and near-infrared fluorescence.

앞서 언급한 가시광 영역과 근적외선 영역의 광을 이미지 처리하기 위하여 설치된 2개의 이미지 센서 중 제 1 이미지 센서(54)는 광분리기(51)로부터 반사 백색광이 분리되는 가시광선 채널에 설치되고, 이때의 제 1 이미지 센서(54)는 칼라 이미지 센서(Color Image Sensor)를 포함할 수 있다. 제 2 이미지 센서(55)는 광분리기(51)로부터 근적외선 형광이 분리되는 근적외선 채널에 설치되고, 이때의 제 2이미지 센서(55)는 단색 이미지 센서(Monochrome Image Sensor)를 포함할 수 있다. The first image sensor 54 of the two image sensors installed for image processing the light in the visible light region and the near-infrared light region is installed in the visible light channel from which the reflected white light is separated from the light separator 51, 1 image sensor 54 may include a color image sensor. The second image sensor 55 is installed in the near infrared ray channel from which the near infrared ray fluorescence is separated from the optical isolator 51, and the second image sensor 55 at this time may include a monochrome image sensor.

한편, 본 발명의 실시예에서는 가시광 영역과 근적외선 영역의 광을 별도 이미지 처리하기 위하여 두개의 이미지 센서를 사용하였지만 단일의 이미지 센서를 사용하여 가시광 영역과 근적외선 영역의 광을 시간적 순서에 따라 이미지 처리할 수 있다. 이 경우, 광 분리를 위한 광 분리기를 본 발명의 실시예에서 제외할 수 있다. Meanwhile, in the embodiment of the present invention, two image sensors are used for separately processing the light in the visible light region and the near-infrared light region, but the light in the visible light region and the near-infrared light region are processed in a temporal order using a single image sensor . In this case, the optical isolator for optical separation can be excluded from the embodiment of the present invention.

다파장 영상 처리부(50)에 포함된 두 개의 이미지 센서(54, 55)는 타이밍 신호를 제어하는 타이밍 발생기(Timing generator; 61)와, 이를 포함하는 비디오 처리 및 제어 유닛(Video processing and control unit; 60)에 의해 제어된다. The two image sensors 54 and 55 included in the multi-wavelength image processing unit 50 include a timing generator 61 for controlling a timing signal, a video processing and control unit including the timing generator 61, 60).

비디오 처리 및 제어 유닛(60)은 각각의 이미지 센서를 위한 제1이득 증폭기(First Gain Amplifier; 62) 및 제2이득 증폭기(Second Gain Amplifier; 63)와 제1아날로그-디지털 변환기(First Analog Digital Converter; 64)와 제2아날로그-디지털 변환기(Second Analog Digital Converter; 65)를 포함할 수 있다. 또한 비디오 처리 및 제어 유닛(60)은 반사 백색광 및 근적외선 형광에 대한 영상 신호를 생성, 분석 및 처리하기 위한 디지털 영상 처리기(Digital Image Processor; 66)를 포함할 수 있다.The video processing and control unit 60 includes a first gain amplifier 62 and a second gain amplifier 63 for each image sensor and a first analog digital converter ; 64 and a second analog-to-digital converter (65). The video processing and control unit 60 may also include a digital image processor 66 for generating, analyzing and processing video signals for reflected white light and near-infrared fluorescence.

디지털 영상 처리기(66)는 제1이득 증폭기(62) 및 제2이득 증폭기(63)에서 증폭 계수를 독립적으로 조정하기 위한 제어신호를 생성하고, 반사 백색광 또는 여기광의 기 설정된 기준광의 세기를 일정하게 유지할 수 있도록 이득을 제어할 수 있는 자동 이득 제어(AGC, Automatic Gain Control)조건을 설정할 수 있다. The digital image processor 66 generates a control signal for independently adjusting amplification coefficients in the first gain amplifier 62 and the second gain amplifier 63 and adjusts the intensity of the predetermined reference light of the reflected white light or the excitation light to be constant The automatic gain control (AGC) condition that can control the gain can be set.

또한, 디지털 영상 처리기(66)는 타이밍 발생기와 동기화하여 반사 백색광 및 근적외선 형광에 대한 영상 신호 처리를 수행한 후, 송, 수신부(67)를 통해 영상 신호를 컴퓨터(Computer; 70)에 전달한다. 컴퓨터(70)는 두 영상신호를 복합 영상으로 구현되도록 영상처리 한 후, 디스플레이부(Display Unit; 80)에 전송한다. The digital image processor 66 performs image signal processing for the reflected white light and near-infrared fluorescence in synchronization with the timing generator, and then transmits the image signal to the computer 70 through the transmission and reception unit 67. The computer 70 processes the two image signals so as to be realized as a composite image, and transmits the image signals to a display unit (80).

도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)을 이미지 처리하여 나타낸 영상에 관한 것이고, 도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)과 조직내의 감시 림프절(Sentinel Lymph Node)를 이미지 처리하여 나타낸 영상에 관한 것이다.FIGS. 2A to 2C are views showing images obtained by image processing biological tissues (tissues inside the human body) using a near-infrared fluorescence detecting apparatus according to an embodiment of the present invention, and FIGS. (A tissue inside the human body) and a sentinel lymph node in a tissue using the near-infrared fluorescence detecting apparatus according to the example.

좀더 구체적으론, 도 2a는 다파장 영상처리부에서 생체 조직으로부터 얻어진 반사 백색광(Visible)을 빨강(R) 및 녹색(G)으로만 영상처리하여 상기 생체 조직을 디스플레이 한 영상이고, 도 2b는 다파장 영상처리부에서 생체 조직으로부터 얻어진 반사 백색광(Visible)을 녹색(G) 및 파랑(B)으로만 영상처리하여 상기 생체 조직을 디스플레이한 영상이고, 도 2c는 다파장 영상처리부에서 생체 조직으로부터 얻어진 반사 백색광(Visible)을 빨강(R) 및 파랑(B)으로만 영상처리하여 상기 생체 조직을 디스플레이한 영상에 관한 것이다. More specifically, FIG. 2 (a) is an image obtained by displaying a reflection white light obtained from living tissue in a multi-wavelength image processing unit only on red (R) and green (G) FIG. 2c is an image obtained by imaging the reflection white light obtained from the living tissue in the image processing unit only with green (G) and blue (B) images, and FIG. 2c is an image obtained by reflecting white light (R) and blue (B), and displaying the biomedical tissue.

또한, 도 3a는 도 2a의 생체조직 내의 감시 림프절에 대해 근적외선 형광을 이용하여 파랑(B)으로 영상처리하여 디스플레이한 영상이고, 도 3b는 도 2b의 생체조직 내의 감시 림프절에 대해 근적외선 형광을 이용하여 파랑(B)으로 영상처리하여 디스플레이한 영상이고, 도 3c는 도 2c의 생체조직 내의 감시 림프절에 대해 근적외선 형광을 이용하여 파랑(B)으로 영상처리하여 디스플레이한 영상에 관한 것이다. 3A is an image obtained by imaging the surveillance lymph node in the living tissue of FIG. 2A by using the near-infrared fluorescence image with blue (B) image, FIG. 3B is a view of the monitoring lymph node in the living tissue of FIG. 2B using near- FIG. 3C is a view illustrating an image obtained by performing image processing on a surveillance lymph node in a living body tissue using a near-infrared fluorescence (B) image in FIG. 2C.

도 2a 내지 도 2c를 살펴보면, 빨강(R), 파랑(B), 녹색(G) 중 2색의 조합으로만 생체 조직을 표현할 경우, 생체 조직에 대한 고유한 색이 아닌 왜곡된 색으로 나타남을 알 수 있다. 이 경우, 도 3a 및 도 3b에서와 같이, 감시 림프절을 근적외선 형광을 이용하여 파랑(B)으로 구현하여도, 생체 조직과 감시 림프절을 쉽게 구별할 수 있기 때문에 생체 조직을 빨강(R)과 녹색(G) 또는 파랑(B)과 녹색(G)의 조합만으로 표현함이 적절하다.Referring to FIGS. 2A to 2C, when a biotissue is expressed only by a combination of two colors of red (R), blue (B), and green (G), a distorted color Able to know. In this case, even if the surgeon's lymph node is implemented with blue (B) using near-infrared fluorescence as shown in FIGS. 3A and 3B, the living tissue can be easily distinguished from the surveillance lymph node, (G) or a combination of blue (B) and green (G).

그러나 도 3c를 살펴보면, 생체 조직이 빨강(R)과 파랑(B)으로 왜곡되어 표현 되고, 감시 림프절을 근적외선 형광을 이용하여 파랑(B)으로 구현할 경우, 생체 조직과 감시 림프절 구별이 쉽지 않음을 알 수 있다. 이와 같은 경우, 감시 림프절의 위치를 정확히 파악할 수 없어, 감시 림프절을 이용한 암 전이 여부 확인이 어려워질 수 있다.However, in FIG. 3C, it is not easy to distinguish the living tissue from the surveillance lymph node when the living tissue is distorted by red (R) and blue (B) and the monitoring lymph node is implemented by blue (B) Able to know. In such a case, the position of the surveillance lymph node can not be accurately grasped, and it may become difficult to confirm the cancer metastasis using the surveillance lymph node.

도 3c와 같이, 생체 조직과 감시 림프절 구별의 어려움은 근적외선 형광을 이용하여 감시 림프절을 파랑(B)으로만 구현할 때 발생되는게 아니라 감시 림프절을 빨강(R) 혹은 녹색(G)으로 구현할 경우에도, 생체 조직의 표현된 색에 따라 동일하게 발생한다. As shown in FIG. 3C, when the monitoring lymph node is implemented with red (R) or green (G) instead of using the near infrared ray fluorescence only when the monitoring lymph node is implemented as blue (B) The same occurs according to the color expressed in the living tissue.

위와 같은 문제점을 해결하기 위해 본 발명의 다른 실시예에 따른 근적외선 형광 검출장치는 생물학적 조직 또는 조직내의 감시 림프절에 대해 다음 도 4 및 도 5a 내지 도 5c와 같이, 이미지 처리하여 영상을 구현한다.In order to solve the above problems, the near-infrared fluorescence detection apparatus according to another embodiment of the present invention implements images by monitoring the lymph nodes in biological tissues or tissues as shown in FIGS. 4 and 5A to 5C.

도 4는 본 발명의 다른 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)을 이미지 처리하여 나타낸 영상에 관한 것이고, 도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 근적외선 형광 검출장치를 이용하여 생물학적 조직(인체 내부의 조직)과 조직내의 감시 림프절을 이미지 처리하여 나타낸 영상에 관한 것이다.FIG. 4 is a diagram illustrating an image obtained by imaging a biological tissue (tissue inside a human body) using a near-infrared fluorescence detecting apparatus according to another embodiment of the present invention, and FIGS. 5A through 5C are views (A tissue inside the human body) and a monitoring lymph node in the tissue using a near-infrared fluorescence detecting apparatus.

더욱 자세하게는, 도 4는 다파장 영상처리부에서 생체 조직으로부터 얻어진 반사 백색광을 빨강(R), 녹색(G) 및 파랑(B)을 영상처리하여 생체조직을 디스플레이 한 영상이다. 또한, 도 5a는 도 4의 생체조직 내의 감시 림프절에 대해 근적외선 형광을 이용하여 파랑(B)으로 영상처리하여 디스플레이한 영상이고, 도 5b는 도 4의 생체조직 내의 감시 림프절에 대해 근적외선 형광을 이용하여 녹색(G)으로 영상처리하여 디스플레이한 영상이고, 도 5c는 도 4의 생체조직 내의 감시 림프절에 대해 근적외선 형광을 이용하여 빨강(R)으로 영상처리하여 디스플레이한 영상에 관한 것이다. More specifically, FIG. 4 is an image obtained by displaying red tissue (R), green tissue (G), and blue tissue (B) on a living tissue by using a reflected white light obtained from a living tissue in a multi- FIG. 5A is an image obtained by performing image processing with blue (B) using near-infrared fluorescence with respect to a monitoring lymph node in the living body tissue of FIG. 4, FIG. 5B is an image obtained by displaying near- FIG. 5C is a view illustrating an image obtained by performing image processing with red (R) using a near-infrared fluorescence with respect to a monitoring lymph node in a living tissue of FIG.

도 4에 도시된 바와 같이, 빨강(R), 파랑(B), 녹색(G) 모두를 이용한 제 1 컬러로 생체 조직을 표현할 경우, 생체 조직 색의 왜곡없이 조직의 고유한 색을 구현할 수 있다. 이 때, 근적외선 형광을 이용하여 감시 림프절을 도 5a 내지 도 5c와 같이, 제 1 컬러와 다른 제 2컬러 예를 들어, 파랑(B), 녹색(G), 빨강(R)으로 구현할 수 있다. 이에 따라 생체 조직과 감시 림프절이 명확히 구별될 수 있음을 알 수 있다. 본 발명의 일 실시예에서 제 2 컬러로 파랑(B), 녹색(G), 빨강(R)을 사용하였지만 이에 한정되지 않고, 빨강(R), 파랑(B), 녹색(G)으로 이루어진 제 1 컬러와 구별될 수 있는 다른 색이면 어느 색이든 구현 가능하다.As shown in FIG. 4, when a living tissue is represented by a first color using all of red (R), blue (B), and green (G), a unique color of the tissue can be realized without distorting the color of the living tissue . At this time, the monitoring lymph node can be implemented using near infrared ray fluorescence as a second color different from the first color, for example, blue (B), green (G), and red (R) as shown in Figs. 5A to 5C. Thus, it can be seen that the living tissue and the surveillance lymph node can be clearly distinguished. (B), green (G), and red (R) are used as the second color in the embodiment of the present invention. Any other color that can be distinguished from one color can be implemented.

도 6은 본 발명의 일 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지의 컬러 구현을 위한 다파장 영상 처리부의 개략도를 나타낸 도이다.FIG. 6 is a schematic diagram of a multi-wavelength image processing unit for color implementation of a reflected white light image and a near-infrared fluorescence image, according to an embodiment of the present invention.

도 6를 참조하면, 다파장 영상 처리부(50)는 이미지 센서(Image Sensor 54, 55), 디지털 영상 처리기(Digital Image Processor 66), 이미지 추출부(Image Extracting Unit), 컬러 추출부(Color Extracting Unit), 컬러 처리부(Color Processor)를 포함할 수 있다.6, the multi-wavelength image processing unit 50 includes an image sensor 54, a digital image processor 66, an image extracting unit, a color extraction unit , And a color processor (Color Processor).

이미지 센서(54, 55)는 가시광 영역 및 근적외선 영역의 영상을 이미지 처리할 수 있다. 이미지 추출부(210)는 상기 이미지 센서(54, 55)의 의해 이미지 처리된 가시광 영역 및 근적외선 영역의 영상 중 가시광 영역의 영상을 메인 영상으로 추출할 수 있다. 이때, 메인 영상은 제 1컬러로 구현될 수 있다.The image sensors 54 and 55 can image the images of the visible light region and the near infrared region. The image extracting unit 210 may extract the image of the visible light region of the image of the visible light region and the near-infrared region processed by the image sensors 54 and 55 into the main image. At this time, the main image may be implemented in the first color.

컬러 추출부(230)는 이미지 추출부(210)에서 추출한 메인 영상에 대해 상기 제 1컬러 데이터들을 분석하여 컬러 히스토그램(Color Histogram)을 추출 할 수 있다. 이때, 컬러 추출부(230)는 메인 영상을 구성하는 제 1컬러 데이터들의 빈도 분포를 분석한 후, 빈도 분포에 따라 빈도 수가 많은 제 1컬러 데이터들을 순차적으로 표시하는 컬러 히스토로그램을 생성할 수 있다.The color extracting unit 230 may extract the color histogram by analyzing the first color data of the main image extracted by the image extracting unit 210. At this time, the color extracting unit 230 may analyze the frequency distribution of the first color data constituting the main image, and then generate a color histogram that sequentially displays the first color data having a large frequency according to the frequency distribution have.

컬러 처리부(250)는 컬러 추출부(230)에서 추출한 컬러 히스토그램에서 빈도수가 작거나 없는 컬러를 선택하여 제 1 컬러와 다른 색인 제 2 컬러로 설정할 수 있다.The color processing unit 250 may select a color having a small or no frequency in the color histogram extracted by the color extracting unit 230 and set the color to a second color that is different from the first color.

디지털 영상 처리기(66)는 가시광 영역의 영상에 대해 제 1컬러로 구현되도록 영상처리하고, 근적외선 영역의 영상에 대해 상기 컬러 처리부(250)에서 설정한 제 2컬러로 구현되도록 영상처리 할 수 있다. The digital image processor 66 processes the image of the visible light region to be implemented in the first color and implements the image of the near infrared region to be implemented in the second color set by the color processing unit 250. [

또한, 디지털 영상 처리기(66)는 실행되는 어플리케이션의 상태에 따라 가시광 영역의 영상에 대해 제 2컬러를 대표컬러로 선택하여 영상처리 할 수 있다. 예를들어, 이미지 추출부(210)가 이미지 센서의 의해 이미지 처리된 가시광 영역 및 근적외선 영역의 영상 중 근적외선 영역의 영상을 메인 영상으로 추출할 수 있다. In addition, the digital image processor 66 can perform image processing by selecting the second color as the representative color for the image of the visible light region according to the state of the executed application. For example, the image extracting unit 210 may extract an image of a near-infrared region of an image of a visible light region and a near-infrared region, which are image-processed by the image sensor, as a main image.

이때, 메인 영상은 제 1컬러로 구현될 수 있고, 컬러 추출부(230)는 이미지 추출부(210)에서 추출한 메인 영상에 대해 상기 제 1컬러 데이터들을 분석하여 컬러 히스토그램(Color Histogram)을 추출 할 수 있다.At this time, the main image may be implemented in a first color, and the color extraction unit 230 may analyze the first color data of the main image extracted by the image extraction unit 210 to extract a color histogram .

컬러 처리부(250)는 컬러 추출부(230)에서 추출한 컬러 히스토그램에서 빈도수가 작거나 없는 컬러를 선택하여 제 1 컬러와 다른 색인 제 2 컬러로 설정할 수 있다.The color processing unit 250 may select a color having a small or no frequency in the color histogram extracted by the color extracting unit 230 and set the color to a second color that is different from the first color.

디지털 영상 처리기(66)는 근적외선 영역의 영상에 대해 제 1컬러로 구현되도록 영상처리하고, 가시광 영역의 영상에 대해 상기 컬러 처리부(250)에서 설정한 제 2컬러로 구현되도록 영상처리 할 수 있다. The digital image processor 66 processes the image of the near infrared region to be implemented in the first color and implements the image of the visible region to be implemented in the second color set in the color processing unit 250.

도 7은 본 발명에 따른 일 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지를 중첩하여 복합 영상을 형성하는 과정을 순차적으로 나타낸 블록도이다.7 is a block diagram sequentially illustrating a process of forming a composite image by superimposing a reflected white light image and a near-infrared fluorescence image according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 우선, 반사 백색광 이미지 및 근적외선 형광 이미지를 수집한다. (Collect white reflection light image and NIR fluorescence image, Step 10) 이후, 상기 수집된 반사 백색광 이미지에 대해 빨강(R), 녹색(G), 파랑(B)의 조합으로 이루어진 컬러를 제 1컬러로 설정한다. (Set the color of the white reflection light image to the first color, Step 20) 이후, 제 1컬러에 대해 컬러 히스토그램을 통하여 컬러 분포를 분석한다. (Analyze the color distribution of the first color, Step 30) 이후, 상기 컬러 분포에 대한 분석을 기초로, 상기 근적외선 형광 이미지에 대해 상기 제 1컬러에서 구현되지 않은 컬러를 제 2컬러로 설정한다. (Set the color of the NIR fluorescence image to the second color, Step 40) 이후, 제 1컬러로 설정된 백색광 이미지와 제 2컬러로 설정된 근적외선 형광 이미지를 하나의 복합 영상으로 생성한 후 디스플레이한다. (Combine the white reflection light image and the NIR Fluorescence image into the single composite image & Display the composite image, Step 50)As shown in FIG. 7, first, a reflected white light image and a near-infrared fluorescence image are collected. (Collect White Reflection Light Image and NIR Fluorescence Image, Step 10) Then, a color composed of a combination of red (R), green (G) and blue (B) is set to the first color for the collected reflected white light image . (Step 20) After that, the color distribution is analyzed through the color histogram for the first color. A color that is not implemented in the first color for the near-infrared fluorescent image is set to a second color, based on analysis of the color distribution, after analyzing the color distribution of the first color (Step 30). (NIR fluorescence image to the second color, step 40). After that, a white light image set to the first color and a near-infrared fluorescence image set to the second color are generated and displayed as one composite image. (Combine the white reflection light image and the NIR fluorescence image into the single composite image & Display the composite image, Step 50)

즉, 복합 영상을 생성함에 있어서, 근적외선 형광 영상신호가 검출되지 않은 픽셀에서는 반사 백색광 이미지에 대해 빨강(R), 녹색(G), 파랑(B)으로 이루어진 컬러로 구현되도록 영상처리하고, 근적외선 형광 영상신호가 검출된 픽셀에서는 근적외선 형광 이미지에 대해 상기 백색광 이미지에서 구현되지 않은 컬러로 구현되도록 영상처리한다.That is, in the case of generating a composite image, in a pixel in which a near-infrared fluorescence image signal is not detected, the image is processed so as to be embodied in a color composed of red (R), green (G), and blue (B) In the pixel in which the video signal is detected, the near-infrared fluorescence image is imaged so as to be implemented in a color not realized in the white light image.

한편, 구현하려는 생체 조직이 모든 색을 포함할 경우, 구현하려는 감시 림프절의 색은 적어도 생체 조직의 어느 한 부분의 색과 동일하게 된다. 이 경우, 생체 조직과 감시 림프절 구별이 앞서 설명한 도 3c와 같이 실질적으로 어려워지게 된다.On the other hand, when the biological tissue to be implemented includes all the colors, the color of the surveillance lymph node to be implemented is at least equal to the color of a part of the living tissue. In this case, the distinction between the living tissue and the surveillance lymph node becomes substantially difficult as shown in FIG.

이에 대해 본 발명에 따른 다른 실시예서는 다음과 같은 방법으로 생체 조직과 감시 림프절을 구별하도록 하도록 한다.On the other hand, according to another embodiment of the present invention, the biopsy and the surveillance lymph node are distinguished by the following method.

도 8은 본 발명의 다른 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지의 컬러 구현을 위한 다파장 영상 처리부의 개략도를 나타낸 도이다.8 is a schematic diagram of a multi-wavelength image processing unit for color implementation of a reflected white light image and a near-infrared fluorescence image, according to another embodiment of the present invention.

도시된 바와 같이, 색보정을 위한 다파장 영상 처리부(50)는 도 6과 같이, 이미지 센서(Image Sensor 54,55), 디지털 영상 처리기(Digital Image Processor 66), 이미지 추출부(Image Extracting Unit 310), 컬러 추출부(Color Extracting Unit 330), 컬러 처리부(Color Processor 350)를 포함할 수 있다. 6, the multi-wavelength image processing unit 50 for color correction includes image sensors 54 and 55, a digital image processor 66, an image extracting unit 310, (Color Extracting Unit 330), and a color processor (Color Processor 350).

이미지 센서(54,55)는 가시광 영역 및 근적외선 영역의 영상을 이미지 처리할 수 있다. 이미지 추출부(310)는 상기 이미지 센서(54,55)의 의해 이미지 처리된 가시광 영역 및 근적외선 영역의 영상 중 가시광 영역의 영상을 메인 영상으로 추출할 수 있다. 이때, 메인 영상은 제 1컬러로 구현될 수 있다.The image sensors 54 and 55 can image the images of the visible light region and the near infrared region. The image extracting unit 310 may extract the image of the visible light region of the image of the visible light region and the near-infrared region processed by the image sensors 54 and 55 into the main image. At this time, the main image may be implemented in the first color.

컬러 추출부(330)는 이미지 추출부(310)에서 추출한 메인 영상에 대해 상기 제 1컬러 데이터들을 분석하여 컬러 히스토그램(Color Histogram)을 추출 할 수 있다. 이때, 컬러 추출부(330)는 메인 영상을 구성하는 제 1컬러 데이터들의 빈도 분포를 분석한 후, 빈도 분포에 따라 빈도 수가 많은 제 1컬러 데이터들을 순차적으로 표시하는 컬러 히스토그램을 생성할 수 있다.The color extracting unit 330 may extract the color histogram by analyzing the first color data of the main image extracted by the image extracting unit 310. At this time, the color extracting unit 330 may analyze the frequency distribution of the first color data constituting the main image, and then generate a color histogram that sequentially displays the first color data having a large frequency according to the frequency distribution.

컬러 처리부(350)는 컬러 추출부(330)에서 추출한 컬러 히스토그램에서 빈도수가 작거나 없는 컬러를 선택하여 제 1 컬러와 다른 색인 제 2 컬러로 설정할 수 있다.The color processing unit 350 may select a color having a small or no frequency in the color histogram extracted by the color extracting unit 330 and set the color to a second color which is different from the first color.

이때, 컬러 처리부(350)는 컬러 추출부(330)에서 추출한 컬러 히스토그램에서 모든 컬러의 빈도수가 있다면 제 1 컬러와 다른 색인 제 2 컬러를 설정할 수 없기 때문에 임의의 색을 제 2컬러로 설정할 수 있다. At this time, if there is a frequency of all colors in the color histogram extracted by the color extracting unit 330, the color processing unit 350 can set any color to the second color because it can not set the second color which is different from the first color .

상기 임의의 색은 빨강(R), 녹색(G), 파랑(B) 중 어느 하나를 선택할 수 있지만, 제 1컬러와의 구별이 더욱 쉬울 수 있는 컬러, 즉, 컬러 히스토그램에서 빈도수가 작은 컬러를 선택함이 바람직하다. The arbitrary color may be any one of red (R), green (G), and blue (B), but may be a color that can be more easily distinguished from the first color, Is preferred.

디지털 영상 처리기(66)는 내부에 컬러 조절부(Color Adjustment Unit 370)를 포함할 수 있고, 가시광 영역의 영상에 대해 제 1컬러로 구현되도록 영상처리 할 수 있고, 근적외선 영역의 영상에 대해 상기 컬러 처리부(350)에서 설정한 제 2컬러로 구현되도록 영상처리 할 수 있다. The digital image processor 66 may include a color adjustment unit 370 and may process the image of the visible region to be implemented in the first color, Image processing may be performed so as to be realized in the second color set by the processing unit 350. [

컬러 조절부(370)는 가시광 영역의 영상인 제 1컬러와 근적외선 영역의 영상인 제 2컬러를 비교하여 제 1컬러와 제 2컬러가 동일한 경우, 제 1컬러의 그레이스케일(Grayscale) 및 제 2컬러의 그레이스케일(Grayscale) 중 적어도 어느 하나를 조절할 수 있다. The color adjusting unit 370 compares the first color, which is the image of the visible light region, with the second color, which is the image of the near infrared region, and when the first color and the second color are the same, the grayscale of the first color, And grayscale of the color can be adjusted.

이때, 제 1컬러와 제 2컬러가 육안으로 구별이 가능하도록 제 1컬러의 그레이스케일과 제 2컬러의 그레이스케일은 두 그레이스케일 차가 특정 임계치 이상이 되도록 설정한 후, 상대적으로 조절할 수 있다. 예를 들어, 제 1컬러 그레이스케일 값을 고정하고, 제 1컬러 그레이스케일 값과의 차이가 임계치 이상이 되도록 제 2컬러 그레이스케일 값을 조절하거나, 반대로 제 2컬러 그레이스케일 값을 고정하고, 제 2컬러 그레이스케일 값과의 차이가 임계치 이상이 되도록 제 1컬러 그레이스케일 값을 조절할 수 있다. 또한, 제 1컬러 그레이스케일 값과 제 2컬러 그레이스케일 값의 차가 임계치 이상이 되도록 제 1컬러 그레이스케일 값 및 제 2컬러 그레이스케일 값을 조절할 수 있다. At this time, the gray scale of the first color and the gray scale of the second color can be relatively adjusted after setting the two gray scale differences to be equal to or larger than a specific threshold so that the first color and the second color can be visually distinguished. For example, the first color gray scale value may be fixed, the second color gray scale value may be adjusted so that the difference from the first color gray scale value is greater than or equal to the threshold value, or the second color gray scale value is fixed, The first color gray scale value may be adjusted so that the difference from the two-color gray scale value is equal to or greater than the threshold value. In addition, the first color gray scale value and the second color gray scale value may be adjusted so that the difference between the first color gray scale value and the second color gray scale value is equal to or greater than a threshold value.

디지털 영상 처리기(66)는 실행되는 어플리케이션의 상태에 따라 가시광 영역의 영상에 대해 제 2컬러를 대표컬러로 선택하여 영상처리 할 수 있다. 예를들어, 이미지 추출부(310)가 이미지 센서(54,55)의 의해 이미지 처리된 가시광 영역 및 근적외선 영역의 영상 중 근적외선 영역의 영상을 메인 영상으로 추출할 수 있다. The digital image processor 66 can select the second color as the representative color for the image of the visible light region and process the image according to the state of the executed application. For example, the image extracting unit 310 may extract an image of a near-infrared region of the image of the visible light region and the near-infrared region, which are image-processed by the image sensors 54 and 55, as a main image.

이때, 메인 영상은 제 1컬러로 구현될 수 있고, 컬러 추출부(330)는 이미지 추출부(310)에서 추출한 메인 영상에 대해 상기 제 1컬러 데이터들을 분석하여 컬러 히스토그램(Color Histogram)을 추출 할 수 있다.At this time, the main image may be implemented in a first color, and the color extraction unit 330 may analyze the first color data of the main image extracted by the image extraction unit 310 to extract a color histogram .

컬러 처리부(350)는 컬러 추출부(330)에서 추출한 컬러 히스토그램에서 빈도수가 작거나 없는 컬러를 선택하여 제 1 컬러와 다른 색인 제 2 컬러로 설정할 수 있다.The color processing unit 350 may select a color having a small or no frequency in the color histogram extracted by the color extracting unit 330 and set the color to a second color which is different from the first color.

이때, 컬러 처리부(350)는 컬러 추출부(330)에서 추출한 컬러 히스토그램에서 모든 컬러의 빈도수가 있다면 제 1 컬러와 다른 색인 제 2 컬러를 설정할 수 없기 때문에 임의의 색을 제 2컬러로 설정할 수 있다. At this time, if there is a frequency of all colors in the color histogram extracted by the color extracting unit 330, the color processing unit 350 can set any color to the second color because it can not set the second color which is different from the first color .

상기 임의의 색은 빨강(R), 녹색(G), 파랑(B) 중 어느 하나를 선택할 수 있지만, 제 1컬러와의 구별이 더욱 쉬울 수 있는 컬러, 즉, 컬러 히스토그램에서 빈도수가 작은 컬러를 선택함이 바람직하다. The arbitrary color may be any one of red (R), green (G), and blue (B), but may be a color that can be more easily distinguished from the first color, Is preferred.

디지털 영상 처리기(66)는 내부에 컬러 조절부(370)를 포함할 수 있고, 근적외선 영역의 영상에 대해 제 1컬러로 구현되도록 영상처리 할 수 있고, 가시광 영역의 영상에 대해 상기 컬러 처리부(350)에서 설정한 제 2컬러로 구현되도록 영상처리 할 수 있다. The digital image processor 66 may include a color controller 370 and may process the image in the near infrared region to be implemented in the first color and the color processor 350 To be implemented in the second color set in the second color.

컬러 조절부(370)는 앞서 설명한 근적외선 영역의 영상인 제 1컬러와 가시광 영역의 영상인 제 2컬러가 동일한 경우, 동일한 방법으로 제 1컬러 그레이스케일과 제 2컬러 그레이스케일을 조절함으로 이에 대한 설명은 생략하기로 한다.The color adjusting unit 370 adjusts the first color gray scale and the second color gray scale in the same manner when the first color which is the image of the near infrared region and the second color which is the image of the visible light region are the same, Is omitted.

도 9는 본 발명에 따른 다른 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지를 중첩하여 복합 영상을 형성하는 과정을 순차적으로 나타낸 블록도이다.9 is a block diagram sequentially illustrating a process of forming a composite image by superposing a reflected white light image and a near-infrared fluorescence image according to another embodiment of the present invention.

도 9에 도시된 바와 같이, 우선, 반사 백색광 이미지 및 근적외선 형광 이미지를 수집한다. (Collect white reflection light image and NIR fluorescence image, Step 100) 이후, 상기 수집된 반사 백색광 이미지에 대해 빨강(R), 녹색(G), 파랑(B)의 조합으로 이루어진 컬러를 제 1컬러로 설정하고, 상기 수집된 근적외선 형광 이미지에 대해 빨강(R), 녹색(G), 파랑(B) 중 적어도 어느 하나인 컬러를 제 2컬러로 설정한다. (Set the color of the white reflection light image to the first color and the color of the NIR fluorescence image to the second color, Step 200) 이후, 제 1컬러와 제 2컬러에 대해 컬러 분포를 분석 및 비교한다. (Analyze and compare the color distribution of the first color and the second color, Step 300) 이후, 컬러 분포 비교분석에 기초하여, 제 1컬러와 제 2컬러가 동일 여부를 판단한다. (The first color is the same as the second color, Step 400) 두 컬러가 동일하지 않을 경우, 제 1컬러로 설정된 백색광 이미지와 제 2컬러로 설정된 근적외선 형광 이미지를 하나의 복합 영상으로 생성한 후 디스플레이한다. (Combine the white reflection light image and the NIR fluorescence image into a single composite image & Display the composite image, Step 500) 혹은 제 1컬러와 제 2컬러가 동일할 경우, 제 1컬러 및 제 2컬러 중 적어도 어느 하나의 그레이스케일을 조절한다. (Adjust at least one of a grayscale of the first color and a grayscale of the second color, Step 600) 이때, 두 컬러의 그레이스케일은 제 1컬러 및 제 2컬러가 구별가능하도록 상대적으로 조절된다. As shown in Fig. 9, first, a reflected white light image and a near-infrared fluorescence image are collected. (R), green (G), and blue (B) for the collected reflected white light image is set to the first color , A color which is at least one of red (R), green (G) and blue (B) is set to a second color with respect to the collected near-infrared fluorescent image. The color distribution is analyzed and compared with respect to the first color and the second color after the first color and the second color (Step 200). (Step 300). Then, based on the color distribution comparison analysis, it is determined whether the first color is the same as the second color. If the two colors are not the same, a white light image set to the first color and a near-infrared fluorescence image set to the second color are generated as one composite image and then displayed . (Step 500), or when the first color and the second color are the same, at least one of the first color and the second color To adjust the gray scale of the image. At this time, the grayscales of the two colors are relatively adjusted so that the first color and the second color can be distinguished from each other.

이후, 그레이스케일이 조절된 제 1컬러의 백색광 이미지 및 제 2컬러의 근적외선 형광 이미지를 하나의 복합 영상으로 생성한 후 디스플레이한다. (Combine the white reflection light image of the gray scale-adjusted first color and the NIR fluorescence image of the gray scale-adjusted second color into a single composite image & Display the composite image, Step 700)Thereafter, the white-light image of the first color and the near-infrared fluorescent image of the second color, which are gray-scale-adjusted, are generated and displayed as one composite image. (Combine the white reflection light image of the gray scale-adjusted first color and the NIR fluorescence image of the gray scale-adjusted second color into a single composite image &

즉, 복합 영상을 생성함에 있어서, 근적외선 형광 영상신호가 검출되지 않은 픽셀에서는 반사 백색광 이미지에 대해 빨강(R), 녹색(G), 파랑(B)으로 이루어진 컬러로 구현되도록 영상처리하고, 근적외선 형광 영상신호가 검출된 픽셀에서는 빨강(R), 녹색(G), 파랑(B) 중 적어도 어느 하나인 컬러로 근적외선 형광 이미지를 구현하고, 이때, 반사 백색광 이미지의 컬러와 근적외선 형광 이미지의 컬러가 동일할 경우, 두 컬러의 그레이스케일 중 적어도 어느 하나를 조절하여 영상처리한다.That is, in the case of generating a composite image, in a pixel in which a near-infrared fluorescence image signal is not detected, the image is processed so as to be embodied in a color composed of red (R), green (G), and blue (B) A near infrared ray fluorescent image is implemented in a color which is at least one of red (R), green (G) and blue (B) in a pixel in which a video signal is detected, and the color of the reflected white light image and the near- , At least one of the grayscales of the two colors is adjusted to perform image processing.

도 10은 본 발명의 또 다른 실시예로, 반사 백색광 이미지와 근적외선 형광 이미지의 컬러 구현을 위한 다파장 영상 처리부의 개략도를 나타낸 도이다.10 is a schematic diagram of a multi-wavelength image processing unit for color implementation of a reflected white light image and a near-infrared fluorescence image, according to another embodiment of the present invention.

도시된 바와 같이, 색보정을 위한 다파장 영상 처리부(50)는 도 8과 같이, 이미지 센서(Image Sensor 54,55), 디지털 영상 처리기(Digital Image Processor 66), 이미지 추출부(Image Extracting Unit 310), 컬러 추출부(Color Extracting Unit 330), 컬러 처리부(Color Processor 350)를 포함할 수 있다. 8, the multi-wavelength image processing unit 50 for color correction includes image sensors 54 and 55, a digital image processor 66, an image extracting unit 310, (Color Extracting Unit 330), and a color processor (Color Processor 350).

또한, 다파장 영상 처리부(50)에 포함된 각 구성요소의 기능은 도 8과 같음으로 이에 대한 설명은 생략하기로 한다.The function of each component included in the multi-wavelength image processing unit 50 is the same as that of FIG. 8, and a description thereof will be omitted.

다만, 가시광 영역의 영상인 제 1컬러와 근적외선 영역의 영상인 제 2컬러가 동일한 경우, 타이밍 발생기(Timing Generator 61)는 구현되는 제 2컬러가 비연속적으로 표현되도록 근적외선 형광 영상신호의 타이밍 펄스를 조절한다. However, if the first color, which is the image of the visible light region, and the second color, which is the image of the near-infrared region, are the same, the timing generator 61 outputs the timing pulse of the near-infrared fluorescent image signal so that the implemented second color is discontinuously represented .

즉, 근적외선 형광이 보여지도록 하기 위한 근적외선 형광 영상신호의 타이밍 펄스는 시간 간격을 두고, 주기적 혹은 비주기적으로 조절된다. 이에 따라 디스플레이부(80)에 보여지는 영상은 생체조직을 표현하는 제 1컬러는 연속적으로 유지되어 표현되고, 생체조직 내의 감시 림프절을 표현하는 제 2컬러는 깜빡거리며 표현된다.That is, the timing pulses of the near-infrared fluorescence image signal for displaying near-infrared fluorescence are adjusted periodically or non-periodically with time intervals. Accordingly, the image displayed on the display unit 80 is represented by continuously displaying the first color representing the living tissue, and the second color representing the monitoring lymph node in the living tissue is displayed by blinking.

본 발명의 일 실시예에 따른 다파장 영상처리부는 제 1컬러와 제 2컬러가 동일할 경우, 제 1컬러의 그레이스케일과 제 2컬러의 그레이스케일을 조절하거나, 제 2컬러가 비연속적으로 구현하도록 근적외선 형광 영상신호의 타이밍 펄스를 조절하는 것을 개별적으로 영상처리 하였지만, 복합적으로 영상처리 할 수 있다.The multi-wavelength image processing unit according to an exemplary embodiment of the present invention may adjust the gray scale of the first color and the gray scale of the second color when the first color and the second color are the same, The adjustment of the timing pulse of the near-infrared fluorescence image signal is separately performed. However, the image processing can be performed in a complex manner.

이상에서와 같이, 본 발명은 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 본 발명의 범위를 벗어나지 않는 범위 내에서 본 발명의 요소들에 대한 수정 및 변경의 가능함을 이해할 수 있을 것이다. 또한, 본 발명의 필수적인 영역을 벗어나지 않는 범위 내에서 특별한 상황들이나 재료에 대하여 많은 변경이 이루어질 수 있다. 그러므로, 본 발명은 본 발명의 바람직한 실시 예의 상세한 설명으로 제한되지 않으며, 첨부된 특허청구범위 내에서 모든 실시 예들을 포함할 것이다.While the present invention has been described with reference to the preferred embodiments thereof, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. There will be. In addition, many modifications may be made to the particular situation or material within the scope of the invention, without departing from the essential scope thereof. Therefore, the present invention is not limited to the detailed description of the preferred embodiments of the present invention, but includes all embodiments within the scope of the appended claims.

10: 복합 광원부 (Combined White-NIR Illuminator)
20: 광 가이드(Light guide)
30: 광 진단 조립체(Optical analyzing assembly)
40: 광 어댑터(Optical adapter)
50: 다파장 영상 처리부(Multispectral Image processor)
60: 비디오 처리 및 제어유닛(Video processing and control unit)
70: 컴퓨터(Computer)
80: 디스플레이부(Display unit)10: Combined White-NIR Illuminator
20: Light guide
30: Optical diagnostic assembly
40: Optical adapter
50: Multispectral Image processor
60: Video processing and control unit
70: Computer
80: Display unit

Claims (12)

관찰대상에 백색광을 조사하는 백색 광원부;
상기 관찰대상에 근적외선 여기광을 조사하는 근적외선 여기 광원부;
상기 백색광과 상기 근적외선 여기광에 의해 각각 상기 관찰대상으로부터 발생된 반사 백색광과 근적외선 형광을 전달하는 광진단 조립체;
상기 광진단 조립체로부터 전달받은 상기 반사 백색광 및 상기 근적외선 형광을 검출하여, 각각 가시광선 반사광 영상신호 및 근적외선 형광 영상신호로 처리하는 다파장 영상 처리부;
상기 다파장 영상 처리부로부터 처리된 상기 가시광선 반사광 영상신호 및 상기 근적외선 형광 영상신호를 조합한 복합영상 신호를 출력하는 디스플레이부를 포함하며,
상기 다파장 영상 처리부는
검출된 상기 반사 백색광을 빨강(R), 녹색(G), 파랑(B) 영상신호로 분리한 다음,
상기 근적외선 형광 영상신호가 검출되지 않은 픽셀에는 빨강(R), 녹색(G), 파랑(B)으로 이루어진 제 1컬러로 상기 가시광 반사광 영상신호를 구현하고,
상기 근적외선 형광신호가 검출된 픽셀에는 상기 제 1컬러와 다른 제 2 컬러로 상기 근적외선 형광 영상신호를 구현하도록 영상처리하는 근적외선 형광 검출장치. A white light source unit for emitting white light to an object to be observed;
A near infrared ray excitation light source unit for irradiating near infrared ray excitation light to the object to be observed;
A photodiagnostic assembly for transmitting reflected white light and near-infrared fluorescence generated from the observation object by the white light and the near-infrared ray excitation light;
A multi-wavelength image processor for detecting the reflected white light and the near-infrared fluorescence transmitted from the photodiode assembly and processing the reflected white light and the near-infrared fluorescence image signal, respectively;
And a display unit for outputting a composite video signal obtained by combining the visible light reflection video signal and the near-infrared fluorescent video signal processed by the multi-wavelength video processor,
The multi-wavelength image processing unit
The detected white light is separated into red (R), green (G), and blue (B) video signals,
Wherein the visible light reflected video image signal is implemented in a first color of red (R), green (G), and blue (B) for a pixel for which the near-infrared fluorescent image signal is not detected,
Infrared fluorescence image signal so that the near-infrared fluorescence image signal is imaged on a pixel in which the near-infrared fluorescence signal is detected, in a second color different from the first color. 제 1항에 있어서,
상기 다파장 영상 처리부는
상기 가시광 반사광 영상신호에 대한 컬러 히스토그램을 추출하는 컬러 추출부와
상기 컬러 히스토그램에서 빈도수가 작거나 없는 컬러를 상기 제 2컬러로 설정하는 컬러 처리부를 포함하는 것을 특징으로 하는 근적외선 형광 검출장치.The method according to claim 1,
The multi-wavelength image processing unit
A color extracting unit for extracting a color histogram of the visible light reflected video signal;
And a color processing unit for setting a color having a frequency less or no in the color histogram to the second color. 관찰대상에 백색광을 조사하는 백색 광원부;
상기 관찰대상에 근적외선 여기광을 조사하는 근적외선 여기 광원부;
상기 백색광과 상기 근적외선 여기광에 의해 각각 상기 관찰대상으로부터 발생된 반사 백색광과 근적외선 형광을 전달하는 광진단 조립체;
상기 광진단 조립체로부터 전달받은 상기 반사 백색광 및 상기 근적외선 형광을 검출하여, 각각 가시광선 반사광 영상신호 및 근적외선 형광 영상신호로 처리하는 다파장 영상 처리부;
상기 다파장 영상 처리부로부터 처리된 상기 가시광선 반사광 영상신호 및 상기 근적외선 형광 영상신호를 조합한 복합영상 신호를 출력하는 디스플레이부를 포함하며,
상기 다파장 영상 처리부는
검출된 상기 반사 백색광을 빨강(R), 녹색(G), 파랑(B) 영상신호로 분리한 다음,
상기 근적외선 형광 영상신호가 검출되지 않은 픽셀에는 빨강(R), 녹색(G), 파랑(B)으로 이루어진 제 1컬러로 상기 가시광 반사광 영상신호를 구현하고,
상기 근적외선 형광 영상신호가 검출된 픽셀에는 빨강(R), 녹색(G), 파랑(B) 중 적어도 어느 하나인 제 2컬러로 상기 근적외선 형광 영상신호를 구현할 때, 상기 제 2컬러가 상기 제 1컬러와 동일하면, 상기 제 1 컬러 및 제 2 컬러 중 적어도 어느 하나의 그레이스케일(grayscale)을 조절하여 영상처리하거나 상기 제 2컬러가 비연속적으로 구현되도록 상기 근적외선 형광 영상신호의 타이밍 펄스를 조절하여 영상처리 하는 근적외선 형광 검출장치.A white light source unit for emitting white light to an object to be observed;
A near infrared ray excitation light source unit for irradiating near infrared ray excitation light to the object to be observed;
A photodiagnostic assembly for transmitting reflected white light and near-infrared fluorescence generated from the observation object by the white light and the near-infrared ray excitation light;
A multi-wavelength image processor for detecting the reflected white light and the near-infrared fluorescence transmitted from the photodiode assembly and processing the reflected white light and the near-infrared fluorescence image signal, respectively;
And a display unit for outputting a composite video signal obtained by combining the visible light reflection video signal and the near-infrared fluorescent video signal processed by the multi-wavelength video processor,
The multi-wavelength image processing unit
The detected white light is separated into red (R), green (G), and blue (B) video signals,
Wherein the visible light reflected video image signal is implemented in a first color of red (R), green (G), and blue (B) for a pixel for which the near-infrared fluorescent image signal is not detected,
When the near-infrared fluorescent image signal is implemented in a second color which is at least one of red (R), green (G), and blue (B) in the pixel in which the near-infrared fluorescent image signal is detected, If the color is the same as the color, a grayscale of at least one of the first color and the second color is adjusted and the timing pulse of the near-infrared fluorescent image signal is adjusted so that the second color is discontinuously realized Near-infrared fluorescence detection apparatus for image processing. 제 3항에 있어서,
상기 다파장 영상 처리부는
상기 가시광 반사광 영상신호에 대한 컬러 히스토그램을 추출하는 컬러 추출부와
상기 컬러 히스토그램에서 빈도수가 작거나 없는 컬러를 상기 제 2컬러로 설정하는 컬러 처리부 및
상기 제 1컬러의 그레이스케일과 상기 제 2컬러의 그레이스케일을 조절하는 컬러 조절부를 포함하는 것을 특징으로 하는 근적외선 형광 검출장치.The method of claim 3,
The multi-wavelength image processing unit
A color extracting unit for extracting a color histogram of the visible light reflected video signal;
A color processor for setting a color having a low frequency or a low frequency in the color histogram to the second color;
And a color adjusting unit adjusting the gray scale of the first color and the gray scale of the second color. 제 3항 또는 4항에 있어서,
상기 제 1컬러의 그레이스케일과 상기 제 2컬러의 그레이스케일은 두 그레이스케일 차가 특정 임계치 이상이 되도록 조절되는 것을 특징으로 하는 근적외선 형광 검출장치. 4. The method according to claim 3 or 4,
Wherein the gray scale of the first color and the gray scale of the second color are adjusted such that the two gray scale differences are equal to or greater than a specific threshold value. 제 3항 또는 제 4항에 있어서,
상기 제 1컬러의 그레이스케일과 상기 제 2컬러의 그레이스케일은 상대적으로 조절되는 것을 특징으로 하는 근적외선 형광 검출장치.The method according to claim 3 or 4,
Wherein the gray scale of the first color and the gray scale of the second color are relatively adjusted. 제 3항에 있어서,
상기 근적외선 형광 영상신호의 타이밍 펄스는 시간 간격을 두고 주기적 혹은 비주기적으로 조절되는 것을 특징으로 하는 근적외선 형광 검출장치.The method of claim 3,
Wherein the timing pulse of the near-infrared fluorescence image signal is periodically or non-periodically adjusted with a time interval. 관찰 대상으로 백색광과 근적외선 여기광을 조사하는 단계;
상기 관찰 대상으로부터 반사 백색광 및 근적외선 형광을 수집하는 단계;
상기 반사 백색광에 대해 빨강(R), 녹색(G), 파랑(B)의 조합으로 이루어진 제 1컬러로 이미지 처리하는 단계;
상기 근적외선 형광에 대해 제 2컬러로 이미지 처리하는 단계; 및
상기 제 1컬러로 이미지 처리된 반사 백색광과 상기 제 2컬러로 이미지 처리된 근적외선 형광을 하나의 복합영상으로 조합하여 생성하는 단계
를 포함하는 근적외선 형광 검출 방법.Irradiating white light and near infrared ray excitation light as an observation target;
Collecting reflected white light and near-infrared fluorescence from the object to be observed;
Image processing with a first color consisting of a combination of red (R), green (G), and blue (B) for the reflected white light;
Image-processing the near-infrared fluorescence in a second color; And
Combining the reflected white light image-processed with the first color and the near-infrared fluorescence image processed with the second color into a composite image
Wherein the near-infrared fluorescence detection method comprises the steps of: 제 8항에 있어서,
상기 제 2컬러가 상기 제 1컬러와 동일하면, 상기 제 1 컬러 및 제 2 컬러 중 적어도 어느 하나의 그레이스케일(grayscale)을 조절하여 이미지 처리하는 근적외선 형광 검출 방법.9. The method of claim 8,
And adjusting the grayscale of at least one of the first color and the second color to perform image processing if the second color is the same as the first color. 제 9항에 있어서,
상기 제 1컬러의 그레이스케일과 상기 제 2컬러의 그레이스케일은 두 그레이스케일 차가 특정 임계치 이상이 되도록 조절되는 것을 특징으로 하는 근적외선 형광 검출방법. 10. The method of claim 9,
Wherein the gray scale of the first color and the gray scale of the second color are adjusted such that the two gray scale differences are greater than or equal to a certain threshold value. 제 9항있어서,
상기 제 1컬러의 그레이스케일과 상기 제 2컬러의 그레이스케일은 상대적으로 조절되는 것을 특징으로 하는 근적외선 형광 검출방법.10. The method of claim 9,
Wherein the gray scale of the first color and the gray scale of the second color are relatively adjusted. 제 8항에 있어서,
상기 제 2컬러가 상기 제 1컬러와 동일하면, 상기 제 2컬러가 비연속적으로 구현되도록 상기 근적외선 형광 영상신호의 타이밍 펄스를 조절하여 이미지 처리하는 근적외선 형광 검출 방법.

9. The method of claim 8,
Infrared fluorescence image signal so that the second color is discontinuously realized when the second color is the same as the first color, and performs image processing by adjusting a timing pulse of the near-infrared fluorescence image signal so that the second color is discontinuously realized.

KR1020170120962A 2017-09-20 2017-09-20 Apparatus and method for detecting near-infrared fluorescence KR101998592B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170120962A KR101998592B1 (en) 2017-09-20 2017-09-20 Apparatus and method for detecting near-infrared fluorescence
CN201711365144.7A CN109520975B (en) 2017-09-20 2017-12-18 Near-infrared fluorescence detection device and near-infrared fluorescence detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170120962A KR101998592B1 (en) 2017-09-20 2017-09-20 Apparatus and method for detecting near-infrared fluorescence

Publications (2)

Publication Number Publication Date
KR20190032758A true KR20190032758A (en) 2019-03-28
KR101998592B1 KR101998592B1 (en) 2019-07-10

Family

ID=65768982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170120962A KR101998592B1 (en) 2017-09-20 2017-09-20 Apparatus and method for detecting near-infrared fluorescence

Country Status (2)

Country Link
KR (1) KR101998592B1 (en)
CN (1) CN109520975B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3878345A1 (en) * 2019-12-10 2021-09-15 Covidien LP Lymphatic system tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293911B1 (en) 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US20020013531A1 (en) 2000-04-25 2002-01-31 Katsumi Hayashi Sentinel lymph node detection method and system therefor
US20040010192A1 (en) 2000-06-15 2004-01-15 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
JP2006340796A (en) 2005-06-07 2006-12-21 Olympus Medical Systems Corp Sentinel lymph node detection system
US20110104071A1 (en) 2009-05-27 2011-05-05 Lumicell Diagnostics, Inc. Methods and systems for spatially identifying abnormal cells
KR20150007679A (en) 2013-07-12 2015-01-21 한국전기연구원 Apparatus and method for detecting NIR fluorescence at Sentinel Lymph Node
US20160262602A1 (en) * 2015-03-09 2016-09-15 Steven Sounyoung Yu Laparoscopic Cholecystectomy With Fluorescence Cholangiography

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510705A (en) * 2008-01-24 2011-04-07 ライフガード サージカル システムズ Imaging system for common bile duct surgery
CN102036599B (en) * 2008-03-18 2013-06-19 诺瓦达克技术公司 Imaging system for combined full-color reflectance and near-infrared imaging
WO2014091964A1 (en) * 2012-12-13 2014-06-19 オリンパス株式会社 Fluorescent observation device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293911B1 (en) 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US20020013531A1 (en) 2000-04-25 2002-01-31 Katsumi Hayashi Sentinel lymph node detection method and system therefor
US20040010192A1 (en) 2000-06-15 2004-01-15 Spectros Corporation Optical imaging of induced signals in vivo under ambient light conditions
JP2006340796A (en) 2005-06-07 2006-12-21 Olympus Medical Systems Corp Sentinel lymph node detection system
US20110104071A1 (en) 2009-05-27 2011-05-05 Lumicell Diagnostics, Inc. Methods and systems for spatially identifying abnormal cells
KR20150007679A (en) 2013-07-12 2015-01-21 한국전기연구원 Apparatus and method for detecting NIR fluorescence at Sentinel Lymph Node
US20160262602A1 (en) * 2015-03-09 2016-09-15 Steven Sounyoung Yu Laparoscopic Cholecystectomy With Fluorescence Cholangiography

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3878345A1 (en) * 2019-12-10 2021-09-15 Covidien LP Lymphatic system tracking

Also Published As

Publication number Publication date
CN109520975B (en) 2021-06-29
CN109520975A (en) 2019-03-26
KR101998592B1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
US10165972B2 (en) Apparatus and method for detecting NIR fluorescence at sentinel lymph node
JP5925251B2 (en) Near-infrared fluorescence detection apparatus and method for sentinel lymph node
US8078265B2 (en) Systems and methods for generating fluorescent light images
US8358821B2 (en) Image processing system, image processing method, and computer readable medium
WO2015045516A1 (en) Fluorescence observation device, endoscopic system, processor device, and operation method
US8131349B2 (en) Lesion extracting device and lesion extracting method
US10413619B2 (en) Imaging device
US10467747B2 (en) Image analysis apparatus, imaging system, surgery support system, image analysis method, storage medium, and detection system
US8158919B2 (en) Image capturing system, image capturing method, and computer readable medium
JP6404687B2 (en) Fluorescence imaging apparatus and fluorescence imaging method
KR101998592B1 (en) Apparatus and method for detecting near-infrared fluorescence
Corden et al. Time-gated Raman spectroscopy for biomedical application under ambient or strong background light conditions
KR101255146B1 (en) Acquisition and projection apparatus of fluorescence imaging for visualizing invisible fluorescence signal
JP2001161696A (en) Method and apparatus for acquiring fluorescent image
KR102190398B1 (en) System and method for providing visible ray image and near-infrared ray image, using a single color camera and capable of those images simultaneously
EP3785019B1 (en) Device and method for determining depth and concentration of a subsurface fluorescent object
US20180303347A1 (en) Raman Imaging Systems and Methods
KR20170051264A (en) Multi-spectral autoanalysis endoscope apparatus and method of processing image using the same
JP3823096B2 (en) Imaging device
US20240111143A1 (en) Method for operating a microscopy system, microscopy system, and calibration method for a microscopy system
KR102372603B1 (en) Medical system providing functional image
WO2015037055A1 (en) Fluorescent image acquisition device
Popenda et al. Fluorescence lifetime measurements with all-fiber optical setup for non-invasive in-vivo diagnostics
CN104274156B (en) For detecting equipment and the method for the NIR fluorescence at sentinel node
CN115701340A (en) System for imaging and laser treatment of a target region

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant