KR101630539B1 - Apparatus and method of registering multiple fluorescent images in real time for surgical microscope - Google Patents
Apparatus and method of registering multiple fluorescent images in real time for surgical microscope Download PDFInfo
- Publication number
- KR101630539B1 KR101630539B1 KR1020140194841A KR20140194841A KR101630539B1 KR 101630539 B1 KR101630539 B1 KR 101630539B1 KR 1020140194841 A KR1020140194841 A KR 1020140194841A KR 20140194841 A KR20140194841 A KR 20140194841A KR 101630539 B1 KR101630539 B1 KR 101630539B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- blood vessel
- fluorescence image
- fluorescence
- real
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 95
- 239000000463 material Substances 0.000 claims abstract description 39
- 206010018338 Glioma Diseases 0.000 claims abstract description 37
- 208000032612 Glial tumor Diseases 0.000 claims abstract description 32
- 230000005284 excitation Effects 0.000 claims abstract description 7
- 238000002073 fluorescence micrograph Methods 0.000 claims description 131
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000002792 vascular Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 5
- 210000002149 gonad Anatomy 0.000 claims description 3
- 208000010412 Glaucoma Diseases 0.000 claims 1
- 229910052602 gypsum Inorganic materials 0.000 claims 1
- 239000010440 gypsum Substances 0.000 claims 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 22
- 229960004657 indocyanine green Drugs 0.000 description 22
- 229960002749 aminolevulinic acid Drugs 0.000 description 18
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 208000029824 high grade glioma Diseases 0.000 description 4
- 201000011614 malignant glioma Diseases 0.000 description 4
- 238000002271 resection Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 102000004506 Blood Proteins Human genes 0.000 description 3
- 108010017384 Blood Proteins Proteins 0.000 description 3
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 210000001165 lymph node Anatomy 0.000 description 3
- 229950003776 protoporphyrin Drugs 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 210000004602 germ cell Anatomy 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- QWYNPYYXRKHZHX-UHFFFAOYSA-N 5-azanyl-4-oxidanylidene-pentanoic acid Chemical compound NCC(=O)CCC(O)=O.NCC(=O)CCC(O)=O QWYNPYYXRKHZHX-UHFFFAOYSA-N 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Dentistry (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Vascular Medicine (AREA)
- Gynecology & Obstetrics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Description
본 발명은 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법에 관한 것으로, 더욱 상세하게는, 시술 부위에 대하여 서로 다른 특성을 갖는 다중 형광 물질에 의한 다중 형광 영상을 획득하여 실시간으로 정합하여 디스플레이함으로써 시술자가 종양 및 혈관의 위치 및 연결 상태를 정확하게 확인할 수 있도록 하는 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for real-time registration of multiple fluorescence images for an operation microscope, and more particularly, to a method and apparatus for acquiring multi-fluorescence images by multi- And more particularly, to an apparatus and method for real-time matching of multiple fluorescence images for an operating microscope, which enables a practitioner to accurately ascertain the position and connection state of tumors and blood vessels.
국내 뇌종양 발생건수는 1년에 약 3000명의 뇌종양 환자가 발생하고 있으며 인구 10만명당 10~15명 정도 발생하고 있다.The number of domestic brain tumors is about 3000 brain tumors a year, and about 10 ~ 15 people are born per 100,000 people.
침윤성이 강한 악성신경교종은 MRI(Magnetic Resonance Imaging) 사용시에도 악성교종과 정상조직 간의 경계선을 구분하기 어렵다.Malignant gliomas with high invasiveness are difficult to distinguish between malignant glioma and normal tissue even when MRI (Magnetic Resonance Imaging) is used.
환자의 생존율을 높이고 재발방지를 위하여 악성교종 또는 종양의 완전 절제와 절제부위를 최소화함으로써 정상조직의 손상을 최소화하는 것이 중요하다.It is important to minimize the damage of normal tissue by increasing the survival rate of patients and minimizing the site of complete resection and resection of malignant glioma or tumor to prevent recurrence.
시술 시 환자의 안정성을 위해 종양 이외에도 뇌혈관의 위치 및 연결 상태를 확인하여야 한다. 이는 종양 부위에 연결된 혈관만을 절제하고 중요 혈관은 우회하여 주는 등의 안전조치도 필요하기 때문이다.For the stability of the patient during the procedure, the position of the cerebral vessels and the connection status should be checked in addition to the tumor. This is because it requires safety measures such as ablating only the blood vessels connected to the tumor site and bypassing the important blood vessels.
종양 및 혈관을 표시하기 위한 형광 발광물질인 5-ALA(5-Aminolevulinic Acid; 5-아미노레블린산)는 인체 내에 투여된 후 몸 속의 신진대사에 의한 물질 변환과정에서 파생된 프로토포르피린IX(protoporphyrin IX; PpIX) 물질의 생성에 의하여 형광발현을 나타내게 된다. 5-ALA는 이러한 반응 과정으로 암세포만을 타겟으로 하는 타겟 형광 표지자로서의 역할을 수행하게 된다.5-ALA (5-Aminolevulinic Acid) (5-Aminolevulinic Acid), a fluorescent substance for the indication of tumor and blood vessels, is administered to human body and then protoporphyrin IX (protoporphyrin IX; PpIX) material. 5-ALA plays a role as a target fluorescent marker that targets only cancer cells by this reaction process.
한편, 혈관을 표시하기 위한 형광 발광(發光, luminescence) 물질인 ICG(Indocyanine green; 인도시아닌그린)의 경우 혈관 및 림프절을 돌면서 혈관 및 림프절을 표시하게 된다.On the other hand, ICG (Indocyanine green), which is a fluorescent luminescence material for displaying blood vessels, displays blood vessels and lymph nodes while circulating blood vessels and lymph nodes.
ICG의 경우 시술의 성공률을 높이기 위하여 오래전부터 시술에서 사용되어 왔다. 그러나 5-ALA의 경우 ICG보다 상대적으로 승인 후 사용되어 온 기간이 짧다. ICG has long been used in surgery to increase the success rate of the procedure. However, 5-ALA has a relatively shorter duration of use than ICG.
게다가 종래 수술 현미경용 형광 영상 장비는 한 종류의 형광 발광 물질로 인한 한 종류의 형광 발현 영상만을 표시할 수 있어 ICG에 의한 형광 영상만을 표시하였다. 따라서 시술 시 환자의 안전과 수술의 용이성을 위하여 교종의 위치와 혈관의 위치를 동시에 정확하게 표시해 주는 장치가 요구되는 실정이다.
In addition, conventional fluorescence imaging apparatus for surgical microscope can display only one type of fluorescence expression image due to one type of fluorescent light emitting material, and only fluorescence image by ICG is displayed. Therefore, there is a need for a device that simultaneously displays the position of the glioma and the position of the blood vessel for safety of the patient and ease of operation.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 시술 부위에 대하여 서로 다른 특성을 갖는 다중 형광 물질에 의하여 혈관의 위치 및 교종의 경계면이 발광 표시되는 다중 형광 영상을 획득하여 실시간으로 정합하여 디스플레이함으로써 시술자가 종양 및 혈관의 위치 및 연결 상태를 정확하고도 용이하게 확인할 수 있도록 하는 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법을 제공하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made in order to solve the problems of the prior art described above, and an object of the present invention is to provide a multi-fluorescence imaging apparatus, Real-time registration and display, thereby enabling a practitioner to accurately and easily check the position and the connection state of the tumor and the blood vessel, and to provide a real-time matching apparatus and method of a multi-fluorescence image for an operation microscope.
상기한 목적을 달성하기 위하여 본 발명의 일 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치는, 다중 필터를 구비한 수술현미경을 통하여 시술 부위에 대한 실사 영상, 제 1 형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제 2 형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 다중 형광 영상 획득부; 상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 혈관 추출부; 상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 교종 영상처리부; 상기 추출된 혈관 형상 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 다중 형광 영상 정합부; 및 상기 혈관 형상 영상 및 교종 형광 영상이 정합된 다중 형광 영상을 디스플레이하는 형광 영상 디스플레이부를 포함한다.According to an embodiment of the present invention, there is provided an apparatus for real-time registration of multiple fluorescence images for a surgical microscope, comprising: a live-view image of a treatment site through a surgical microscope having a multi- A multi-fluorescence image acquiring unit for acquiring a blood vessel fluorescence image to be displayed and a gellular fluorescence image in which a glioma is displayed by the second fluorescent material; A blood vessel extracting unit for extracting a blood vessel shape from the acquired blood vessel fluorescence image; A glaze image processing unit for processing the glaze fluorescence image so that an interface between the glaze is apparent; A multi-fluorescence image matching unit for matching the extracted blood vessel shape image and the gellular fluorescence image in real time; And a fluorescence image display unit for displaying the multi-fluorescence image in which the blood vessel shape image and the germline fluorescence image are matched.
상기한 목적을 달성하기 위하여 본 발명의 다른 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 방법은, 다중 필터를 구비한 수술현미경을 통하여 시술 부위에 대한 실사 영상, 제 1 형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제 2 형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 제 1 단계; 상기 획득된 혈관 형광 영상 및 상기 획득된 교종 형광 영상을 실시간으로 정합하는 제 2 단계; 및 상기 정합된 혈관 형상 영상 및 교종 형광 영상을 디스플레이하는 제 3 단계를 포함한다.According to another aspect of the present invention, there is provided a method for real-time matching of multiple fluorescence images for a surgical microscope, the method comprising the steps of: A first step of acquiring a blood vessel fluorescence image to be displayed and a giant fluorescence image in which a glioma is displayed by a second fluorescent material; A second step of matching the acquired vascular fluorescence image and the acquired glioblot fluorescence image in real time; And a third step of displaying the matched blood vessel shape image and gender fluorescence image.
상기 제 2 단계는, 상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 제 1 서브단계; 상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 제 2 서브단계; 및 상기 추출된 혈관 형상 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 제 3 서브단계를 포함한다.The second step may include: a first sub-step of extracting a blood vessel shape from the obtained blood vessel fluorescence image; A second sub-step of performing image processing so as to make the boundary surface of the gyrus clear from the acquired gyrus fluorescence image; And a third sub-step of real-time matching of the extracted blood vessel shape image and the gellated fluorescence image.
상기 제 3 서브단계는, 상기 실사 영상을 기준으로 상기 추출된 혈관 형상 영상의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하는 단계; 획득된 변환 파라미터들을 기반으로 상기 추출된 혈관 형상 영상에 대하여 2D 유사도 정합을 수행하여 상기 실사 영상에 상기 추출된 혈관 형상 영상을 영상 매칭하는 단계; 상기 실사 영상을 기준으로 상기 교종 형광 영상의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하는 단계; 획득된 변환 파라미터들을 기반으로 상기 교종 형광 영상에 대하여 유사도 정합을 수행하여 상기 실사 영상에 상기 교종 형광 영상을 영상 매칭하는 단계; 및 상기 매칭된 혈관 형상 영상 및 상기 매칭된 교종 형광 영상을 오버레이하는 단계를 포함한다.The third sub-step may include obtaining pixel values of the extracted blood vessel shape image based on the real image, and obtaining transformation parameters when the maximum similarity is shown; Performing 2D similarity matching on the extracted blood vessel shape image based on the obtained transformation parameters and matching the extracted blood vessel shape image with the real image; Measuring the similarity of the gentle fluorescence image based on the pixel value based on the real image to obtain conversion parameters when the maximum similarity is shown; Matching the glioma fluorescence image with the real image by performing similarity matching on the glioma fluorescence image based on the acquired conversion parameters; And overlaying the matched blood vessel shape image and the matched gender fluorescence image.
상기 제 1 형광 물질은 ICG를 포함하고 상기 제 2 형광 물질은 5-ALA 및 5-ALA로부터 변환된 PpIX 중 하나를 포함한다.
Wherein the first fluorescent material comprises ICG and the second fluorescent material comprises one of PpIX converted from 5-ALA and 5-ALA.
본 발명은 시술 부위에 대하여 서로 다른 특성을 갖는 다중 형광 물질에 의하여 혈관의 위치 및 교종의 경계면이 발광 표시되는 다중 형광 영상을 획득하여 실시간으로 정합하여 디스플레이함으로써 시술자가 종양 및 혈관의 위치 및 연결 상태를 정확하고도 용이하게 확인할 수 있도록 하는 효과가 있다.In the present invention, multi-fluorescence images in which the positions of the blood vessels and the interface of the glioma are displayed on the basis of the multi-fluorescence materials having different characteristics with respect to the treatment site are acquired and displayed in real time so that the position, Can be accurately and easily confirmed.
본 발명을 적용하면 시술자가 수술중 보이지 않던 종양 부위를 실시간으로 확인할 수 있고 종양 이외에도 혈관의 위치 및 연결 상태를 정확하게 확인할 수 있는 효과가 있다. 또한 이로 인하여 종양의 완전 절제와 절제 부위를 최소화할 수 있어 정상 조직의 손상을 최소화할 수 있는 효과도 있다.
By applying the present invention, a practitioner can confirm a tumor site that is not seen during surgery in real time, and can accurately confirm the position and connection state of a blood vessel in addition to a tumor. This can also minimize the extent of tumor resection and minimization of normal tissue damage.
도 1은 본 발명에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치의 전반적인 동작을 이해하기 용이하도록 나타낸 개념도
도 2는 본 발명의 일 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치의 블럭 구성도
도 3은 본 발명에 의한 다중 형광 영상 정합부의 내부 블럭 구성도
도 4는 본 발명의 다른 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 방법을 나타내는 흐름도
도 5는 도 4의 방법을 개략적으로 설명하기 위한 도면
도 6은 본 발명에 의한 유사도 정합 동작을 이해하기 용이하도록 설명하기 위한 예시도BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a conceptual diagram illustrating an overall operation of a real-time matching apparatus for a multi-fluorescence image for a surgical microscope according to the present invention,
2 is a block diagram of a real-time matching apparatus for a multi-fluorescence image for a surgical microscope according to an embodiment of the present invention.
FIG. 3 is a block diagram of an inner block of a multi-fluorescence image-
4 is a flowchart showing a real-time matching method of a multi-fluorescence image for a surgical microscope according to another embodiment of the present invention.
5 is a view for schematically explaining the method of Fig. 4
6 is an exemplary diagram for explaining the similarity matching operation according to the present invention in an easy-to-understand manner
본 발명은 다중 필터를 구비한 수술현미경을 통하여 시술 부위에 대한 실사 영상, 다중 형광 물질에 의하여 혈관이 발광 표시되는 혈관 형광 영상 및 교종의 위치가 발광 표시되는 교종 형광 영상을 획득하고 실사 영상과 혈관 형광 영상 및 교종 형광 영상을 정합하여 하나의 디스플레이부에 출력한다.The present invention relates to an apparatus and method for acquiring a live-view image of a treatment site, a vascular fluorescence image in which a blood vessel is illuminated by a multi-fluorescent substance, and a giant- The fluorescence image and the giant fluorescence image are matched and output to a single display unit.
본 발명에서는 형광 물질로서 근적외선 형광물질인 ICG(인도시아닌그린; indocyanine green), 5-ALA(5-aminolevulinic acid) 등이 사용되며, 반드시 이에 한정되는 것은 아니다. 시술 종류 및 시술 부위에 따라 다양한 형광 물질이 사용될 수 있다.In the present invention, ICG (indocyanine green) and 5-aminolevulinic acid (5-ALA), which are near-infrared fluorescent materials, are used as fluorescent materials, but the present invention is not limited thereto. Various fluorescent materials may be used depending on the type of treatment and the treatment site.
특히 환자의 혈관 및 림프절의 위치를 파악하는 데 효율적인 ICG는 1957년도부터 사용된 부작용이 적은 형광물질이다. 환자에 투여 시 ICG는 혈장단백질 (plasma protein)과 결합하며 750~800nm 대역의 빛을 투과하면 845nm에서 형광 피크값을 갖는 845nm의 형광 빛을 방사한다.In particular, ICG, which is effective in locating the blood vessels and lymph nodes of patients, is a fluorescent substance that has been used since 1957 with few side effects. When administered to a patient, ICG binds to plasma proteins, and when light in the 750-800 nm band is transmitted, it emits 845 nm fluorescent light with a fluorescence peak value at 845 nm.
또한 교종의 위치를 파악하는 데 효율적인 5-ALA는 형광성질이 없으나 세포 내에서 변환된 PpIX(protoporphyrin IX)에 약 400nm의 빛을 투과하면(405nm 전후의 조사광을 이용할 수도 있음) 635nm에서 형광 피크값을 갖는 635nm의 형광 빛을 방사한다. 따라서 이러한 성질을 이용하면 정상 조직과 악성교종을 구분할 수 있다. 5-ALA의 사용은 완전 절제 성공률을 약 1.4배 증가시키며 절제되지 못한 악성교종의 크기를 1/16으로 줄여 악성교종의 재발 방지에 효과적이다.
In addition, 5-ALA, which is effective for locating glioma, does not have fluorescence property, but when light of about 400 nm is transmitted through PpIX (protoporphyrin IX) transformed in the cell (irradiation light around 405 nm may be used) Lt; RTI ID = 0.0 > nm. ≪ / RTI > Therefore, using these properties, normal tissues and malignant gonads can be distinguished. The use of 5-ALA increases the success rate of complete resection by about 1.4 times and is effective in preventing the recurrence of malignant glioma by reducing the size of malignant glioma to 1/16.
이하, 본 발명의 바람직한 실시예들을 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치의 전반적인 동작을 이해하기 용이하도록 나타낸 개념도이다.FIG. 1 is a conceptual diagram showing an overall operation of a real-time matching apparatus for a multi-fluorescence image for an operating microscope according to the present invention.
도 2는 본 발명의 일 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치의 블럭 구성도이다.FIG. 2 is a block diagram of a real-time matching apparatus for multi-fluorescence images for a surgical microscope according to an embodiment of the present invention.
도 1 및 도 2에 도시된 바와 같이 본 발명의 일실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치는, 다중 필터를 구비한 수술현미경(10)을 통하여 시술 부위에 대한 실사 영상, 제 1 형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제 2 형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 다중 형광 영상 획득부(20), 상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 혈관 추출부(50), 상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 교종 영상처리부(60), 상기 추출된 혈관 형상 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 다중 형광 영상 정합부(70), 및 상기 정합된 혈관 형상 영상 및 교종 형광 영상을 디스플레이하는 형광 영상 디스플레이부(80)를 포함한다.As shown in FIG. 1 and FIG. 2, the real-time matching apparatus for multiple fluorescence images for an operation microscope according to an embodiment of the present invention includes a
상기 제 1 형광 물질은 ICG를 포함하고 상기 제 2 형광 물질은 5-ALA 및 5-ALA로부터 변환된 PpIX 중 하나를 포함한다.Wherein the first fluorescent material comprises ICG and the second fluorescent material comprises one of PpIX converted from 5-ALA and 5-ALA.
상기 다중 형광 영상 획득부(20)는, 서로 다른 여기 파장대역 및 발광 파장대역을 갖는 제 1 형광 물질 및 제 2 형광 물질이 투여된 대상물의 시술 부위에 대하여 서로 다른 여기 파장대역 및 발광 파장대역을 필터링하는 다중 필터(12)를 구비한 수술현미경(10)을 통하여 제 1 형광 물질에 의하여 혈관의 위치가 표시되는 혈관 형광 영상을 획득하는 혈관 형광 영상 획득부(30), 및 상기 다중 필터(12)를 구비한 수술현미경(10)을 통하여 제 2 형광 물질에 의하여 교종의 위치가 표시되는 교종 형광 영상을 획득하는 교종 형광 영상 획득부(40)를 포함한다.The multi-fluorescence
상기 다중 형광 영상 정합부(70)는, 고정 이미지를 기준으로 이동 이미지의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터를 획득하여 2D 유사도 정합을 수행하고 정규 상호 상관성을 이용하여 영상 매칭을 수행하여 고정 이미지에 이동 이미지를 영상 매칭한다.The multi-fluorescence
상기 고정 이미지는 상기 실사 영상이고 상기 이동 이미지는 상기 획득된 혈관 형상 영상 및 상기 획득된 교종 형광 영상이다.Wherein the fixed image is the real image and the moving image is the obtained blood vessel shape image and the obtained gonocoel fluorescent image.
도 4는 본 발명의 다른 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a real-time matching method of a multi-fluorescence image for a surgical microscope according to another embodiment of the present invention.
다중 필터를 구비한 수술현미경을 통하여 시술 부위에 대한 실사 영상, 제 1 형광 물질에 의하여 혈관이 표시되는 혈관 형광 영상 및 제 2 형광 물질에 의하여 교종이 표시되는 교종 형광 영상을 획득하는 제 1 단계(S10,S12), 상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 제 2 단계(S14), 상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 제 3 단계(S16), 상기 추출된 혈관 형상 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 제 4 단계(S18), 및 상기 정합된 혈관 형상 영상 및 교종 형광 영상을 디스플레이하는 제 5 단계(S20)를 포함한다.A first step of acquiring a live view image of a treatment site through a surgical microscope having multiple filters, a blood vessel fluorescence image in which a blood vessel is displayed by a first fluorescent material, and a giant fluorescence image in which a gender is displayed by a second fluorescent material A second step S14 of extracting the blood vessel shape from the obtained blood vessel fluorescence image, a third step S16 of image processing so as to make the boundary surface of the glioma clear from the acquired gland fluorescence image, A fourth step (S18) of matching the blood vessel shape image and the gonio fluorescent image in real time, and a fifth step (S20) of displaying the matched vessel shape image and gonocoel fluorescence image.
상기 제 1 형광 물질은 ICG를 포함하고 상기 제 2 형광 물질은 5-ALA 및 5-ALA로부터 변환된 PpIX 중 하나를 포함한다.Wherein the first fluorescent material comprises ICG and the second fluorescent material comprises one of PpIX converted from 5-ALA and 5-ALA.
상기와 같은 본 발명의 일 실시예에 의한 수술현미경용 다중 형광 영상의 실시간 정합 장치의 동작을 설명하기로 한다.The operation of the multi-fluorescence image real-time matching apparatus for the surgical microscope according to the embodiment of the present invention will now be described.
수술현미경은 광원 조사부(11)를 통하여 다양한 파장의 빛을 발산하며 광원으로서 레이저, LED 등이 사용될 수 있다. 다중필터부(12)는 인체 등의 대상물 체내에 분포하고 있는 다중 형광 물질을 여기시키는 여기 파장대역 및 여기된 다중 형광 물질로부터 발광되는 발광 파장대역을 필터링하는 것으로서, 다중 필터를 구비하여 서로 다른 여기 파장대역 및 발광 파장대역을 필터링한다.The surgical microscope diverges light of various wavelengths through the light
먼저, 환자에게 ICG를 정맥 주사를 통해 투여하고 5-ALA를 복용을 통해 투여한다. 5-ALA 투여로부터 PpIX를 여기시키기 위해 여기광을 조사하기까지의 시간으로서는, 종양 조직에 충분한 PpIX가 축적되어 있는 시간대가 바람직하고, 구체적으로는 4시간에서 8시간을 들 수 있다.First, the patient is given ICG by intravenous injection and 5-ALA by administration. The time for irradiating the excitation light to excite PpIX from 5-ALA administration is preferably a time period in which sufficient PpIX accumulates in the tumor tissue, specifically 4 hours to 8 hours.
환자의 시술 부위에 대하여 수술현미경(10)이 광원조사부(11) 및 다중필터부(12)를 통해 750~800nm 대역의 빛을 투과하면, 대상물의 체내에서 혈장 단백질과 결합된 ICG는 845nm에서 피크값을 갖는 형광 빛을 방사한다. 혈관 형광 영상 획득부(30)는 혈장 단백질과 결합된 ICG에 의하여 845nm의 형광 빛을 방사하는 상태의 혈관 형광 영상을 획득한다(S10).When the
또한, 5-ALA이 세포 내에서 신진대사를 통해 변환된 PpIX를 포함하는 시술 부위에 대하여 수술현미경(10)이 약 400nm의 빛을 투과하면, 교종에 분포된 PpIX에 의하여 635nm에서 피크값을 갖는 형광 빛을 방사한다. 교종 형광 영상 획득부(40)는 교종의 위치에서 635nm의 형광 빛을 방사하는 교종 형광 영상을 획득한다(S12).In addition, when the surgical microscope (10) transmits light of about 400 nm to a treatment site containing PpIX transformed with 5-ALA through metabolism in a cell, the peak value at 635 nm due to PpIX distributed in gonads Fluorescent light is emitted. The gonio fluorescent
혈관 형광 영상은 도 1의 31 영상과 같이 ICG에 의하여 혈관 위치가 형광으로 표시되며, 또한 교종 형광 영상은 도 1의 41 영상과 같이 교종 위치가 형광으로 표시된다.In the blood vessel fluorescence image, blood vessel position is indicated by fluorescence by ICG as in the case of 31 image in FIG. 1, and glioma fluorescence image is indicated by fluorescence as the glioma position as in FIG.
혈관 추출부(50)는 혈관 형광 영상(31)으로부터 혈관 형상을 추출한다(S14). 혈관 형상 추출은, ICG 혈관 형광 영상으로부터 히스토그램 평활화와 히스토그램을 이용한 자동 이진화 기술인 오츠 이진화(Otsu thresholding) 기법을 응용하여 추출할 수 있다.The blood
교종 영상처리부(60)는 교종 형광 영상(41)으로부터 교종의 위치 및 경계면이 더욱 명확해지도록 영상 처리한다(S16).The glioma
도 5를 참조하면, 혈관 형광 영상은 형광 부분으로 나타나는 혈관을 제외한 나머지 부분을 그레이 칼라(Grey Color)로 변환한 후 특징점들(에지 또는 선부분 등)을 이용하여 영상 정합에 활용할 수 있다. 또한 교종 형광 영상 역시도 교종을 제외한 나머지 부분을 그레이 칼라로 변환하여 영상 정합할 수 있다.Referring to FIG. 5, the blood vessel fluorescence image can be utilized for image matching using minutiae points (edge or line portion) after converting the remaining portion except the blood vessel represented by the fluorescence portion into gray color. Also, gyro fluorescence images can also be converted to gray color, so that the rest of the image can be registered.
다중 형광 영상 정합부(70)는 실사 영상의 칼라값과 약간의 morphology의 모양이 다르게 나타나는 형광 영상의 경우에도 영상 매칭할 수 있고 이러한 영상이 2~3개 영상 정합되어 형광 영상에서 각 파장대별로 다른 특성이 있는 기능적인 영상을 정합하여 매칭한다. 따라서, 시술자에게 교종과 혈관의 위치가 명확한 형광 영상을 표시해 주는 것이 가능해지는 것이다.The multi-fluorescence
다중 형광 영상 정합부(70)는, 실사 영상과 IR 영상(추출된 혈관 형상 영상 또는 영상 처리된 교종 형광 영상) 간에 발생되는 좌표 상의 오차를 최소화하기 위해 2D 유사도 정합(2D centered similarity registration)을 수행한다. 다중 형광 영상 정합부(70)는 도 3에 도시된 바와 같이, 고정 이미지(실사 영상)를 기준으로 이동 이미지(혈관 형상 영상 또는 교종 형광 영상)의 화소값 기반의 유사도를 측정하고 최대 유사도를 보인 때의 변환 파라미터들을 획득하여 2D 유사도 정합을 수행하고 정규 상호 상관성을 이용하여 영상 매칭을 수행하여 고정 이미지에 이동 이미지를 영상 매칭한다.The multi-fluorescence
다중 형광 영상 정합부(70)는 실사 영상을 기준으로 혈관 형광 영상과의 화소값 기반의 유사도를 측정하여 사전에 설정된 조건이 충족될 때까지 혈관 형광 영상을 변환(transform)시켜 나간다. 최대 보간(interpolation) 횟수에 다다를 때까지 설정된 조건을 충족하지 못한다면 최대 유사도를 보였던 때의 변환 파라미터(transform parameter)를 획득한다.The multi-fluorescence
유사도 정합을 통해 획득할 수 있는 파라미터는 총 6개로서, 스케일 팩터(scale factor), 라디언(radian) 기반의 각도, 변환 후 이동 이미지의 중앙 위치 x, y값(center positioin(x,y)) 및 변형(translation)된 x,y값(translation(x,y))이다.A total of six parameters can be obtained through the similarity matching. The scale factor, the radian-based angle, the center position x, y value (center position (x, y) ) And a translated x, y value (translation (x, y)).
유사도 정합을 통해 획득된 6개의 변환 파라미터들을 이용하여 [수학식 1]을 거쳐 혈관 영상을 실사 영상에 일치되도록 변환시키게 된다. 즉, 칼라 영상인 실사 영상을 기준으로 ICG 영상(혈관 형상 영상)에서의 rotation, translations, uniform scaling에 대한 유사도 변환 파라미터들을 계산하고 계산된 파라미터들을 기반으로 ICG 영상에 적용하여 리샘플링한 후 영상 매칭부(76)는 실사 영상에 ICG 영상을 매칭하게 된다.The blood vessel image is transformed to coincide with the real image through [Equation 1] using the six transformation parameters obtained through the similarity matching. In other words, similarity transformation parameters for rotation, translations, and uniform scaling in an ICG image (blood vessel shape image) are calculated based on a real image, which is a color image, and applied to the ICG image based on the calculated parameters, (76) matches the ICG image with the real image.
[수학식 1]에서 λ는 스케일 팩터이고, θ는 로테이션 각도(rotation angle)이고, (Cx, Cy)는 로테이션 중앙 위치값이며, (Tx, Ty)는 변형(translation)된 요소의 값을 나타낸다.(C x , C y ) is a rotation center position value, and (T x , T y ) is a rotation center position value, Lt; / RTI >
유사도 계산은 미분영상을 생성한 후 [수학식 2]와 같은 정규 상호 상관성(Normalized Cross Correlation; NCC) 기법을 이용하여 수행된다. 영상은 색상이 다르기 때문에 화소값 기반의 영상이 생성되는 것이 아니라 영상의 미분값을 이용한 후에 정규화된 상관값을 이용하여 영상 매칭이 수행된다.The similarity calculation is performed using the normalized cross correlation (NCC) technique as shown in Equation (2) after generating the differential image. Since the image has different colors, the image based on the pixel value is not generated, but the image matching is performed using the normalized correlation value after using the differential value of the image.
[수학식 2]에서 R(x,y)는 계산된 유사도 값을 나타내고, T는 타겟 이미징을 나타내며, I는 오리지널 이미징을 나타낸다.In Equation (2), R (x, y) represents the calculated similarity value, T represents the target imaging, and I represents the original imaging.
혈관 형상 영상(51)이 실사 영상과 좌표 상의 오차를 최소화하기 위하여 유사도 정합을 수행하는 것과 동일한 방법으로, 다중 형광 영상 정합부(70)는 교종 형광 영상(61) 역시도 실사 영상과 좌표 상의 오차를 최소화하기 위하여 유사도 정합을 수행하여 교종 형광 영상을 실사 영상에 매칭한다(S18).In the same manner that the blood
따라서, 상기 추출된 혈관 형상 영상(51) 및 교종 형광 영상(61)은 다중 형광 영상 정합부(70)를 통하여 상호 좌표상 위치가 일치되도록 정합되는 것이다. Therefore, the extracted blood
형광 영상 디스플레이부(80)는 다중 형광 영상 정합부(70)에 의하여 정합된 혈관의 위치 및 교종의 경계면이 동시에 명확히 표시되는 영상을 시술자에게 디스플레이한다. 형광 영상 디스플레이부(80)는 시술 부위에 대한 실사 영상, ICG에 의하여 혈관이 형광 발광 표시되는 혈관 형광 영상, 5-ALA를 기반으로 교종의 경계면이 형광 발광 표시되는 교종 형광 영상, 그리고 혈관 형광 영상 및 교종 형광 영상이 정합된 다중 형광 영상 중 하나 이상의 영상을 시술자나 사용자에 선택에 따라 디스플레이한다. The fluorescence
또한, 형광 영상 디스플레이부(80)는 각 영상의 불투명도(opacity)를 설정하여 복수 개의 영상을 동시에 겹쳐서 표시하는 것이 가능하며, 각 영상의 불투명도값을 조절하여 필요에 따라 특정 영상만을 표시할 수도 있다(S20).In addition, the fluorescence
이와 같은 동작으로, ICG에 의해 혈관의 위치가 표시되는 혈관 형광 영상과 5-ALA을 기반으로 교종의 경계면이 표시되는 교종 형광 영상을 하나의 영상으로서 정합하여 혈관의 위치 및 교종의 경계면이 더욱 명확히 동시에 표시되는 영상을 시술자에게 제공할 수 있는 것이다.In such an operation, the blood vessel fluorescence image showing the position of the blood vessel by ICG and the giant fluorescence image displaying the interface of glioma on the basis of 5-ALA are matched as one image, and the position of the blood vessel and the interface of the glioma are more clearly It is possible to provide the operator with an image displayed at the same time.
도 6은 다중 형광 영상 정합부(70)의 영상 정합 동작의 이해를 돕기 위한 도면이다. 도 6의 a-1, a-2, a-3는 IR 영상의 정합을 수행하지 않을 경우 칼라 영상과 IR 영상 간 차이 영상(difference image)을 확인해 보면 칼라 영상과 IR 영상 간 좌표상 오차가 매우 큼을 나타낸다.6 is a diagram for helping understanding of the image matching operation of the multi-fluorescence
한편, 도 6의 b-1, b-2, b-3은 IR 영상을 칼라 영상을 기준으로 정합을 수행한 경우 차이 영상(b-3)에서 보여지는 바와 같이 칼라 영상과 IR 영상이 좌표상 상호 일치함을 나타낸다. 이에, 본 발명에 의한 다중 형광 영상 정합부(70)를 통해 정합을 수행한 후 정합된 IR 영상과 칼라 영상을 매칭하면 더욱 명확한 하나의 영상으로 표시될 수 있다.
6 (b-1, b-2, and b-3), when the IR image is matched based on the color image, as shown in the difference image (b-3) Indicates mutual agreement. Accordingly, matching can be performed through the multiple fluorescent
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 따라서, 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 그러므로 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims. will be. Therefore, it should be understood that the above-described embodiments are illustrative and non-restrictive in every respect. Therefore, the true scope of the present invention should be determined by the following claims.
10: 수술현미경 20: 다중 형광 영상 획득부
30: 혈관 형광 영상 획득부 40: 교종 형광 영상 획득부
50: 혈관 추출부 60: 교종 영상 처리부
70: 다중 형광 영상 정합부 80: 형광 영상 디스플레이부10: Surgical microscope 20: Multi fluorescence image acquisition unit
30: blood vessel fluorescence image acquisition unit 40: glioma fluorescence image acquisition unit
50: blood vessel extracting unit 60: glioma image processing unit
70: Multi-fluorescence image matching unit 80: Fluorescence image display unit
Claims (12)
상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 혈관 추출부;
상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 교종 영상처리부;
상기 추출된 혈관 형상 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 다중 형광 영상 정합부; 및
상기 혈관 형상 영상 및 교종 형광 영상이 정합된 다중 형광 영상을 디스플레이하는 형광 영상 디스플레이부를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 장치.
Acquisition of multi-fluorescence image acquiring a live-view image of a treatment site, a blood vessel fluorescence image in which a blood vessel is displayed by a first fluorescent material, and a giant fluorescence image in which a glioma is displayed by a second fluorescent material through a surgical microscope having a multi- part;
A blood vessel extracting unit for extracting a blood vessel shape from the acquired blood vessel fluorescence image;
A glaze image processing unit for processing the glaze fluorescence image so that an interface between the glaze is apparent;
A multi-fluorescence image matching unit for matching the extracted blood vessel shape image and the gellular fluorescence image in real time; And
And a fluorescence image display unit for displaying the multi-fluorescence image in which the blood vessel shape image and the giant fluorescence image are matched.
서로 다른 여기 파장대역 및 발광 파장대역을 갖는 제 1 형광 물질 및 제 2 형광 물질이 투여된 대상물의 시술 부위에 대하여 상기 다중 필터를 구비한 수술현미경을 통하여 상기 제 1 형광 물질에 의하여 혈관의 위치가 표시되는 혈관 형광 영상을 획득하는 혈관 형광 영상 획득부;
상기 다중 필터를 구비한 수술현미경을 통하여 상기 제 2 형광 물질에 의하여 교종의 위치가 표시되는 교종 형광 영상을 획득하는 교종 형광 영상 획득부를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 장치.
The apparatus according to claim 1, wherein the multi-
The first fluorescent material having different excitation wavelength bands and emission wavelength bands, and the position of the blood vessel by the first fluorescent material through the surgical microscope having the multiple filters for the treatment site of the object to which the second fluorescent material is administered A blood vessel fluorescent image acquiring unit for acquiring a displayed blood vessel fluorescence image;
And a gyroscopic fluorescence image acquiring unit for acquiring a gypsum fluorescence image in which the position of the glioma is indicated by the second fluorescent material through a surgical microscope having the multiple filters.
상기 실사 영상을 기준으로 이동 이미지의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하고 획득된 변환 파라미터들을 기반으로 2D 유사도 정합을 수행하여 상기 실사 영상과 상기 이동 이미지 간 좌표상 오차를 최소화하여 상기 실사 영상에 상기 이동 이미지를 영상 매칭하며,
상기 이동 이미지는 상기 혈관 형상 영상 및 상기 교종 형광 영상 중 하나인 것을 특징으로 하는 수술현미경용 다중 형광 영상의 실시간 정합 장치.
[2] The apparatus according to claim 1, wherein the multi-
A similarity degree based on the pixel value of the moving image is measured on the basis of the real image, obtaining the conversion parameters when the maximum similarity is shown, performing 2D similarity matching based on the obtained conversion parameters, The moving image is image-matched to the real image by minimizing the phase error,
Wherein the moving image is one of the blood vessel shape image and the glioma fluorescence image.
상기 제 1 형광 물질은 ICG를 포함하고 상기 제 2 형광 물질은 5-ALA 및 5-ALA로부터 변환된 PpIX 중 하나를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 장치.
3. The method according to claim 1 or 2,
Wherein the first fluorescent material comprises ICG and the second fluorescent material comprises one of PpIX converted from 5-ALA and 5-ALA.
상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상 및 상기 정합된 다중 형광 영상 중 하나 이상의 영상을 시술자나 사용자의 선택에 따라 디스플레이하는 수술현미경용 다중 형광 영상의 실시간 정합 장치.
The apparatus according to claim 1, wherein the fluorescent image display unit comprises:
Wherein the at least one of the real image, the blood vessel fluorescence image, the gentle fluorescence image, and the matched multi-fluorescence image is displayed according to an operator's or a user's selection.
상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상 및 상기 정합된 다중 형광 영상의 불투명도를 각각 설정하여 하나 이상의 영상을 동시에 겹쳐서 표시하는 수술현미경용 다중 형광 영상의 실시간 정합 장치.
The apparatus according to claim 5,
Wherein the opacity of the real image, the blood vessel fluorescence image, the gentle fluorescence image, and the matched multi-fluorescence image are respectively set so that one or more images are simultaneously superimposed and displayed.
상기 획득된 혈관 형광 영상 및 상기 획득된 교종 형광 영상을 실시간으로 정합하는 제 2 단계; 및
상기 정합된 혈관 형상 영상 및 교종 형광 영상을 디스플레이하는 제 3 단계를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 방법.
A first step of acquiring a live view image of a treatment site, a blood vessel fluorescence image displaying a blood vessel by a first fluorescent material, and a giant fluorescence image displaying a glaucoma by a second fluorescent material through a surgical microscope having multiple filters;
A second step of matching the acquired vascular fluorescence image and the acquired glioblot fluorescence image in real time; And
And a third step of displaying the matched blood vessel shape image and gender fluorescence image.
상기 획득된 혈관 형광 영상으로부터 혈관 형상을 추출하는 제 1 서브단계;
상기 획득된 교종 형광 영상으로부터 교종의 경계면이 명확해지도록 영상처리하는 제 2 서브단계; 및
상기 추출된 혈관 형상 영상 및 상기 교종 형광 영상을 실시간으로 정합하는 제 3 서브단계를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 방법.
8. The method according to claim 7,
A first sub-step of extracting a blood vessel shape from the acquired blood vessel fluorescence image;
A second sub-step of performing image processing so as to make the boundary surface of the gyrus clear from the acquired gyrus fluorescence image; And
And a third sub-step of matching the extracted blood vessel shape image and the gender fluorescence image in real time.
상기 실사 영상을 기준으로 상기 추출된 혈관 형상 영상의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하는 단계;
획득된 변환 파라미터들을 기반으로 상기 추출된 혈관 형상 영상에 대하여 2D 유사도 정합을 수행하여 상기 실사 영상에 상기 추출된 혈관 형상 영상을 영상 매칭하는 단계;
상기 실사 영상을 기준으로 상기 교종 형광 영상의 화소값 기반의 유사도를 측정하여 최대 유사도를 보인 때의 변환 파라미터들을 획득하는 단계;
획득된 변환 파라미터들을 기반으로 상기 교종 형광 영상에 대하여 유사도 정합을 수행하여 상기 실사 영상에 상기 교종 형광 영상을 영상 매칭하는 단계; 및
상기 매칭된 혈관 형상 영상 및 상기 매칭된 교종 형광 영상을 오버레이하는 단계를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 방법.
9. The method of claim 8, wherein the third sub-
Measuring the similarity of the extracted blood vessel shape image based on the pixel value based on the real image to obtain conversion parameters when the maximum similarity is shown;
Performing 2D similarity matching on the extracted blood vessel shape image based on the obtained transformation parameters and matching the extracted blood vessel shape image with the real image;
Measuring the similarity of the gentle fluorescence image based on the pixel value based on the real image to obtain conversion parameters when the maximum similarity is shown;
Matching the glioma fluorescence image with the real image by performing similarity matching on the glioma fluorescence image based on the acquired conversion parameters; And
And overlaying the matched blood vessel shape image and the matched gender fluorescence image.
상기 제 1 형광 물질은 ICG를 포함하고 상기 제 2 형광 물질은 5-ALA 및 5-ALA로부터 변환된 PpIX 중 하나를 포함하는 수술현미경용 다중 형광 영상의 실시간 정합 방법.
8. The method of claim 7,
Wherein the first fluorescent material comprises ICG and the second fluorescent material comprises one of PpIX converted from 5-ALA and 5-ALA.
상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상, 그리고 상기 정합된 혈관 및 교종 형광 영상 중 하나 이상의 영상을 시술자나 사용자의 선택에 따라 디스플레이하는 것을 특징으로 하는 수술현미경용 다중 형광 영상의 실시간 정합 방법.
8. The method according to claim 7,
Wherein at least one of the real image, the blood vessel fluorescence image, the gonio fluorescent image, and the matched blood vessel and gonad fluorescence image is displayed according to the choice of a practitioner or a user. Way.
상기 실사 영상, 상기 혈관 형광 영상, 상기 교종 형광 영상, 그리고 상기 정합된 혈관 및 교종 형광 영상의 불투명도를 각각 설정하여 하나 이상의 영상을 동시에 겹쳐서 표시하는 수술현미경용 다중 형광 영상의 실시간 정합 방법.12. The method according to claim 11,
Wherein the opacity of the real image, the vascular fluorescence image, the gonio fluorescent image, and the matched vascular and glioma fluorescence images are respectively set to display one or more images at the same time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140194841A KR101630539B1 (en) | 2014-12-31 | 2014-12-31 | Apparatus and method of registering multiple fluorescent images in real time for surgical microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140194841A KR101630539B1 (en) | 2014-12-31 | 2014-12-31 | Apparatus and method of registering multiple fluorescent images in real time for surgical microscope |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101630539B1 true KR101630539B1 (en) | 2016-06-14 |
Family
ID=56192070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140194841A KR101630539B1 (en) | 2014-12-31 | 2014-12-31 | Apparatus and method of registering multiple fluorescent images in real time for surgical microscope |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101630539B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180136219A (en) | 2017-06-14 | 2018-12-24 | 고려대학교 산학협력단 | Goggle system for image guide surgery |
| WO2020138521A1 (en) * | 2018-12-26 | 2020-07-02 | 쓰리디메디비젼 주식회사 | Surgical video creation system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090110600A (en) * | 2008-04-18 | 2009-10-22 | 한국과학기술원 | Apparatus And Method For Measuring Vascular Functionalities Using Pharmacokinetic Analysis |
| KR20120092573A (en) * | 2009-10-07 | 2012-08-21 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Methods and apparatus for displaying enhanced imaging data on a clinical image |
| KR20130121753A (en) | 2012-04-27 | 2013-11-06 | 재단법인대구경북과학기술원 | Image adjustment apparatus and method using skin marker and body target point |
| KR20140039030A (en) * | 2011-06-29 | 2014-03-31 | 교토후고리츠다이가쿠호진 | Tumor site identification device and method |
-
2014
- 2014-12-31 KR KR1020140194841A patent/KR101630539B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090110600A (en) * | 2008-04-18 | 2009-10-22 | 한국과학기술원 | Apparatus And Method For Measuring Vascular Functionalities Using Pharmacokinetic Analysis |
| KR20120092573A (en) * | 2009-10-07 | 2012-08-21 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Methods and apparatus for displaying enhanced imaging data on a clinical image |
| KR20140039030A (en) * | 2011-06-29 | 2014-03-31 | 교토후고리츠다이가쿠호진 | Tumor site identification device and method |
| KR20130121753A (en) | 2012-04-27 | 2013-11-06 | 재단법인대구경북과학기술원 | Image adjustment apparatus and method using skin marker and body target point |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180136219A (en) | 2017-06-14 | 2018-12-24 | 고려대학교 산학협력단 | Goggle system for image guide surgery |
| WO2020138521A1 (en) * | 2018-12-26 | 2020-07-02 | 쓰리디메디비젼 주식회사 | Surgical video creation system |
| KR20200079617A (en) | 2018-12-26 | 2020-07-06 | 쓰리디메디비젼 주식회사 | Surgical video creation system |
| KR102148685B1 (en) * | 2018-12-26 | 2020-08-28 | 쓰리디메디비젼 주식회사 | Surgical video creation system |
| US20210251570A1 (en) * | 2018-12-26 | 2021-08-19 | 3D Medivision Inc. | Surgical video creation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11857317B2 (en) | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| US11656448B2 (en) | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| US20220230334A1 (en) | Pen-type medical fluorescent imaging device and system for aligning multiple fluorescent images using the same | |
| Brouwer et al. | Image navigation as a means to expand the boundaries of fluorescence-guided surgery | |
| US9585612B2 (en) | Multifunctional fluorescence diagnosis system | |
| CN107072644B (en) | Image forming apparatus with a plurality of image forming units | |
| US20110042580A1 (en) | Fluorescence quantification and image acquisition in highly turbid media | |
| WO2010090673A1 (en) | Method and apparatus for depth-resolved fluorescence, chromophore, and oximetry imaging for lesion identification during surgery | |
| US10413619B2 (en) | Imaging device | |
| US11571180B2 (en) | Systems providing images guiding surgery | |
| US11977027B2 (en) | Device and method for determining the depth of a subsurface fluorescent object within an optically absorbing and scattering medium and for determining concentration of fluorophore of the object | |
| JP2006340796A (en) | Sentinel lymph node detection system | |
| KR101630539B1 (en) | Apparatus and method of registering multiple fluorescent images in real time for surgical microscope | |
| US20230280577A1 (en) | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| KR20150075053A (en) | Portable digital imaging system for flourescence-guided surgery(fgs) | |
| JP6512320B2 (en) | Imaging device | |
| JP2005195379A (en) | Neoplasm image detecting method, and device therefor | |
| JP6295915B2 (en) | Imaging device | |
| Yoon et al. | A multi-detection fluorescence dye with 5-ALA and ICG using modified light emitting diodes | |
| Li et al. | MR imaging as a precise technique to evaluate skull-base tumor volume: Comparison of CT, MR imaging and FDG PET from murine and clinical data | |
| RU2561030C1 (en) | Method for detecting and localising glial brain tumours intraoperatively | |
| Taniguchi et al. | Improving convenience and reliability of 5-ALA-induced fluorescent imaging for brain tumor surgery | |
| Park et al. | Towards multispectral endoscopic imaging of cardiac lesion assessment and classification for cardiac ablation therapy | |
| Byrd et al. | Whole-brain MR-registered cryo-imaging of a porcine-human glioma model to compare contrast agent biodistributions | |
| JP2016112219A (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190326 Year of fee payment: 4 |