KR102148685B1 - 수술 동영상 생성 시스템 - Google Patents

수술 동영상 생성 시스템 Download PDF

Info

Publication number
KR102148685B1
KR102148685B1 KR1020180168933A KR20180168933A KR102148685B1 KR 102148685 B1 KR102148685 B1 KR 102148685B1 KR 1020180168933 A KR1020180168933 A KR 1020180168933A KR 20180168933 A KR20180168933 A KR 20180168933A KR 102148685 B1 KR102148685 B1 KR 102148685B1
Authority
KR
South Korea
Prior art keywords
image
surgical
color
image processing
camera
Prior art date
Application number
KR1020180168933A
Other languages
English (en)
Other versions
KR20200079617A (ko
Inventor
김기진
Original Assignee
쓰리디메디비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쓰리디메디비젼 주식회사 filed Critical 쓰리디메디비젼 주식회사
Priority to PCT/KR2018/016633 priority Critical patent/WO2020138521A1/ko
Priority to KR1020180168933A priority patent/KR102148685B1/ko
Publication of KR20200079617A publication Critical patent/KR20200079617A/ko
Application granted granted Critical
Publication of KR102148685B1 publication Critical patent/KR102148685B1/ko
Priority to US17/246,490 priority patent/US20210251570A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

수술 동영상 생성 시스템으로서, 광원을 포함하는 수술용 현미경; 상기 현미경을 이용한 수술 장면을 이용하여 형광 영상 및 상기 수술 장면의 입체 동영상을 생성하도록 구성된 영상 처리 장치; 상기 현미경에 상기 영상 처리부가 장착되도록 구성된 광학 어댑터; 상기 입체 동영상을 표시하도록 구성된 표시부를 포함하고, 상기 영상 처리부는, 상기 형광 영상을 이용하여 종양 조직의 경계를 인식하고, 상기 입체 동영상에 상기 경계를 표시하도록 구성되며, 상기 형광 영상은 상기 종양에만 선택적으로 축척되는 형광 물질로부터 발광하는 빛으로 형성된다.

Description

수술 동영상 생성 시스템{SURGICAL VIDEO CREATION SYSTEM}
본 발명은 수술 동영상 생성 시스템에 관한 것으로서 보다 상세하게는 의료 수술 입체 동영상을 생성하는 시스템에 관한 것이다.
일반적으로 의료 수술용 현미경은 쉽게 확인할 수 없는 인체 내부를 확대하여 보면서 수술할 수 있는 수술 장비이다. 이러한 수술용 현미경에는 수술하는 의사(이하 "수술자" 이라함)의 수술 진행과정을 모니터를 통해서 볼 수 있는 영상시스템이 구비되어 있다. 하지만, 이러한 영상 시스템은 2차원 영상을 표시하고, 이러한 2차원 영상으로는 수술부위를 정확하게 관찰 및 확인하기 어렵고, 수술자는 영상시스템을 통해서 수술할 수 없는 문제점이 있다.
또한, 종래의 촬상 장치의 화이트밸런스(White Balance) 조절 기능은 그 조절 범위가 제한적이고, 태양광을 기준으로 개발되어 있다. 따라서, 수술용 현미경 광원과 같은 강한 빛을 이용하여 좁고 깊은 곳을 촬영하는 환경에서는 화이트밸런스를 조절하여도 인체 조직 또는 피의 색감이 빨간색이 아닌 분홍색 등으로 표현되는 왜곡이 발생하여 출혈, 병변 등의 의료 판단에 문제가 발생한다.
또한, 종양을 구분하기 위해, 특수한 형광 물질을 수술 전 환자가 복용케 한 뒤, 수술 중 현미경을 보면서 종양을 제거하는 수술법이 개발되었다. 이러한 형광물질은 환자의 암세포와 반응하여 특유한 물질을 생성하고, 생성된 물질은 여기 파장(excitation wavelength)에서 형광 물질을 방출(emission)함으로써 정상 조직과 종양을 구분시킬 수 있다. 그러나 이러한 수술법은 수술 중간에 수술방의 조명을 모두 끈 상태에서 특정 파장의 조명을 환부에 비춰야지만 종양 세포에 흡수된 형광 물질을 육안으로 구분 가능하다. 따라서, 종래 수술용 조명을 켠 상태에서는 수술 도중 수시로 종양을 확인할 수 없다는 문제점이 있다.
등록특허공보 제10-1630539호(2016.06.14.)
본 발명은 상술한 문제점을 극복하기 위한 것으로서, 수술 과정을 정확하게 전달할 수 있는 입체 동영상을 제공하기 위함이다.
또한, 의료 수술용 현미경을 이용한 수술 동영상에서 왜곡 없는 빨간색을 나타낼 수 있는 입체 동영상을 제공하기 위함이다.
또한, 수술방의 조명을 끄지 않고도 수시로 정상 조직과 종양을 구분할 수 있는 입체 동영상을 제공하기 위함이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시예는 수술 동영상 생성 시스템을 제공하고, 이러한 수술 동영상 생성 시템은, 광원을 포함하는 수술용 현미경; 상기 현미경을 이용한 수술 장면을 이용하여 형광 영상 및 상기 수술 장면의 입체 동영상을 생성하도록 구성된 영상 처리 장치; 상기 현미경에 상기 영상 처리부가 장착되도록 구성된 광학 어댑터; 상기 입체 동영상을 표시하도록 구성된 표시부를 포함하고, 상기 영상 처리부는, 상기 형광 영상을 이용하여 종양 조직의 경계를 인식하고, 상기 입체 동영상에 상기 경계를 표시하도록 구성되며, 상기 형광 영상은 상기 종양에만 선택적으로 축적되는 형광 물질로부터 발광하는 빛으로 형성된다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 영상 처리부는 제1 파장에 대응하는 빛을 통과시키는 필터를 포함하고, 상기 발광하는 빛은 상기 제1 파장의 빛이고, 상기 형광 영상은 상기 제1 파장에 대응하는 제1 색 및 제2 색으로 표현되고, 상기 영상 처리부는, 상기 제1 색에 대응하는 제1영역을 상기 종양 조직으로 인식하고 상기 제2색에 대응하는 제2 영역을 정상 조직으로 인식하며, 상기 제1 영역과 상기 제2 영역의 경계가 표시된 상기 입체 동영상을 생성하도록 구성된다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 제1 파장은 635nm이고, 상기 제1 색은 붉은 형광색이며, 상기 제2 색은 푸른 형광색이다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 영상 처리 장치는, 소벨(Sobel), 프리윗(Prewitt), 로버츠(Roberts), 컴퍼스(Compass), 라플 라시안(Laplacian), 가우시안-라플라시안(LoG: Laplacian of Gaussian) 또는 캐니(Canny) 중 적어도 하나를 상기 형광 영상에 적용하여 상기 경계를 표시하도록 구성된다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 영상 처리 장치는
상기 수술 장면의 영상을 제1 영상 및 제2 영상으로 나누도록 구성된 미러 조립체; 상기 제1 영상을 이용하여 상기 입체 동영상을 생성하도록 구성된 영상 처리부; 상기 제2 영상이 상기 필터를 통과한다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 영상 처리부는, 상기 광원의 색온도를 측정하고, 상기 측정된 광원에 대응하는 기준 색차를 이용하여, 상기 제1 영상의 붉은 색의 색차를 보간하도록 구성된다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 광원은, 3000K에서 7000K 사이의 색온도를 갖는 광원이다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 영상 처리 장치는, 상기 수술 장면을 촬영하는 카메라; 상기 카메라의 초점이 오른쪽 또는 왼쪽으로 이동하도록 구성된 제1 스테이지; 상기 카메라의 초점이 위 또는 아래로 이동하도록 구성된 제2 스테이지를 포함한다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 제1 스테이지는 제1 이동부 및 제1 고정부를 포함하고, 상기 제2 스테이지는 제2 이동부 및 제2 고정부를 포함하며, 상기 제1 이동부는 상기 제1 고정부에 대해 원호를 따라 움직이도록 구성되고, 상기 제2 이동부는 상기 제2 고정부에 대해 원호를 따라 움직이도록 구성된다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 제1 스테이지는 제1 노브를 포함하고, 상기 제2 스테이지는 제2 노브를 포함하며, 상기 초점은, 상기 제1 노브의 회전에 대응하여 오른쪽 또는 왼쪽으로 이동되고, 상기 제2 노브의 회전에 대응하여 위 또는 아래로 이동한다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 카메라는 상기 제1 이동부에 고정되고, 상기 제1 스테이지는 상기 제2 이동부에 고정되며, 상기 제2 노브의 회전에 대응하여, 상기 카메라, 상기 제1 스테이지가 위 또는 아래로 이동한다.
또한, 실시예에 따른 수술 동영상 생성 시스템의, 상기 제1 스테이지와 상기 제2 스테이지 사이에는 수평면과 수직면으로 형성된 고정자를 포함하고, 상기 제1 고정부는 상기 수직면에 고정되고 상기 제2 고정부는 상기 수평면에 고정된다.
본 발명의 실시예는 수술 과정을 정확하게 전달할 수 있는 입체 동영상을 제공할 수 있는 효과가 있다.
또한, 의료 수술용 현미경을 이용한 수술 동영상에서 왜곡 없는 빨간색을 나타낼 수 있는 입체 동영상을 제공할 수 있는 효과가 있다.
또한, 수술방의 조명을 끄지 않고도 수시로 정상 조직과 종양을 구분할 수 있는 입체 동영상을 제공할 수 있는 효과가 있다.
도 1은 실시예에 따른 수술 동영상 생성 시스템의 구성을 나타내는 블록도 이다.
도 2는 실시예에 따른 카메라부의 구성이다.
도 3은 실시예에 따른 수술 동영상에서 종양을 나타낸 것이다.
도 4는 도 3의 종양이 형광 물질과 반응하여 방출되는 형광이 표시되는 형광 영상이다.
도 5는 실시예에 따른 수술 동영상에서, 도 3의 종양의 경계가 표시된 탐지 영상이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 도 1을 참조하여 실시예에 따른 수술 동영상 생성 시스템을 설명한다. 도 1은 실시예에 따른 수술 동영상 생성 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 실시예에 따른 수술 동영상 생성 시스템(1)은, 수술용 현미경(10), 광학 어댑터(20), 영상 처리 장치(30), 레코더(40), 및 표시부(50)를 포함하고, 수술부위 및 그 인접 부위까지 입체 동영상 및 종양의 경계가 표시된 입체 동영상을 생성하여 표시부(50)에 표시할 수 있다.
본 발명에서의 수술 이전에, 환자는 5-ALA(5-aminolevulinic acid, 글리올란(Gliolan))이라는 형광 물질을 복용하면, 5-ALA의 활성 물질인 Protoporphyrin IX가 종양 세포에만 선택적으로 축적되어 제1 파장(예를 들어, 635nm)의 형광 빛을 발광하게 된다. 이러한 형광 빛은 기준 시간(예를 들어 환자가 5-ALA를 복용 후 2.5시간) 경과 하면 가장 밝다.
따라서, 기준 시간 이후, 필터부(33)를 통해서 보이는 형광 영상(Fi)은 종양 부위가 제1 파장의 제1 색(예를 들어, 635nm의 붉은 형광색)으로 보이고 정상 조직은 제2 색(예를 들어, 푸른색 형광색)으로 보이게 된다. 본 발명에서 수술은 이러한 종양을 제거하는 수술일 수 있으나 실시예가 이에 한정되는 것은 아니다.
수술용 현미경(10)은 다양한 외과 수술에서 활용되고 있는 전동식·기계식 광학기기로서 광원(LED, 제온, 할로겐 등)을 포함하고, 광원의 빛을 이용하여 수술 부위 또는 그 인접 부위의 이미지(image)를 확대하여 볼 수 있다. 이러한 광원의 색온도는 3000K 에서 7000K 사이일 수 있으나 이에 한정되는 것은 아니다.
광학 어댑터(20)는 수술용 현미경(10)에 영상 처리 장치(30)가 장착될 수 있도록 구성된다. 광학 어댑터(20)는 수술용 현미경(10)을 통해 입사된 수술 영상(video, 이하 영상이라 함)(i)을 복수의 영상으로 분리하고 복수의 영상 중 어느 하나가 영상 처리 장치(30)에 입사되게 한다.
영상 처리 장치(30)는 미러 조립체(31), 카메라부(32), 필터부(33), 제1 영상 처리부(34), 제2 영상 처리부(35), 및 제3 영상 처리부(36)를 포함하고, 입체 동영상을 생성하기 위해, 영상(i)을 우안 영상(Ri) 및 좌안 영상(Li)으로 변환하여 출력한다. 또한, 영상 처리 장치(30)는 형광 영상(Fi)을 이용하여 환자의 종양을 인식하고 인식된 종양의 경계가 표시된 영상을 입체 동영상에 합성한다.
미러 조립체(31)는 영상(i)을 복수의 영상으로 나눌 수 있다. 구체적으로, 미러 조립체(31)는 영상(i)을 측면 및/또는 수직 반사하는 복수의 반사경(미도시)을 포함한다. 미러 조립체(31)는 이러한 복수의 반사경을 이용하여 영상(i)을 제1 영상(i1), 제2 영상(i2), 및 제3 영상(i3)으로 분리한다.
카메라부(32)는 제1 카메라(321a), 제2 카메라(321b), 및 베이스 플레이트(322, 도 2 참조)를 포함한다. 카메라부(32)는, 수술용 현미경(10)을 이용한 수술 장면을 촬영한다. 카메라부(32)는 촬영된 영상으로부터, 제1 영상(i1)을 생성하여 제1 영상 처리부(34)에 전달하고 제2 영상(i2)을 생성하여 제2 영상 처리부(35)에 전달한다.
제1 카메라(321a)는 제1 카메라(3211a), 제1 스테이지(3212a), 제1 고정자(3213a), 및 제2 스테이지(3214a) 를 포함한다.
제1 카메라(3211a)는 제1 영상(i1)을 촬영하여 제1 영상 처리부(34)에 전달한다.
제1 스테이지(3212a)는 이동부(3212am), 고정부(3212af), 및 노브(knob)(n1a)를 포함하고, 제1 카메라(3211a)가 이동부(3212am)에 고정되어 있다. 이동부(3212am)는 노브(n1a)의 조절에 따라 오른쪽(R) 또는 왼쪽(L)으로 원호를 따라 움직이고, 이동부(3212am)의 움직임에 대응하여 제1 카메라(3211a)가 오른쪽(R) 또는 왼쪽(L)으로 움직인다. 따라서, 노브(n1a)를 조작하여 제1 카메라(3211a)의 초점을 오른쪽(R) 또는 왼쪽(L)으로 이동시킬 수 있다.
제1 고정자(3213a)는 "L"자 형상이다. 제1 고정자(3213a)는 제2 고정자(3213b)와 수직 대칭이며, 대칭면 제2 고정자(3213b)와 맞닿아 있다.
제2 스테이지(3214a)는 이동부(3214am), 고정부(3214af), 및 노브(n2a)를 포함하고, 이동부(3214am)의 위에 제1 고정자(3213a)의 밑면이 고정된다. 이동부(3214am)는 노브(n2a)의 조절에 따라 일측 상방 방향(U1) 또는 타측 상방 방향(U2)으로 원호를 따라 움직인다. 따라서, 이동부(3214am)의 움직임에 대응하여 제1 카메라(3211a), 제1 스테이지(3212a), 및 제1 고정자(3213a)가 상하로 움직인다. 즉, 노브(n2a)를 조작하여 제1 카메라(3211a)의 초점을 위 또는 아래로 이동시킬 수 있다.
제2 카메라(321b)는 제2 카메라(3211b), 제3 스테이지(3212b), 제2 고정자(3213b), 및 제4 스테이지(3214b)를 포함한다.
제2 카메라(3211b)는 제2 영상(i2)을 촬영하여 제2 영상 처리부(35)에 전달한다.
제3 스테이지(3212b)는 이동부(3212bm), 고정부(3212bf), 및 노브(n1b)를 포함하고, 제2 카메라(3211b)가 이동부(3212bm)에 고정되어 있다. 이동부(3212bm)는 노브(n1b)의 조절에 따라 오른쪽(R) 또는 왼쪽(L)으로 원호를 따라 움직이고, 이동부(3212bm)의 움직임에 대응하여 제2 카메라(3211b)가 오른쪽(R) 또는 왼쪽(L)으로 움직인다. 따라서, 노브(n1b)를 조작하여 제2 카메라(3211b)의 초점을 오른쪽(R) 또는 왼쪽(L)으로 이동시킬 수 있다.
제2 고정자(3213b)는 "L"자 형상이다. 제2 고정자(3213b)는 제1 고정자(3213a)와 수직 대칭이며, 대칭면에서 제1 고정자(3213a)와 맞닿아 있다.
제4 스테이지(3214b)는 이동부(3214bm), 고정부(3214bf), 및 노브(n2b)를 포함하고, 이동부(3214bm)의 위에 제2 고정자(3213b)의 밑면이 고정된다. 이동부(3214bm)는 노브(n2b)의 조절에 따라 일측 상방 방향(U1) 또는 타측 상방 방향(U2)으로 원호를 따라 움직인다. 따라서, 이동부(3214bm)의 움직임에 대응하여 제1 카메라(3211b), 제3 스테이지(3212b), 및 제2 고정자(3213b)가 상하로 움직인다. 즉, 노브(n2b)를 조작하여 제2 카메라(3211b)의 초점을 위 또는 아래로 이동시킬 수 있다.
베이스 플레이트(322) 위에는 고정부(3214af)와 고정부(3214bf)가 고정된다.
필터부(33)는 밴드 패스 필터(Band pass filter)를 포함하고, 이러한 밴드 패스 필터는 입사되는 제3 영상(i3)에서 제1 파장의 빛을 통과시킨다. 제3 영상(i3)은 필터부(33)를 통과하여 제1 파장의 빛으로 구성된 형광 영상(Fi)으로 변환되고, 형광 영상(Fi)은 제3 영상 처리부(36)로 입력된다.
구체적으로, 환자가 5-ALA를 복용하면 5-ALA가 도 3에 도시된 종양(c) 세포에만 흡수되어 형광 물질(Protoporphyrin IX)로 변환되고 이러한 형광 물질은 제1 파장의 형광 빛으로 발광한다. 이때, 형광 물질은 기준 시간 이후 가장 밝게 발광한다.
따라서, 형광 영상(Fi)은, 제1 색의 영역과 제2 색의 영역으로 구성되고, 도 4에 도시된 바와 같이, 빗금으로 표시된 종양(c)의 영역이 제1 색으로 표현되고 종양(c) 이외의 정상 조직의 영역은 제2 색으로 표현된다.
제1 영상 처리부(34)는 이미지 센서(341), 프로세서(342), 및 보간부(343)를 포함하고, 제1 카메라(321a)가 촬영하는 피사체 정보를 검지하여 영상 신호를 생성하고 생성된 영상 신호를 보간한 다음, 제3 영상 처리부(36)의 탐지 영상(Di)을 보간된 영상에 중첩시켜 좌안 영상신호(Li)를 생성한다.
이미지 센서(341)는 제1 카메라(321a)가 촬영하는 피사체 정보를 검지하여 전기적 신호를 생성하는 CCD, CMOS 센서 등일 수 있으며 실시예가 이에 한정되는 것은 아니다.
프로세서(342)는 이미지 센서(341) 생성한 전기 신호를 이용하여 영상 신호를 생성한다. 이때, 프로세서(342)는 휘도(Y)와 색차(Cb, Cr)로 구성된 YCbCr 색 공간(Color Space)을 이용하여 영상 신호를 생성한다. 프로세서(342)에서 생성되는 영상 신호는 이하의 표 1과 같다.
색(Color) YCbCr
White (235, 128, 128)
Yellow (210, 16, 146)
Cyan (170, 166, 16)
Green (145, 54, 54)
Magenta (106, 202, 222)
Red (81, 90, 240)
Blue (41, 240, 110)
Black (16, 128, 128)
보간부(343)는, 프로세서(342)에서 생성한 영상을 이용하여 현미경(10) 광원의 색온도를 측정하고, 화이트 밸런스(White Balance)를 조절한 다음, 휘도(Y)를 제외한 색차(Cb, Cr)만 이용하여 영상 신호 중 붉은 계열 색에 대응하는 색차를 미리 설정해 놓은 기준 색차로 보간하여 좌안 영상(Li)을 생성한다. 이때, 기준 색차는 소정의 광원 색온도에 대응하여, 왜곡 없이 붉은 계열 색이 표현될 수 있는 색차이다.
예를 들어, 이하의 표 2를 참조하면, 보간부(343)는, 프로세서(342)에서 생성한 영상의 화이트 밸런스를 조절한 다음, 프로세서(342)에서 생성한 영상 중 붉은 계열 색에 대응하는 영상의 색차를 색온도(T)에 대응하는 기준 색차(Br, Rr)로 보간한다.
광원 색온도 Cb Cr
3,000K -2 -39
T
Br
Rr
7,000K -49 -17
따라서, 영상 신호의 붉은 계열 색의 색차를 광원의 색온도에 대응하는 기준 색차로 보간하여 현미경(10) 광원의 휘도에 상관없이 일정한 색차(Cr)로서 붉은색을 표현하는 좌안 영상(Li)을 생성할 수 있다.
제2 영상 처리부(35)는 이미지 센서(351), 프로세서(352), 및 보간부(353)를 포함하고, 제2 카메라(321b)가 촬영하는 피사체 정보를 검지하여 영상 신호를 생성하고 생성된 영상 신호를 보간한 다음, 제3 영상 처리부(36)의 탐지 영상(Di)을 보간된 영상에 중첩시켜 우안 영상신호(Ri)를 생성한다.
이미지 센서(351), 프로세서(352), 및 보간부(353)는 이미지 센서(341), 프로세서(342), 및 보간부(343) 각각과 실질적으로 동일하므로 상세한 설명은 생략한다.
제3 영상 처리부(36)는 이미지 센서(361) 및 프로세서(362)를 포함하고, 형광 영상(Fi)을 이용하여 종양과 정상 조직 사이의 경계가 포함된 탐지 영상(Di)을 생성한다.
이미지 센서(361)는, 도 4를 참조하여 설명한 바와 같이, 빗금으로 도시된 종양(c)이 제1 색으로 보이고 종양(c) 이외의 정상 조직은 제2 색으로 보이는 형광 영상(Fi)을 검지하여 전기적 신호를 생성하는 CCD, CMOS 센서 등일 수 있으며 실시예가 이에 한정되는 것은 아니다.
프로세서(362)는 이미지 센서(361)에서 생성한 전기 신호를 이용하여, 제1 색에 대응하는 영역을 종양(c)으로 인식하고, 제2 색에 대응하는 영역을 정상 조직으로 인식하여 종양의 경계가 포함된 탐지 영상(Di)을 생성한다.
구체적으로, 도 5를 참조하면, 제1 색과 제2 색의 경계를 종양(c)의 경계로서 인식하고 종양(c)의 경계(cb)가 포함된 탐지 영상(Di)을 생성한다.
또한, 프로세서(362)는 동영상 분석 알고리즘을 동영상에 적용하여 제1 색에 대응하는 영역을 종양(c)으로 인식하고, 제2 색에 대응하는 영역을 정상 조직으로 인식하고 탐지 영상(Di)을 생성할 수 있다. 동영상 분석 알고리즘은 일례이며, 종양(c)의 경계(edge), 종양(c) 색상, 종양(c) 표면색 스펙트럼의 변화 중 적어도 하나를 이용하여 종양(c)과 정상 조직을 식별하고 종양(c)과 정상 조직의 경계를 인식하여 탐지 영상(Di)을 생성할 수 있다. 또한, 프로세서(362)는 딥 러닝(Deep Learning) 기술을 동영상에 적용하여 종양(c)과 정상 조직을 인식할 수 있으나 실시예가 이에 한정되는 것은 아니다.
또한, 프로세서(362)는 소벨(Sobel), 프리윗(Prewitt), 로버츠(Roberts), 컴퍼스(Compass), 라플 라시안(Laplacian), 가우시안-라플라시안(LoG: Laplacian of Gaussian) 또는 캐니(Canny) 중 적어도 하나를 이용하여 종양(c)과 정상 조직의 경계를 인식하여 탐지 영상(Di)을 생성할 수 있다.
레코더(40)는 좌안 영상(Li) 및 우안 영상(Ri)을 저장한다.
표시부(50)는 복수의 모니터(51, 52)를 포함하고, 복수의 모니터(51, 52) 각각은 레코더(40)의 좌안 영상(Li) 및 우안 영상(Ri)을 이용하여 촬영된 수술 영상을 입체 동영상으로 표시한다.
이와 같이 복수의 모니터(51, 52)를 통해서 수술부위 및 그 인접 부위까지 입체 동영상으로 볼 수 있게 되므로, 수술자는 물론 보조자까지도 수술용 현미경(10)을 통해서 수술을 진행하지 않고 모니터(51, 52)를 통해서 수술할 수 있다.
또한, 종래에는 Protoporphyrin IX가 종양 조직에 선택적으로 축적되어 발광하는 형광 물질을 확인하기 위해, 수술방의 조명을 끄고 필터가 장착된 현미경을 통해서만 형광 화면으로 표시된 종양 확인이 가능했다. 또한, 이러한 형광 화면은 형광 물질로 구성되어 원래 인체 조직 색과는 다른 색이다.
그러나 실시예는, 종양의 경계(cb)가 표시된 입체 동영상을 복수의 모니터(51, 52)를 통해서 볼 수 있으므로, 수술방의 조명을 끄지 않고도 수술 중 수시로 정상 조직과 종양을 복수의 모니터(51, 52)를 통해서 구분할 수 있다. 또한, 종양의 경계(cb)가 표시된 입체 동영상은 형광 화면표시 되지 않고 인체 조직 고유의 색으로 표시된다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
1: 수술 동영상 생성 시스템
10: 수술용 현미경
20: 광학 어댑터
30: 영상 처리 장치
40: 레코더
50: 표시부

Claims (12)

  1. 수술 동영상 생성 시스템으로서,
    광원을 포함하는 수술용 현미경;
    상기 현미경을 이용한 수술 장면을 촬영하는 카메라를 포함하고, 상기 촬영된 수술 장면을 이용하여 형광 영상 및 상기 수술 장면의 입체 동영상을 생성하도록 구성된 영상 처리 장치;
    상기 현미경에 상기 영상 처리장치가 장착되도록 구성된 광학 어댑터; 및
    상기 입체 동영상을 표시하도록 구성된 표시부
    를 포함하고,
    상기 영상 처리 장치는, 상기 형광 영상을 이용하여 종양 조직의 경계를 인식하여 상기 경계가 포함된 탐지 영상을 생성하도록 구성되며,
    상기 형광 영상은 상기 종양 조직에만 선택적으로 축적되는 형광 물질로부터 발광하는 빛으로 형성되고,
    상기 입체 동영상은 상기 경계가 표시되도록, 상기 수술 장면에 상기 탐지 영상을 중첩하여 생성된, 수술 동영상 생성 시스템.
  2. 제1항에 있어서,
    상기 영상 처리 장치는 제1 파장에 대응하는 빛을 통과시키는 필터를 포함하고, 상기 발광하는 빛은 상기 제1 파장의 빛이고,
    상기 형광 영상은 상기 제1 파장에 대응하는 제1 색 및 제2 색으로 표현되고,
    상기 영상 처리 장치는, 상기 제1 색에 대응하는 제1 영역을 상기 종양 조직으로 인식하고 상기 제2 색에 대응하는 제2 영역을 정상 조직으로 인식하며, 상기 제1 영역과 상기 제2 영역의 경계가 표시된 상기 입체 동영상을 생성하도록 구성된, 수술 동영상 생성 시스템.
  3. 제2항에 있어서,
    상기 제1 파장은 635nm이고, 상기 제1 색은 붉은 형광색이며, 상기 제2 색은 푸른 형광색인, 수술 동영상 생성 시스템.
  4. 제3항에 있어서,
    상기 영상 처리 장치는,
    소벨(Sobel), 프리윗(Prewitt), 로버츠(Roberts), 컴퍼스(Compass), 라플 라시안(Laplacian), 가우시안-라플라시안(LoG: Laplacian of Gaussian) 또는 캐니(Canny) 중 적어도 하나를 상기 형광 영상에 적용하여 상기 경계를 표시하도록 구성된, 수술 동영상 생성 시스템.
  5. 제4항에 있어서,
    상기 수술 동영상 생성 시스템은 상기 수술 장면을 촬영하는 카메라를 더 포함하고,
    상기 영상 처리 장치는,
    상기 수술 장면의 영상을 제1 영상 및 제2 영상으로 나누도록 구성된 미러 조립체; 및
    상기 제1 영상을 이용하여 상기 입체 동영상을 생성하도록 구성된 영상 처리부
    를 포함하고,
    상기 미러 조립체는 상기 광학 어댑터와 상기 카메라 사이에 배치되고, 상기 제2 영상이 상기 필터를 통과하는, 수술 동영상 생성 시스템.
  6. 제5항에 있어서,
    상기 영상 처리부는, 상기 광원의 색온도를 측정하고, 상기 측정된 광원에 대응하는 기준 색차를 이용하여, 상기 제1 영상의 붉은색의 색차를 보간하도록 구성된, 수술 동영상 생성 시스템.
  7. 제6항에 있어서,
    상기 광원은, 3000K에서 7000K 사이의 색온도를 갖는 광원인, 수술 동영상 생성 시스템.
  8. 제7항에 있어서,
    상기 영상 처리 장치는,
    상기 카메라의 초점이 오른쪽 또는 왼쪽으로 이동하도록 구성된 제1 스테이지;
    상기 카메라의 초점이 위 또는 아래로 이동하도록 구성된 제2 스테이지
    를 포함하는, 수술 동영상 생성 시스템.
  9. 제8항에 있어서,
    상기 제1 스테이지는 제1 이동부 및 제1 고정부를 포함하고,
    상기 제2 스테이지는 제2 이동부 및 제2 고정부를 포함하며,
    상기 제1 이동부는 상기 제1 고정부에 대해 원호를 따라 움직이도록 구성되고,
    상기 제2 이동부는 상기 제2 고정부에 대해 원호를 따라 움직이도록 구성된,
    수술 동영상 생성 시스템.
  10. 제9항에 있어서,
    상기 제1 스테이지는 제1 노브를 포함하고,
    상기 제2 스테이지는 제2 노브를 포함하며,
    상기 초점은, 상기 제1 노브의 회전에 대응하여 오른쪽 또는 왼쪽으로 이동되고, 상기 제2 노브의 회전에 대응하여 위 또는 아래로 이동하는, 수술 동영상 생성 시스템.
  11. 제10항에 있어서,
    상기 카메라는 상기 제1 이동부에 고정되고, 상기 제1 스테이지는 상기 제2 이동부에 고정되며,
    상기 제2 노브의 회전에 대응하여, 상기 카메라, 상기 제1 스테이지가 위 또는 아래로 이동하는, 수술 동영상 생성 시스템.
  12. 제11항에 있어서,
    상기 제1 스테이지와 상기 제2 스테이지 사이에는 수평면과 수직면으로 형성된 고정자를 포함하고,
    상기 제1 고정부는 상기 수직면에 고정되고 상기 제2 고정부는 상기 수평면에 고정되는, 수술 동영상 생성 시스템.
KR1020180168933A 2018-12-26 2018-12-26 수술 동영상 생성 시스템 KR102148685B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2018/016633 WO2020138521A1 (ko) 2018-12-26 2018-12-26 수술 동영상 생성 시스템
KR1020180168933A KR102148685B1 (ko) 2018-12-26 2018-12-26 수술 동영상 생성 시스템
US17/246,490 US20210251570A1 (en) 2018-12-26 2021-04-30 Surgical video creation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168933A KR102148685B1 (ko) 2018-12-26 2018-12-26 수술 동영상 생성 시스템

Publications (2)

Publication Number Publication Date
KR20200079617A KR20200079617A (ko) 2020-07-06
KR102148685B1 true KR102148685B1 (ko) 2020-08-28

Family

ID=71126016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168933A KR102148685B1 (ko) 2018-12-26 2018-12-26 수술 동영상 생성 시스템

Country Status (3)

Country Link
US (1) US20210251570A1 (ko)
KR (1) KR102148685B1 (ko)
WO (1) WO2020138521A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11754500B2 (en) * 2019-06-20 2023-09-12 Cilag Gmbh International Minimizing image sensor input/output in a pulsed fluorescence imaging system
TWI778900B (zh) * 2021-12-28 2022-09-21 慧術科技股份有限公司 手術術式標記與教學系統及其方法
KR102458495B1 (ko) * 2022-03-17 2022-10-25 주식회사 메디씽큐 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101481905B1 (ko) * 2013-07-29 2015-01-14 충북대학교 산학협력단 수술 현미경용 일체형 입체 화상 획득 시스템
KR101630539B1 (ko) * 2014-12-31 2016-06-14 국립암센터 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060089094A (ko) * 2005-02-03 2006-08-08 엘지전자 주식회사 자동 화이트 밸런스 연동형 색 공간 변환기 및 색 공간변환 방법
US20060262390A1 (en) * 2005-05-18 2006-11-23 Leica Microsystems Wetzlar Gmbh Microscope with antimicrobial surface
EP2074933B1 (de) * 2007-12-19 2012-05-02 Kantonsspital Aarau AG Verfahren zur Analyse und Bearbeitung von Fluoreszenzbildern
DE102014210046B4 (de) * 2014-05-27 2021-03-18 Carl Zeiss Meditec Ag Operationsmikroskopsystem
WO2019013779A1 (en) * 2017-07-12 2019-01-17 Mohammed Alauddin Bhuiyan AUTOMATED DETECTION AND QUANTIFICATION OF BLOOD VESSEL CHARACTERISTICS FOR RETINAL IMAGE CLASSIFICATION AND DISEASE SCREENING
WO2020008652A1 (ja) * 2018-07-06 2020-01-09 株式会社ニコン 支持装置及び手術支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101481905B1 (ko) * 2013-07-29 2015-01-14 충북대학교 산학협력단 수술 현미경용 일체형 입체 화상 획득 시스템
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム
KR101630539B1 (ko) * 2014-12-31 2016-06-14 국립암센터 수술현미경용 다중 형광 영상의 실시간 정합 장치 및 방법

Also Published As

Publication number Publication date
US20210251570A1 (en) 2021-08-19
KR20200079617A (ko) 2020-07-06
WO2020138521A1 (ko) 2020-07-02

Similar Documents

Publication Publication Date Title
US11381759B2 (en) Multi-function imaging
CN107137053B (zh) 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
US20210251570A1 (en) Surgical video creation system
US11083537B2 (en) Stereoscopic camera with fluorescence visualization
US10694117B2 (en) Masking approach for imaging multi-peak fluorophores by an imaging system
US20120004557A1 (en) Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
US20110261175A1 (en) Multiple channel imaging system and method for fluorescence guided surgery
JP6745508B2 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
JP2012213575A (ja) 眼科撮影装置
JP6608884B2 (ja) 観察対象物の視覚強化のための観察装置および観察装置の作動方法
US11394866B2 (en) Signal processing device, imaging device, signal processing meihod and program
US20210019921A1 (en) Image processing device, image processing method, and program
JP2021145873A (ja) 医療用画像処理装置及び医療用観察システム
CN110087528B (zh) 内窥镜系统以及图像显示装置
JP2021035549A (ja) 内視鏡システム
CN114414046A (zh) 观察辅助装置、信息处理方法以及程序
US20110261179A1 (en) Imaging system for fluorescence guided surgery based on fixed magnification lens and digital zoom
US20230120611A1 (en) Stereoscopic camera with fluorescence strobing based visualization
JP7214886B2 (ja) 画像処理装置及びその作動方法
US20220308328A1 (en) Binocular device
US7925331B2 (en) Apparatus for displaying a tissue containing a fluorescent dye
US20230218145A1 (en) Endoscopic system and method for displaying an adaptive overlay
EP3991633A1 (en) Microscope system for use in eye surgery and corresponding system, methods and computer programs
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
KR20210086870A (ko) 여기광 펄스 제어 또는 개폐기를 이용한 다채널 형광 영상 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right