KR102148433B1 - 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 - Google Patents
최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 Download PDFInfo
- Publication number
- KR102148433B1 KR102148433B1 KR1020180092098A KR20180092098A KR102148433B1 KR 102148433 B1 KR102148433 B1 KR 102148433B1 KR 1020180092098 A KR1020180092098 A KR 1020180092098A KR 20180092098 A KR20180092098 A KR 20180092098A KR 102148433 B1 KR102148433 B1 KR 102148433B1
- Authority
- KR
- South Korea
- Prior art keywords
- endoscope
- image
- unit
- collision
- automatic extraction
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
- A61B1/126—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning in-use
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/70—Cleaning devices specially adapted for surgical instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
- A61B2090/081—Indication means for contamination or dirt
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/70—Cleaning devices specially adapted for surgical instruments
- A61B2090/701—Cleaning devices specially adapted for surgical instruments for flexible tubular instruments, e.g. endoscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
Abstract
본 발명은 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법에 관한 것으로서, 구체적으로는 로봇수술중 내시경 영상의 질을 평가하여 내시경 렌즈의 세척이 필요하다고 판단된 경우에 수술의 효율성과 안전성을 위하여 집도의의 확인을 거친 후 생체 주요요소와의 충돌없이 내시경을 수술공간 외부로 자동으로 추출하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 판단 및 자동 추출 방법에 관한 것이다.
Description
본 발명은 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법에 관한 것으로서, 구체적으로는 로봇수술중 내시경 영상의 질을 평가하여 내시경 렌즈의 세척이 필요하다고 판단된 경우에 수술의 효율성과 안전성을 위하여 집도의의 확인을 거친 후 생체 주요요소와의 충돌없이 내시경을 수술공간 외부로 자동으로 추출하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 판단 및 자동 추출 방법에 관한 것이다.
복강경(腹腔鏡)은 복벽(腹壁)에 작은 구멍을 뚫고 삽입하여 담낭, 복막, 간장(肝臟), 소화관 외측(外側) 따위를 검사하기 위한 내시경을 말하며, 내시경 수술이란 기존의 피부 절개를 통해 시행하는 수술이 아닌 하나 또는 여러 개의 구멍을 통해 진행하는 수술을 말한다.
복강경 내시경을 이용한 수술은 복부에 지름 5㎜ ~ 1㎝가량의 작은 구멍을 두 군데 이상 낸 다음, 구멍들을 통하여 필요한 수술용 도구(end-effector)를 삽입하여, 복강경이 촬영하는 체내의 모양을 비디오 모니터 등을 통해서 화면을 보면서 행하는 수술이다.
또한, 로봇수술은 수술 도구를 움직일 수 있는 로봇을 의사가 제어하는 수술을 말하는 것으로, 복강경 로봇수술은 복부에 여러 개의 구멍을 뚫은 후 뚫은 구멍으로 복강경 내시경과 함께 로봇수술을 위한 수술용 도구(end-effector)가 부착된 수술로봇의 로봇팔을 삽입하여 수술하는 것을 말한다.
이러한 복강경 로봇 수술의 경우, 기존의 개복 수술보다 절개부위가 적어 환자의 회복시간이 빠르고, 고통 및 흉터도 적다는 장점뿐만 아니라 로봇 팔을 이용하여 수술을 진행하기 때문에 더 정밀한 수술이 가능하며, 일반적으로 3개의 수술 도구와 하나의 내시경을 이용하여 수술을 진행한다.
현재 로봇 수술과 같은 최소 절개 수술 기법에서는 복강경 내시경 및 수술 도구들의 사용을 위하여 이산화탄소 가스를 수술 부위(복강 등)에 주입함으로 팽창시켜 복강경 수술을 위한 수술공간을 확보하고 있다.
그러나 협소한 수술공간으로 인하여 수술 과정 중에 발생하는 수증기 및 이물질 등으로 인하여 내시경 영상의 초점 및 질이 수술 진행에 적합하지 못할 정도로 저하되는 경우가 빈번히 발생하고 있으며, 이 경우 집도의가 직접 세척 여부를 판단하고 간호사가 수동으로 내시경을 외부로 빼내 내시경을 세척한 후 재진입시켜야 하는 문제가 있다.
특히, 수술 영상의 질에 대한 집도의의 판단은 주관적이고 세척의 번거로움 때문에 불편한 영상을 이용해 수술을 진행하기도 하고 있는 실정이며, 또한 수동으로 내시경을 추출하여 세척을 진행하기 때문에 간호사의 숙련도가 중요하며 탈착 과정 중 내시경이 수술공간 내에 존재하는 장기, 동맥과 정맥을 포함하는 혈관, 신경 등과 같은 생체 주요요소들과 충돌할 염려가 있는 등의 문제가 있다.
삭제
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 로봇수술중 내시경 영상의 질을 평가하여 내시경 렌즈의 세척이 필요하다고 판단된 경우 집도의의 확인을 거친 후 내시경을 수술공간 외부로 자동으로 추출할 수 있는 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법을 제공함을 목적으로 한다.
또한, 본 발명은 내시경을 수술공간 외부로 추출하는 경우 생체 주요요소와의 충돌을 방지할 수 있는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법을 제공함을 목적으로 한다.
본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 로봇수술 수행 전에 부풀려진 수술공간으로 삽입되어 로봇수술중 수술부위를 실시간 촬영하는 내시경; 상기 내시경에서 촬영된 수술부위 영상을 획득하는 내시경영상 획득부; 상기 내시경영상 획득부에서 획득된 영상의 질(quality)을 평가하는 내시경영상 질 평가부; 상기 내시경영상 질 평가부에서의 영상 질 평가 결과, 상기 획득된 영상의 질이 기 설정된 수준 이하로 저하된 경우 소정의 신호를 발생하는 신호발생부; 상기 신호발생부에서 신호가 발생한 경우 상기 내시경 세척에 대한 집도의의 동의를 획득하기 위한 집도의 동의 획득부; 및 상기 내시경 세척에 대한 집도의의 동의를 획득한 경우 상기 내시경을 상기 수술공간 외부로 자동으로 추출하는 내시경 자동 추출부;를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 내시경영상 질 평가부는 상기 획득된 영상의 질을 수치화하고, 상기 신호발생부는 상기 수치화된 영상의 질 값이 소정 값 이하인 경우 신호를 발생할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 신호발생부는 상기 수치화된 영상의 질 값의 범위에 따라 서로 다른 신호를 발생할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 내시경영상 획득부는 소정시간 간격으로 상기 내시경에서 촬영된 수술부위 영상을 획득하고, 상기 내시경영상 질 평가부는 상기 획득된 영상의 질을 상기 획득된 영상 바로 전에 획득된 영상과 비교하여 수치화할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 내시경영상 획득부는 소정시간 간격으로 상기 내시경에서 촬영된 수술부위 영상을 획득하고, 상기 내시경영상 질 평가부는 상기 획득된 영상의 질을 이용하여 수치화하되, 상기 수치화는 이물질 부착 여부, 안개 현상, 명도, 선명함을 포함하는 영상 요소들을 정합하여 이루어질 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 내시경 자동 추출부는, 생체 주요요소가 표시된 상기 수술공간에 대한 3D 영상을 이용하여 상기 내시경을 상기 생체 주요요소와 충돌없이 상기 수술공간 외부로 추출하기 위한 내시경 추출이동 경로를 획득하는 내시경 추출경로 획득부와, 상기 획득된 내시경 추출이동 경로를 따라 상기 내시경을 상기 수술공간 외부로 추출하는 내시경 추출부를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 내시경 자동 추출부는 상기 3D 영상에 표시된 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 충돌을 방지하는 충돌방지부를 더 포함하고, 상기 충돌방지부는, 상기 내시경의 실시간 위치를 추출하는 내시경 위치 추출부; 상기 3D 영상 내에서의 상기 생체 주요요소의 위치정보와 상기 내시경 위치 추출부에서 추출된 상기 3D 영상 내에서의 내시경의 실시간 위치정보를 이용하여 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 충돌위험 여부를 판단하는 충돌위험 판단부; 상기 충돌위험 판단부의 판단 결과, 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경이 충돌위험이 있다고 판단된 경우, 위험신호를 발생하는 위험신호 발생부; 및 상기 충돌위험 판단부의 판단 결과, 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경이 충돌위험이 있다고 판단된 경우, 상기 생체 주요요소와 상기 내시경의 충돌이 방지되도록 상기 내시경 추출부를 제어하는 충돌방지 제어부;를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 충돌위험 판단부는 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 실시간 위치에서의 거리를 계산하고, 상기 계산된 거리가 기 설정된 범위 이내인지 여부를 판단하고, 상기 계산된 거리가 기 설정된 범위 이내인 경우, 상기 위험신호 발생부는 위험신호를 발생하며, 상기 충돌방지 제어부는 상기 생체 주요요소와 상기 내시경의 충돌이 방지되도록 상기 내시경 추출부를 제어할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 생체 주요요소가 표시된 상기 수술공간에 대한 3D 영상을 생성하는 3D 영상 처리부를 더 포함하고, 상기 3D 영상 처리부는, 로봇수술 수행전에 상기 부풀려진 수술공간에 대해 촬영된 다수의 2D 또는 3D 영상들을 획득하는 영상 획득부; 상기 영상 획득부에서 획득된 다수의 2D 또는 3D 영상들을 상기 부풀려진 수술공간을 나타내는 하나의 3D 영상으로 정합하는 3D 영상 정합부; 상기 정합된 3D 영상에 포함된 생체 주요요소를 추출하는 생체 주요요소 추출부; 및 상기 생체 주요요소 추출부에서 추출된 생체 주요요소를 상기 정합된 3D 영상에 표시하여 상기 생체 주요요소가 표시된 상기 부풀려진 수술공간에 대한 3D 영상을 생성하는 3D 영상 생성부;를 포함할 수 있다.
한편, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법은, 로봇수술 수행 전에 부풀려진 수술공간으로 삽입되어 로봇수술중 수술부위를 실시간 촬영하는 내시경영상 촬영 단계; 상기 내시경영상 촬영 단계에서 촬영된 수술부위 영상을 획득하는 내시경영상 획득 단계; 상기 내시경영상 획득 단계에서 획득된 영상의 질(quality)을 판단하는 내시경영상 질 판단 단계; 상기 내시경영상 질 판단 단계에서의 영상 질 판단 결과, 상기 획득된 영상의 질이 기 설정된 수준 이하로 저하된 경우 소정의 신호를 발생하는 신호발생 단계; 상기 신호발생 단계 이후 상기 내시경 세척에 대한 집도의의 동의를 획득하부는 집도의 동의 획득 단계; 및 상기 집도의 동의 획득 단계에서 상기 내시경 세척에 대한 집도의의 동의를 획득한 경우 상기 내시경을 상기 수술공간 외부로 자동으로 추출하는 내시경 자동 추출 단계;를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법은, 상기 내시경영상 질 판단 단계는 상기 획득된 영상의 질을 수치화하여 상기 획득된 영상의 질의 저하 정도를 나타내고, 상기 신호발생 단계는 상기 수치화된 영상의 질 값이 소정 값 이하인 경우 신호를 발생할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법은, 상기 신호발생 단계는 상기 수치화된 영상의 질 값의 범위에 따라 서로 다른 신호를 발생할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법은, 상기 내시경 자동 추출 단계는, 생체 주요요소가 표시된 상기 수술공간에 대한 3D 영상을 이용하여 상기 내시경을 상기 생체 주요요소와 충돌없이 상기 수술공간 외부로 추출하기 위한 내시경 추출이동 경로를 획득하는 내시경 추출경로 획득 단계와, 상기 획득된 내시경 추출이동 경로를 따라 상기 내시경을 상기 수술공간 외부로 추출하는 내시경 추출 단계를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법은, 상기 내시경 자동 추출 단계는 상기 3D 영상에 표시된 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 충돌을 방지하는 충돌방지 단계를 더 포함하고, 상기 충돌방지 단계는, 상기 내시경의 실시간 위치를 추출하는 내시경 위치 추출 단계; 상기 3D 영상 내에서의 상기 생체 주요요소의 위치정보와 상기 내시경 위치 추출부에서 추출된 상기 3D 영상 내에서의 내시경의 실시간 위치정보를 이용하여 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 충돌위험 여부를 판단하는 충돌위험 판단 단계; 상기 충돌위험 판단 단계에서의 판단 결과, 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경이 충돌위험이 있다고 판단된 경우, 위험신호를 발생하는 위험신호 발생 단계; 및 상기 충돌위험 판단 단계에서의 판단 결과, 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경이 충돌위험이 있다고 판단된 경우, 상기 생체 주요요소와 상기 내시경의 충돌이 방지되도록 상기 내시경의 이동을 제어하는 충돌방지 제어 단계;를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법은, 상기 충돌위험 판단 단계는 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 실시간 위치에서의 거리를 계산하고, 상기 계산된 거리가 기 설정된 범위 이내인지 여부를 판단하고, 상기 계산된 거리가 기 설정된 범위 이내인 경우, 상기 위험신호 발생 단계는 위험신호를 발생하며, 상기 충돌방지 제어 단계는 상기 생체 주요요소와 상기 내시경의 충돌이 방지되도록 상기 내시경의 이동을 제어할 수 있다.
상기와 같은 구성을 가지는 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과 이를 이용한 내시경 영상 질 평가및 자동 추출 방법에 의하면, 로봇수술중 내시경 영상의 질에 대한 객관적인 평가가 가능해져 안전한 수술을 위한 최소한의 영상의 질이 보장될 수 있는 효과가 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과 이를 이용한 내시경 영상 질 판단 및 자동 추출 방법에 의하면, 내시경을 수술공간 외부로 추출하는 경우 생체 주요요소와의 충돌을 방지할 수 있는 상태로 자동으로 내시경이 탈착되기 때문에 인적 오류 및 간호사의 숙련도로 인한 안전 문제의 발생을 제거할 수 있는 효과가 있다.
또한, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과 이를 이용한 내시경 영상 질 판단 및 자동 추출 방법에 의하면, rigid 내시경뿐만 아니라 flexible 내시경도 안전한 사용이 가능해짐으로써 집도의의 편의가 증진되고 로봇 수술 범위가 넓어질 수 있는 효과가 있다.
본 발명에 따른 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위와 상세한 설명의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템을 나타내는 구성도이고,
도 2는 본 발명의 일실시 예에 따른 내시경 자동 추출부를 나타내는 구성도이고,
도 3은 본 발명의 일실시 예에 따른 충돌방지부를 나타내는 구성도이고,
도 4는 본 발명의 일실시 예에 따른 3D 영상 처리부를 나타내는 구성도이고,
도 5는 로봇수술 수행 전에 부풀려진 수술공간을 촬영하는 상태를 개략적으로 나타내는 도면이고,
도 6은 생체 주요요소가 표시된 수술공간에 대한 3D 영상을 개략적으로 나타내는 도면이고,
도 7은 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법을 나타내는 흐름도이고,
도 8은 본 발명의 일실시 예에 따른 충돌방지 단계를 나타내는 흐름도이다.
도 2는 본 발명의 일실시 예에 따른 내시경 자동 추출부를 나타내는 구성도이고,
도 3은 본 발명의 일실시 예에 따른 충돌방지부를 나타내는 구성도이고,
도 4는 본 발명의 일실시 예에 따른 3D 영상 처리부를 나타내는 구성도이고,
도 5는 로봇수술 수행 전에 부풀려진 수술공간을 촬영하는 상태를 개략적으로 나타내는 도면이고,
도 6은 생체 주요요소가 표시된 수술공간에 대한 3D 영상을 개략적으로 나타내는 도면이고,
도 7은 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법을 나타내는 흐름도이고,
도 8은 본 발명의 일실시 예에 따른 충돌방지 단계를 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 쉽게 실시할 수 있도록 상세히 설명한다.
본 발명이 여러 가지 수정 및 변형을 허용하면서도, 그 특정 실시 예들이 도면들로 예시되어 나타내어지며, 이하에서 상세히 설명될 것이다. 그러나 본 발명을 개시된 특별한 형태로 한정하려는 의도는 아니며, 오히려 본 발명은 청구항들에 의해 정의된 본 발명의 사상과 합치되는 모든 수정, 균등 및 대용을 포함한다.
또한, 첨부 도면에서, 두께 및 크기는 명세서의 명확성을 위해 과장된 것일 수 있으며, 따라서 본 발명은 첨부도면에 도시된 상대적인 크기나 두께에 의해 제한되지 않는다.
도 1은 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템을 나타내는 구성도이다.
도 1을 참조하면, 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템(100)은, 내시경(110), 내시경영상 획득부(120), 내시경영상 질 평가부(130), 신호발생부(140), 집도의 동의 획득부(150) 및 내시경 자동 추출부(160)를 포함할 수 있다.
상기 내시경(110)은 로봇수술을 위한 수술용 도구(end-effector)가 부착된 수술로봇의 로봇팔(102)과 함께 로봇수술전에 부풀려진 수술공간(2)으로 삽입되어 로봇수술중 수술부위(19)(로봇수술이 이루어지는 부위)를 실시간 촬영하는 구성이다.
상기 내시경영상 획득부(120)는 내시경(110)에서 촬영된 수술부위(19) 영상을 획득하는 구성이다.
상기 내시경영상 질 평가부(130)는 내시경영상 획득부(120)에서 획득된 영상의 질(quality)을 평가하는 구성이다.
예를 들어, 상기 내시경영상 질 평가부(130)는 상기 획득된 영상을 Mean squared error(MSE), Structural similarity(SSIM), Signal to noise ratio(SNR) & pixel signal to noise ratio(PSNR), Frequency, Image color variation(L*a*b*, RGV, HSV), Feature similarity index(FSIM), Gradient similarity, Knowledge based training(딥러닝, 머신러닝) 등과 같은 방식으로 Image color assessment, Image contrast assessment, Contamination detection 등을 종합적으로 평가할 수 있다.
상기 신호발생부(140)는 내시경영상 질 평가부(130)에서의 영상 질 평가 결과, 상기 획득된 영상의 질이 기 설정된 수준 이하로 저하된 경우 소정의 신호를 발생하는 구성이다.
상기 신호발생부(140)는 내시경(110)에서 촬영된 영상의 질이 로봇수술 진행에 적합하지 못할 정도로 저하된 경우 집도의에게 이를 알리기 위한 구성으로써, 청각적 또는/및 시각적 방법 등이 이용될 수 있다.
또한, 상기 내시경영상 질 평가부(130)는 상기 획득된 영상의 질을 수치화하고, 상기 신호발생부(140)는 상기 수치화된 영상의 질 값이 소정 값 이하인 경우 신호를 발생할 수 있다.
이때, 상기 신호발생부(140)는 상기 수치화된 영상의 질 값의 범위에 따라 서로 다른 신호를 발생할 수 있다.
예를 들어, 상기 신호발생부(140)는 상기 수치화된 영상의 질 값의 범위에 따라 즉, 상기 획득된 영상의 질의 평가 정도에 따라 주의, 경고, 위험 등으로 구분하여 나타내도록 서로 다른 신호를 발생할 수 있다.
또한, 상기 내시경영상 획득부(120)는 소정시간 간격으로 즉, 주기적으로 내시경(110)에서 촬영된 수술부위 영상을 획득할 수 있다.
이때, 상기 내시경영상 질 평가부(130)는 상기 획득된 영상의 질을 상기 획득된 영상 바로 전에 획득된 영상과 비교하여 수치화할 수 있다.
또는, 상기 내시경영상 질 평가부(130)는 상기 획득된 영상의 질을 이용하여 수치화하되, 상기 수치화는 이물질 부착 여부, 안개 현상, 명도, 선명함을 포함하는 영상 요소들을 정합하여 이루어질 수도 있다.
상기 집도의 동의 획득부(150)는 신호발생부(140)에서 신호가 발생한 경우 내시경(110) 세척에 대한 집도의의 동의를 획득하기 위한 구성이다.
즉, 상기 집도의 동의 획득부(150)는 세척을 위해 내시경(110)을 수술공간(2) 외부로 추출하기 전에 로봇수술의 효율성과 안전성을 위하여 집도의의 동의를 얻도록 하기 위한 것이며, 집도의의 동의가 없으면 내시경(110)을 수술공간(2) 외부로 추출되지 않도록 한 것이다.
상기 집도의 동의 획득부(150)는 집도의의 음성인식을 통해 동의를 얻을 수 있도록 구성될 수도 있으며, 또는 버튼과 같은 선택부로 구성될 수도 있다.
상기 내시경 자동 추출부(160)는 내시경(110) 세척에 대한 집도의의 동의를 획득한 경우 내시경(110)을 수술공간(2) 외부로 자동으로 추출하는 구성이다.
한편, 도 1에서 보이는 바와 같이, 상기 수술공간(2)에는 내시경(110) 추출시 내시경(110)과의 충돌에 의해 손상이 발생할 수 있는 장기(5), 동맥과 정맥을 포함하는 혈관(7), 신경(9) 등의 생체 주요요소(3)가 존재한다.
따라서, 상기 내시경 자동 추출부(160)는 내시경(110)을 수술공간(2) 외부로 자동으로 추출하는 경우 수술공간(2)에 존재하는 생체 주요요소(3)와의 충돌을 회피하는 방향으로 추출할 필요가 있다.
도 2는 본 발명의 일실시 예에 따른 내시경 자동 추출부를 나타내는 구성도이다.
도 2를 참조하면, 본 발명의 일실시 예에 따른 내시경 자동 추출부(160)는 내시경 추출경로 획득부(162)와 내시경 추출부(164)를 포함할 수 있다.
상기 내시경 추출경로 획득부(162)는 생체 주요요소(3)가 표시된 수술공간(2)에 대한 3D 영상을 이용하여 내시경(110)을 상기 생체 주요요소(3)와 충돌없이 수술공간(2) 외부로 추출하기 위한 내시경 추출이동 경로를 획득하는 구성이다.
상기 내시경 추출부(164)는 상기 획득된 내시경 추출이동 경로를 따라 내시경(110)을 수술공간(2) 외부로 추출하는 구성이다.
또한, 상기 내시경 자동 추출부(160)는 상기 3D 영상에 표시된 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)의 충돌을 방지하는 충돌방지부(170)를 더 포함할 수 있다.
도 3은 본 발명의 일실시 예에 따른 충돌방지부를 나타내는 구성도이다.
도 3을 참조하면, 본 발명의 일실시 예에 따른 충돌방지부(170)는 내시경 위치 추출부(172), 충돌위험 판단부(174), 위험신호 발생부(175) 및 충돌방지 제어부(177)를 포함할 수 있다.
상기 내시경 위치 추출부(172)는 상기 생체 주요요소(3)가 표시된 수술공간(2)의 3D 영상 내에서의 내시경(110)의 실시간 위치를 추출하는 구성이다.
상기 내시경 위치 추출부는 광학추적기(Optical Tracker), 카메라 영상 등을 이용하여 실시간으로 상기 수술공간(2) 외부로 추출되는 내시경(110)의 위치를 추출할 수 있다.
상기 충돌위험 판단부(174)는 상기 3D 영상 내에서의 생체 주요요소(3)의 위치정보와 상기 내시경 위치 추출부(172)에서 추출된 상기 3D 영상 내에서의 내시경(110)의 실시간 위치정보를 이용하여 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)의 충돌위험 여부를 판단하는 구성이다.
상기 위험신호 발생부(175)는 상기 충돌위험 판단부(174)의 판단 결과, 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)이 충돌위험이 있다고 판단된 경우, 위험신호를 발생하는 구성이다.
상기 충돌방지 제어부(177)는 상기 충돌위함 판단부(174)의 판단 결과, 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)이 충돌위험이 있다고 판단된 경우, 생체 주요요소(3)와 상기 내시경(110)의 충돌이 방지되도록 상기 내시경 자동 추출부(160)를 제어하는 구성이다.
또한, 상기 충돌위험 판단부(174)는 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)의 실시간 위치에서의 거리를 계산하고, 상기 계산된 거리가 기 설정된 범위 이내인지 여부를 판단할 수 있다.
이때, 상기 계산된 거리가 기 설정된 범위 이내인 경우, 상기 위험신호 발생부(175)는 위험신호를 발생하며, 상기 충돌방지 제어부(177)는 생체 주요요소(3)와 상기 내시경(110)의 충돌이 방지되도록 상기 내시경 자동 추출부(160)를 제어할 수 있다.
또한, 상기 충돌위험 판단부(174)는 궤적추정(trajectory estimation)을 통해 상기 내시경 위치 추출부(172)에서 추출된 상기 수술공간(2) 외부로 추출되는 내시경(110)의 예상 경로를 파악하고, 상기 파악된 예상 경로가 생체 주요요소(3)와 충돌할 가능성이 있는지 여부를 판단할 수 있다.
한편, 본 발명의 일실시 예에 따른 내시경 영상 질 판단 및 자동 추출 시스템(100)은, 상기 생체 주요요소(3)가 표시된 수술공간(2)에 대한 3D 영상을 생성하는 3D 영상 처리부(180)를 더 포함할 수 있다.
도 4는 본 발명의 일실시 예에 따른 3D 영상 처리부를 나타내는 구성도이고, 도 5는 로봇수술 수행 전에 부풀려진 수술공간을 촬영하는 상태를 개략적으로 나타내는 도면이고, 도 6은 생체 주요요소가 표시된 수술공간에 대한 3D 영상을 개략적으로 나타내는 도면이다.
도 4 내지 도 6을 참조하면, 본 발명의 일실시 예에 따른 3D 영상 처리부(180)는 영상 획득부(182), 3D 영상 정합부(183), 생체 주요요소 추출부(185), 3D 영상 생성부(187)를 포함할 수 있다.
상기 영상 획득부(182)는 로봇수술 수행 전 상기 부풀려진 수술공간(2)에 대해 촬영된 다수의 2D 또는 3D 영상들을 획득하는 구성이다.
도 5에서 보이는 바와 같이, 로봇수술 수행 전 상기 부풀려진 수술공간(2)에 대한 촬영은 다수의 내시경(17)을 이용할 수 있다.
상기 3D 영상 정합부(183)은 영상 획득부(182)에서 획득된 다수의 2D 또는 3D 영상들을 상기 부풀려진 수술공간(2)을 나타내는 하나의 3D 영상으로 정합하는 구성이다.
상기 생체 주요요소 추출부(185)는 상기 정합된 3D 영상에 포함된 생체 주요요소(3)를 추출하는 구성이다.
상기 생체 주요요소 추출부(185)는 상기 정합된 3D 영상을 이미지 프로세싱(Image Processing)을 통하여 영상 내 잡음을 제거한 후 생체 주요요소(3)를 추출할 수 있다.
여기서, 상기 영상 잡음 처리 기법은 반사광 제거, 영상 잡음 필터링(Image Noise Filtering) 및 각인(Imprinting)을 포함할 수 있으며, 상기 생체 주요요소(3)의 추출은 블롭 카운팅(Blob Counting), 탐색(Detection), 라벨링(Labeling), 실시간 트래킹(Real-Time Tracking), 딥 러닝 알고리즘 등을 이용한 학습을 통하여 이루어질 수 있다.
상기 3D 영상 생성부(187)는 상기 생체 주요요소 추출부(185)에서 추출된 생체 주요요소(3)를 상기 정합된 3D 영상에 표시하여 상기 생체 주요요소(3)가 표시된 상기 수술공간(2)에 대한 3D 영상을 생성하는 구성이다.
이와 같이 구성된 상기 3D 영상을 개략적으로 나타내면 도 6에 도시된 바와 같다.
이하 상술한 바와 같은 구성을 가지는 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템을 이용한 내시경 영상 질 평가 및 자동 추출 방법에 관하여 상세히 설명한다.
도 7은 본 발명의 일실시 예에 따른 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 방법을 나타내는 흐름도이다.
도 7을 참조하면, 본 발명의 일실시 예에 따른 내시경 영상 질 평가 및 자동 추출 방법은(S100), 내시경영상 촬영 단계(S110), 내시경영상 획득 단계(S120), 내시경영상 질 판단 단계(S130), 신호발생 단계(S140), 집도의 동의 획득 단계(S150), 내시경 자동 추출 단계(S160)를 포함할 수 있다.
상기 내시경영상 촬영단계(S110)는 로봇수술 수행 전에 부풀려진 수술공간(2)으로 삽입되어 로봇수술중 수술부위(19)를 실시간 촬영하는 단계이다.
상기 내시경영상 획득 단계(S120)는 상기 내시경영상 촬영 단계(S110)에서 촬영된 수술부위 영상을 획득하는 단계이다.
상기 내시경영상 질 판단 단계(S130)는 상기 내시경영상 획득 단계(S120)에서 획득된 영상의 질(quality)을 판단하는 단계이다.
상기 신호발생 단계(S140)는 상기 내시경영상 질 판단 단계(S130)에서의 영상 질 판단 결과, 상기 획득된 영상의 질이 기 설정된 수준 이하로 저하된 경우 소정의 신호를 발생하는 단계이다.
상기 집도의 동의 획득 단계(S150)는 상기 신호발생 단계(S140) 이후 상기 내시경(110) 세척에 대한 집도의의 동의를 획득하는 단계이다.
상기 내시경 자동 추출 단계(S160)는 상기 집도의 동의 획득 단계(S150)에서 내시경(110) 세척에 대한 집도의의 동의를 획득한 경우 상기 내시경(110)을 상기 수술공간(2) 외부로 자동으로 추출하는 단계이다.
상기 내시경영상 질 판단 단계(S130)는 상기 획득된 영상의 질을 수치화하여 상기 획득된 영상의 질의 저하 정도를 나타낼 수 있으며, 이 경우 상기 신호발생 단계(S140)는 상기 수치화된 영상의 질 값이 소정 값 이하인 경우 신호를 발생할 수 있다.
또한, 상기 신호발생 단계(S140)는 상기 수치화된 영상의 질 값의 범위에 따라 서로 다른 신호를 발생할 수 있다.
예를 들어, 상기 신호발생 단계(S140)는 상기 획득된 영상의 질의 평가 정도에 따라 주의, 경고, 위험 등으로 구분하여 나타내도록 서로 다른 신호를 발생할 수 있다.
상기 내시경 자동 추출 단계(160)는 내시경 추출경로 획득 단계(S162)와, 내시경 추출 단계(S164)를 포함할 수 있다.
상기 내시경 추출경로 획득 단계(S162)는 생체 주요요소(3)가 표시된 상기 수술공간(2)에 대한 3D 영상을 이용하여 상기 내시경(110)을 상기 생체 주요요소(3)와 충돌없이 상기 수술공간(2) 외부로 추출하기 위한 내시경 추출이동 경로를 획득하는 단계이다.
상기 내시경 추출 단계(S164)는 상기 내시경 추출경로 획득 단계(S162)에서 상기 획득된 내시경 추출이동 경로를 따라 상기 내시경(110)을 상기 수술공간(2) 외부로 추출하는 단계이다.
또한, 상기 내시경 자동 추출 단계(160)는 상기 3D 영상에 표시된 상기 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)의 충돌을 방지하는 충돌방지 단계(170)를 더 포함할 수 있다.
도 8은 본 발명의 일실시 예에 따른 충돌방지 단계를 나타내는 흐름도이다.
도 8을 참조하면, 상기 충돌방지 단계(S170)는 내시경 위치 추출 단계(S172), 충돌위험 판단 단계(S174), 위험신호 발생 단계(S175), 충돌방지 제어 단계(S177)를 포함할 수 있다.
상기 내시경 위치 추출 단계(S172)는 상기 수술공간(2) 외부로 추출되는 내시경(110)의 실시간 위치를 추출하는 단계이다.
상기 충돌위험 판단 단계(S174)는 상기 3D 영상 내에서의 상기 생체 주요요소(3)의 위치정보와 상기 내시경 위치 추출부(S172)에서 추출된 상기 3D 영상 내에서의 내시경(110)의 실시간 위치정보를 이용하여 상기 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)의 충돌위험 여부를 판단하는 단계이다.
상기 위험신호 발생 단계(S175)는 상기 충돌위험 판단 단계(S174)에서의 판단 결과, 상기 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)이 충돌위험이 있다고 판단된 경우, 위험신호를 발생하는 단계이다.
상기 충돌방지 제어 단계(S177)는 상기 충돌위험 판단 단계(S174)에서의 판단 결과, 상기 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)이 충돌위험이 있다고 판단된 경우, 상기 생체 주요요소(3)와 상기 내시경(110)의 충돌이 방지되도록 상기 내시경(100)의 이동을 제어하는 단계이다.
또한, 상기 충돌위험 판단 단계(S174)는 상기 생체 주요요소(3)와 상기 수술공간(2) 외부로 추출되는 내시경(110)의 실시간 위치에서의 거리를 계산하고, 상기 계산된 거리가 기 설정된 범위 이내인지 여부를 판단할 수 있다.
이때, 상기 계산된 거리가 기 설정된 범위 이내인 경우, 상기 위험신호 발생 단계(S175)는 위험신호를 발생하며, 상기 충돌방지 제어 단계(S177)는 상기 생체 주요요소(3)와 상기 내시경(110)의 충돌이 방지되도록 상기 내시경(110)의 이동을 제어할 수 있다.
상술한 바와 같이, 본 발명은 로봇수술중 내시경 영상의 질을 판단하여 내시경 렌즈의 세척이 필요하다고 판단된 경우에 수술의 효율성과 안전성을 위하여 집도의의 확인을 거친 후 생체 주요요소와의 충돌없이 내시경을 수술공간 외부로 자동으로 추출하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 판단 및 자동 추출 방법에 관한 것으로서, 그 실시 형태는 다평가 형태로 변경가능하다 할 것이다. 따라서 본 발명은 본 명세서에서 개시된 실시 예에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 변경 가능한 모든 형태도 본 발명의 권리범위에 속한다 할 것이다.
2 : 수술공간 3 : 생체 주요요소
19 : 수술부위
100 : 최소 침습 수술에서의 내시경영상 질 평가 및 자동 추출 시스템
110 : 내시경 120 : 내시경영상 획득부
130 : 내시경영상 질 평가부
140 : 신호발생부 150 : 집도의 동의 획득부
160 : 내시경 자동 추출부
162 : 내시경 추출경로 획득부
164 : 내시경 추출부 170 : 충돌방지부
172 : 내시경 위치 추출부
174 : 충돌 위험 판단부 175 : 위험신호 발생부
177 : 충돌방지 제어부 180 : 영상처리부
182 : 영상획득부 183 : 3D 영상정합부
185 : 생체 주요요소 추출부
187 : 3D 영상 생성부
19 : 수술부위
100 : 최소 침습 수술에서의 내시경영상 질 평가 및 자동 추출 시스템
110 : 내시경 120 : 내시경영상 획득부
130 : 내시경영상 질 평가부
140 : 신호발생부 150 : 집도의 동의 획득부
160 : 내시경 자동 추출부
162 : 내시경 추출경로 획득부
164 : 내시경 추출부 170 : 충돌방지부
172 : 내시경 위치 추출부
174 : 충돌 위험 판단부 175 : 위험신호 발생부
177 : 충돌방지 제어부 180 : 영상처리부
182 : 영상획득부 183 : 3D 영상정합부
185 : 생체 주요요소 추출부
187 : 3D 영상 생성부
Claims (15)
- 로봇수술 수행 전에 부풀려진 수술공간으로 삽입되어 로봇수술중 수술부위를 실시간 촬영하는 내시경;
상기 내시경에서 촬영된 수술부위 영상을 획득하는 내시경영상 획득부;
상기 내시경영상 획득부에서 획득된 영상의 질(quality)을 평가하는 내시경영상 질 평가부;
상기 내시경영상 질 평가부에서의 영상 질 평가 결과, 상기 획득된 영상의 질이 기 설정된 수준 이하로 저하된 경우 소정의 신호를 발생하는 신호발생부;
상기 신호발생부에서 신호가 발생한 경우 상기 내시경 세척에 대한 집도의의 동의를 획득하기 위한 집도의 동의 획득부; 및
상기 내시경 세척에 대한 집도의의 동의를 획득한 경우 상기 내시경을 상기 수술공간 외부로 자동으로 추출하는 내시경 자동 추출부;를 포함하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 1 항에 있어서,
상기 내시경영상 질 평가부는 상기 획득된 영상의 질을 수치화하고,
상기 신호발생부는 상기 수치화된 영상의 질 값이 소정 값 이하인 경우 신호를 발생하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 2 항에 있어서,
상기 신호발생부는 상기 수치화된 영상의 질 값의 범위에 따라 서로 다른 신호를 발생하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 2 항에 있어서,
상기 내시경영상 획득부는 소정시간 간격으로 상기 내시경에서 촬영된 수술부위 영상을 획득하고,
상기 내시경영상 질 평가부는 상기 획득된 영상의 질을 상기 획득된 영상 바로 전에 획득된 영상과 비교하여 수치화하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 2 항에 있어서,
상기 내시경영상 획득부는 소정시간 간격으로 상기 내시경에서 촬영된 수술부위 영상을 획득하고,
상기 내시경영상 질 평가부는 상기 획득된 영상의 질을 이용하여 수치화하되, 상기 수치화는 이물질 부착 여부, 안개 현상, 명도, 선명함을 포함하는 영상 요소들을 정합하여 이루어지는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 1 항에 있어서,
상기 내시경 자동 추출부는,
생체 주요요소가 표시된 상기 수술공간에 대한 3D 영상을 이용하여 상기 내시경을 상기 생체 주요요소와 충돌없이 상기 수술공간 외부로 추출하기 위한 내시경 추출이동 경로를 획득하는 내시경 추출경로 획득부와,
상기 획득된 내시경 추출이동 경로를 따라 상기 내시경을 상기 수술공간 외부로 추출하는 내시경 추출부를 포함하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 6 항에 있어서,
상기 내시경 자동 추출부는 상기 3D 영상에 표시된 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 충돌을 방지하는 충돌방지부를 더 포함하고,
상기 충돌방지부는,
상기 내시경의 실시간 위치를 추출하는 내시경 위치 추출부;
상기 3D 영상 내에서의 상기 생체 주요요소의 위치정보와 상기 내시경 위치 추출부에서 추출된 상기 3D 영상 내에서의 내시경의 실시간 위치정보를 이용하여 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 충돌위험 여부를 판단하는 충돌위험 판단부;
상기 충돌위험 판단부의 판단 결과, 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경이 충돌위험이 있다고 판단된 경우, 위험신호를 발생하는 위험신호 발생부; 및
상기 충돌위험 판단부의 판단 결과, 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경이 충돌위험이 있다고 판단된 경우, 상기 생체 주요요소와 상기 내시경의 충돌이 방지되도록 상기 내시경 추출부를 제어하는 충돌방지 제어부;를 포함하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 7 항에 있어서,
상기 충돌위험 판단부는 상기 생체 주요요소와 상기 수술공간 외부로 추출되는 내시경의 실시간 위치에서의 거리를 계산하고, 상기 계산된 거리가 기 설정된 범위 이내인지 여부를 판단하고,
상기 계산된 거리가 기 설정된 범위 이내인 경우, 상기 위험신호 발생부는 위험신호를 발생하며, 상기 충돌방지 제어부는 상기 생체 주요요소와 상기 내시경의 충돌이 방지되도록 상기 내시경 추출부를 제어하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 내시경 영상 질 평가 및 자동 추출 시스템은, 상기 생체 주요요소가 표시된 상기 수술공간에 대한 3D 영상을 생성하는 3D 영상 처리부를 더 포함하고,
상기 3D 영상 처리부는,
로봇수술 수행전에 상기 부풀려진 수술공간에 대해 촬영된 다수의 2D 또는 3D 영상들을 획득하는 영상 획득부;
상기 영상 획득부에서 획득된 다수의 2D 또는 3D 영상들을 상기 부풀려진 수술공간을 나타내는 하나의 3D 영상으로 정합하는 3D 영상 정합부;
상기 정합된 3D 영상에 포함된 생체 주요요소를 추출하는 생체 주요요소 추출부; 및
상기 생체 주요요소 추출부에서 추출된 생체 주요요소를 상기 정합된 3D 영상에 표시하여 상기 생체 주요요소가 표시된 상기 부풀려진 수술공간에 대한 3D 영상을 생성하는 3D 영상 생성부;를 포함하는 것을 특징으로 하는 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180092098A KR102148433B1 (ko) | 2018-08-07 | 2018-08-07 | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180092098A KR102148433B1 (ko) | 2018-08-07 | 2018-08-07 | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200016694A KR20200016694A (ko) | 2020-02-17 |
| KR102148433B1 true KR102148433B1 (ko) | 2020-08-26 |
Family
ID=69670870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180092098A KR102148433B1 (ko) | 2018-08-07 | 2018-08-07 | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102148433B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596919B (zh) * | 2023-07-11 | 2023-11-07 | 浙江华诺康科技有限公司 | 内镜图像质控方法、装置、系统、计算机设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017168986A1 (ja) | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150123421A (ko) | 2014-04-24 | 2015-11-04 | 주식회사 에프지아이 | 내시경 정밀세척을 위한 이물질 추출 영상처리기술 및 그 방법 |
-
2018
- 2018-08-07 KR KR1020180092098A patent/KR102148433B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017168986A1 (ja) | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200016694A (ko) | 2020-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6176978B2 (ja) | 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム | |
| US11123150B2 (en) | Information processing apparatus, assistance system, and information processing method | |
| US10904437B2 (en) | Control apparatus and control method | |
| EP3426128B1 (en) | Image processing device, endoscopic surgery system, and image processing method | |
| CN110651333B (zh) | 手术成像系统、方法和计算机程序产品 | |
| WO2019202827A1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
| US20150366571A1 (en) | Image-based computer-aided safe stone extraction advisor | |
| JP7127538B2 (ja) | 画像処理装置、医療機器の作動方法及び医療システム | |
| JP2012085696A (ja) | 画像処理装置、画像処理装置の制御方法及び内視鏡装置 | |
| JP2020531099A (ja) | 手術処置中に関心地点を空間的に場所特定する方法 | |
| CN105902253A (zh) | 一种内窥镜插入控制方法及系统 | |
| US20210169305A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP2023076486A (ja) | 医療システム及びそれと関連した方法 | |
| JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
| KR102148433B1 (ko) | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 | |
| US20200054400A1 (en) | Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium | |
| JP2015096237A (ja) | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 | |
| WO2021095697A1 (ja) | 情報処理装置、生成方法及び生成プログラム | |
| KR102099563B1 (ko) | 최소 침습 수술을 위한 수술로봇 시스템 및 이를 이용한 충돌방지 방법 | |
| JP2013183313A (ja) | レンズ汚れを検知する方法と、この方法を用いた手術用カメラ | |
| WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
| JP5945614B2 (ja) | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 | |
| EP4016163A1 (en) | Information processing apparatus, generation method, and generation program | |
| CN117221177B (zh) | 图像传输延迟监测方法及系统 | |
| WO2020256089A1 (en) | Medical imaging system, medical imaging processing method, and medical information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |