KR20210132734A - 내시경 비디오 뷰 내에서 뷰잉가능 면적을 자동으로 리포지셔닝하기 위한 방법 및 시스템 - Google Patents

내시경 비디오 뷰 내에서 뷰잉가능 면적을 자동으로 리포지셔닝하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20210132734A
KR20210132734A KR1020217034324A KR20217034324A KR20210132734A KR 20210132734 A KR20210132734 A KR 20210132734A KR 1020217034324 A KR1020217034324 A KR 1020217034324A KR 20217034324 A KR20217034324 A KR 20217034324A KR 20210132734 A KR20210132734 A KR 20210132734A
Authority
KR
South Korea
Prior art keywords
screen
video images
resolution
user
detected
Prior art date
Application number
KR1020217034324A
Other languages
English (en)
Inventor
자가디시 벤카타라만
데이비드 디. 스캇
에릭 존슨
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20210132734A publication Critical patent/KR20210132734A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H04N2005/2255—

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Endoscopes (AREA)

Abstract

본 명세서에 설명된 실시예들은 제1 해상도로 캡처된 외과수술 비디오의 비디오 이미지들을 제1 해상도보다 더 낮은 제2 해상도를 갖는 외과수술 시스템의 스크린 상에 디스플레이하는 다양한 예들을 제공한다. 일 태양에서, 프로세스는, 외과수술 비디오를 수신하고 제2 해상도와 동일하거나 실질적으로 동일한 해상도를 갖는 비디오 이미지들의 제1 부분을 선택함으로써 시작된다. 프로세스는 후속하여, 비디오 이미지들의 제1 부분을 스크린 상에 디스플레이한다. 비디오 이미지들의 제1 부분을 디스플레이하는 동안, 프로세스는 사전결정된 이벤트들의 세트에 대하여 스크린 상에 디스플레이되고 있지 않는 비디오 이미지들의 제2 부분을 모니터링하며, 여기서 제2 부분은 사용자에게 가시적이지 않다. 사전결정된 이벤트들의 세트 내의 사전결정된 이벤트가 제2 부분에서 검출될 때, 프로세스는 경보를 생성하여 사용자에게 통지한다.

Description

내시경 비디오 뷰 내에서 뷰잉가능 면적을 자동으로 리포지셔닝하기 위한 방법 및 시스템
상호 참조
본 출원은 2019년 3월 26일자로 출원된 미국 가출원 제16/361,075호의 이익을 청구한다.
기술분야
본 발명은 대체적으로 내시경 검사 비디오들을 디스플레이하기 위한 시각화 및 사용자 인터페이스 기술에 관한 것이며, 더 구체적으로는, 고해상도 내시경 검사 비디오들을 더 낮은 해상도 디스플레이 디바이스들 상에 디스플레이하기 위한 시스템들, 디바이스들, 및 기법들에 관한 것이다.
비디오 및 이미징 기술의 급속한 성장에 따라, 내시경 기술은 점점 더 높은 해상도 내시경 비디오들 및 정지 이미지들을 캡처할 수 있도록 계속 발전하고 있다. 현재, 풀 HD(full high definition) 해상도(즉, 1080p)를 갖는 내시경 시스템들이 널리 이용가능하고 매우 저렴해졌다. 일부 진보된 내시경 시스템들은 심지어 4K 해상도와 같은 UHD(ultra-high definition) 해상도들로 비디오들을 캡처할 수 있어, 개복 외과수술들에서 캡처된 내시경 이미지 품질들이 인간 시력에 필적해졌다.
그러나, 많은 수술실들에서, 외과 의사들이 내시경 검사 시술들을 수행하는 것을 보조하는 디스플레이들/모니터들은 캡처된 내시경 이미지 해상도들과 완전히 호환가능하지는 않다. 예를 들어, 1920p×1080p의 기본 해상도를 갖는 전형적인 HD 모니터는, 먼저 이미지들을 그의 기본 해상도로 다운샘플링(downsampling)하지 않고서는, UHD 이미지들과 같은 더 높은 해상도 이미지들을 디스플레이할 수가 없다. 불행하게도, 다운샘플링된 비디오 이미지들을 디스플레이/모니터 상에 디스플레이하는 것은 다수의 바람직하지 않은 효과들을 가질 수 있다. 이들 바람직하지 않은 효과들 중 하나는 다운샘플링된 비디오 이미지들이 모니터의 전체 디스플레이 면적을 차지하지 않을 때의 "블랙 보더(black border)" 효과이다. 이러한 효과는 전형적으로 디스플레이 종횡비가 비디오-이미지 종횡비보다 클 때 발생한다. 예를 들어, 다운샘플링된 2560p×2160p 내시경 이미지들을 1920p×1080p 기본 해상도의 풀 HD 디스플레이 상에 디스플레이하기 위해, 다운샘플링된 비디오 이미지들은 2560p×2160p 이미지들의 픽셀들의 각각의 2×2 블록을 (예컨대, RGB 또는 YCbCr 채널들 각각의 평균/중간을 사용하여) 단일 픽셀로 맵핑한 후에 1280p×1080p 해상도를 가질 수 있다. 그러나, 1280p×1080p 이미지들을 1920p×1080p 디스플레이 상에 디스플레이하는 것은 디스플레이의 양측에 다소 큰 블랙 보더를 생성하며, 이때 다운샘플링된 비디오 이미지들은 2개의 블랙 보더들 사이의 디스플레이 면적에만 보여진다. 이들 블랙 보더들이 사용자 인터페이스(user-interface, UI) 관련 아이콘들과 같은 일부 외과수술 관련 정보를 디스플레이하는 데 사용될 수 있지만, 디스플레이 스크린 상에 보여지는 그러한 정보는 외과 시술들을 수행하는 외과 의사들에게 다양한 정도의 혼란을 야기할 수 있다.
본 특허 발명은 고해상도 내시경 검사 비디오들을 더 낮은 기본 해상도의 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 다양한 실시예들을 제공한다. 일부 실시예들에서, 개시된 시각화 시스템은 외과수술 도구의 팁(tip)과 같은 관심 영역(region-of-interest, ROI) 주위에 중심을 둔 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 디스플레이 디바이스 상에 디스플레이할 수 있게 한다. 게다가, 디스플레이되고 있는 디스플레이 디바이스의 기본 해상도와 동일하거나 실질적으로 동일한 해상도를 가질 수 있는 풀 해상도 내시경 비디오의 부분은 다운샘플링되지 않고서 그의 원래 해상도로 디스플레이되며, 이에 의해 사용자에게 몰입 뷰잉 경험(immersive viewing experience)을 제공한다.
일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 동안, 풀 해상도 내시경 비디오의 디스플레이되는 부분은 풀 해상도 내시경 비디오의 현재 ROI로부터 풀 해상도 내시경 비디오의 새로운 ROI로 변경될 수 있다. 다양한 실시예들에서, 새로운 ROI는 내시경 비디오 내에서의 검출된 외과수술 이벤트, 내시경 비디오 내에서의 외과수술 도구의 움직임에 기초하여, 또는 디스플레이 스크린 상에서의 사용자 시선의 변경을 검출하는 것에 기초하여 결정될 수 있다. 이러한 방식으로, 디스플레이 스크린의 풀 해상도는 사용자가 뷰잉하기 위한 디스플레이 스크린과 동일한 크기를 갖는 풀 해상도 내시경 비디오의 상이한 영역들을 선택적으로 디스플레이하는 "뷰잉 윈도우(viewing window)"로서의 역할을 한다.
개시된 시각화 시스템은 풀 해상도 내시경 비디오의 스크린-상(on-screen)/가시적인 부분(즉, 뷰잉 윈도우 내) 및 풀 해상도 내시경 비디오의 스크린-밖(off-screen)/비가시적인 부분(즉, 뷰잉 윈도우 밖)을 생성함에 유의한다. 일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 디스플레이하는 동안, 개시된 시각화 시스템은 풀 해상도 내시경 비디오의 스크린-밖/비가시적인 부분을 모니터링하여, 풀 해상도 내시경 비디오의 스크린-밖 부분 내에서 일어나는 합병증들과 같은 특정 외과수술 이벤트들을 검출할 수 있다. 예를 들어, 개시된 시각화 시스템은 비디오 이미지들의 스크린-밖 부분에 대해 머신-러닝-기반(machine-learning-based) 기법 및/또는 컴퓨터-비전-기반(computer-vision-based) 기법을 사용하여 외과수술 이벤트 검출들을 수행할 수 있다. 그러한 이벤트가 스크린-밖 부분에서 검출되는 경우, 개시된 시스템은 자동으로 그러한 이벤트가 일어나고 있다는 것을 외과 의사에게 통지하고 검출된 이벤트와 연관된 스크린-밖 위치로 외과 의사를 안내할 수 있다. 일부 실시예들에서, 모니터링될 수 있는 스크린-밖 외과수술 이벤트들은: 외과수술 연기(surgical smoke) 및 출혈과 같은 외과수술 합병증들; 외과수술 도구의 죄는 부분(jaw)들이 폐쇄되어 있는지 또는 개방되어 있는지와 같은 스크린 밖에 있는 외과수술 도구들의 상태들; 및 스크린-밖의 중요한 해부학적 구조들에 대한 위험들, 예컨대, 스크린-밖의 중요한 장기가 예리한 외과수술 도구에 너무 가까워지는 것을 포함할 수 있지만, 이에 제한되는 것은 아니다.
일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 동안, 개시된 시각화 시스템은 뷰잉 윈도우 내에서의 외과수술 도구(예컨대, 도구의 팁)의 움직임을 모니터링하고 추적할 수 있다. 예를 들어, 개시된 시각화 시스템은 비디오 이미지들의 스크린-상 부분에 대해 머신-러닝-기반 기법 및/또는 컴퓨터-비전-기반 기법을 사용하여 도구 모니터링 및 추적 기능성을 수행할 수 있다. 시스템이, 도구 팁이 스크린 밖으로 가려고 한다고 검출하는 경우, 시스템은 도구 팁을 스크린 상에 그리고 가시적으로 유지하기 위해 풀 해상도 내시경 비디오 내에서 뷰잉 윈도우를 자동으로 조정/리포지셔닝할 수 있고, 이에 의해 도구 팁을 스크린 상에 유지하기 위해 외과 의사가 뷰잉 윈도우 또는 환자 안의 내시경 카메라의 위치를 수동으로 조정해야 하는 것을 방지할 수 있다. 일부 실시예들에서, 개시된 시스템은 전술된 도구-추적 기능성 및 눈-추적 기능성을 조합하여 디스플레이 스크린 상에서의 사용자 눈들의 초점(즉, 시선)을 결정할 수 있다. 개시된 시스템은 또한 사용자 시선의 움직임을 따라감으로써 풀 해상도 내시경 비디오 내에서 뷰잉 윈도우를 조정할 수 있어서, 뷰잉 윈도우가 사용자 시선의 위치 주위에 중심을 둘 수 있게 한다. 이러한 기법은 또한 사용자가 단순히 시선을 변경함으로써 풀 해상도 내시경 비디오 내에서 뷰잉 윈도우를 움직일 수 있게 한다.
일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 동안, 개시된 시각화 시스템은, 환자 안에서 내시경을 움직일 필요 없이, 사용자가 풀 해상도 내시경 비디오 내에서 하나의 ROI로부터 다른 ROI로 뷰잉 윈도우를 수동으로 조정할 수 있게 한다. 특히, 개시된 시각화 시스템은, 사용자가 발 페달(foot pedal) 및/또는 손 제어기와 같은 하나 이상의 사용자 인터페이스 디바이스(user interface device, UID)들을 사용하여 뷰잉 윈도우를 내시경 비디오 내에서 새로운 ROI로 움직이게 할 수 있도록 구성될 수 있다. 그렇게 함에 있어서, 디스플레이의 새로운 영역이 풀 뷰잉 윈도우를 계속 차지하여, 스크린의 양측에 어떠한 블랙 보더 공간도 생성하지 않으면서 외과 의사에게 몰입 뷰잉 경험을 제공한다.
일 태양에서, 제1 해상도로 캡처된 외과수술 비디오의 비디오 이미지들을 제1 해상도보다 더 낮은 제2 해상도를 갖는 외과수술 시스템의 스크린 상에 디스플레이하기 위한 프로세스가 개시된다. 이러한 프로세스는 제2 해상도와 동일하거나 실질적으로 동일한 해상도를 갖는 비디오 이미지들의 제1 부분을 선택함으로써 시작될 수 있다. 프로세스는 후속하여, 비디오 이미지들의 제1 부분을 스크린 상에 디스플레이한다. 비디오 이미지들의 제1 부분을 디스플레이하는 동안, 프로세스는 또한 사전결정된 이벤트들의 세트에 대하여 스크린 상에 디스플레이되고 있지 않는 비디오 이미지들의 제2 부분을 모니터링한다. 비디오 이미지들의 이러한 제2 부분은 사용자에게 가시적이지 않다. 사전결정된 이벤트들의 세트 내의 사전결정된 이벤트가 비디오 이미지들의 제2 부분에서 검출될 때, 프로세스는 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지한다.
일부 실시예들에서, 제1 해상도는 수평 치수 및 수직 치수 둘 모두에서 제2 해상도보다 더 크다. 게다가, 비디오 이미지들의 제1 부분은 실질적으로 비디오 이미지들의 중심 부분이다.
일부 실시예들에서, 프로세스는, 비디오 이미지들에 의해 캡처된 외과수술 도구의 팁에 중심을 둔 비디오 이미지들의 일부분을 선택함으로써 비디오 이미지의 제1 부분을 선택한다.
일부 실시예들에서, 비디오 이미지들의 제1 부분을 디스플레이하는 동안, 비디오 이미지들의 제1 부분은 스크린 상에 임의의 빈 공간을 남기지 않으면서 스크린의 풀 디스플레이 면적을 차지한다.
일부 실시예들에서, 프로세스는, 사전결정된 이벤트들의 세트 각각을 검출하기 위해 하나 이상의 머신-러닝 모델들을 사용하여 비디오 이미지들의 제2 부분을 프로세싱함으로써, 사전결정된 이벤트들의 세트에 대하여 비디오 이미지들의 제2 부분을 모니터링한다.
일부 실시예들에서, 프로세스는, 스크린 상에 경고 메시지를 디스플레이하여 사용자가 적절한 액션(action)을 취하도록 촉구함으로써, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지한다.
일부 실시예들에서, 스크린 상의 경보는 사용자에게 스크린-밖 이벤트가 검출된 방향을 보여주기 위한 방향 표시자를 포함한다.
일부 실시예들에서, 스크린-밖 이벤트가 검출될 때, 프로세스는, 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 검출된 스크린-밖 이벤트를 포함하는 비디오 이미지들의 제3 부분으로 즉각적으로 변경한다.
일부 실시예들에서, 비디오 이미지들의 제3 부분은 비디오 이미지들의 제1 부분 및 제2 부분과 중첩하고, 비디오 이미지들의 제1 부분과 동일한 크기를 갖는다.
일부 실시예들에서, 스크린-밖 이벤트가 검출될 때, 프로세스는, 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 즉각적으로 변경하여 검출된 스크린-밖 이벤트를 사용자에게 가시적이게 한다.
일부 실시예들에서, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지한 이후에, 프로세스는, (1) 사용자에게, 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 검출된 스크린-밖 이벤트를 포함하는 비디오 이미지들의 다른 부분으로 변경하는 것 또는 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 변경하는 것 중 어느 하나에 대한 선택 옵션을 제공하는 단계; (2) 선택 옵션에 응답하여 사용자 선택을 수신하는 단계; 및 (3) 수신된 사용자 선택에 기초하여 스크린 상의 뷰를 변경하여 검출된 스크린-밖 이벤트를 사용자에게 가시적이게 하는 단계를 추가로 포함한다.
일부 실시예들에서, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지한 이후에, 프로세스는, 사용자가 경보에 응답하여 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 검출된 스크린-밖 이벤트를 포함하는 비디오 이미지들의 다른 부분으로 수동으로 변경할 수 있게 한다.
일부 실시예들에서, 사전결정된 이벤트들의 세트는 외과수술 연기 및 출혈을 포함한다.
일부 실시예에서, 사전결정된 이벤트들의 세트는, (1) 스크린-밖에서 검출된 외과수술 도구의 죄는 부분들이 폐쇄되어 있는지 또는 개방되어 있는지 여부; 및 (2) 스크린-밖에서 검출된 외과수술 도구의 팁이 중요한 해부학적 구조에 너무 가까운지 여부를 추가로 포함하는 외과수술 도구-관련 이벤트들의 세트를 포함한다.
일부 실시예들에서, 검출된 사전결정된 이벤트가 외과수술 도구-관련 이벤트들의 세트 중 하나인 경우, 프로세스는, 즉각적으로 검출된 외과수술 도구-관련 이벤트와 연관된 외과수술 도구의 기능성들을 비활성화하거나 또는 그의 모션(motion)을 잠근다.
일부 실시예들에서, 외과수술 비디오는 내시경 외과수술 비디오; 복강경 외과수술 비디오; 로봇 외과수술 비디오; 및 개복 외과수술 비디오 중 하나이다.
다른 태양에서, 외과수술 비디오를 디스플레이하기 위한 시스템이 개시된다. 이러한 시스템은 하나 이상의 프로세서들; 및 기본 해상도를 갖는 스크린을 포함할 수 있다. 게다가, 하나 이상의 프로세서들은, 스크린 상에 디스플레이하기 위해, 제1 해상도로 캡처된 일련의 비디오 이미지들을 포함하는 외과수술 비디오를 수신하도록 - 제1 해상도는 스크린의 기본 해상도보다 큼 -; 일련의 비디오 이미지들 내의 각각의 비디오 이미지에 대해, 스크린 상에 디스플레이하기 위해, 기본 해상도와 동일하거나 실질적으로 동일한 해상도를 갖는 비디오 이미지의 제1 부분을 선택하도록; 비디오 이미지들의 제1 부분을 디스플레이하는 동안, 사전결정된 이벤트들의 세트에 대하여 스크린 상에 디스플레이되고 있지 않는 비디오 이미지들의 제2 부분을 모니터링하도록 - 비디오 이미지들의 제2 부분은 사용자에게 가시적이지 않음 -; 그리고 사전결정된 이벤트들의 세트 내의 사전결정된 이벤트가 비디오 이미지들의 제2 부분에서 검출되는 경우, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지하도록 구성된다.
일부 실시예들에서, 스크린-밖 이벤트가 검출될 때, 하나 이상의 프로세서들은, 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 검출된 스크린-밖 이벤트를 포함하는 비디오 이미지들의 제3 부분으로 즉각적으로 변경하도록 추가로 구성된다. 대안적으로, 스크린-밖 이벤트가 검출될 때, 하나 이상의 프로세서들은, 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 즉각적으로 변경하여 검출된 스크린-밖 이벤트를 사용자에게 가시적이게 하도록 추가로 구성될 수 있다.
일부 실시예들에서, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지한 이후에, 하나 이상의 프로세서들은, 사용자에게, 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 검출된 스크린-밖 이벤트를 포함하는 비디오 이미지들의 다른 부분으로 변경하는 것 또는 스크린 상의 뷰를 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 변경하는 것 중 어느 하나에 대한 선택 옵션을 제공하도록; 선택 옵션에 응답하여 사용자 선택을 수신하도록; 그리고 수신된 사용자 선택에 기초하여 스크린 상의 뷰를 변경하여 검출된 스크린-밖 이벤트를 사용자에게 가시적이게 하도록 추가로 구성된다.
본 발명의 구조 및 동작은 하기의 상세한 설명 및 첨부 도면을 검토함으로써 이해될 것이며, 도면에서 유사한 도면 부호들은 유사한 부분들을 지칭한다.
도 1은 본 명세서에 설명된 일부 실시예들에 따른, 개시된 시각화 시스템을 구현하기 위한 로봇 외과수술 시스템을 갖는 예시적인 수술실 환경을 예시하는 도면을 도시한다.
도 2a는 본 명세서에 설명된 일부 실시예들에 따른, 2560p×2160p 해상도의 고해상도 내시경 비디오 이미지를 1920p×1080p 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 시각화 솔루션을 도시한다.
도 2b는 본 명세서에 설명된 일부 실시예들에 따른, 2560p×2160p 해상도의 동일한 고해상도 비디오 이미지를, 고해상도 이미지를 다운샘플링하지 않으면서, 1920p×1080p 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 시각화 솔루션을 도시한다.
도 3은 본 명세서에 설명된 일부 실시예들에 따른, 부분-몰입-뷰 모드에서 풀 해상도 내시경 비디오를 디스플레이하는 동안 스크린-밖 도구-관련 이벤트를 검출하는 예시적인 시나리오를 예시한다.
도 4는 본 명세서에 설명된 일부 실시예들에 따른, 스크린-밖 이벤트를 검출하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 5는 본 명세서에 설명된 일부 실시예들에 따른, 부분-몰입-뷰 내에서 외과수술 도구의 움직임을 추적하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 6은 본 명세서에 설명된 일부 실시예들에 따른, 디스플레이 상의 사용자 포커스/시선을 추적하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 7은 대상 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 예시한다.
아래에 기재된 상세한 설명은 대상 기술의 다양한 구성들에 대한 설명으로서 의도되며, 대상 기술이 실시될 수 있는 유일한 구성들을 표현하고자 하는 것은 아니다. 첨부된 도면은 본 명세서에 통합되고, 상세한 설명의 일부를 구성한다. 상세한 설명은 대상 기술의 완전한 이해를 제공할 목적을 위한 구체적인 상세 사항들을 포함한다. 그러나, 대상 기술은 본 명세서에 기재된 구체적인 상세 사항들로 제한되지 않으며, 이들 구체적인 상세 사항들 없이 실시될 수 있다. 일부 경우들에서, 구조들 및 구성요소들은 대상 기술의 개념들을 모호하게 하지 않게 위해 블록도 형태로 도시된다.
외과수술들과 같은 의료 시술들의 기록된 비디오들은 의료 교육 및 훈련을 위한, 외과수술들의 품질 및 외과 의사들의 기량들을 평가 및 분석하기 위한, 그리고 외과수술들의 결과들 및 외과 의사들의 기량들을 개선하기 위한 매우 귀중하고 풍부한 정보를 포함한다. 외과 시술들의 비디오 이미지들을 디스플레이 및 캡처하는 것을 수반하는 많은 외과 시술들이 있다. 예를 들어, 내시경 검사, 복강경 검사, 및 관절경 검사와 같은 거의 모든 최소 침습 시술들은 외과 의사들을 보조하기 위해 비디오 카메라들 및 비디오 이미지들을 사용하는 것을 수반한다. 추가로, 최신 로봇-보조 외과수술들은 수술중 비디오 이미지들이 캡처되어 외과 의사들을 위한 모니터들 상에 디스플레이되는 것을 요구한다. 결과적으로, 많은 전술된 외과 시술들, 예컨대, 위 절제 또는 전립선 절제에 대하여, 외과수술 비디오들의 대용량 캐시가 이미 존재하고, 상이한 병원들로부터의 많은 상이한 외과 의사들에 의해 수행되는 다수의 외과수술 사례들의 결과로서 계속 생성된다. 특정 외과 시술의 엄청나게 많은 (그리고 끊임없이 증가하는) 수의 외과수술 비디오들이 존재한다는 단순한 사실은 머신-러닝-기반 접근법들을 사용하여 주어진 시술의 외과수술 비디오들을 프로세싱하고 분석하게 한다.
본 특허 발명은 고해상도 내시경 검사 비디오들을 더 낮은 기본 해상도의 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 다양한 실시예들을 제공한다. 일부 실시예들에서, 개시된 시각화 시스템은 외과수술 도구의 팁과 같은 관심 영역(ROI) 주위에 중심을 둔 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 디스플레이 디바이스 상에 디스플레이할 수 있게 한다. 게다가, 디스플레이되고 있는 디스플레이 디바이스의 기본 해상도와 동일하거나 실질적으로 동일한 해상도를 가질 수 있는 풀 해상도 내시경 비디오의 부분은 다운샘플링되지 않고서 그의 원래 해상도로 디스플레이되며, 이에 의해 사용자에게 몰입 뷰잉 경험을 제공한다.
일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 동안, 풀 해상도 내시경 비디오의 디스플레이되는 부분은 풀 해상도 내시경 비디오의 현재 ROI로부터 풀 해상도 내시경 비디오의 새로운 ROI로 변경될 수 있다. 다양한 실시예들에서, 새로운 ROI는 내시경 비디오 내에서의 검출된 외과수술 이벤트, 내시경 비디오 내에서의 외과수술 도구의 움직임, 또는 디스플레이 스크린 상에서의 사용자 시선의 변경을 검출하는 것에 기초하여 결정될 수 있다. 이러한 방식으로, 디스플레이 스크린의 풀 해상도는 사용자가 뷰잉하기 위한 디스플레이 스크린과 동일한 크기를 갖는 풀 해상도 내시경 비디오의 상이한 영역들을 선택적으로 디스플레이하는 "뷰잉 윈도우"로서의 역할을 한다.
개시된 시각화 시스템은 풀 해상도 내시경 비디오의 스크린-상/가시적인 부분(즉, 뷰잉 윈도우 내) 및 풀 해상도 내시경 비디오의 스크린-밖/비가시적인 부분(즉, 뷰잉 윈도우 밖)을 생성함에 유의한다. 일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 디스플레이하는 동안, 개시된 시각화 시스템은 풀 해상도 내시경 비디오의 스크린-밖/비가시적인 부분을 모니터링하여, 풀 해상도 내시경 비디오의 스크린-밖 부분 내에서 일어나는 합병증들과 같은 특정 외과수술 이벤트들을 검출할 수 있다. 예를 들어, 개시된 시각화 시스템은 비디오 이미지들의 스크린-밖 부분에 대해 머신-러닝-기반 기법 및/또는 컴퓨터-비전-기반 기법을 사용하여 외과수술 이벤트 검출을 수행할 수 있다. 그러한 이벤트가 스크린-밖 부분에서 검출되는 경우, 개시된 시스템은 자동으로 그러한 이벤트가 일어나고 있다는 것을 외과 의사에게 통지하고 검출된 이벤트와 연관된 스크린-밖 위치로 외과 의사를 안내할 수 있다. 일부 실시예들에서, 모니터링될 수 있는 스크린-밖 외과수술 이벤트들은: 외과수술 연기 및 출혈과 같은 외과수술 합병증들; 외과수술 도구의 죄는 부분들이 폐쇄되어 있는지 또는 개방되어 있는지와 같은 스크린 밖에 있는 외과수술 도구들의 상태들; 및 스크린-밖의 중요한 해부학적 구조들에 대한 위험들, 예컨대, 스크린-밖의 중요한 장기가 예리한 외과수술 도구에 너무 가까워지는 것을 포함할 수 있지만, 이에 제한되는 것은 아니다
일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 동안, 개시된 시각화 시스템은 뷰잉 윈도우 내에서의 외과수술 도구(예컨대, 도구의 엔드 이펙터(end effector) 또는 팁)의 움직임을 모니터링하고 추적할 수 있다. 예를 들어, 개시된 시각화 시스템은 비디오 이미지들의 스크린-상 부분에 대해 머신-러닝-기반 기법 및/또는 컴퓨터-비전-기반 기법을 사용하여 도구 모니터링 및 추적 기능성을 수행할 수 있다. 시스템이, 도구 팁이 중심에서 벗어나거나, 스크린의 가장자리에 가까워지거나, 스크린 밖으로 가려고 한다고 검출하는 경우, 시스템은 도구 팁을 가시적으로 그리고 스크린의 중심에 유지하기 위해 풀 해상도 내시경 비디오 내에서 뷰잉 윈도우를 자동으로 조정/리포지셔닝할 수 있고, 이에 의해 도구 팁을 스크린 상에 유지하기 위해 외과 의사가 뷰잉 윈도우 또는 환자 안의 내시경 카메라의 위치를 수동으로 조정해야 하는 것을 방지할 수 있다. 일부 실시예들에서, 개시된 시스템은 전술된 도구-추적 기능성 및 눈-추적 기능성을 조합하여 디스플레이 스크린 상에서의 사용자 눈들의 초점(즉, 시선)을 결정할 수 있다. 개시된 시스템은 또한 사용자 시선의 움직임을 따라감으로써 풀 해상도 내시경 비디오 내에서 뷰잉 윈도우를 조정할 수 있어서, 뷰잉 윈도우가 사용자 시선의 위치 주위에 중심을 둘 수 있게 한다. 이러한 기법은 또한 사용자가 단순히 시선을 변경함으로써 풀 해상도 내시경 비디오 내에서 뷰잉 윈도우를 움직일 수 있게 한다.
일부 실시예들에서, 풀 해상도 내시경 비디오의 일부분을 더 낮은 해상도 스크린을 갖는 디스플레이 디바이스 상에 디스플레이하는 동안, 개시된 시각화 시스템은, 환자 안에서 내시경을 움직일 필요 없이, 사용자가 풀 해상도 내시경 비디오 내에서 하나의 ROI로부터 다른 ROI로 뷰잉 윈도우를 수동으로 조정할 수 있게 한다. 특히, 개시된 시각화 시스템은, 사용자가 하나 이상의 사용자 인터페이스 디바이스(UID)들 및/또는 하나 이상의 발 페달들을 사용하여 뷰잉 윈도우를 내시경 비디오 내에서 새로운 ROI로 움직이게 할 수 있도록 구성될 수 있다. 그렇게 함에 있어서, 디스플레이의 새로운 영역이 풀 뷰잉 윈도우를 계속 차지하여, 스크린의 양측에 어떠한 블랙 보더 공간도 생성하지 않으면서 외과 의사에게 몰입 뷰잉 경험을 제공한다.
도 1은 본 명세서에 설명된 일부 실시예들에 따른, 개시된 시각화 시스템을 구현하기 위한 로봇 외과수술 시스템(100)을 갖는 예시적인 수술실 환경을 예시하는 도면을 도시한다. 도 1에 도시된 바와 같이, 로봇 외과수술 시스템(100)은 외과 의사 콘솔(120), 제어 타워(130), 및 로봇 외과수술 플랫폼(116)(예컨대, 테이블 또는 베드(bed) 등)에 위치된 하나 이상의 외과수술 로봇 팔들(112)을 포함하며, 여기서 엔드 이펙터들을 갖는 외과수술 도구들이 외과 시술을 실행하기 위해 로봇 팔들(112)의 말단부들에 부착된다. 로봇 팔들(112)이 테이블-장착형 시스템으로서 도시되어 있지만, 다른 구성들에서, 로봇 팔들은 카트, 천장 또는 측벽, 또는 다른 적합한 지지 표면에 장착될 수 있다. 로봇 외과수술 시스템(100)은 로봇-보조 외과수술들을 수행하기 위한 임의의 현재 존재하는 또는 향후에 개발되는 로봇-보조 외과수술 시스템들을 포함할 수 있다.
대체적으로, 외과 의사 또는 다른 오퍼레이터(operator)와 같은 사용자/오퍼레이터(140)는 사용자 콘솔(120)을 사용하여 로봇 팔들(112) 및/또는 외과수술 기구들을 원격으로 조작할 수 있다(예컨대, 원격조종) 사용자 콘솔(120)은 도 1에 도시된 바와 같이 로봇 외과수술 시스템(100)과 동일한 수술실에 위치될 수 있다. 다른 환경들에서, 사용자 콘솔(120)은 인접한 또는 가까운 방에 위치될 수 있거나, 또는 상이한 건물, 도시, 또는 국가 내의 원격 위치로부터 원격조종될 수 있다. 사용자 콘솔(120)은 좌석(132), 발로 동작되는 제어부들(134), 하나 이상의 핸드헬드 사용자 인터페이스 디바이스(UID)들(136), 및, 예를 들어, 환자 안의 외과수술 부위의 뷰를 디스플레이하도록 구성된 적어도 하나의 사용자 디스플레이(138)를 포함할 수 있다. 예시적인 사용자 콘솔(120)에 도시된 바와 같이, 좌석(132)에 위치되고 사용자 디스플레이(138)를 뷰잉하고 있는 외과 의사는 발로 동작되는 제어부들(134) 및/또는 UID들(136)을 조작하여 로봇 팔들(112) 및/또는 팔들의 말단부들에 장착된 외과수술 기구들을 원격으로 제어할 수 있다.
일부 변형예들에서, 사용자는 또한 로봇 외과수술 시스템(100)을 "베드 위"(over the bed, OTB) 모드로 동작시킬 수 있는데, 여기서 사용자는 환자의 옆에 있고, (예컨대, 핸드헬드 사용자 인터페이스 디바이스(UID)(136)를 한 손에 들고 있으면서) 로봇 구동식 도구/그것에 부착된 엔드 이펙터 및 수동 복강경 도구를 동시에 조작하는 중이다. 예를 들어, 사용자의 왼손은 로봇 외과수술 구성요소를 제어하도록 핸드헬드 UID(136)를 조작하는 중일 수 있는 한편, 사용자의 오른손은 수동 복강경 도구를 조작하는 중일 수 있다. 따라서, 이들 변형예들에서, 사용자는 환자에 대해 로봇-보조 최소 침습 외과수술(minimally invasive surgery, MIS) 및 수동 복강경 외과수술 둘 모두를 수행할 수 있다.
예시적인 시술 또는 외과수술 동안, 환자는 멸균 방식으로 수술준비되고 드레이핑(draping)되고, 마취된다. 외과수술 부위에의 초기 접근은, 외과수술 부위에의 접근을 용이하게 하기 위해 넣고 빠지는 구성(stowed or withdrawn configuration)으로 로봇 외과수술 시스템(100)을 사용하여 수동으로 수행될 수 있다. 일단 접근하면, 로봇 시스템의 초기 포지셔닝 및/또는 준비가 수행될 수 있다. 시술 동안, 사용자 콘솔(120) 내의 외과 의사는 발로 동작되는 제어부들(134) 및/또는 UID들(136)을 사용하여, 다양한 외과수술 도구들/엔드 이펙터들 및/또는 이미징 시스템들을 조작함으로써, 외과수술을 수행할 수 있다. 조직들을 수축시키거나 하나 이상의 로봇 팔들(112)을 수반하는 도구 교환 또는 수동 리포지셔닝을 수행하는 것을 포함하지만 이로 제한되지 않는 작업들을 수행할 수 있는 멸균 가운을 입은 직원에 의한 수동 보조가 또한 수술대에서 제공될 수 있다. 멸균되지 않은 직원이 또한 사용자 콘솔(120)에서 외과 의사를 보조하기 위해 존재할 수 있다. 시술 또는 외과수술이 완료될 때, 로봇 외과수술 시스템(100) 및/또는 사용자 콘솔(120)은, 예컨대 사용자 콘솔(120)을 통한, 로봇 외과수술 시스템(100) 세정 및/또는 멸균, 및/또는 의료 기록 입력 또는 출력(전자 카피이든 또는 하드 카피이든)을 포함하지만 이에 제한되지 않는 하나 이상의 수술 후 절차들을 용이하게 하기 위한 상태로 구성 또는 설정될 수 있다.
일부 태양들에서, 로봇 외과수술 플랫폼(116)과 사용자 콘솔(120) 사이의 통신은 제어 타워(130)를 통할 수 있으며, 이는 사용자 콘솔(120)로부터의 사용자 명령들을 로봇 제어 명령들로 변환하고 그들을 로봇 외과수술 플랫폼(116)으로 송신할 수 있다. 제어 타워(130)는 또한 로봇 외과수술 플랫폼(116)으로부터 다시 사용자 콘솔(120)로 상태 및 피드백을 송신할 수 있다. 로봇 외과수술 플랫폼(116), 사용자 콘솔(120) 및 제어 타워(130) 사이의 연결들은 유선 및/또는 무선 연결들을 통한 것일 수 있고, 독점적인 것일 수 있고/있거나 다양한 데이터 통신 프로토콜들 중 임의의 것을 사용하여 수행될 수 있다. 임의의 유선 연결들은 선택적으로, 수술실의 바닥 및/또는 벽들 또는 천장에 구축될 수 있다. 로봇 외과수술 시스템(100)은, 수술실 내의 디스플레이들뿐만 아니라 인터넷 또는 다른 네트워크들을 통해 액세스가능한 원격 디스플레이들을 포함하는, 하나 이상의 디스플레이들에 비디오 출력을 제공할 수 있다. 비디오 출력 또는 피드(feed)는 또한 개인 정보 보호를 보장하기 위해 암호화될 수 있고, 비디오 출력의 전부 또는 부분들은 서버 또는 전자 의료 기록 시스템에 저장될 수 있다.
일부 실시예들에서, 고해상도 내시경 검사 비디오들을 더 낮은 해상도 스크린들을 갖는 디스플레이 디바이스들 상에 디스플레이하기 위한 개시된 시각화 시스템은 제어 타워(130) 상에 구현되어, 로봇 외과수술 플랫폼(116)으로부터의 캡처된 내시경 검사 비디오들을, 캡처된 내시경 검사 비디오들보다 더 낮은 해상도를 가질 수 있는 사용자 디스플레이(138) 상에 디스플레이하는 것을 제어할 수 있다. 게다가, 스크린-밖 이벤트 검출과 같은, 제안된 시각화 시스템의 다른 개시된 기능성들이 제어 타워(130) 상에서 수행될 수 있다. 도 1이 개시된 시각화 시스템을 구현하기 위한 로봇 외과수술 시스템을 나타내고 있지만, 개시된 시각화 시스템의 응용은 로봇 외과수술 시스템들에 제한되지 않는다는 것에 유의한다. 대체적으로, 개시된 시각화 시스템 및 그의 연관된 기법들은 외과 시술들의 비디오 이미지들을 캡처하고 디스플레이하는 것을 수반하는 임의의 외과 시술들 내에서 사용될 수 있다. 예를 들어, 이들 외과 시술들은 내시경 검사, 복강경 검사, 및 관절경 검사와 같은 거의 모든 최소 침습 시술들을 포함할 수 있으며, 이들은 외과 의사들을 보조하기 위해 비디오 카메라들 및 비디오 이미지들을 사용하는 것을 수반한다. 이제, 개시된 시각화 시스템이 더욱 상세히 후술된다.
일부 실시예들에서, 디스플레이 디바이스의 디스플레이 스크린(또는 이하에서 간단히 "디스플레이", "스크린" 또는 "디스플레이 스크린"(이들은 상호교환가능하게 사용됨))의 기본 해상도가 내시경 비디오의 이미지 해상도보다 낮을 때, 개시된 시각화 시스템은 디스플레이 스크린의 풀 해상도를 사용하여 풀 해상도 내시경 비디오의 일부분/영역을 그의 원래 해상도로 디스플레이함으로써, 풀 해상도 내시경 비디오 내에 기본 해상도의 뷰잉 윈도우를 배치하는 효과를 생성할 수 있다. 예를 들어, 디스플레이 스크린의 기본 해상도가 1920p×1080p인 경우, 2560p×2160p 해상도의 고해상도 비디오 이미지들을 디스플레이하기 위해, 개시된 시각화 시스템은 2560p×2160p 비디오 이미지들 중, 스크린 상에 디스플레이될 단지 1920p×1080p 부분(예컨대, 중심 부분)만을 선택하도록 구성된다. 그렇게 함에 있어서, 개시된 시스템은 디스플레이 스크린의 풀 스크린 해상도 및 비디오 이미지들의 고해상도 속성을 이용하여, 로봇 외과수술 시스템(100) 내의 외과 의사(140)와 같은 사용자에게 풀 몰입 뷰잉 경험을 제공할 수 있다.
도 2a는 본 명세서에 설명된 일부 실시예들에 따른, 2560p×2160p 해상도의 고해상도 내시경 비디오 이미지(200)를 1920p×1080p 기본 해상도의 디스플레이(202) 상에 디스플레이하기 위한 예시적인 시각화 솔루션을 도시한다. 도시된 실시예에서, 전체 2560p×2160p 이미지(200)를, 디스플레이되고 있는 이미지보다 훨씬 더 낮은 해상도를 갖는 디스플레이(202)에 맞추기 위해, 고해상도 이미지(200)는 먼저, 2560p×2160p 이미지의 픽셀들의 각각의 2×2 블록을 단일 픽셀로 맵핑함으로써 다운샘플링되며, 이는 후속하여, 1280p×1080p 해상도(도 2a의 삽도 이미지 내의 음영처리된 면적으로 예시됨)의 다운샘플링된 이미지(204)를 생성한다. 일부 실시예들에서, 고해상도 이미지(200)를 다운샘플링하는 것은 2560p×2160p 이미지의 RGB 또는 YCbCr 채널들 각각에 대해 각각의 2×2 블록의 평균/중간을 계산하는 것을 수반한다. 이어서, 디스플레이(202)의 기본 해상도보다 더 낮은 해상도를 갖는 다운샘플링된 이미지(204)는 그 전체가 디스플레이(202) 상에 디스플레이될 수 있다.
도 2a에서 볼 수 있는 바와 같이, 다운샘플링된 이미지(204)를 디스플레이(202) 내에 디스플레이할 때, 다운샘플링된 이미지(204)의 수직 해상도는 디스플레이(202)의 풀 범위에 맞춰질 수 있다. 이러한 디스플레이 옵션은, 외과 의사가 풀 내시경 뷰 내에서 일어나는 이벤트를 결코 놓치지 않으면서 항상 전체 내시경 비디오(또한 이하에서 "내시경 뷰"로 지칭됨)를 볼 수 있게 할 것이다. 이러한 이유로, 도 2a에 묘사된 고해상도 이미지 또는 비디오에 대한 시각화 솔루션은 또한 아래에서 "풀-이미지-뷰 모드"로 지칭된다. 그러나, 다운샘플링된 이미지(204)의 수평 해상도는 단지 디스플레이(202)의 중심 영역만을 차지하며, 그에 의해 빈 보더 영역들(264, 208)을 생성한다. 보더 영역들(206, 208)을 사용하여 관련 외과수술 정보를 디스플레이할 수 있지만, 디스플레이(202) 상에서 다운샘플링된 비디오 이미지들을 뷰잉할 때, 그러한 1개-스크린 디스플레이는 일부 사용자들/외과 의사들에게 성가신 것 또는 혼란스러운 것으로 느껴질 수 있다. 게다가, 원래 2560p×2160p 해상도 이미지(200) 내의 수많은 상세한/유용한 정보가 디스플레이(202) 상에 도시된 다운샘플링된 이미지(204)에서 손실된다.
도 2b는 본 명세서에 설명된 일부 실시예들에 따른, 2560p×2160p 해상도의 동일한 고해상도 비디오 이미지(200)를, 고해상도 이미지(200)를 다운샘플링하지 않으면서, 1920p×1080p 기본 해상도의 디스플레이(202) 상에 디스플레이하기 위한 예시적인 시각화 솔루션을 도시한다. 이러한 실시예에서, 개시된 시각화 시스템은 먼저, 원래 2560p×2160p 이미지(200)로부터 해상도/크기가 1920p×1080p인 관심 영역(ROI)(210)을 선택하고, 후속하여 선택된 ROI(210)를 추출하여 디스플레이(202) 상에 디스플레이한다. 도 2b에 도시된 바와 같이, 추출된 ROI(210)(디스플레이(202)의 디스플레이 보더와 중첩하는 파선 직사각형 박스로 도시됨)가 디스플레이 해상도와 크기가 동일하기 때문에, ROI(210)를 디스플레이(202) 상에 디스플레이할 때, ROI(210)는 임의의 빈 공간을 남기지 않으면서 전체 1920p×1080p 디스플레이 면적을 차지한다. 이러한 디스플레이 기법은 고해상도 비디오 이미지(200)를 스크린-상/가시적인 영역, 즉 ROI(210) 및 ROI(210) 밖의 스크린-밖/비가시적인 영역(212)으로 분리한다는 것에 유의한다. ROI(210)를 둘러싸는 스크린-밖 영역(212)은, 그것이, ROI(210)가 디스플레이되고 있을 때, 사용자에게 가시적이지 않다는 것을 나타내기 위해 의도적으로 흐려져 있다. 도 2b에 도시된 실시예에서, ROI(210)는 실질적으로 원래 비디오 이미지(200)의 중심 영역으로부터 선택되고 추출된다. 다른 실시예들에서, ROI(210)는, 그것이 도구 팁(214)과 같은 비디오 이미지(200) 내에서 캡처된 외과수술 도구의 팁에 중심을 두도록 선택될 수 있다. 그러한 실시예들에서, 도구 검출 및 인식 기능들을 갖는 이미지 프로세싱 기법(예컨대, 머신-러닝-기반 기법 또는 컴퓨터-비전-기반 기법)을 사용하여 먼저 도구를 검출하고 후속하여 도구 팁(214)의 위치를 결정할 수 있다. 그러나, 이미지(200)에서 초기에 어떠한 도구도 검출되지 않는 경우, 시스템은 이미지(200)의 중심 부분을 초기 ROI(210)로서 간단히 선택하고 추출할 수 있다.
도 2b의 부분-이미지-뷰(또는 이하에서 "부분-뷰") 기법을 사용하여, 각각의 고해상도 비디오 이미지(200)는 사용자에게 가시적인 스크린-상 부분 및 사용자에게 가시적이지 않는 스크린-밖 부분으로 분할된다. 디스플레이(202)를 보고 있는 사용자는 고해상도 비디오 이미지(200)의 스크린-상 부분의 몰입 뷰잉 경험을 그의 원래 해상도로 얻는데, 이는 디스플레이된 부분 이미지의 양측에 어떠한 성가신 빈 공간도 없이, 전체 1920p×1080p 스크린 해상도를 채운다. 활성적인 외과 시술 동안, 풀 해상도 내시경 비디오의 스크린-상 부분 내에서 일어나는 임의의 이벤트는 그의 원래 해상도로 사용자에 의해 직접 관찰되어, 사용자로부터의 적절한 응답을 트리거할 수 있다는 것에 유의한다. 그러나, 풀 해상도 내시경 비디오의 완전한 뷰 없이, 비디오 이미지(202)의 스크린-밖 영역(212) 내에서 일어나는 이벤트는 사용자에 의해 즉시 관찰될 수가 없다.
아래의 논의에서, 도 2b에 묘사된 시각화 기법은 또한 "부분-몰입-뷰 기법"으로 지칭되는데, 그 이유는, 고해상도 이미지의 일부분이 선택되어 고해상도 이미지의 부분과 동일하거나 실질적으로 동일한 해상도를 갖는 디스플레이 상에 그의 원래 해상도로 디스플레이되어, 사용자에게 몰입 뷰잉 경험을 제공하기 때문이다. 마찬가지로, 도 2b에 묘사된 바와 같은 고해상도 이미지(200) 및 연관된 고해상도 비디오에 대한 시각화 솔루션은 또한 아래에서 "부분-몰입-뷰 모드"로 지칭되는데, 이는 전술된 풀-이미지-뷰 모드와는 대조적이다.
일부 실시예들에서, 부분-몰입-뷰 기법을 사용하여 다운샘플링하지 않으면서 고해상도 비디오 이미지들의 일부분에 선택적으로 접근할 때, 사용자는 고해상도 비디오 이미지들 사이를 수동으로 내비게이션하여, 고해상도 비디오 이미지들의 상이한 부분들이 스크린 상에 디스플레이되어 사용자에게 가시적이 되게 할 수 있다. 다시 말하면, "뷰잉 윈도우"로서의 역할을 하는 풀 디스플레이 스크린은 풀 내시경 뷰의 경계 내에서 이리저리 "움직"여, 사용자가 (예컨대, 내시경 비디오의) 고해상도 비디오 이미지들의 상이한 부분들을 모니터링할 수 있게 한다. 예를 들어, 도 1에 나타낸 로봇 외과수술 시스템(100) 내에서, 외과 의사 브리지(surgeon bridge)/콘솔(120)에서의 외과 의사(140)는 UID들(136), 발 페달, 또는 UID들과 발 페달의 조합을 사용하여, 풀 내시경 비디오 내에서 뷰잉 윈도우를 리포지셔닝할 수 있다. 도 2b를 참조하면, 예를 들어, 사용자가 풀 2560p×2160p 해상도 이미지(200) 내에서 수동으로 내비게이션할 수 있게 하는 것은 사용자가 1920p×1080p 디스플레이 면적(즉, 뷰잉 윈도우)의 위치를 풀 2560p×2160p 이미지(200)의 임의의 부분으로 변경할 수 있게 할 수 있다. 예를 들어, 사용자는 뷰잉 윈도우를 비디오 이미지(200)의 중심에서의 초기 ROI(210)로부터 방향(220)을 따라 비디오 이미지(200)의 상부 좌측 부분에서의 ROI(216)(즉, 파선 직사각형 박스(216))로 수동으로 조정할 수 있다. 이러한 수동 내비게이션 기법을 사용하여, 임의의 주어진 시간에 풀 해상도 비디오의 단지 하나의 부분만이 디스플레이/뷰잉될 수 있더라도, 사용자는 풀 해상도 내시경 비디오의 임의의 부분에 접근가능하다.
일부 실시예들에서, 도 2a의 풀-이미지-뷰 기법 및 도 2b의 부분-몰입-뷰 기법은 조합되어, 디스플레이 상에서 이들 2개의 뷰잉 모드들 사이를 전환하기 위한 메커니즘을 사용자에게 제공할 수 있다. 예를 들어, 개시된 시각화 시스템은 감소된 해상도로 해부학적 구조 및 도구 배치/상태의 개요를 사용자에게 제공하기 위해 풀-이미지-뷰 모드에서 내시경 비디오를 보여주기 시작할 수 있다. 이러한 디스플레이 모드는 또한, 사용자가 스크린 상의 보더 영역들(예컨대, 보더들(206, 208))에 디스플레이되는 외과-시술-관련 정보를 뷰잉할 수 있게 한다. 다음으로, 사용자가 풀 해상도로 엔드 이펙터 또는 도구-팁 액션에 초점을 맞추고자 할 때, 사용자는 UID들, 발 페달, 또는 그들의 조합을 사용하여, 예컨대 디스플레이 상의 지정된 아이콘과 상호작용함으로써 디스플레이 모델을 부분-몰입-뷰 모드로 토글링(toggling)할 수 있다.
일부 실시예들에서, 디스플레이/뷰잉 모드를 전환하기 전에, 사용자는 또한 도구의 팁이 실질적으로 내시경 뷰의 중심에 있도록 환자 안에서 내시경을 물리적으로 조정할 수 있다. 따라서, 개시된 시스템이 부분-몰입-뷰 모드에서 디스플레이하기 위해 풀 내시경 비디오의 중심 부분을 자동으로 선택하는 경우, 대응하는 부분-몰입-뷰, 즉, 디스플레이는 디스플레이 모드가 전환된 후에 도구의 팁에 중심을 둔 채로 남아있을 수 있다. 그러나, 다른 실시예들에서, 사용자는 디스플레이 모드를 전환하기 전에 도구 팁에 중심을 맞추도록 내시경을 물리적으로 조정할 필요가 없다. 대신에, 개시된 시스템은 컴퓨터 비전 또는 머신 러닝 동작을 적용하여 도구 팁을 풀 내시경 비디오에 자동으로 위치시킬 수 있다. 다음으로, 사용자가 디스플레이 모드를 전환하기로 선택할 때, 시스템은 자동으로 결정된 도구 팁 위치에 중심을 둔 비디오 이미지들의 부분을 선택하고 부분-몰입-뷰 모드로 디스플레이한다. 부분-몰입-뷰 모드에서 작업하는 기간 이후에, 사용자가 풀-이미지-뷰 모드로 다시 전환하기로 결정하는 경우, 사용자는 다시 수동으로 (예컨대, 디스플레이 상의 지정된 아이콘과 상호작용함으로써) 부분-몰입-뷰 모드에서 빠져나가 풀-이미지-뷰 모드로 복귀할 수 있다.
외과 의사가 부분-몰입-뷰 모드에서 외과 시술을 수행할 때, 외과 의사가 풀 내시경 뷰의 다른 부분으로 내비게이션하는 옵션 및 부분-몰입-뷰 모드와 풀-이미지-뷰 모드 사이에서 앞뒤로 전환하는 옵션을 갖더라도, 외과 의사는 부분-몰입-뷰 모드와 연관된 기간 동안에는 여전히 풀 해상도 비디오 이미지들의 스크린-밖 부분을 볼 수가 없다는 것에 유의한다. 그 결과, 외과 의사는 외과 의사의 주의 또는 즉각적인 액션을 요구하는 비디오 이미지들의 스크린-밖 부분에서 일어나는 이벤트에 반응할 수 없거나 충분히 빠르게 반응할 수 없을 수 있다.
따라서, 본 특허 발명은 또한, 고해상도 비디오 이미지들의 선택된 부분/ROI를 스크린 상에 디스플레이하는 것과는 독립적으로, 백그라운드에서 고해상도 비디오 이미지들을 프로세싱할 수 있는 스크린-밖 비디오 이미지 프로세싱 기법의 다양한 실시예들을 제공한다. 보다 구체적으로, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 디스플레이하는 동안, 개시된 시스템은 또한 비디오 이미지들의 스크린-밖 영역(예컨대, 스크린-밖 영역(212))에서 사전결정된 이벤트들의 세트를 검출하도록 설계된 하나 이상의 모니터링 프로그램들을 백그라운드에서 실행할 수 있다. 일부 실시예들에서, 모니터링 프로그램들 각각은 컴퓨터-비전-기반 기법 또는 딥-러닝(deep-learning, DL)-기반 기법, 또는 이들 둘 모두의 조합을 사용할 수 있다. 일부 실시예들에서, 비디오 이미지들의 스크린-밖 부분 내에서 검출될 수 있는 사전결정된 이벤트들은, 종종 부분-몰입-뷰 모드에서 시술을 수행하고 있는 외과 의사의 즉각적인 주의를 요구할, 출혈 또는 외과수술 연기와 같은 외과수술 합병증들을 포함할 수 있다. 예를 들어, 환자가 스크린-밖에서 출혈하고 있고 외과 의사가 이러한 이벤트가 발생하고 있다는 것을 인식하지 않은 경우, 개시된 시스템은 자동으로 이러한 출혈 이벤트가 일어나고 있다는 것을 외과 의사에게 통지하고 외과 의사를 이벤트 위치로 안내할 수 있다.
일부 실시예들에서, 다수의 DL 모델들이, DL 모델들 각각이 특정 유형의 외과수술 합병증을 검출하는 데 사용되도록 구성될 수 있다. 다른 실시예들에서, 단일 DL 모델이, 출혈 및 외과수술 연기를 포함하는 2가지 이상의 유형들의 외과수술 합병증들을 동시에 검출하도록 구성될 수 있다. 다양한 실시예들에서, 합병증 이벤트들을 검출하기 위한 DL 모델들 각각은 회귀 모델, 딥 뉴럴 네트워크-기반 모델(deep neural network-based model), 서포트 벡터 머신, 결정 트리(decision tree), 나이브 베이즈 분류기(Naive Bayes classifier), 베이시안 네트워크(Bayesian network), 또는 KNN(k-nearest neighbors) 모델을 포함할 수 있다. 일부 실시예들에서, 이들 DL 모델들 각각은 콘볼루션 신경망(convolutional neural network, CNN) 아키텍처, 순환 신경망(recurrent neural network, RNN) 아키텍처, 또는 다른 형태의 딥 뉴럴 네트워크(deep neural network, DNN) 아키텍처에 기초하여 구성된다.
디스플레이가 부분-몰입-뷰 모드에 있는 동안 백그라운드에서 합병증 이벤트들을 모니터링 및 검출함으로써, 개시된 시스템은, 일단 그러한 이벤트가 검출되었으면, 예컨대 디스플레이 스크린 상에 경고 또는 경보 메시지를 디스플레이함으로써, 자동으로 외과 의사에게 통지할 수 있다. 일부 실시예들에서, 경고 또는 경보 메시지는 검출된 스크린-밖 이벤트의 위치를 나타내고/나타내거나 외과 의사를 그에 안내하기 위한 화살표 또는 다른 방향 표시자의 형태로, 또는 그와 조합하여 구성될 수 있다. 도 2b를 참조하면, 스크린-밖 합병증 이벤트가 내시경 뷰의 하부 좌측 코너 가까이의 영역(222) 내에서 검출되었다고 가정하면, 개시된 시스템은 이벤트 영역(222)의 위치를 가리키는 화살표(224) 형태의 경고를 디스플레이(202) 상에 디스플레이할 수 있다.
일부 실시예들에서, 스크린-밖 합병증 이벤트를 검출하고 연관된 경고/경보를 디스플레이할 시에, 개시된 시스템은 디스플레이 상의 부분-몰입-뷰를 현재 ROI로부터 검출된 스크린-밖 이벤트를 포함하는, 풀 내시경 뷰의 새로운 부분으로 자동으로 변경할 수 있다. 대안적으로, 개시된 시스템은 이벤트 경고/경보에 대한 사용자 응답을 기다릴 수 있고, 이벤트 경고/경보에 응답하여 사용자로부터 지시가 수신될 때에만 디스플레이 상의 뷰를 검출된 이벤트를 포함하는 영역으로 변경할 수 있다. 또 다른 대안으로서, 사용자는 화살표(224)와 같은 스크린-상 방향 표시자를 따라감으로써, 뷰를 현재 몰입 뷰로부터 검출된 이벤트를 포함하는 풀 비디오 이미지들의 부분으로 수동으로 변경할 수 있다. 도 2b에 도시된 예에서, 사용자는 뷰잉 윈도우를 경고 화살표(224)에 의해 나타내진 방향을 따라 ROI(210)으로부터 이벤트 영역(222)을 포함하는 동일한 1920p×1080p 크기의 새로운 ROI(226)(즉, 풀 이미지(200)의 하부 좌측 부분에서의 파선 직사각형 박스)로 리포지셔닝할 수 있다.
스크린-밖 합병증들을 검출하는 것에 더하여, 개시된 시스템은 또한 외과 의사가 도구-관련 스크린-밖 이벤트들을 검출하고 식별하는 것을 보조할 수 있다. 일부 실시예들에서, 도구-관련 스크린-밖 이벤트들은, (1) 내시경 뷰의 스크린-밖 영역에 존재하는 도구들의 유형들; (2) 내시경 뷰의 스크린-밖 영역에 존재하는 도구들의 위치들; 및 (3) 내시경 뷰의 스크린-밖 영역에 존재하는 도구들의 상태들을 포함할 수 있지만 이에 제한되는 것은 아니다. 본 명세서에서 도구의 상태는, 도구의 죄는 부분들이 폐쇄되어 있는지(조여 있음(clamped down)) 또는 개방되어 있는지를 지칭할 수 있다. 내시경 뷰의 스크린-밖 영역에 존재하는 도구들의 유형, 위치, 및/또는 상태를 모니터링하는 것은 외과 시술에 소정 수준의 안전성을 추가할 수 있다. 예를 들어, 주어진 도구의 위치를 모니터링하는 것은, 도구 팁이 내시경 뷰의 스크린-밖 영역에서 중요한 해부학적 구조에 접근하고 있는 때를 검출하는 데, 또는 주어진 도구가 관여하기로 되어 있지 않을 때에 내시경 뷰의 스크린-밖 영역에서 조직에 그것이 관여하는지 여부를 검출하는 데 도움을 줄 수 있다.
다수의 딥-러닝 모델들이 비디오 이미지들의 스크린-밖 부분들을 분석하여, 도구들의 상이한 유형들, 주어진 도구의 상이한 상태들(예컨대, 개방 또는 폐쇄), 및 스크린-밖 도구 부근의 상이한 해부학적 구조들을 검출 및 식별하도록 구성될 수 있다는 것에 유의한다. 다양한 실시예들에서, 상이한 도구-관련 이벤트들을 검출 및 식별하기 위한 다수의 딥-러닝 모델들 각각은 회귀 모델, 딥 뉴럴 네트워크-기반 모델, 서포트 벡터 머신, 결정 트리, 나이브 베이즈 분류기, 베이시안 네트워크, 또는 KNN 모델을 포함할 수 있다. 일부 실시예들에서, 이들 딥-러닝 모델들 각각은 콘볼루션 신경망(CNN) 아키텍처, 순환 신경망(RNN) 아키텍처, 또는 다른 형태의 딥 뉴럴 네트워크(DNN) 아키텍처에 기초하여 구성된다.
충분한 수준의 위험을 나타내는 스크린-밖 도구-관련 이벤트가 검출될 때(예컨대, 도구 팁이 스크린-밖의 중요한 해부학적 구조에 접근하고 있을 때), 개시된 시스템은 스크린 상에 경고 또는 경보를 디스플레이하여 사용자/외과 의사가 적절한 액션을 취하도록 촉구할 수 있다. 일부 실시예들에서, 스크린-밖 도구-관련 이벤트를 검출하고 연관된 경고/경보를 디스플레이할 시에, 개시된 시스템은 디스플레이 상의 현재의 부분-몰입-뷰를 현재 ROI로부터 검출된 도구-관련 이벤트를 포함하는 내시경 비디오의 새로운 부분으로 자동으로 변경할 수 있다. 대안적으로, 개시된 시스템은 이벤트 경고/경보에 대한 사용자 응답을 기다릴 수 있고, 이벤트 경고/경보에 응답하여 사용자로부터 지시가 수신될 때에만 디스플레이 상의 뷰를 검출된 도구-관련 이벤트를 포함하는 영역으로 변경할 수 있다. 또 다른 대안으로서, 사용자는 화살표와 같은 스크린-상 방향 표시자를 따라감으로써, 뷰를 현재 몰입 뷰로부터 검출된 도구-관련 이벤트를 포함하는 풀 비디오 이미지들의 부분으로 수동으로 변경할 수 있다. 일부 실시예들에서, 추가된 수준의 안전성으로서, 개시된 시스템은 즉각적으로 내시경 뷰의 스크린-밖 영역에서 검출된 도구의 기능성들을 비활성화하거나 또는 그의 모션을 잠글 수 있다. 추가적으로, 검출된 도구가 내시경 뷰의 스크린-밖 영역에서 중요한 해부학적 구조에 접근하고 있는 경우, 개시된 시스템은 외과 의사에게 중대한 경보를 발생할 수 있고, 이에 의해 외과 의사가 즉각적인 액션을 취할 수 있게 한다.
도 3은 본 명세서에 설명된 일부 실시예들에 따른, 부분-몰입-뷰 모드에서 풀 해상도 내시경 비디오를 디스플레이하는 동안 스크린-밖 도구-관련 이벤트를 검출하는 예시적인 시나리오를 예시한다. 도 3에서 알 수 있는 바와 같이, 풀 해상도 비디오 이미지(300)는 풀 2560p×2160p 해상도 내시경 뷰를 표현한다. 이미지(300)의 중심에서의 흰색 직사각형 박스 내의 1920p×1080p 해상도의 이미지(300)의 일부분은 현재의 부분-몰입-뷰/ROI(302)를 동일한 1920p×1080p 기본 해상도의 디스플레이(명시적으로 도시되지 않음) 상에 표현한다. 하나의 시나리오에서, 외과 의사는 초기에 ROI(302) 내의 부분-몰입-뷰를 보고 있다. 다음으로, 도구(304)가 상부 우측 코너로부터 풀 내시경 뷰에 진입하지만, 이미지(300)의 스크린-밖 부분(즉, ROI(302) 밖의 영역들)에 남아있으며, 이에 의해 외과 의사에게 가시적이지 않다. 그러나, 개시된 시스템은 이미지(300)의 스크린-밖 부분에서 도구(304)를 검출하고 후속하여 외과 의사에게 경보를 발생하도록 구성된다. 경보를 수신할 시에, 외과 의사는, 뷰잉 윈도우를 ROI(302) 내의 현재의 부분-몰입-뷰로부터 이미지(300)의 상부 우측 영역으로 리포지셔닝하도록 또는 뷰잉 윈도우를 수동으로 리포지셔닝하도록 시스템에게 지시하는 것과 같이, 적절한 액션을 취하여 경보에 응답할 수 있다. 뷰잉 윈도우를 리포지셔닝한 후에, 새로운 부분-몰입-뷰가, 이어서, 검출된 스크린-밖 도구(304)를 포함하는 파선들을 갖는 흰색 직사각형 박스에 의해 나타내진 1920p×1080p 크기의 새로운 ROI(310) 내에 디스플레이된다. 도 3은 또한, ROI(302)로부터 방향들(312, 314)과 같은, 6개의 상이한 방향들로 바깥쪽을 향해 가리키는 화살표들을 갖는 6개의 짧은 흰색 선들을 도시한다는 것에 유의한다. 이들 화살표들은, 개시된 시스템이 뷰잉 윈도우를 현재의 ROI로부터 풀 해상도 내시경 비디오의 임의의 부분으로 리포지셔닝하고, 후속하여 내시경 비디오의 그 부분을 가시적이게 할 수 있다는 것을 간단히 도시한다. 따라서, 개시된 뷰잉 윈도우/ROI 리포지셔닝 기법은 풀 해상도 내시경 비디오의 상부 우측 부분에서의 ROI(310) 및 방향(316)으로 제한되지 않는다.
일부 실시예들에서, 부분-몰입-뷰 모드 동안 스크린-밖 이벤트(이는 스크린-밖 합병증 이벤트 또는 스크린-밖 도구-관련 이벤트일 수 있음)가 검출된 후에, 부분-몰입-뷰 모드에 머무르면서 이벤트를 가시적이게 하도록 뷰잉 윈도우를 리포지셔닝하는 대신에, 개시된 시스템은 디스플레이 모드를 부분-몰입-뷰 모드로부터 풀-이미지-뷰 모드로 전환하여, 외과 의사가 내시경 뷰의 현재의 스크린-상 부분 및 검출된 이벤트 둘 모두를 포함하는 전체 내시경 뷰를 관찰할 수 있게 할 수 있다. 이러한 디스플레이 옵션은, 외과 의사가 현재의 부분-몰입-뷰 내에서 현재 작업에 대한 추적을 놓치기를 원하지 않을 뿐만 아니라 검출된 스크린-밖 이벤트를 보고 싶어 할 때 유용하다. 이러한 디스플레이 옵션을 구현하기 위해, 시스템은, 스크린-밖 이벤트가 검출될 때, 단순히 스크린 상에 경고 또는 경보 메시지를 디스플레이할 수 있다. 다음으로, 외과 의사는, 예컨대 디스플레이 상의 지정된 아이콘과 상호작용하여, 디스플레이 모드를 풀-이미지-뷰 모드로 수동으로 전환함으로써 경고 또는 경보 메시지에 응답할 수 있다. 일부 실시예들에서, 경고 또는 경보를 디스플레이한 후에, 개시된 시스템은 또한, 풀-이미지-뷰 모드로 전환하는 옵션 또는 부분-몰입-뷰 모드에 머무르면서 뷰잉 윈도우를 이벤트 영역으로 리포지셔닝하는 옵션 중 어느 하나를 외과 의사에게 제공할 수 있다. 이어서, 개시된 시스템은 외과 의사로부터의 수신된 결정에 따라 2개의 디스플레이 옵션들 중 하나를 사용하여 검출된 스크린-밖 이벤트를 디스플레이할 수 있다. 그러나, 또 다른 실시예에서, 개시된 시스템은, 스크린-밖 이벤트가 검출될 때, 외과 의사로부터의 응답을 촉구하거나 기다리지 않으면서 디스플레이를 풀-이미지-뷰 모드로 자동으로 전환할 수 있다. 그러나, 이러한 디스플레이 옵션은 사용자 경험의 관점에서 바람직하지 않을 수 있는 디스플레이 상의 갑작스러운 디스플레이 변경을 생성한다.
도 4는 본 명세서에 설명된 일부 실시예들에 따른, 스크린-밖 이벤트를 검출하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 프로세스(400)를 예시하는 흐름도를 제시한다. 하나 이상의 실시예들에서, 도 4의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나 상이한 순서로 수행될 수 있다. 따라서, 도 4에 도시된 단계들의 특정 배열은 본 기법의 범주를 제한하는 것으로 해석되어서는 안 된다. 게다가, 내시경 비디오를 뷰잉 및 프로세싱하는 관점에서 설명되었지만, 도 4와 관련하여 설명된 프로세스 및 일반적인 개념은 분명히 단지 내시경 비디오들에만 제한되는 것은 아니다. 대체적으로, 도 4와 관련하여 설명된 프로세스 및 일반적인 개념은 내시경 검사 비디오들, 복강경 검사 비디오들, 관절경 검사 비디오들, 및 개복 외과수술 비디오들을 포함하지만 이에 제한되지 않는 임의의 유형의 의료 시술 비디오들, 및 다양한 유형들의 비-외과수술 의료 시술 비디오들뿐만 아니라 다양한 유형들의 비-의료-관련 시술 비디오들에 적용될 수 있다.
도 4에서 알 수 있는 바와 같이, 프로세스(400)는 전술된 부분-몰입-뷰 모드에서 고해상도 내시경 비디오 이미지들의 일부분을 더 낮은 기본 해상도의 디스플레이 상에 디스플레이함으로써 시작한다(단계(402)). 다시 말하면, 고해상도 비디오 이미지들의 부분은 비디오 이미지들의 그 부분을 다운샘플링하지 않으면서 원래 해상도로 디스플레이되고 있다. 일부 실시예들에서, 디스플레이되고 있는 고해상도 비디오 이미지들의 부분은 고해상도 비디오 이미지들의 중심 면적에 있는 것이다. 부분-몰입-뷰 모드에 있는 동안, 프로세스(400)는 또한 고해상도 비디오 이미지들의 스크린-밖 부분에서 사전결정된 이벤트들의 세트를 모니터링한다(단계(404)). 일부 실시예들에서, 하나 이상의 딥-러닝 모델들을 사용하여 사전결정된 이벤트들의 세트 각각을 검출할 수 있다. 전술된 바와 같이, 고해상도 비디오 이미지들의 스크린-밖 부분 내에서 검출될 수 있는 사전결정된 이벤트들은 출혈 또는 외과수술 연기와 같은 합병증 이벤트들, 및 비디오 이미지들의 스크린-밖 부분에서 검출되는 도구 또는 비디오 이미지들의 스크린-밖 부분에서 중요한 해부학적 구조에 접근하는 것이 검출되는 도구 팁과 같은 도구-관련 이벤트들을 포함할 수 있다.
스크린-밖 영역을 모니터링하는 동안, 프로세스(400)는 또한 사전결정된 스크린-밖 이벤트가 검출되었는지 여부를 결정한다(단계(406)). 그렇지 않은 경우, 프로세스(400)는 단계(404)로 복귀하고 단계(404)에서의 모니터링 동작을 계속한다. 사전결정된 스크린-밖 이벤트가 검출되는 경우, 프로세스(400)는 경고/경보 메시지를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 사용자에게 통지한다(단계(408)). 예를 들어, 프로세스(400)는 부분-몰입-뷰 내에 경고 또는 경보 메시지를 디스플레이하여 사용자가 적절한 액션을 취하도록 촉구할 수 있다. 게다가, 디스플레이된 경고 또는 경보 메시지는 사용자에게 스크린-밖 이벤트가 검출되었던 방향을 보여주기 위한 방향 표시자를 포함할 수 있다. 선택적으로, 스크린-밖 이벤트를 검출한 후에, 프로세스(400)는 검출된 스크린-밖 이벤트의 위험을 최소화하기 위한, 예컨대, 즉각적으로 스크린 밖에서 검출된 도구의 기능성들을 비활성화하거나 또는 그의 모션을 잠그기 위한, 또는 디스플레이 상의 뷰를 현재의 부분-몰입-뷰/ROI로부터 검출된 스크린-밖 이벤트를 포함하는 고해상도 내시경 비디오의 새로운 부분으로 즉각적으로 변경하기 위한, 사전행동적 액션(proactive action)을 취할 수 있다(단계(410)).
부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 디스플레이하는 동안 스크린-밖 합병증들 및/또는 도구-관련 이벤트들을 자동으로 검출하는 것에 더하여, 개시된 시스템은 또한, 도구 움직임을 검출하고(도구가 스크린 상에 이미 디스플레이되어 있다고 가정함), 검출된 도구 움직임에 기초하여 뷰잉 윈도우를 풀 해상도 내시경 뷰(즉, 내시경 비디오 이미지들) 내에서 자동으로 리포지셔닝할 수 있으며, 이에 의해 도구 팁을 스크린 상에 그리고 사용자에게 가시적이게 유지할 수 있다. 일부 실시예들에서, 개시된 시스템이 초기에 부분-몰입-뷰 모드에 진입할 때, 개시된 시스템은 고해상도 비디오 이미지들의 중심 부분을 디스플레이하는데, 이는 전형적으로 도구의 단부/팁(또는 이하에서 간단히 "도구 팁") 및 도구 팁의 움직임을 포함하며, 이는 조직에 대해서 도구를 동작시키고 있는 외과 의사에 의해 제어된다. 그러나, 뷰잉 윈도우의 제한된 시야(field of view, FOV)로 인해, 외과 의사는 도구 팁을 스크린의 중심으로부터 멀리, 부분-몰입-뷰의 가장자리를 향해, 그리고 심지어 내시경 뷰의 스크린-밖 부분으로 용이하게 움직일 수 있다. 전술된 바와 같이, 외과 의사는 뷰잉 윈도우를 풀 해상도 내시경 뷰의 다른 부분으로 수동으로 리포지셔닝하여, 도구 팁이 디스플레이의 중심/부분-몰입-뷰 가까이에 남아있을 수 있게 한다. 그러나, 뷰잉 윈도우를 수동으로 움직이는 것은 외과 의사에 의해 수행되고 있는 외과수술 액션을 방해할 수 있다.
일부 실시예들에서, 개시된 시스템은 엔드 이펙터 및 도구 팁을 자동으로 검출하고 후속하여 도구 팁의 움직임을 추적하도록 구성될 수 있다. 추적은, 도구 팁의 위치가 백그라운드에서 계속 추적되도록, 도구 팁이 뷰잉 윈도우 내부에 있을 때 시작될 수 있음에 유의한다. 그러나, 풀 해상도 내시경 뷰 내에서의 뷰잉 윈도우의 위치는 아직 변경되지 않는다. 다음으로, 도구 팁의 위치가 뷰잉 윈도우의 가장자리 가까이에 있고 스크린 밖으로 가려고 한다고 결정될 때, 시스템은 도구 팁의 현재 위치에 기초하여 풀 해상도 내시경 뷰 내에서 디스플레이 크기의 새로운 ROI를 선택할 수 있다. 예를 들어, 새로운 영역은 새로운 영역의 중심과 도구 팁의 현재 위치 사이의 거리를 최소화함으로써 결정될 수 있다. 다음으로, 시스템은 뷰잉 윈도우를 현재 위치로부터 새로운 ROI로 자동으로 리포지셔닝하여, 도구 팁이 디스플레이의 중심에 또는 중심에 더 가까이 돌아오게 할 수 있다. 게다가, 뷰잉 윈도우의 초기 리포지셔닝 후에, 시스템은 도구 팁의 움직임에 기초하여 뷰잉 윈도우의 포지션을 계속 조정함으로써 도구 팁의 움직임을 따라가기 시작할 수 있다. 뷰잉 윈도우의 위치를 자동으로 조정하는 개시된 기능이 관여할 때, 외과 의사는 더 이상 도구 팁의 움직임을 따라가기 위해 뷰잉 윈도우의 위치를 수동으로 변경할 필요가 없다는 것에 유의한다.
대안적인 실시예로서, 초기에 도구 팁이 디스플레이의 가장자리를 향해 움직일 수 있게 하기보다는, 개시된 시스템은, 시스템이 도구 팁의 위치를 추적하기 시작하는 동시에 풀 해상도 내시경 뷰 내에서 뷰잉 윈도우를 리포지셔닝하기 시작할 수 있다. 보다 구체적으로, 도구 팁의 위치가 계속 추적됨에 따라, 시스템은 또한 도구 팁의 현재 위치에 기초하여 뷰잉 윈도우의 위치를 계속 조정하여, 도구 팁을 디스플레이의 중심에 또는 그 가까이에 유지하거나 적어도 스크린 상에 머무르게 한다.
내시경 뷰의 스크린-밖 부분에서 도구들을 검출 및 추적하는 것과 유사하게, 내시경 뷰의 스크린-상 부분 내에서 도구 팁을 검출 및 추적하는 것도 또한 딥-러닝-기반 기법을 사용하여 구현될 수 있다. 일부 실시예들에서, 개시된 시스템은 내시경 뷰의 스크린-상 부분 및 스크린-밖 부분 둘 모두에서 다수의 도구들을 동시에 검출 및 추적하도록 구성될 수 있다. 도구 팁이 풀 해상도(예컨대, 2560p×2160p) 내시경 뷰에 남아있는 한, 개시된 시스템은 도구 팁 움직임을 추적하는 것을 유지하고, 검출된 도구 팁 움직임을 따라가도록 뷰잉 윈도우를 리포지셔닝할 수 있음에 유의한다. 그러나, 이러한 프로그램-제어식 리포지셔닝 동작의 범위는 내시경 비디오의 FOV에 의해 제한된다. 따라서, 도구 팁이 내시경 비디오의 현재 FOV의 가장자리로 움직였을 때, 신체 내에서의 FOV의 위치를 (예컨대, 도구 팁 움직임의 방향으로) 조정하기 위해 내시경 카메라의 수동 리포지셔닝 또는 자동 리포지셔닝 중 어느 하나가 행해져야 하고, 이에 의해 개시된 시스템이 풀 해상도 내시경 비디오 내에서 도구 팁을 계속 추적하게 할 수 있다.
도 5는 본 명세서에 설명된 일부 실시예들에 따른, 부분-몰입-뷰 내에서 외과수술 도구의 움직임을 추적하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 프로세스(500)를 예시하는 흐름도를 제시한다. 하나 이상의 실시예들에서, 도 5의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나 상이한 순서로 수행될 수 있다. 따라서, 도 5에 도시된 단계들의 특정 배열은 본 기법의 범주를 제한하는 것으로 해석되어서는 안 된다. 게다가, 내시경 비디오를 뷰잉 및 프로세싱하는 관점에서 설명되었지만, 도 5와 관련하여 설명된 프로세스 및 일반적인 개념은 분명히 단지 내시경 비디오들에만 제한되는 것은 아니다. 대체적으로, 도 5와 관련하여 설명된 프로세스 및 일반적인 개념은 내시경 검사 비디오들, 복강경 검사 비디오들, 관절경 검사 비디오들, 및 개복 외과수술 비디오들을 포함하지만 이에 제한되지 않는 임의의 유형의 의료 시술 비디오들에 적용될 수 있다.
도 5에서 알 수 있는 바와 같이, 프로세스(500)는 전술된 부분-몰입-뷰 모드에서 고해상도 내시경 비디오 이미지들의 일부분을 더 낮은 해상도의 디스플레이 상에 디스플레이함으로써 시작한다(단계(502)). 다시 말하면, 고해상도 비디오 이미지들의 부분은 비디오 이미지들의 그 부분을 다운샘플링하지 않으면서 원래 해상도로 디스플레이되고 있다. 일부 실시예들에서, 디스플레이되고 있는 고해상도 비디오 이미지들의 부분은 고해상도 비디오 이미지들의 중심 면적에 있는 것이다. 부분-몰입-뷰 모드에 있는 동안, 프로세스(500)는 또한 부분-몰입-뷰 내에서 엔드 이펙터를 검출하고, 후속하여 도구 팁의 초기 위치를 결정한다(단계(504)). 일부 실시예들에서, 시스템은 하나 이상의 딥-러닝 모델들을 사용하여 하나 이상의 외과수술 도구들의 존재를 검출한다. 도구 팁의 초기 위치를 결정한 후에, 시스템은 초기 위치로부터의 도구 팁의 움직임을 추적하기 시작한다(단계(506)).
도구 팁의 움직임을 추적하는 동안, 시스템은, 도구 팁의 현재 위치가 뷰잉 윈도우의 가장자리 가까이에 있는지 그리고 그에 따라 스크린-밖으로 가려고 하는지 여부를 계속 결정한다(단계(508)). 예를 들어, 시스템은 현재 도구 팁 위치와 뷰잉 윈도우의 가장자리 사이의 거리와 비교될 수 있는 임계 거리를 설정할 수 있다. 뷰잉 윈도우의 가장자리까지의 거리가 임계 거리 미만이면, 시스템은 도구 팁이 스크린 밖으로 움직이려고 한다고 간주할 수 있다. 이어서, 시스템은 도구 팁의 현재 위치에 기초하여 고해상도 내시경 비디오 내의 새로운 관심 영역(ROI)을 선택한다(단계(510)). 이와 달리, 시스템이, 도구 팁이 스크린-밖으로 가려고 하지 않는다고 결정하는 경우, 시스템은 단계(506)로 복귀하고 도구 팁의 움직임을 계속 추적한다. 다음으로, 시스템은 뷰잉 윈도우를 현재 위치로부터 새로운 ROI로 자동으로 리포지셔닝하여, 도구 팁이 디스플레이의 중심에 또는 중심에 더 가까이 돌아오게 한다(단계(512)). 게다가, 뷰잉 윈도우를 초기 리포지셔닝한 후에, 시스템은 도구 팁의 검출된 움직임에 기초하여 뷰잉 윈도우의 포지션을 계속 조정함으로써 도구 팁의 움직임을 시각적으로 따라갈 수 있다.
부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 디스플레이하는 동안 외과수술 도구 움직임들을 검출하고 검출된 도구 움직임들에 기초하여 뷰잉 윈도우를 자동으로 리포지셔닝하는 것에 더하여, 개시된 시스템은 또한, 외과 의사의 시선을 검출 및 추적하고 디스플레이 상의 외과 의사의 시선/포커스의 위치에 기초하여 뷰잉 윈도우를 자동으로 리포지셔닝하기 위한 눈-추적 모듈과 통합될 수 있다. 일부 실시예들에서, 개시된 시스템의 눈-추적 모듈은 외과 의사의 눈 및 머리 움직임들을 분석한 것에 기초하여 시선의 위치, 즉, 외과 의사가 현재 보고 있는 디스플레이 상의 위치(즉, 시선의 초점)를 결정할 수 있다. 예를 들어, 개시된 시스템은 외과 의사를 향해 가리키고 있는 디스플레이 상에 또는 디스플레이 가까이에 설치된 카메라를 포함할 수 있으며, 이는 외과 시술 동안 외과 의사의 눈들 및 머리의 비디오들을 캡처할 수 있다. 따라서, 개시된 시스템의 눈-추적 모듈은 외과 의사의 눈들 및 머리의 캡처된 비디오 이미지들을 프로세싱하여, 디스플레이 상의 외과 의사의 시선의 위치들을 결정할 수 있다.
일부 실시예들에서, 디스플레이 상의 외과 의사의 시선의 위치가 변경되었다고 결정되는 경우, 개시된 시스템은 뷰잉 윈도우를 고해상도 내시경 뷰 내의 새로운 ROI로 리포지셔닝한다. 뷰잉 윈도우를 새로운 ROI로 리포지셔닝한 후에, 부분-몰입-뷰는 디스플레이 상의 외과 의사의 시선의 새로운 위치 주위에 중심을 둘 수 있다. 게다가, 외과 의사의 시선이, 예컨대, 수직 방향, 수평 방향, 또는 각도 방향 중 하나로 움직임에 따라, 개시된 시스템의 눈-추적 모듈은, 디스플레이 상의 외과 의사의 시선의 현재 위치를 계속 결정함으로써 그리고 뷰잉 윈도우를 그것이 외과 의사의 시선의 현재 위치 주위에 중심을 두도록 계속 리포지셔닝함으로써 시선을 "따라갈" 수 있으며, 이에 의해 외과 의사의 시선을 따라가는 뷰잉 윈도우의 매끄러운 움직임을 생성할 수 있다. 일부 실시예들에서, 눈-추적 모듈은 외과 의사의 눈들 및 머리의 캡처된 이미지들을 분석함으로써 외과 의사의 시선의 위치를 결정하는 데 사용될 수 있는 하나 이상의 딥-러닝 모델들을 포함한다. 이들 딥-러닝 모델들 각각은 회귀 모델, 딥 뉴럴 네트워크-기반 모델, 서포트 벡터 머신, 결정 트리, 나이브 베이즈 분류기, 베이시안 네트워크, 또는 KNN 모델을 포함할 수 있다. 일부 실시예들에서, 이들 딥-러닝 모델들 각각은 콘볼루션 신경망(CNN) 아키텍처, 순환 신경망(RNN) 아키텍처, 또는 다른 형태의 딥 뉴럴 네트워크(DNN) 아키텍처에 기초하여 구성된다.
알 수 있는 바와 같이, 자동 시선 추적 및 뷰잉 윈도우 리포지셔닝을 수행함으로써, 개시된 시스템은 외과 의사가 단순히 시선을 변경함으로써 고해상도 내시경 비디오 내에서 뷰잉 윈도우를 직접 제어하고 움직일 수 있게 한다. 이러한 방식으로, 현재의 부분-몰입-뷰는 외과 의사의 시선에 대응하는 디스플레이 상의 위치 주위에 중심을 둔 채로 머무를 수 있다. 시선을 사용하여 뷰잉 윈도우의 포지션을 직접 제어하는 것은 외과 의사가 뷰잉 윈도우를 수동으로 리포지셔닝해야 할 필요를 없애준다는 것에 유의한다. 게다가, 시선을 사용하여 뷰잉 윈도우의 포지션을 제어할 때, 전술된 도구-추적-기반 리포지셔닝 기능성이 사용불가능해질 수 있다. 추가로, FOV들 내의 외과수술 도구들이 움직이고 있지 않지만 외과 의사가 고해상도 비디오의 다른 영역을 보고 싶어 하는 경우에, 시선을 사용하여 뷰잉 윈도우의 포지션을 제어하는 것은 간단하지만 매우 효과적인 솔루션을 제공한다.
도 6은 본 명세서에 설명된 일부 실시예들에 따른, 디스플레이 상에서 사용자의 포커스/시선을 추적하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하기 위한 예시적인 프로세스(600)를 예시하는 흐름도를 제시한다. 하나 이상의 실시예들에서, 도 6의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나 상이한 순서로 수행될 수 있다. 따라서, 도 6에 도시된 단계들의 특정 배열은 본 기법의 범주를 제한하는 것으로 해석되어서는 안 된다. 게다가, 내시경 비디오를 뷰잉 및 프로세싱하는 관점에서 설명되었지만, 도 6과 관련하여 설명된 프로세스 및 일반적인 개념은 분명히 단지 내시경 비디오들에만 제한되는 것은 아니다. 대체적으로, 도 6과 관련하여 설명된 프로세스 및 일반적인 개념은 내시경 검사 비디오들, 복강경 검사 비디오들, 관절경 검사 비디오들, 및 개복 외과수술 비디오들을 포함하지만 이에 제한되지 않는 임의의 유형의 의료 시술 비디오들에 적용될 수 있다.
도 6에서 알 수 있는 바와 같이, 프로세스(600)는 전술된 부분-몰입-뷰 모드에서 풀 해상도 내시경 비디오 이미지들의 일부분을 더 낮은 해상도의 디스플레이 상에 디스플레이함으로써 시작한다(단계(602)). 다시 말하면, 고해상도 비디오 이미지들의 부분은 비디오 이미지들의 그 부분을 다운샘플링하지 않으면서 원래 해상도로 디스플레이되고 있다. 일부 실시예들에서, 디스플레이되고 있는 고해상도 비디오 이미지들의 부분은 고해상도 비디오 이미지들의 중심 면적에 있는 것이다. 부분-몰입-뷰 모드에 있는 동안, 프로세스(600)는 또한 사용자의 시선을 검출하고, 후속하여 디스플레이 상의 사용자 시선(예컨대, 사용자 시선의 초점)의 초기 위치를 결정한다(단계(604)). 일부 실시예들에서, 시스템은 하나 이상의 딥-러닝 모델들을 사용하여 사용자의 눈들 및 머리의 캡처된 이미지들을 분석함으로써 디스플레이 상의 사용자 시선의 위치를 결정한다. 사용자 시선의 초기 위치를 결정한 후에, 시스템은, 예컨대 딥-러닝-기반 시선-추적 기법을 사용함으로써, 초기 위치로부터 사용자 시선의 움직임을 추적하기 시작한다(단계(606)).
다음으로, 시스템은 사용자 시선이 이전에 결정된 위치로부터 새로운 위치로 이동했는지 여부를 결정한다(단계(608)). 그렇지 않은 경우, 시스템은 단계(606)로 복귀하고 사용자 시선을 계속 추적한다. 그러나, 시스템이 사용자 시선이 이동했다고 결정하는 경우, 시스템은 사용자 시선의 현재 위치에 기초하여 고해상도 비디오 내의 새로운 관심 영역(ROI)을 선택한다(단계(610)). 다음으로, 시스템은 뷰잉 윈도우를 현재 위치로부터 새로운 ROI로 자동으로 리포지셔닝하여, 사용자 시선을 디스플레이의 중심 가까이에 유지시킨다(단계(612)).
각각의 고해상도 내시경 뷰가 유한 범위를 갖는 것에 유의한다. 전술된 리포지셔닝 프로세스들에 대하여, 수동으로 수행되든지 또는 자동으로 수행되든지, 뷰잉 윈도우의 리포지셔닝의 범위는 내시경 뷰의 치수들에 의해 제한된다. 따라서, 새로운 ROI가 내시경 뷰의 경계에 접근하고 있을 때, 대응하는 뷰잉 윈도우는 내시경 뷰의 경계를 넘어가기 시작한다. 이는, 현재의 내시경 뷰가 외과 시술의 움직임들을 다루기에 충분하지 않고 내시경 카메라가 새로운 뷰/위치로 움직여질 필요가 있다는 표시이다. 일부 실시예들에서, 새로운 ROI의 위치가 내시경 뷰의 경계까지의 소정의 최소 거리를 초과할 때, 개시된 시스템은 내시경 카메라를 리포지셔닝하도록 사용자에게 경보를 발생할 수 있다. 내시경 카메라의 적절한 리포지셔닝 후에, 뷰잉 윈도우의 후속 리포지셔닝이 정상적으로 진행될 수 있도록, 새로운 ROI는 내시경 뷰의 조정된 경계 내에 남아있어야 한다.
도 7은 대상 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 예시한다. 컴퓨터 시스템(700)은 하나 이상의 프로세서들이 내부에 내장되거나 그에 결합된 클라이언트, 서버, 컴퓨터, 스마트폰, PDA, 랩톱, 또는 태블릿 컴퓨터, 또는 임의의 다른 종류의 컴퓨팅 디바이스일 수 있다. 그러한 컴퓨터 시스템은 다양한 유형들의 컴퓨터 판독가능 매체 및 다양한 다른 유형들의 컴퓨터 판독가능 매체를 위한 인터페이스들을 포함한다. 컴퓨터 시스템(700)은 버스(702), 프로세싱 유닛(들)(712), 시스템 메모리(704), ROM(read-only memory)(710), 영구 저장 디바이스(708), 입력 디바이스 인터페이스(714), 출력 디바이스 인터페이스(706), 및 네트워크 인터페이스(716)를 포함한다. 일부 실시예들에서, 컴퓨터 시스템(700)은 로봇 외과수술 시스템의 일부이다.
버스(702)는 컴퓨터 시스템(700)의 다수의 내부 디바이스들을 통신가능하게 연결하는 모든 시스템, 주변기기, 및 칩셋 버스들을 총괄적으로 표현한다. 예를 들어, 버스(702)는 프로세싱 유닛(들)(712)을 ROM(710), 시스템 메모리(704), 및 영구 저장 디바이스(708)와 통신가능하게 연결한다.
이들 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(712)은, 도 2b 및 도 3 내지 도 6과 관련하여 디스플레이 상에서 스크린-밖 이벤트를 검출하는 동안, 외과수술 도구의 움직임을 추적하는 동안, 또는 사용자의 포커스/시선을 추적하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하는 전술된 프로세스들을 포함하는, 본 특허 발명에 설명된 다양한 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다. 프로세싱 유닛(들)(712)은, 마이크로프로세서, GPU(graphics processing unit), TPU(tensor processing unit), IPU(intelligent processor unit), DSP(digital signal processor), FPGA(field-programmable gate array), 및 ASIC(application-specific integrated circuit)를 포함하지만 이들로 제한되지 않는 임의의 유형의 프로세서를 포함할 수 있다. 프로세싱 유닛(들)(712)은 상이한 구현예들에서 단일 프로세서 또는 멀티-코어 프로세서일 수 있다.
ROM(710)은 프로세싱 유닛(들)(712) 및 컴퓨터 시스템의 다른 모듈들에 의해 필요로 되는 정적 데이터 및 명령어들을 저장한다. 다른 한편으로, 영구 저장 디바이스(708)는 판독-기입 메모리 디바이스(read-and-write memory device)이다. 이러한 디바이스는 컴퓨터 시스템(700)이 꺼질 때에도 명령어들 및 데이터를 저장하는 비휘발성 메모리 유닛이다. 본 발명의 일부 구현예들은 영구 저장 디바이스(708)로서 대용량 저장 디바이스(예컨대, 자기 또는 광 디스크, 및 그의 대응하는 디스크 드라이브)를 사용한다.
다른 구현예들은 영구 저장 디바이스(708)로서 착탈식 저장 디바이스(예컨대, 플로피 디스크, 플래시 드라이브, 및 그의 대응하는 디스크 드라이브)를 사용한다. 영구 저장 디바이스(708)와 마찬가지로, 시스템 메모리(704)는 판독-기입 메모리 디바이스이다. 그러나, 저장 디바이스(708)와 달리, 시스템 메모리(704)는 랜덤 액세스 메모리와 같은 휘발성 판독-기입 메모리이다. 시스템 메모리(704)는 프로세서가 런타임 시에 필요로 하는 명령어들 및 데이터의 일부를 저장한다. 일부 구현예들에서, 도 2b 및 도 3 내지 도 6과 관련하여 디스플레이 상에서 스크린-밖 이벤트를 검출하는 동안, 외과수술 도구의 움직임을 추적하는 동안, 또는 사용자의 포커스/시선을 추적하는 동안, 부분-몰입-뷰 모드에서 고해상도 내시경 비디오를 더 낮은 기본 해상도의 디스플레이 상에 디스플레이하는 프로세스들을 포함하는, 본 특허 발명에 설명된 다양한 프로세스들은 시스템 메모리(704), 영구 저장 디바이스(708), 및/또는 ROM(710)에 저장된다. 이들 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(712)은 일부 구현예들의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다.
버스(702)는 또한 입력 디바이스들(714) 및 출력 디바이스들(706)에 연결된다. 입력 디바이스들(714)은 사용자가 컴퓨터 시스템으로 정보를 통신하고 컴퓨터 시스템에 대한 명령들을 선택할 수 있게 한다. 입력 디바이스들(714)은, 예를 들어, 영숫자 키보드들 및 포인팅 디바이스들("커서 제어 디바이스들"로도 불림)을 포함할 수 있다. 출력 디바이스들(706)은, 예를 들어, 컴퓨터 시스템(700)에 의해 생성된 이미지들의 디스플레이를 가능하게 한다. 출력 디바이스들(706)은, 예를 들어, 프린터들 및 디스플레이 디바이스들, 예컨대 CRT(cathode ray tube)들 또는 LCD(liquid crystal display)들을 포함할 수 있다. 일부 구현예들은 입력 및 출력 디바이스들 둘 모두로서 기능하는 터치스크린과 같은 디바이스들을 포함한다.
마지막으로, 도 7에 도시된 바와 같이, 버스(702)는 또한 컴퓨터 시스템(700)을 네트워크 인터페이스(716)를 통해 네트워크(도시되지 않음)에 결합시킨다. 이러한 방식으로, 컴퓨터는 컴퓨터들의 네트워크(예컨대, 근거리 네트워크("LAN"), 광역 네트워크("WAN"), 인트라넷, 또는 인터넷과 같은 네트워크들의 네트워크)의 일부일 수 있다. 컴퓨터 시스템(700)의 임의의 또는 모든 구성요소들은 본 발명과 함께 사용될 수 있다.
본 발명에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 둘 모두의 조합으로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 교환가능성을 명확하게 예시하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 대체적으로 그들의 기능성의 관점에서 전술되었다. 그러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과되는 특정 애플리케이션 및 설계 제약들에 의존한다. 숙련자들은 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들은 본 발명의 범주로부터 벗어나는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 태양들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들, 및 회로들을 구현하는 데 사용되는 하드웨어는 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안예에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 기계일 수 있다. 프로세서는 또한 수신기 디바이스들의 조합, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 관련한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 대안적으로, 일부 단계들 또는 방법들은 주어진 기능에 특징적인 회로부에 의해 수행될 수 있다.
하나 이상의 예시적인 태양들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드로서 비일시적 컴퓨터 판독가능 저장 매체 또는 비일시적 프로세서 판독가능 저장 매체 상에 저장될 수 있다. 본 명세서에 개시된 방법 또는 알고리즘의 단계들은 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체 상에 존재할 수 있는 프로세서 실행가능 명령어들로 구현될 수 있다. 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 저장 매체일 수 있다. 제한이 아닌 예로서, 그러한 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본 명세서에 사용되는 바와 같은 디스크(Disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크, 및 블루-레이 디스크를 포함하며, 여기서 디스크(Disk)들은 보통 데이터를 자기적으로 재생하는 반면 디스크(disc)들은 레이저들을 사용하여 데이터를 광학적으로 재생한다. 상기의 조합들은 또한 비일시적 컴퓨터 판독가능 및 프로세서 판독가능 매체의 범주 내에 포함된다. 추가적으로, 방법 또는 알고리즘의 동작들은 컴퓨터 프로그램 제품에 통합될 수 있는 비일시적 프로세서 판독가능 저장 매체 및/또는 컴퓨터 판독가능 저장 매체 상에 하나 또는 임의의 조합 또는 세트의 코드 및/또는 명령어들로서 존재할 수 있다.
본 특허 문헌이 많은 구체적인 사항들을 포함하지만, 이들은 임의의 개시된 기술 또는 청구될 수 있는 것의 범주에 대한 제한들로서 해석되어서는 안 되며, 오히려 특정 기법들의 특정 실시예들에 특정적일 수 있는 특징부들의 설명으로서 해석되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문헌에 설명된 소정의 특징부들은 또한 단일 실시예에서 조합되어 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징부들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 게다가, 특징부들이 소정의 조합으로 작용하는 것으로 전술되었고 그리고 심지어 초기에 그와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징부들이 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형으로 지향될 수 있다.
유사하게, 동작들이 도면에 특정 순서로 묘사되어 있지만, 이는, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나, 또는 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 게다가, 본 특허 문헌에 설명된 실시예들에서의 다양한 시스템 구성요소들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 소수의 구현예들 및 예들이 설명되며, 본 특허 문헌에 설명되고 예시된 것에 기초하여 다른 구현예들, 향상들 및 변형들이 이루어질 수 있다.

Claims (20)

  1. 제1 해상도로 캡처된 외과수술 비디오의 비디오 이미지들을 상기 제1 해상도보다 더 낮은 제2 해상도를 갖는 외과수술 시스템의 스크린 상에 디스플레이하기 위한 컴퓨터 구현 방법으로서,
    상기 제2 해상도와 동일하거나 실질적으로 동일한 해상도를 갖는 상기 비디오 이미지들의 제1 부분을 선택하는 단계;
    상기 비디오 이미지들의 제1 부분을 상기 스크린 상에 디스플레이하는 단계;
    상기 비디오 이미지들의 제1 부분을 디스플레이하는 동안, 사전결정된 이벤트들의 세트에 대하여 상기 스크린 상에 디스플레이되고 있지 않는 상기 비디오 이미지들의 제2 부분을 모니터링하는 단계 - 상기 비디오 이미지들의 제2 부분은 상기 사용자에게 가시적이지 않음 -; 및
    상기 사전결정된 이벤트들의 세트 내의 사전결정된 이벤트가 상기 비디오 이미지들의 제2 부분에서 검출될 때, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 상기 사용자에게 통지하는 단계를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 제1 해상도는 수평 치수 및 수직 치수 둘 모두에서 상기 제2 해상도보다 더 크고,
    상기 비디오 이미지들의 제1 부분은 실질적으로 상기 비디오 이미지들의 중심 부분인, 컴퓨터 구현 방법.
  3. 제1항에 있어서, 상기 비디오 이미지들의 제1 부분을 선택하는 단계는 상기 비디오 이미지들에 의해 캡처된 외과수술 도구의 팁(tip)에 중심을 둔 상기 비디오 이미지들의 일부분을 선택하는 단계를 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서, 상기 비디오 이미지들의 제1 부분을 디스플레이하는 단계 동안, 상기 비디오 이미지들의 제1 부분은 상기 스크린 상에 임의의 빈 공간을 남기지 않으면서 상기 스크린의 풀(full) 디스플레이 면적을 차지하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서, 상기 사전결정된 이벤트들의 세트에 대하여 상기 비디오 이미지들의 제2 부분을 모니터링하는 단계는, 상기 사전결정된 이벤트들의 세트 각각을 검출하기 위해 하나 이상의 머신-러닝 모델(machine-learning model)들을 사용하여 상기 비디오 이미지들의 제2 부분을 프로세싱하는 단계를 포함하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서, 상기 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 상기 사용자에게 통지하는 단계는 상기 스크린 상에 경고 메시지를 디스플레이하여 상기 사용자가 적절한 액션(action)을 취하도록 촉구하는 단계를 포함하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 스크린 상의 상기 경보는 상기 사용자에게 상기 스크린-밖 이벤트가 검출된 방향을 보여주기 위한 방향 표시자를 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 스크린-밖 이벤트가 검출될 때, 상기 방법은, 상기 스크린 상의 뷰(view)를 상기 비디오 이미지들의 제1 부분으로부터 상기 검출된 스크린-밖 이벤트를 포함하는 상기 비디오 이미지들의 제3 부분으로 즉각적으로 변경하는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
  9. 제8항에 있어서, 상기 비디오 이미지들의 제3 부분은 상기 비디오 이미지들의 제1 부분 및 제2 부분과 중첩하고 상기 비디오 이미지들의 제1 부분과 동일한 크기를 갖는, 컴퓨터 구현 방법.
  10. 제1항에 있어서, 상기 스크린-밖 이벤트가 검출될 때, 상기 방법은, 상기 스크린 상의 뷰를 상기 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 즉각적으로 변경하여 상기 검출된 스크린-밖 이벤트를 상기 사용자에게 가시적이게 하는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
  11. 제1항에 있어서, 상기 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 상기 사용자에게 통지하는 단계 이후에, 상기 방법은,
    상기 사용자에게, 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 상기 검출된 스크린-밖 이벤트를 포함하는 상기 비디오 이미지들의 다른 부분으로 변경하는 것 또는 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 변경하는 것 중 어느 하나에 대한 선택 옵션을 제공하는 단계;
    상기 선택 옵션에 응답하여 사용자 선택을 수신하는 단계; 및
    상기 수신된 사용자 선택에 기초하여 상기 스크린 상의 상기 뷰를 변경하여 상기 검출된 스크린-밖 이벤트를 상기 사용자에게 가시적이게 하는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
  12. 제1항에 있어서, 상기 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 상기 사용자에게 통지하는 단계 이후에, 상기 방법은, 상기 사용자가 상기 경보에 응답하여 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 상기 검출된 스크린-밖 이벤트를 포함하는 상기 비디오 이미지들의 다른 부분으로 수동으로 변경하게 하는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
  13. 제1항에 있어서, 상기 사전결정된 이벤트들의 세트는 외과수술 연기(surgical smoke) 및 출혈을 포함하는, 컴퓨터 구현 방법.
  14. 제1항에 있어서, 상기 사전결정된 이벤트들의 세트는, (1) 스크린-밖에서 검출된 외과수술 도구의 죄는 부분(jaw)들이 폐쇄되어 있는지 또는 개방되어 있는지 여부; 및 (2) 스크린-밖에서 검출된 외과수술 도구의 팁이 중요한 해부학적 구조에 너무 가까운지 여부를 추가로 포함하는 외과수술 도구-관련 이벤트들의 세트를 포함하는, 컴퓨터 구현 방법.
  15. 제14항에 있어서, 상기 검출된 사전결정된 이벤트가 상기 외과수술 도구-관련 이벤트들의 세트 중 하나인 경우, 상기 방법은, 즉각적으로 상기 검출된 외과수술 도구-관련 이벤트와 연관된 외과수술 도구의 기능성들을 비활성화하거나 또는 그의 모션(motion)을 잠그는 단계를 추가로 포함하는, 컴퓨터 구현 방법.
  16. 제1항에 있어서, 상기 외과수술 비디오는,
    내시경 외과수술 비디오;
    복강경 외과수술 비디오;
    로봇 외과수술 비디오; 및
    개복 외과수술 비디오 중 하나인, 컴퓨터 구현 방법.
  17. 외과수술 비디오를 디스플레이하기 위한 시스템으로서,
    하나 이상의 프로세서들; 및
    기본 해상도를 갖는 스크린을 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 스크린 상에 디스플레이하기 위해, 제1 해상도로 캡처된 일련의 비디오 이미지들을 포함하는 외과수술 비디오를 수신하도록 - 상기 제1 해상도는 상기 스크린의 기본 해상도보다 큼 -;
    상기 일련의 비디오 이미지들 내의 각각의 비디오 이미지에 대해, 상기 스크린 상에 디스플레이하기 위해, 상기 기본 해상도와 동일하거나 실질적으로 동일한 해상도를 갖는 상기 비디오 이미지의 제1 부분을 선택하도록;
    상기 비디오 이미지들의 제1 부분을 디스플레이하는 동안, 사전결정된 이벤트들의 세트에 대하여 상기 스크린 상에 디스플레이되고 있지 않는 상기 비디오 이미지들의 제2 부분을 모니터링하도록 - 상기 비디오 이미지들의 제2 부분은 상기 사용자에게 가시적이지 않음 -; 그리고
    상기 사전결정된 이벤트들의 세트 내의 사전결정된 이벤트가 상기 비디오 이미지들의 제2 부분에서 검출되는 경우, 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 상기 사용자에게 통지하도록 구성되는, 시스템.
  18. 제17항에 있어서, 상기 스크린-밖 이벤트가 검출될 때, 상기 하나 이상의 프로세서들은, 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 상기 검출된 스크린-밖 이벤트를 포함하는 상기 비디오 이미지들의 제3 부분으로 즉각적으로 변경하도록 추가로 구성되는, 시스템.
  19. 제17항에 있어서, 상기 스크린-밖 이벤트가 검출될 때, 상기 하나 이상의 프로세서들은, 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 즉각적으로 변경하여 상기 검출된 스크린-밖 이벤트를 상기 사용자에게 가시적이게 하도록 추가로 구성되는, 시스템.
  20. 제17항에 있어서, 상기 경보를 생성하여 스크린-밖 이벤트가 검출되었다는 것을 상기 사용자에게 통지한 이후에, 상기 하나 이상의 프로세서들은,
    상기 사용자에게, 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 상기 검출된 스크린-밖 이벤트를 포함하는 상기 비디오 이미지들의 다른 부분으로 변경하는 것 또는 상기 스크린 상의 상기 뷰를 상기 비디오 이미지들의 제1 부분으로부터 감소된 해상도로 디스플레이되는 풀 비디오 이미지들로 변경하는 것 중 어느 하나에 대한 선택 옵션을 제공하도록;
    상기 선택 옵션에 응답하여 사용자 선택을 수신하도록; 그리고
    상기 수신된 사용자 선택에 기초하여 상기 스크린 상의 상기 뷰를 변경하여 상기 검출된 스크린-밖 이벤트를 상기 사용자에게 가시적이게 하도록 추가로 구성되는, 시스템.
KR1020217034324A 2019-03-21 2019-04-03 내시경 비디오 뷰 내에서 뷰잉가능 면적을 자동으로 리포지셔닝하기 위한 방법 및 시스템 KR20210132734A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/361,075 US11026561B2 (en) 2019-03-21 2019-03-21 Method and system for automatically repositioning a viewable area within an endoscope video view
US16/361,075 2019-03-26
PCT/US2019/025673 WO2020197569A1 (en) 2019-03-21 2019-04-03 Method and system for automatically repositioning a viewable area within an endoscope video view

Publications (1)

Publication Number Publication Date
KR20210132734A true KR20210132734A (ko) 2021-11-04

Family

ID=72514921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217034324A KR20210132734A (ko) 2019-03-21 2019-04-03 내시경 비디오 뷰 내에서 뷰잉가능 면적을 자동으로 리포지셔닝하기 위한 방법 및 시스템

Country Status (5)

Country Link
US (4) US11026561B2 (ko)
EP (1) EP3948778A4 (ko)
KR (1) KR20210132734A (ko)
CN (1) CN113906475A (ko)
WO (1) WO2020197569A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11026561B2 (en) * 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
US20220039806A1 (en) 2020-08-10 2022-02-10 Kunnskap Medical, LLC Endoscopic system with component control
EP4002389A1 (en) * 2020-11-17 2022-05-25 TRUMPF Medizin Systeme GmbH + Co. KG Operating room control and communication system
US20220189626A1 (en) * 2020-12-11 2022-06-16 Advanced Neuromodulation Systems, Inc. Systems and methods for detecting and addressing quality issues in remote therapy sessions
DE102022104138A1 (de) * 2022-02-22 2023-08-24 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung, medizinisches System, Verfahren zum Betrieb einer medizinischen Bildgebungsvorrichtung und Verfahren zur medizinischen Bildgebung

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5148022B1 (ko) 1969-08-20 1976-12-18
JP4042414B2 (ja) 2002-01-17 2008-02-06 コニカミノルタホールディングス株式会社 医用画像処理装置、医用画像処理方法、プログラム、及び記憶媒体
JP2005334090A (ja) 2004-05-24 2005-12-08 Olympus Corp 内視鏡検査システム
GB0709329D0 (en) 2007-05-15 2007-06-20 Ipsotek Ltd Data processing apparatus
WO2010102197A2 (en) * 2009-03-05 2010-09-10 Cynosure, Inc. Thermal surgical monitoring
EP2620091B1 (en) 2010-09-22 2018-06-27 Olympus Corporation Temperature control apparatus for endoscope
US8702592B2 (en) * 2010-09-30 2014-04-22 David Allan Langlois System and method for inhibiting injury to a patient during laparoscopic surgery
KR101987820B1 (ko) * 2012-10-05 2019-06-11 삼성전자주식회사 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
US10932657B2 (en) * 2014-04-02 2021-03-02 Transenterix Europe S.A.R.L. Endoscope with wide angle lens and adjustable view
JP6485694B2 (ja) * 2015-03-26 2019-03-20 ソニー株式会社 情報処理装置および方法
CN108366714A (zh) * 2015-04-20 2018-08-03 美的洛博迪克斯公司 铰接式机器人探头
US11638615B2 (en) * 2015-08-30 2023-05-02 Asensus Surgical Us, Inc. Intelligent surgical tool control system for laparoscopic surgeries
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
KR102376787B1 (ko) 2017-06-14 2022-03-22 한국전자통신연구원 병변 영역을 판단하는 캡슐 내시경 및 수신 장치
EP3795058B1 (en) * 2018-05-14 2022-06-15 FUJIFILM Corporation Image processing device, endoscope system, and image processing method
US20200273560A1 (en) * 2019-02-21 2020-08-27 Theator inc. Surgical image analysis to determine insurance reimbursement
US11026561B2 (en) * 2019-03-21 2021-06-08 Verb Surgical Inc. Method and system for automatically repositioning a viewable area within an endoscope video view

Also Published As

Publication number Publication date
US20210290038A1 (en) 2021-09-23
US11818510B2 (en) 2023-11-14
EP3948778A1 (en) 2022-02-09
US20240106988A1 (en) 2024-03-28
US11426056B2 (en) 2022-08-30
EP3948778A4 (en) 2023-04-26
US20200304753A1 (en) 2020-09-24
US20220377373A1 (en) 2022-11-24
CN113906475A (zh) 2022-01-07
US11026561B2 (en) 2021-06-08
WO2020197569A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US11818510B2 (en) Monitoring adverse events in the background while displaying a higher resolution surgical video on a lower resolution display
US11977678B2 (en) Robotic system providing user selectable actions associated with gaze tracking
US20230121709A1 (en) Method and system for controlling and displaying video streams
US20200162664A1 (en) Input control device, input control method, and operation system
US20200205901A1 (en) Instrument path guidance using visualization and fluorescence
US11633247B2 (en) Graphical user guidance for a robotic surgical system
US11960645B2 (en) Methods for determining if teleoperation should be disengaged based on the user's gaze
US20220215539A1 (en) Composite medical imaging systems and methods
US20220117662A1 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
US20230186574A1 (en) Systems and methods for region-based presentation of augmented content
US20230240764A1 (en) User input systems and methods for a computer-assisted medical system
US11488382B2 (en) User presence/absence recognition during robotic surgeries using deep learning
US20230225804A1 (en) Systems and methods for tag-based instrument control
US20210038329A1 (en) Augmented reality using eye tracking in a robot assisted srugical system