KR20240089660A - 수술 중 시각화를 위한 장치, 시스템 및 방법 - Google Patents

수술 중 시각화를 위한 장치, 시스템 및 방법 Download PDF

Info

Publication number
KR20240089660A
KR20240089660A KR1020247015798A KR20247015798A KR20240089660A KR 20240089660 A KR20240089660 A KR 20240089660A KR 1020247015798 A KR1020247015798 A KR 1020247015798A KR 20247015798 A KR20247015798 A KR 20247015798A KR 20240089660 A KR20240089660 A KR 20240089660A
Authority
KR
South Korea
Prior art keywords
live video
frame
stream
graphics
blended
Prior art date
Application number
KR1020247015798A
Other languages
English (en)
Inventor
베른하르트 아돌프 퓌르스트
버크 고넨크
리스토 코제시브
파블로 가르시아 킬로이
벤자민 산커
펠릭스 보크
Original Assignee
버브 서지컬 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버브 서지컬 인크. filed Critical 버브 서지컬 인크.
Publication of KR20240089660A publication Critical patent/KR20240089660A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00027—Operational features of endoscopes characterised by power management characterised by power supply
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)

Abstract

의료 디바이스로부터의 라이브 비디오 스트림의 비디스플레이(non-display) 또는 불명확함을 초래하는 블렌딩된 스트림에서의 에러는 자동으로 검출될 수 있고, 제1 라이브 비디오 스트림에 대응하는 페일오버 스트림(failover stream)이 의료진에게 디스플레이될 수 있다. 예를 들어, 블렌딩되고 있는 하나 이상의 제2 입력 스트림은 블렌딩된 스트림이 라이브 비디오 스트림을 디스플레이하지 않는 것(또는 불명확함)을 초래할 수 있는 데이터를 포함하지 않거나, 유효하지 않은 데이터를 포함할 수 있다(블렌딩된 것이 디스플레이된 경우). 블렌딩으로부터 페일오버 버퍼로의 전환은 단일 비디오 이미지 프레임을 처리하는 시간 내에 발생할 수 있다. 블렌딩된 스트림이 라이브 비디오 스트림을 디스플레이하지 않는다는 것을 감지하면(디스플레이 전), 페일오버 버퍼로부터 라이브 비디오 스트림의 디스플레이가 개시될 수 있다. 다른 양태가 또한 기재되고 청구된다.

Description

수술 중 시각화를 위한 장치, 시스템 및 방법
본원에 개시된 요지는 수술 중 시각화에 관한 것이며, 특히 수술 중(intraoperative) 시각화 시스템에서 내결함성(fault tolerance)을 향상시키는 장치, 시스템, 및 방법에 관한 것이다.
시각화 시스템은 종종 조직 이미징, 생검 수행, 수술, 진단 및/또는 다른 의료 절차를 위해 수술 중에 사용된다. 본원에서 사용되는 용어 "수술 중"은 임의의 의료 절차(침습적 또는 비침습적) 동안 발생한 수행된 행위 또는 이벤트를 지칭한다. 시각화 시스템이 다수의 스트림을 믹싱하고 블렌딩하는 상황에서, 예기치 않은 장애(failure)는 의료진에게 이미지가 보여지지 않는 것을 초래할 수 있다. 시각화는 종종 많은 의료 절차의 수행에 핵심적이기 때문에, 장애는 절차 수행에 해로운 영향을 미쳐 지연을 야기하고, 에러 가능성을 높이고, 흐름을 방해하고, 디바이스 이용률을 낮추고, 일부 경우에서 절차가 중단되는 것으로 이어지게 할 수 있다. 따라서, 본원에 개시된 일부 실시형태는 수술 중 시각화 시스템에서의 내결함성을 향상시킴으로써 안전성 및 효능을 향상시킨다.
일부 실시형태에서, 방법은: 알파 채널을 갖는 하나 이상의 그래픽 스트림을 수신하는 것으로서, 그래픽 스트림은 하나 이상의 그래픽 프레임을 포함하는, 상기 수신하는 것; 라이브 비디오 프레임을 포함하는 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하는 것으로서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 의료 디바이스로부터 수신되는, 상기 수신하는 것; 적어도 하나의 현재 그래픽 프레임을 제1 버퍼 내에 저장하는 것; 제1 버퍼로부터의 적어도 하나의 현재 그래픽 프레임을 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하는 것; 및 블렌딩이 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이(non-display)를 초래할 것이라는 동시적 결정에 응답하여, 현재 라이브 비디오 프레임의 디스플레이를 수술 중 절차 동안 실시간으로 개시하는 것을 포함할 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 두 개의 수술 중 라이브 비디오 스트림을 믹싱함으로써 획득될 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 입체 라이브 비디오 스트림을 포함할 수 있다.
일부 실시형태에서, 상기 방법은, 에러 표시와 함께 적어도 하나의 현재 라이브 비디오 프레임을 실시간으로 디스플레이하는 것을 추가로 포함할 수 있다.
일부 실시형태에서, 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 적어도 하나의 현재 그래픽 프레임과 적어도 하나의 현재 라이브 비디오 프레임의 블렌딩을 완료하는 시간 내에 발생할 수 있다. 일부 실시형태에서, 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대한 적어도 하나의 블렌딩된 프레임 내의 실선(solid line)의 수의 비율에 기초할 수 있다. 예를 들어, 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 비율이 임계치를 초과할 때 이루어질 수 있다.
일부 실시형태에서, 블렌딩이 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 초래할 것이라는 결정에 응답하여, 적어도 하나의 블렌딩된 프레임의 디스플레이가 개시될 수 있다. 예를 들어, 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하는 결정은 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대해 적어도 하나의 블렌딩된 프레임 내의 실선의 수의 비율이 임계치를 초과하지 않을 때 이루어질 수 있다.
일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하는 것은: 선택적으로 적어도 하나의 현재 라이브 비디오 프레임을 적어도 하나의 제2 버퍼 내에 저장하는 것; 또는 적어도 하나의 현재 라이브 비디오 프레임을 다운샘플링하고, 적어도 하나의 다운샘플링된 현재 라이브 비디오 프레임을 적어도 하나의 제3 버퍼 내에 저장하는 것; 또는 그의 조합 중 적어도 하나를 포함할 수 있다. 일부 실시형태에서, 다운샘플링은 실시간으로 수행될 수 있다.
또 다른 양태에 있어서, 장치는: 적어도 하나의 메모리로서, 복수의 버퍼를 포함하는, 메모리, 및 메모리에 결합된 프로세서를 포함할 수 있고, 프로세서는: 알파 채널을 갖는 하나 이상의 그래픽 스트림을 수신하고, 여기서, 그래픽 스트림은 하나 이상의 그래픽 프레임을 포함하며; 라이브 비디오 프레임을 포함하는 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하고, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 의료 디바이스로부터 수신되고; 적어도 하나의 현재 그래픽 프레임을 제1 버퍼 내에 저장하고; 제1 버퍼로부터의 적어도 하나의 현재 그래픽 프레임을 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하고; 블렌딩이 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여, 현재 라이브 비디오 프레임의 디스플레이를 수술 중 절차 동안 실시간으로 개시하도록 구성된다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 두 개의 수술 중 라이브 비디오 스트림을 믹싱함으로써 획득될 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 입체 라이브 비디오 스트림을 포함할 수 있다. 일부 실시형태에서, 장치 및/또는 프로세서는 상술한 방법을 수행하도록 구성될 수 있다.
추가의 양태에서, 시스템은: 알파 채널을 갖는 하나 이상의 그래픽 스트림을 수신하는 수단으로서, 그래픽 스트림은 하나 이상의 그래픽 프레임을 포함하는, 수단; 라이브 비디오 프레임을 포함하는 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하는 수단으로서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 의료 디바이스로부터 수신되는, 수단; 적어도 하나의 현재 그래픽 프레임을 제1 버퍼링 수단 내에 저장하는 수단; 제1 버퍼링 수단으로부터의 적어도 하나의 현재 그래픽 프레임을 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하는 수단; 및 블렌딩 수단의 출력이 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여, 현재 라이브 비디오 프레임의 디스플레이를 수술 중 절차 동안 실시간으로 개시하는 수단을 포함할 수 있다. 일부 실시형태에서, 로봇 의료 시스템은 본원에 기재된 방법을 수행하기 위한 수단을 포함할 수 있다.
추가의 양태에서, 시스템은: 적어도 하나의 메모리로서, 복수의 버퍼를 포함하는, 메모리, 및 메모리에 결합된 프로세서를 포함할 수 있고, 프로세서는: 알파 채널을 갖는 하나 이상의 그래픽 스트림을 수신하고, 여기서 그래픽 스트림은 하나 이상의 그래픽 프레임을 포함하며; 라이브 비디오 프레임을 포함하는 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하고, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 의료 디바이스로부터 수신되고; 적어도 하나의 현재 그래픽 프레임을 제1 버퍼 내에 저장하고; 제1 버퍼로부터의 적어도 하나의 현재 그래픽 프레임을 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하고; 블렌딩이 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여, 현재 라이브 비디오 프레임의 디스플레이를 수술 중 절차 동안 실시간으로 개시하도록 구성된다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 두 개의 수술 중 라이브 비디오 스트림을 믹싱함으로써 획득될 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 입체 라이브 비디오 스트림을 포함할 수 있다. 일부 실시형태에서, 장치 및/또는 프로세서는 본원에 기재된 방법을 수행하도록 구성될 수 있다.
일부 실시형태에서, 컴퓨터 판독 가능 매체는 프로세서가: 알파 채널을 갖는 하나 이상의 그래픽 스트림을 수신하고, 여기서, 그래픽 스트림은 하나 이상의 그래픽 프레임을 포함하며; 라이브 비디오 프레임을 포함하는 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하고, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 의료 디바이스로부터 수신되고; 적어도 하나의 현재 그래픽 프레임을 제1 버퍼 내에 저장하고; 제1 버퍼로부터의 적어도 하나의 현재 그래픽 프레임을 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하고; 블렌딩이 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여 현재 라이브 비디오 프레임의 디스플레이를 수술 중 절차 동안 실시간으로 개시하도록 구성하기 위한 명령어를 포함할 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 두 개의 수술 중 라이브 비디오 스트림을 믹싱함으로써 획득될 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 입체 라이브 비디오 스트림을 포함할 수 있다. 일부 실시형태에서, 컴퓨터 판독 가능 매체는 프로세서가 본원에 기재된 방법을 수행하도록 구성하기 위한 명령어를 포함할 수 있다.
본 발명의 실시형태는 도면을 참조하여 단지 예로서 기재될 것이다.
도 1은 본원에 개시된 특정 실시형태에 따른 수술 중 시각화를 위한 예시적인 시스템을 예시하는 예시도를 도시한다.
도 2a 및 도 2b는 내결함성 수술 중 시각화를 용이하게 하기 위한 장치의 예시적인 실시형태의 개략적인 블록도를 도시한다.
도 3은 내결함성 수술 중 시각화를 용이하게 하기 위한 장치의 기능 블록 사이의 신호 흐름을 도시하는 예시도를 도시한다.
도 4는 페일오버 기능성을 사용하여 내결함성 수술 중 시각화를 용이하게 하기 위한 예시적인 방법의 흐름도를 도시한다.
도 5a 및 도 5b는 내결함성 수술 중 시각화를 용이하게 하기 위한 시스템의 동작을 예시하는 예시적인 이미지를 도시한다.
도 6은 본원에 개시된 특정 실시형태에 따른 수술 중 시각화를 위한 시스템과 연관된 예시적인 소프트웨어 아키텍처를 도시한다.
도 7은 본원에 개시된 특정 실시형태에 따른 내결함성 수술 중 시각화를 용이하게 하기 위한 예시적인 방법의 흐름도를 도시한다.
다양한 도면에서의 유사 참조 번호 및 기호는 특정 실시형태에 따른 유사 요소를 표시한다. 또한, 기능적 요소의 다수의 경우는 문자로 또는 하이픈과 두 번째 숫자로 요소에 대한 첫 번째 숫자 뒤에 표시될 수 있다. 예를 들어, 요소(160)의 다수의 경우는 160-1, 160-2, 160-3 등으로 표시될 수 있다. 첫 번째 숫자만을 사용하여 이러한 요소를 지칭할 때, 요소의 임의의 인스턴스(instance)가 이해되어야 한다(예를 들어, 이전 예에서 요소(160)는 요소(160-1, 160-2, 및/또는 160-3)를 지칭할 것이다).
일부 개시된 실시형태는 수술 중 시각화를 용이하게 하기 위한 장치, 시스템, 및 방법에 관한 것이다. 일부 실시형태에서, 다수의 그래픽 및 비디오 스트림으로부터의 입력이 수신될 수 있다. 그래픽 스트림은 기기 센서 데이터, 로봇 정보 및 파라미터(예를 들어, 로봇 보조 수술 동안), 저장된 데이터의 분석에 기초할 수 있는 인공 지능(AI) 엔진에 의해 제공되는 정보(예를 들어, 사전 수술 중 절차 동안 수집됨) 등을 포함할 수 있다. AI 엔진에 의해 제공되는 정보는 수술 중 지침, 제안, 경고, 및/또는 지원을 포함할 수 있다. 일부 실시형태에서, AI 정보는 증강(augmentation)의 형태로 제공될 수 있다(예를 들어, 수술 중 비디오 스트림을 통해 증강 현실(AR) 기술을 사용함). 비디오 스트림은 수술 전 이미지, 수술 중 의료 이미지, 수술 중 절차 동안 의료 디바이스(예컨대, 내시경)에 의해 획득된 비디오, 및/또는 수술실 카메라로부터의 비디오, 사용자 인터페이스와 연관된 그래픽 등을 포함할 수 있다. 일부 실시형태에서, 수술 중 비디오 스트림 중 하나 이상은 하나 이상의 그래픽 스트림과 (예를 들어, 알파 블렌딩 또는 α-블렌딩을 사용하여) 블렌딩되고 수술 중 절차의 수행을 용이하게 하기 위해 모니터, 헤드셋, 및/또는 휴대용 컴퓨팅 디바이스 중 하나 이상에서 의료진(예를 들어, 외과의)에게 디스플레이될 수 있다. 명확성을 위해, 의료 절차의 수행을 위해 사용되는 의료 디바이스(예컨대, 내시경)에 의해 수술 중에 획득되는 라이브 비디오는 또한 본원에서 제1 라이브 비디오 스트림 또는 제1 수술 중 라이브 비디오 스트림으로 지칭된다. "합성 스트림" 또는 "블렌딩된 스트림"이라는 용어는 제1 라이브 비디오 스트림과 그래픽 스트림을 블렌딩한 결과를 지칭하기 위해 사용된다.
일부 실시형태에서, 제1 라이브 비디오 스트림의 비디스플레이 또는 불명확함을 초래하는 블렌딩된 스트림에서의 에러는 자동으로 검출될 수 있고, 제1 라이브 비디오 입력 스트림에 대응하는 페일오버 스트림이 의료진에게 디스플레이될 수 있다. 예를 들어, 블렌딩되고 있는 하나 이상의 제2 입력 스트림은 블렌딩된 스트림이 제1 라이브 비디오 스트림을 디스플레이하지 않는 것(또는 불명확함)을 초래할 수 있는 데이터를 포함하지 않거나 유효하지 않은 데이터(예를 들어, 소스 에러, 소스의 비가용성, 송신 에러, 미수신, 누락되거나 잘못된 알파 채널, 데이터 에러, 다른 스트림 문제 등으로 인함)를 포함할 수 있다(블렌딩된 것이 디스플레이된 경우).
일부 실시형태에서, 페일오버 스트림은 페일오버 버퍼로부터 획득될 수 있으며, 이는 제1 라이브 비디오 입력 스트림의 프레임, 라인(line), 또는 그의 일부를 저장하도록 구성될 수 있다. 예를 들어, 내시경으로부터의 비디오는 페일오버 버퍼에 저장될 수 있고, 이후 유효하지 않은 데이터를 포함하는 블렌딩된 스트림이 검출될 때 페일오버 버퍼로부터 자동으로 그리고 투명하게 획득될 수 있다. 블렌딩된 스트림이 제1 라이브 비디오 스트림을 올바르게 통합하는 경우 블렌딩이 자동으로 재개될 수 있다. 일부 실시형태에서, 블렌딩으로부터 페일오버 버퍼로의 전환은 단일 비디오 이미지 프레임을 처리하는 시간 내에 발생할 수 있다. 일부 실시형태에서, 블렌딩된 스트림이 제1 라이브 입력 비디오 스트림을 디스플레이하지 않거나 불명확하게 할 것의 검출 시(디스플레이 이전에), 제1 입력 비디오 입력 스트림(예를 들어, 페일오버 버퍼로부터)의 디스플레이가 개시될 수 있고, 제1 라이브 비디오 스트림은 하나 이상의 디스플레이에 의해 디스플레이될 수 있다.
종래의 방식에서는, 이러한 예기치 않은 장애는 의료진에게 이미지가 보여지지 않거나 빈 화면을 초래할 수 있다. 제1 라이브 비디오 입력 스트림의 시각화는 종종 많은 의료 절차의 수행에 핵심적이기 때문에, 이러한 장애는 용납될 수 없으며 절차 수행에 해로운 영향을 미쳐 지연을 야기하고, 에러 가능성을 높이고, 흐름을 방해하고, 일부 경우에서 절차가 중단되는 것으로 이어지게 할 수 있다. 또한, 이러한 장애는 예측할 수 없고 의료진이 갑자기 "맹목 비행(flying blind)"하는 것을 초래할 수 있기 때문에 의료진은 정상적으로 생산되는 장비 및 도구의 사용을 기피할 수 있다. 따라서, 개시된 실시형태는 내결함성인 고가용성 연속적인 수술 중 시각화를 용이하게 한다.
도 1은 본원에 개시된 특정 실시형태에 따른 수술 중 시각화를 위한 예시적인 시스템을 예시하는 예시도를 도시한다. 도 1은 외과의(120-2)에 의해 동작되는 내시경(도 1에 도시되지 않음)의 사용을 수반하는 의료 절차를 거치는 환자(130)를 도시한다.
도 1에 도시된 바와 같이, 장치(150)(이하, "허브(150)"라 지칭됨)는 네트워크(170)(예를 들어, 병원 네트워크(170)라고도 지칭됨)를 통해 데이터 스트림을 수신할 수 있으며, 이는 의료 시설에 로컬인 디바이스에 결합될 수 있다. 허브(150)는 그래픽 및 비디오 처리가 가능한 컴퓨팅 디바이스의 형태를 취하거나 그의 기능성을 포함할 수 있다. 허브(150)는 또한 의료 전문가(120-2)에 의해 사용되는 내시경(도 1a에 도시되지 않음)으로부터의 비디오 스트림, 수술 전 이미지(예를 들어, 네트워크(170)에 결합된 스토리지(storage) 또는 다른 디바이스로부터), 및 수술 중 이미지(예를 들어, 로컬 이미징 디바이스로부터)와 같은 멀티미디어 스트림을 수신할 수 있다. 의료 전문가(120-2)는 고화질(HD), 3차원(3D) 또는 입체 이미지를 디스플레이할 수 있는 헤드마운트 디스플레이(HMD)(140)를 사용하여 내시경으로부터의 비디오를 볼 수 있다. 일부 실시형태에서, 내시경으로부터의 비디오는 허브(150)에 의해 수신될 수 있고, 처리된 다음, HMD(140)로 무선으로 송신될 수 있다. 일부 실시형태에서, 의료 전문가(120-2)에 의해 보여지는 내시경 (제1) 입력 비디오 스트림은 허브(150)의 구성에 기초하여 그래픽, AI 입력, 센서 데이터 등과 같은 하나 이상의 제2 그래픽 스트림과 블렌딩될 수 있다. 센서 데이터는 내시경과 연관된 센서로부터의 데이터 또는 의료 전문가(120)에 의해 사용되는 다른 기기로부터의 데이터를 포함할 수 있으며, 이는 카메라 포즈, 기기 상태, 및 다른 정보를 제공할 수 있다. HMD(140)는 맞춤형 또는 상업적으로 이용가능한 HMD일 수 있다.
일부 실시형태에서, 허브(150)는 또한 결정-지원, 비디오 주석(예를 들어, 우발적인 절단을 예방하기 위해 이미지에서 혈관을 마킹하기 위해, 출혈을 검출하기 위해, 등), 경고(예를 들어, 조직 및/또는 내시경 디바이스의 현재 상태에 기초하여, 등)를 포함하는 AI 정보 스트림을 수신할 수 있다. 내시경은 내시경 제어기(110)를 사용하여 제어될 수 있으며, 이는 디스플레이(115)를 포함 및/또는 이에 결합될 수 있다. 일부 실시형태에서, 허브(150)는 증강된 시야를 디스플레이할 수 있고, 이는 디스플레이(115) 상에, 예를 들어, 하나 이상의 추가 오버레이로 증강된 내시경 시야를 포함할 수 있다. 예로서, 오버레이는 단순하거나(예컨대, 기기 사용을 위한 툴킷) 복잡할 수 있다(예컨대, 툴킷 외에 디스플레이될 수 있는 수술 전 이미지의 융합 등).
일부 실시형태에서, 허브(150)는 일부 AI 처리를 로컬로 수행할 수 있는 AI 엔진을 포함하거나 이에 결합될 수 있다. 일부 실시형태에서, AI 정보 스트림은 네트워크(170)를 통해 및/또는 클라우드 기반 서비스(180)로부터 수신될 수 있다. 클라우드 기반 서비스는 개인 클라우드, 공공 클라우드, 및/또는 하이브리드 공공-개인 클라우드에서 호스팅될 수 있다. AI 기능성은 허브(150), 컴퓨팅 디바이스, 및 병원 네트워크(170) 상의 다른 디바이스와 클라우드(180) 사이에 분배될 수 있다. 예를 들어, 허브(150)는 AI 기반 결정 지원, 비디오 주석 등을 제공하기 위해 모델을 실행할 수 있고, 반면에 AI 관련 데이터는 (예를 들어, 환자 프라이버시 및 규제상의 이유로) 비식별화될 수 있고, 로컬 및/또는 병원 네트워크(170)에 결합된 디바이스에 저장될 수 있는 반면, 머신 러닝 모델은 클라우드(180) 상에 제공되는 AI 관련 애플리케이션을 사용하여 비식별화된 수집된 데이터를 사용하여 훈련되고/되거나 개선될 수 있다.
일부 실시형태에서, 도 1에 도시된 바와 같이, 예시적인 허브(150)는 터치스크린 디스플레이(165)를 포함할 수 있으며, 이는 의료 전문가(120)가 입력 스트림을 선택하고, 실행할 AI 모델을 선택하고, 내시경 이미지의 디스플레이, 센서 데이터의 수신, 디바이스에 전력을 공급하고/하거나 허브(150)에 결합된 기기 및/또는 디바이스를 제어하는 것과 같은 다른 기능성을 구성할 수 있게 하도록 사용자 인터페이스(UI)를 제공하는데 사용될 수 있다. 일부 실시형태에서, 터치스크린(165)은 탈착 가능할 수 있고, 허브(150)의 베이스 유닛(155)에 무선으로 결합될 수 있다. 일부 실시형태에서, 터치스크린(165)은 태블릿 컴퓨터 및/또는 다른 모바일 컴퓨팅 디바이스의 일부를 형성할 수 있고, 처리 능력은 베이스 유닛(155)과 터치스크린(165)을 수용하는 태블릿 또는 모바일 컴퓨터 사이에 분배될 수 있다. 일부 실시형태에서, 베이스 유닛(155)은 또한 터치스크린(165) 및/또는 다른 태블릿 컴퓨터 및/또는 모바일 컴퓨팅 디바이스를 위한 도킹 스테이션의 역할을 할 수 있다.
일부 실시형태에서, 허브(150)는 무선 액세스 포인트(WAP)의 역할을 할 수 있고, 그 자신의 로컬 네트워크(160-1)를 브로드캐스트할 수 있으며, 이는 허가된 디바이스에 의해 사용될 수 있다(예를 들어, 수술실 내에서 및/또는 범위 내에서). 허가된 디바이스는 네트워크(160-1)를 통해 허브(150)(WAP의 역할을 함)에 연결될 수 있고, 네트워크(160-1)를 통해 허브(150)에 통신 가능하게 결합될 수 있다. 허브 중심 네트워크(160-1)는 병원(예를 들어, 병원 네트워크(170)) 또는 의료 시설에 의해 제공되는 무선 네트워크에서 발생할 수 있는 무선 네트워크 중단, 신호 수신 문제, 대역폭 관련 문제 등으로부터 수술실 내 또는 수술실 근방의 다양한 수술 중 디바이스를 보호할 수 있다. 따라서, 허브 중심 네트워크(160-1)는 허브(150)에 결합된 수술 중 디바이스 사이의 증가된 대역폭 및 더 낮은 레이턴시를 용이하게 할 수 있고, 프라이버시를 유지하면서, 비디오, 이미지, 그래픽, 및/또는 다른 정보를 포함하는 정보 공유를 개선시킬 수 있다. 예를 들어, 허브(150)는 네트워크(160-1)를 통해 수술실(OR) 내의 수술 중 이미징 디바이스(예를 들어, 형광 투시 카메라)로부터 이미지를 수신할 수 있고, 디스플레이(135-1) 상에 이미지를 디스플레이할 수 있다. 또 다른 예로서, 허브(150)는 태블릿 컴퓨터(145)에 디스플레이하기 위해 그래픽 및/또는 사용자 인터페이스(UI) 정보를 전송할 수 있다. 의료 전문가(120-1)는 허브(150) 및/또는 네트워크(160-1)를 통해 허브(150)에 결합된 하나 이상의 디바이스를 구성하기 위해 원격으로 UI를 사용할 수 있다.
도 2a 및 도 2b는 내결함성 수술 중 시각화를 용이하게 하는 장치(예컨대, 예시적인 허브(150))의 실시형태의 기능적 컴포넌트를 예시하는 예시적인 시스템의 개략적인 블록도(200)이다.
도 2a에 도시된 바와 같이, 허브(150) 내의 프레임 처리 엔진(FPE)(255-1)은 복수의 입력 비디오 스트림(202)(예를 들어, 내시경 또는 초음파 디바이스로부터의, 예를 들어, 고화질(HD) 비디오 스트림)을 수신할 수 있다. 입력 비디오 스트림(202)은 제1 입력 비디오 스트림(202-1)을 포함할 수 있으며, 이는 의료 전문가(120-1)에 의해 현재 수행되고 있는 절차와 연관된 비디오 스트림에 대응할 수 있다. 입력 비디오 스트림(202)은 표준 인터페이스(예를 들어, 예컨대, 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface; HDMI) 또는 직렬 디지털 인터페이스(Serial Digital Interface; SDI) 등) 또는 맞춤형 인터페이스를 통해 제공될 수 있다. HD 비디오는, 예를 들어, 초당 59.94 및/또는 60 이미지 프레임(fps)의 프레임 레이트를 갖는 해상도 3840 x 2160 픽셀(이는 또한 2160p로 지칭됨), 1920 x 1080 픽셀(이는 또한 1080p 비디오로 지칭됨), 및 1280 x 720 픽셀(이는 또한 720p 비디오로 지칭됨)과 같은 10 비트 4K 비디오를 포함할 수 있다.
FPE(225-1)는 또한 비디오 스트림(204)의 출력이 가능할 수 있다. 일부 경우에서, 출력 채널의 수는 입력 채널의 수를 반영할 수 있고, 출력 비디오 스트림(204)은 입력 비디오 스트림(202)의 해상도 및 프레임 레이트를 반영할 수 있다. 출력 비디오 스트림(204)은 HDMI 및/또는 SDI 인터페이스를 통해 송신될 수 있다. 일부 실시형태에서, 출력 비디오 스트림(204)은 또한 허브(150)와 연관되어 무선으로(예를 들어, 무선 근거리 통신망(WLAN)을 통해) 송신될 수 있다. FPE(225-1)는 메모리(270)를 포함하고/하거나 그에 결합될 수 있다. 메모리(270)는 그래픽 프레임 및/또는 비디오 프레임을 저장하는데 사용될 수 있는 복수의 프레임 버퍼(도 2a에 도시되지 않음)를 포함할 수 있다. 그래픽 프레임은 "알파" 채널(예를 들어, 적색-청색-녹색-알파 또는 "RGBα")로 수신될 수 있으며, 이는 각 픽셀과 연관된 투명도의 정도를 나타낼 수 있다. 알파 채널은 분리되거나 미리 곱해질 수 있다. 그래픽 프레임(예를 들어, UI)은 그래픽 처리 유닛(GPU)(220-1)으로부터 수신될 수 있다. 일부 실시형태에서, 메모리(270)는 각각의 입력 비디오 스트림에 대한 복수의 프레임 버퍼를 보유할 수 있다. 일부 실시형태에서, 각각의 프레임 버퍼는 처리되고 있는 입력 비디오 스트림과 동일한 크기를 가지도록 구성될 수 있다. 채널과 연관된 프레임 버퍼 내의 비디오 및 그래픽 정보는 (예를 들어, 그래픽 스트림에서의) 알파 정보에 기초하여 블렌딩될 수 있고, FPE(225-1)에 의해 출력될 수 있다.
일부 실시형태에서, 제1 라이브 비디오 스트림(202-1)의 비디스플레이 또는 불명확함을 초래하는 블렌딩된 스트림에서의 에러(예를 들어, 의료 전문가(120-2)에 의해 사용되는 내시경으로부터)가 자동으로 검출될 수 있고, 제1 라이브 비디오 입력 스트림에 대응하는 페일오버 스트림이 의료진에게 디스플레이될 수 있다. 예를 들어, 블렌딩되고 있는 하나 이상의 제2 입력 스트림은 블렌딩된 스트림이 제1 라이브 비디오 스트림을 디스플레이하지 않는 것(또는 불명확함)을 초래할 수 있는 데이터를 포함하지 않거나 유효하지 않은 데이터(예를 들어, 소스 에러, 소스의 비가용성, 송신 에러, 미수신, 누락되거나 잘못된 알파 채널, 데이터 에러, 다른 스트림 문제 등으로 인함)를 포함할 수 있다(블렌딩된 것이 디스플레이될 경우).
일부 실시형태에서, FPE(225-1)는 블렌딩된 스트림이 결함이 있음을 자동으로 검출할 수 있고, 결함 검출에 응답하여, 제1 라이브 비디오 입력 스트림(202-1)에 대응하는 페일오버 스트림(본원에서 출력 스트림 "204-f"로 지칭됨)을 출력할 수 있다. 결함이 있는 블렌딩된 스트림의 검출 및 페일오버 스트림(204-f)의 출력은 단일 프레임을 처리하고 출력하는 시간 내에 발생할 수 있으므로, 이행은 끊김이 없다. 출력 스트림(204-f)은 의료진(120)에게 하나 이상의 제2 입력 스트림의 장애에 대해 경고하기 위한 정보를 포함할 수 있다. 일부 실시형태에서, 페일오버 스트림은 페일오버 프레임 버퍼(이하 "페일오버 버퍼")로부터 획득될 수 있으며, 이는 제1 라이브 비디오 입력 스트림의 프레임, 라인, 또는 그의 일부를 저장하도록 구성될 수 있다. 예를 들어, 내시경으로부터의 제1 비디오 입력(202-1)은 페일오버 버퍼에 저장될 수 있고, 이후 유효하지 않은 데이터를 포함하는 하나 이상의 제2 입력 스트림이 검출될 때, 페일오버 버퍼로부터 자동으로 그리고 투명하게 획득될 수 있다. 일부 실시형태에서, 블렌딩된 스트림이 제1 라이브 입력 비디오 스트림을 디스플레이하지 않거나 제1 라이브 입력 비디오 스트림을 불명확하게 할 것의 검출 시(디스플레이 전에), 제1 입력 비디오 입력 스트림(예를 들어, 페일오버 버퍼로부터)의 디스플레이가 개시될 수 있고, 제1 라이브 비디오 스트림은 하나 이상의 디스플레이에 의해 디스플레이될 수 있다. 또한, 블렌딩된 스트림이 라이브 비디오 스트림을 정확하게 통합할 때 블렌딩이 자동으로 재개될 수 있고, FPE(225-1)는 이후 (페일오버 스트림(204-f) 대신에) 블렌딩된 비디오 스트림(204)을 다시 출력할 수 있다.
일부 실시형태에서, FPE(225-1)는 주문형 집적 회로(Application Specific Integrated Circuit; ASIC), 필드 프로그램가능 게이트 어레이(Field Programmable Gate Array; FPGA) 애드온 보드를 사용하고/하거나 하드웨어, 소프트웨어, 및 펌웨어의 일부 조합을 사용하여 구현될 수 있다. 일 예로서, FPE(225-1)는 M2 폼 팩터에서 FPGA를 사용할 수 있고, GPU(220-1) 프로세서(250) 및/또는 허브(150) 상의 다른 컴포넌트와 통신하기 위해 주변 장치 컴포넌트 익스프레스(Peripheral Component Express; PCIe) 인터페이스를 사용할 수 있다. PCIe는 고속 직렬 컴퓨터 확장 버스 표준이다. 상기 실시형태에서, FPE(225-1)는 PC와 같은 기존의 컴퓨팅 플랫폼에 대한 솔루션으로 추가될 수 있다. 예를 들어, FPE(225-1)(예를 들어, 애드온 PCIe 컴포넌트로서)는 본원에 개시된 특징이 결여될 수 있는 기존 컴퓨팅 플랫폼에 본원에 개시된 기능성을 추가하는데 사용될 수 있다. 일부 실시형태에서, FPE(225-1) 및 다른 허브 컴포넌트는 전력 공급부(208)로부터 전력을 수신할 수 있으며, 이는 의료 장비에 대한 IEC 60601-1 표준을 준수할 수 있다. IEC 60601-1은 의료용 전기 장비의 기본 안전성 및 필수 성능 요구 사항과 관련된 일련의 표준이다.
GPU(220-1)는 그래픽 및 AI 처리를 수행할 수 있다. 예를 들어, GPU(220-1)는 텐서 처리 유닛(Tensor Processing Unit; TPU) 또는 텐서 코어(tensor core)를 포함할 수 있으며, 이는 AI 모델, 3D 그래픽을 포함하는 그래픽 처리, 비디오 렌더링 등을 실행할 수 있을 수 있다. GPU(220-1)는 FPE(225-1)로부터 비디오 입력 및 환자(130)에 관련된 수술 전 및 수술 중 이미지를 수신하고 처리할 수 있다. GPU(220-1) 상에서 실행되는 AI 어플리케이션은 수신된 입력을 처리하여 프레임에서 혈관, 출혈 등을 결정하고 마킹할 수 있다. 일부 실시형태에서, GPU(220-2)는 FPE(225-1)에 실시간으로 그래픽 및/또는 UI 및/또는 증강을 제공할 수 있으며, 이는 비디오에 대한 주석/증강을 사용하여 결정 지원, 지침, 경고 등으로서 수술 중에 의료 전문가(120)에게 제공될 수 있다. GPU(220-1)는 또한 FPE(225-1)로부터 비디오 입력을 수신할 수 있으며, 이는 디스플레이(135-1, 165)(도 1) 및/또는 태블릿(145) 상에 임의의 증강과 함께 디스플레이될 수 있다.
FPE(225-1)와는 별개로 도시되어 있지만, GPU(220-1), 프로세서(250) 및 메모리(270) 중 하나 이상과 연관된 기능성은 FPE(225-1)와 조합될 수 있거나(예를 들어, 단일 컴포넌트, 칩, 또는 카드로서), FPE(225-1)의 외부에 있을 수 있다. 예를 들어, 메모리(270)는 허브(150)에 걸쳐 분산되고, 그에 따라 프로세서(250), FPE(225-1), 및/또는 GPU(220-1)와 같은 하나 이상의 컴포넌트가 각각 로컬 메모리를 포함할 수 있고, 또한 메인 또는 시스템 메모리에 액세스할 수 있다. 또한, 메모리(270)는 1차 및/또는 2차 메모리를 포함할 수 있다.
프로그램 코드, 데이터, 이미지, 구성 정보, 그래픽, 이미지 및 비디오 프레임, AI 모델을 포함하는 모델 등은 메모리(270)에 저장될 수 있고, 본원에 개시된 기술을 수행하기 위해 FPE(225-1), GPU(220-1), 및/또는 프로세서(250) 중 하나 이상에 의해 판독 및/또는 실행될 수 있다. 본원에서 사용되는 용어 "메모리"는 임의의 유형의 장기간, 단기간, 휘발성, 비휘발성, 또는 다른 메모리를 의미하며, 임의의 특정 유형의 메모리 또는 메모리의 개수, 또는 메모리가 저장되는 매체의 유형으로 한정되지 않는다. 저장 매체의 예는 데이터베이스, 데이터 구조 등으로 인코딩된 컴퓨터 판독 가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 물리적인 컴퓨터 저장 매체를 포함할 수 있다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 예로서, 제한 없이, 이러한 컴퓨터 판독 가능 매체는 랜덤 액세스 메모리(RAM) 및 비휘발성 RAM(non-volatile rAM; NVRAM), 판독 전용 메모리(read only memory; ROM) 및 소거가능 프로그램가능(EPROM), 플래시 메모리 등을 포함하는 이들의 변형예를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한, 컴팩트 디스크 ROM(CD-ROM), 메모리 카드, 휴대용 드라이브, 또는 다른 광 디스크(optical disc) 스토리지, 자기 디스크 스토리지, 고상 드라이브, 다른 저장 디바이스, 또는 명령어 및/또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있고; 본원에서 사용되는 바와 같은 디스크(disk) 및 디스크(disc)는 콤팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크(digital versatile disc; DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서 디스크는 통상적으로 자기적으로 데이터를 재생하는 반면, 디스크는 레이저를 사용하여 광학적으로 데이터를 재생한다. 상기의 조합은 또한 컴퓨터 판독 가능 매체의 범주 내에 포함되어야 한다.
통신 인터페이스(226)는 또 다른 디바이스(예를 들어, HMD(140))와 유선(예를 들어, 유선 통신 인터페이스(228)을 사용) 또는 무선(예를 들어, 무선 통신 인터페이스(230)을 사용) 통신할 수 있고, 센서 입력(224)을 수신하고, 스마트 기기(242)와 통신하고, 및/또는 병원 네트워크(170)(도 1)와 같은 외부 네트워크와 통신하는 데 사용될 수 있다.
캡쳐된 이미지, AI 모델, 기기 상태, 센서 입력(242), 스마트 기기(244)로부터의 입력, 로봇 데이터 등은 통신 인터페이스(226)를 통해 수신될 수 있다. 사용자 입력(예를 들어, 태블릿(145)으로부터 수신)은 또한 통신 인터페이스(226)를 사용하여 수신될 수 있고, 확인/메시지가 송신될 수 있다. 무선 통신은 다음 중 하나 이상을 사용하는 통신을 포함할 수 있다: IEEE 802.11 표준에 기초할 수 있는, 무선 근거리 통신망(Wireless Local Area Network; WLAN) 인터페이스(238)(예를 들어, Wi-Fi 등을 통해 태블릿(145), 디스플레이(140)와), 및/또는 5세대(5G) 네트워크, 또는 롱 텀 에볼루션(LTE)과 같은 셀룰러 통신 표준에 기초할 수 있는 무선 광역 네트워크(WWAN) 인터페이스(240)를 통해(예를 들어, 원격 모바일 디바이스, 클라우드(180)를 통한 클라우드 기반 에지 서버 등과), 및/또는 IEEE 802.11x(예를 들어, 블루투스 등과)에 기초할 수 있는 무선 개인 영역 통신망(WPAN) 인터페이스(236)(예를 들어, 오디오 디바이스, 일부 근접 스마트 기기(242) 등과)를 통함.
일부 실시형태에서, 클라우드 기반 애플리케이션, AI 모델, 수술 전 및 수술 중 이미지, 등은 유선 인터페이스(228)를 사용하여 프로세서에 의해, USB 인터페이스(234)를 통해 허브(150)에 결합된 하나 이상의 디바이스, 및/또는 이더넷(232)을 통해 병원 네트워크(170)에 결합된 서버로부터, 및/또는 이더넷(232)을 통해 클라우드(180)에 결합된 클라우드 기반 서버로부터 다운로드될 수 있다.
일부 실시형태에서, 프로세서는 또한 의료 전문가(120)로부터 수신된 입력에 기초하거나 디바이스 제어 인터페이스(222)를 사용하여 또는 통신 인터페이스(226)를 통해 기기 상태, 센서 입력, 구성 설정 등에 기초하여 디바이스를 제어하기 위해 명령을 전송할 수 있다. 전력 인터페이스(220)는 프로세서(150)에 의해 허브(150)에 결합된 하나 이상의 기기, 센서, 및/또는 다른 디바이스에 전력을 공급하도록 인에이블(enable)될 수 있다. 허브(150)는, 플러그가 꽂혀 있을 때, 전력 공급부(208)로부터 전력을 수신할 수 있고, 일부 실시형태에서, 백업 배터리 전력을 포함할 수 있다.
프로세서(150)는 또한 맞춤형 인터페이스(224)를 통해 디바이스(예를 들어, 로봇 또는 다른 디바이스)와 통신할 수 있음, 이는 독점적일 수 있다. 일부 실시형태에서, 프로세서는 또한, 허브(150)의 동작을 제어하고, 이벤트를 기입하고, 의료진에게 (예를 들어, 메시지를 통해) 통지하고, 데이터, 이미지, 센서 입력을 저장하고, 데이터베이스(로컬 또는 네트워크됨)로부터 환자 기록을 끌어오고, 멀티미디어 동작을 위한 동기화의 유지를 용이하게 하고, 의료용 디지털 영상 및 통신 표준(digital imaging and communications in medicine; DICOM) 및 다른 표준에 대한 지원을 제공하고, 클라우드 기반 서비스 등에 대한 액세스를 용이하게 하는 것 등을 위해 프로그램 코드를 실행할 수 있다. 예를 들어, 사용자 입력 및 구성 정보에 기초하여, 프로세서(150)는 리플레이(예를 들어, 훈련 및/또는 검토를 위한) 및/또는 분석(예를 들어, 머신 러닝/AI 모델을 훈련하기 위해)을 위해 내시경을 사용하여 수행된 절차를 후속 시간에 기입하고 기록할 수 있다. 또 다른 예로서, 프로세서(150)는 통신 인터페이스(226)를 통해 절차의 라이브 스트리밍을 용이하게 할 수 있다(예를 들어, 교육 또는 훈련 목적을 위해). DICOM은 의료 영상 정보(medical imaging information) 및 디바이스 간의 관련 데이터에 대한 통신 및 관리를 위한 표준이다.
본원에 기재된 방법론은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 하드웨어 구현을 위해, 프로세서(250), FPE(225), GPU(220)는 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 이미지 프로세서, 디지털 신호 처리 디바이스(DSPD), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로제어기, 마이크로프로세서, 전자 디바이스, 본원에 기재된 기능을 수행하도록 설계된 다른 전자 유닛, 또는 이들의 임의의 조합 내에서 구현될 수 있다. 프로세서(250) 및 GPU(220)는 또한 이미지로부터의 특징 추출, 이미지 비교, 이미지 매칭, 객체 인식 및 추적, 이미지 압축 및 압축 해제, 라인형 믹싱, 알파 블렌딩 등을 포함하는 믹싱과 같은 다른 잘 알려진 컴퓨터 비전 및 이미지 처리 기능을 수행하는 기능성을 포함할 수 있다. 도 2a 및 도 2b에 도시된 컴포넌트 및/또는 블록(예를 들어, 프로세서(250), GPU(225), FPE(220), 메모리(270), 통신 인터페이스(226) 등)은 버스, 인터페이스(예를 들어, PCIe 등), 유선 연결 등을 사용하여 결합될 수 있다.
도 2b는 수술 중 시각화를 용이하게 하는 장치(예컨대, 예시적인 허브(150))의 또 다른 실시형태의 기능적 컴포넌트를 예시하는 예시적인 시스템의 개략적인 블록도(200)이다. 유사한 라벨을 갖는 컴포넌트는 도 2a에 기재된 것과 유사한 방식으로 기능한다. 도 2b의 설명은 도 2a에 대한 기능 블록 및/또는 컴포넌트의 기능, 거동, 또는 상호작용에서의 일부 변화를 반영하는 실시형태를 기재한다.
도 2b에 도시된 바와 같이, 인코더(218-1)는 3D HD 비디오 스트림(208)(예를 들어, 내시경과 연관된 3D 또는 입체 카메라로부터)을 수신하고 이를 인코딩할 수 있으며, 이는 60 fps에서 각각 좌측 비디오 채널(208-L) 및 우측 비디오 채널(208-R)을 포함할 수 있다. 또한, 도 2b에 도시된 바와 같이, 인코더(218-2)는 60 fps에서 각각 2개의 별개의 HD 스트림(209)(예를 들어, C-아암 확장 카메라 및 초음파 디바이스로부터)을 수신하고 이를 인코딩할 수 있다. 스위치(290)는 인코딩된 입력 비디오 스트림(208 및 209)뿐만 아니라 RGBα 스트림(α 채널을 갖는 RGB 스트림)의 형태로 GPU(220-2)로부터의 그래픽 입력을 수신할 수 있다. 도 2b에 도시된 바와 같이, 스위치(290)는 60 fps에서 각각 4개의 HD 입력 스트림을 전송하고, GPU(220-2)로/로부터 60 fps에서 각각 4개의 HD 그래픽 RGBα 스트림을 수신할 수 있다. 스위치(290)는 인코딩된 입력 스트림(208) 및 RGBα 스트림을 알파 블렌딩(280)을 갖는 3D 디코더로 전송하도록 구성될 수 있다. 유사하게, 스위치(290)는 인코딩된 입력 스트림(209) 및 RGBα 스트림을 알파 블렌딩(275)을 갖는 디코더로 및/또는 압축 및 무선 송신 블록(285)으로 전송하도록 구성될 수 있다.
정상 동작에서, 예를 들어, 알파 블렌딩(280) 프레임을 갖는 3D 디코더에 의해 출력되는 블렌딩된(그래픽 및 비디오) 프레임이 입력 비디오 채널(208)을 정확하게 통합할 때, 블렌딩된 스트림을 3D 비디오 스트림(214)(예를 들어, HMD(140)로)으로 출력할 수 있으며, 이는 60 fps에서 각각 좌측 비디오 채널(214-L) 및 우측 비디오 채널(214-R)을 포함할 수 있다. 또 다른 예로서, 알파 블렌딩(275) 프레임을 갖는 디코더에 의해 출력되는 블렌딩된(그래픽 및 비디오) 디코더가 입력 비디오 채널(209)을 정확하게 통합할 때, 블렌딩된 스트림을 60 fps에서 각각 HD 스트림(212)으로 출력할 수 있다.
블렌딩된 스트림이 결함이 있고 입력 비디오 스트림(208 및/또는 209)을 정확하게 통합하지 못할 때의 경우에는, 이후 FPE(225-2)는 결함이 있는 블렌딩된 스트림을 자동으로 검출할 수 있고, 결함이 있는 블렌딩된 스트림의 검출에 응답하여, 페일오버 스트림(본원에서 제1 라이브 비디오 입력 스트림(208 또는 209) 각각에 대응하는 출력 스트림("214-f" 또는 212-f")으로 지칭됨)을 출력할 수 있다.
결함이 있는 블렌딩된 스트림은 알파 데이터가 없거나 유효하지 않은 알파 데이터를 포함하는 하나 이상의 제2 입력 그래픽 RGBα 스트림에 기인할 수 있다(예를 들어, 소스 에러, 소스의 비가용성, 송신 에러, 비수신, 알파 채널 에러, 데이터 에러, 다른 스트림 문제 등으로 인함). 상술한 상황에서, 결함이 있는 블렌딩된 스트림은, 블렌딩된 스트림이 출력되고 디스플레이되는 경우, 블랙 스크린 및/또는 라이브 입력 비디오 스트림(208 또는 209)에 디스플레이되지 않는 것을 초래할 것이다. 상술한 상황에서, FPE(225-2)는 결함이 있는 블렌딩된 출력 스트림을 자동으로 검출할 수 있고, 페일오버 스트림(본원에서 제1 라이브 비디오 입력 스트림(208 또는 209)에 각각 대응하는 출력 스트림("214-f" 또는 212-f")으로 지칭됨)을 출력할 수 있다. 잘못된 제2 입력 스트림의 검출 및 페일오버 스트림의 출력은 단일 프레임을 처리하고 출력하는 시간 내에 발생할 수 있으므로, 이행은 끊김이 없다. 출력 스트림(214-f 또는 212-f)은 의료진(120)에게 하나 이상의 제2 입력 스트림의 장애에 대해 경고하기 위한 정보를 포함할 수 있다.
일부 실시형태에서, 페일오버 스트림은 페일오버 버퍼로부터 획득될 수 있으며, 이는 제1 라이브 비디오 입력 스트림의 프레임, 라인, 또는 그의 일부를 저장하도록 구성될 수 있다. 페일오버 버퍼는 알파 블렌딩(275)을 갖는 디코더 및 알파 블렌딩(280)을 갖는 3D 디코더 각각에 액세스가능할 수 있다. 예를 들어, 내시경으로부터의 제1 비디오 입력(208)은 페일오버 버퍼에 저장될 수 있고, 이후 유효하지 않은 데이터를 포함하는 하나 이상의 제2 입력 스트림이 검출될 때, 페일오버 버퍼로부터 자동으로 그리고 투명하게 획득될 수 있다. 또한, 하나 이상의 제2 입력 스트림이 유효한 데이터를 포함할 때 블렌딩이 자동으로 재개될 수 있고, FPE(225-2)는 이후 (페일오버 스트림(214-f) 대신에) 블렌딩된 비디오 스트림(214)을 다시 출력할 수 있다.
도 2b에 도시된 바와 같이, FPE(225-2)는 또한 무선 압축 블록(285)을 포함할 수 있으며, 이는 무선 송신을 위해 하나 이상의 입력 스트림을 압축할 수 있다. 도 2b에서, 단순화를 위해, 스트림(216)은 무선 압축 블록(285)에 의해 출력되는 것으로 도시되어 있다. 그러나, 스트림(216)은 무선 압축 블록(285)에 의해 통신 인터페이스(226)로 전송될 수 있고, 이후 무선 통신 인터페이스(230) 및/또는 WLAN 인터페이스(236)를 사용하여 출력될 수 있다.
도 3은 허브(150)와 같은 수술 중 시각화를 용이하게 하기 위한 장치의 기능 블록 사이의 신호 및 데이터 흐름을 나타내는 개략적인 블록도(300)를 도시한다. 일부 실시형태에서, 블록(375 및 380)(도 3에서 파선(dashed line)으로 도시됨)은 각각 FPE(225) 및 GPU(220)의 일부를 형성할 수 있다.
도 3에 도시된 바와 같이, 일부 실시형태에서, 크로스 채널 믹싱 블록(302)은 제1 입력 비디오 스트림(202-1)을 수신할 수 있고, 제2 입력 비디오 스트림(202-2)의 적절하게 다운스케일링된 버전(예를 들어, 다운스케일링 + 프레임 버퍼(304) 유래)을 획득할 수 있고, 두 채널을 믹싱하여 예시적인 혼합 프레임(mixed frame)(388)을 획득할 수 있다. 일부 경우에서, 제1 입력 비디오 스트림 및 제2 입력 비디오 스트림은 3D HD 비디오 스트림의 좌측 및 우측 채널일 수 있다(예를 들어, 도 2b의 이러한 비디오 스트림(208)). 다른 경우에서, 제1 입력 비디오 스트림 및 제2 입력 비디오 스트림은 두 개의 상이한 디바이스(예를 들어, 예컨대 내시경 및 초음파 디바이스)로부터 수신된 독립적인 비디오 스트림일 수 있다.
일부 실시형태에서, 도 3에 도시된 바와 같이, 각각의 입력 스트림(예를 들어, 202-1)은 HDMI 및/또는 SDI 인터페이스 어느 하나를 통해 수신될 수 있고, 입력을 위해 적절한 인터페이스가 선택될 수 있다. 일부 실시형태에서, 제2 입력 비디오 스트림(202-2)은, 크로스 채널 믹싱 블록(302)이 입력되기 전에, 믹싱 파라미터에 기초하여 다운스케일링될 수 있고, 다운스케일링 및 프레임 버퍼 블록(304)에 의해 적절한 크기의 프레임 버퍼에 배치될 수 있다. 예시적인 혼합 프레임(388)은 단지 혼합 프레임을 설명하기 위해 도시된다. 실제로, 혼합 프레임의 외관은 크로스 채널 믹싱 파라미터에 의존할 수 있다 크로스 채널 믹싱은 크로스 채널 믹싱 인에이블 신호(384)에 의해 크로스 채널 믹싱이 온될 때 수행될 수 있다.
일부 실시형태에서, 스트림(202-1 및 202-2) 및 다른 입력 스트림과 연관된 타임 스탬프(time stamp)가 동기화될 수 있다. 일부 실시형태에서, 입력 스트림과 연관된 타임 스탬프는 네트워크 타임 프로토콜(NTP; network time protocol), 또는 단순 네트워크 타임 프로토콜(SNTP)을 사용하거나, 또는 다른 적절한 방법에 의해 동기화될 수 있다.
크로스-채널 믹싱 블록(302)에 의해 수행되는 크로스-채널 믹싱은 UI 컴포지터 블록으로부터의 크로스-채널 믹싱 인에이블 신호(384)에 의해 온 또는 오프될 수 있다. 크로스-채널 믹싱이 오프되는 경우에서, 크로스 채널 믹싱은 크로스-채널 믹싱 블록(302)에 의해 수행되는 크로스-채널에 의해 수행되지 않을 것이다. 일부 실시형태에서, 크로스-채널 믹싱 블록(302)(예를 들어, 크로스-채널 믹싱이 오프될 때의 제1 입력 비디오 스트림(202-1) 또는 크로스-채널 믹싱이 온될 때의 믹싱된 스트림) 및 제2 입력 비디오 스트림(202-2)의 출력은 또한: (a) GPU(220)의 일부를 형성할 수 있는 입력 스트림 메모리 관리 블록(322), 및 (b) 알파-블렌딩 블록(314-1)(크로스-채널 믹싱 블록(302)의 출력을 수신함) 및 알파-블렌딩 블록(314-2)(제2 입력 비디오 스트림(202-2)을 수신함)에 의해 수신될 수 있다. 일부 실시형태에서, 출력 스트림 메모리 관리 블록(332)에 의해 출력되는 RGBα 스트림(222)은 프레임 버퍼(306)에 저장될 수 있다. 일부 실시형태에서, 각각의 스트림은 적어도 두 개의 프레임 버퍼를 가질 수 있으며, 하나는 기록되는 반면 또 다른 하나는 판독/처리되고, 로직은 두 버퍼 사이에서 전환할 수 있다. 일부 실시형태에서, 입력 비디오 스트림(202)은 RGBα 스트림(222)을 사용하여 (예를 들어, 알파-블렌딩 블록(314)에 의해) 블렌딩될 수 있다.
일부 실시형태에서, 크로스-채널 믹싱 블록(302) 및 제2 입력 비디오 스트림(202-2)의 출력은 입력 스트림 메모리 관리 블록(322)에 의해 AI 엔진(324)으로 전달될 수 있으며, 이는 환자 프라이버시 및 다른 데이터 규정에 따라 입력 데이터를 비식별화할 수 있고, 이후 결정 지원을 제공하고, 특징(예를 들어, 혈관, 출혈 등)을 식별하고, 증강을 하고, 경고 및/또는 제안의 제공 등을 실시간으로 하기 위해 입력 스트림 상에서 AI 모델을 실행할 수 있다. AI 엔진(324)의 출력은 사용자 인터페이스(UI) 컴포지터 블록(334)에 제공될 수 있으며, 이는 AI 엔진(324)의 입력을 다른 UI 요소와 합성할 수 있고, 합성된 UI 스트림을 출력 스트림 메모리 관리 블록(332)으로 전송할 수 있으며, 이는 프레임 버퍼(306)에 RGBα 스트림(222)(합성된 UI 스트림에 대응함)을 출력하고 저장할 수 있다. AI 엔진(324)의 출력은 기입 블록(344)에 의해 기입될 수 있고, 또한 추가적인 비식별화(적절한 경우)가 발생할 수 있는 비식별화 블록(340)에 제공될 수 있다. 비식별화 블록(340)은 출력 비디오 스트림과 함께 비식별화된 스트림을 입력 스트림 메모리 관리 블록(342)(예를 들어, CPU(250) 상에서 실행되거나 이와 연관될 수 있음)에 제공할 수 있으며, 이는 기입 블록(344)에 의해 제공되는 임의의 기입 정보와 함께 스트림을 스토리지(348)에 기록하고 저장하기 위해 기록 블록(346)을 사용할 수 있다.
일부 실시형태에서, 알파-블렌딩 블록(314-1)(크로스-채널 믹싱 블록(302)의 출력을 수신함) 및 알파-블렌딩 블록(314-2)(제2 입력 비디오 스트림(202-2)을 수신함)은 또한 수신된 입력 스트림(예를 들어, 202)을 페일오버 버퍼(312-1 및 312-2) 각각에 저장할 수 있다.
정상 동작시, 대응하는 프레임 버퍼(306)로부터 알파-블렌딩 블록(314-1) 및 알파-블렌딩 블록(314-2)에 의해 유효한 그래픽 데이터(유효한 알파 채널을 가짐)가 획득될 때, 이후 블렌딩된 스트림 출력은 라이브 입력 비디오 스트림(예를 들어, 크로스-채널 믹싱 블록(302) 및 제2 입력 비디오 스트림(202-2)의 출력)을 정확하게 포함하고, 각각 스트림(204-1 및 204-2)으로서 출력할 것이다. 제1 입력 비디오 스트림 및 제2 입력 비디오 스트림이 3D HD 비디오 스트림(예를 들어, 예컨대 도 2b의 비디오 스트림(208))의 좌측(208-L) 및 우측(208-R) 채널일 수 있는 경우에서, 그리고 출력이 블렌딩된 출력 3D HD 비디오 스트림(214)의 좌측(214-L) 및 우측(214-R) 채널(도 2b에서) 또는 블렌딩된 출력 3D HD 비디오 스트림(204)의 좌측(204-L) 및 우측(214-R) 채널(도 3에서)에서의 입력 스트림을 반영할 수 있다. 일부 실시형태에서, 스트림은 HMD(140)로 출력될 수 있다.
블렌딩된 스트림이 결함이 있고 입력 라이브 비디오 스트림(예를 들어, 크로스-채널 믹싱 블록(302) 및 제2 입력 비디오 스트림(202-2)의 출력)을 정확하게 통합하지 않을 경우, 이후 알파-블렌딩 블록(314-1) 및 알파-블렌딩 블록(314-2)은: (i) 블렌딩된 스트림이 에러를 포함하는 것을 자동으로 검출할 수 있고, (ii) 페일오버 스트림을 각각 출력할 수 있다(예를 들어, 각각크로스-채널 믹싱 블록(302)의 출력에 대응하는 출력 스트림("204-1f" 또는 204-2f") 및 제2 입력 스트림(202-2)). 일 예로서, 블렌딩된 스트림은 블렌딩되고 있는 입력 그래픽 RGBα 스트림(222) 중 하나 이상이 데이터를 포함하지 않거나 유효하지 않은 데이터를 포함하고/하거나 알파 정보가 누락될 때 결함이 있을 수 있다(예를 들어, 소스 에러, 소스의 비가용성, 송신 에러, 비수신, 누락되거나 불량한 알파 채널, 데이터 에러, 다른 스트림 문제 등으로 인함). 결함이 있는 그래픽 RGBα 스트림(222)이 블렌딩될 때, 블렌딩된 출력(디스플레이되는 경우)은 블랙 스크린 및/또는 입력 라이브 비디오 스트림의 비디스플레이 또는 불명확함(예를 들어, 크로스-채널 믹싱 블록(302) 및 제2 입력 비디오 스트림(202-2)의 출력의 비디스플레이 또는 불명확함)을 초래할 수 있다. 일부 실시형태에서, 결함이 있는 블렌딩된 스트림의 검출 및 페일오버 스트림(204-1f 및 204-2f)의 출력은 단일 프레임을 처리하고 출력하는 시간 내에 발생할 수 있으므로, 이행은 끊김이 없다. 출력 스트림(204-1f 및 204-2f)은 의료진(120)에게 RGBα 스트림(222)의 에러에 대해 경고하기 위한 정보를 포함할 수 있다.
일부 실시형태에서, 페일오버 스트림(204-1f 및 204-2f)은 각각 페일오버 버퍼(312-1 및 312-2)로부터 획득될 수 있으며, 이는 크로스-채널 믹싱 블록(302) 및 제2 입력 스트림(202-2)의 출력의 프레임, 라인, 또는 그의 일부를 각각 저장하도록 구성될 수 있다. 블렌딩된 스트림이 유효한 데이터를 포함할 때 블렌딩이 자동으로 재개될 수 있고, 알파-블렌딩 블록(314-1) 및 알파-블렌딩 블록(314-2)이 이후 (페일오버 스트림(204-f 또는 214-f) 대신에) 블렌딩된 비디오 스트림(204 또는 214)을 다시 출력할 수 있다. 출력 스트림(204-1 및 204-2)은 또한 압축 블록(316)에 의해 수신될 수 있으며, 여기서 이들은 무선 송신(예를 들어, WLAN 인터페이스(236)을 통해)을 위해 압축될 수 있다.
도 4는 페일오버 기능성을 사용하여 수술 중 시각화를 용이하게 하기 위한 예시적인 방법(400)의 흐름도를 도시한다. 일부 실시형태에서, 방법(400)의 일부 또는 전부는 허브(150), 및/또는 허브(150)의 기능적 요소, 예컨대 FPE(225) 및/또는 알파 블렌딩 블록(314)(도 3), 및/또는 알파 블렌딩 블록(275)을 갖는 디코더 및/또는 알파 블렌딩 블록(280)을 갖는 3D 디코더(도 2b)에 의해 수행될 수 있다. 방법(400)은 각각의 인입(incoming) 프레임에 대해 반복적으로 수행될 수 있다.
블록(405)에서, 그래픽/UI 프레임(예를 들어, RGBα 스트림(222)으로부터의 프레임) 및 제1 비디오 프레임(예를 들어, 제1 비디오 프레임(202-1))은 연결된 인입 채널로부터 수신될 수 있다. 도 4에 도시된 바와 같이, 그래픽/UI 프레임은: (a) 예시적인 UI(RGBα) 프레임(482)에 의해 표시된 바와 같이 알파 채널을 포함하거나, (b) 알파 채널이 누락된 경우, 예시적인 UI 프레임(480)에서와 같이, 에러가 있을 수 있다. 일부 실시형태에서, 수신된 비디오 프레임 및 UI 프레임은 프레임 버퍼(306)에 저장될 수 있다. 예를 들어, 알파 채널을 포함하는 것으로 도 4에 도시되는 UI 프레임(410)은 프레임 버퍼(306)에 저장될 수 있다.
블록(430)에서, 알파 블렌딩은 제1 입력 비디오 채널(예를 들어, 202-1)의 제1 또는 다음 라인(420) 및 프레임 버퍼(306)에 저장된 UI 프레임(410) 내의 대응하는 라인을 사용하여 수행될 수 있다. 일부 실시형태에서, 알파 블렌딩 수행 블록(perform alpha blending block)(430)은 현재 프레임 내의 각각의 실선(예를 들어, 흑색)을 검출하고, 실선 블록(435)을 카운팅하기 위한 표시를 전송할 수 있다.
일부 실시형태에서, 카운트 실선 블록(435)은 솔리드 UI 프레임 라인(예를 들어, UI 프레임(410) 내의 실선)의 실행 카운트를 유지할 수 있고, 알파 블렌딩 수행 블록(430)으로부터 실선의 검출의 표시를 수신할 때마다 실선의 개수를 증가시킬 수 있다.
블록(440)에서, 현재 선의 수가 프레임의 어떤 분율 x보다 크지 않은 경우(예를 들어, 프레임의 x% 미만이 처리되는 경우), 블렌딩된 프레임은 출력으로 유지될 수 있으며, 이는 UI 프레임(410)이 유효하고 정확한 알파 채널을 포함할 때, 완료시에, 예시적인 블렌딩된 프레임(484)으로서 나타날 수 있다.
블록(445)에서, 실선 카운트를 프레임 내의 선의 총 수로 나눈 값이 x%를 초과하는 경우(예를 들어, 실선이 프레임의 x%보다 크게 구성됨)(블록(445)에서 "Y"), 블록(460)이 호출될 수 있다. 블록(445)에서, 프레임 내의 선의 총 수로 나눈 실선 카운트가 x%를 초과하지 않는 경우(예를 들어, 실선은 프레임의 x% 미만을 구성함)(블록(445)에서 "N"), 블렌딩된 프레임은 계속 출력될 것이며, 이는 UI 프레임(410)이 유효하고 정확한 알파 채널을 포함할 때, 완료시, 예시적인 블렌딩된 프레임(484)으로서 나타날 수 있다.
블록(450)에서, 입력의 각 라인은 (예를 들어, 페일오버 버퍼(455)의 치수에 기초하여) 다운샘플링되고 페일오버 버퍼(455)에 저장될 수 있다. 일부 실시형태에서, 페일오버 버퍼는 프레임의 (100 - x)%일 수 있다. 일 예로서, x%는 66.67%로 선택되고 프레임의 2/3를 형성할 수 있는 반면, 페일오버 버퍼 치수는 33.33% 또는 프레임의 1/3을 형성할 수 있다. 다운샘플링은 실시간으로 발생할 수 있다.
블록(460)에서(실선이 프레임의 총 선 카운트의 x%보다 크게 구성할 때 호출됨), 페일오버 버퍼는 페일오버 입력(465)을 포함하는 예시적인 출력 프레임(488)에 도시된 바와 같이 사용된다.
블록(470)에서, 적절한 프레임이 출력된다. 출력 프레임은 프레임(488)(예를 들어, UI 프레임이 프레임의 총 선 카운트의 x%보다 크게 구성하는 라인 에러를 갖는 것으로 결정되는 경우) 또는 프레임(484)(예를 들어, UI 프레임이 유효한 것으로 결정되고 라인 에러가 프레임의 총 선 카운트의 x%보다 크게 구성되지 않을 때) 중 하나일 수 있다.
도 5a 및 도 5b는 수술 중 시각화를 용이하게 하기 위한 시스템의 동작을 예시하는 예시적인 이미지를 도시한다.
도 5a는 내시경(예를 들어, 비디오 프레임(202-1))으로부터 제1 비디오 입력을 갖는 예시적인 (정확한) 블렌딩된 프레임(484)을 도시하며, 내시경 절단기와 같은 내시경 도구를 현재의 엔도커터(endocutter) 파라미터와 함께 도시한다. 블렌딩된 프레임(500)은 UI 입력(예를 들어, 출력 스트림 메모리 관리 블록(332)을 통해 UI 컴포지터(334)를 사용하는 GPU(220)에 의해 RGBα 프레임(222)으로서 제공될 수 있음)을 포함한다. UI 입력은 다음과 같은 하나 이상의 서브-윈도우를 포함할 수 있다: 환자(130)에 관한 정보(예를 들어, 병원 네트워크(170)에 결합된 서버로부터 허브(150)에 의해 검색됨)를 제공할 수 있는, 예시적인 환자 정보 서브 윈도우(515); 이용가능한 비디오 스트림 및 이미지 스트림의 수에 관한 정보를 제공할 수 있는, 미디어 캡처 서브-윈도우(510); 주입(insufflation) 압력, 공기 흐름 등과 같은 파라미터와 관련된 정보를 제공할 수 있는, 가스 관리 서브-윈도우; 인체 내 및/또는 더 큰 해부학적 조직(anatomy)/기관의 일부 내에서 수술 중 절차의 위치의 더 높은 레벨 표시를 제공하는, 맵(525); 및 이는 형광 투시 이미지의 디스플레이 모드의 변경을 허용할 수 있는, 인도시아닌 그린(Indocyanine Green; ICG) 디스플레이 서브-윈도우; 등.
도 5b는 블렌딩된 프레임이 결함이 있을 때의 출력 프레임을 도시한다. 예를 들어, 입력 UI 프레임(488)은 유효하지 않거나 에러가 있을 수 있으며(예를 들어, 알파 채널 정보의 부재 또는 UI 프레임 내의 선의 총 수에 비해 실선의 초과 때문에), 이에 따라 블렌딩된 프레임(550)이 디스플레이될 때 서브-윈도우(510, 512, 515, 520, 525)는 정보를 포함하지 않는다. 그러나, 블렌딩된 프레임(550)의 일부인 제1 비디오 입력 프레임(예를 들어, 202-1)은 페일오버 버퍼(예를 들어, 312-1 또는 455)로부터의 정보를 사용하여 계속 디스플레이되어, 수술 중 절차의 계속적인 시각화를 용이하게 한다. 또한, 의료 전문가(예를 들어, 의료 전문가(120-2))는 서브-윈도우(555)에 디스플레이된 에러 메시지를 통해 일시적인 장애에 대해 경고를 받는다. 일부 실시형태에서, 에러 메시지 서브-윈도우(555)는 제1 비디오 프레임을 디스플레이하기 위해 사용되지 않는 영역에 배치될 수 있다. 일부 실시형태에서, 블렌딩된 프레임(500)으로부터 블렌딩된 프레임(550)으로의 전환은 끊김이 없고, 단일 블렌딩된 프레임을 처리하고 출력하기 위해 그보다 짧은 시간에 발생할 수 있다.
도 6은 본원에 개시된 특정 실시형태에 따른 수술 중 시각화를 지원하기 위해 연관된 소프트웨어 아키텍처를 예시하는 예시적인 시스템(600)을 도시한다. 일부 실시형태에서, 도 6에 도시된 소프트웨어 아키텍처의 일부 또는 전부는 허브(150) 상에 구현될 수 있다.
도 6에 도시된 바와 같이, 소프트웨어 아키텍처(600)는 통신 및 주변 장치 서비스 계층(660)(외부 디바이스와의 인터페이싱 및 통신을 지원하기 위해), 연결 계층(650)(통신 및 주변 장치 서비스 계층(660)을 통한 출력을 위한 인입 정보 및 포맷 및 패키지 정보의 캡쳐를 가능하게 하기 위해), 데이터 계층(수술 중 이벤트 기입, 이벤트 통지, 및 데이터 저장 및 온라인 웹 기반 포털에 업로드를 포함한 데이터 관리를 할 수 있게 하기 위해), 멀티미디어 처리 및 동기화 계층을 포함할 수 있다.
UI 계층(610), 이는 사용자가 하나 이상의 디바이스의 연결을 허가하고, 결합된 디바이스를 구성하고, 스트림을 선택하고, 실행할 AI 모델을 선택하고, 수술 전 및 수술 중 이미지 소스를 선택하고, 절차 지침을 구성하고(예를 들어, 의료 전문가(120) 및/또는 지원 인원에게 제공될 것임), 통지(예를 들어, 특정 이벤트의 발생시 직원에게 제공될)를 지정하고, 원격 멘토링(telementoring)을 구성하는 것 등을 가능하게 할 수 있다.
모듈형일 수 있는 서비스 계층(620)은 AI 기반 애플리케이션을 포함하는 고급 애플리케이션이 수술 중 설정에서 사용될 수 있게 하는 기능을 제공할 수 있다. 예를 들어, 서비스 계층(620)은: (a) DICOM 서비스 기능성(626)을 제공할 수 있는데, 이는 관련된 수술 전 이미지에 대한 이용 가능한 소스를 분류하고 나열할 수 있으며, 선택된 이미지를 검색하고 로컬로 저장할 수 있다.
서비스 계층(620)은 또한 (b) 라이브 입력 비디오 스트림에서 선택 및 실행(예를 들어, 혈관 등을 식별하고 마킹하기 위함)을 위해 이용 가능한 AI 모델을 분류하고 나열할 수 있는, 팀 어시스트 서비스 기능성; (c) 이벤트를 기록하고 기입할 수 있는 이벤트 서비스 기능성(622); (d) 클라우드 기반 애플리케이션, 모델, 데이터 서비스 제공자 등에 대한 액세스를 허용하고 AI 모델 등을 훈련하기 위한 데이터의 업로드를 또한 허용할 수 있는 클라우드 지원 서비스를 제공할 수 있다. 서비스 계층(620)은 또한 UI 계층과 서비스 간의 상호작용을 허용할 수 있는 UI 서비스 기능성과 같은 다양한 다른 기능성을 제공할 수 있다.
일부 실시형태에서, 팀 어시스트 서비스(624)는 수술 전에 특정 절차들에 대한 절차 가이드를 셋업하기 위한 스태프 지침을 용이하게 할 수 있고, 이후 수술 중에 이들 가이드를 사용하여 가이드에 설명된 단계를 따르게 할 수 있다. 기계 학습 모델은 특정 절차에 대한 녹화된 비디오 및 절차 셋업에 기초하여 오프라인으로 훈련되어 절차의 일부로 설명된 상태 및 단계를 자동으로 인식할 수 있다. 일부 실시형태에서, 훈련된 모델은 이후 실시간으로 라이브 내시경 비디오 피드를 처리하여, 단계 및 상태를 자동적으로 인식하고, 컨텐츠를 변경시킴으로써 절차 가이드의 다음 단계로 온-스크린 가이드를 자동 진행시킬 수 있다.
팀 어시스트 서비스(624)는 절차의 현재 상태에 기초하여 수술실(OR) 내로부터 OR 외부의 직원으로의 메시징을 용이하게 하기 위한 통지 관련 서비스를 추가로 포함할 수 있다. 메시지는 절차가 시작되었거나, 절차가 완료되거나 예약된 시간을 지날 가능성이 있거나, OR이 준비된 것 등과 같은 하나 이상의 통지를 포함할 수 있다. 이러한 통지는 자원의 계획 및 보다 효과적인 사용을 도울 수 있다.
일부 실시형태에서, 팀 어시스트 서비스(624)는 이미지 보기 및 이미지 기반 계획 기능성을 포함할 수 있는데, 이는 이미징 디바이스로부터 수술 전에 획득된 다차원 디지털 이미지의 처리, 검토, 분석, 통신, 및 매체 교환을 용이하게 할 수 있다(예를 들어, 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI; magnetic resonance imaging), 진단 초음파, X-선, 양전자 방출 단층 촬영(PET) 스캔 등으로부터). 이미지 뷰어 및 이미지 기반 계획은 또한 3D 렌더링 및 시각화 및 사진 보관 및 통신 시스템(PACS) 통합을 가능하게 하여 수술 전 수술 계획 및 디지털 이미지의 수술 중 디스플레이를 용이하게 할 수 있다. 일부 실시형태에서, 이미지 보기 및 이미지 기반 계획 기능성은 또한 네트워크를 통해 또는 웹을 통해 상기 정보를 허가된 직원에게 이용가능하게 할 수 있고, 온라인 디지털 수술 포털의 전개를 용이하게 할 수 있다.
팀 어시스트 서비스(624)에 의해 제공되는 통합된 해부학적 조직, 3D 모델링, 및 환자 결과 시뮬레이션 기능성은 이용가능한 수술 전 및 수술 중 3D 모델을 사용할 수 있고, 수술 전 계획 및 수술 중 참조를 위한 3D 모델의 디스플레이 및 조작을 용이하게 할 수 있으며, 해부학적 조직 및 종양의 시각화를 개선하고, 환자-특정 및 절차-특정 시뮬레이션의 수행을 용이하게 할 수 있다.
멀티미디어 처리 및 동기화 계층(630)은 연결된 입력 디바이스의 관리 및 동기화를 용이하게 하고, 데이터, 비디오, 및 오디오 융합 및 처리를 가능하게 하며, 또한 데이터 관리를 위한 서비스(저장, 검색, 라벨링, 인덱싱 등)를 제공할 수 있다.
데이터 계층(640)은 확장 가능한 다중 서비스 및 디바이스 통신을 용이하게 할 수 있고, 수술 중 워크플로우와 관련된 모든 이해 관계자에게 통지를 제공할 수 있으며, 병원 네트워크(170)를 통해 및/또는 클라우드 기반 데이터 서비스 제공자를 통해 수술 중 정보의 체계적인 기입 및 저장을 용이하게 할 수 있다.
연결 계층(650)은 멀티미디어 데이터 교환을 용이하게 하고, 비디오, 오디오, 맞춤형 인터페이스와 같은 다양한 포맷으로 및 다양한 하드웨어 인터페이스를 통해 수신된 멀티미디어 입력을 캡쳐하는 기능성을 포함할 수 있으며, 또한 태블릿(145)뿐만 아니라 연결된 디스플레이에 정보를 또한 출력할 수 있다.
통신 및 주변 장치 인터페이스 계층(660)은 WLAN(예를 들어, Wi-Fi), WPAN(예를 들어, 블루투스), WWAN(예를 들어, 5G), 이더넷, USB, 맞춤형 주변 장치 포트 연결 등을 구성하고 관리하기 위한 소프트웨어를 포함할 수 있다.
도 6에 도시된 바와 같이, 통신 및 주변 장치 인터페이스 계층(660)은 다양한 외부 디바이스 및 주변 장치와의 상호 작용을 용이하게 할 수 있다. 예를 들어, 비디오 입력 및 출력(670)은 HDMI 및/또는 SDI 인터페이스를 사용하여 내시경(670-1), 초음파(670-2) 등과 같은 디바이스로부터 비디오를 수신할 수 있다. 비디오 입력 및 출력(670)은 또한 외부 디스플레이(135)(도 6에 도시되지 않음)로 비디오를 출력할 수 있다.
유선 및 무선 네트워킹 인터페이스(160)는 이더넷 연결(160-3)과 같은 유선 네트워크 연결을 포함할 수 있으며, 이는: 병원 네트워크(170) 상의 서버, 스토리지, 서비스 등에 연결하고; 디지털 수술 포털과의 데이터 교환을 용이하게 하기 위해 사용될 수 있고; 클라우드 기반 스토리지 및/또는 서비스(180)에 대한 연결을 제공할 수 있다. 무선 네트워크(160-1)는 사용자가 시스템(600)과 상호작용, 구성 및 이를 관리하게 할 수 있는 태블릿(145)과 같은 외부 WLAN 디바이스(174)와의 WLAN 연결을 위한 인터페이스를 포함할 수 있다. 일부 실시형태에서, 로컬 (예를 들어, 수술실) 무선 네트워크(160)는 허브(150)에 의해 제공될 수 있으며, 이는 허브(150)와 및/또는 그들 사이에서 통신하기 위해 네트워크로의 액세스를 사용하여 허가된 디바이스에 의해 사용될 수 있다(예를 들어, 대역폭, 레이턴시, 및 병원 네트워크에 대한 의존도 감소를 개선함). 무선 네트워크(160-1)는 WPAN 연결 및 오디오 디바이스, 스마트 기기, 로봇 기기, 센서 등과 같은 외부 WPAN(예를 들어, 블루투스) 디바이스와의 통신을 위한 인터페이스를 포함할 수 있다.
주변 장치 인터페이스(680)는 USB와 같은 표준 인터페이스를 포함할 수 있는데, 이는 OR 카메라에 연결을 제공하고, 전력을 제공하고, 수술용 가위, 실러 등과 같은 수술 기기를 지원할 수 있다. 맞춤형 인터페이스(683)는 흡입제 디바이스를 위해서, 펌프, 흡인기, 관류기 등과 같은 전자 기계 디바이스를 위한 커플링과 같은 제조업체에 특정한 인터페이스를 포함할 수 있다(도 6에 도시되지 않음).
도 7은 내결함성 수술 중 시각화를 위한 방법(700)의 예시적인 흐름도를 도시한다. 일부 실시형태에서, 방법(700)은 컴퓨팅 디바이스(예컨대, 허브(150))에서 수행될 수 있다. 일부 실시형태에서, 방법(700)은 FPE(225), GPU(220), 및/또는 프로세서(250)의 일부 조합에 의해 수행될 수 있다. 방법(700)은 하드웨어, 소프트웨어, 및 펌웨어의 일부 조합에 의해 구현될 수 있다. 하나의 비제한적인 예로서, 방법(700)은 기존의 수술 중 컴퓨팅 디바이스에 내결함성 수술 중 시각화 기능성을 추가하기 위해 PCIe 인터페이스를 갖는 애드온 M2 확장 카드를 사용하여 구현될 수 있다.
블록(710)에서, 알파 채널을 포함하는 하나 이상의 그래픽 스트림(704)이 수신될 수 있다. 그래픽 스트림(704)은 하나 이상의 그래픽 프레임을 포함할 수 있다. 일부 실시형태에서, 하나 이상의 그래픽 스트림은 미리 곱해진 알파 채널을 포함할 수 있다.
블록(715)에서, 라이브 비디오 프레임을 포함하는 적어도 하나의 제1 수술 중 라이브 비디오 스트림(702)이 수신될 수 있고, 적어도 하나의 제1 수술 중 라이브 비디오 스트림(702)은 의료 디바이스(예를 들어, 의료 절차 동안에 내시경(670-1), 초음파(670-2) 등)로부터 수신될 수 있다. 일 예로서, 라이브 비디오 스트림(702)은 라이브 비디오 스트림(208 및/또는 209) 중 하나일 수 있고, 그래픽 스트림(704)은 그래픽(UI) 스트림(222)에 대응할 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림(702)은 두 개의 수술 중 라이브 비디오 스트림(예를 들어, 202-1 및 202-2)을 믹싱함으로써 획득될 수 있다. 예를 들어, 크로스 채널 믹싱은 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 획득하기 위해 사용될 수 있다. 일부 실시형태에서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림(702)은 입체 라이브 비디오 스트림(예를 들어, 3D 라이브 비디오 스트림(208))을 포함할 수 있다.
블록(720)에서, 적어도 하나의 현재 그래픽 프레임이 제1 버퍼(예를 들어, 프레임 버퍼(306-1)) 내에 저장될 수 있다.
블록(730)에서, 제1 버퍼(예를 들어, 306-1)로부터의 적어도 하나의 현재 그래픽 프레임은 적어도 하나의 제2 버퍼(예를 들어, 306-2)로부터의 적어도 하나의 현재 라이브 비디오 프레임과 블렌딩되어 적어도 하나의 블렌딩된 프레임을 획득할 수 있다. 일부 실시형태에서, 블렌딩은 실시간으로 수행될 수 있고, 출력은 블렌딩된 프레임 버퍼(306-4)에 저장될 수 있다. 일부 실시형태에서, 블렌딩 동작은 다수의 프로세서 또는 처리 코어를 사용하여 병렬로 수행될 수 있다.
블록(740)에서, 블렌딩이 제1 라이브 수술 중 비디오 스트림의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여, 적어도 하나의 추가 버퍼(예를 들어, 페일오버 버퍼(312))로부터의 현재 라이브 비디오 프레임의 디스플레이가 실시간으로 및 수술 중 절차 동안 개시될 수 있다. 예를 들어, 블렌딩이 현재 라이브 비디오가 불명확하거나 보이지 않는 것을 초래한다는 것의 결정시, 페일오버 버퍼(312)로부터의 현재 라이브 비디오 프레임의 디스플레이가 인에이블될 수 있다. 일부 실시형태에서, 적어도 하나의 제3 버퍼로부터 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은, 적어도 하나의 현재 그래픽 프레임의 적어도 하나의 현재 라이브 비디오 프레임과의 블렌딩을 완료하는 시간 내에 발생할 수 있다.
일부 실시형태에서, 적어도 하나의 현재 라이브 비디오 프레임은 적어도 하나의 제2 버퍼 및 적어도 하나의 제3 버퍼(예를 들어, 페일오버 버퍼(312)) 내에 저장될 수 있다. 일부 실시형태에서, 적어도 하나의 현재 라이브 비디오 프레임은 다운샘플링될 수 있고, 적어도 하나의 다운샘플링된 현재 라이브 비디오 프레임은 적어도 하나의 제3 버퍼 내에 저장될 수 있다. 일부 실시형태에서, 다운샘플링은 실시간으로 수행될 수 있다.
일부 실시형태에서, 블록(740)에서, 적어도 하나의 제3 버퍼로부터의 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대한 적어도 하나의 블렌딩된 프레임 내의 실선의 수의 비율에 기초할 수 있다. 예를 들어, 적어도 하나의 제3 버퍼로부터의 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 비율이 임계치를 초과할 때 이루어질 수 있다.
일부 실시형태에서, 방법은, 에러 표시(예를 들어, 에러 표시(555))와 함께 적어도 하나의 제3 버퍼로부터의 적어도 하나의 현재 라이브 비디오 프레임을 실시간으로 디스플레이하는 것을 추가로 포함할 수 있다.
일부 실시형태에서, 방법(700)은, 블렌딩이 적어도 하나의 제1 라이브 수술 중 비디오 스트림의 디스플레이를 초래할 것이라는 결정에 응답하여, 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하는 것을 (예를 들어, 블록(740) 후에) 추가로 포함할 수 있다. 예를 들어, 일부 실시형태에서, 적어도 하나의 블렌딩된 프레임의 디스플레이는 라이브 비디오 스트림의 디스플레이가 손상되지 않을 때 블렌딩된 프레임이 디스플레이되도록 "디폴트" 모드일 수 있다. 블렌딩이 현재 라이브 비디오가 불명확하거나 보이지 않는 것을 초래하는 경우에서(예를 들어, 블록(740)에서 결정된 바와 같이), 페일오버 버퍼(312)로부터의 현재 라이브 비디오 프레임의 디스플레이가 인에이블될 수 있다. 예를 들어, 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하는 결정은, 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대해 적어도 하나의 블렌딩된 프레임 내의 실선의 수의 비율이 임계치 미만일 때 이루어질 수 있다.
본 개시내용은 교시 목적(instructional purpose)을 위한 구체적인 실시형태와 관련하여 설명되었지만, 개시내용이 이에 한정되는 것은 아니다. 다양한 개조(adaptation) 및 수정이 본 개시내용이 범위로부터 벗어남이 없이 이루어질 수 있다. 따라서, 첨부된 청구범위의 정신과 범위는 전술한 설명에 한정되지 않아야 한다.

Claims (20)

  1. 프로세서-구현 방법으로서,
    알파 채널을 갖는 하나 이상의 그래픽 스트림들을 수신하는 것으로서, 상기 그래픽 스트림들은 하나 이상의 그래픽 프레임들을 포함하는, 상기 수신하는 것;
    수술 중(intraoperative) 절차 동안 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하는 것으로서, 상기 제1 수술 중 라이브 비디오 스트림은 복수의 라이브 비디오 프레임들을 포함하고, 상기 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 의료 디바이스로부터 수신되는, 상기 수신하는 것;
    적어도 하나의 현재 그래픽 프레임을 제1 버퍼 내에 저장하는 것;
    상기 제1 버퍼로부터의 상기 적어도 하나의 현재 그래픽 프레임을 상기 복수의 라이브 비디오 프레임들 중 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하는 것; 및
    상기 블렌딩이 상기 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 상기 수술 중 절차 동안 실시간으로 개시하는 것을 포함하는, 프로세서-구현 방법.
  2. 제1항에 있어서, 상기 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 상기 적어도 하나의 현재 그래픽 프레임을 상기 적어도 하나의 현재 라이브 비디오 프레임과 블렌딩하는 것을 완료하는 시간 내에 발생하는, 프로세서-구현 방법.
  3. 제1항에 있어서,
    에러 표시와 함께 상기 적어도 하나의 현재 라이브 비디오 프레임을 실시간으로 디스플레이하는 것을 추가로 포함하는, 프로세서-구현 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 상기 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대한 상기 적어도 하나의 블렌딩된 프레임 내의 실선(solid line)의 수의 비율에 기초하는, 프로세서-구현 방법.
  5. 제4항에 있어서, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 상기 비율이 임계치를 초과할 때 이루어지는, 프로세서-구현 방법.
  6. 제1항에 있어서,
    상기 블렌딩이 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 초래할 것이라는 결정에 응답하여, 상기 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하는 것을 추가로 포함하는, 프로세서-구현 방법.
  7. 제6항에 있어서, 상기 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하는 결정은 상기 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대해 상기 적어도 하나의 블렌딩된 프레임 내의 실선의 수의 비율이 임계치를 초과하지 않을 때 이루어지는, 프로세서-구현 방법.
  8. 제1항에 있어서, 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하는 것은:
    선택적으로 상기 적어도 하나의 현재 라이브 비디오 프레임을 적어도 하나의 제2 버퍼 내에 저장하는 것;
    상기 적어도 하나의 현재 라이브 비디오 프레임을 다운샘플링하고, 상기 적어도 하나의 다운샘플링된 현재 라이브 비디오 프레임을 적어도 하나의 제3 버퍼 내에 저장하는 것; 또는
    이들의 조합 중 적어도 하나를 포함하는, 프로세서-구현 방법.
  9. 제8항에 있어서, 상기 다운샘플링은 실시간으로 수행되는, 프로세서-구현 방법.
  10. 제1항에 있어서, 상기 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 두 개의 수술 중 라이브 비디오 스트림들을 믹싱함으로써 획득되는, 프로세서-구현 방법.
  11. 제1항에 있어서, 상기 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 입체 라이브 비디오 스트림을 포함하는, 프로세서-구현 방법.
  12. 제1항에 있어서, 프로세서에 의해 수행되는, 상기 프로세서가 상기 제1 버퍼를 포함하는 복수의 버퍼들이 구현된 메모리에 결합되는, 프로세서-구현 방법.
  13. 시스템으로서,
    수술 중 절차 동안 의료 디바이스로부터 적어도 하나의 제1 수술 중 라이브 비디오 스트림을 수신하는 비디오 인터페이스로서, 상기 적어도 하나의 제1 수술 중 라이브 비디오 스트림은 복수의 라이브 비디오 프레임들을 포함하는, 상기 비디오 인터페이스;
    알파 채널을 갖는 하나 이상의 그래픽 스트림들을 수신하는 그래픽 인터페이스로서, 상기 그래픽 스트림들은 하나 이상의 그래픽 프레임들을 포함하는, 상기 그래픽 인터페이스;
    복수의 버퍼들을 포함하는 스토리지(storage); 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 하나 이상의 그래픽 프레임들 중 적어도 하나의 현재 그래픽 프레임을 상기 복수의 버퍼들 중 제1 버퍼 내에 저장하고;
    상기 제1 버퍼로부터의 상기 적어도 하나의 현재 그래픽 프레임을 상기 복수의 라이브 비디오 프레임들 중 적어도 하나의 현재 라이브 비디오 프레임과 적어도 하나의 블렌딩된 프레임 내로 블렌딩하고,
    상기 블렌딩이 상기 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 결정에 응답하여, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 상기 수술 중 절차 동안 실시간으로 개시하도록 구성되는, 시스템.
  14. 제13항에 있어서, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 상기 적어도 하나의 현재 그래픽 프레임을 상기 적어도 하나의 현재 라이브 비디오 프레임과 블렌딩하는 것을 완료하는 시간 내에 발생하는, 시스템.
  15. 제13항에 있어서, 에러 표시와 함께 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 야기하는 상기 프로세서를 추가로 포함하는, 시스템.
  16. 제13항에 있어서, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 상기 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대한 상기 적어도 하나의 블렌딩된 프레임 내의 실선의 수의 비율에 기초하는, 시스템.
  17. 제16항에 있어서, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 개시하는 결정은 상기 비율이 임계치를 초과할 때 이루어지는, 시스템.
  18. 제13항에 있어서, 상기 프로세서는,
    상기 블렌딩이 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 초래할 것이라는 결정에 응답하여, 상기 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하도록 추가로 구성되는, 시스템.
  19. 제18항에 있어서, 상기 적어도 하나의 블렌딩된 프레임의 디스플레이를 개시하는 결정은 상기 적어도 하나의 블렌딩된 프레임 내의 선의 총 수에 대해 상기 적어도 하나의 블렌딩된 프레임 내의 실선의 수의 비율이 임계치를 초과하지 않을 때 이루어지는, 시스템.
  20. 비일시적 컴퓨터 판독 가능 매체로서, 프로세서가
    복수의 그래픽 프레임들을 포함하는 그래픽 스트림을 수신하고;
    의료 디바이스로부터의 복수의 라이브 비디오 프레임들을 포함하는 수술 중 라이브 비디오 스트림을 수신하고;
    상기 그래픽 스트림으로부터의 현재 그래픽 프레임을 버퍼 내에 저장하고;
    상기 버퍼로부터의 상기 현재 그래픽 프레임을 상기 수술 중 라이브 비디오 스트림의 현재 라이브 비디오 프레임과, 블렌딩된 프레임 내로 블렌딩하고;
    상기 블렌딩이 상기 적어도 하나의 현재 라이브 비디오 프레임의 비디스플레이를 초래할 것이라는 동시적 결정에 응답하여, 상기 적어도 하나의 현재 라이브 비디오 프레임의 디스플레이를 상기 수술 중 절차 동안 실시간으로 개시하도록 구성하기 위한 명령어를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020247015798A 2021-10-15 2022-10-14 수술 중 시각화를 위한 장치, 시스템 및 방법 KR20240089660A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163256514P 2021-10-15 2021-10-15
US63/256,514 2021-10-15
PCT/IB2022/059862 WO2023062594A1 (en) 2021-10-15 2022-10-14 Apparatus, systems, and methods for intraoperative visualization

Publications (1)

Publication Number Publication Date
KR20240089660A true KR20240089660A (ko) 2024-06-20

Family

ID=85982397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247015798A KR20240089660A (ko) 2021-10-15 2022-10-14 수술 중 시각화를 위한 장치, 시스템 및 방법

Country Status (5)

Country Link
US (3) US20230121709A1 (ko)
EP (1) EP4415651A1 (ko)
KR (1) KR20240089660A (ko)
CN (1) CN118695823A (ko)
WO (2) WO2023062594A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220296082A1 (en) * 2019-10-17 2022-09-22 Sony Group Corporation Surgical information processing apparatus, surgical information processing method, and surgical information processing program
US20220331047A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Method for intraoperative display for surgical systems
KR20240089660A (ko) * 2021-10-15 2024-06-20 버브 서지컬 인크. 수술 중 시각화를 위한 장치, 시스템 및 방법
US11717149B1 (en) * 2022-04-27 2023-08-08 Maciej J. Kieturakis Methods and systems for robotic single-port laparoscopic access

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002186582A (ja) * 2000-12-20 2002-07-02 Asahi Optical Co Ltd 内視鏡装置
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US7317955B2 (en) 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7801351B2 (en) 2005-11-22 2010-09-21 General Electric Company Method and system to manage digital medical images
US20070211930A1 (en) 2006-03-09 2007-09-13 Terry Dolwick Attribute based image enhancement and display for medical imaging applications
JP4931189B2 (ja) * 2006-05-26 2012-05-16 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ
US7688889B2 (en) 2006-09-18 2010-03-30 Rgb Networks, Inc. Methods, apparatus, and systems for insertion of overlay content into a video signal with transrating capabilities
US8228368B2 (en) * 2008-04-26 2012-07-24 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a captured fluorescence image and captured stereoscopic visible images
US8730251B2 (en) * 2010-06-07 2014-05-20 Apple Inc. Switching video streams for a display without a visible interruption
US9827054B2 (en) * 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
KR102460203B1 (ko) * 2014-10-27 2022-10-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 통합 수술 테이블 아이콘을 위한 시스템 및 방법
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置
US10610310B2 (en) * 2017-10-02 2020-04-07 Robin Elizabeth McKenzie TODD User interface system and methods for overlaying surgical video output
US10863230B1 (en) * 2018-09-21 2020-12-08 Amazon Technologies, Inc. Content stream overlay positioning
DE102019109189B3 (de) * 2019-04-08 2020-08-13 Schölly Fiberoptic GmbH Vorrichtung und Verfahren zur Bearbeitung von Datenströmen
US11676389B2 (en) * 2019-05-20 2023-06-13 Massachusetts Institute Of Technology Forensic video exploitation and analysis tools
US11633247B2 (en) * 2020-03-03 2023-04-25 Verb Surgical Inc. Graphical user guidance for a robotic surgical system
EP4199850A1 (en) * 2020-08-19 2023-06-28 Covidien LP Predicting stereoscopic video with confidence shading from a monocular endoscope
CN116806349A (zh) * 2020-11-24 2023-09-26 直观外科手术操作公司 从外科手术视频数据的外科手术任务数据导出
KR20240089660A (ko) * 2021-10-15 2024-06-20 버브 서지컬 인크. 수술 중 시각화를 위한 장치, 시스템 및 방법

Also Published As

Publication number Publication date
CN118695823A (zh) 2024-09-24
US20230127774A1 (en) 2023-04-27
WO2023062594A1 (en) 2023-04-20
EP4415651A1 (en) 2024-08-21
US20240225418A1 (en) 2024-07-11
US20230121709A1 (en) 2023-04-20
US11910997B2 (en) 2024-02-27
WO2024079710A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
US11910997B2 (en) Apparatus, systems, and methods for intraoperative visualization
US11376094B2 (en) Enhanced video enabled software tools for medical environments
US11297285B2 (en) Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures
US7787699B2 (en) Real-time integration and recording of surgical image data
US10623665B2 (en) Converter device and system including converter device
US20110150420A1 (en) Method and device for storing medical data, method and device for viewing medical data, corresponding computer program products, signals and data medium
EP2737868A1 (en) Wireless surgical loupe
US20200058384A1 (en) Medical information management apparatus, medical information management method, and medical information management system
EP2881030A1 (en) Image recording device and image recording method
US20090125840A1 (en) Content display system
US20090268986A1 (en) System for the playback of medical images
JP2006312026A (ja) 画像表示装置
US20210015432A1 (en) Surgery support system, information processing apparatus, and program
US9509982B2 (en) Image processing system and method
US20180092509A1 (en) Image recording device
KR20210157912A (ko) 종합적 데이터 분석을 위해 비디오, 이미지, 및 오디오 데이터를 텍스트 데이터와 조합하기 위한 방법 및 시스템
US9406160B2 (en) Image processing system, image storage device, and medical image diagnostic apparatus
WO2023166417A1 (en) Apparatus, systems, and methods for intraoperative instrument tracking and information visualization
CN112216376A (zh) 远程引导系统、方法、计算机设备以及可读存储介质
US12011143B2 (en) Enhanced video enabled software tools for medical environments
US20230274433A1 (en) Medical information processing system, medical information processing method, and program
US20240155085A1 (en) Surgical operation room system, image recording method, program, and medical information processing system
KR20240053280A (ko) 질병 진단을 위한 딥러닝 기반 증강현실 시스템
CN117437379A (zh) 一种基于混合现实系统的远程手术方法及装置
CN118787445A (zh) 用于手术规划和导航的方法、装置、系统及图像处理方法