KR20210057209A - 비디오 스트리밍을 최적화하기 위한 방법 및 시스템 - Google Patents

비디오 스트리밍을 최적화하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20210057209A
KR20210057209A KR1020217013970A KR20217013970A KR20210057209A KR 20210057209 A KR20210057209 A KR 20210057209A KR 1020217013970 A KR1020217013970 A KR 1020217013970A KR 20217013970 A KR20217013970 A KR 20217013970A KR 20210057209 A KR20210057209 A KR 20210057209A
Authority
KR
South Korea
Prior art keywords
video
view
surgical
field
image content
Prior art date
Application number
KR1020217013970A
Other languages
English (en)
Other versions
KR102319400B1 (ko
Inventor
브라이언 에드워드 밀러
조이 챠우
고빈다 페이야불라
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020217034593A priority Critical patent/KR102365946B1/ko
Publication of KR20210057209A publication Critical patent/KR20210057209A/ko
Application granted granted Critical
Publication of KR102319400B1 publication Critical patent/KR102319400B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

수술 절차를 수행하기 위한 방법은, 이미지 캡처 디바이스의 시야 내에서 절차를 수행하는 시스템의 상태 변화와 연관된 입력을 수신하는 것에 응답하여, 비디오 인코더의 인코딩 구성을 조정하는 단계를 포함하고, 시스템의 상태 변화는 시야 내의 이미지 데이터 콘텐츠에 효과를 나타낼 것으로 예상된다.

Description

비디오 스트리밍을 최적화하기 위한 방법 및 시스템{METHODS AND SYSTEMS FOR OPTIMIZING VIDEO STREAMING}
이 출원은 2012년 8월 15일자로 출원된 미국 가출원 번호 제61/683,493호의 우선권을 주장하며, 그 전체 내용이 본 명세서에 참조되어 포함된다.
본 발명은 일반적으로 비디오 데이터 처리에 관한 것이다. 더 구체적으로, 본 발명의 양태들은 원격 부위에서 예를 들면, 원격 수술 부위에서 최소 침습 수술 절차(minimally invasive surgical procedures) 동안 캡처된 비디오 데이터를 처리하는 방법 및 시스템에 관한 것이다.
최소 침습 수술 기술들은 일반적으로 건강한 조직의 손상을 최소화하면서 다양한 수술 절차들을 수행하려고 시도한다. (예를 들어, 수동 또는 원격로봇식 제어를 포함한) 최소 침습 수술 기구들은 다양한 작업들에 사용될 수 있고, 다양한 구성들을 가질 수 있다. 이러한 많은 기구들은 환자 내의 원격 수술 부위에 도달하기 위해 개구(예를 들어, 체벽 절개, 자연 발생적인 구멍 등)를 통해 (예를 들어, 복강경으로 또는 흉강경으로) 삽입하도록 구성된 긴 샤프트의 원위 단부에 장착된 수술 단부 이펙터를 포함하지만, 이것으로 제한되지 않는다. 어떤 기구들에서는, 기구의 샤프트의 원위 단부에 관절 손목 메커니즘이 장착되어 단부 이펙터를 지지하고 샤프트의 종축을 기준으로 하여 단부 이펙터의 방향(예를 들어, 피치(pitch) 및/또는 요우(yaw))을 변경한다.
이러한 수술 도구들의 단부 이펙터들은 통상적으로 개방 수술 절차들에서 수행되는 다양한 수술 절차들 중 임의의 것을 포함하는 다양한 기능들을 수행하도록 구성될 수 있다. 예들은 밀봉, 절단, 소작, 제거, 봉합, 꿰맴 등을 포함하지만, 이것으로 제한되지 않는다. 단부 이펙터의 움직임을 제어하기 위해, 수술 기구의 근위 단부로부터 기구 샤프트 아래로 단부 이펙터까지 힘 또는 토크가 전달될 수 있다.
원격로봇식 수술 시스템들에서, 외과 의사는 원격 수술 부위에서 하나 이상의 대응하는 원격-제어식 수술 기구들을 제어하기 위해 외과 의사측 콘솔(본 명세서에서 때때로 마스터 입력들로서 지칭됨)에서 다양한 입력 디바이스들을 조작한다. 외과 의사측 콘솔에서의 입력들은, 원격 제어되는 수술 도구들과 인터페이스되는 환자측 카트에 통신되고, 외과 의사 기구의 대응하는 원격조작식/원격로봇식 조작은 원격 수술 부위에서 환자의 수술의 그리고/또는 다른 절차를 수행하기 위해 발생한다.
예를 들어, 원격로봇식으로 제어되는 수술 시스템 또는 다른 최소 침습 수술 기구(예를 들면, 종래의 수동식 복강경 또는 내시경 절차들)를 통해 원격으로 최소 침습 수술 절차를 수행할 때, 내시경 카메라를 통해 수술 부위에서 캡처된 이미지들을 표시하기 위해 비디오 디스플레이(예를 들면, 모니터)가 사용될 수 있다. 로봇식 수술 시스템들에서, 예를 들면, 내시경 카메라는 환자측 카트에 장착될 수 있고, 의사측 콘솔에서의 입력들을 통해 조작될 수 있다.
수술 부위에서 캡처된 비디오 이미지는, 비디오 이미지들의 캡처와 비디오 이미지들의 표시 간에 최소의 또는 전무의 대기시간(latency)을 갖고(예를 들어, 가능한 한 높은 프레임 레이트로) 비교적 규칙적으로 비디오 디스플레이에 도달하는 것이 바람직할 수 있다. 그러나, 비디오 디스플레이에서 상대적으로 높은 충실도(high-fidelity)의 비디오 이미지들을 제공하는 것이 또한 바람직할 수 있다. 이러한 방식으로, 비디오 처리 및 디스플레이 시스템은 수술 부위의 높은 충실도의 중단 없는 "실시간" 비디오를 표시할 수 있고, 따라서, 수술 부위의 비교적 선명하고 정확한 비디오 이미지를 외과 의사에게 제공할 수 있다.
수술 부위에서 캡처된 비디오 이미지들이 비교적 규칙적으로 최소 대기시간을 갖고 비디오 시스템에 도달하지 않는다면, 비디오 디스플레이는 수술 부위의 실질적으로 중단 없는 실시간 비디오를 표시할 수 없을 것이다. 예를 들어, 수술 부위에서 캡처된 비디오 이미지들을 비디오 디스플레이에 전송하는 것을 위해 데이터 네트워크에 의존할 때, 비디오 이미지들의 도달의 규칙성은 예를 들어, 네트워크 혼잡 및/또는 네트워크 노드 장애 등과 같은 데이터 네트워크와 일반적으로 연관된 조건들에 의해 영향을 받을 수 있다. 수술 부위에서의 비디오 이미지의 캡처와 비디오 디스플레이에서의 비디오 이미지의 표시 사이에 소정의 대기시간을 유지하는 것은, 소정의 대기시간이 대부분의 또는 모든 데이터 지연(예를 들어, 네트워크 기반 지연)을 초과한다면, 네트워크 조건들에 의해 유발되는 중단들을 감소시킬 수 있거나 또는 제거할 수 있다. 그러나 낮은 또는 전무의 대기시간이 바람직한 응용들(예를 들면, 수술 응용들에서 등과 같이)에서, 대부분의 또는 모든 중단들을 감소시키거나 또는 제거하기에 충분히 긴 소정의 대기시간은, 그러한 응용들에 대해 바람직한 것으로 고려되는 대기시간을 초과할 것이다.
또한, 수술 부위와 상기 디스플레이 간의 비디오 이미지들의 전송이, 대역폭에 있어서 제한된다면(예를 들어, 그러한 전송이 데이터 네트워크 등과 같은 공유 매체를 통해 발생하는 경우들에서와 같이), 비디오 이미지들의 비디오 스트림을 전송하는 평균 데이터 레이트를 감소시키기 위해 비디오 이미지들이 인코딩/압축될 필요가 있을 수 있다. 그러나, 예를 들어, 비디오 스트림을 전송하기 위한 데이터 양을 감소시키기 위한 기술을 이용하는 국제 전기 통신 연합(ITU) 통신 표준화 섹션(ITU-T) 권고/표준 H.264 (또한 국제 표준화 기구/국제 전자기술 위원회(ISO/IEC), 동화상 전문가 그룹 버전 4(MPEG-4) 고급 비디오 코딩(AVC) 표준(또는 ISO/IEC MPEG-4 AVC 표준이라고도 알려짐)) 등과 같은 공지된 비디오 인코딩/디코딩 표준들은 특정 상황들하에서 충분히 높은 충실도의 비디오 이미지들을 제공하지 않을 수 있다. 예를 들어, (부위에서 발생하는 큰 움직임 또는 다른 변화들에 기인하여) 캡처된 연속적인 비디오 이미지들에서의 상대적으로 큰 차이들에 대해, 비디오 인코딩/디코딩 표준에 의해 이용되는 데이터 감소 기술들은 비교적 낮은 충실도 이미지를 생성할 수 있다. 이것은 연속적인 비디오 이미지들 사이의 차이들이 예측될 수 없을 때 더욱 문제가 될 수 있다.
수술 부위에서 캡처되고 비디오 디스플레이에서의 표시를 위해 전송되는 이미지들의 높은 충실도뿐만 아니라 (실질적으로 실시간으로 표시가 요구되는 응용들에 유용한) 비교적 낮은 대기시간을 제공하는 비디오 처리 시스템 및 방법을 제공할 필요성이 존재한다. 또한, 예를 들면, 외과 의사측 콘솔 디스플레이에서 낮은 대기시간을 가지며 수술 부위에서의 실질적으로 중단 없는 높은 충실도의 비디오 이미지들을 나타내는 원격로봇식 수술 시스템 등과 같은 최소 침습 수술 시스템을 제공할 필요성이 있다.
본 개시 내용은 전술한 문제들 중 하나 이상을 해결하며 그리고/또는 전술한 바람직한 특징들 중 하나 이상을 나타낸다. 다른 특징들 및/또는 이점들은 하기의 설명으로부터 명백해질 것이다.
적어도 하나의 예시적인 실시예에 따르면, 본 개시 내용은, 절차를 수행하는 시스템의 상태 변화(수술 절차를 수행하는 시스템의 상태 변화와 같은)와 연관된 입력을 수신하는 것에 응답하여 비디오 인코더의 인코딩 구성을 조정하는 단계를 포함하는, 비디오 처리 방법을 고려한다. 이 방법은 조정된 인코딩 구성에 기초하여, 상태 변화 후에 캡처된 수술 절차의 이미지 데이터를 인코딩하는 단계를 더 포함한다.
적어도 하나의 다른 예시적인 실시예에 따르면, 본 개시 내용은 내시경 이미지 캡처 디바이스 및 이미지 데이터를 인코딩하기 위한 비디오 인코딩 구성 데이터를 생성하는 비디오 프로세서를 포함하는 수술 시스템을 고려하며, 상기 프로세서는 수술 시스템의 상태 변화와 연관된 입력을 수신하고, 그 입력에 기초하여 조정된 비디오 인코딩 구성 데이터를 출력하도록 구성된다.
부가적인 목적들 및 이점들은 부분적으로는 하기의 설명에 기재될 것이고, 부분적으로는 그 설명으로부터 자명할 것이며, 또는 본 개시 내용 및/또는 청구항들의 실시에 의해 알게 될 수 있을 것이다. 이러한 목적들 및 이점들 중 적어도 일부는 첨부된 청구항들에서 특히 지적된 엘리먼트들 및 그 조합들에 의해 실현 및 획득될 수 있다.
전술한 개략적인 설명 및 하기의 상세한 설명은 둘 다 예시 및 설명을 위한 것일 뿐이며, 개시 또는 청구된 바와 같은 본 발명을 제한하는 것은 아니다. 청구범위는 균등물들을 포함하여 최대한의 범위의 권리가 주어져야 한다.
본 개시 내용은 단독으로 또는 첨부 도면과 함께 하기의 상세한 설명으로부터 이해될 수 있다. 도면은 본 발명의 충분한 이해를 제공하기 위해 포함되고, 이 명세서에 통합되어 그 일부를 구성한다. 이 명세서에 통합되어 그 일부를 구성하는 도면은 본 개시 내용의 하나 이상의 실시예를 도시하며, 설명과 함께, 특정 원리들 및 동작을 설명하는 역할을 한다. 도면에 있어서,
도 1은 본 개시 내용의 적어도 하나의 예시적인 실시예에 따른 로봇식 수술 시스템의 실시예의 개략도이다.
도 2는 본 개시 내용의 적어도 하나의 예시적인 실시예에 따른 로봇식 수술 시스템의 카메라 아암의 일부분의 사시도이다.
도 3은 본 개시 내용의 적어도 하나의 예시적인 실시예에 따른 비디오 인코딩 디바이스의 기능 블록도이다.
도 4는 본 개시 내용의 적어도 하나의 예시적인 실시예에 따른 비디오 처리 기술의 잠재적 동작을 예시하는 데 사용되는 표이다.
도 5는 본 개시 내용의 다른 예시적인 실시예에 따른 비디오 처리 기술의 잠재적 동작을 예시하는 데 사용되는 표이다.
도 6은 본 개시 내용의 적어도 하나의 예시적인 실시예에 따른 비디오 처리 방법을 도시하는 흐름도이다.
도 7은 본 개시 내용의 다른 예시적인 실시예에 따른 비디오 처리 방법을 나타내는 흐름도이다.
도 8은 본 개시 내용의 또 다른 예시적인 실시예에 따른 비디오 처리 방법을 도시하는 흐름도이다.
도 9는 본 개시 내용의 적어도 하나의 실시예에 따른 비디오 처리 시스템을 개략적으로 도시한다.
이 개시 내용 및 첨부 도면은 예시적인 실시예들을 예시하고, 제한하는 것으로서 간주되지 말아야 하고, 청구범위는 등가물을 포함해서, 본 개시 내용의 범위를 정의한다. 다양한 기계적, 조성적, 구조적, 전기적, 및 동작적 변화들이 이 설명 및 청구항들의 범위를 벗어나지 않고서 이루어질 수 있다. 어떤 예들에서, 공지된 구조들 및 기술들은 본 개시 내용을 모호하게 하지 않도록 상세히 도시되거나 설명되지 않는다. 둘 이상의 도면에서 동일한 참조 번호들은 동일하거나 또는 유사한 엘리먼트들을 나타낸다. 또한, 일 실시예를 참조하여 상세히 설명되는 엘리먼트들 및 그들의 연관된 양태들은, 실용적일 때는 언제나, 그들이 특별히 도시되거나 또는 설명되지 않은 다른 실시예들에 포함될 수 있다. 예를 들어, 엘리먼트가 일 실시예를 참조하여 상세히 설명되고 제2 실시예를 참조하여 설명되지 않는다면, 그럼에도 불구하고 그 엘리먼트는 제2 실시예에 포함되는 것으로 주장될 수 있다. 또한, 본 명세서의 묘사는 예시적인 목적일 뿐이며 반드시 시스템 또는 전기수술 기구의 실제의 형상, 크기, 또는 치수를 반영하는 것은 아니다.
본 명세서 및 첨부된 청구항들에서 사용되는 것처럼, 단수 형태들 "a", "an", 및 "the" 및 임의의 단어의 임의의 단수는 명시적으로 명확하게 하나의 지시 대상으로 한정하지 않는 한 복수의 지시 대상들을 포함한다는 것을 유의한다. 본 명세서에 사용된 바와 같이, 용어 "포함하다" 및 그것의 문법적 변형들은 비제한적인 것으로 의도되어, 목록 내의 항목들의 인용은 목록화된 항목들을 대체할 수 있거나 그것들에 부가될 수 있는 유사한 다른 항목들을 배제하지 않는다.
다양한 실시예들에 따르면, 본 개시 내용은 부위에서 비디오 데이터가 캡처되는 비디오 응용들을 위한 실시간 비디오 데이터, 및 특히, 예를 들어, 원격 로봇식 또는 원격조작식 수술 시스템들 등과 같은 최소 침습 수술 시스템들에서의 사용을 위한 실시간 비디오 데이터를 처리하는 방법들 및 시스템들을 고려한다. 따라서, 다양한 예시적인 실시예들은, 예를 들면, 내시경 카메라에 의해 부위에서 캡처되는 비디오 이미지들의 비교적 중단 없는 높은 충실도의 "실시간" 비디오 스트림을 비디오 디스플레이에서 제공하기 위한 방법들 및 시스템들에 관한 것이다. 예를 들어, 다양한 예시적인 실시예들은 비교적 중단 없는 비디오를 제공하기 위해 충분히 높은 이미지 프레임 레이트 예를 들면, 초당 15 개 초과의 프레임들을 갖고, 대응하는 이미지가 캡처된 시간으로부터 거의 즉각적으로, 예를 들어, 1.5 초 미만에 나타나도록 충분히 낮은 대기시간을 갖는 비디오 디스플레이를 제공할 수 있다.
다양한 실시예들에 따르면, 수술 시스템의 전반적인 사용에 대응하는 다양한 상태 변화들이 모니터될 수 있고, 상기 상태 변화들은, 시야 내의 이미지 콘텐츠 데이터에 영향을 미칠 수 있는, 이미지 캡처 디바이스의 시야 내의 수술 부위에서의 변화가 예상된다는 지시(indication)를 충분히 일찍 받는 것에 의존될 수 있다. 수술 시스템 내에서 발생하는 다양한 조작 명령들 및 다른 상태 변화들을 모니터하고 그러한 조작 명령들/상태 변화들의 수술 부위에 대한 기능들 및 그 일어날 수 있는 효과에 관한 지식에 의존함으로써, 다양한 실시예들에 따른 비디오 처리 방법들 및 시스템들이, 수동적인 방식이 아니라 능동적인 방식으로, 캡처되는 비디오 이미지들의 인코딩을 최적화하기 위한 인코더를 미리 구성할 수 있다.
예시적인 실시예들 및 하기의 설명이 예를 들어, 로봇식 수술 시스템들 등을 통해 최소 침습 수술 절차를 수행하기 위한 비디오 이미지들의 실시간 비디오 스트림의 생성에 주로 초점을 두지만, 예시적인 실시예들의 원리들은 그렇게 한정되지 않고, 원격 저장소 위치로부터 스트리밍되도록 의도된 비실시간 비디오 데이터(예를 들어, 이전에 기록되고 저장된 데이터)뿐만 아니라, 실시간으로 스트리밍되고 표시되도록 의도된 임의의 비디오 데이터의 비디오 생성 등과 같은 다른 비디오 처리 응용들에 적용될 수 있다. 다양한 예시적인 실시예들에서, 본 개시 내용은 원격 부위로부터 비디오 이미지들이 캡처되고, 시야 내의 이미지 데이터 콘텐츠에 영향을 미치는 기능을 수행할 수 있는 시스템이 상태들을 변경할 수 있다는 것을 미리 아는 것이 가능할 수 있고, 예를 들어, 물질 및/또는 다른 컴포넌트들이 시야에서 나가거나 시야로 들어올 것이라는 것이 미리 알려질 수 있는 다양한 분야들에서 응용을 찾아볼 수 있다. 따라서, 그러한 상태 변화의 결과로서, 이미지 데이터 콘텐츠 시야에 대한 효과가 미리 예측될 수 있어서, 비디오 인코딩 파라미터들이 반응적으로라기보다 주도적으로 조정될 수 있다. 비수술 응용의 하나의 비제한적인 예는 예를 들어, 오일 및/또는 가스 산업에서 파이프 내의 이미지들을 캡처하는 것과 캡처된 이미지들을 표시하는 것을 포함할 수 있고, 이 경우 원격으로 모니터되는 절차가 발생하고 있고, 사용중인 이미지 캡처 디바이스의 시야와, 결과적인 이미지 데이터 콘텐츠에 영향을 미칠 특정 동작이 발생할 것임이 미리 알려질 수 있다. 또한 본 개시 내용은 통신 네트워크의 네트워크 조건들이 비디오 스트리밍에 영향을 미칠 수 있다는 것을 예측하는 것이 가능할 수 있는 다양한 다른 응용들에서 적용가능할 수 있다.
또한, 통상의 기술자는 본 개시 내용의 다양한 예시적인 실시예들이 본 개시 내용의 범위를 벗어나지 않고서 2 차원 및 3 차원 표시를 위해 포맷된 비디오 이미지들의 스트리밍을 위한 비디오 스트림 응용들에 적용될 수 있음을 이해할 것이다.
도 1을 참고하면, 로봇식 수술 시스템(100)의 예시적인 실시예의 개략도가 도시된다. 수술 시스템(100)은 환자측 카트(105), 외과 의사 콘솔(110), 및 전자장치/제어 콘솔(115)을 포함한다. 도 1의 시스템 컴포넌트들은 임의의 특정 위치에 도시되지 않고 필요에 따라 배치될 수 있고, 환자측 카트(105)는 환자에 수술을 달성하기 위해 환자에 대해 상대적으로 배치된다는 것을 유의한다. 시스템(100) 등과 같은 로봇식 수술 시스템의 예시적인 실시예는 캘리포니아 서니베일 소재의 Intuitive Surgical, Inc.에 의해 상용화된 da Vinci® Si (모델 번호 IS3000)이다.
로봇식 수술 시스템(100)은 각종 수술 기구들과 인터페이스하고 이들을 제어함으로써 로봇식 최소 침습 수술을 수행하는 데 사용된다. 환자측 카트(105)는 다양한 수술 기구들 및/또는 연관된 도구들을 들고, 위치시키고, 조작하기 위한 다양한 아암들(때때로 환자측 조작기들이라고 지칭됨)(120)을 포함한다. 도 1에 도시된 바와 같이, 환자측 카트(105)의 아암(120)은 하나 이상의 원격 제어되는 수술 기구들(125)과 인터페이스하고 그들을 제어하도록 구성되고, 이 수술 기구들은 예를 들어, 단부 이펙터(상세히 도시되지 않음)를 포함할 수 있다. 내시경 카메라(126)는 또한 수술 부위에서 이미지들을 캡처하기 위해 환자측 카트(105)에 장착될 수 있다.
외과 의사 콘솔(110)은 하나 이상의 마스터 그립 입력 메커니즘(130)의 (도시되지 않은) 그립 입력 레버들 및 풋 페달들(135)을 포함한, 그러나 이것들로 제한되지 않는, 다양한 입력 디바이스들에 의해 외과 의사로부터의 입력들을 수신한다. 외과 의사 콘솔(110)은 마스터 컨트롤러로서 역할을 하여, 이것에 의해 환자측 카트(105)에서의 아암들(120), 수술 기구들(125), 및 내시경 카메라(126)가 임의의 원하는 움직임들을 구현하고 그에 따라 원하는 수술 절차를 수행하기 위한 슬레이브로서 작용한다. 그러나, 수술 시스템(100)은 외과 의사 콘솔(110)에서 입력들을 수신하는 것에 한정되지 않고, 입력들은 환자측 카트(105)에서의 기구(들)의 조작을 적절히 실현할 수 있는 임의의 디바이스에서 수신될 수 있다. 예를 들어, 환자측 카트(105)에서의 기구는 환자측 카트(105)에서, 외과 의사 콘솔(110)과 다른 수술 기구 지원 디바이스의 조합을 통해서, 또는 전적으로 다른 수술 지원 디바이스를 통해서, 사용자, 예를 들어, 외과 의사로부터 수신된 입력들의 결과로서 조작될 수 있다.
외과 의사 콘솔(110)은 외과 의사 콘솔(110)로부터의 또는 임의의 다른 수술 기구 지원 디바이스로부터의 입력들을 수신하고 처리하고, 그러한 입력들에 기초하여 환자측 카트(105)에서 하나 이상의 수술 기구의 조작을 제어하도록 구성될 수 있는, 프로세서를 포함한, 전자 데이터 처리 시스템을 더 포함할 수 있다. 그러나, 전자 데이터 처리 시스템의 엘리먼트들은 수술 시스템(100) 내의 다른 곳에 제공될 수 있다.
예를 들어, 프로세서 및/또는 다른 기능 유닛들(예를 들어, 전자수술 에너지 전달 유닛들 및/또는 다른 수술 플럭스 전달 유닛들)을 포함할 수 있는, 보조 전자장치/제어 카트(115)가 환자측 카트(105) 및 외과 의사 콘솔(110)에 그리고 그것들로부터 다양한 제어 신호들을 송신 및 수신한다. 전자장치/제어 카트(115)는 또한 광을 전송할 수 있고 예를 들어, 외과 의사 콘솔(110)에서의 디스플레이(140) 및/또는 전자장치/제어 카트(115)와 연관된 디스플레이(145) 등에서의 표시를 위해 (예를 들어, 환자측 카트(105)에서의 내시경 카메라(126)로부터의) 이미지들을 처리할 수 있다. 통상의 기술자는 일반적으로 원격 제어되는 수술 시스템들의 전자장치/제어 카트 등에 익숙하다.
다양한 예시적인 실시예들에서, 환자측 카트(105)는 환자의 근방에 위치되고, 예를 들어, 외과 의사 콘솔(110)로부터 원격으로 제어되는 수술 기구(들) 및/또는 내시경 카메라는 예를 들어, 마스터 그립 입력 메커니즘(130)의 핸드헬드 그립 입력 레버들, 풋 페달들(135), 및/또는 카메라 제어 메커니즘(레이블되지 않음) 등과 같은 다양한 마스터 입력 디바이스들을 통해 외과 의사 콘솔(110)로부터 입력들을 수신한다. 풋 페달들(135)은 원격으로 제어되는 수술 기구의, 예를 들어, 조직 밀봉 및/또는 절단 등과 같은 특정 절차들을 수행하기에 유용한, 예를 들어, 전기소작기 에너지 등과 같은 플럭스를 전달하기 위한 명령 신호들을 제공하도록 이용될 수 있다. 마스터 그립 입력 메커니즘(130)의 핸드헬드 그립 입력 레버들은 예를 들어, 롤, 평행이동, 피치/요우 움직임 및 어떤 단부 이펙터들의 그립핑/절단 움직임들을 포함한, 원격으로 제어되는 수술 기구들의 움직임을 제어하기 위한 신호들을 전송하기 위해 이용될 수 있다.
수술 부위에 대한 카메라의 위치/방향, 카메라 렌즈의 줌, 카메라 렌즈의 포커스, 등과 같은, 수술 부위의 비디오 이미지들의 캡처 및 처리에 관련된 다양한 양태들을 제어하기 위해, 아암들(120) 중 하나에 내장된 내시경 카메라 조작기("ECM")에, 그리고 내시경 카메라에 신호들을 전송하기 위해 하나 이상의 카메라 제어 메커니즘이 이용될 수 있다. 비제한적 예에 의하면, 하나 이상의 풋 페달(135)은 카메라 제어 메커니즘으로서 지정될 수 있다. 따라서, 지정된 풋 페달(135)을 누름으로써 시스템을 카메라 제어 모드로 들어가게 전환시킬 수 있으며, 그러한 카메라 제어 모드에서, 카메라는 전환, 미래의 입력에 기초하여("카메라-추종" 모드) 그리고/또는 다른 기구의 움직임에 기초하여("기구-추종" 모드) 위치결정/방향결정될 수 있거나 또는 달리 조정될 수 있다. 일반적으로 통상의 기술자는 환자측 카트와의 내시경 카메라 인터페이싱 및 수술 기구(들) 양방의 조작을 궁극적으로 수행하기 위해 외과 의사 콘솔에서 외과 의사로부터의 입력을 제공하기 위해 그러한 원격조작식 로봇식 수술 시스템들의 이용에 익숙하다.
도 2는 본 교시의 예시적 실시예에 따른 카메라 아암(200)의 일부와 함께 아암(200)에 장착된 예시의 내시경 카메라(205)의 측면도를 도시한다. 예시적 실시예에서, 카메라 아암(200)은 셋업부(210)와 조작부 ECM(215)을 포함한다. ECM(215)은 요우 모션 액추에이터(220), 피치 모션 액추에이터(225), 및 입력/출력 모션(예를 들어, 평행 이동) 액추에이터(230)를 포함하고, 이들 모두는 예를 들어, 마스터 입력 그립 메커니즘(예컨대, 마스터 입력 그립 메커니즘(130))에 의해 제어될 수 있다. 내시경 카메라(205)는 캐리지 어셈블리(235)에 장착되고, 내시경 캐뉼러(240)는 카메라 캐뉼러 마운트(245)상에 장착된다. ECM(215)은 내시경 카메라(205)를 모션(250)의 원격 중심 주위로 그리고 그 중심을 통해 이동시킨다. 예시적 실시예에 따른 카메라 아암은 도 2에 도시된 것들보다 많거나 적은 엘리먼트들을 포함할 수 있다. 예를 들어, 예시적 실시예에 따른 카메라 아암은 본 교시의 사상을 벗어나지 않고 도 2에 기재된 모션 액추에이터들보다 많거나 적은 모션 액추에이터를 포함할 수 있거나, 또는 모션 액추에이터를 전혀 포함하지 않을 수 있다. 또한, 본 교시는 로봇식 수술 시스템에 한정되지 않고, 따라서, 본 교시에 따른 내시경 카메라는 도 2에 도시된 카메라 아암에 부착되지 않을 수 있고, 그 대신 수동으로 삽입되고 조정되는 기구일 수 있다.
도 1 및 도 2를 참조하여 설명된 것과 같은 로봇식 수술 시스템의 동작에서, 수술 절차는 환자의 신체에 하나 이상의 절개를 만드는 것을 포함할 수 있다. 그러한 절개들은 때때로 "포트들"이라고 지칭되는데, 이 용어는 그러한 절개 내에서 이용되는 하나의 장비를 의미할 수도 있다. 어떤 수술 절차들에서, 몇 개의 기구 및/또는 카메라 포트들은 수술 부위에 대한 액세스 및 촬상을 제공하기 위해 이용될 수 있다.
도 3은 본 개시 내용에 따른 비디오 처리 시스템의 하나의 예시적 실시예의 기능 블록도(300)를 도시한다. 블록(305)은 예를 들면, 도 2의 내시경 카메라(205) 등과 같은, 본 개시 내용에 따른 비디오 캡처 디바이스를 나타낸다. 비디오 캡처 디바이스(305)는, 예를 들어, 수술 부위의 시야의 이미지 콘텐츠 데이터를 캡처한다. 블록(310)은 예를 들면, ITU-T 권고/표준 H.264(또한 ISO/IEC MPEG-4 AVC라고도 알려짐) 등과 같은 하나 이상의 인코딩 포맷으로 비디오 캡처 디바이스(305)에 의해 캡처된 비디오 이미지들을 인코딩하기 위한 비디오 인코더를 나타낸다.
블록(315)은 시야의 이미지 콘텐츠, 따라서 비디오 캡처 디바이스(305)에 의해 캡처된 이미지들에 변화를 유발할 수 있는 조건들을 모니터하는 상태 모니터를 나타낸다. 시야의 이미지 콘텐츠에 있어서의 변화는 예를 들면, 시야 내의 객체의 움직임(예를 들면, 수술 기구 모션들을 포함함), 비디오 캡처 디바이스의 움직임, 비디오 캡처 디바이스의 구성(예를 들면, 줌 인/아웃), 시야 내에 액체들, 가스들, 또는 다른 물질들/재료들의 주입 및/또는 제거 등과 같은 하나 이상의 조건에 의해 유발될 수 있다. 다양한 예시적 실시예들에서, 시야의 이미지 콘텐츠의 변화를 유발할 수 있는 특별한 조건의 검출과, 특별한 조건이 유발할 수 있는 시야의 이미지 콘텐츠의 변화의 강도 및/또는 대응하는 변화 사이의 타이밍은, 특별한 조건에 기초하여 그리고 수술 시스템의 전체 제어와 연관된 입력들에 의존하여 예측 및/또는 예상될 수 있다.
블록(320)은 인코딩된 비디오 프레임들이 대응하는 네트워크를 통하여 목적지에 전송될 수 있는 데이터 레이트에 영향을 미칠 수 있는 네트워크 조건들을 모니터하는 네트워크 모니터를 나타낸다. 블록(325)은 비디오 캡처 디바이스(305)의 시야의 이미지 콘텐츠, 및 따라서 인코딩된 비디오 이미지들의 품질에 영향을 미칠 수 있는 조건들(예를 들면, 상태의 변화들 및/또는 네트워크 조건들)에 기초하여 비디오 인코더(310)를 구성하기 위해 논리적으로 결합된 소위 비디오 품질 개선(VQI: Video Quality Improvement) 프로세서를 나타낸다.
예시적인 실시예에 따르면, VQI 프로세서(325)는 상태 모니터(315) 및/또는 네트워크 모니터(320)로부터 정보를 수신하고, 비디오 캡처 디바이스(305)에 의해 캡처된 비디오 이미지들(즉, 시야의 이미지 콘텐츠)을 인코딩하는 인코더(310)를 위한 최적의 구성을 결정한다. 특히, 상태 모니터(315)와 네트워크 모니터(320)는 비디오 캡처 디바이스(305)에 의해 캡처된 시야의 이미지 콘텐츠에 미래의 효과를 나타낼 수 있는 변화들에 대한 정보를 VQI 프로세서(325)에 제공한다. VQI 프로세서(325)는 예를 들어, 캡처된 비디오 이미지들의 "실시간" 표시, 높은 충실도를 유지하기 위해 변화들을 예상하고 미래의 비디오 이미지들을 더 잘 인코딩하기 위해 미래의 비디오 이미지들의 인코딩과 연관된 구성 파라미터들을 갱신하기 위해 이 정보를 이용한다.
비제한적 예로서, 원격으로 제어되는 수술 응용에서 객체의 움직임은 예를 들어, 특정 기능을 수행하기 위한 수술 엘리먼트의 활성화(예컨대, 절단 절차를 수행하기 위한 절단 블레이드의 활성화) 등과 같은, 시야를 형성하는 수술 부위에서의 하나 이상의 수술 엘리먼트의 움직임을 포함할 수 있다. 촬상되는 수술 부위에서의 움직임은 예를 들어, 신체 부분의 움직임(예컨대, 박동하는 심장, 맥박이 뛰는 혈관, 등), 예를 들어, 소작하는 조직으로부터의 혈액, 석션, 관주, 연기와 연관된 액체들 및 가스들의 주입 및/또는 제거, 촬상을 돕기 위한 형광 염료들 또는 다른 물질들의 주입, 등을 포함할 수 있다. 이러한 움직임들/작용들은 상세히 후술하는 바와 같이, 예측될 수 있는 시야의 이미지 콘텐츠의 변화를 유발할 수 있다. 따라서 그것들은 VQI 프로세서(325)로 하여금 시야의 이미지 콘텐츠에 대한 움직임들/작용들의 예측되는 효과를 최소화하도록 비디오 인코더(310)를 구성하도록 트리거할 수 있다.
예를 들어, 특정한 원격으로 제어되는 수술 동작들에 대해, 외과 의사는 특정 수술 엘리먼트 또는 수술 절차가 이동 및/또는 조작될 수 있기 전에 하나 이상의 입력 명령을 제공할 것이 요구될 수 있다. 절단 절차에 대해, 예를 들어, 외과 의사측 콘솔에서의 명령에 의해 생성된 제1 입력 신호가, 도 1의 아암들(120) 중 하나 등과 같은 로봇 아암에 임베드된 수술 기구(125)의 단부 이펙터에서의 절단 블레이드의 활성화를 포함할 수 있다. 제1 입력 신호는 예를 들어, 도 1의 풋 페달들(135) 중 하나 등과 같은 풋 페달을 누름으로써 트리거될 수 있다. 제1 입력 신호에 응답하여, 전자장치/제어 콘솔(115) 등과 같은 전자장치/제어 카트는 절단 엘리먼트를 "무장 상태(armed state)"로 전환하도록 구성될 수 있다. 일단 "무장 상태"에서, 전자장치/제어 콘솔은 절단 엘리먼트의 상태를 조작 상태로 전환(예컨대, 절단 엘리먼트의 활성화를 유발)하기 전에 예를 들어, 풋 페달의 제2 누름에 의해 트리거될 수 있는 제2 입력 신호를 기다리도록 구성될 수 있다.
다른 예에서, "추종(in-following)" 상태에 ECM을 설정하는 외과 의사측 콘솔에서의 입력 명령이 제공될 수 있어서, 외과 의사가 예를 들면, 마스터 그립 입력 메커니즘들(135) 중 하나를 사용하여 아암을 적극적으로 제어하는데, 아암상에는 카메라가 장착되고 따라서 카메라는 외과 의사가 그것을 이동시키기 위해 제어하는 곳으로 이동될 수 있다. 그러한 명령은 곧 있을 큰 카메라의 움직임(예컨대, "추종"하지 않고 이미지들을 기록하는 스태틱 구성에 단순히 설정된 카메라에 비해)을 나타내는 상태 변화로서 모니터될 수 있고, 따라서 촬상되는 시야의 이미지 콘텐츠에 상대적으로 동적이고 큰 변화들이 미래에 발생할 수 있다. 또한, 특별한 상태 변화 또는 상태 변화들의 조합의 지식은 시야의 현재의 이미지 콘텐츠에 대해 상대적인 정도의 변화들을 제공할 수 있다. 시야의 이미지 콘텐츠의 곧 있을 변화에 관한 상기의 정보에 기초하여, VQI 프로세서(325)는 시야의 이미지 콘텐츠의 곧 있을 변화의 예측된 효과를 최소화하도록 비디오 인코더(310)를 구성할 수 있다.
상기의 예들은 단지 예시적일 뿐이면, 통상의 기술자는 모니터될 수 있고 촬상되는 시야에서의, 그리고 시야 내의 이미지 콘텐츠에서의 예측된 효과들과 연관될 것이라고 미리 알려질 수 있는 수술 시스템의 다수의 다른 조작 명령들을 이해할 것이다. 따라서 본 개시 내용의 범위는 예측된 기능성을 결과적으로 제공하는 임의의 모니터된 상태 변화 또는 캡처되는 시야 내의 이미지 콘텐츠의 변화를 초래할 것으로 예상되는 시스템 조작에 적용될 수 있다.
따라서, 전술한 예를 예시한 바와 같이 이용하여, 본 개시 내용의 예시적 실시예에서, 블록(315)은 다양한 입력들(예컨대, 풋 페달(135)의 하나 이상의 누름)을 모니터함으로써 로봇식 수술 시스템의 상태를 모니터할 수 있고, 절단 엘리먼트의 상태를 VQI 프로세서(325)에 제공할 수 있고, 도 4를 참조하여 하기에서 더 상세히 설명되는 바와 같이, 이 프로세서는 이 정보를 이용하여 미래의 이미지들의 인코딩과 연관된 구성 파라미터들을 갱신하고, 절단 엘리먼트의 조작에 의해 유발될 수 있는 시야의 이미지 콘텐츠 내의 변화들을 예상하고 캡처된 비디오 이미지들의 높은 충실도, "실시간" 표시를 유지하기 위해 미래의 비디오 이미지들을 더 양호하게 인코딩한다.
상기의 블록들(305, 310, 315, 320, 및 325)은 블록(330) 내에서 실시되는 것으로서 도 3에 도시되는데, 예시적인 실시예에서 이 블록은 예를 들어, 도 1의 환자측 카트(105) 및/또는 전자장치/제어 콘솔(115) 등과 같은 원격으로 제어되는 수술 절차들을 수행하기 위한 전자장치/제어 콘솔 및/또는 환자측 카트에서 실시될 수 있을 것이다. 블록(330)에서 실시되는 것으로서 도 3에 도시된 컴포넌트들은 통신 링크(340)를 통해 통신 네트워크(335)에 논리적으로 결합되고, 이에 따라, 블록(330) 내에 도시된 기능 블록들 중 적어도 일부는 논리적으로 통신 네트워크(335)에 결합될 수 있고, 따라서 통신 네트워크(335)를 통해 블록(330)의 외부의 엘리먼트들로부터 데이터를 수신할 수 있으며 그리고/또는 그러한 엘리먼트들에 데이터를 제공할 수 있다.
상기의 블록들(305, 310, 315, 320, 및 325)은 블록(330) 내에서 실시되는 것으로서 도 3에 도시되지만, 본 개시 내용의 예시적 실시예들은 그렇게 한정되지 않고, 통상의 기술자는 또한 본 개시 내용의 범위를 벗어나지 않고 이러한 블록들 중 하나 이상이 서로 개별적으로 실시될 수 있으며 그리고/또는 환자측 카트 그리고/또는 전자장치/제어 콘솔과는 별개로 실시될 수 있다는 것을 이해할 것이라는 점을 유의한다. 통상의 기술자는 또한 본 개시 내용의 범위를 벗어나지 않고 이러한 기능 블록들 중 하나 내에서 또는 하나의 디바이스 내에서 발생하는 것으로서 설명된 기능이 복수의 기능 블록들 및/또는 복수의 디바이스들에 의해 분산 방식으로 수행될 수 있다는 것을 이해할 것이다. 또한, 통상의 기술자는 예시적 실시예들이, 예를 들어, 간략화를 위해 여기서는 생략되는, 인코딩된 비디오 이미지들을 전송하고 제어 정보를 수신하는 통신 인터페이스 등과 같은 추가의 기능 블록들을 포함할 수 있다는 것도 이해할 것이다.
통신 네트워크(335)는 기능 블록(345)에 논리적으로 결합되는데, 이 블록은 예시적 실시예에서 통신 링크(350)를 통해 도 1의 외과 의사 콘솔(110) 등과 같은 외과 의사 콘솔에서 실시될 수 있다. 외과 의사 콘솔(345)은 블록(355)을 포함하는 것으로서 도시되는데, 이 블록은 원격으로 제어되는 수술을 수행하기 위해 외과 의사 콘솔(345)에서 조작 가능한 입력 디바이스들을 나타낸다. 외과 의사 콘솔(345)은 또한 블록(360)을 포함하는데, 이 블록은 원격으로 비디오 캡처 디바이스(305)에 의해 캡처된 이미지로부터 궁극적으로 수신되는 수술 부위의 비디오 이미지들을 표시하는 도 1의 외과 의사 콘솔(110)의 디스플레이(140) 등과 같은 디스플레이를 나타낸다. 외과 의사 콘솔(345)은 간략화를 위해 도시되지 않은 추가의 기능 블록들을 포함할 수 있다. 예를 들어, 외과 의사 콘솔(345)은 환자측 카트(330)로부터 수신된 인코딩된 비디오 이미지들을 디코딩하는 기능 블록, 디코딩된 비디오 이미지들을 저장하는 기능 블록, 디코딩된 이미지들을 디스플레이(360)에 제공하는 기능 블록을 포함할 수 있고, 그러한 것들의 예들은 둘 다 제목이 METHOD AND SYSTEM FOR VIDEO PROCESSING인 2012년 5월 14일자로 출원된 미국 가출원 번호 제61/646,597호 및 2013년 5월 10일자로 출원된 미국 출원 번호 제13/891,838호에 기술되어 있고, 그 전체 내용이 본 명세서에 참조되어 포함된다. 이러한 기능 블록들은 간략화를 위해 본 명세서에서 생략되었다.
예를 들어, 비디오 인코더(310)에 의해 인코딩되는 인코딩된 이미지들 및 수술 입력 디바이스들(355)로부터의 수술 제어 신호들을 포함한 환자측 카트와 전자장치/제어 콘솔(330)과 외과 의사 콘솔(345) 간의 데이터 통신은 통신 링크들(340, 350) 및 통신 네트워크(335)를 포함한 통신 경로를 통해 실현될 수 있다.
본 개시 내용의 다양한 예시적인 실시예들에서, 통신 링크들(325, 335)은 유선 링크, 무선 링크, 또는 그들의 조합을 포함할 수 있다. 유선 링크는 전송 매체로서 금속, 유리, 에어, 공간, 또는 어떤 다른 물질을 포함할 수 있고, 그것에 있어서의 통신은 예를 들면, 인터넷 프로토콜(IP: Internet Protocol), 이더넷, 또는 통상의 기술자에게 익숙한 어떤 다른 통신 포맷 등과 같은 통신 프로토콜을 통해 실현될 수 있다. 통신 네트워크(335)는 라우터, 컴퓨터 시스템, 또는 복수의 디바이스들을 논리적으로 상호 접속시킬 수 있는 임의의 다른 엘리먼트를 포함할 수 있고, 로컬 에어리어 네트워크(LAN: local area network), 인트라넷, 광역 네트워크(WAN: wide area network), 캐리어 네트워크, 인터넷, 또는 어떤 다른 타입의 통신 네트워크, 또는 그들의 조합으로서 실시될 수 있다. 따라서, 환자측 카트 및/또는 전자장치/제어 콘솔(330)은 본 개시 내용의 범위를 벗어나지 않고, 외과 콘솔(345)에 근접하게 또는 그로부터 수백 마일 떨어져 위치될 수 있다.
비디오 캡처 디바이스(305)는 비디오 이미지들을 캡처하고 그러한 비디오 이미지들을 비디오 인코더(310)에 제공하기 위한 회로 및/또는 다른 컴포넌트들을 포함할 수 있다. 비디오 인코더(310)는 비디오 캡처 디바이스(305)로부터 수신된 비디오 이미지들을 인코딩하기 위한 그리고 인코딩된 비디오 이미지들을 통신 네트워크(320)를 통해 디스플레이(360)에 전송하기 위한 회로 및/또는 다른 컴포넌트들을 포함할 수 있다. 예를 들어, 제한되지는 않지만, 비디오 캡처 디바이스(305)는 도 2의 내시경 카메라(205) 등과 같은 내시경 카메라를 포함할 수 있다. 내시경 카메라(205)는 예를 들어, 디지털 이미지 센서(예를 들면, CCD 또는 CMOS), 실시간 자기 공명 촬상(MRI: magnetic resonance imaging) 캡처 시스템(도시되지 않음), 초음파 캡처 시스템(도시되지 않음), 또는 실시간 이미지들을 원격 장소에 제공할 수 있는 임의의 다른 타입의 실시간 촬상 캡처 기술을 포함한, 그러나 이들로 제한되지 않는 통상의 기술자에게 알려진 각종 촬상 캡처 시스템들을 활용할 수 있다.
도 3에 도시된 예시적인 실시예 등과 같은 본 개시 내용의 다양한 예시적 실시예들에서, 비디오 캡처 디바이스(305)는 수술 부위의 비디오 이미지들을 캡처하고, 비디오 이미지들을 비디오 인코더(310)에 제공한다. 비디오 인코더(310)는 앞서 언급한 바와 같이, 시야 상태 모니터(315) 및 네트워크 모니터(320) 중 적어도 하나로부터 수신된 정보에 기초하여 그러한 구성을 설정하는 VQI 프로세서(325)에 의해 설정된 구성에 기초하여 상기의 수신된 비디오 이미지들을 인코딩한다. 인코딩된 비디오 이미지들은 대략적으로 그것들이 캡처될 때(예를 들어, 실시간으로) 디스플레이(360)상의 표시를 위해 통신 네트워크(335)를 통해 전송되는데, 디스플레이는 외과 의사 콘솔(345)에 위치될 수 있거나, 또는 그로부터 분리될 수 있다. 그러한 경우에, 비디오 캡처 디바이스(305)에서의 비디오 이미지의 캡처와 디스플레이(360)에서의 비디오 이미지의 표시 간의 낮은 대기시간을 유지하면서, 예를 들어, 통신 네트워크(335)의 네트워크 조건들에 의해 유발되는 통신 지연들의 부정적인 효과를 최소화하는 것이 바람직하다. 또한, 캡처된 것들에 대해 높은 충실도를 갖는 이미지들을 제공하고 이미지들이 지터 또는 다른 노이즈 출현이 최소화되어 비교적 매끄럽고 연속적인 방식으로 디스플레이(360)에 나타나는 것이 바람직하다.
도 4는 본 개시 내용의 다양한 예시적 실시예들에 따른 예를 들어, 도 3의 VQI 프로세서(325) 등과 같은 VQI 프로세서에 의해 수행되는 VQI 알고리즘의 잠재적인 동작을 예시하기 위해 사용되는 표이다. 특히, 도 4는, 예를 들어, 도 3의 상태 모니터(315)에 의해 모니터되는 시야의 이미지 콘텐츠에 영향을 미칠 것으로 예상되는 상태 변화들에 기초한, 예를 들어, 도 3의 비디오 인코더(310) 등과 같은 인코더의 구성을 도시한다. 다양한 예시적 실시예들을 예시하기 위해, 도 4는 일정 대역폭(즉, 일정한 네트워크 조건들)에 기초한다.
열 A는 예를 들어, 인코딩된 비디오 이미지들을 도 3의 비디오 인코더(310)로부터 디스플레이(360)로 전송하기 위해 본 개시 내용의 예시적 실시예에 할당된 예상되는 최대 대역폭의, 도 3의 네트워크 모니터(320) 등과 같은 네트워크 모니터로부터 VQI 프로세서로의 입력을 제공한다. 상기에서 언급된 바와 같이, 시야의 이미지 콘텐츠에 영향을 미치는 상태 변화들에 기초한 인코더의 구성에 관련되는 도 4의 설명의 목적상, 열 A는 행들 1 내지 5를 따라 일정하게 유지된다(예컨대, 예시적 예에서는 초당 1 메가바이트(Mbps)).
본 개시 내용의 다양한 예시적 실시예들에서, 비디오 이미지들은 비디오 인코더(310)에 의해 H.264 비디오 압축 표준에 따라 인코딩될 수 있다. H.264 인코딩에서, 통상의 기술자에게 공지된 바와 같이, H.264 인코더는 예측, 변환, 및 인코딩 프로세스들을 수행하여 인코딩된 비디오 이미지들의 압축된 H.264 비트스트림을 생성한다. 특히, H.264 인코더는 상이한 타입들의 프레임들을 생성하는데, 어떤 것들은 연관된 이미지(소위 인트라-코딩된 프레임들, 또는 i-프레임들)를 재생하기 위해 필요한 정보를 포함하고, 다른 것들은 프레임과 하나 이상의 연이은 프레임들(소위 예측된 프레임들 또는 p-프레임들, 또는 양방향-예측적 프레임들 또는 b-프레임들)간의 변화들만을 포함한다. 간략화를 위해, H.264 인코더는 i-프레임들 및 p-프레임들만을 생성한다고 가정되지만, 통상의 기술자는 본 개시 내용이 그렇게 제한되지 않고 본 개시 내용에 따른 H.264 인코더가 b-프레임들도 생성할 수 있다는 것을 이해할 것이다.
통상의 기술자에게 또한 익숙한 바와 같이, H.264 인코더는 i-프레임들 및 p-프레임들이 생성되는 레이트(초당 프레임들(fps)로), 얼마나 많은 데이터가 생성되는지(초당 비트들(bps)), 및 총 fps(즉, 초당 생성되는 모든 프레임들의 합)를 수정하도록 구성될 수 있다. H.264 비디오 디코더는 표시되는 비디오 이미지들을 생성하기 위해 H.264 비트스트림을 디코딩, 역-변환, 및 재구성하는 상보적 프로세스를 수행한다.
상기에서 언급된 바와 같이, 도 4는 VQI 알고리즘의 동작을 설명하기 위한 표이다. 열들 B 및 C는 상기에서 참조된 H.264 비디오 압축 표준에 따라 비디오 이미지들을 인코딩하고 인코딩된 비디오 이미지들을 전송하기 위해 생성될 수 있는 i-프레임들 및 p-프레임들의 예시적 크기들을 제공한다. 그러나, 통상의 기술자는 본 개시 내용에 따른 다양한 예시적 실시예들이 다른 인코딩/디코딩 알고리즘들에 의존할 수 있거나, 또는 H.264 표준의 상이한 구현에 의존할 수 있다(예를 들어, H.264 표준 및 본 개시 내용은 i-프레임들 및 p-프레임들만을 생성하는 것에 한정되지 않고, 본 개시 내용의 예시적 실시예들은 또한 b-프레임들도 생성할 수 있다)는 것을 이해할 것이다.
또한, 간략화를 위해, 도 4의 설명에서 일반적으로, 열들 B와 C에서 특히, 모든 i-프레임들이 동일한 크기이고 모든 p-프레임들이 동일한 크기라고 가정된다. 그러나, 통상의 기술자는 이러한 프레임들의 크기가 예를 들어, 도 3의 비디오 캡처 디바이스(305) 등과 같은 대응하는 비디오 캡처 디바이스에 의해 캡처되는 이미지들의 특성 및 연이은 비디오 이미지들 간의 차이들의 양에 의존하여 변화할 수 있다는 것을 이해할 것이다. 또한 표 4에서 p-프레임은 i-프레임의 크기의 절반이라고 가정된다. 그러나, 당업자는 또한 본 개시 내용의 범위를 벗어나지 않고서 인코딩 구성의 i-프레임 대 p-프레임 비율이 일 구현으로부터 다른 구현으로 변화할 수 있고, 단일 구현 내에서도 변화할 수 있다는 것을 이해할 것이다.
열 D는 대응하는 비디오 캡처 디바이스(video capture device: VCD)의 시야의 이미지 콘텐츠 내의 예상되는 변화 정도의, 시야 상태 모니터로부터 VQI 프로세서로의 입력을 제공한다. 열 D에서, 레벨 1은 VCD의 시야의 이미지 콘텐츠의 작은 변화의 예상을 지시하고, 레벨 9는 VCD의 시야의 이미지 콘텐츠의 큰 변화의 예상을 지시한다.
시야의 이미지 콘텐츠의 예상되는 변화 정도는 예를 들어, 도 3의 상태 모니터(315)에 의해 VQI 프로세서에 제공될 수 있고, 예를 들어, 도 3의 입력 디바이스(345) 등과 같은 외과 의사 콘솔에서 사용자/외과 의사로부터의 하나 이상의 입력들에 기초할 수 있다. 도 3의 VCD(305)의 시야의 이미지 콘텐츠에서의 변화를 유발할 수 있는 동작을 요청하는 입력 디바이스(345)에서의 입력을 수신하면, 상태 모니터(315)는 수신된 입력이 유발할 수 있는 변화의 정도를 예상할 수 있다. 시야의 이미지 콘텐츠의 변화 정도는 시야의 이미지 콘텐츠를 변화시킬 수 있는 하나 또는 복수의 이벤트에 기초할 수 있다. 그러한 이벤트들은 본 개시 내용의 범위를 벗어나지 않고, VCD의 구성(예컨대, 줌 인/아웃 및/또는 카메라를 "추종"으로 설정), VCD 시야 내의 하나 이상의 수술 기구들(예컨대, 단부 이펙터들)의 동작, 액체들, 가스들, 또는 다른 물질들/재료들의 수술 부위에의 주입/제거, 및 시야 내의 객체들(예컨대, 신체 부분들 및/또는 수술 디바이스들)의 움직임을 포함할 수 있지만, 이것들로 제한되지 않는다.
본 개시 내용의 다양한 예시적 실시예들에 따르면, VQI 프로세서는 VCD(305)의 시야의 이미지 콘텐츠에서의 예상되는 변화에 기초하여 캡처된 비디오 이미지들의 인코딩을 동적으로 구성할 수 있다. 시야의 이미지 콘텐츠 내의 변화의 예상은, 근본적인 시스템 내에서의 하나 이상의 입력이 시야의 이미지 콘텐츠에 나타내는 것으로 예상될 효과의 지식을 고려하여 다양한 예시적 실시예들에서 가능하게 된다.
예를 들어, 로봇식으로 제어되는 수술의 맥락에서, 도 3의 외과 의사 콘솔(345) 등과 같은 원격의 외과 의사 콘솔로부터의 입력은 그러한 입력이 시야의 이미지 콘텐츠에 변화를 유발하기 전에 도 3의 상태 모니터(315)에 의해 검출될 수 있다. 특히, 도 3을 참조하여 상기에서 설명된 바와 같이, 특정한 원격으로 제어되는 수술 동작들에 있어서, 외과 의사는 특정 수술 엘리먼트가 활성화 및/또는 이동될 수 있기 전에 복수의 입력 명령들을 제공하도록 요구될 수 있고, 이것은 특정 수술 엘리먼트의 움직임에 의해 생성되는 시야의 이미지 콘텐츠의 변화가 예상되도록 해준다. 도 1의 내시경 카메라(126) 등과 같은 VCD는 "추종" 모드에서 동작하도록 구성될 수 있는데, 이 모드에서 외과 의사는 카메라를 마스터 그립 입력들 중 하나의 움직임을 추종하도록 작동시킬 수 있거나, 또는 다른 예시적 실시예들에서는 예를 들어, 절단 수술 엘리먼트 및/또는 그립핑 소자 엘리먼트 등과 같은 특정 수술 기구의 움직임을 자동 "추종"하도록 작동시킬 수 있다.
특정 수술 기구들 및/또는 카메라가 외과 의사 콘솔에서 능동적으로 제어되며 그리고/또는 외과 의사 콘솔에서의 입력들에 기초하여 자동 제어될 때, 시스템은, 도 3에 대해 설명한 바와 같이, 시야의 이미지 콘텐츠에 영향을 미치는 움직임들 및/또는 기능들이 예측될 수 있다는 것이 미리 알려질 수 있다. 또한, 특정 수술 엘리먼트들 및 그들의 움직임 및/또는 시야의 이미지 콘텐츠에 대한 그들의 대응하는 효과에 대한 지식은 시야의 동일한 것의 가변 효과를 예상하기 위해 의존될 수 있다. 예를 들어, 수술 기구의 턱이 있는(jawed) 단부 이펙터의 그립핑 움직임은 예를 들어, 시야 내의 액체들, 가스들, 또는 다른 물질들/재료들의 주입 및/또는 제거보다 적게(예컨대, 더 느린 레이트로) 시야의 이미지 콘텐츠를 변화시킬 수 있다. 유사하게, 그러한 그립핑 움직임은 예를 들어, 내시경 카메라가 신체 내의 한 장소로부터 다른 장소로 시야를 이동시키기 위해 추종하는 동안의 내시경 카메라의 움직임보다 적은 변화를 시야의 이미지 콘텐츠에 대해 가질 수 있다.
시야의 이미지 콘텐츠에 대한 예상되는 효과를 유도하는 그러한 상태 변화에 관한 정보를 상태 모니터(315)로부터 수신하면, VQI 프로세서(325)는 시야의 이미지 콘텐츠의 예상된 변화가 발생하기 전에 시야의 이미지 콘텐츠의 이미지들의 높은 충실도의 인코딩된 프레임들을 생성하도록 비디오 인코더(310)를 구성할 수 있다. 예를 들어, VQI 프로세서(325)는 캡처된 비디오 이미지들의 인코딩 품질을 증가시키기 위해 i-프레임 레이트를 증가시키도록 비디오 인코더(310)를 구성할 수 있다. 이러한 인코딩 품질의 선제의 증가는 그렇게 하지 않을 경우 시야의 이미지 콘텐츠의 예상되는 변화가 유발할 품질의 저하를 제거할 수 있다. 그러나, 앞서 언급한 바와 같이, i-프레임 레이트의 증가는 네트워크를 통해 인코딩된 비디오 이미지들을 전송하는 비트 레이트를 자동으로 증가시킨다. 다양한 예시적인 실시예들에서 할당되는 대역폭이 제한될 때, 목표 비트 레이트는 가용 대역폭에 기초하여 유지되어야 한다. 따라서, 비디오 전송의 총 프레임 레이트(프레임 수/초)는 증가된 i-프레임 레이트에 대해 보상하기 위해 감소되어야 한다. 이러한 상황들 하에서, 다양한 예시적인 실시예에 따르면, p-프레임 레이트는 증가된 i-프레임 레이트를 보상하기 위해 감소될 수 있다. 너무 낮은 fps가 대기시간을 증가시킬 수 있고 따라서 응용의 실시간 성질을 해치기 때문에, fps의 감소가 또한 제한된다는 것을 유의한다.
열들 E와 F는 본 개시 내용의 다양한 예시적 실시예들에 따른 VCD의 시야의 이미지 콘텐츠의 예상되는 변화 정도에 기초하여 i-프레임 대 p-프레임 비율을 제공한다.
간략화를 위해, 10 개의 이미지들의 그룹(group of pictures: GOP)이 i-프레임 대 p-프레임 비율을 예시하기 위해 선택되었다(GOP는 일반적으로 얼마나 많은 화상/이미지가 하나의 i-프레임에 의존함으로써 제공될 수 있는지를 나타낸다). 그러나, 본 개시 내용의 다양한 예시적 실시예들은 그것으로 제한되지 않고 상이한 GOP에 의존할 수 있다.
도시된 바와 같이, 예상되는 VCD의 시야의 이미지 콘텐츠의 작은 변화 정도가 있다면, i-프레임 대 p-프레임 비율은 그것의 최저치(1/9)일 수 있는데, 이는 캡처된 비디오 이미지들의 높은 충실도의 실시간 재생을 제공하기 위해 더 적은 i-프레임들이 필요할 수 있기 때문이다. 한편, VCD의 시야의 이미지 콘텐츠의 큰 변화 정도가 예상된다면, i-프레임 대 p-프레임 비율은 그것의 최고치(9/1)일 수 있는데, 이는 캡처된 비디오 이미지들의 높은 충실도의 실시간 재생을 제공하기 위해 더 많은 i-프레임들이 필요할 수 있기 때문이다.
그러나, 앞서 언급한 바와 같이, 제한된 가용의 대역폭 때문에, i-프레임 대 p-프레임 비율의 증가는 제공될 수 있는 프레임들의 총 수의 감소를 필요로 할 것이고, 이것은 대기시간을 증가시킬 수 있고 응용의 실시간 성질을 해칠 수 있다. 예를 들어, 도 4는 상대적으로 낮은 i-프레임 대 p-프레임 비율에서, 표의 행 1에 나타낸 바와 같이, 9 fps의 i-프레임 레이트와 81 fps의 p-프레임 레이트가 실현될 수 있고, 이것은 사용되는 대역폭을 최대 대역폭 1 Mbps 미만으로 유지하면서 총 90 fps를 생성한다(열 J를 참조하면, 사용된 대역폭은 0.99 Mbps로 된다). 한편, VCD의 시야의 이미지 콘텐츠의 큰 변화 정도가 예상된다면, 표의 행 5에 나타낸 바와 같이, 높은 충실도를 유지하기 위해 45 fps의 i-프레임 레이트와 겨우 5 fps의 p-프레임 레이트가 필요로 될 수 있다. 그러나, 그러한 구성은 사용되는 대역폭을 최대 대역폭 1 Mbps 미만으로 유지하면서 총 50 fps를 생성한다(열 J를 참조하면, 사용된 대역폭은 0.95 Mbps로 된다).
도 4에 대한 상기의 숫자들/값들은 예시적인 것으로 본 개시 내용을 제한하는 것이 아니며, 통상의 기술자는 본 개시 내용의 예시적인 실시예들이 본 명세서에 도시되지 않은 다른 숫자/값들을 지원할 수 있다는 것을 이해할 것이다. 예를 들어, 최소 침습 수술 절차들에 대해, 15 fps 레이트는 적절한 충실도를 제공할 수 있는 반면에, 20 내지 30 fps 레이트 이상은 최적의 충실도를 제공할 수 있다. 그러나, 다른 응용들에 대해서는, 본 개시 내용의 범위를 벗어나지 않고, 최소 침습 수술 절차들에 대해 상기에서 지시된 것들과는 상이한 fps 레이트들이 요망될 수 있다.
따라서, 본 개시 내용의 다양한 예시적 실시예들에 따르면, VCD의 시야의 이미지 콘텐츠에 영향을 미칠 것으로 예측될 수 있는 조건들이 모니터되고, 인코더는 그에 따라 비디오 캡처 디바이스에 의해 캡처된 비디오 이미지들을 인코딩하도록 구성된다. 구체적으로, 인코더는 시야의 이미지 콘텐츠의 변화가 발생하기 전에 전체 시스템의 모니터되고 검출된 상태 변화로 인해 시야의 이미지 콘텐츠의 예측된 변화를 예상하고 VCD에 의해 캡처된 비디오 이미지들을 인코딩하도록 구성될 수 있다. 따라서, 충실도 저하 이벤트들을 예상하고 그러한 이벤트들이 발생하기 전에 높은 충실도의 인코딩이 달성될 수 있으며, 이것은 비디오 인코더를 반응적으로(즉, 충실도 저하 이벤트들이 발생한 후에) 구성하는 것과 일반적으로 연관된 낮은 충실도 이미지 기간을 제거할 수 있다.
도 5는 본 개시 내용의 다양한 예시적 실시예들에 따른, 예를 들면, 도 3의 VQI 프로세서(325) 등과 같은 VQI 프로세서에 의해 수행되는 VQI 알고리즘의 잠재적 동작을 예시하기 위해 사용되는 표이다. 특히, 도 5는 예를 들어, 도 3의 네트워크 모니터(320)에 의해 모니터되는, 시야 내에서 캡처되고 디스플레이에 전송되는 이미지 콘텐츠에 영향을 미칠 것으로 예상되는 네트워크 조건들의 변화들에 기초하는, 예를 들어, 도 3의 비디오 인코더(310) 등과 같은 인코더의 구성을 도시한다. 도 5는 본 개시 내용의 다양한 예시적 실시예들에 따른, 시야의 일정한 이미지 콘텐츠에 기초한다(이 경우에, 도 3의 VCD(305) 등과 같은 대응하는 VCD의 시야의 이미지 콘텐츠의 작은 변화들).
열 A는 인코딩된 비디오 이미지들을 예를 들어, 도 3의 비디오 인코더(310)로부터 디스플레이(360)로 전송하기 위해 본 개시 내용의 예시적 실시예에 할당된 예상되는 최대 대역폭의, 네트워크 모니터로부터 VQI 프로세서로의 입력을 제공한다. 그러나, 열 A가 일정하게 유지되는 도 4에 기재된 예시적 조건들과는 대조적으로, 도 5는 통신 네트워크(335)에 걸쳐 가변 대역폭을 초래하는 가변 네트워크 조건들 하에서 VQI 알고리즘의 동작을 도시한다.
도 4에서와 같이, 열들 B 및 C는 예를 들어, H.264 비디오 압축 표준에 따라 비디오 이미지들을 인코딩하고 인코딩된 비디오 이미지들을 전송하기 위해 생성될 수 있는 i-프레임들 및 p-프레임들의 예시적 크기들을 각각 제공한다. 따라서, 이 열들은 여기서 설명되지 않는다.
열 D는, 도 4에서와 같이, 대응하는 VCD의 시야의 이미지 콘텐츠 내의 예상되는 변화 정도의, 시야 상태 모니터로부터의 입력을 제공한다. 그러나, 상기에서 언급한 바와 같이, 도 5는 가변 네트워크 조건들 하에서 VQI 알고리즘의 예시적 동작을 도시한다. 따라서, 다른 상태 변화들과는 독립적으로 가변 네트워크 조건들의 효과를 구체적으로 예시하기 위해, 도 5에서, 열 D는 행들 1 내지 5를 통해 일정하게 유지된다.
통상의 기술자는 예를 들어, 네트워크 모니터(320)에 의해 모니터되는, 네트워크 조건들의 변화들을 수용하기 위해 얼마나 다양한 예시적 실시예들이 VQI 알고리즘을 구현하는지에 대한 이해를 제공하기 위해, 도 5가 상태 모니터(315)로부터 인입하는 가변적이지 않은 상태 조건들을 도시하고, VCD 변화 정도는 간략화를 위한 예시적인 모니터되는 상태 조건이라는 것을 이해할 것이다.
열들 E 및 F는 VCD의 시야의 이미지 콘텐츠의 예상되는 변화 정도에 기초하여 i-프레임 대 p-프레임 비율을 제공한다. 상기에서 언급한 바와 같이, 도 5는 (예컨대, 수술 엘리먼트들의 조작 등과 같은) VCD의 시야의 이미지 콘텐츠에 영향을 미치는 상태 변화들 대신에 가변 네트워크 조건들 하에서의 VQI 알고리즘의 동작에 관한 것이기 때문에, 열 D는 행들 1 내지 5를 따라 일정하게 유지된다. 따라서, 열들 E 및 F가 열 D에 기재된 값들에 의존하기 때문에, 열들 E 및 F도 또한 행들 1 내지 5를 통해 일정하게 유지된다.
도 5의 열들 G, H, 및 I는 본 개시 내용의 다양한 예시적 실시예들에 따른 인코더의 구성을 도시한다. 예상되는 네트워크의 최대 대역폭이 감소할 때, 본 개시 내용에 따른 VQI 프로세서의 예시적 실시예는 요망되는 i-프레임 대 p-프레임 비율을 유지하기 위해, 열들 G 및 H에 나타낸 바와 같이, i-프레임 및 p-프레임 레이트들을 조정한다. 그 결과, 열 I에 나타낸 바와 같이, 전체 프레임 레이트는 감소한다. 예를 들어, 도 5는 예상되는 최대 레이트가 1 Mbps일 때, 표의 행 1에 나타낸 바와 같이, 초당 9 프레임(fps)의 i-프레임 레이트와 81 fps의 p-프레임 레이트가 실현될 수 있고, 이것은 사용되는 대역폭을 최대 대역폭 1 Mbps 미만으로 유지하면서 총 90 fps를 생성한다(열 J를 참조하면, 사용된 대역폭은 .099 Mbps가 된다). 예를 들어, 표의 행 5에 나타낸 바와 같이, 예상되는 최대 대역폭이 감소할 때, i-프레임 레이트 및 p-프레임 레이트 둘 다가 감소되고, 따라서, 사용되는 대역폭을 최대 대역폭 0.5 Mbps 미만으로 유지하기 위해 전체 fps는 40 fps로 감소된다(열 J를 참조하면, 사용된 대역폭은 0.44 Mbps가 된다).
따라서, 본 개시 내용의 다양한 예시적 실시예들에 따르면, 인코딩된 비디오 이미지들을 전송하기 위한 가용의 대역폭에 영향을 미칠 것으로 예측될 수 있는 하나 이상의 조건이 모니터되고, 인코더는 비디오 캡처 디바이스에 의해 캡처된 비디오 이미지들을 그 조건들에 기초하여 인코딩하도록 구성된다. 구체적으로, 인코더는 가용의 최대 대역폭의 예상되는 변화를 예상하고 가용의 최대 대역폭의 변화가 발생하기 전에, 비디오 캡처 디바이스에 의해 캡처된 비디오 이미지들을 인코딩하도록 구성될 수 있다. 따라서, 충실도-저하 네트워크 조건 이벤트들을 예상하고 그러한 이벤트들이 발생하기 전에 높은 충실도의 "실시간" 인코딩이 달성될 수 있고, 이것은 비디오 인코더를 반응적으로(즉, 충실도 저하 이벤트들이 발생한 후에) 구성하는 것과 일반적으로 연관된 낮은 충실도 이미지 기간을 제거할 수 있다.
도 4 및 도 5에 기재되고 그들 각각의 설명들에서 이용되는 숫자들/값들은 단지 본 개시 내용의 예시적 실시예들의 동작의 특정 원리들의 이해에 도움을 주기 위해 선택된 선지적 예들이다. 통상의 기술자는 이러한 숫자들/값들이 제한적이지 않고 본 개시 내용의 예시적 실시예들이 본 명세서에 예시되지 않은 다른 숫자/값들을 지원할 수 있다는 것을 이해할 것이다.
도 4가 VCD의 시야의 이미지 콘텐츠에 대한 예상되는 변화들의 관점에서 본 개시 내용의 다양한 실시예들에 따른 VQI 알고리즘을 도시하고, 도 5는 인코딩된 비디오 이미지들을 전송하기 위한 가용의 예상되는 대역폭에 대한 예상되는 변화들의 관점에서 본 개시 내용의 다양한 실시예들에 따른 VQI 알고리즘을 도시하지만, 본 개시 내용은 그렇게 제한되지 않는다. 통상의 기술자는 VQI 알고리즘이 본 개시 내용의 범위를 벗어나지 않고 네트워크 조건들(예컨대, 대역폭)의 변화들뿐만 아니라, 시야의 이미지 콘텐츠 및 대응하는 캡처된 이미지들에 영향을 미칠 것으로 예측된 상태 변화들 양방의 조합에 기초하여 비디오 이미지들의 인코딩을 구성할 수 있다.
도 6은 본 개시 내용의 적어도 하나의 예시적 실시예에 따른 비디오 처리 방법을 도시하는 흐름도이다. 단계 605에서, 방법은 예를 들면, 도 3의 비디오 캡처 디바이스(305) 등과 같은 비디오 캡처 디바이스에 의해 캡처된 예를 들면, 수술 부위의 비디오 이미지들을 수신하는 것을 포함한다. 단계 610에서, 방법은 비디오 캡처 디바이스의 시야의 이미지 콘텐츠에 영향을 미칠 수 있는 상태의 변화의 지시를 수신하는 것을 포함한다. 상기에서 도 3 및 도 4에 대해 상세히 설명한 바와 같이, 시야의 이미지 콘텐츠에 영향을 미칠 수 있는 상태의 변화는 예를 들면, 수술 엘리먼트의 움직임, 비디오 캡처 디바이스의 움직임, 비디오 캡처 디바이스의 구성(예컨대, 줌 인/아웃), 및/또는 수술 부위에서의 액체들, 가스들, 또는 다른 물질들/재료들의 인가/제거 등과 같은 하나 이상의 시스템 조건에 의해 트리거될 수 있고, 시야의 이미지 콘텐츠에서의 변화의 정도는 특정 조건에 기초하여 예상될 수 있다. 또한, 상기에서 설명된 바와 같이, 시스템 조건들은, 외과 의사 측 콘솔에서 수신된 다양한 입력 명령들 및/또는 외과 의사 콘솔에서 제공된 입력 명령 또는 조작 상태의 변화에 추종하여 발생하는 자동 기능들에 의해 변경될 수 있다.
단계 615에서, 방법은 단계 610에서 수신된 지시에 의해 지시된 시야의 이미지 콘텐츠에서의 상태 변화의 예측된 효과에 기초하여 캡처된 비디오 이미지들을 인코딩하기 위한 인코딩 구성을 선택적으로 조정하는 것을 포함한다. 인코딩 구성의 변화는 인코딩될 미래 이미지들 중 적어도 하나의 해상도를 조정하는 것, 또는 인코딩된 비디오 이미지들을 생성하고/예를 들면, 도 3의 디스플레이(360) 등과 같은 수신 시스템으로 전송하기 위한 이미지 프레임 생성/전송 레이트를 조정하는 것을 포함할 수 있다. 단계 620에서, 방법은 조정된 인코딩 구성에 기초하여 캡처된 비디오 이미지들을 인코딩하는 것을 포함한다.
따라서, 본 개시 내용의 다양한 예시적 실시예들에 따르면, 비디오 이미지 인코더는, 예를 들면, 비디오 캡처 디바이스의 시야에 대한 모니터된 조건의 예상되는 효과에 기초하여 비디오 이미지들을 인코딩하기 위해, VQI를 통해 구성될 수 있다. 따라서, 충실도 저하 이벤트들을 예상하고 그러한 이벤트들이 발생하기 전에 높은 충실도 인코딩이 달성될 수 있고, 이것은 비디오 인코더를 반응적으로(즉, 충실도 저하 이벤트가 발생한 후에 그에 응답하여) 구성하는 것과 일반적으로 연관된 낮은 충실도 이미지 기간을 제거할 수 있다. 도 7은 본 개시 내용의 다른 예시적 실시예에 따른 비디오 처리 방법을 나타내는 흐름도이다. 단계 705에서, 방법은 예를 들면, 도 3의 비디오 캡처 디바이스(305) 등과 같은 비디오 캡처 디바이스에 의해, 예를 들면, 수술 부위에서 캡처되는 비디오 이미지들을 수신하는 것을 포함한다. 단계 710에서, 방법은 비디오 캡처 디바이스의 시야의 이미지 콘텐츠에 영향을 미칠 수 있는 상태의 변화의 지시를 수신하는 것을 포함한다. 도 6에 대해 (그리고 도 3 및 도 4에 대해 또한) 상기에서 언급한 바와 같이, 시야의 이미지 콘텐츠에 영향을 미칠 수 있는 상태의 변화는 예를 들어, 수술 엘리먼트의 움직임, 비디오 캡처 디바이스(예컨대, 내시경 카메라(205))의 움직임, 비디오 캡처 디바이스의 구성(예컨대, 줌 인/아웃), 및/또는 액체들, 가스들, 또는 다른 물질들/재료들의 수술 부위에서의 인가/제거 등과 같은 하나 이상의 시스템 조건에 의해 유발될 수 있고, 시야의 이미지 콘텐츠에서의 변화의 정도는 특정 조건에 기초하여 예상될 수 있다.
단계 715에서, 방법은 예를 들어, 도 3의 디스플레이(360) 등과 같은 수신 시스템으로의 인코딩된 비디오 이미지들의 전송에 영향을 미칠 수 있는 네트워크 조건들의 변화의 지시를 수신하는 것을 포함한다. 네트워크 조건들의 변화는 인코딩된 비디오 이미지들을 수신 시스템으로 전송하기 위해 이용되는, 예를 들면, 도 3의 통신 네트워크(335) 등과 같은 네트워크의 혼잡에 의해 유발될 수 있다. 네트워크 조건들은 예를 들어, 네트워크를 통한 패킷 데이터 대기시간의 계측 또는 손실 패킷들의 결정에 의해 결정될 수 있다.
단계 720에서, 방법은 수신된 지시에 의해 지시된 시야의 이미지 콘텐츠의 변화의 예측된 효과, 및 인코딩된 비디오 이미지들의 그것들의 목적지로의 전송에서 네트워크 조건들의 예상되는 효과에 기초하여 캡처된 비디오 이미지들을 인코딩하기 위한 인코딩 구성을 선택적으로 조정하는 단계를 포함한다. 인코딩 구성의 변화는 인코딩될 미래의 이미지들 중 적어도 하나의 해상도를 조정하는 것, 또는 인코딩된 비디오 이미지들을 생성하고/예를 들어, 도 3의 디스플레이(360) 등과 같은 수신 시스템으로 전송하기 위한 이미지 프레임 생성/전송 레이트를 조정하는 것을 포함할 수 있다. 단계 725에서, 방법은 조정된 인코딩 구성에 기초하여 캡처된 비디오 이미지들을 인코딩하는 것을 포함한다.
따라서, 본 개시 내용의 다양한 예시적 실시예들에 따르면, 비디오 이미지 인코더는, 예를 들면, 비디오 캡처 디바이스의 시야의 이미지 콘텐츠에 대한 모니터된 상태 조건 및/또는 인코딩된 비디오 이미지들을 목적지로 전송하기 위해 이용되는 네트워크의 조건들의 예상되는 효과에 기초하여 비디오 이미지들을 인코딩하기 위해, VQI를 통해 구성될 수 있다. 따라서, 다양한 예시적 실시예들은 시야의 이미지 콘텐츠에 영향을 미칠 것으로 예상되는 조건들의 발생뿐만 아니라, 시야의 이미지 콘텐츠에 대한 예상되는 효과의 성질(예컨대, 정도)을 예측하기 위해(예를 들어, 석션, 관주, 및/또는 소작 절차에 의해 유발되는 큰 유체 모션에 비한 턱이 있는 단부 이펙터의 움직임; 또는 내시경 카메라가 "추종" 중에 한 장소로부터 다른 장소로의 내시경 카메라의 움직임에 비한 턱이 있는 단부 이펙터의 움직임을 예상하는 것) 로봇식 수술 시스템의 네트워크 조건들 및/또는 상태의 모니터링을 또한 허용한다.
도 8은 본 개시 내용의 또 다른 예시적 실시예에 따른 비디오 처리 방법을 도시하는 흐름도이다. 단계 805에서, 예를 들어, 도 3의 환자측 카트(330)에 장착된 내시경 카메라 또는 다른 비디오 캡처 디바이스 등과 같은 비디오 캡처 디바이스는 원격 수술 부위의 비디오 이미지들의 캡처를 시작하고, 미리 정해진 인코딩 구성에 기초하여, 캡처된 비디오 이미지들을 도 3의 외과 의사 콘솔(345)의 디스플레이(360) 등과 같은 원격 디스플레이로 스트리밍한다. 원격 수술 부위에서의 카메라로부터 디스플레이로의 비디오 이미지들의 전송은 도 3의 통신 네트워크(335) 등과 같은 통신 네트워크를 통해 발생한다.
단계 810에서, 방법은 시야의 이미지 콘텐츠에, 따라서 비디오 캡처 및 인코딩 시스템의 비디오 캡처 디바이스의 캡처된 이미지들에 영향을 미칠 수 있는 근본적 시스템의 비디오 캡처 및 인코딩 시스템에서의 조건들을 모니터하는 것을 포함한다. 도 3 및 도 4에 대해 상세히 설명한 바와 같이, 원격 제어되는 수술 시스템들에서, 예를 들어, 시야 내의 로봇의 아암 및/또는 수술 기구의 움직임, 카메라 줌/속도, 또는 시야 내의 수술 부위로의 액체들 또는 가스들 등과 같은 물질들의 인가/제거는 원격으로 제어되는 수술을 수행하기 위한 수술 부위의 비디오를 캡처하는 비디오 캡처 디바이스의 시야의 이미지 콘텐츠에 영향을 미칠 수 있고, 시야의 이미지 콘텐츠의 변화 정도는 특정 조건에 기초하여 예상될 수 있다.
단계 815에서, 방법은 시야의 이미지 콘텐츠에 영향을 미칠 것으로 예측된 상태 변화가 발생했는지를 결정하는 것을 포함한다. 상태의 변화가 발생했다면, 단계 820에서, 방법은 시야의 이미지 콘텐츠에서의 상태의 변화의 예상되는 효과가 미리 정해진 임계값을 초과할 것으로 예상되는지를 결정하는 것을 포함한다. 미리 정해진 임계값은 특정 상태 변화에 의존하고, 예를 들어, 시야의 이미지 콘텐츠를 캡처하는 이미지 캡처 디바이스의 움직임, 시야의 조정(예를 들면, 줌 인/아웃), 시야 내의 기구의 움직임, 또는 시야의 이미지 콘텐츠에 변화를 유발할 것으로 예상될 수 있는 임의의 다른 작용에 기초할 수 있을 것이다.
예를 들어, 본 개시 내용의 다양한 예시적 실시예들에서, 예를 들어, 풋 페달의 활성화(예를 들어, 누름) 등과 같은 입력은 카메라 제어 모드로의 전환을 지시할 수 있고, 카메라의 위치/방향을 조정하기 위한 추가의 입력이 현재 시야 내의 특정 변화를 유발할 것으로 예측될 수 있다. 예측된 변화는 시야에서의 현재 조건들 및/또는 입력(예를 들어, 시야 내에서 경험되거나 또는 경험될 것으로 예상되는 다른 움직임)에 기초하는 카메라의 예상되는 속도에 기초할 수 있다. 따라서, 인코딩 파라미터들의 조정의 필요성 및 정도를 결정하기 위해 카메라의 조정의 속도 등과 같은 계측 가능한 값이 미리 정해진 카메라 속도 임계값과 비교될 수 있다.
본 개시 내용의 범위를 벗어나지 않고, 시야의 이미지 콘텐츠에서의 변화의 예측된 정도, 및 인코딩 파라미터들의 연관된 변화의 결정은 (사용자로부터의 입력들에 기초하여) 원격 부위에서 또는 외과 의사 콘솔에서(외과 의사 콘솔로부터 원격 부위로 제공됨) 발생할 수 있다는 것을 유의한다. 예를 들어, 다양한 예시적 실시예들에 있어서, 외과 의사 콘솔에서 카메라의 위치/방향을 조정하기 위한 입력을 수신하면, 외과 의사 콘솔에서의 프로세싱 유닛은 입력에 의해 유발된 카메라의 예상되는 속도에 기초하여, 현재 시야에서의, 그리고 그 안의 이미지 콘텐츠의 변화를 예측할 수 있고, 인코딩 파라미터들의 조정을 위한 필요성 및 정도를 결정할 수 있다. 프로세싱 유닛은 또한 인코딩 파라미터들의 대응하는 조정을 결정할 수 있고 CODEC의 구성을 위해 인코딩 파라미터들을 환자측 카트에 제공할 수 있다.
상태 변화의 예상되는 효과가 미리 정해진 임계값을 초과하면, 단계 825에서, 인코딩 구성 파라미터들은 예상되는 효과를 최소화하기 위해 조정된다. 본 개시 내용의 범위를 벗어나지 않고, 예상되는 효과에 비례하게 또는 예상되는 효과에 따른 함수에 기초하여, 조정은 예를 들어, 미리 정해진 프로파일에 따라 i-프레임 레이트를 증가시키는 것을 포함할 수 있다. 제한으로서가 아니라, 예를 들어, 상태의 변화의 계측으로서 이미지 캡처 디바이스의 속도를 이용할 때, i-프레임 레이트 등과 같은 인코딩 구성 파라미터들의 변화는 미리 정해진 임계값을 초과하여 이미지 캡처 디바이스의 속도에 비례할 수 있다.
상태 변화의 예상되는 효과가 미리 정해진 임계값을 초과하지 않으면, 단계 830에서, 인코딩 구성 파라미터들은 변화되지 않고 남아 있을 수 있거나, 또는 미리 정해진 디폴트 구성 상태에 있을 수 있다. 가용 대역폭 등과 같은 다른 조건들이 유리하다면, 그럼에도 상태 변화는 구성 파라미터들이 예를 들면, 상태 변화의 임의의 효과를 최소화하기 위해 조정되도록 할 수 있다. 이 조정은 예를 들어, 미리 정해진 시간 양(예컨대, 5 초) 동안 미리 정해진 양만큼 i-프레임 레이트를 증가시키는 것(예컨대, 초당 하나의 추가의 i-프레임)을 포함할 수 있거나, 또는 미리 정해진 디폴트 구성 상태의 업데이트를 포함할 수 있다.
단계 840에서, 방법은 또한 비디오 캡처 디바이스와 원격 디스플레이 간의 네트워크의 네트워크 조건들을 모니터하는 것을 포함할 수 있다. 예를 들어, 모니터될 수 있는 네트워크 조건들은 예를 들어, 인코딩된 비디오 이미지들을 전송하기 위한 가용의 대역폭 및/또는 패킷 손실 레이트를 포함한다. 단계 845에서, 방법은 가용의 대역폭의 감소 또는 손실된 패킷의 퍼센티지의 증가 등과 같은 네트워크 조건들의 변화가 발생했는지를 결정하는 것을 포함한다. 단계 850에서, 네트워크 조건들이 변화했다면(예컨대, 가용의 대역폭의 감소), 인코딩 구성 파라미터들은 예를 들면, 전송 데이터 레이트(즉, 비트 레이트)를 감소시키는 것, i-프레임 레이트를 감소시키는 것, 및/또는 수신 시스템에 전송되는 프레임들의 전체 프레임 레이트를 감소시키는 것에 의해, 네트워크 조건들의 변화의 효과들을 극복하기 위해 조정된다. 단계 855에서, 방법은 예를 들어, 도 3의 비디오 인코더(310) 등과 같은 비디오 인코더에 임의의 조정된 인코딩 구성 파라미터들을 제공하는 것을 포함한다.
따라서, 본 개시 내용의 다양한 예시적 실시예들에 따르면, 비디오 이미지 인코더는 비디오 캡처 디바이스의 시야에 대한 모니터된 조건 및 인코딩된 비디오 이미지들을 목적지에 전송하기 위해 이용되는 네트워크의 조건들의 예상되는 효과에 기초하여 비디오 이미지들을 인코딩하도록 구성될 수 있다. 따라서, 충실도 저하 이벤트들을 예상하고 그러한 이벤트들이 발생하기 전에 높은 충실도 인코딩이 달성될 수 있고, 이것은 비디오 인코더를 반응적으로(즉, 충실도 저하 이벤트가 발생한 후에) 구성하는 것과 일반적으로 연관된 낮은 충실도 이미지 기간을 제거할 수 있다.
도 9는 본 개시 내용에 따른 비디오 처리 시스템의 예시적 실시예를 도시한다. 비디오 프로세싱 시스템(900)은 VQI 프로세서(325)의 예이지만, 통상의 기술자는 본 개시 내용에 따른 VQI 프로세서가 다르게 구성될 수 있다는 것을 이해할 것이다. 비디오 프로세서(900)는 통신 인터페이스(901) 및 프로세싱 시스템(903)을 포함한다. 프로세싱 시스템(903)은 통신 인터페이스(901)에 링크된다. 프로세싱 시스템(903)은 프로세싱 회로, 및 소프트웨어(905)를 저장하는 저장소 시스템(904)을 포함한다. 비디오 프로세서(900)는 명확성을 위해 도시되지 않은 전력 시스템, 배터리, 및/또는 인클로저 등과 같은 다른 공지된 컴포넌트들을 포함할 수 있다.
통신 인터페이스(901)는 비디오 프로세싱 시스템(900)의 외부 디바이스들과 인터페이스하기 위한 통신 회로를 적어도 포함하고, 유선 및/또는 무선 통신을 위한 회로를 포함할 수 있다. 또한, 통신 인터페이스(901)는 전술한 도 3의 상태 모니터(315), 도 3의 네트워크 모니터(320), 및 도 3의 비디오 인코더(310) 등과 같은 본 개시 내용의 다양한 예시적 실시예들에 의해 수행되는 특징들 중 적어도 일부를 구현하기 위한 다른 시스템들 및/또는 엘리먼트들과 통신하도록 구성될 수 있다. 통신 인터페이스(901)는 또한 메모리 디바이스, 소프트웨어, 프로세싱 회로, 또는 어떤 다른 통신 디바이스를 포함할 수 있거나, 또는 본 개시 내용에서 언급된 타입들의 통신을 실현할 수 있다.
프로세싱 시스템(903)은 저장소 시스템(904)으로부터 소프트웨어(905)를 검색해서 실행하는 마이크로프로세서 및 다른 회로를 포함할 수 있다. 저장소 시스템(904)은 디스크 드라이브, 플래시 드라이브, 데이터 저장소 회로, 또는 어떤 다른 메모리 장치를 포함한다. 프로세싱 시스템(903)은 전형적으로 저장소 시스템(904) 및/또는 통신 인터페이스(901)의 일부들을 또한 보유할 수 있는 회로 보드상에 전형적으로 장착된다.
소프트웨어(905)는 예를 들어, 본 개시 내용에서 설명된 VQI 알고리즘 등과 같은 알고리즘들을 구현하기 위한 컴퓨터 프로그램들, 펌웨어, 또는 어떤 다른 형태의 머신-판독가능 프로세싱 명령들을 포함한다. 소프트웨어(905)는 운영 체제, 유틸리티, 드라이버, 네트워크 인터페이스, 애플리케이션, 또는 어떤 다른 타입의 소프트웨어를 포함할 수 있다. 프로세싱 시스템(903)에 의해 실행될 때, 소프트웨어(905)는 VQI 프로세서(325)에 대해 본 명세서에 기술된 바와 같이 비디오 프로세서(900)를 동작시키도록 프로세싱 시스템(903)에 명령한다.
본 개시 내용의 다양한 예시적인 실시예들은 데이터를 저장, 검색, 처리 및/또는 출력할 수 있으며 그리고/또는 다른 컴퓨터들과 통신할 수 있는 (비제한적인 예에서) 임의의 컴퓨터 등과 같은 컴퓨팅 하드웨어(컴퓨팅 장치) 및/또는 소프트웨어로 구현될 수 있다. 산출된 결과들은 컴퓨팅 하드웨어의 디스플레이상에 표시될 수 있다. 본 개시 내용의 다양한 예시적 실시예들에 따른 다양한 응답들 및 신호 프로세싱을 수행하기 위한 알고리즘들을 포함하는 하나 이상의 프로그램/소프트웨어는 상기에서 논의된 전자수술 프로세싱 유닛 등과 같은 전자장치/제어 콘솔(115)의, 또는 그것과 함께, 프로세서에 의해 구현될 수 있고, 컴퓨터 판독가능 기록 및/또는 저장 매체를 포함하는 컴퓨터 판독가능 매체에 기록될 수 있다. 컴퓨터 판독가능 기록 매체의 예들은 자기 기록 장치, 광 디스크, 광 자기 디스크, 및/또는 반도체 메모리(예컨대, RAM, ROM, 등)를 포함한다. 자기 기록 장치의 예들은 하드 디스크 디바이스(hard disk device: HDD), 플렉시블 디스크(flexible disk: FD), 및 자기 테이프(magnetic tape: MT)를 포함한다. 광 디스크의 예들은 DVD(Digital Versatile Disc: 디지털 다기능 디스크), DVD-RAM, CD-ROM(Compact Disc - Read Only Memory: 컴팩트 디스크 - 판독 전용 메모리), 및 CD-R(기록 가능)/RW를 포함한다.
전술한 바와 같이, 다양한 예시적 실시예들에 따른 방법들 및 시스템들은, 수술 기구의 근위 단부에서의 전달 메커니즘을 통해 활성화되는 컴포넌트들을 통해 복수의 수술 절차들을 수행하도록 구성된 단부 이펙터를 갖는 상기 수술 기구와 함께 이용될 수 있다. 또한, 실시예들의 양태에 따르면, 설명된 특징들, 기능들 및/또는 동작들의 임의의 조합들이 제공될 수 있다.
다양한 예시적 실시예들에 따른 방법들 및 시스템들이 H.264 인코딩/디코딩 프로토콜에 따라 이미지들의 인코딩/디코딩 및 전송의 맥락에서 설명되었다. 그러나, 통상의 기술자는 본 개시 내용이 그렇게 제한되지 않으며, 본 개시 내용의 엘리먼트들 중 일부 또는 전부가 본 개시 내용의 범위를 벗어나지 않고 하나 이상의 다른 인코딩/디코딩 프로토콜의 맥락에서 이용될 수 있다는 것을 이해할 것이다.
통상의 기술자는 본 명세서의 청구범위 및 본 개시 내용의 상세 및 실시를 고려하면 본 발명의 다른 실시예들을 명백히 알 것이다. 그러한 상세 및 예들은 단지 예로서 고려되어야 하고 범위는 균등물들을 포함하여 청구범위에 의해 지시된다.

Claims (1)

  1. 도면과 발명의 설명에 기재된 바와 같은 방법.
KR1020217013970A 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템 KR102319400B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217034593A KR102365946B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261683493P 2012-08-15 2012-08-15
US61/683,493 2012-08-15
KR1020157003668A KR102252078B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템
PCT/US2013/054862 WO2014028573A1 (en) 2012-08-15 2013-08-14 Methods and systems for optimizing video streaming

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157003668A Division KR102252078B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217034593A Division KR102365946B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210057209A true KR20210057209A (ko) 2021-05-20
KR102319400B1 KR102319400B1 (ko) 2021-11-01

Family

ID=50100509

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217034593A KR102365946B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템
KR1020217013970A KR102319400B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템
KR1020157003668A KR102252078B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217034593A KR102365946B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157003668A KR102252078B1 (ko) 2012-08-15 2013-08-14 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (2) US10806325B2 (ko)
EP (3) EP3624045B1 (ko)
JP (5) JP6265994B2 (ko)
KR (3) KR102365946B1 (ko)
CN (2) CN109348220B (ko)
WO (1) WO2014028573A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365946B1 (ko) 2012-08-15 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비디오 스트리밍을 최적화하기 위한 방법 및 시스템
WO2015135057A1 (en) * 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
DE102013108228A1 (de) * 2013-07-31 2015-02-05 MAQUET GmbH Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs
DE102014016843A1 (de) * 2014-11-13 2016-05-19 Kuka Roboter Gmbh System mit einem medizinischen Instrument und ein Aufnahmemittel
EP3029936A1 (en) * 2014-12-05 2016-06-08 Axis AB Method and device for real-time encoding
WO2017205467A1 (en) * 2016-05-26 2017-11-30 Covidien Lp Cannula assemblies for use with robotic surgical systems
WO2018089823A2 (en) * 2016-11-11 2018-05-17 Intuitive Surgical Operations, Inc. Teleoperated surgical system with scan based positioning
JP6858593B2 (ja) * 2017-03-02 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および制御方法
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
JP6975004B2 (ja) * 2017-10-03 2021-12-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
EP3579553B1 (en) * 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
JP2023507063A (ja) * 2019-12-19 2023-02-21 ソニーグループ株式会社 手術中に画像取込装置を制御するための方法、装置、およびシステム
DE102021100124A1 (de) * 2021-01-07 2022-07-07 Schölly Fiberoptic GmbH Verfahren zum Übertragen eines Rohbilddatenstromes eines Bildsensors
KR20240102817A (ko) * 2022-12-26 2024-07-03 광운대학교 산학협력단 원격 의료시스템을 위한 동영상 압축 전송 방법 및 장치
CN115811610B (zh) * 2023-01-13 2023-05-05 安徽医科大学 一种适用于无线内窥镜的图传方法及系统
CN117221177B (zh) * 2023-11-08 2024-01-09 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统
CN117281616B (zh) * 2023-11-09 2024-02-06 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009178230A (ja) * 2008-01-29 2009-08-13 Terumo Corp 手術システム
KR20110097861A (ko) * 2008-11-21 2011-08-31 스트리커 코포레이션 비디오 출력 장치 및 비디오 디스플레이를 포함하는 무선 수술실 통신 시스템
KR20120074330A (ko) * 2009-11-06 2012-07-05 퀄컴 인코포레이티드 영상 캡처 파라미터들에 기초한 비디오 인코딩 제어

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217453A (en) 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
JPH0896522A (ja) 1994-09-20 1996-04-12 Sony Corp データエンコーダ
US6111870A (en) 1996-11-07 2000-08-29 Interdigital Technology Corporation Method and apparatus for compressing and transmitting high speed data
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
US6026097A (en) * 1997-03-13 2000-02-15 8 X 8, Inc. Data processor having controlled scalable input data source and method thereof
US6843793B2 (en) * 1998-02-24 2005-01-18 Endovia Medical, Inc. Surgical instrument
US10973397B2 (en) * 1999-03-01 2021-04-13 West View Research, Llc Computerized information collection and processing apparatus
KR100367000B1 (ko) 1999-06-29 2003-01-06 한국전자통신연구원 멀티미디어 처리용 가속 기능 및 입출력 기능을 갖는 피씨용 멀티채널 오디오/음성 및 데이터 코덱장치
US6709387B1 (en) 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
JP3815665B2 (ja) * 2000-12-27 2006-08-30 Ｋｄｄｉ株式会社 可変ビットレート動画像符号化装置および記録媒体
US6873655B2 (en) 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
JP4194771B2 (ja) * 2001-06-29 2008-12-10 オリンパス株式会社 加熱治療装置
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
DE10219528A1 (de) * 2002-05-02 2003-11-13 Philips Intellectual Property Schnelles Kernresonanz-Bildgebungsverfahren mit Gradienten-Echos
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
JP3944440B2 (ja) 2002-09-27 2007-07-11 三菱電機株式会社 動画像伝送システム、救急医療用伝送システム及び動画像伝送装置
JP2005073218A (ja) * 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理装置
JP4503987B2 (ja) * 2003-11-12 2010-07-14 オリンパス株式会社 カプセル型内視鏡
EP1769399B1 (en) * 2004-06-07 2020-03-18 Sling Media L.L.C. Personal media broadcasting system
US7984179B1 (en) 2004-06-29 2011-07-19 Sextant Navigation, Inc. Adaptive media transport management for continuous media stream over LAN/WAN environment
JP4768250B2 (ja) * 2004-10-28 2011-09-07 シャープ株式会社 送信装置、受信装置、送受信装置、送信方法及び伝送システム
US8934533B2 (en) * 2004-11-12 2015-01-13 Pelco, Inc. Method and apparatus for controlling a video surveillance display
JP4727221B2 (ja) * 2004-12-21 2011-07-20 ルネサスエレクトロニクス株式会社 映像信号処理装置及び映像信号処理方法
US7894531B1 (en) * 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
JP2007036650A (ja) * 2005-07-27 2007-02-08 Keio Gijuku マルチメディア通信装置
WO2007033379A2 (en) * 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8373748B2 (en) * 2005-12-14 2013-02-12 Stryker Corporation Automatic endoscope recognition and selection of image processing and display settings
JP2009539131A (ja) 2006-05-31 2009-11-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示パラメータの制御
US20080117968A1 (en) * 2006-11-22 2008-05-22 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
EP2155333A4 (en) 2007-06-08 2013-07-31 Cynosure Inc COAXIAL LASER LIPOLYSIS SUCTION SYSTEM
US8057394B2 (en) * 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
JP2010142597A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
US8291855B2 (en) * 2009-01-16 2012-10-23 Hoerl Jr Jeffrey Joseph Mobile robot printer for large image reproduction
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
US20100283857A1 (en) * 2009-05-05 2010-11-11 Honeywell International Inc. Event based dynamic change in video quality parameters of network cameras
WO2012033200A1 (ja) 2010-09-10 2012-03-15 オリンパスメディカルシステムズ株式会社 撮像装置
JP5496852B2 (ja) * 2010-10-26 2014-05-21 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US9445058B2 (en) 2012-05-14 2016-09-13 Intuitive Surgical Operations, Inc Method for video processing using a buffer
KR102365946B1 (ko) 2012-08-15 2022-02-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비디오 스트리밍을 최적화하기 위한 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009178230A (ja) * 2008-01-29 2009-08-13 Terumo Corp 手術システム
KR20110097861A (ko) * 2008-11-21 2011-08-31 스트리커 코포레이션 비디오 출력 장치 및 비디오 디스플레이를 포함하는 무선 수술실 통신 시스템
KR20120074330A (ko) * 2009-11-06 2012-07-05 퀄컴 인코포레이티드 영상 캡처 파라미터들에 기초한 비디오 인코딩 제어

Also Published As

Publication number Publication date
JP6567030B2 (ja) 2019-08-28
EP2885765B1 (en) 2019-12-18
EP3624045B1 (en) 2024-01-10
EP4284001A2 (en) 2023-11-29
CN109348220A (zh) 2019-02-15
CN104584068A (zh) 2015-04-29
JP2019208262A (ja) 2019-12-05
EP4284001A3 (en) 2024-01-17
JP2021072644A (ja) 2021-05-06
JP7114760B2 (ja) 2022-08-08
JP2015532040A (ja) 2015-11-05
JP2022136244A (ja) 2022-09-15
WO2014028573A1 (en) 2014-02-20
JP6265994B2 (ja) 2018-01-24
KR102319400B1 (ko) 2021-11-01
JP7379609B2 (ja) 2023-11-14
KR102365946B1 (ko) 2022-02-23
EP3624045A1 (en) 2020-03-18
CN104584068B (zh) 2018-12-14
JP6833926B2 (ja) 2021-02-24
US10806325B2 (en) 2020-10-20
US20140051921A1 (en) 2014-02-20
US11889975B2 (en) 2024-02-06
JP2018042293A (ja) 2018-03-15
EP2885765A1 (en) 2015-06-24
EP2885765A4 (en) 2016-02-24
CN109348220B (zh) 2023-06-06
KR102252078B1 (ko) 2021-05-17
KR20150043324A (ko) 2015-04-22
KR20210133316A (ko) 2021-11-05
US20210007577A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US11889975B2 (en) Methods and systems for optimizing video streaming
US11818509B2 (en) Method for video processing using a buffer
CN109937574B (zh) 发送设备、发送方法和内容分发系统
CN109964487B (zh) 管理装置和管理方法
WO2019003954A1 (ja) 通信システムおよび送信装置
WO2019003955A1 (ja) 通信システムおよび制御装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant