JP7379609B2 - ビデオストリーミングのための方法及びシステム - Google Patents

ビデオストリーミングのための方法及びシステム Download PDF

Info

Publication number
JP7379609B2
JP7379609B2 JP2022119978A JP2022119978A JP7379609B2 JP 7379609 B2 JP7379609 B2 JP 7379609B2 JP 2022119978 A JP2022119978 A JP 2022119978A JP 2022119978 A JP2022119978 A JP 2022119978A JP 7379609 B2 JP7379609 B2 JP 7379609B2
Authority
JP
Japan
Prior art keywords
video
frame
expected
encoding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022119978A
Other languages
English (en)
Other versions
JP2022136244A (ja
Inventor
エドワード ミラー，ブライアン
チョウ，ジョーイ
ペイーアヴュラ，ゴヴィンダ
Original Assignee
インテュイティブ サージカル オペレーションズ， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテュイティブ サージカル オペレーションズ， インコーポレイテッド filed Critical インテュイティブ サージカル オペレーションズ， インコーポレイテッド
Publication of JP2022136244A publication Critical patent/JP2022136244A/ja
Application granted granted Critical
Publication of JP7379609B2 publication Critical patent/JP7379609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

（関連出願の参照）
この出願は２０１２年８月１５日に出願された米国仮特許出願大６１／６８３，４９３号の利益を主張し、その全文を参照としてここに援用する。
本開示はビデオデータを処理することに概ね向けられる。より具体的には、本開示の特徴は、遠隔部位で捕捉される、例えば、最小侵襲的外科処置中の遠隔手術部位で捕捉される、ビデオデータを処理する方法及びシステムに関する。
最小侵襲的手術技法は、一般的には、健康な組織に対する損傷を最小限化させながら、様々な外科処置を行うことを試みる。（例えば、手作業の或いは遠隔ロボット制御される最小侵襲的手術器具を含む）最小侵襲的手術器具を様々な手術において用い得る。それらは様々な構造を有し得る。多くのそのような器具は、患者内の遠隔手術部位に達するよう開口（例えば、体壁切開、自然開口部等）を通じて（例えば、腹腔鏡的に或いは胸腔鏡的に）挿入されるように構成される長いシャフトの遠位端に取り付けられる手術エンドエフェクタを含むが、それに限定されない。一部の器具では、関節作動する手首機構が器具のシャフトの遠位端に取り付けられて、エンドエフェクタを支持し、シャフトの長手軸に対するエンドエフェクタの向き（例えば、縦揺れ及び／又は偏揺れ）を変更する。
観血外科処置において従来的に行われる様々な外科処置のいずれかを含む様々な機能を行うように、そのような手術器具のエンドエフェクタを構成し得る。実施例は、密封(sealing)、切断(cutting)、焼灼(cauterizing)、切除(ablating)、縫合(suturing)、ステープリング(stapling)等を含むが、それらに限定されない。エンドエフェクタの動きを制御するために、力又はトルクを手術器具の近位端から器具シャフトを下ってエンドエフェクタに伝達し得る。
遠隔ロボット手術システムにおいて、外科医は外科医側コンソールで様々な入力装置（ここではマスタ入力と呼ぶことがある）を操作して、遠隔手術部位で１つ又はそれよりも多くの対応する遠隔制御される手術器具を制御する。外科医側コンソールでの入力は、遠隔制御手術器具とインターフェース接続される患者側カートに伝達され、患者側カートでは、患者に対する外科処置及び／又は他の処置を遠隔手術部位で行うために、手術器具の対応する遠隔制御／遠隔ロボット操作が起こる。
最小侵襲的外科処置を、例えば、遠隔ロボット制御される手術システム又は他の最小侵襲的手術器具を介して、遠隔に行うときには（例えば、従来的な手作業の腹腔鏡検査処置又は内視鏡検査処置）、内視鏡カメラを介して手術部位で捕捉されるイメージ（画像）を表示するために、ビデオディスプレイ（例えば、モニタ）を用い得る。ロボット手術システムでは、例えば、患者側カートに内視鏡カメラを取り付け、外科医側コンソールでの入力を介して内視鏡カメラを操作し得る。
手術部位で捕捉されるビデオイメージが、比較的規則性を伴って並びにビデオイメージ捕捉とビデオイメージ表示との間の最小の待ち時間(latency)で或いは待ち時間なしで（例えば、可能な限り高いフレームレートで）、ビデオディスプレイに到達するのが好ましくあり得る。しかしながら、ビデオディスプレイで比較的高い忠実度(fidelity)をもたらすことも好ましくあり得る。このようにして、ビデオ処理及びディスプレイシステムが手術部位の高い忠実度の不断の「実時間」ビデオを表示し、よって、手術部位の比較的鮮明で正確なビデオイメージを外科医に提供する。
手術部位で捕捉されるビデオイメージが比較的規則性を伴って最小の待ち時間でビデオシステムに到達しないならば、ビデオディスプレイは手術部位の実質的に不断の実時間ビデオを表示し得ない。例えば、手術部位で捕捉されるビデオイメージをビデオディスプレイに転送するためにデータネットワークに依存するとき、ビデオイメージの到達の規則性は、例えば、ネットワーク混雑及び／又はネットワークノード故障のような、データネットワークに概ね関連付けられる条件によって影響させられ得る。手術部位でのビデオイメージの捕捉とビデオディスプレイでのビデオイメージの表示との間の所定の待ち時間を維持することは、所定の待ち時間がデータ遅延（例えば、ネットワークに基づく遅延）の大部分又は全部を超過するならば、ネットワーク状況によって引き起こされる中断を減少させ或いは解消し得る。しかしながら、（例えば、手術用途におけるように）低い待ち時間又は待ち時間がないことが望ましい用途では、中断の大部分又は全部を減少させ或いは解消する程に十分に長い所定の待ち時間が、そのような用途のために望ましいと考えられる待ち時間を超過し得る。
更に、そのような移転がデータネットワークのような共用媒体を通じて起こるときに概ね当て嵌まるように、手術部位とディスプレイとの間のビデオイメージの転送が帯域幅で限定されるならば、ビデオイメージのビデオストリームを転送するための平均テータ転送速度を減少させるために、ビデオイメージは符号化／圧縮される必要があり得る。しかしながら、例えば、ビデオストリームを転送するためにデータの量を減少させる技術を用いる、（国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）、ムービング・ピクチャー・エクスパーツ・グループ・バージョン４（ＭＰＥＧ－４）アドバンスト・ビデオ・コーディング（ＡＶＣ）規格（又はＩＳＯ／ＩＥＣ ＭＰＥＧ－４ＡＶＣ規格）としても既知の）国際電気通信連合（ＩＴＵ）電気通信標準化部（ＩＴ－Ｔ）推奨／規格Ｈ．２６４のような、既知のビデオ符号化／符号化規格は、特定の状況の下では十分に高い忠実度のビデオイメージをもたらし得ない。例えば、（例えば、手術部位で起こっている大きな運動又は他の変化の故の）捕捉される連続的なビデオイメージにおける比較的大きな差のために、ビデオ符号化／復号化規格によって用いられるデータ整理技法(data reduction techniques)は比較的低い忠実度のイメージを生成し得る。連続的なビデオイメージの間の差が予想できないときには、これはより問題であり得る。
比較的低い待ち時間（実質的に実時間の表示が望まれる用途にとって有用である）並びに手術部位で捕捉され且つビデオディスプレイでの表示のために転送されるイメージの高い忠実度をもたらすビデオ処理システム及び方法を提供する必要が存在する。例えば、外科医側コンソールディスプレイでの低い待ち時間で手術部位の実質的に不断の高い忠実度のビデオイメージを提示する遠隔ロボット手術システムのような、最小侵襲的手術システムを提供する必要も存在する。
本開示は上述の問題のうちの１つ又はそれよりも多くを解決し且つ／或いは上述の所望の機能のうちの１つ又はそれよりも多くを実証する。他の機能及び／又は利点は以下の記載から明らかになり得る。
少なくとも１つの例示的な実施態様によれば、本開示は、外科処置を遂行する手術システムの状態の変化のような、処置を遂行するシステムの状態の変化と関連付けられる入力を受信することに応答して、ビデオエンコーダの符号化構成を調節することを含む、ビデオを処理するための方法を想起する。本方法は、調節される符号化構成に基づき、状態の変化の後に捕捉される外科処置のイメージデータを符号化することを更に含み得る。
少なくとも１つの他の例示的な実施態様によれば、本開示は、内視的なイメージキャプチャ装置と、イメージデータを符号化するためにビデオ符号化構成データを生成するビデオプロセッサとを含む、手術システムを想起する。ビデオプロセッサは、手術システムの状態の変化に関連付けられる入力を受信し、その入力に基づき調整されるビデオ符号化構成データを出力するように構成される。
追加的な目的及び利点は、部分的には以下の記載中に示され、部分的には記載から明らかであるか、或いは本開示及び／又は請求項の実施によって学習され得る。付属の請求項において具体的に指摘される要素及び組み合わせによって、これらの目的及び利点の少なくとも一部を実現し且つ取得し得る。
前述の一般的な記載及び後続の詳細な記載の両方は例示的且つ説明的であるに過ぎず、開示され或いは請求されるような本発明を限定しないことが理解されるべきである。請求項は均等物を含むそれらの全幅の範囲を得る資格がある。
以下の詳細な記載から単独で或いは添付の図面と共に本開示を理解し得る。図面は本開示の更なる理解をもたらすために含められ、この明細書に組み込まれ且つこの明細書の一部を構成する。この明細書に組み込まれ且つこの明細書の一部を構成する図面は、本開示の１つ又はそれよりも多くの実施態様を例示し、本記載と共に特定の原理及び動作を説明する働きをする。
本開示の少なくとも１つの例示的な実施態様に従ったロボット手術システムの例示的な実施態様を示す概略図である。
本開示の少なくとも１つの例示的な実施態様に従ったロボット手術システムのカメラアームの一部を示す斜視図である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオ符号化システムを示す機能的なブロック図である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオ処理技法の潜在的な動作を例示するために用いる表である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオ処理技法の潜在的な動作を例示するために用いる表である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオを処理するための方法を示すフロー図である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオを処理するための方法を示すフロー図である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオを処理するための方法を示すフロー図である。
本開示の少なくとも１つの例示的な実施態様に従ったビデオ処理システムを示す概略図である。
この記載及び添付の図面は例示的な実施態様を例示しており、限定的であると理解されるべきでなく、請求項が均等物を含む本開示の範囲を定める。この記載及び均等物を含む請求項の範囲を逸脱することなく、様々の機械的、組成的、構造的、電気的、及び動作的な変更を行い得る。一部の場合には、開示を曖昧にしないよう、周知の構造及び技法を詳細に示したり記載したりしない。２つ又はそれよりも多くの図面における同等の番号は、同じ又は類似の要素を表す。更に、１つの実施態様を参照して詳細に記載される要素及びそれらに関連付けられる特徴は、実際的であるときはいつでも、それらが特別に示したり記載したりしない他の実施態様に含められる。例えば、ある要素が１つの実施態様を参照して詳細に記載されているが、第２の実施態様を参照して記載されていないならば、それにも拘わらず、その要素は第２の実施態様に含められているものとして主張され得る。その上、ここにおける描写は例示的な目的のために過ぎず、システム又は電気外科器具の実際の形状、大きさ、又は寸法を必ずしも反映していない。
この明細書及び付属の請求項において用いられるとき、単数形の形態及び任意の用語の単数形の使用は、明示的に且つ明確に１つの支持物に限定されない限り、複数の支持物を含むこと付記される。ここにおいて用いられるとき、「含む」という用語及びその文法的変形は、あるリストにおける品目の列挙が列挙される品目と置換し得る或いは列挙される品目に追加し得る他の同等の品目を排除しないよう、非限定的であることが意図される。
様々な例示的な実施態様によれば、本開示は、ビデオデータが或る部位で捕捉されるビデオ用途のための実時間ビデオデータ、特に、例えば遠隔ロボット又は遠隔操作手術システムのような、最小侵襲的手術システムにおける使用のための実時間ビデオデータを処理する方法及びシステムを企図する。従って、様々な例示的な実施態様は、例えば、内視鏡カメラによって或る部位で捕捉されるビデオイメージ（ビデオ画像）の比較的不断で高い忠実度の「実時間」ビデオストリームをビデオディスプレイで提供する方法及びシステムに向けられている。例えば、様々な例示的な実施態様は、比較的不断のビデオ、例えば、毎秒１５フレームよりも多くのビデオをもたらすよう十分に高いイメージフレームレートと、例えば１．５秒未満のように実質的に瞬間的に現れるよう、対応するイメージが捕捉される時間からの十分に低い待ち時間とを有する、ビデオディスプレイを提供し得る。
様々な例示的な実施態様によれば、手術システムの全体的な使用に対応する様々な状態変化をモニタリング（監視）し得るし、視野内のイメージコンテンツデータに影響を及ぼし得るイメージキャプチャ装置の視野内の手術部位での起こり得る変化が予期されることの十分に早期の表示として、手術システムの全体的な使用に対応する様々な状態変化に依存し得る。手術システム内に起こる様々な動作命令又は他の状態変化をモニタリングすることによって、並びにそれらの動作命令／状態変化の手術部位に対する機能及びそれらの起こり得る影響の知識に依存することによって、様々な例示的な実施態様に従った処理方法及びシステムが、受動的な方法においてよりもむしろ能動的な方法において捕捉されるビデオイメージの符号化を最適化するよう、前もってエンコーダを設定し得る。
例示的な実施態様及び以下の記載は、例えば、ロボット手術システムを介するような、最小侵襲的外科処置を行うためのビデオイメージの実時間ビデオストリームの生成に主に焦点を置くが、例示的な実施態様の原理はそのように限定されず、例えば、実時間においてストリーミングされ且つ表示されることが意図される任意のビデオデータ並びに遠隔記憶装置場所からストリーミングされることが意図される非実時間ビデオデータ（例えば、以前に記録され且つ記憶されたデータ）のビデオ生成のような、他のビデオ処理用途においても提供され得る。様々な例示的な実施態様において、本開示は遠隔部位からのビデオイメージが捕捉される様々な場において用途を見出し得、視野内のイメージデータコンテンツに影響を及ぼす機能を行い得るシステムが状態を変更しているかもしれないことを前もって知ることが可能であり得、その場合には、例えば、物質及び／又は他の成分が視野から出ている或いは視野に入っていることを前もって知り得る。よって、そのような状態変化の結果として、イメージデータコンテンツ視野に対する影響を前もって予想し得るので、ビデオ符号化パラメータを受け身的というよりもむしろ先を見越して調節し得る。非外科用途の１つの非限定的な実施例は、例えば、石油及び／又はガス業界において、イメージを捕捉すること及び捕捉されるイメージをパイプ内に表示することを含み得、遠隔にモニタリングされる処置が起こっており、その場合には、用いられるイメージキャプチャ装置の視野及び結果として得られるイメージデータコンテンツに影響を及ぼす特定の作用が起こっていることを前もって知り得る。加えて、本開示は様々な他の用途において適用可能であり得、その場合には、ビデオストリーミングに影響を及ぼし得る通信ネットワークのネットワーク状態を予測することが可能であり得る。
更に、当業者は、本開示の様々な例示的な実施態様を、本開示の範囲から逸脱することなく、二次元及び三次元表示のためにフォーマットされるビデオイメージをストリーミングするためのビデオストリーム用途に適用可能であり得ることを理解するであろう。
図１を参照すると、ロボット手術システム１００の例示的な実施態様の概略図が描写されている。手術システム１００は、患者側カート１０５と、外科医コンソール１１０と、電子機器／制御装置コンソール１１５とを含む。図１中のシステム構成部品は、如何なる特定の位置付けにおいても示されておらず、患者に対して手術を実施するよう患者に対して患者側カート１０５を配置した状態で、図１中のシステム構成部品を所望に配置し得ることが付記される。システム１００のようなロボット手術システムの非限定的な例示的な実施態様は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって商品化されているda Vinci（Ｒ）（モデル番号IS3000）である。
ロボット手術システム１００は、様々な手術器具とインターフェース接続し且つそれらを制御することによって、最小侵襲的ロボット手術を行うために用いられる。患者側カート１０５は、様々な手術器具及び／又は関連工具を保持し、位置付け、且つ操作するための、様々なアーム（患者側マニピュレータと呼ぶことがある）を含む。図１に示されるように、患者側カート１０５のアーム１２０は、１つ又はそれよりも多くの遠隔制御される手術器具１２５とインターフェース接続し且つそれらを制御するように構成され、１つ又はそれよりも多くの遠隔制御される手術器具は、例えば、エンドエフェクタ（詳細には示されていない）を含み得る。手術部位でイメージを捕捉するために内視鏡カメラ１２６も患者側カート１０５に取り付け得る。
外科医コンソール１１０は、様々な入力装置による外科医からの入力を受信し、様々な入力装置は、１つ又はそれよりも多くのマスタグリップ入力機構１３０及びフットペダル１３５のグリップ入力レバー（図示せず）を含むが、それらに限定されない。外科医コンソール１１０は、マスタコントローラとしての機能を果たし、外科医コンソール１１０によって、患者側カート１０５にあるアーム１２０、手術器具１２５、及び内視鏡カメラ１２６は、任意の所望の動き実施し、相応して所望の外科処置を行う、スレーブとして作用する。しかしながら、手術システム１００は、外科医コンソール１１０で入力を受信することに限定されず、患者側カート１０５で手術器具の操作を正しく実現し得る如何なる装置でも入力を受信し得る。例えば、他の手術器具支持装置との組み合わせにおける外科医コンソール１１０を通じて、或いは使用者、例えば、外科医から受信される入力の結果として、完全に他の手術支持装置を通じて、患者側カート１０５にある手術器具を患者側カート１０５で操作し得る。
外科医コンソール１１０は、プロセッサを含む電子データ処理システムを更に含み得る。プロセッサは、外科医コンソール１１０からの或いは任意の他の手術器具支持装置からの入力を受信して処理し、そして、そのような入力に基づき患者側カート１０５での１つ又はそれよりも多くの手術器具の操作を制御するように構成され得る。しかしながら、そのような電子データ処理システムの要素を手術システム１００内の他の場所にも設け得る。
例えば、プロセッサ及び／又は他の機能的ユニット（例えば、電気外科エネルギ供給ユニット及び／又は他の外科フラックス供給ユニット）を含み得る補助的な電子機器／制御装置カート１１５が、患者側カート１０５及び外科医コンソール１１０から様々な制御信号を受信し、患者側カート１０５及び外科医コンソール１１０に送信する。電子機器／制御装置カート１１５は、例えば、外科医コンソール１１０にあるディスプレイ１４０及び／又は電子機器／制御装置カート１１５と関連付けられるディスプレイ１４５のようなディスプレイのために、光を送信して（例えば、患者側カート１０５にある内視鏡カメラ１２６からの）イメージを処理し得る。当業者は遠隔制御される手術システムのそのような電子機器／制御装置カートを概ね熟知している。
様々な例示的な実施態様において、患者側カート１０５は患者に近接して位置付けられ、例えば、外科医コンソール１１０から遠隔制御される、手術器具及び／又は内視鏡カメラは、例えば、マスタグリップ入力機構１３０の手持ち式グリップ入力レバー、フットペダル１３５、及び／又はカメラ制御機構（印が付されていない）のような、様々なマスタ入力装置を介して、外科医コンソール１１０から入力を受信する。例えば、遠隔制御される手術器具の組織密封及び／又は切断のような、特定の処置を行うために有用な、例えば、電気焼灼エネルギのような、フラックス(flux)を供給するよう命令信号をもたらすために、フットペダル１３５を用い得る。例えば、一部のエンドエフェクタの横揺れ、並進、縦揺れ／偏揺れ動作、及び把持／切断動作を含む、遠隔制御される手術器具の動作を制御するよう信号を送信するために、マスタグリップ入力機構１３０の手持ち式グリップ入力レバーを用い得る。
手術部位に対するカメラの位置／向き、カメラレンズのズーム、カメラレンズの集束等のような、手術部位のビデオイメージを捕捉し且つ処理することに関連する様々な特徴を制御するよう、アーム１２０の１つに埋設される内視鏡カメラマニピュレータ（「ＥＣＭ」）及び内視鏡カメラに信号を送信するために、１つ又はそれよりも多くのカメラ制御機構を用い得る。非限定的な実施例によって、フットペダル１３５のうちの１つ又はそれよりも多くをカメラ制御機構として割り当て得る。従って、割り当てられるフットペダル１３５を押すことは、カメラ制御モードに入るようにシステムを移行させ、カメラ制御モードでは、例えば、その移行、更なる入力（「カメラ追従」モード）に基づき及び／又は他の器具の動作（「器具追従」モード）に基づき、カメラを位置決め／方向付け或いはその他の方法で調節し得る。当業者は、患者側カートとインターフェース接続する手術器具及び内視鏡カメラの両方の動作に最終的に影響を及ぼすために外科医コンソールで外科医からの入力をもたらす、そのような遠隔操作されるロボット手術システムの使用を概ね熟知している。
図２は、本教示の例示的な実施態様に従ったアーム２００に取り付けられた例示的な内視鏡カメラ２０５を備えるカメラアーム２００の一部の側面図を例示している。例示的な実施態様において、カメラアーム２００は、設置部分２１０と、マニピュレータ部分ＥＣＭ２１５とを含む。ＥＣＭ２１５は、偏揺れ動作アクチュエータ２２０と、縦揺れ動作アクチュエータ２２５と、入力／出力動作（例えば、並進）アクチュエータ２３０とを含み、例えば、マスタ入力グリップ機構（例えば、マスタグリップ入力機構１３０）によって、それらの全てを制御し得る。内視鏡カメラ２０５はキャリッジ組立体２３５に取り付けられ、内視鏡カニューレ２４０がカメラカニューレ取付台２４５に取り付けられる。ＥＣＭ２１５は内視鏡カメラ２０５を遠隔運動中心２５０の周りで並びに遠隔運動中心２５０を通じて移動させる。例示的な実施態様に従ったカメラアームが、図２に例示されるものよりも多い又は少ない要素を含み得る。例えば、本教示に従ったカメラアームが、本教示の精神から逸脱することなく、より多くの又はより少ない図２に示される運動アクチュエータを含んでもよいし、或いは全く含まなくてもよい。更に、本教示はロボット手術システムに限定されず、従って、本教示に従った内視鏡カメラを図２に示されるようなカメラアームに取り付けなくてよく、その代わりに手作業で挿入され且つ操縦される器具であってもよい。
図１及び２を参照して記載されるようなロボット手術システムの操作において、外科処置は患者の体に１つ又はそれよりも多くの切開を作ることを含み得る。そのような切開をそのような切開内で用いられる一片の器具も意味し得る用語である「開口」と呼ぶこともある。一部の外科処置では、手術部位のためのアクセス及び撮像をもたらすために、幾つかの器具及び／又はカメラ開口を用い得る。
図３は、本開示に従ったビデオ処理システムの１つの例示的な実施態様の機能的なブロック図３００を例示している。ブロック３０５は、例えば、図２の内視鏡カメラ２０５のような、本開示に従ったビデオキャプチャ装置を表している。ビデオキャプチャ装置３０５は、例えば、手術部位の、視野のイメージコンテンツデータを捕捉する。ブロック３１０は、例えば、（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても既知である）ＩＴＵ－Ｔ推奨／規格Ｈ．２６４のような、ビデオキャプチャ装置３０５によって捕捉されるビデオイメージを符号化するためのビデオエンコーダを表している。
ブロック３１５は、視野のイメージコンテンツにおける変化、よって、ビデオキャプチャ装置３０５によって捕捉されるイメージにおける変化を引き起こし得る状況をモニタリングするための状態モニタを表している。例えば、視野内の物体の動き（例えば、手術器具動作を含む）、ビデオキャプチャ装置の動き、ビデオキャプチャ装置の構成（例えば、ズームイン／ズームアウト）、視野内の液体、気体、又は他の物質／材料の導入／除去のような、１つ又はそれよりも多くの条件によって、視野のイメージコンテンツにおける変化を引き起こし得る。様々な例示的な実施態様では、特定の状況に基づき並びに手術システムの全体的な制御と関連付けられる入力に依存することによって、視野のイメージコンテンツにおける変化を引き起こし得る特定の状態の検出とその特定の状態が引き起こし得る視野のイメージコンテンツにおける対応する変化及び／又は変化の強さとの間のタイミングを予想し且つ／或いは予測し得る。
ブロック３２０は、符号化されるビデオフレームを対応するネットワークを通じて目的地に送信し得るデータ転送速度に影響を及ぼし得るネットワーク状況をモニタリングするためのネットワークモニタを表している。ブロック３２５は、ビデオキャプチャ装置３０５の視野のイメージコンテンツ、よって、符号化されるビデオイメージの品質に影響を及ぼし得る状況（例えば、状態及び／又はネットワーク状況の変化）に基づきビデオエンコーダ３１０を構成するよう局所的に結合される所謂ビデオ品質向上（ＶＱＩ）プロセッサを表している。
例示的な実施態様によれば、ＶＱＩプロセッサ３２５は、状態モニタ３１５及び／又はネットワークモニタ３２０から情報を受信して、ビデオキャプチャ装置３０５によって捕捉されるビデオイメージ（即ち、視野のイメージコンテンツ）を符号化するビデオエンコーダ３１０のための最適な構成を決定する。具体的には、状態モニタ３１５及びネットワークモニタ３２０は、ビデオキャプチャ装置３０５によって捕捉される視野のイメージコンテンツに対する将来的な影響を有し得る変化に関して、ＶＱＩプロセッサ３２５に情報を提供する。ＶＱＩプロセッサ３２５はこの情報を用いて、将来的なビデオイメージの符号化と関連付けられる構成パラメータを更新し、例えば、捕捉されるビデオイメージの高い忠実度、「実時間」ディスプレイを維持するために、変化を予測してその将来的なビデオイメージをより良好に符号化する。
非限定的な実施例によって、遠隔制御される手術用途における物体の動きは、例えば、特定の機能（例えば、切断処置を行うための切断刃の活性化）を行うための手術要素の活性化のような、例えば、視野を形成する手術部位での１つ又はそれよりも多くの手術要素の動作を含み得る。撮像される手術部位での動きは、例えば、体部分の動き（例えば、鼓動する心臓、脈打つ静脈等）、例えば、焼灼組織からの煙、洗浄、吸引、血液と関連付けられる液体及び／又は気体の導入及び／又は除去、撮像を助ける蛍光染料又は他の物質の導入等も含み得る。これらの動作／作用は、以下に詳細に説明するように予測し得る、視野のイメージコンテンツにおける変化を引き起こし得る。よって、それらは、視野のイメージコンテンツに対する動作／作用の予測される影響を最小限化するよう、ＶＱＩプロセッサ３２５にビデオエンコーダ３１０を構成させ得る。
例えば、特定の遠隔制御される手術作業のために、特定の外科要素又は外科処置を作動させ且つ／或いは操作させ得る前に、外科医は１つ又はそれよりも多くの入力命令を提供することを必要とし得る。例えば、切断処置のために、図１のアーム１２０のうちの１つのような、ロボットアームで埋設される外科器具１２５のエンドエフェクタでの切断刃の活性化を含み得る処置を行う準備が出来ていることを示すために、外科医側コンソールでの命令によって生成される第１の入力信号を必要とし得る。図１のフットペダル１３５のうちの１つのようなフットペダルを押すことによって、第１の入力信号を引き起こし得る。第１の入力信号に応答して、切断要素の状態を「装備状態」(“armed state”)に移行させるように、電子機器／制御装置１１５のような電子機器／制御装置カートを構成し得る。「装備状態」になるや否や、切断要素の状態を動作状態に移行させる（例えば、切断要素の作動を引き起こす）前に、例えば、フットペダルの第２の押圧によって引き起こされ得る、第２の入力信号を待つように、電子機器／制御装置コンソールを構成し得る。
他の実施例では、外科医がカメラを取り付けるアームを能動的に制御し、それによって、例えば、マスタグリップ入力機構１３５のうちの１つを用いて、外科医がカメラを移動させるよう制御する場所にカメラを移動させ得るよう、ＥＣＭを「追従中」(“in-following”)状態に配置する、外科医側コンソールでの入力命令を提供し得る。（例えば、「追従中」でないカメラと比較され、静止構成記録イメージ中に単に配置される）やがて起こるより大きなカメラ動作、よって、撮像される視野のイメージコンテンツにおける比較的動的で且つ大きい変化を示す状態変化が将来において起こり得るので、そのような命令をモニタリングし得る。更に、特定の状態変化又は状態変化の組み合わせの知識は、視野の目下のイメージコンテンツに対する変化の程度をもたらし得る。視野のイメージコンテンツにおけるやがて起こる変化に関する上記の情報に基づき、ＶＱＩプロセッサ３２５は、視野のイメージコンテンツにおけるやがて起こる変化の予測される影響を最小限化するよう、ビデオエンコーダ３１０を構成し得る。
上記の実施例は例示的であるに過ぎず、当業者は撮像されるイメージに対する並びに視野内のイメージコンテンツに対する予期される影響と関連付けられるよう前もって知り且つモニタリングし得る手術システムの数多くの他の動作命令を理解するであろう。結果として得られる予期される機能性又は捕捉される視野内のイメージコンテンツの変化をもたらすことが予期されるシステム動作を伴う実質的に如何なるモニタリングされる状態変化にも本開示の範囲を適用し得る。
よって、先行する実施例を例示として用いるならば、本開示の例示的な実施態様において、ブロック３１５は、様々な入力（例えば、フットペダル１３５の１つ又はそれよりも多くの押圧）をモニタリングすることによって、ロボット手術システムの状態をモニタリングすることができ、そして、切断要素の状態をＶＱＩプロセッサ３２５に提供することができ、ＶＱＩプロセッサ３２５は、図４に関して以下に更に説明するように、この情報を用いて、将来的なビデオイメージの符号化と関連付けられる構成パラメータを更新し、例えば、将来的なビデオイメージをより良好に符号化して、切断要素の作動によって引き起こされ得る視野のイメージコンテンツにおける変化を予測して捕捉されるビデオイメージの高い忠実度の「実時間」表示を維持することができる。
上記のブロック３０５、３１０、３２０、及び３２５は、ブロック３３０内で具現されるように図３に例示されており、例示的な実施態様では、ブロック３３０を、例えば、図１の患者側カート１０５及び／又は電子機器／制御装置１１５のような、遠隔制御される外科処置を行うための患者側カート及び／又は電子機器／制御装置コンソールにおいて具現し得る。ブロック３３０内に具現されるように図３に描写される構成部品は通信リンク３４０を通じて通信ネットワーク３３５に論理的に結合され、よって、ブロック３３０内に例示される機能ブロックの少なくとも一部を通信ネットワーク３３５に論理的に結合させてよく、よって、通信ネットワーク３３５を通じてブロック３３０の外部にある要素からデータを受信し且つ／或いはそれられにデータを提供してよい。
上記のブロック３０５、３１０、３１５、３２０、及び３２５は、ブロック３３０内で具現されるように図３に例示されているが、本開示の例示的な実施態様はそのように限定されず、当業者は本開示の範囲から逸脱せずにこれらのブロックの１つ又はそれよりも多くを互いに別個に並びに／或いは患者側カート及び／又は電子機器／制御装置コンソールと別個に具現し得ることを理解するであろう。当業者は、これらの機能的ブロックのうちの１つ又は１つの装置内で起こるものとして記載される機能を、本開示の範囲から逸脱せずに、分散的な方法において多数の機能ブロック及び／又は多数の装置によって行い得ることを理解するであろう。更に、当業者は、例示的な実施態様が、例えば、簡潔性の故にここでは省略されている、符号化されるビデオイメージを送信し且つ制御情報を受信するための通信インターフェースのような、追加的な機能ブロックを含み得ることも理解するであろう。
通信ネットワーク３３５は、機能ブロック３４５に論理的に結合され、例示的な実施態様では、機能ブロック３４５を、通信リンク３５０を通じて、例えば、図１の外科医コンソール１１０のような、外科医コンソール内で具現に得る。外科医コンソール３４５は、ブロック３５５を含むように例示されており、ブロック３５５は、遠隔制御される手術を行うために外科医コンソール３４５で操作可能な入力装置を表している。外科医コンソール３４５は、ブロック３６０も含み、ブロック３６０は、ビデオキャプチャ装置３０５によって捕捉されるイメージから最終的に受信される手術部位のビデオイメージを表示するための、図１の外科医コンソール１１０のディスプレイ１４０のような、ディスプレイを表している。外科医コンソール３４５は、簡潔性のために示されていない追加的な機能ブロックも含み得る。例えば、外科医コンソール３４５は、その全文を参照としてここに援用する、両方ともMETHOD AND SYSTEM FOR VIDEO PROCESSINGという名称の、２０１２年５月１４日に出願された米国仮特許出願第６１／６４６，５９７号及び２０１３年５月１０日に出願された米国特許出願第１３／８９１，８３８号に記載されているような、患者側カート３３０から受信される符号化されたビデオイメージを復号化するための機能ブロックと、復号化されるビデオイメージを記憶するための機能ブロックと、復号化されるイメージをディスプレイ３６０に提供するための機能ブロックとを含み得る。ここでは、簡潔性のために、そのような機能ブロックを省略した。
従って、例えば、ビデオエンコーダ３１０によって符号化される符号化イメージ及び手術入力装置３５５からの手術制御信号を含む、患者側カート及び電子機器／制御装置コンソール３３０及び外科医コンソール３４５の間のデータ通信を、通信リンク３４０及び３５０並びに通信ネットワーク３３５を含む通信経路を通じて実現し得る。
本開示の様々な例示的な実施態様において、通信リンク３２５及び３３５は、有線リンク、無線リンク、又はそれらの組み合わせを含み得る。有線リンクは、輸送媒体として金属、ガラス、空気、空間、又は何らかの他の材料を含み得、そこにおける通信を、例えば、インターネットプロトコル（ＩＰ）、イーサネット、若しくは当業者が熟知している何らかの他の通信フォーマット、又はそれらの組み合わせのような、通信プロトコルを通じて実現し得る。通信ネットワーク３３５は、ルータ、コンピュータシステム、又は多数のデバイスを論理的に相互接続し得る任意の他の要素を含み得る。通信ネットワーク３３５を、構内ネットワーク（ＬＡＮ）、イントラネット、広域ネットワーク（ＷＡＮ）、キャリアネットワーク、インターネット、若しくは何らかの他の種類の通信ネットワーク、又はそれらの組み合わせとして具現し得る。よって、本開示の範囲から逸脱せずに、患者側カート及び／又は電子機器／制御装置コンソール３３０を外科医コンソール３４５に近接して或いはそこから数百マイルに配置し得る。
ビデオキャプチャ装置３０５は、ビデオイメージを捕捉し且つそのようなビデオイメージをビデオエンコーダ３１０に提供するための回路構成及び他の構成部品を含み得る。ビデオエンコーダ３１０は、ビデオキャプチャ装置３０５から受信されるビデオイメージを符号化するための並びに符号化されるビデオイメージを通信ネットワーク３２０を通じてディスプレイ３６０に送信するための回路構成及び他の構成部品を含み得る。例えば、ビデオキャプチャ装置３０５は、図２の内視鏡カメラ２０５のような内視鏡カメラを含み得るが、それに限定されない。内視鏡カメラ２０５は、例えば、デジタルイメージセンサ（例えば、ＣＣＤ又はＣＭＯＳ）、実時間磁気共鳴映像法（ＭＲＩ）キャプチャシステム（図示せず）、超音波キャプチャシステム（図示せず）、又は実時間イメージを遠隔場所に提供し得る任意の他の種類の実時間撮像キャプチャ技術を含む、当業者に既知の様々なイメージキャプチャシステムを利用し得るが、それらに限定されない。
図３に例示される例示的な実施態様のような、本開示の様々な例示的な実施態様において、ビデオキャプチャ装置３０５は、手術部位のビデオイメージを捕捉し、ビデオイメージをビデオエンコーダ３１０に提供する。ビデオエンコーダ３１０は、ＶＱＩプロセッサ３２５によって設定される構成に基づき、受信されるビデオイメージを符号化し、ＶＱＩプロセッサ３２５は、前述のように、視野状態モニタ３１５及びネットワークモニタ３２０の少なくとも一方から受信される情報に基づき、そのような構成を設定する。符号化されるイメージは、ディスプレイ３６０での表示のために通信ネットワーク３３５を通じて送信される。それらがほぼ捕捉されるときに（例えば、実時間において）、ディスプレイ３６０を外科医コンソール３４５に配置し得るし、或いは外科医コンソール３４５から分離し得る。そのような場合には、例えば、通信ネットワーク３３５のネットワーク状況によって引き起こされる、通信遅延の如何なる否定的な影響をも最小限化すると同時に、ビデオキャプチャ装置３０５でのビデオイメージの捕捉とディスプレイ３６０でのビデオイメージの表示との間の低い待ち時間を維持することが望ましい。捕捉されるものに対する高い忠実度をイメージに提供することも望ましく、イメージが最小のジッター又は他のノイズの現れを伴って比較的滑らかで連続的な方法においてディスプレイ３６０で現れることも望ましい。
図４は、例えば、本開示の様々な例示的な実施態様に従った、図３のＶＱＩプロセッサ３２５のような、ＶＱＩプロセッサによって遂行されるＶＱＩアルゴリズムの潜在的な動作を例示するために用いられる表である。具体的には、図４は、例えば、図３の状態モニタ３１５によってモニタリングされるような、視野のイメージコンテンツに影響を及ぼすことが予期される状態変化に基づき、例えば、図３のビデオエンコーダ３１０のような、エンコーダの構成を例示している。様々の例示的な実施態様の動作の原理を例示するために、図４は一定の帯域幅（即ち、一定のネットワーク状態）に基づいている。
列Ａは、図３のネットワークモニタ３２０のようなネットワークモニタから、符号化されるビデオイメージを、例えば、ビデオエンコーダ３１０から図３のディスプレイ３６０に送信するために本開示の例示的な実施態様に割り当てられる、予想される最大帯域幅のＶＱＩプロセッサへの入力を提供する。上述のように、視野のイメージコンテンツに影響を及ぼす状態変化に基づくエンコーダの構成に関係する図４の記載の目的のために、列Ａは行１－５に沿って一定である（例えば、例示的な実施例において毎秒１メガバイト（Ｍｂｐｓ））。
本開示の様々な実施態様では、Ｈ．２６４ビデオ圧縮規格に従ってビデオエンコーダ３１０によってビデオイメージを符号化し得る。Ｈ．２６４では、当業者に周知であるように、Ｈ．２６４エンコーダは、予測、変換、及び符号化プロセスを実行し、圧縮されたＨ．２６４ビットストリームの符号化されたビデオイメージを生成する。具体的には、Ｈ．２６４エンコーダは、異なる種類のフレームを生成し、一部のフレーム（いわゆるイントラコード化フレーム(intra-coded frames)又はｉ－フレーム(i-frames)）は、関連するイメージを再現するのに必要な情報を含むのに対し、他のフレーム（いわゆる予測フレーム(predicted frames)又はｐ－フレーム(p-frames)或いは双方向予測フレーム(bi-predictive frames)又はb-フレーム(b-frames)）は、あるフレームと１つ又はそれよりも多くの連続的なフレームとの間の変化のみを含む。簡潔性のために、Ｈ．２６４エンコーダはｉ－フレーム及びｐ－フレームのみを生成すると仮定するが、当業者は本開示がそのように限定されず、本開示に従ったＨ．２６４エンコーダがｂ－フレームも生成し得ることを理解するであろう。
当業者が同様に熟知しているように、ｉ－フレーム及びｐ－フレームが（秒当たりのフレーム（ｆｐｓ）において）生成される速度、データがどのように生成されるか（秒当たりのビット（ｂｐｓ））、及び総ｆｐｓ（即ち、秒当たりに生成される全てのフレームの合計）を変更するように、Ｈ．２６４エンコーダを構成し得る。Ｈ．２６４ビデオエンコーダは、Ｈ．２６４ビットストリームを復号化し、逆変換し、且つ再構築する相補的なプロセスを実行し、表示されるビデオイメージを生成する。
上述のように、図４は、ＶＱＩアルゴリズムの動作を記載する表である。列Ｂ及びＣは、上記Ｈ．２６４ビデオ圧縮規格に従ってビデオイメージを符号化し且つ符号化されたビデオイメージを送信する生成し得る、ｉ－フレーム及びｐ－フレームの例示的な大きさをそれぞれ提供している。しかしながら、当業者は、本開示に従った様々な例示的な実施態様が他の符号化／復号化アルゴリズムに依存し得ること、或いはＨ．２６４規格の異なる実施に依存し得ることを認識するであろう（例えば、Ｈ２６４規格及び本開示はｉ－フレーム及びｐ－フレームだけを生成することに限定されず、本開示の例示的な実施態様はｂ－フレームも生成し得る）。
加えて、簡潔性のために、一般的には図４の記載において、具体的には列Ｂ及びＣにおいて、全てのｉ－フレームは同じ大きさであり且つ全てのｐフレームは同じ大きさであると仮定されている。しかしながら、当業者は、これらのフレームの大きさが、例えば、図３のビデオキャプチャ装置３０５のような、対応するビデオキャプチャ装置によって捕捉されるビデオイメージの特性及び連続的なビデオイメージの量に依存して、異なり得ることを理解するであろう。表４ではｐ－フレームがｉ－フレームの半分の大きさであることも仮定されている。しかしながら、当業者は、本開示の範囲から逸脱せずに、符号化構成のｉ－フレーム対ｐ－フレーム比が実施毎に異なり得ること及び単一の実施内でさえも異なり得ることも理解するであろう。
列Ｄは、状態モニタの視野から対応するビデオキャプチャ装置（ＶＣＤ）の視野のイメージコンテンツにおける変化の予測される程度のＶＱＩプロセッサへの入力を提供する。列Ｄにおいて、レベル１は、ＶＣＤの視野のイメージコンテンツにおける小さな変化の予測を示し、レベル９は、ＶＣＤの視野のイメージコンテンツにおける大きな変化の予測を示している。
例えば、図３の状態モニタ３１５によって、視野のイメージコンテンツにおける変化の予測される程度をＶＱＩプロセッサに提供し得る。そして、視野のイメージコンテンツにおける変化の予測される程度は、例えば、図３の入力装置３４５のような、外科医コンソールでの使用者／外科医からの１つ又はそれよりも多くの入力に基づき得る。図３のＶＣＤ３０５の視野のイメージコンテンツにおける変化を引き起こし得る動作を要求する入力装置３４５での入力を受信した後、状態モニタ３１５は、受信した入力が引き起こし得る変化の程度を予想し得る。視野のイメージコンテンツにおける変化の程度は、視野のイメージコンテンツを変化させ得る１つ又は多数の事象に基づき得る。そのような事象は、本開示の範囲から逸脱することなく、ＶＣＤの構成（例えば、ズームイン／ズームアウト及びカメラを「追従中」に配置すること）、ＶＣＤの視野内での１つ又はそれよりも多くの手術器具（例えば、エンドエフェクタ）の作動、手術部位への液体、気体、又は他の物質／材料の導入／除去、及び物体（例えば、体部分及び／又は手術装置）の動作を含み得るが、それらに限定されない。
本開示の様々な例示的な実施態様によれば、ＶＱＩプロセッサは、ＶＣＤ３０５の視野のイメージコンテンツにおける予想される変化に基づき、捕捉されるビデオイメージの符号化を動的に構成し得る。視野のイメージコンテンツにおける変化を予測することは、横たわるシステム内の１つ又はそれよりも多くの入力が視野のイメージコンテンツに対して有することが予想される影響の知識に鑑みて、様々な例示的な実施態様において可能にされる。
例えば、ロボット制御される手術の脈絡において、図３の外科医コンソール３４５のような、遠隔の外科医コンソールからの入力を、そのような入力が視野のイメージコンテンツにおける変化を引き起こす前に、図３の状態モニタ３１５によって検出し得る。具体的には、図３に関して上で説明したように、特定の遠隔制御される外科手術のために、特定の手術要素を活性化させ且つ／或いは移動させ得る前に、複数の入力命令を提供することを外科医に要求してよく、それは予想されるべき特定の手術要素の動作によって生成される視野のイメージコンテンツにおける変化を可能にする。外科医がマスタグリップ入力のうちの１つのマスタグリップ入力の動作に従うようカメラを作動させ得る「追従中」モードにおいて作動するように、或いは他の例示的な実施態様では、例えば、切断手術要素及び／又は把持手術要素のような、特定の手術器具の動作に自動的に「従う」ように、図１の内視鏡カメラのようなＶＣＤを構成し得る。
特定の手術器具及び／又はカメラが外科医コンソールで積極的に制御され且つ／或いは外科医コンソールでの入力に基づき自動的に制御されるとき、システムは、図３に関して説明したように、予想し得る視野のイメージコンテンツに影響を及ぼす動作及び／又は他の機能を前もって知り得る。加えて、特定の手術要素、それらの動作及び／又は機能、並びに視野のイメージコンテンツに対するそれらの対応する影響についての知識に依存して、視野に対する同じことの可変の影響を予測し得る。例えば、手術器具のジョー付きエンドエフェクタの把持動作が、例えば、視野内の液体、気体、又は他の物質／材料の導入及び／又は除去よりも少なく（例えば、より遅い速度で）視野のイメージコンテンツを変更させ得る。同様に、例えば、視野を体内の１つの場所から他の場所に移動させるために、内視鏡カメラが追従中である間に、そのような把持動作は、内視鏡カメラの動作よりも少ない視野のイメージコンテンツに対する変化を有し得る。
視野のイメージコンテンツに対する予想される影響を引き起こすそのような状態の変化に関する状態モニタ３１５からの情報の受信後、ＶＱＩプロセッサ３２５は、視野のイメージコンテンツにおける予想される変化が起こる前に、視野のイメージコンテンツのイメージの高い忠実度の符号化フレームを生成するように、ビデオエンコーダ３１０を構成し得る。例えば、ＶＱＩプロセッサ３２５は、捕捉されるビデオイメージの符号化品質を改良するためにｉ－フレームレートを増大させるように、ビデオエンコーダ３１０を構成し得る。符号化品質におけるこの先買の増大は、さもなければ視野のイメージコンテンツにおける予想される変化が引き起こす品質の減少を未然に防ぎ得る。しかしながら、前述のように、ｉ－フレームレートにおける増大は、ネットワークを通じて符号化ビデオイメージを送信するビットレートを自動的に増大させる。様々な例示的な実施態様において割り当てられる帯域幅は限定的であるので、利用可能な帯域幅に基づき、標的ビットレートが維持されなければならない。よって、ｉ－フレームレートの増大を補償するために、ビデオ送信の総フレームレート（フレーム／秒）は減少させられなければならない。そのような状況の下で、様々な例示的な実施態様によれば、ｉ－フレームレートの増大を補償するためには、ｐ－フレームレートを減少させなければならない。低すぎるｐｆｓは待ち時間を増大させ、よって、適用の実時間性を妥協するので、ｆｐｓにおける減少も限定的であることに留意のこと。
列Ｅ及びＦは、本開示の様々な例示的な実施態様に従ったＶＣＤの視野のイメージコンテンツにおける予想される変化の程度に基づくｉ－フレーム対ｐ－フレーム比を提供している。
簡潔性のために、ｉ－フレーム対ｐ－フレーム比を例示するために１０の一群のピクチャ（ＧＯＰ）を選択した（ＧＯＰは１つのｉ－フレームに依存することによって幾つのピクチャ／イメージを提供し得るかを概ね示す）。しかしながら、本開示の様々な例示的な実施態様はそのように限定されず、異なるＧＯＰに依存し得る。
例示されているように、予想されるＶＣＤの視野のイメージコンテンツにおける小さい程度の変化があるならば、ｉ－フレーム対ｐ－フレーム比はその最小（１／９）である。何故ならば、捕捉されるビデオイメージの高忠実度の実時間の再生をもたらすために、より少ないｉ－フレームが必要であり得るからである。他方、ＶＣＤの視野のイメージコンテンツにおける大きい程度の変化が予想されるならば、ｉ－フレーム対ｐ－フレーム比はその最大（９／１）である。何故ならば、捕捉されるビデオイメージの高い忠実度の実時間の再生をもたらすために、より多くのｉ－フレームが必要であり得るからである。
しかしながら、前述のように、利用可能な限定的な帯域幅の故に、ｉ－フレーム対ｐ－フレーム比における増大は、提供し得るフレームの総数における減少を必要とし、それは待ち時間を増大させ且つ適用の実時間性を妥協させ得る。例えば、図４は、行１に例示されるような比較的低いｉ－フレーム対ｐ－フレーム比で、９ｆｐｓのｉ－フレームレート及び８１ｆｐｓのｐ－フレームレートを実現し得、それは合計で９０ｆｐｓをもたらすと同時に、１Ｍｂｐｓの最大帯域幅より下の使用される帯域幅を維持する（使用される帯域幅が０．９９Ｍｂｐｓになる列Ｊを参照）。他方、表の列５において例示されるように、ＶＣＤの視野のイメージコンテンツにおける有意な程度の変化が予想されるならば、高い忠実度を維持するために、４５ｆｐｓのｉ－フレームレート及び５ｆｐｓのみのｐ－フレームレートを必要とし得る。しかしながら、そのような構成は、使用される帯域幅を１Ｍｂｐｓの最大帯域幅より下に維持するために、５０ｆｐｓを生成する（使用される帯域幅が０．９５Ｍｂｐｓになる列Ｊを参照）。
図４に関する上記の数／値は例示的且つ非限定的な開示であり、当業者は本開示の例示的な実施態様がここに例示されていない他の数／値を支持し得ることを理解する。例えば、最小侵襲的外科処置のために、１５ｆｐｓのレートは十分な忠実度をもたらし得るのに対し、２０～３０ｆｐｓのレート又はそれよりも高いレートは最適な忠実度をもたらし得る。しかしながら、他の用途のためには、本開示の範囲から逸脱せずに、最小侵襲的外科処置のための上記以外の異なるｆｐｓレートが望ましくあり得る。
従って、本開示の様々な例示的な実施態様によれば、ＶＣＤの視野のイメージコンテンツに影響を及ぼすことを予想し得る状況がモニタリングされ、エンコーダはビデオキャプチャ装置によって捕捉されるビデオイメージを相応して符号化するように構成される。具体的には、視野のイメージコンテンツにおける変化が起こる前のシステム全体における状態のモニタリングされ且つ検出される変化の故に、視野のイメージコンテンツにおける予想される変化を予測してＶＣＤによって捕捉されるビデオイメージを符号化するように、エンコーダを構成し得る。よって、そのような事象が起こる前に忠実度を下げる事象を予測して高忠実度の符号化を達成し得、それはビデオエンコーダを受け身的に（即ち、忠実度を減少させる事象が起こった後に）構成することに概ね関連付けられる低い忠実度のイメージ期間を未然に防ぎ得る。
図５は、本開示の様々の例示的な実施態様に従った、例えば、図３のＶＱＩプロセッサ３２５のような、ＶＱＩプロセッサによって遂行されるＶＱＩアルゴリズムの潜在的な動作を例示するために用いられる表である。具体的には、図５は、例えば、図３のネットワークモニタ３２０によってモニタリングされるような、視野内で捕捉され且つディスプレイに送信されるイメージコンテンツに影響を及ぼすことが予想されるネットワーク状況における変化に基づく、例えば、図３のビデオエンコーダ３１０のような、エンコーダの構成を例示している。図５は、本開示の様々な例示的な実施態様に従った、視野の一定なイメージコンテンツ（この場合、図３のＶＣＤ３０５のような、対応するＶＣＤの視野のイメージコンテンツにおける小さな変化）に基づく。
列Ａは、例えば、ビデオエンコーダ３１０から図３のディスプレイ３６０に、符号化されたビデオイメージを送信するための、ネットワークモニタから本開示の例示的な実施態様に割り当てられる予想される最大帯域幅のＶＱＩプロセッサへの入力を提供する。しかしながら、列Ａが一定なままである図４に示される例示的な条件と対照的に、図５は、通信ネットワーク３５５に亘って可変の帯域幅をもたらす、可変のネットワーク状況の下のＶＱＩアルゴリズムの動きを例示している。
図４におけるように、列Ｂ及びＣは、ビデオイメージを符号化し且つ符号化されたビデオイメージを、例えば、Ｈ．２６４ビデオ圧縮規格に従って送信するよう生成し得る、ｉ－フレーム及びｐ－フレームの例示的なサイズ（大きさ）をそれぞれ提供している。従って、これらの列はここでは記載されない。
列Ｄに関して、図４におけるように、それは対応するＶＣＤの視野のイメージコンテンツにおける予想される変化の程度の視野状態モニタからの入力を提供する。しかしながら、上述のように、図５は可変のネットワーク状況の下のＶＱＩアルゴリズムの例示的な動作を例示している。従って、他の状態変化と無関係に可変のネットワーク状況の影響を具体的に例示するために、図５において、列Ｄは行１～５を通じて一定なままである。
当業者は、図５が状態モニタ３１５から来る可変の状態状況を例示し、ＶＣＤ変化の程度は、様々な例示的な実施態様が、例えば、ネットワーク３２０によってモニタリングされるような、ネットワーク状況における変動に適合するよう、どのようにＶＱＩアルゴリズムを実施するかの理解をもたらす、簡潔性のための例示的なモニタリングされる状態状況であることを理解するであろう。
列Ｅ及びＦは、ＶＣＤの視野のイメージコンテンツにおける予想される変化の程度に基づくｉ－フレーム対ｐ－フレーム比を提供する。上述のように、図５は、ＶＣＤの視野のイメージコンテンツに影響を及ぼす状態変化の代わりに、（例えば、手術要素の動作のような）可変のネットワーク状況の下のＶＱＩアルゴリズムの動作に向けられるので、列Ｄは行１～５に沿って一定なままである。従って、列Ｅ及びＦは列Ｄに示される値に依存するので、列Ｅ及びＦも列１～５を通じて一定なままである。
図５の列Ｇ、Ｈ、及びＩは、本開示の様々な例示的な実施態様に従ったエンコーダの構成を例示している。ネットワークの予想される最大帯域幅が減少すると、本開示に従ったＶＱＩプロセッサの例示的な実施態様が、列Ｇ及びＨに示されるように、ｉ－フレーム対ｐ－フレーム比を調節して、所望のｉ－フレーム対ｐ－フレーム比を維持する。結果的に、列Ｉに示されるように、総フレームレートは減少する。例えば、図５は、表の行１に例示されるように、予想される最大レートが１Ｍｂｐｓであるとき、９毎秒フレーム（ｆｐｓ）のｉ－フレームレート及び８１ｆｐｓのｐ－フレームレートを実現し得、それは合計で９０ｆｐｓを生成しながら、使用される帯域幅を最大帯域幅の１Ｍｂｐｓよりも下に維持することを例示している（使用される帯域幅が０．０９９Ｍｂｐｓになる列Ｊを参照）。例えば、表の行５に例示されるように、予想される最大帯域幅が減少すると、ｉ－フレームレート及びｐ－フレームレートの両方が減少させられ、よって、総ｆｐｓは４０ｆｐｓまで減少させられて、使用される帯域幅を０．５Ｍｂｐｓの最大帯域幅より下に維持する（使用される帯域幅が０．４４Ｍｂｐｓになる列Ｊを参照）。
従って、本開示の様々な例示的な実施態様によれば、符号化されるビデオイメージを送信するのに利用可能な最大帯域幅に影響を及ぼすことを予想し得る１つ又はそれよりも多くの状況がモニタリングされ、エンコーダはそれらの状況に基づきビデオキャプチャ装置によって捕捉されるビデオイメージを符号化するように構成される。具体的には、利用可能な最大帯域幅における変化が起こる前に利用可能な最大帯域幅における予想される変化を予測してビデオキャプチャ装置によって捕捉されるビデオイメージを符号化するように、エンコーダを構成し得る。よって、忠実度を下げるネットワーク状況事象が起こる前から、そのような事象を予測して、高い忠実度の「実時間」符号化を達成し得る。それはビデオエンコーダを受け身的に（即ち、忠実度を下げる事象が起こった後に）構成することに概ね関連付けられる低い忠実度のイメージ期間を未然に防ぎ得る。
図４及び５に示され且つそれらのそれぞれの記載において用いられる数／値は、本開示の例示的な実施態様の動作の特定の原理の理解を助けるために選択されたに過ぎない予言的な実施例である。当業者はこれらの数／値が限定的でなく、本開示の例示的な実施態様がここに例示されていない他の数／値を支持し得ることを理解しよう。
図４はＶＣＤの視野のイメージコンテンツに対する予想される変化の観点における本開示の様々な実施態様に従ったＶＱＩアルゴリズムを例示し、図５は符号化されるビデオイメージを送信するために利用可能な予測される帯域幅に対する予想される変化の観点における本開示の様々な実施態様に従ったＶＱＩアルゴリズムを例示しているが、本開示はそのように限定されない。当業者は、本開示の範囲から逸脱せずに、ＶＱＩアルゴリズムが視野のイメージコンテンツ及び対応する捕捉イメージ並びにネットワーク状況（例えば、帯域幅）変化の組み合わせに基づきビデオイメージの符号化を構成し得ることを理解するであろう。
図６は、本開示の少なくとも１つの例示的な実施態様に従ってビデオを処理するための方法を描写しているフロー図である。ステップ６０５で、本方法は、例えば、図３のビデオキャプチャ装置３０５のような、ビデオキャプチャ装置によって捕捉される、例えば、手術部位のビデオイメージを受信することを含む。ステップ６１０で、本方法は、ビデオキャプチャ装置の視野のイメージコンテンツに影響を及ぼし得る状態の変化の表示を受信することを含む。図３及び図４に関して上記で詳細に説明したように、例えば、手術要素の動作、ビデオキャプチャ装置の動作、ビデオキャプチャ装置の構成（例えば、ズームイン／ズームアウト）、及び／又は手術部位での液体、気体、又は他の物質／材料の適用／除去のような、１つ又はそれよりも多くのシステム状況によって、視野のイメージコンテンツに影響を及ぼし得る状態の変化を引き起こし得るし、特定の状況に基づき視野のイメージコンテンツにおける変化の程度を予想し得る。更に、上述のように、外科医側コンソールで受信される様々な入力命令及び／又は外科医コンソールで提供される動作状態における変化若しくは入力命令に続いて起こる自動的機能によって、システム状況を変更し得る。
ステップ６１５で、本方法は、ステップ６１０で受信される表示によって表示される視野のイメージコンテンツにおける状態の変化の予測される影響に基づき捕捉されるビデオイメージを符号化するために、符号化構成を選択的に調節することを含む。符号化構成における変化は、符号化されるべき将来的なイメージのうちの少なくとも１つのイメージの解像度を調節すること、又は符号化されるビデオイメージを生成するために／例えば図３のディスプレイ３６０のような受信システムに送信するためにイメージフレーム生成レート／送信レートを調節することを含み得る。ステップ６２０で、本方法は、調節される符号化構成に基づき捕捉されるビデオイメージを符号化することを含む。
よって、本開示の様々な例示的な実施態様によれば、例えば、ＶＱＩを介して、ビデオキャプチャ装置の視野に対するモニタリングされる条件の予測される影響に基づきビデオイメージを符号化するように、ビデオイメージエンコーダを構成し得る。よって、忠実度を下げる事象が起こる前に忠実度を下げる事象を予測して高忠実度の符号化を達成することができ、それはビデオエンコーダを受け身的に（即ち、忠実度を下げる事象が起こった後に並びに忠実度を下げる事象に応答して）構成することに概ね関連付けられる、低い忠実度のイメージ期間を未然に防ぎ得る。図７は、本開示の他の例示的な実施態様に従ってビデオを処理するための方法を描写するフロー図である。ステップ７０５で、本方法は、例えば、図３のビデオキャプチャ装置３０５のようなビデオキャプチャ装置によって、例えば、手術部位で捕捉される、ビデオイメージを受信することを含む。ステップ７１０で、本方法は、ビデオキャプチャ装置の視野のイメージコンテンツに影響を及ぼし得る状態の変化の表示を受信することを含む。図６に関して（更に図３及び図４に関して）上述したように、例えば、手術要素の動き、ビデオキャプチャ装置（例えば、内視鏡カメラ２０５）の動き、ビデオキャプチャ装置の構成（例えば、ズームイン／ズームアウト）、及び／又は手術部位での液体、気体、又は他の物質／材料の適用／除去のような、１つ又はそれよりも多くのシステム状況によって、視野のイメージコンテンツに影響を及ぼし得る状態の変化を引き起こし得るし、特定の状況に基づき視野のイメージコンテンツにおける変化の程度を予想し得る。
ステップ７１５で、本方法は、例えば図３のディスプレイ３６０のような受信システムへの符号化されるビデオイメージの送信に影響を及ぼし得るネットワーク状況の変化の表示を受信することを含む。例えば、受信システムに符号化されるビデオイメージを転送するために用いられる、例えば、図３の通信ネットワーク３３５のような、ネットワークの混雑によって、ネットワーク状況の変化を引き起こし得る。例えば、ネットワークを通じる或る量のパケットデータ待ち時間又は損失パケットの決定によって、ネットワーク状況を決定し得る。
ステップ７２０で、本方法は、受信される表示によって示される視野のイメージコンテンツにおける変化の予測される影響及びそれらの目的地への符号化ビデオイメージの送信におけるネットワーク状況の予想される影響に基づき、捕捉されるビデオイメージを符号化するための符号化構成を選択的に調節することを含む。符号化構成における変化は、符号化されるべき将来的なイメージのうちの少なくとも１つのイメージの解像度を調節すること、又は符号化されるビデオイメージ生成し／符号化されるビデオイメージを図３のディスプレイ３６０のような受信システムに送信するためのイメージフレーム生成レート／送信レートを調節することを含み得る。ステップ７２５で、本方法は、調節される符号化構成に基づき、捕捉されるビデオイメージを符号化することを含む。
よって、本開示の様々な例示的な実施態様によれば、ビデオキャプチャ装置の視野のイメージコンテンツに関するモニタリングされる状態状況及び／又は符号化されるビデオイメージを目的地に送信するために用いられるネットワークの状況の予想される影響に基づき、ＶＱＩを介して、例えば、ビデオイメージを符号化するように、ビデオイメージエンコーダを構成し得る。従って、視野のイメージコンテンツに影響を及ぼすことが予想される状態の発生のみならず、視野のイメージコンテンツに対する予想される影響の性質（例えば、程度）も予測するために（例えば、吸引、洗浄、及び／又は焼灼処置によって引き起こされる大きな流体運動と比較してジョー付きエンドエフェクタの動作又は内視鏡カメラが「追従中」である間の１つの場所から他の場所への内視鏡カメラの移動と比較してジョー付きエンドエフェクタの動作を予想すること）、様々な例示的な実施態様はロボット手術システムの状態及び／又はネットワーク状況をモニタリングするのを更に許容する。
図８は、本開示の更に他の実施態様に従ってビデオを処理するための方法を描写している。ステップ８０５で、例えば、内視鏡カメラ又は図３の患者側カート３３０に取り付けられる他のビデオキャプチャ装置のような、ビデオキャプチャが、遠隔手術部位のビデオイメージを捕捉し始め、所定の符号化構成に基づき予測されるビデオイメージを図３の外科医コンソール３４５のディスプレイ３６０のような遠隔ディスプレイにストリーミングする。遠隔手術部位でのカメラからディスプレイへのビデオイメージの送信は、図３の通信ネットワーク３３５のような通信ネットワークを通じて起こる。
ステップ８１０で、本方法は、ビデオキャプチャ及び符号化システムのビデオキャプチャ装置の視野のイメージコンテンツに、よって、捕捉されるイメージに影響を及ぼし得る、下に横たわるシステムのビデオキャプチャ及び符号化システム要素での状況をモニタリングすることを含む。図３及び図４に関して詳細に説明したように、遠隔制御される手術システムにおいて、例えば、視野内のロボットアーム及び／又は手術器具の動作、カメラズーム／速度、又は視野内の手術部位への液体又は気体のような物質の導入／除去は、遠隔制御される手術のために、手術部位のビデオを捕捉するビデオキャプチャ装置の視野のイメージコンテンツに影響を及ぼし得る。特定の状況に基づき、視野のイメージコンテンツにおける変化の程度を予想し得る。
ステップ８１５で、本方法は、視野のイメージコンテンツに影響を及ぼすことが予想される状態の変化が起こったか否かを決定することを含む。状態の変化が起こったならば、ステップ８２０で、本方法は、視野のイメージコンテンツにおける状態の変化の予測される影響が所定の閾値を超えることが予想されるか否かを決定することを含む。所定の閾値は特定の状態の変化に依存し、例えば、視野のイメージコンテンツを捕捉するイメージキャプチャ装置の動作、視野の調節（例えば、ズームイン／ズームアウト）、視野内の器具の動作、又は視野のイメージコンテンツにおける変化を引き起こすことを予測し得る任意の他の作用に基づき得る。
例えば、本開示の様々な例示的な実施態様では、例えば、フットペダルを活性化させること（例えば、押圧すること）のような入力が、カメラ制御モードへの移行を示し得る。目下の視野内の特定の変化を引き起こすために、カメラの位置／向きを調節するための更なる入力を予測し得る。予測される変化は、視野での入力及び／又は目下の状況に基づくカメラの予想される速度（例えば、視野内で受ける或いは受けることが予想される他の動作）に基づき得る。従って、カメラの調節の速度のような測定可能な値を、符号化されるパラメータの調節の必要及び程度を決定する所定のカメラ速度閾値と比較し得る。
視野のイメージコンテンツにおける予測される変化の程度及び符号化パラメータにおける関連する変化の決定は、本開示の範囲から逸脱することなく、（使用者からの入力に基づき）遠隔部位で或いは外科医コンソールで起こり得ることを付記する。例えば、様々な例示的な実施態様において、外科医コンソールでのカメラの位置／向きを調節するための入力の受信後、外科医コンソールにある処理ユニットが、入力によって引き起こされるカメラの予想される速度に基づき目下の視野及び視野内のイメージコンテンツの変化を予測し得るし、符号化パラメータの調節の必要及び程度を決定し得る。処理ユニットは符号化パラメータの対応する調節を更に決定し且つＣＯＤＥＣの構成のために患者側カートに符号化パラメータを提供し得る。
状態の変化の予想される影響が所定の閾値を超えるならば、ステップ８２５で、予想される影響を最小限化するために、符号化構成パラメータを調節する。調節は、本開示の範囲から逸脱することなく、例えば、予想される影響に応じて或いは予想される影響に従った機能に基づき、所定のプロファイルに従ってｉ－フレームレートを増大させることを含み得る。例えば、限定としてでなく、状態の変化の手段としてイメージキャプチャ装置の速度を用いるとき、ｉ－フレームレートのような符号化構成パラメータにおける変化が、所定の閾値を超えて、イメージキャプチャ装置の速度と比例し得る。
状態の変化の予想される影響が所定の閾値を超えないならば、ステップ８３０で、符号化構成パラメータを不変のままとし得るし、或いは符号化パラメータは所定のデフォルト構成状態にあり得る。利用可能な帯域幅のような他の条件が好ましいならば、状態の変化は、それにも拘わらず、例えば、状態の変化の如何なる影響をも最小限化するために、構成パラメータが調節されるようにさせ得る。この調節は、例えば、ｉ－フレームレートを所定の量（例えば、秒当たり１つの追加的なｉ－フレーム）だけ増大させることを含み得るし、或いは所定のデフォルト構成状態の更新を含み得る。
ステップ８４０で、本方法は、ビデオキャプチャ装置と遠隔ディスプレイとの間のネットワーク状況をモニタリングすることも含み得る。モニタリングし得るネットワーク状況は、例えば、符号化されるビデオイメージを送信するための利用可能な帯域幅、及び／又はパケット損失レートを含む。ステップ８４５で、本方法は、利用可能な帯域幅における減少又はパケット損失の割合における増大のようなネットワーク状況における変化が起こったか否かを決定する。ステップ８５０で、ネットワーク状況が変化したならば（例えば、利用可能な帯域幅における減少）、例えば、送信データ転送速度（即ち、ビットレート）を減少させること、ｉ－フレームレートを減少させること、及び／又は受信システムに送信されるフレームの全体的なフレームレートを減少させることによって、ネットワーク状況における変化の影響を克服するために、符号化構成パラメータは調節される。ステップ８５５で、本方法は、あらゆる調節される符号化構成パラメータを、例えば、図３のビデオエンコーダ３１０のような、ビデオエンコーダに提供することを含む。
よって、本開示の様々な例示的な実施態様によれば、ビデオキャプチャ装置の視野に対するモニタリングされる状態及び符号化されるビデオイメージを目的地に送信するために用いられるネットワークの状況の予想される影響に基づきビデオイメージを符号化するように、ビデオイメージエンコーダを構成し得る。よって、忠実度を下げる事象が起こる前に忠実度を下げる事象を予想して高い忠実度の符号化を達成し得る。それはビデオエンコーダを受け身的に（即ち、忠実度を下げる事象が起こった後に）ビデオエンコーダを構成することに概ね関連付けられる低い忠実度イメージ期間を未然に防ぎ得る。
図９は、本開示に従ったビデオ処理システムの例示的な実施態様を例示している。ビデオ処理システム９００は、ＶＱＩプロセッサ３２５の実施例であるが、当業者は本開示に従ったＶＱＩプロセッサを別に構成し得ることを認識するであろう。ビデオプロセッサ９００は、通信インターフェース９０１と、処理システム９０３とを含む。処理システム９０３は、通信インターフェース９０１にリンクさせられる。処理システム９０３は、処理回路構成と、ソフトウェア９０５を記憶する記憶システム９０４とを含む。ビデオプロセッサ９００は、明瞭性のために示さない電力システム、電池、及び／又は筐体(enclosure)のような、他の周知の構成部品を含み得る。
通信インターフェース９０１は、ビデオ処理システム９００の外部の装置とインターフェース接続する少なくとも通信回路構成を含み、有線及び／又は無線通信のための回路構成を含み得る。更に、上述の図３の状態モニタ３１５、図３のネットワークモニタ３２０、及び図３のビデオエンコーダ３１０のような、本開示の様々な例示的な実施態様によって遂行される機能の少なくとも一部を実施するために、他のシステム及び／又は要素と通信するように、通信インターフェース９０１を構成し得る。通信インターフェース９０１は、メモリ装置、ソフトウェア、処理回路構成、又は何らかの他の通信装置も含み得るし、或いは本開示において言及される通信の種類を実現し得る。
処理システム９０３は、記憶システム９０４からソフトウェア９０５を抽出し且つソフトウェア９０５を実行する、マイクロプロセッサ及び他の回路構成を含み得る。記憶システム９０４は、ディスクドライブ、フラッシュドライブ、データ記憶装置回路構成、又は何らかの他の記憶装置を含む。処理システム９０３は、典型的には、記憶システム９０４及び／又は通信インターフェース９０１の部分も保持し得る回路板に取り付けられる。
ソフトウェア９０５は、例えば、本開示おいて記載したＶＱＩアルゴリズムのような、アルゴリズムを実施するために、コンピュータプログラム、ファームウェア、又は何らかの他の形態の機械読取り可能な処理指令を含む。ソフトウェア９０５は、オペレーティングシステム、ユーティリティ、ドライバ、ネットワークインターフェース、アプリケーション、又は何らかの他の種類のソフトウェアを含み得る。処理システム９０３によって実行されるとき、ソフトウェア９０５は、処理システム９０３に命令して、ＶＱＩプロセッサ３２５のためにここに記載されるようにビデオプロセッサ９００を作動させる。
データを記憶し、抽出し、処理し、且つ／或いは出力し、且つ／或いは他のコンピュータと通信し得る（非限定的な実施例においる）任意のコンピュータのような、コンピュータハードウェア（コンピュータ装置）及び／又はソフトウェアにおいて、本開示の様々な示的な実施態様を実施し得る。生成される結果をコンピュータハードウェアのディスプレイに表示し得る。上記で議論したような電気手術処理ユニットのような電子機器／制御装置１１５のプロセッサによって、或いは電子機器／制御装置１１５と共に、本開示の様々な例示的な実施態様に従った様々な応答及び信号処理に影響を及ぼすアルゴリズムを含む１つ又はそれよりも多くのプログラム／ソフトウェアを実施し得るし、コンピュータ読取り可能な記録及び／又は記憶媒体を含むコンピュータ読取り可能な媒体に記録し得る。コンピュータ読取り可能な記録媒体の実施例は、磁気記録装置、光ディスク、光磁気ディスク、及び／又は半導体メモリ（例えば、ＲＡＭ，ＲＯＭ等）を含む。磁気記録装置の実施例は、ハードディスクドライブ（ＨＤＤ）、フレキシブルディスク（ＦＤ）、及び磁気テープ（ＭＴ）を含む。光ディスクの実施例は、ＤＶＤ（デジタル多目的ディスク）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（コンパクトディスク－読出し専用記憶装置）、及びＣＤ－Ｒ（記録可能）／ＲＷを含む。
上述のように、器具の近位端にある送信機構を介して作動させられる構成部品を介して多数の外科処置を遂行するように構成されるエンドエフェクタを有する手術器具と共に、様々な例示的な実施態様に従った方法及びシステムを用い得る。更に、実施態様の或る特徴によれば、既述の特徴、機能、及び／又は操作の如何なる組み合わせをも提供し得る。
Ｈ．２６４符号化／復号化プロトコルに従ったイメージの符号化／復号化及び送信の脈絡内で様々な例示的な実施態様に従った方法及びシステムを説明した。しかしながら、当業者は、本開示がそのように限定されないこと、本開示の範囲から逸脱することなく、１つ又はそれよりも多くの他の符号化／復号化の脈絡内で本開示の要素の一部又は全部を用い得ることを理解する。
本開示及びここにある請求項の明細及び実施の考察から、本発明の他の実施態様は当業者に明らかであろう。明細及び実施例は例示的であるに過ぎないとして考えられるべきことが意図され、均等物を含む範囲は請求項によって示される。
（付記１）
本発明の第１の態様において、イメージキャプチャ装置によって捕捉されるイメージデータのビデオを処理する方法であって、
前記イメージキャプチャ装置の視野内で処置を遂行するシステムの状態の変化と関連付けられる入力を受信することに応答して、ビデオエンコーダの符号化構成を調節することを含み、
前記システムの前記状態の変化は、前記視野内のイメージデータコンテンツに対する影響を有することが予想される、
方法が提供される。
（付記２）
付記１に記載の方法において、
前記符号化構成を調節することは、前記イメージデータの少なくとも１つのイメージフレームを符号化するためのイメージ符号化解像度を増大させることを含む。
（付記３）
付記２に記載の方法において、
前記符号化構成を調節することは、前記イメージデータを符号化するためのイメージ符号化レートを減少させることを更に含む。
（付記４）
付記１の方法において、
前記調節される符号化構成に基づき前記イメージデータを符号化することは、イントラフレーム（ｉ－フレーム）レートでｉ－フレームを生成すること及び予測インターフレーム（ｐ－フレーム）レートでｐ－フレームを生成することを含み、
前記符号化構成を調節することは、前記ｉ－フレームレート及び／又は前記ｐ－フレームレートを調節することを含む。
（付記５）
付記４に記載の方法において、
前記生成されるｉ－フレーム及びｐ－フレームを所定の送信データ転送速度でビデオデコーダに送信することを更に含み、
前記ｐ－フレームレートを調節することは、前記ｉ－フレームレート及び所定の送信データ転送速度の前記調節に基づく。
（付記６）
付記１に記載の方法において、
前記状態の変化に関連付けられる前記入力は、前記イメージキャプチャ装置の動作を制御することに関連付けられる入力、前記イメージキャプチャ装置の視野の調節を制御することに関連付けられる入力、及び前記イメージキャプチャ装置の前記視野内の要素の動きを制御することに関連付けられる入力のうちの少なくとも１つを含み、
前記符号化構成を調節することは、目下捕捉されているイメージコンテンツデータと前記状態の変化によって影響させられるときの予想される捕捉されるイメージコンテンツデータとの間の予測される差に基づく。
（付記７）
付記１に記載の方法において、
符号化されるイメージの送信のために利用可能な帯域幅の変化を示す入力を受信することに応答して、前記符号化構成を調節することを更に含む。
（付記８）
付記１に記載の方法において、
前記システムの前記状態の変化に関連付けられる前記入力は、遠隔操作される手術システムの外科医コンソールでの制御命令入力と関連付けられる入力を含む。
（付記９）
付記１に記載の方法において、
前記調節される符号化構成に基づき前記イメージキャプチャ装置によって捕捉されるイメージコンテンツデータを符号化することを更に含む。
（付記１０）
本発明の第２の態様において、
内視的なイメージキャプチャ装置と、
イメージデータを符号化するようビデオ符号化構成データを生成するためのビデオプロセッサとを含む、
手術システムであって、
前記ビデオプロセッサは、
当該手術システムの状態の変化に関連付けられる入力を受信し、且つ
該入力に基づき調節されるビデオ符号化構成データを出力するように構成される、
手術システムが提供される。
（付記１１）
付記１０に記載の手術システムにおいて、
前記プロセッサ及び前記内視的イメージキャプチャ装置に論理的に結合させられるイメージエンコーダを更に含み、
該イメージエンコーダは、
前記プロセッサから前記ビデオ符号化構成データを受信し、
前記内視的イメージキャプチャ装置から前記イメージデータを受信し、且つ
前記受信されるビデオ符号化構成データに基づき前記受信されるイメージデータを符号化するように構成される。
（付記１２）
付記１０に記載の手術システムにおいて、
前記調節されるビデオ符号化構成データは、イントラフレーム（ｉ－フレーム）レートパラメータと、前記状態の変化の前記予想される影響に基づき前記イメージデータを符号化するための予測インターフレーム（ｐ－フレーム）レートパラメータとを含む。
（付記１３）
付記２に記載の手術システムにおいて、
通信リンクを通じて前記符号化されるイメージデータをディスプレイに提供するよう前記イメージエンコーダに論理的に結合させられる出力通信インターフェースを更に含み、
前記ビデオプロセッサは、前記通信リンクの状態を示す入力を受信するように更に構成され、
前記調節されるビデオ符号化構成データは、イントラフレーム（ｉ－フレーム）レートパラメータと、前記通信リンクの状態を示す前記入力に基づき前記視野の前記捕捉されるイメージコンテンツを符号化するための予測インターフレーム（ｐ－フレーム）レートパラメータとを含む。
（付記１４）
付記１０に記載の手術システムにおいて、
前記調節されるビデオ符号化構成データは、イメージ符号化解像度及び／又は前記イメージデータに対する前記状態の変化の前記予想される影響に基づき前記イメージデータを符号化するためのイメージ符号化レートを含む。
（付記１５）
付記１０に記載の手術システムにおいて、
通信リンクを通じて符号化されるイメージデータをディスプレイに提供するよう前記イメージエンコーダに論理的に結合させられる出力通信インターフェースを更に含み、
前記ビデオプロセッサは、前記通信リンクの状態を示す入力を受信するように更に構成され、
前記調節されるビデオ符号化構成データは、イメージ符号化解像度及び／又は前記通信リンクの状態を示す前記入力に基づき前記イメージデータを符号化するためのイメージ符号化レートを更に含む。
（付記１６）
請求項１０に記載の手術システムにおいて、
当該手術システムの状態の変化に関連付けられる前記入力は、前記イメージキャプチャ装置の動作を制御することに関連付けられる入力、前記イメージキャプチャ装置の視野の調節を制御することに関連付けられる入力、及び前記イメージキャプチャ装置の前記視野内の要素の動作を制御することに関連付けられる入力のうちの少なくとも１つを含む。
（付記１７）
付記１０に記載の手術システムにおいて、
当該手術システムの状態の変化と関連付けられる前記入力は、遠隔操作される手術システムの外科医コンソールでの制御命令入力と関連付けられる入力を含む。

Claims (14)

  1. 遠隔操作手術システムのイメージキャプチャ装置によって取り込まれるビデオイメージデータを処理する方法であって、
    前記遠隔操作手術システムのやがて起こる状態変化が生じることが予想されることを示す信号を受信することに応答して、ビデオエンコーダの符号化パラメータの値を調整することであって、前記状態変化は、前記ビデオイメージデータに影響を与える、調整することと、
    前記符号化パラメータの前記調整された値を使用して、前記ビデオエンコーダに前記ビデオイメージデータを符号化させることと、
    前記信号を受信する前に、前記符号化パラメータの初期値を使用して、前記ビデオエンコーダに前記ビデオイメージデータを符号化させることと、
    前記符号化パラメータの前記値を調整した後に、前記符号化パラメータの前記調整された値に基づいて、前記ビデオエンコーダに前記ビデオイメージデータを符号化させることと、を含む、
    方法。
  2. 前記ビデオイメージデータは、医療処置のビデオイメージに対応する、請求項１に記載の方法。
  3. 前記符号化パラメータを調整することは、前記状態変化が生じる前に生じる、請求項１に記載の方法。
  4. 前記状態変化が生じることが予想されることを示す前記信号は、前記遠隔操作手術システムのインターフェースの入力命令に対応し、前記遠隔操作手術システムは、前記入力命令に応答して前記状態変化を実現するように構成される、請求項１に記載の方法。
  5. 前記遠隔操作手術システムは、医療器具を含み、前記状態変化は、前記医療器具を動かすこと、前記医療器具の機能を実行すること、及び前記医療器具の動作モードを変更することのうちのいずれかを含む、請求項１～４のうちのいずれか１項に記載の方法。
  6. 前記遠隔操作手術システムは、内視鏡イメージキャプチャ装置を含み、前記状態変化は、前記内視鏡イメージキャプチャ装置を動かすこと、前記内視鏡イメージキャプチャ装置の視野を変更すること、及び前記内視鏡イメージキャプチャ装置の動作モードを変更することのうちのいずれかを含む、請求項１～４のうちのいずれか１項に記載の方法。
  7. ネットワークモニタを使用して、前記符号化されたビデオイメージが出力されるネットワークリンクのネットワーク状態をモニタリングすることを更に含み、
    前記遠隔操作手術システムのやがて起こる状態変化が生じることが予想されることを示す前記信号は、前記ネットワークモニタからの信号を含む、
    請求項１に記載の方法。
  8. 前記ビデオイメージデータに対する前記状態変化の予想される影響を決定することを更に含み、
    前記符号化パラメータの前記値を調整することは、前記予想される影響に基づいて前記値を調整することを含む、
    請求項１～４及び７のうちのいずれか１項に記載の方法。
  9. 前記状態変化の結果として前記ビデオイメージデータに生じることが予想される変化の程度を予測することを更に含み、
    前記符号化パラメータの前記値を調整することは、前記予想される変化の程度に基づいて前記値を調整することを含む、
    請求項１～４及び７のうちのいずれか１項に記載の方法。
  10. 前記符号化パラメータは、イメージ符号化解像度、イメージ符号化レート、イントラフレーム（ｉ－フレーム）レート、及び予測フレーム（ｐ－フレーム）レートの任意の組み合わせを含む、請求項１～４及び７のうちのいずれか１項に記載の方法。
  11. 前記ビデオエンコーダは、イントラフレーム（ｉ－フレーム）レートでｉ－フレームを生成し且つ予測フレーム（ｐ－フレーム）レートでｐ－フレームを生成することによって、前記ビデオイメージデータを符号化し、
    前記符号化パラメータは、前記ｉ－フレームレートを含み、
    前記符号化パラメータを調整することは、前記符号化されるビデオイメージデータのビットレートを標的ビットレートに又は標的ビットレートよりも下に維持しながら、前記ｉ－フレームレート及び前記ｐ－フレームレートを調整することを含む、
    請求項１～４及び７のうちのいずれか１項に記載の方法。
  12. 前記ｉ－フレームレート及び前記ｐ－フレームレートを調整することは、
    前記信号によって示される前記状態変化に基づいて前記ｉ－フレームレートについての調整量を決定することと、
    前記ｉ－フレームレートについての前記決定される調整量、標的ｉ－フレーム対ｐ－フレーム比、及び標的ビットレートに基づいて、前記ｐ－フレームレートについての調整量を決定することと、を含む、
    請求項１１に記載の方法。
  13. 前記信号によって示される前記状態変化に基づいて前記ｉ－フレームについての前記調整量を決定することは、
    前記状態変化の結果として前記ビデオイメージデータに生じることが予想される変化の程度を予測することと、
    前記予測される変化の程度に基づいて前記ｉ－フレームレートについての前記調整量を決定することと、を含む、
    請求項１２に記載の方法。
  14. 前記予測される変化の程度に基づいて前記標的ｉ－フレーム対ｐ－フレーム比を調整することを更に含む、請求項１３に記載の方法。
JP2022119978A 2012-08-15 2022-07-27 ビデオストリーミングのための方法及びシステム Active JP7379609B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261683493P 2012-08-15 2012-08-15
US61/683,493 2012-08-15
JP2021015674A JP7114760B2 (ja) 2012-08-15 2021-02-03 ビデオストリーミングのための方法及びシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021015674A Division JP7114760B2 (ja) 2012-08-15 2021-02-03 ビデオストリーミングのための方法及びシステム

Publications (2)

Publication Number Publication Date
JP2022136244A JP2022136244A (ja) 2022-09-15
JP7379609B2 true JP7379609B2 (ja) 2023-11-14

Family

ID=50100509

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2015527561A Active JP6265994B2 (ja) 2012-08-15 2013-08-14 ビデオストリーミングのための方法及びシステム
JP2017242775A Active JP6567030B2 (ja) 2012-08-15 2017-12-19 ビデオストリーミングのための方法及びシステム
JP2019139464A Active JP6833926B2 (ja) 2012-08-15 2019-07-30 ビデオストリーミングのための方法及びシステム
JP2021015674A Active JP7114760B2 (ja) 2012-08-15 2021-02-03 ビデオストリーミングのための方法及びシステム
JP2022119978A Active JP7379609B2 (ja) 2012-08-15 2022-07-27 ビデオストリーミングのための方法及びシステム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2015527561A Active JP6265994B2 (ja) 2012-08-15 2013-08-14 ビデオストリーミングのための方法及びシステム
JP2017242775A Active JP6567030B2 (ja) 2012-08-15 2017-12-19 ビデオストリーミングのための方法及びシステム
JP2019139464A Active JP6833926B2 (ja) 2012-08-15 2019-07-30 ビデオストリーミングのための方法及びシステム
JP2021015674A Active JP7114760B2 (ja) 2012-08-15 2021-02-03 ビデオストリーミングのための方法及びシステム

Country Status (6)

Country Link
US (2) US10806325B2 (ja)
EP (3) EP2885765B1 (ja)
JP (5) JP6265994B2 (ja)
KR (3) KR102365946B1 (ja)
CN (2) CN109348220B (ja)
WO (1) WO2014028573A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2885765B1 (en) * 2012-08-15 2019-12-18 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming
WO2015135057A1 (en) * 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
DE102013108228A1 (de) * 2013-07-31 2015-02-05 MAQUET GmbH Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs
DE102014016843A1 (de) * 2014-11-13 2016-05-19 Kuka Roboter Gmbh System mit einem medizinischen Instrument und ein Aufnahmemittel
EP3029936A1 (en) * 2014-12-05 2016-06-08 Axis AB Method and device for real-time encoding
WO2017205467A1 (en) * 2016-05-26 2017-11-30 Covidien Lp Cannula assemblies for use with robotic surgical systems
CN110062608B (zh) * 2016-11-11 2023-04-25 直观外科手术操作公司 带有基于扫描的定位的远程操作手术系统
JP6858593B2 (ja) * 2017-03-02 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および制御方法
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
JP6975004B2 (ja) * 2017-10-03 2021-12-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
EP3579553B1 (en) * 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
JP7325173B2 (ja) 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
GB2585691B (en) * 2019-07-11 2024-03-20 Cmr Surgical Ltd Anonymising robotic data
EP4051080A1 (en) * 2019-12-19 2022-09-07 Sony Group Corporation Method, apparatus and system for controlling an image capture device during surgery
DE102021100124A1 (de) * 2021-01-07 2022-07-07 Schölly Fiberoptic GmbH Verfahren zum Übertragen eines Rohbilddatenstromes eines Bildsensors
CN115811610B (zh) * 2023-01-13 2023-05-05 安徽医科大学 一种适用于无线内窥镜的图传方法及系统
CN117221177B (zh) * 2023-11-08 2024-01-09 湖南省华芯医疗器械有限公司 图像传输延迟监测方法及系统
CN117281616B (zh) * 2023-11-09 2024-02-06 武汉真彩智造科技有限公司 一种基于混合现实的手术控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199398A (ja) 2000-12-27 2002-07-12 Kddi Corp 可変ビットレート動画像符号化装置および記録媒体
JP2004521662A (ja) 2000-05-15 2004-07-22 ギブン・イメージング・リミテツド インビボカメラのキャプチャレートおよび表示レートを制御するためのシステム
JP2005073218A (ja) 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理装置
JP2005143668A (ja) 2003-11-12 2005-06-09 Olympus Corp カプセル型内視鏡
JP2006128997A (ja) 2004-10-28 2006-05-18 Sharp Corp 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム
JP2010142597A (ja) 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
WO2012033200A1 (ja) 2010-09-10 2012-03-15 オリンパスメディカルシステムズ株式会社 撮像装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217453A (en) 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
JPH0896522A (ja) 1994-09-20 1996-04-12 Sony Corp データエンコーダ
US6111870A (en) 1996-11-07 2000-08-29 Interdigital Technology Corporation Method and apparatus for compressing and transmitting high speed data
JP3592025B2 (ja) * 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
US6026097A (en) * 1997-03-13 2000-02-15 8 X 8, Inc. Data processor having controlled scalable input data source and method thereof
US20020128662A1 (en) * 1998-02-24 2002-09-12 Brock David L. Surgical instrument
US10973397B2 (en) * 1999-03-01 2021-04-13 West View Research, Llc Computerized information collection and processing apparatus
KR100367000B1 (ko) 1999-06-29 2003-01-06 한국전자통신연구원 멀티미디어 처리용 가속 기능 및 입출력 기능을 갖는 피씨용 멀티채널 오디오/음성 및 데이터 코덱장치
US6873655B2 (en) 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
JP4194771B2 (ja) * 2001-06-29 2008-12-10 オリンパス株式会社 加熱治療装置
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
DE10219528A1 (de) * 2002-05-02 2003-11-13 Philips Intellectual Property Schnelles Kernresonanz-Bildgebungsverfahren mit Gradienten-Echos
CA2491522C (en) * 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network
JP3944440B2 (ja) 2002-09-27 2007-07-11 三菱電機株式会社 動画像伝送システム、救急医療用伝送システム及び動画像伝送装置
KR100916274B1 (ko) * 2004-06-07 2009-09-10 슬링 미디어 인코퍼레이티드 퍼스널 미디어 브로드캐스팅 시스템
US7984179B1 (en) * 2004-06-29 2011-07-19 Sextant Navigation, Inc. Adaptive media transport management for continuous media stream over LAN/WAN environment
US8934533B2 (en) * 2004-11-12 2015-01-13 Pelco, Inc. Method and apparatus for controlling a video surveillance display
JP4727221B2 (ja) * 2004-12-21 2011-07-20 ルネサスエレクトロニクス株式会社 映像信号処理装置及び映像信号処理方法
US7894531B1 (en) * 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
JP2007036650A (ja) * 2005-07-27 2007-02-08 Keio Gijuku マルチメディア通信装置
JP2009507617A (ja) * 2005-09-14 2009-02-26 ネオガイド システムズ， インコーポレイテッド 経腔的及び他の操作を行うための方法及び装置
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8373748B2 (en) * 2005-12-14 2013-02-12 Stryker Corporation Automatic endoscope recognition and selection of image processing and display settings
CN101454742A (zh) 2006-05-31 2009-06-10 皇家飞利浦电子股份有限公司 控制观察参数
US20080117968A1 (en) * 2006-11-22 2008-05-22 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
KR20100029235A (ko) 2007-06-08 2010-03-16 싸이노슈어, 인코포레이티드 외과용 도파관
US8057394B2 (en) * 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
JP5154961B2 (ja) * 2008-01-29 2013-02-27 テルモ株式会社 手術システム
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
CA2741732C (en) 2008-11-21 2016-05-17 Stryker Corporation Wireless operating room communication system including video output device and video display
US8291855B2 (en) * 2009-01-16 2012-10-23 Hoerl Jr Jeffrey Joseph Mobile robot printer for large image reproduction
JP2010199656A (ja) * 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
US20100283857A1 (en) * 2009-05-05 2010-11-11 Honeywell International Inc. Event based dynamic change in video quality parameters of network cameras
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
JP5496852B2 (ja) * 2010-10-26 2014-05-21 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US9445058B2 (en) 2012-05-14 2016-09-13 Intuitive Surgical Operations, Inc Method for video processing using a buffer
EP2885765B1 (en) 2012-08-15 2019-12-18 Intuitive Surgical Operations, Inc. Methods and systems for optimizing video streaming

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004521662A (ja) 2000-05-15 2004-07-22 ギブン・イメージング・リミテツド インビボカメラのキャプチャレートおよび表示レートを制御するためのシステム
JP2002199398A (ja) 2000-12-27 2002-07-12 Kddi Corp 可変ビットレート動画像符号化装置および記録媒体
JP2005073218A (ja) 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理装置
JP2005143668A (ja) 2003-11-12 2005-06-09 Olympus Corp カプセル型内視鏡
JP2006128997A (ja) 2004-10-28 2006-05-18 Sharp Corp 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム
JP2010142597A (ja) 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
WO2012033200A1 (ja) 2010-09-10 2012-03-15 オリンパスメディカルシステムズ株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J. Arata et al.，A remote surgery experiment between Japan-Korea using the minimally invasive surgical system，Proceedings of the 2006 International Conference on Robotics and Automation，IEEE，2006年05月，pp.257-262

Also Published As

Publication number Publication date
KR20150043324A (ko) 2015-04-22
CN109348220B (zh) 2023-06-06
EP4284001A2 (en) 2023-11-29
KR102252078B1 (ko) 2021-05-17
EP2885765A1 (en) 2015-06-24
US10806325B2 (en) 2020-10-20
CN109348220A (zh) 2019-02-15
JP2019208262A (ja) 2019-12-05
JP2022136244A (ja) 2022-09-15
KR20210133316A (ko) 2021-11-05
KR102319400B1 (ko) 2021-11-01
EP3624045A1 (en) 2020-03-18
WO2014028573A1 (en) 2014-02-20
EP3624045B1 (en) 2024-01-10
EP4284001A3 (en) 2024-01-17
JP2021072644A (ja) 2021-05-06
JP7114760B2 (ja) 2022-08-08
JP6833926B2 (ja) 2021-02-24
US20140051921A1 (en) 2014-02-20
KR102365946B1 (ko) 2022-02-23
US11889975B2 (en) 2024-02-06
CN104584068A (zh) 2015-04-29
JP6265994B2 (ja) 2018-01-24
JP2015532040A (ja) 2015-11-05
US20210007577A1 (en) 2021-01-14
EP2885765B1 (en) 2019-12-18
CN104584068B (zh) 2018-12-14
JP6567030B2 (ja) 2019-08-28
EP2885765A4 (en) 2016-02-24
JP2018042293A (ja) 2018-03-15
KR20210057209A (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7379609B2 (ja) ビデオストリーミングのための方法及びシステム
US11818509B2 (en) Method for video processing using a buffer
JPWO2019044328A1 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
CN109937574B (zh) 发送设备、发送方法和内容分发系统
CN109964487B (zh) 管理装置和管理方法
US20130321607A1 (en) Monitoring system for controlling the pan/tilt of a camera used in a surgery room

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R150 Certificate of patent or registration of utility model

Ref document number: 7379609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150