JP2024048946A - 遠隔手術支援システムおよび指導医側操作装置 - Google Patents

遠隔手術支援システムおよび指導医側操作装置 Download PDF

Info

Publication number
JP2024048946A
JP2024048946A JP2022155134A JP2022155134A JP2024048946A JP 2024048946 A JP2024048946 A JP 2024048946A JP 2022155134 A JP2022155134 A JP 2022155134A JP 2022155134 A JP2022155134 A JP 2022155134A JP 2024048946 A JP2024048946 A JP 2024048946A
Authority
JP
Japan
Prior art keywords
communication
doctor
operating
manipulator arm
facility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022155134A
Other languages
English (en)
Inventor
政尚 大橋
博明 北辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medicaroid Corp
Original Assignee
Medicaroid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medicaroid Corp filed Critical Medicaroid Corp
Priority to JP2022155134A priority Critical patent/JP2024048946A/ja
Priority to US18/469,585 priority patent/US20240099558A1/en
Priority to EP23199410.4A priority patent/EP4344666A1/en
Publication of JP2024048946A publication Critical patent/JP2024048946A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

【課題】指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことが可能な遠隔手術支援システムを提供する。【解決手段】この遠隔手術支援システム１００は、第１施設Ｂ１に設置された、外科手術ロボット１と、医師側操作装置２と、第１施設Ｂ１とは異なる第２施設Ｂ２に設置され、外部ネットワークＮを介して外科手術ロボット１を指導医Ａ２が操作するための指導医側操作装置３と、制御装置と、を備える。そして、制御装置は、指導医側操作装置３と外科手術ロボット１との間の通信の状態を取得し、制御装置は、制御装置により取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳してスコープ型表示装置３４に表示する。【選択図】図１

Description

この発明は、遠隔手術支援システムおよび指導医側操作装置に関し、特に、指導医により指導しながら手術を行うための遠隔手術支援システムおよび指導医側操作装置に関する。
従来、指導医により指導しながら手術を行うためのロボットシステムが知られている（たとえば、特許文献１参照）。
上記特許文献１には、外科医マスター制御ステーションと、指導者マスター制御ステーションと、外科医マスター制御ステーションおよび指導者マスター制御ステーションにより操作される手術ロボットとを備えるロボットシステムが開示されている。このロボットシステムでは、外科医マスター制御ステーションと指導者マスター制御ステーションの間で外科医と指導者とがヘッドセットを用いて音声通信することにより指導者が外科医に指導しながら手術が行われる。また、このロボットシステムでは、外科医マスター制御ステーションと指導者マスター制御ステーションとは、手術ロボットが設置されている施設と同じ施設に配置されている。
特開２００７－１８１６７０号公報
上記特許文献１に記載のロボットシステムでは、外科医マスター制御ステーションと指導者マスター制御ステーションとは、手術ロボットが設置されている施設と同じ施設に配置されている。このため、指導者は、手術が行われている施設に行かなければ手術の指導を行うことができないため、指導者が遠隔にいる場合には、ロボットシステムによる手術の指導を行うことが困難である。そこで、指導者が遠隔によりロボットシステムによる手術の指導を行うために、指導者の操作装置と手術ロボットとをネットワークを介して接続することが考えられる。この場合、指導者の操作装置と手術ロボットとの間の通信の状態によって操作の遅延などの影響を受ける場合がある。この場合、指導者が通信の状態に起因する遅延などの影響のために、手術ロボットの操作を円滑に行うことが困難になる。
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、指導医が通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことが可能な遠隔手術支援システムおよび指導医側操作装置を提供することである。
この発明の第１の局面による遠隔手術支援システムは、第１施設に設置され、内視鏡を保持する第１マニピュレータアームと手術器具を保持する第２マニピュレータアームとを含む外科手術ロボットと、第１施設に設置され、医師が第１マニピュレータアームおよび第２マニピュレータアームを操作するための医師側操作装置と、第１施設とは異なる第２施設に設置され、外部ネットワークを介して外科手術ロボットを指導医が操作するための指導医側操作装置と、１つまたは複数の制御装置と、を備え、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第１表示部と、第１マニピュレータアームおよび第２マニピュレータアームを操作するための第１操作ハンドルと、を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第２表示部と、第１マニピュレータアームおよび第２マニピュレータアームを操作するための第２操作ハンドルと、を含み、制御装置は、指導医側操作装置と外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第２表示部に表示するように構成されている。
この発明の第１の局面による遠隔手術支援システムでは、上記のように、制御装置は、指導医側操作装置と外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第２表示部に表示する。これにより、外部ネットワークを介して指導医側操作装置と外科手術ロボットとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第２表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことができる。
この発明の第２の局面による指導医側操作装置は、第１施設に設置された医師側操作装置と外科手術ロボットとを含む手術システムの外科手術ロボットを、外部ネットワークを介して操作するために、第１施設とは異なる第２施設に設置された指導医側操作装置であって、外科手術ロボットは、内視鏡を保持する第１マニピュレータアームと、手術器具を保持する第２マニピュレータアームとを含み、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第１表示部と、第１マニピュレータアームおよび第２マニピュレータアームを操作するための第１操作ハンドルと、を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第２表示部と、第１マニピュレータアームおよび第２マニピュレータアームを操作するための第２操作ハンドルと、を備え、第２表示部は、指導医側操作装置と外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。
この発明の第２の局面による指導医側操作装置では、上記のように、第２表示部は、指導医側操作装置と外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。これにより、外部ネットワークを介して指導医側操作装置と外科手術ロボットとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第２表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことができる。
本発明によれば、指導医が指導医側操作装置と外科手術ロボットとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から外科手術ロボットの操作を行うことができる。
一実施形態による遠隔手術支援システムの構成を示す図である。 一実施形態による外科手術ロボットを示す図である。 一実施形態による医師側操作装置および指導医側操作装置を示す図である。 一実施形態による遠隔手術支援システムの構成を示すブロック図である。 一実施形態による遠隔手術支援システムのスコープ型表示装置を示した図である。 一実施形態による遠隔手術支援システムの通信に関する構成を示すブロック図である。 一実施形態による遠隔手術支援システムの表示画面の一例を示す図である。 一実施形態による通信に関する情報の第１表示例を示す図である。 一実施形態による通信に関する情報の第２表示例を示す図である。 一実施形態による通信に関する情報の第３表示例を示す図である。 一実施形態による通信に関する情報の第４表示例を示す図である。 一実施形態による通信に関する情報の第５表示例を示す図である。 一実施形態による通信に関する情報の第６表示例を示す図である。 一実施形態による通信に関する情報の第７表示例を示す図である。 一実施形態による通信状態取得処理を説明するためのフローチャートである。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
図１～図１５を参照して、一実施形態による遠隔手術支援システム１００の構成について説明する。
図１に示すように、遠隔手術支援システム１００は、患者Ｐが載置された手術台１０１の近傍に設置された外科手術ロボット１と、外科手術ロボット１を医師Ａ１が操作するための医師側操作装置２と、外部ネットワークＮを介して外科手術ロボット１を指導医Ａ２が操作するための指導医側操作装置３とを備える。外科手術ロボット１と医師側操作装置２とは、第１施設Ｂ１に設置されている。指導医側操作装置３は、第１施設Ｂ１とは異なる第２施設Ｂ２に設置されている。第１施設Ｂ１では、外科手術ロボット１の近くに手術スタッフとして助手Ａ３が配置されている。また、第１施設Ｂ１には、助手Ａ３と情報共有するための情報共有装置４が設置されている。また、第２施設Ｂ２では、指導医側操作装置３の近くに遠隔手術スタッフとして臨床工学技士Ａ４が配置されている。
図２に示すように、外科手術ロボット１は、内視鏡５を保持する１つのマニピュレータアーム１１と、手術器具６を保持する複数（３つ）のマニピュレータアーム１２とを備える。内視鏡５は、患者Ｐの内部の手術部位を撮像する。手術器具６は、鉗子などのエンドエフェクタが先端に取り付けられている。また、医師側操作装置２および指導医側操作装置３は、マニピュレータアーム１１および１２を操作するために設けられている。なお、マニピュレータアーム１１および１２は、それぞれ、特許請求の範囲の「第１マニピュレータアーム」および「第２マニピュレータアーム」の一例である。
外科手術ロボット１は、第１施設Ｂ１の手術室内に配置されている。また、外科手術ロボット１は、医療用台車１３と、ポジショナ１４と、アームベース１５とを備える。外科手術ロボット１は、医療用台車１３により移動可能に構成されている。医療用台車１３には、外科手術ロボット１の動作を制御する制御装置１６が設けられている。制御装置１６は、医師側操作装置２または指導医側操作装置３に入力された指令に基づいて、外科手術ロボット１の動作を制御する。制御装置１６は、プログラムを実行するＣＰＵなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。なお、制御装置１６は、特許請求の範囲の「制御装置」の一例である。
また、医療用台車１３には、入力装置１７が設けられている。入力装置１７は、主に施術前に手術の準備を行うために、マニピュレータアーム１１、マニピュレータアーム１２、ポジショナ１４、および、アームベース１５の移動や姿勢の変更の操作を受け付けるように構成されている。
ポジショナ１４は、たとえば、７軸多関節ロボットにより構成されている。また、ポジショナ１４は、医療用台車１３上に配置されている。ポジショナ１４は、アームベース１５を移動させる。具体的には、ポジショナ１４は、アームベース１５の位置を３次元に移動させるように構成されている。
アームベース１５は、ポジショナ１４の先端に取り付けられている。また、マニピュレータアーム１１およびマニピュレータアーム１２は、各々の根元部がアームベース１５に取り付けられている。アームベース１５、マニピュレータアーム１１、および、マニピュレータアーム１２は、滅菌ドレープにより覆われて使用される。
図１に示すように、医師側操作装置２は、たとえば、第１施設Ｂ１の手術室の中または手術室の外に配置されている。また、医師側操作装置２は、医師側操作装置本体２ａを備える。図３に示すように、医師側操作装置本体２ａは、操作ハンドル２１と、フットペダル２２と、タッチパネル２３と、スコープ型表示装置２４と、アームレスト２５と、音声通信装置２６と、センサ２７と、制御装置２８と、支持アーム３０とを備える。なお、操作ハンドル２１は、特許請求の範囲の「第１操作ハンドル」の一例である。また、タッチパネル２３は、特許請求の範囲の「切替部」の一例である。また、スコープ型表示装置２４は、特許請求の範囲の「第１表示部」の一例である。また、音声通信装置２６は、特許請求の範囲の「第１音声通信部」の一例である。
操作ハンドル２１は、操作者（医師Ａ１）が指令を入力するための操作用のハンドルを構成する。操作ハンドル２１は、操作者（医師Ａ１）がマニピュレータアーム１１および１２（内視鏡５および手術器具６）を操作するために設けられている。また、操作ハンドル２１は、マニピュレータアーム１１および１２（内視鏡５および手術器具６）に対する操作量を受け付ける。操作ハンドル２１は、操作者（医師Ａ１）の左手により操作される左手用操作ハンドル２１Ｌと、操作者（医師Ａ１）の右手により操作される右手用操作ハンドル２１Ｒとの一対の操作ハンドルを含む。操作ハンドル２１Ｌで一つのマニピュレータアーム１２に保持された手術器具６を操作し、操作ハンドル２１Ｒで他のマニピュレータアーム１２に保持された手術器具６を操作する。
また、操作ハンドル２１は、操作ハンドル２１によって受け付けられた操作量に対して内視鏡５および手術器具６の移動量が変更（スケーリング）される。たとえば、移動量の倍率が１／２倍に設定されている場合、内視鏡５および手術器具６は、操作ハンドル２１の移動距離の１／２の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。
フットペダル２２は、内視鏡５および手術器具６に関する機能を実行するための複数のペダルを含む。複数のペダルは、たとえば、凝固ペダルと、切断ペダルと、カメラペダルと、クラッチペダルとを含む。複数のペダルは、操作者（医師Ａ１）の足により操作される。カメラペダルが操作されると操作ハンドル２１でマニピュレータアーム１１に保持された内視鏡を移動させることができる。このとき操作ハンドル２１Ｌと操作ハンドル２１Ｒの両方で内視鏡を操作して移動させる。タッチパネル２３は、医師側操作装置２に関する設定操作を受け付ける。タッチパネル２３は、アームレスト２５に配置されている。スコープ型表示装置２４は、内視鏡５で取得された内視鏡画像（図７参照）を表示する。スコープ型表示装置２４は、操作者（医師Ａ１）のみが表示された画像を見ることが可能な没入型の表示装置である。操作者（医師Ａ１）は、スコープ型表示装置２４により患部を視認しながら、操作ハンドル２１およびフットペダル２２を操作する。支持アーム３０は、スコープ型表示装置２４の高さを医師などの操作者の顔の高さに合わせて調整できるようにスコープ型表示装置２４を支持する。
アームレスト２５は、バー状に形成されており、操作ハンドル２１を操作する際に操作者（医師Ａ１）が腕を置くことが可能なように構成されている。音声通信装置２６は、操作者（医師Ａ１）がスコープ型表示装置２４を覗き込んだ状態で指導医側操作装置３の後述する音声通信装置３６と音声通信することができる位置に配置されている。具体的には、音声通信装置２６は、操作者（医師Ａ１）がスコープ型表示装置２４を覗き込んだ状態で操作者（医師Ａ１）の頭部の近くに位置するように配置されている。音声通信装置２６は、スコープ型表示装置２４に一体的に配置されており、支持アーム３０によって一体的に高さ調整ができる。
センサ２７は、スコープ型表示装置２４が覗き込まれている使用状態であるか否かを検出するように構成されている。センサ２７は、操作者（医師Ａ１）がスコープ型表示装置２４を覗き込んだ状態で操作者（医師Ａ１）の頭部を検出可能な位置に配置されている。センサ２７は、スコープ型表示装置２４に一体的に配置されている。制御装置２８は、医師側操作装置２の動作を制御する。制御装置２８は、プログラムを実行するＣＰＵなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。
以上、医師側操作装置２について説明したが、指導医側操作装置３についても医師側操作装置２と同様の構造になっている。すなわち、図４に示すように、指導医側操作装置３は、指導医側操作装置本体３ａを備える。指導医側操作装置本体３ａは、操作ハンドル３１と、フットペダル３２と、タッチパネル３３と、スコープ型表示装置３４と、アームレスト３５と、音声通信装置３６と、センサ３７と、制御装置３８と、支持アーム３０とを備える。スコープ型表示装置３４は、外部ネットワークＮ（図１参照）を介して送信された内視鏡画像（図７参照）を表示する。また、医師側操作装置２と指導医側操作装置３とは基本的に同じ仕様であるが、タッチパネル２３（３３）を介して、通常モードと遠隔モードとが切り替えられて使用される。なお、操作ハンドル３１は、特許請求の範囲の「第２操作ハンドル」の一例である。また、タッチパネル３３は、特許請求の範囲の「切替部」の一例である。また、スコープ型表示装置３４は、特許請求の範囲の「第２表示部」の一例である。また、音声通信装置３６は、特許請求の範囲の「第２音声通信部」の一例である。
図１および図４に示すように、指導医側操作装置３は、外部ネットワークＮを介して送信された内視鏡画像（図７参照）を表示するタッチパネル表示装置５１と、音声通信装置２６と音声通信を行うため、スコープ型表示装置３４よりもタッチパネル表示装置５１の近くに配置された音声通信装置５２とを備える。なお、タッチパネル表示装置５１は、特許請求の範囲の「第３表示部」の一例である。また、制御装置４３は、特許請求の範囲の「制御装置」の一例である。音声通信装置５２は、特許請求の範囲の「第３音声通信部」の一例である。
タッチパネル表示装置５１と音声通信装置５２とは、指導医側操作装置本体３ａとは独立したユニットとして、指導医側操作装置本体３ａの近くに配置されている。タッチパネル表示装置５１は、たとえば、タッチパネル機能を有する表示装置である。また、タッチパネル表示装置５１は、フラットパネル表示装置または湾曲パネル表示装置である。指導医Ａ２は、指またはタッチパネル用のペンなどを使用して、タッチパネル表示装置５１に指示入力を受け付けさせることにより、指導用の画像を生成させる。指導用の画像は、たとえば、線、円または矢印などであり得る。
図４および図５に示すように、音声通信装置２６、音声通信装置３６および音声通信装置５２は、それぞれマイクロフォン（２６１、３６１、５２１）とスピーカー（２６２、３６２、５２２）とを含む。マイクロフォン２６１（３６１、５２１）は、音声入力を受け付ける。スピーカー２６２（３６２、５２２）は、音声を出力する。また、図５に示すように、スピーカー２６２（３６２）は、操作者（医師Ａ１または指導医Ａ２）がスコープ型表示装置２４（３４）を覗き込んだ状態で操作者の耳に近い位置に配置されている。また、マイクロフォン２６１（３６１）は、操作者（医師Ａ１または指導医Ａ２）がスコープ型表示装置２４（３４）を覗き込んだ状態で操作者の口に近い位置に配置されている。また、マイクロフォン２６１（３６１）およびスピーカー２６２（３６２）は、スコープ型表示装置２４（３４）に一体的に配置されている。
音声通信装置５２は、タッチパネル表示装置５１に一体的に配置されている。音声通信装置５２は、たとえば、マイクロフォン５２１およびスピーカー５２２がタッチパネル表示装置５１に内蔵されている。なお、図１では、タッチパネル表示装置５１と音声通信装置５２とを別々に図示している。
また、医師側操作装置２は、指導医側操作装置３と同様のユニットを備える。すなわち、医師側操作装置２は、内視鏡画像（図７参照）を表示するタッチパネル表示装置６１と、音声通信装置３６および５２と音声通信を行うため、スコープ型表示装置２４よりもタッチパネル表示装置６１の近くに配置された音声通信装置６２と、を備える。タッチパネル表示装置６１を設けることにより、術中に医師Ａ１と指導医Ａ２との間で双方向にアノテーションを行うことができる。
タッチパネル表示装置６１と音声通信装置６２とは、医師側操作装置本体２ａとは独立したユニットとして、医師側操作装置本体２ａの近くに配置されている。タッチパネル表示装置６１は、たとえば、タッチパネル機能を有するフラットパネル表示装置または湾曲パネル表示装置である。
また、音声通信装置６２は、マイクロフォン６２１とスピーカー６２２とを含む。マイクロフォン６２１は、音声入力を受け付ける。スピーカー６２２は、音声を出力する。また、音声通信装置６２は、タッチパネル表示装置６１に一体的に配置されている。音声通信装置６２は、たとえば、マイクロフォン６２１およびスピーカー６２２がタッチパネル表示装置６１に内蔵されている。なお、図１では、タッチパネル表示装置６１と音声通信装置６２とを別々に図示している。
図１および図４に示すように、情報共有装置４は、移動可能なモニタカートである。情報共有装置４は、内視鏡５（図２参照）で取得された内視鏡画像（図７参照）を表示するための表示装置４１と、医師側操作装置２の音声通信装置２６と音声通信を行うための音声通信装置４２と、を備える。また、情報共有装置４は、医師側操作装置２よりも外科手術ロボット１の近くに配置される。これにより、外科手術ロボット１の近くに手術スタッフとして配置された助手Ａ３が、内視鏡画像を確認したり、医師Ａ１と対話することができる。また、音声通信装置４２は、音声通信装置３６および音声通信装置５２の両方と音声通信を行うことが可能である。これにより、外科手術ロボット１の近くに手術スタッフとして配置された助手Ａ３と医師Ａ１との対話を、指導医Ａ２および臨床工学技士Ａ４にも聞かせることができる。また、助手Ａ３が指導医Ａ２および臨床工学技士Ａ４と対話することもできる。また、音声通信装置４２は、マイクロフォン４２１とスピーカー４２２とを含む。マイクロフォン４２１は、音声入力を受け付ける。スピーカー４２２は、音声を出力する。また、表示装置４１は、たとえば、フラットパネル表示装置または湾曲パネル表示装置である。
また、情報共有装置４には、制御装置４３が配置されている。制御装置４３は、画像処理を行う。制御装置４３は、プログラムを実行するＣＰＵなどの処理部と、プログラムが格納されたメモリなどの記憶部とを含んでいる。また、制御装置４３は、第１施設Ｂ１に配置されている。
なお、制御装置４３は、スコープ型表示装置２４、スコープ型表示装置３４、表示装置４１、タッチパネル表示装置５１、および、タッチパネル表示装置６１の各表示装置に、同じ画像を表示する。すなわち、スコープ型表示装置２４、スコープ型表示装置３４、表示装置４１、タッチパネル表示装置５１、および、タッチパネル表示装置６１の各表示装置には、同じ内視鏡画像が表示される。
図３～図５に示すように、指導医側操作装置３は、上記のように、スコープ型表示装置３４が覗き込まれている使用状態であるか否かを検出するセンサ３７を備える。制御装置１６は、センサ３７によって使用状態が検出されていない場合に、操作ハンドル３１によるマニピュレータアーム１１および１２の操作を禁止し、センサ３７によって使用状態が検出されている場合に、操作ハンドル３１によるマニピュレータアーム１１および１２の操作を許可する。制御装置１６は、センサ３７によって使用状態が検出されていない場合に、操作ハンドル３１による入力を受け付けないことにより、マニピュレータアーム１１および１２の操作を禁止する。また、制御装置１６は、センサ３７によって使用状態が検出されている場合に、操作ハンドル３１による所定の入力を受け付けることにより、操作ハンドル３１にマニピュレータアーム１２を操作可能に接続する。
なお、医師側操作装置２についても同様である。すなわち、制御装置１６は、センサ２７によって使用状態が検出されていない場合に、操作ハンドル２１によるマニピュレータアーム１１および１２の操作を禁止し、センサ２７によって使用状態が検出されている場合に、操作ハンドル２１による所定の入力を受け付けることにより、操作ハンドル２１にマニピュレータアーム１２を操作可能に接続する。
医師側操作装置２および指導医側操作装置３は、外科手術ロボット１を操作するための操作権限を切り替える切替部を備える。切替部は、アームレスト２５および３５に配置されている。切替部は、アームレスト２５（３５）に配置されたタッチパネル２３（３３）である。これにより、アームレスト２５（３５）に配置されたタッチパネル２３（３３）の操作により、外科手術ロボット１の操作を医師側操作装置２および指導医側操作装置３の間でより容易に切り替えることができる。また、切替部は、操作ハンドル２１（３１）に切り替えスイッチとして設けられていてもよい。これにより、操作ハンドル２１または操作ハンドル３１に設けられた切替スイッチにより、外科手術ロボット１の操作を医師側操作装置２および指導医側操作装置３の間でより容易に切り替えることができる。
図５に示すように、第１施設Ｂ１に設置された外科手術ロボット１、医師側操作装置２および情報共有装置４と、第２施設Ｂ２に設置された指導医側操作装置３とは、外部ネットワークＮを介して接続されている。具体的には、第１施設Ｂ１には、情報共有装置４により生成された画像を送信可能なデータに変換するエンコーダ７１と、ハブ７２と、ルータ７３とが設けられている。また、第２施設Ｂ２には、送信されたデータを画像に復元するデコーダ８１と、ハブ８２と、ルータ８３とが設けられている。
内視鏡５により取得した画像は、情報共有装置４に入力される。情報共有装置４では、図７に示されるように表示エリアｇ１、ｇ２、ｇ３、ｇ４およびｇ５を有するグラフィカルユーザインターフェースＧ１を生成し、内視鏡の画像に重畳する。表示エリアｇ１は、操作ハンドル２１Ｒで操作されている手術器具６の情報を表示し、表示エリアｇ２は、交換用手術器具６の情報を表示し、表示エリアｇ３は、操作ハンドル２１Ｌで操作されている手術器具６の情報を表示し、表示エリアｇ４は、カメラペダルの操作の情報を表示し、表示エリアｇ５は、クラッチペダルの操作の情報を表示する。情報共有装置４によりグラフィカルユーザインターフェースＧ１の重畳された内視鏡の画像は、表示装置４１に表示されるとともに、医師側操作装置２に送られてスコープ型表示装置２４に表示される。また、情報共有装置４により生成されたグラフィカルユーザインターフェースＧ１が重畳された内視鏡の画像は、エンコーダ７１に送られて送信可能なデータに変換される。エンコーダ７１により変換されたデータは、ハブ７２およびルータ７３を介して、外部ネットワークＮにより第２施設Ｂ２に送られる。第２施設Ｂ２では、変換されたデータは、ルータ８３およびハブ８２を介してデコーダ８１に送られる。デコーダ８１では、受信したデータを復元してグラフィカルユーザインターフェースＧ１が重畳された内視鏡の画像にして、指導医側操作装置３に送られてスコープ型表示装置３４に表示される。
第１施設Ｂ１の医師側操作装置２による操作により、操作に基づく信号が外科手術ロボット１に送られて、手術器具６および内視鏡５が動作する。
第２施設Ｂ２の指導医側操作装置３による操作により、操作に基づく信号が、ハブ８２、ルータ８３、外部ネットワークＮ、ルータ７３、ハブ７２を介して、外科手術ロボット１に送られて、手術器具６および内視鏡５が動作する。
また、第１施設Ｂ１に設置された医師側操作装置２、情報共有装置４および音声通信装置６２と、第２施設Ｂ２に設置された指導医側操作装置３および音声通信装置５２との間の音声通信は、ハブ７２、ルータ７３、外部ネットワークＮ、ルータ８３およびハブ８２を介して、情報が送受信される。
ここで、本実施形態では、制御装置１６は、指導医側操作装置３と外科手術ロボット１との間の通信の状態を取得する。そして、図７～図１４に示すように、制御装置４３は、制御装置１６により取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１を生成し、内視鏡画像に重畳してスコープ型表示装置３４に表示する。
これにより、外部ネットワークＮを介して指導医側操作装置３と外科手術ロボット１とを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、スコープ型表示装置３４に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１により、通信の状態を指導医Ａ２が容易に確認することができる。その結果、指導医Ａ２が指導医側操作装置３と外科手術ロボット１との間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置３から外科手術ロボット１の操作を行うことができる。例えば、操作の遅延が生じている場合、指導医Ａ２は、どの程度遅延が生じているかをグラフィカルユーザインターフェースＧ１により認識し、それを考慮しながら外科手術ロボット１の操作を行うことができる。
また、制御装置４３は、第１施設Ｂ１に配置されており、グラフィカルユーザインターフェースＧ１を重畳した内視鏡画像を、外部ネットワークＮを介してスコープ型表示装置３４に表示する。これにより、手術が行われている第１施設Ｂ１に配置された制御装置４３により、グラフィカルユーザインターフェースＧ１を内視鏡画像に重畳する処理を行うので、内視鏡画像に対して遅延なくグラフィカルユーザインターフェースＧ１を重畳することができる。
また、制御装置４３は、グラフィカルユーザインターフェースＧ１を重畳した内視鏡画像を、医師側操作装置２のスコープ型表示装置２４に表示する。これにより、指導医Ａ２のみならず手術が行われている側の医師Ａ１も、通信の状態を把握することができるので、指導医Ａ２と医師Ａ１との間において情報の認識の差が生じるのを抑制することができる。
また、制御装置４３は、グラフィカルユーザインターフェースＧ１を重畳した内視鏡画像を、第１施設Ｂ１のタッチパネル表示装置６１および情報共有装置４の表示装置４１および第２施設Ｂ２のタッチパネル表示装置５１に表示する。これにより、第１施設Ｂ１の助手Ａ３や臨床工学技士、第２施設Ｂ２の臨床工学技士も通信の状態を視覚的に把握することができる。
通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１は、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも１つを含む。これにより、通信の遅延時間、通信の遅延の程度を表すアイコンまたは通信の遅延の程度を表す色により、指導医Ａ２が通信の遅延の状態を容易に視覚的に把握することができる。
たとえば、通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１は、図７に示すように、スコープ型表示装置３４の画面の上方の中央付近のエリアＧ１ａに表示される。
たとえば、グラフィカルユーザインターフェースＧ１は、図８に示すように、通信の遅延時間を示す表示Ｇ２を、数値として表示してもよい。
また、図９～図１１に示すように、遅延の程度を表す色の表示Ｇ３ａ、Ｇ３ｂ、Ｇ３ｃは、遅延時間が許容値以下であることを示す第１の色（図９参照）と、遅延時間が許容値を第１の所定値以下の範囲で超えていることを示す第２の色（図１０参照）と、遅延時間が許容値を第１の所定値よりも超えていることを示す第３の色（図１１参照）と、を含んでいてもよい。これにより、通信の遅延時間に応じて段階的に表示される色が変わるので、指導医Ａ２が現在の通信の遅延の程度を色により直感的に把握することができる。
たとえば、遅延の程度が小さいことを示す第１の色を緑色や青色にして、遅延の程度が中程度であることを示す第２の色を黄色にして、遅延の程度が大きいことを示す第３の色を赤色にする。
また、図１２に示すように、通信の状態に関する情報は、遅延時間の経時変化を示す情報の表示Ｇ４を含んでいてもよい。これにより、遅延時間の経時変化の情報を確認することにより、通信の遅延の状態の傾向を指導医Ａ２が容易に把握することができる。この場合、遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含んでいてもよい。これにより、グラフ表示により、通信の遅延の状態の傾向を指導医Ａ２が視覚的に容易に把握することができる。また、このグラフ表示において、図１２に示すように、遅延の程度に応じて異なる色によりグラフを表示してもよい。
また、図１３に示すように、グラフィカルユーザインターフェースＧ１は、スコープ型表示装置３４の画面を取り囲むエリアＧ１ｂに表示されてもよい。
また、図１４に示すように、グラフィカルユーザインターフェースＧ１は、スコープ型表示装置３４の画面の上辺近傍のエリアＧ１ｃに表示されてもよい。
制御装置１６は、指導医側操作装置３と外科手術ロボット１との間の通信の状態を、ハブ７２（８２）の通信状態を監視する装置から取得してもよい。また、制御装置１６は、指導医側操作装置３と外科手術ロボット１との間の通信の状態を、ルータ７３（８３）から取得してもよい。また、制御装置１６は、指導医側操作装置３と外科手術ロボット１との間の通信の状態を、デコーダ８１から取得してもよい。
（通信状態取得処理）
たとえば、制御装置１６は、図１５に示す通信状態取得処理により、ルータ８３により回線性能情報を取得するように制御する。
図１５のステップＳ１において、ルータ８３からＰｉｎｇコマンドをルータ７３に送信する。Ｐｉｎｇコマンドを送信する際に、以下のオプションを設定してもよい。なお、オプションの設定は、固定ではなく変更することも可能である。オプションの設定は、たとえば、送信先（ルータ７３）、繰り返し回数、繰り返し間隔（ミリ秒単位）、計測用パケットの内容、および、計測用パケットのサイズ（バイト単位）を含む。
ステップＳ２において、Ｐｉｎｇコマンドの結果をルータ７３が受信する。ステップＳ３において、ルータ７３により受信結果の加工が行われる。受信結果が加工されたデータは、たとえば、計測日、計測時間、平均パフォーマンス値、パケットの損失値が含まれる。
ステップＳ４において、通信状態が制御装置１６に送信される。これにより、制御装置１６が通信状態を取得する。
（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、制御装置１６は、指導医側操作装置３と外科手術ロボット１との間の通信の状態を取得する。制御装置４３は、制御装置１６により取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１を内視鏡画像に重畳して第２施設Ｂ２のスコープ型表示装置３４に表示する。これにより、外部ネットワークＮを介して指導医側操作装置３と外科手術ロボット１とを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、スコープ型表示装置３４に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１により、通信の状態を指導医Ａ２が容易に確認することができる。その結果、指導医Ａ２が指導医側操作装置３と外科手術ロボット１との間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置３から外科手術ロボット１の操作を行うことができる。
（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
たとえば、上記実施形態では、医師側操作装置と指導医側操作装置との両方が、タッチパネル表示装置および音声通信装置を備える例を示したが、本発明はこれに限られない。たとえば、指導医側操作装置のみが、タッチパネル表示装置および音声通信装置を備えていてもよい。
また、上記実施形態では、複数の制御装置により、本発明の制御処理を行う例を示したが、本発明はこれに限られない。たとえば、１つの制御装置により、本発明の制御処理を行ってもよい。
また、上記実施形態では、本発明の第１表示部および第２表示部として、スコープ型表示装置を設ける例を示したが、本発明はこれに限られない。たとえば、本発明の第１表示部および第２表示部として、スコープ型表示装置以外の湾曲パネル表示装置またはフラットパネル表示装置などを設けてもよい。
また、上記実施形態では、医師側操作装置および指導医側操作装置の両方に、外科手術ロボットを操作するための操作権限を切り替える切替部が設けられている構成の例を示したが、本発明はこれに限られない。本発明では、たとえば、医師側操作装置および指導医側操作装置の一方に、外科手術ロボットを操作するための操作権限を切り替える切替部が設けられていてもよい。
また、上記実施形態では、通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１を表示することにより通信の状態を通知する例を示したが、本発明はこれに限られない。たとえば、通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１の表示に加えて、音声通信装置３６を使用して音や音声メッセージで通信の状態を通知してもよい。音で通知する場合は、「ピー」、「ピピー」、「ピピピー」のように段階分けをすることで通信の遅延具合を通知し、音声で通知する場合は「回線の遅延が大きくなっております」などのメッセージを流すことで、指導医Ａ２に通知するとともにその周囲にいる臨床工学技士Ａ４にも通知することができる。さらに、音声通信装置２６および音声通信装置４２を使用して音や音声メッセージで通信の状態を医師Ａ１や助手Ａ３に通知してもよい。また、通信の状態に関する情報を含むグラフィカルユーザインターフェースＧ１の表示に加えて、操作ハンドル３１や操作ハンドル２１を振動させて通信の状態を通知してもよい。振動で通知する場合は、振動の大きさを段階分けすることで通信の遅延具合を通知することができる。
また、上記実施形態では、情報共有装置の音声通信装置を設けて、音声通信を行う構成の例を示したが、本発明はこれに限られない。本発明では、外科手術ロボットに音声通信装置を設けて、音声通信を行ってもよい。
また、上記実施形態では、第２施設Ｂ２に指導医側操作装置３を設置する例を示したが、本発明はこれに限られない。本発明では、第２施設Ｂ２に医師側操作装置と外科手術ロボットを配置し、モード選択より通常モードが選択された場合は、第２施設Ｂ２の医師側操作装置によって第２施設Ｂ２の外科手術ロボットを操作するようにし、モード選択より遠隔モードが選択された場合は、第２施設Ｂ２の医師側操作装置を指導医側操作装置として機能させ、第２施設Ｂ２の医師側操作装置によって第１施設Ｂ１の外科手術ロボットを操作するようにしても良い。
［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
（項目１）
第１施設に設置され、内視鏡を保持する第１マニピュレータアームと手術器具を保持する第２マニピュレータアームとを含む外科手術ロボットと、
前記第１施設に設置され、医師が前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための医師側操作装置と、
前記第１施設とは異なる第２施設に設置され、外部ネットワークを介して前記外科手術ロボットを指導医が操作するための指導医側操作装置と、
１つまたは複数の制御装置と、を備え、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第１表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第１操作ハンドルと、を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第２表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第２操作ハンドルと、を含み、
前記制御装置は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを前記内視鏡画像に重畳して前記第２表示部に表示するように構成されている、遠隔手術支援システム。
（項目２）
前記通信の状態に関する情報を含むグラフィカルユーザインターフェースは、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも１つを含む、項目１に記載の遠隔手術支援システム。
（項目３）
前記遅延の程度を表す色は、前記遅延時間が許容値以下であることを示す第１の色と、前記遅延時間が前記許容値を第１の所定値以下の範囲で超えていることを示す第２の色と、前記遅延時間が前記許容値を前記第１の所定値よりも超えていることを示す第３の色と、を含む、項目２に記載の遠隔手術支援システム。
（項目４）
前記通信の状態に関する情報は、遅延時間の経時変化を示す情報を含む、項目１～３のいずれか１項に記載の遠隔手術支援システム。
（項目５）
前記遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含む、項目４に記載の遠隔手術支援システム。
（項目６）
前記制御装置は、前記第１施設に配置されており、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記外部ネットワークを介して前記第２表示部に表示する、項目１～５のいずれか１項に記載の遠隔手術支援システム。
（項目７）
前記制御装置は、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記第１表示部に表示する、項目６に記載の遠隔手術支援システム。
（項目８）
前記医師側操作装置および前記指導医側操作装置のうち少なくとも１つは、前記外科手術ロボットを操作するための操作権限を切り替える切替部を含む、項目１～７のいずれか１項に記載の遠隔手術支援システム。
（項目９）
前記切替部は、前記第１操作ハンドルおよび前記第２操作ハンドルのうち少なくとも１つに設けられた切替えスイッチを有する、項目８に記載の遠隔手術支援システム。
（項目１０）
前記医師側操作装置および前記指導医側操作装置のうち少なくとも１つは、アームレストを含み、
前記切替部は、前記アームレストに配置されたタッチパネルを有する、項目８または９に記載の遠隔手術支援システム。
（項目１１）
前記第２施設に配置され、前記内視鏡により取得され、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第３表示部をさらに備え、
前記第１表示部および前記第２表示部は没入型のスコープ型表示装置であり、前記第３表示部は、フラットパネル表示装置または湾曲パネル表示装置である、項目１～１０のいずれか１項に記載の遠隔手術支援システム。
（項目１２）
前記医師側操作装置は、第１音声通信部をさらに含み、
前記指導医側操作装置は、前記第１音声通信部と音声通信を行うための第２音声通信部および第３音声通信部をさらに含み、
前記第３音声通信部は、前記第２音声通信部よりも前記第３表示部に近い位置に配置され、
前記第２音声通信部は、前記第３音声通信部よりも前記第２表示部に近い位置に配置される、項目１１に記載の遠隔手術支援システム。
（項目１３）
前記制御装置は、少なくとも第２音声通信部に、前記通信の状態に対応した音または音声メッセージを通知する、項目１２に記載の遠隔手術支援システム。
（項目１４）
前記制御装置は、前記通信の状態に対応して少なくとも第２操作ハンドルを振動させることにより、前記通信の状態を通知する、項目１～１３のいずれか１項に記載の遠隔手術支援システム。
（項目１５）
第１施設に設置された医師側操作装置と外科手術ロボットとを含む手術システムの前記外科手術ロボットを、外部ネットワークを介して操作するために、前記第１施設とは異なる第２施設に設置された指導医側操作装置であって、
前記外科手術ロボットは、内視鏡を保持する第１マニピュレータアームと、手術器具を保持する第２マニピュレータアームとを含み、
前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第１表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第１操作ハンドルと、を含み、
前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第２表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第２操作ハンドルと、を備え、
前記第２表示部は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された前記内視鏡画像を表示する、指導医側操作装置。
１ 外科手術ロボット
２ 医師側操作装置
３ 指導医側操作装置
５ 内視鏡
６ 手術器具
１１ マニピュレータアーム（第１マニピュレータアーム）
１２ マニピュレータアーム（第２マニピュレータアーム）
１６ 制御装置
２１ 操作ハンドル（第１操作ハンドル）
２３ タッチパネル（切替部）
２５ アームレスト
２４ スコープ型表示装置（第１表示部）
２６ 音声通信装置（第１音声通信部）
３１ 操作ハンドル（第２操作ハンドル）
３３ タッチパネル（切替部）
３４ スコープ型表示装置（第２表示部）
３５ アームレスト
３６ 音声通信装置（第２音声通信部）
４３ 制御装置（制御装置）
５１ タッチパネル表示装置（第３表示部）
５２ 音声通信装置（第３音声通信部）
１００ 遠隔手術支援システム
Ａ１ 医師
Ａ２ 指導医
Ｂ１ 第１施設
Ｂ２ 第２施設
Ｇ１ グラフィカルユーザインターフェース
Ｎ 外部ネットワーク
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、指導医が通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことが可能な遠隔手術支援システムおよび指導医側操作装置を提供することである。
この発明の第１の局面による遠隔手術支援システムは、第１手術器具を保持する第１マニピュレータアーム、第２手術器具を保持する第２マニピュレータアーム、内視鏡を保持する第３マニピュレータアーム、および、医師が第１～第３マニピュレータアームを操作するための医師側操作装置を備えており、第１施設に設置された手術システムと、第１施設とは異なる第２施設に設置され、外部ネットワークを介して第１～第３マニピュレータアームを指導医が操作するための指導医側操作装置と、１つまたは複数の制御装置と、を備え、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第１表示部を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第２表示部を含み、制御装置は、指導医側操作装置と手術システムとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第２表示部に表示するように構成されている。
この発明の第１の局面による遠隔手術支援システムでは、上記のように、制御装置は、指導医側操作装置と手術システムとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを内視鏡画像に重畳して第２表示部に表示する。これにより、外部ネットワークを介して指導医側操作装置と手術システムとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第２表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことができる。
この発明の第２の局面による指導医側操作装置は、医師側操作装置と、第１手術器具を保持する第１マニピュレータアームと、第２手術器具を保持する第２マニピュレータアームと、内視鏡を保持する第３マニピュレータアームとを含み、第１施設に設置された手術システムの前記第１～第３マニピュレータアームを、外部ネットワークを介して操作するために、第１施設とは異なる第２施設に設置された指導医側操作装置であって、医師側操作装置は、内視鏡により取得した内視鏡画像を表示するための第１表示部を含み、指導医側操作装置は、外部ネットワークを介して送信された内視鏡画像を表示するための第２表示部を備え、第２表示部は、指導医側操作装置と手術システムとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。
この発明の第２の局面による指導医側操作装置では、上記のように、第２表示部は、指導医側操作装置と手術システムとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された内視鏡画像を表示する。これにより、外部ネットワークを介して指導医側操作装置と手術システムとを遠隔により接続した場合に、通信状態により操作の遅延などが生じる場合でも、第２表示部に表示される通信の状態に関する情報を含むグラフィカルユーザインターフェースにより、通信の状態を指導医が容易に確認することができる。その結果、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことができる。
本発明によれば、指導医が指導医側操作装置と手術システムとの間の通信の状態を把握しながら、通信の状態に合わせて遠隔により指導医側操作装置から手術システムの操作を行うことができる。
図２に示すように、外科手術ロボット１は、内視鏡５を保持する１つのマニピュレータアーム１１と、手術器具６を保持する複数（３つ）のマニピュレータアーム１２とを備える。内視鏡５は、患者Ｐの内部の手術部位を撮像する。手術器具６は、鉗子などのエンドエフェクタが先端に取り付けられている。また、医師側操作装置２および指導医側操作装置３は、マニピュレータアーム１１および１２を操作するために設けられている。なお、マニピュレータアーム１１は、「第３マニピュレータアーム」の一例であり、マニピュレータアーム１２は、特許請求の範囲の「第１マニピュレータアーム」および「第２マニピュレータアーム」の一例である。
図６に示すように、第１施設Ｂ１に設置された外科手術ロボット１、医師側操作装置２および情報共有装置４と、第２施設Ｂ２に設置された指導医側操作装置３とは、外部ネットワークＮを介して接続されている。具体的には、第１施設Ｂ１には、情報共有装置４により生成された画像を送信可能なデータに変換するエンコーダ７１と、ハブ７２と、ルータ７３とが設けられている。また、第２施設Ｂ２には、送信されたデータを画像に復元するデコーダ８１と、ハブ８２と、ルータ８３とが設けられている。
１ 外科手術ロボット
２ 医師側操作装置
３ 指導医側操作装置
５ 内視鏡
６ 手術器具
１１ マニピュレータアーム（第３マニピュレータアーム）
１２ マニピュレータアーム（第１マニピュレータアーム、第２マニピュレータアーム）
１６ 制御装置
２１ 操作ハンドル（第１操作ハンドル）
２３ タッチパネル（切替部）
２５ アームレスト
２４ スコープ型表示装置（第１表示部）
２６ 音声通信装置（第１音声通信部）
３１ 操作ハンドル（第２操作ハンドル）
３３ タッチパネル（切替部）
３４ スコープ型表示装置（第２表示部）
３５ アームレスト
３６ 音声通信装置（第２音声通信部）
４３ 制御装置（制御装置）
５１ タッチパネル表示装置（第３表示部）
５２ 音声通信装置（第３音声通信部）
１００ 遠隔手術支援システム
Ａ１ 医師
Ａ２ 指導医
Ｂ１ 第１施設
Ｂ２ 第２施設
Ｇ１ グラフィカルユーザインターフェース
Ｎ 外部ネットワーク

Claims (15)

  1. 第１施設に設置され、内視鏡を保持する第１マニピュレータアームと手術器具を保持する第２マニピュレータアームとを含む外科手術ロボットと、
    前記第１施設に設置され、医師が前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための医師側操作装置と、
    前記第１施設とは異なる第２施設に設置され、外部ネットワークを介して前記外科手術ロボットを指導医が操作するための指導医側操作装置と、
    １つまたは複数の制御装置と、を備え、
    前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第１表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第１操作ハンドルと、を含み、
    前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第２表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第２操作ハンドルと、を含み、
    前記制御装置は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態を取得し、取得した通信の状態に関する情報を含むグラフィカルユーザインターフェースを前記内視鏡画像に重畳して前記第２表示部に表示するように構成されている、遠隔手術支援システム。
  2. 前記通信の状態に関する情報を含むグラフィカルユーザインターフェースは、通信の遅延時間、通信の遅延の程度を表すアイコン、および、通信の遅延の程度を表す色による表示のうち少なくとも１つを含む、請求項１に記載の遠隔手術支援システム。
  3. 前記遅延の程度を表す色は、前記遅延時間が許容値以下であることを示す第１の色と、前記遅延時間が前記許容値を第１の所定値以下の範囲で超えていることを示す第２の色と、前記遅延時間が前記許容値を前記第１の所定値よりも超えていることを示す第３の色と、を含む、請求項２に記載の遠隔手術支援システム。
  4. 前記通信の状態に関する情報は、遅延時間の経時変化を示す情報を含む、請求項１に記載の遠隔手術支援システム。
  5. 前記遅延時間の経時変化を示す情報は、遅延時間の傾向を示すグラフを含む、請求項４に記載の遠隔手術支援システム。
  6. 前記制御装置は、前記第１施設に配置されており、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記外部ネットワークを介して前記第２表示部に表示する、請求項１に記載の遠隔手術支援システム。
  7. 前記制御装置は、前記グラフィカルユーザインターフェースを重畳した前記内視鏡画像を、前記第１表示部に表示する、請求項６に記載の遠隔手術支援システム。
  8. 前記医師側操作装置および前記指導医側操作装置のうち少なくとも１つは、前記外科手術ロボットを操作するための操作権限を切り替える切替部を含む、請求項１に記載の遠隔手術支援システム。
  9. 前記切替部は、前記第１操作ハンドルおよび前記第２操作ハンドルのうち少なくとも１つに設けられた切替えスイッチを有する、請求項８に記載の遠隔手術支援システム。
  10. 前記医師側操作装置および前記指導医側操作装置のうち少なくとも１つは、アームレストを含み、
    前記切替部は、前記アームレストに配置されたタッチパネルを有する、請求項８に記載の遠隔手術支援システム。
  11. 前記第２施設に配置され、前記内視鏡により取得され、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第３表示部をさらに備え、
    前記第１表示部および前記第２表示部は没入型のスコープ型表示装置であり、前記第３表示部は、フラットパネル表示装置または湾曲パネル表示装置である、請求項１に記載の遠隔手術支援システム。
  12. 前記医師側操作装置は、第１音声通信部をさらに含み、
    前記指導医側操作装置は、前記第１音声通信部と音声通信を行うための第２音声通信部および第３音声通信部をさらに含み、
    前記第３音声通信部は、前記第２音声通信部よりも前記第３表示部に近い位置に配置され、
    前記第２音声通信部は、前記第３音声通信部よりも前記第２表示部に近い位置に配置される、請求項１１に記載の遠隔手術支援システム。
  13. 前記制御装置は、少なくとも第２音声通信部に、前記通信の状態に対応した音または音声メッセージを通知する、請求項１２に記載の遠隔手術支援システム。
  14. 前記制御装置は、前記通信の状態に対応して少なくとも第２操作ハンドルを振動させることにより、前記通信の状態を通知する、請求項１に記載の遠隔手術支援システム。
  15. 第１施設に設置された医師側操作装置と外科手術ロボットとを含む手術システムの前記外科手術ロボットを、外部ネットワークを介して操作するために、前記第１施設とは異なる第２施設に設置された指導医側操作装置であって、
    前記外科手術ロボットは、内視鏡を保持する第１マニピュレータアームと、手術器具を保持する第２マニピュレータアームとを含み、
    前記医師側操作装置は、前記内視鏡により取得した内視鏡画像を表示するための第１表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第１操作ハンドルと、を含み、
    前記指導医側操作装置は、前記外部ネットワークを介して送信された前記内視鏡画像を表示するための第２表示部と、前記第１マニピュレータアームおよび前記第２マニピュレータアームを操作するための第２操作ハンドルと、を備え、
    前記第２表示部は、前記指導医側操作装置と前記外科手術ロボットとの間の通信の状態に関する情報を含むグラフィカルユーザインターフェースが重畳された前記内視鏡画像を表示する、指導医側操作装置。
JP2022155134A 2022-09-28 2022-09-28 遠隔手術支援システムおよび指導医側操作装置 Pending JP2024048946A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022155134A JP2024048946A (ja) 2022-09-28 2022-09-28 遠隔手術支援システムおよび指導医側操作装置
US18/469,585 US20240099558A1 (en) 2022-09-28 2023-09-19 Remote surgery support system and mentor-side operating device
EP23199410.4A EP4344666A1 (en) 2022-09-28 2023-09-25 Remote surgery support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022155134A JP2024048946A (ja) 2022-09-28 2022-09-28 遠隔手術支援システムおよび指導医側操作装置

Publications (1)

Publication Number Publication Date
JP2024048946A true JP2024048946A (ja) 2024-04-09

Family

ID=88192323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022155134A Pending JP2024048946A (ja) 2022-09-28 2022-09-28 遠隔手術支援システムおよび指導医側操作装置

Country Status (3)

Country Link
US (1) US20240099558A1 (ja)
EP (1) EP4344666A1 (ja)
JP (1) JP2024048946A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527094B2 (en) * 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
WO2008104082A1 (en) * 2007-03-01 2008-09-04 Titan Medical Inc. Methods, systems and devices for threedimensional input, and control methods and systems based thereon
US20110306986A1 (en) * 2009-03-24 2011-12-15 Min Kyu Lee Surgical robot system using augmented reality, and method for controlling same
EP3793780A4 (en) * 2018-05-18 2022-10-05 Corindus, Inc. REMOTE COMMUNICATION AND CONTROL SYSTEM FOR ROBOTIC INTERVENTION PROCEDURES
JP7223734B2 (ja) * 2020-10-23 2023-02-16 川崎重工業株式会社 手術支援システム、手術支援システムの制御装置および手術支援システムの制御方法

Also Published As

Publication number Publication date
US20240099558A1 (en) 2024-03-28
EP4344666A1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
US11857278B2 (en) Roboticized surgery system with improved control
US20180185110A1 (en) Multi-User Medical Robotic System for Collaboration or Training in Minimally Invasive Surgical Procedures
Hills et al. Telepresence technology in medicine: principles and applications
US8892224B2 (en) Method for graphically providing continuous change of state directions to a user of a medical robotic system
US9713500B2 (en) Surgical robot control apparatus
CN108349095A (zh) 机器人系统
JPH07328016A (ja) 手術用マニピュレータシステム
JP6546361B1 (ja) 手術支援装置
AU2021240407B2 (en) Virtual console for controlling a surgical robot
WO2019024785A1 (zh) 用于操纵执行机构的控制台
JP2023541787A (ja) 副ロボットコントローラに制御を移行するための外科用ロボットシステム及び方法
JP2024048946A (ja) 遠隔手術支援システムおよび指導医側操作装置
KR20120045734A (ko) 수술용 로봇 시스템의 마스터 입력장치 및 이를 이용한 수술용 로봇 시스템의 제어방법
Kumar et al. A comparative study of robots in laparoscopic surgeries
JP2024048963A (ja) 遠隔手術支援システムおよび指導医側操作装置
EP4344668A1 (en) Remote surgery support system
JP2024048971A (ja) 遠隔手術支援システムおよび指導医側操作装置
JP2024048949A (ja) 遠隔手術支援トレーニング装置およびトレーニングプログラム
US20210282871A1 (en) System and method for controlling a surgical robotic system
JP2024048950A (ja) 遠隔手術支援システムおよび遠隔手術支援用指導医側操作装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230914