WO2022054498A1 - 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム - Google Patents
医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム Download PDFInfo
- Publication number
- WO2022054498A1 WO2022054498A1 PCT/JP2021/029898 JP2021029898W WO2022054498A1 WO 2022054498 A1 WO2022054498 A1 WO 2022054498A1 JP 2021029898 W JP2021029898 W JP 2021029898W WO 2022054498 A1 WO2022054498 A1 WO 2022054498A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- medical
- medical arm
- unit
- model
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 75
- 230000033001 locomotion Effects 0.000 claims description 117
- 238000003384 imaging method Methods 0.000 claims description 84
- 230000002787 reinforcement Effects 0.000 claims description 47
- 238000011156 evaluation Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 28
- 210000000056 organ Anatomy 0.000 claims description 28
- 230000001133 acceleration Effects 0.000 claims description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 claims description 4
- 230000003183 myoelectrical effect Effects 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 4
- 230000035900 sweating Effects 0.000 claims description 4
- 230000017531 blood circulation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 47
- 238000010801 machine learning Methods 0.000 description 46
- 210000003128 head Anatomy 0.000 description 45
- 230000036544 posture Effects 0.000 description 43
- 238000004891 communication Methods 0.000 description 34
- 238000002674 endoscopic surgery Methods 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 23
- 238000001356 surgical procedure Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 5
- 208000005646 Pneumoperitoneum Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 208000004350 Strabismus Diseases 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000001596 intra-abdominal fat Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45117—Medical, radio surgery manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部（２２２）と、第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部（２２４）と、第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部（２３０）とを備える、医療用アーム制御システムを提供する。
Description
本開示は、医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラムに関する。
近年、内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われている。例えば、下記特許文献１には、内視鏡を支持するアームの制御と、内視鏡の電子ズームの制御とを連動させる技術が開示されている。
近年、内視鏡を支持するロボットアーム装置を自律的に動作させるための開発が進められている。例えば、学習器に、手術内容等とそれに対応する執刀医やスコピストの動作に関する情報を機械学習させ、学習モデルを生成させる。そして、このようにして得られた学習モデルや、制御ルール等を参照して、ロボットアーム装置を自律制御するための制御情報を生成する。
しかしながら、ロボットアーム装置の動作の良し悪しは、人の感性に依存するため、理想的なロボットアーム装置の動作をモデル化することは難しい。そこで、多量のロボットアーム装置の動作に関する情報（臨床データ）を取得し、当該情報を機械学習することによって、理想的なロボットアーム装置の動作のモデルを獲得することが考えられる。しかし、臨床の現場において上記動作に関する情報を大量に収集することが難しいことから、より広い範囲の状況に対して対応可能な動作モデルを効率的に構築することは困難である。
そこで、本開示では、少ない臨床データしか得られない場合であっても、より広い範囲の状況を網羅しつつ、人の感性をも考慮した動作を自律的に行うための学習モデルを効率的に取得することができる、医療用アーム制御システム、医療用アーム装置、医療用アーム制御方法及びプログラムを提案する。
本開示によれば、第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、を備える、医療用アーム制御システムが提供される。
また、本開示によれば、第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための制御モデルを、第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化して得られた自律動作制御モデルを格納する、医療用アーム装置が提供される。
また、本開示によれば、医療用アーム制御システムにより、第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための自律動作制御モデルを、第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化することと、強化した前記自律動作制御モデルを用いて、前記医療用アームを制御することと、を含む、医療用アームの制御方法が提供される。
さらに、本開示によれば、コンピュータを、第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、として機能させる、プログラムが提供される。
以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム１０の構成例
３． 本開示の実施形態を創作するに至る背景
４． 実施形態
４．１ 学習装置２００の詳細構成
４．２ 自律動作制御モデルの生成方法
４．３ 報酬モデルの生成方法
４．４ 自律動作制御モデルの強化方法
４．５ 制御装置３００の詳細構成
４．６ 制御方法
５． まとめ
６． ハードウェア構成
７． 補足
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム１０の構成例
３． 本開示の実施形態を創作するに至る背景
４． 実施形態
４．１ 学習装置２００の詳細構成
４．２ 自律動作制御モデルの生成方法
４．３ 報酬モデルの生成方法
４．４ 自律動作制御モデルの強化方法
４．５ 制御装置３００の詳細構成
４．６ 制御方法
５． まとめ
６． ハードウェア構成
７． 補足
＜＜１． 内視鏡手術システム５０００の構成例＞＞
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、執刀医５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具（医療用器具）５０１７と、内視鏡（医療用観察装置）５００１を支持する支持アーム装置（医療用アーム）５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、執刀医５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具（医療用器具）５０１７と、内視鏡（医療用観察装置）５００１を支持する支持アーム装置（医療用アーム）５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。
（術具５０１７）
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。
（支持アーム装置５０２７）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
（内視鏡５００１）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導かれ、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、本開示の実施形態においては、内視鏡５００１は、前方直視鏡であってもよいし、斜視鏡であってもよく、特に限定されるものではない。
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられることとなる。
（カートに搭載される各種の装置について）
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。
また、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像は、当該表示装置５０４１に表示される。執刀医５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行うことができる。なお、図示を省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、執刀医５０６７又は助手等によって支持されてもよい。
また、ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御することができる。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。さらに、ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号は、倍率や焦点距離等、撮像条件に関する情報を含むことができる。
光源装置５０４３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
入力装置５０４７は、内視鏡手術システム５０００に対する入力インターフェイスである。執刀医５０６７は、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、執刀医５０６７は、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、執刀医５０６７は、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力することができる。なお、入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、及び／又は、レバー等が適用され得る。例えば、入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられていてもよい。
あるいは、入力装置５０４７は、例えば、メガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、執刀医５０６７の身体の一部に装着されるデバイスであってもよい。この場合、これらのデバイスによって検出される執刀医５０６７のジェスチャや視線に応じて、各種の入力が行われることとなる。また、入力装置５０４７は、執刀医５０６７の動きを検出可能なカメラを含むことができ、当該カメラによって撮像された画像から検出される執刀医５０６７のジェスチャや視線に応じて、各種の入力が行われてもよい。さらに、入力装置５０４７は、執刀医５０６７の声を収音可能なマイクロフォンを含むことができ、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば執刀医５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、執刀医５０６７は、所持している術具から手を離すことなく機器を操作することが可能となるため、執刀医５０６７の利便性が向上する。
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び執刀医５０６７の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
＜１．２ 支持アーム装置５０２７の詳細構成例＞
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
例えば、執刀医５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。なお、アーム部５０３１は、いわゆるプライマリ・レプリカ（マスタースレイブ）方式で操作されてもよい。この場合、アーム部５０３１（ペイシェントカートに含まれるアーム）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（術者コンソール）を介して執刀医５０６７によって遠隔操作され得る。
ここで、一般的には、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、本開示の実施形態においては、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
＜１．３ 光源装置５０４３の詳細構成例＞
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又は、インドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光、及び／又は、励起光を供給可能に構成され得る。
＜１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例＞
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
詳細には、図２に示すように、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５とを有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３とを有する。そして、カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、執刀医５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい（ステレオ方式）。３Ｄ表示が行われることにより、執刀医５０６７は術部における生体組織（臓器）の奥行きをより正確に把握することや、生体組織までの距離を把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられてもよい。
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、執刀医５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、及び／又は、撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡５００１に搭載される。
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報、及び／又は、撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を有していてもよい。
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理、及び／又は、手ブレ補正処理等）、及び／又は、拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件が執刀医５０６７によって入力されている場合には、制御部５０６３は、当該執刀医５０６７による入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、執刀医５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又は、これらの複合ケーブルである。
ここで、図示する例においては、伝送ケーブル５０６５を用いて有線で通信が行われているものとしていたが、本開示においては、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフ（例えば、執刀医５０６７）の移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
＜１．５ 内視鏡５００１の構成例＞
続いて、図３を参照して、内視鏡５００１の一例として斜視鏡の基本的構成について説明する。図３は、本開示の一実施形態に係る斜視鏡４１００の構成を示す模式図である。
続いて、図３を参照して、内視鏡５００１の一例として斜視鏡の基本的構成について説明する。図３は、本開示の一実施形態に係る斜視鏡４１００の構成を示す模式図である。
詳細には、図３に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。斜視鏡４１００は図１及び図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１及び図２で説明したカメラヘッド５００５に対応する。斜視鏡４１００とカメラヘッド４２００は互いに独立して回動可能とされている。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられており、斜視鏡４１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転する。
斜視鏡４１００は、支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また執刀医５０６７や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。
なお、本開示の実施形態においては、内視鏡５００１は、斜視鏡４１００に限定されるものではない。例えば、内視鏡５００１は、内視鏡の先端部の前方を捉える前方直視鏡（図示省略）であってもよく、さらには、内視鏡で捉えた広角画像から画像を切り出す機能（広角／切り出し機能）を有していてもよい。また、例えば、内視鏡５００１は、内視鏡の先端部が執刀医５０６７の操作に従って自由に湾曲することにより視野を可変することができる先端湾曲機能付きの内視鏡（図示省略）であってもよい。また、例えば、内視鏡５００１は、内視鏡の先端部に、視野の異なる複数のカメラユニットを内蔵させて、それぞれのカメラによって異なる画像を得ることができる他方向同時撮影機能付きの内視鏡（図示省略）であってもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、顕微鏡手術システムに適用されてもよい。
＜＜２． 医療用観察システム１０の構成例＞＞
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１０の構成の一例について説明する。図４は、本開示の実施形態に係る医療用観察システム１０の構成の一例を示す図である。図４に示すように、医療用観察システム１０は、内視鏡ロボットアームシステム１００と、学習装置２００と、制御装置３００と、提示装置５００と、執刀医側装置６００と、患者側装置６１０とを主に含む。以下、医療用観察システム１０に含まれる各装置について説明する。
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１０の構成の一例について説明する。図４は、本開示の実施形態に係る医療用観察システム１０の構成の一例を示す図である。図４に示すように、医療用観察システム１０は、内視鏡ロボットアームシステム１００と、学習装置２００と、制御装置３００と、提示装置５００と、執刀医側装置６００と、患者側装置６１０とを主に含む。以下、医療用観察システム１０に含まれる各装置について説明する。
まず、医療用観察システム１０の構成の詳細を説明する前に、医療用観察システム１０の動作の概要について説明する。当該医療用観察システム１０においては、内視鏡ロボットアームシステム１００を用いて、アーム部１０２（上述した支持アーム装置５０２７に対応する）を制御することにより、人手によらずに、アーム部１０２に支持された撮像部１０４（上述した内視鏡５００１に対応する）の位置を好適な位置に固定することができる。従って、当該医療用観察システム１０によれば、術部の画像を安定的に得ることができることから、執刀医５０６７は、手術を円滑に行うことを可能にする。なお、以下に説明においては、内視鏡の位置を移動させたり、固定させたりする人をスコピストと呼び、人手又は機械での制御に関係なく、内視鏡５００１の動作（移動、停止、姿勢の変化を含む）をスコープワークと呼ぶ。
（内視鏡ロボットアームシステム１００）
内視鏡ロボットアームシステム１００は、撮像部１０４（内視鏡５００１）を支持するアーム部１０２（支持アーム装置５０２７）であって、詳細には、図４に示すように、アーム部（医療用アーム）１０２と、撮像部（医療用観察装置）１０４と、光源部１０６とを主に有する。以下に、内視鏡ロボットアームシステム１００に含まれる各機能部について説明する。
内視鏡ロボットアームシステム１００は、撮像部１０４（内視鏡５００１）を支持するアーム部１０２（支持アーム装置５０２７）であって、詳細には、図４に示すように、アーム部（医療用アーム）１０２と、撮像部（医療用観察装置）１０４と、光源部１０６とを主に有する。以下に、内視鏡ロボットアームシステム１００に含まれる各機能部について説明する。
アーム部１０２は、複数の関節部と複数のリンクから構成される多リンク構造体である多関節アーム（図１に示すアーム部５０３１に対応する）を有し、当該アーム部１０２を可動範囲内で駆動させることにより、当該アーム部１０２の先端に設けられる撮像部１０４（内視鏡５００１）の位置及び姿勢の制御することができる。また、アーム部１０２は、アーム部１０２の位置や姿勢のデータを得るために、加速度センサ、ジャイロセンサ、地磁気センサ等を含むモーションセンサ（図示省略）を有していてもよい。
撮像部１０４は、例えばアーム部１０２の先端に設けられ、各種の撮像対象物の画像を撮像する。この場合、アーム部１０２は、撮像部１０４を支持している。なお、本実施形態においては、アーム部１０２の先端には、被写体からの光をイメージセンサまで導くリレーレンズが設けられ、当該リレーレンズによりＣＣＵ５０３９内のイメージセンサに光を導くような構成であってもよい。また、撮像部１０４は、先に説明したように、例えば、斜視鏡４１００、広角／切り出し機能付きの前方直視鏡（図示省略）、先端湾曲機能付きの内視鏡（図示省略）、他方向同時撮影機能付きの内視鏡（図示省略）であってもよく、もしくは、顕微鏡であってもよく、特に限定されるものではない。
さらに、撮像部１０４は、例えば、患者の腹腔内の各種の医療用器具（術具）、臓器等を含む術野画像を撮像することができる。具体的には、撮像部１０４は、撮影対象を動画や静止画の形式で撮影することのできるカメラであり、広角光学系で構成された広角カメラであることが好ましい。例えば、通常の内視鏡の画角が８０°程度であることに対し、本実施形態に係る撮像部１０４の画角は１４０°であってもよい。なお、撮像部１０４の画角は８０°を超えていれば１４０°よりも小さくてもよいし、１４０°以上であってもよい。また、撮像部１０４は、撮像した画像に対応する電気信号（画像信号）を制御装置３００等に送信することができる。なお、図４において、撮像部１０４は内視鏡ロボットアームシステム１００に含まれる必要はなく、アーム部１０２に支持されていればその態様は限定されない。さらに、アーム部１０２は、鉗子５０２３等の医療用器具を支持していてもよい。
また、本開示の実施形態においては、撮像部１０４は、測距することが可能なステレオ方式の内視鏡であってもよい。もしくは、本開示の実施形態においては、撮像部１０４とは別個に、パルス光の反射を用いて測距を行うＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式や、格子状のパターン光を照射して測距を行うストラクチャードライト方式のｄｅｐｔｈセンサが設けられていてもよい。
さらに、光源部１０６は、撮像部１０４が撮像対象物に光を照射する。光源部１０６は、例えば、広角レンズ用のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で実現することができる。光源部１０６は、例えば、通常のＬＥＤと、レンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１０６は、光ファイバ（ライトガイド）で伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１０６は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。なお、図４において、光源部１０６は必ずしも内視鏡ロボットアームシステム１００に含まれる必要はなく、被写体に照射光を与えることができればその態様は限定されるものではない。
（学習装置２００）
学習装置２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、上記内視鏡ロボットアームシステム１００を自律動作させるための自律動作制御情報を生成する際に用いられる学習モデルを生成する装置である。また、本開示の実施形態で使用する学習モデルは、各種の入力情報が有する特徴に基づいて、入力情報の分類や分類結果に応じた処理を行う学習済みモデルの学習を行うことで生成される。学習モデルは、入力層と、複数の中間層（隠れ層）と、出力層とを含む複数のノードを有する多層のニューラルネットワークであるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等により実現されてもよい。例えば、学習モデルの生成は、まず、入力層を介して各種の入力情報が入力され、直列に接続された複数の中間層において入力情報が有する特徴の抽出処理等を行う。次に、出力層を介して、中間層が出力した情報に基づく分類結果等の各種処理結果を入力された入力情報に対応する出力情報として出力することによって、学習モデルを生成することができる。しかしながら、本開示の実施形態においては、これに限定されるものではない。
学習装置２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、上記内視鏡ロボットアームシステム１００を自律動作させるための自律動作制御情報を生成する際に用いられる学習モデルを生成する装置である。また、本開示の実施形態で使用する学習モデルは、各種の入力情報が有する特徴に基づいて、入力情報の分類や分類結果に応じた処理を行う学習済みモデルの学習を行うことで生成される。学習モデルは、入力層と、複数の中間層（隠れ層）と、出力層とを含む複数のノードを有する多層のニューラルネットワークであるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等により実現されてもよい。例えば、学習モデルの生成は、まず、入力層を介して各種の入力情報が入力され、直列に接続された複数の中間層において入力情報が有する特徴の抽出処理等を行う。次に、出力層を介して、中間層が出力した情報に基づく分類結果等の各種処理結果を入力された入力情報に対応する出力情報として出力することによって、学習モデルを生成することができる。しかしながら、本開示の実施形態においては、これに限定されるものではない。
なお、学習装置２００の詳細構成については後述する。また、学習装置２００は、上述した、図４に示す内視鏡ロボットアームシステム１００、制御装置３００、提示装置５００、執刀医側装置６００、患者側装置６１０のうちの少なくともいずれか１つと一体の装置であってもよく、別体の装置であってもよい。もしくは、学習装置２００は、クラウド上に設けられ、内視鏡ロボットアームシステム１００、制御装置３００、提示装置５００、執刀医側装置６００、患者側装置６１０と通信可能に接続された装置であってもよい。
（制御装置３００）
制御装置３００は、上述した学習装置２００で生成した学習モデルに基づいて、内視鏡ロボットアームシステム１００の駆動を制御する。制御装置３００は、例えば、ＣＰＵやＭＰＵ等によって、後述する記憶部に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御装置３００は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。
制御装置３００は、上述した学習装置２００で生成した学習モデルに基づいて、内視鏡ロボットアームシステム１００の駆動を制御する。制御装置３００は、例えば、ＣＰＵやＭＰＵ等によって、後述する記憶部に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御装置３００は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。
なお、制御装置３００の詳細構成については後述する。また、制御装置３００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、提示装置５００、執刀医側装置６００、患者側装置６１０のうちの少なくともいずれか１つと一体の装置であってもよく、別体の装置であってもよい。もしくは、制御装置３００は、クラウド上に設けられ、内視鏡ロボットアームシステム１００、学習装置２００、提示装置５００、執刀医側装置６００、患者側装置６１０と通信可能に接続された装置であってもよい。
（提示装置５００）
提示装置５００は、各種の画像を表示する。提示装置５００は、例えば、撮像部１０４によって撮像された画像を表示する。提示装置５００は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。なお、提示装置５００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、執刀医側装置６００、患者側装置６１０のうちの少なくともいずれか１つと一体の装置であってもよい。もしくは、提示装置５００は、内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、執刀医側装置６００、患者側装置６１０のうちの少なくともいずれか１つと、有線又は無線で通信可能に接続された、別体の装置であってもよい。
提示装置５００は、各種の画像を表示する。提示装置５００は、例えば、撮像部１０４によって撮像された画像を表示する。提示装置５００は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。なお、提示装置５００は、上述した、図４に示す内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、執刀医側装置６００、患者側装置６１０のうちの少なくともいずれか１つと一体の装置であってもよい。もしくは、提示装置５００は、内視鏡ロボットアームシステム１００、学習装置２００、制御装置３００、執刀医側装置６００、患者側装置６１０のうちの少なくともいずれか１つと、有線又は無線で通信可能に接続された、別体の装置であってもよい。
（執刀医側装置６００）
執刀医側装置６００は、執刀医５０６７の近傍に設置される装置であって、詳細には、例えば、ユーザーインタフェース（ＵＩ）６０２であることができる。詳細には、ＵＩ６０２は、執刀医の入力を受け付ける入力装置である。より具体的には、ＵＩ６０２は、執刀医５０６７からのテキスト入力を受け付ける操作スティック（図示省略）、ボタン（図示省略）、キーボード（図示省略）、フットスイッチ（図示省略）、タッチパネル（図示省略）、マスターコンソール（図示省略）や、執刀医５０６７からの音声入力を受け付ける収音装置（図示省略）であることができる。また、ＵＩ６０２は、執刀医５０６７の視線を検出する視線センサ（図示省略）、執刀医５０６７の動作を検出するモーションセンサ（図示省略）等を含み、執刀医５０６７の視線の動きや動作による入力を受け付けてもよい。
執刀医側装置６００は、執刀医５０６７の近傍に設置される装置であって、詳細には、例えば、ユーザーインタフェース（ＵＩ）６０２であることができる。詳細には、ＵＩ６０２は、執刀医の入力を受け付ける入力装置である。より具体的には、ＵＩ６０２は、執刀医５０６７からのテキスト入力を受け付ける操作スティック（図示省略）、ボタン（図示省略）、キーボード（図示省略）、フットスイッチ（図示省略）、タッチパネル（図示省略）、マスターコンソール（図示省略）や、執刀医５０６７からの音声入力を受け付ける収音装置（図示省略）であることができる。また、ＵＩ６０２は、執刀医５０６７の視線を検出する視線センサ（図示省略）、執刀医５０６７の動作を検出するモーションセンサ（図示省略）等を含み、執刀医５０６７の視線の動きや動作による入力を受け付けてもよい。
（患者側装置６１０）
患者側装置６１０は、例えば、患者（図示省略）の身体に装着された装置（ウェアラブルデバイス）であって、詳細には、例えば、センサ６１２であることができる。詳細には、センサ６１２は、患者の生体情報を検出するセンサであり、例えば、患者の身体の一部に直接的に装着され、患者の、心拍、脈拍、血圧、血中酸素濃度、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する各種センサであることができる。また、センサ６１２は、撮像装置（図示省略）を含んでもよく、この場合、当該撮像装置によって、患者の脈拍、表情筋の動き（表情）、眼球運動、瞳孔径の大きさ、視線等の情報を含むセンシングデータを取得してもよい。さらに、センサ６１２は、モーションセンサ（図示省略）を含んでもよく、例えば、患者の、頭の動きや姿勢、身体の揺れ等の情報を含むセンシングデータを取得することができる。
患者側装置６１０は、例えば、患者（図示省略）の身体に装着された装置（ウェアラブルデバイス）であって、詳細には、例えば、センサ６１２であることができる。詳細には、センサ６１２は、患者の生体情報を検出するセンサであり、例えば、患者の身体の一部に直接的に装着され、患者の、心拍、脈拍、血圧、血中酸素濃度、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗等を測定する各種センサであることができる。また、センサ６１２は、撮像装置（図示省略）を含んでもよく、この場合、当該撮像装置によって、患者の脈拍、表情筋の動き（表情）、眼球運動、瞳孔径の大きさ、視線等の情報を含むセンシングデータを取得してもよい。さらに、センサ６１２は、モーションセンサ（図示省略）を含んでもよく、例えば、患者の、頭の動きや姿勢、身体の揺れ等の情報を含むセンシングデータを取得することができる。
＜＜３． 本開示の実施形態を創作するに至る背景＞＞
ところで、先に説明したように、上述した医療用観察システム１０においては、内視鏡ロボットアームシステム１００を自律的に動作させるための開発が進められている。詳細には、医療用観察システム１０における内視鏡ロボットアームシステム１００の自律的動作は、様々な段階にレベル分けすることができる。例えば、執刀医（術者）５０６７をシステムによってガイドするレベル、システムによって、撮像部１０４の位置を移動させる、術部の縫合を行う等といった手術における一部の動作（タスク）を自律的に実行するレベルを挙げることができる。さらには、システムによって手術における動作内容を自動生成し、自動生成した動作から医師が選択した動作を内視鏡ロボットアームシステム１００が行うレベル等を挙げることができる。そして、将来的には、医師の監視下、もしくは、医師の監視なしに、内視鏡ロボットアームシステム１００が手術における全てのタスクを実行するレベルも考えられる。
ところで、先に説明したように、上述した医療用観察システム１０においては、内視鏡ロボットアームシステム１００を自律的に動作させるための開発が進められている。詳細には、医療用観察システム１０における内視鏡ロボットアームシステム１００の自律的動作は、様々な段階にレベル分けすることができる。例えば、執刀医（術者）５０６７をシステムによってガイドするレベル、システムによって、撮像部１０４の位置を移動させる、術部の縫合を行う等といった手術における一部の動作（タスク）を自律的に実行するレベルを挙げることができる。さらには、システムによって手術における動作内容を自動生成し、自動生成した動作から医師が選択した動作を内視鏡ロボットアームシステム１００が行うレベル等を挙げることができる。そして、将来的には、医師の監視下、もしくは、医師の監視なしに、内視鏡ロボットアームシステム１００が手術における全てのタスクを実行するレベルも考えられる。
以下に説明する本開示の実施形態においては、内視鏡ロボットアームシステム１００が、スコピストの代わりに、撮像部１０４の撮影位置を移動させるタスク（スコープワーク）を自律的に実行し、執刀医５０６７が、移動させた撮像部１０４による画像を参照して、直接的に手術、又は、遠隔操作により手術を行う場合での利用を想定している。例えば、内視鏡手術においては、適切でないスコープワークは、執刀医５０６７の疲労や画面酔い等、執刀医５０６７への負担増加につながる。さらに、スコープワークのスキル自体の難しさや熟練者不足の問題もあることから、内視鏡ロボットアームシステム１００によって適切にスコープワークを自律的に行うことが求められている。そのため、内視鏡ロボットアームシステム１００の自律的動作のために、適切なスコープワーク（動作）のモデルを獲得することが求められる。
しかしながら、スコープワークは、執刀医５０６７等によって好みや程度感が異なるため、スコープワークの正解がわかり難い。言い換えると、スコープワークの良し悪しは、人（執刀医５０６７やスコピスト等）の感性に関わるため、スコープワークの良さを定量的に評価して、適切なスコープワークをモデル化することが難しい。そこで、学習器に、手術内容等とそれに対応する執刀医５０６７の手術動作やスコピストのスコープワーク等の動作に関するデータを大量に入力し、機械学習させることにより、適切なスコープワークの学習モデルを生成することが考えられる。
しかしながら、患者ごとに体型、臓器形態、臓器位置等が異なることから、臨床において、より広い範囲の状況を網羅するスコープワークの動作データ（ただし、当該動作データには、アーム部１０２の動作や、患者の臓器計上、臓器位置等を示す情報が含まれる）を取得することは現実的には難しい。加えて、医療現場においては、使用することができる機器や時間に制約があり、さらに、患者のプライバシーを保護する必要があることから、スコープワークの動作データを大量に取得することは難しい。
そこで、上述のような状況を鑑みて、本発明者は、より広い範囲の状況を網羅する学習モデルを獲得するために、機械学習の１つの手法である強化学習を用いることを着想した。ここで、機械学習の各手法について、説明する。
機械学習の手法としては、例えば、教師あり学習、教師なし学習、強化学習等、複数の異なる手法を挙げることができる。
詳細には、教師あり学習では、予め、入力データと、入力データに対する望ましい出力データ（正解となるデータ）（教師データ）との組み合わせを複数用意して、当該組み合わせを再現することができるような入力データと教師データとの関係を導き出すように、これらデータについて、学習器（判定部）は、機械学習を行う。例えば、教師あり学習は、所定の期間におけるアーム部１０２の動作や状態を入力データとして、次の動作（望ましい出力データ）を予測するための学習モデルを獲得するために用いられる。
次に、教師なし学習によって生成されたモデルでは、望ましい出力データ（正解となるデータ）を定義することなく、入力データ間の類似する特徴量を抽出することができる。当該教師なし学習は、データ群から類似するデータをクラスタリングしたり、データ構造を抽出したりする際に用いられる。
また、強化学習は、入力データに対する望ましい出力データ（正解となるデータ）を獲得するために用いられるという点では、上述の教師あり学習と類似する。しかしながら、強化学習においては、教師あり学習のように、入力データと、入力データに対する望ましい出力データ（教師データ）との組み合わせを用いて学習を行うのではなく、代わりに３つの要素（状態（ｓｔａｔｅ）、行動（ａｃｔｉｏｎ）、報酬（ｒｅｗａｒｄ））を用いて試行錯誤による学習を行う。詳細には、強化学習においては、エージェント（例えば、アーム部１０２）が、ある「状態」において、ある「行動」を行ったときに、その行動が正解であれば「報酬」を与えるといった処理を繰り返す。そして、強化学習においては、与えられる報酬が多くなるように試行錯誤を繰り返すことにより、様々な「状態」における適切な「行動」を決定することができる学習モデルを獲得することができる。
より具体的な例を挙げて、強化学習を説明する。ここで、例として、回転一自由度を持つ倒立振子が搭載された台車型ロボットが、当該倒立振り子が倒立状態を保つような動作を行うことを可能にする学習モデルの獲得を考える。上記台車型ロボットには、当該台車型ロボット自身の速度、加速度、及び倒立振子の角度をリアルタイムで取得できるセンサが備わっているものとする。このような場合、強化学習を行う学習器には、台車型ロボットの速度、加速度、及び倒立振子の角度の３つのセンシングデータが「状態」として入力される。そして、当該学習器は、入力された「状態」に基づいて、台車型ロボットの次なる加速度を「行動」として出力する。この際、行動の決定は、確率に基づいた選択によって行われる。すなわち、同じ「状態」が入力された場合であっても、学習器により、毎回同じ「行動」が選択されるとは限らないことになり、これによって試行錯誤が発生することになる。さらに、学習器によって選択された「行動」は、上記台車型ロボットによって実行され、「状態」はさらに変化することになる。
また、この例においては、望ましい「状態」、すなわち倒立振り子が倒立した状態になると「報酬」（価値）が高くなるように、「状態」に与えられる「報酬」が設計されている。例えば、倒立振り子が倒立状態であれば報酬値が１００となり、倒立振り子が倒立状態から１度ずれる毎に２０ずつ報酬値が減じられていくように、「報酬」が設計されている。そこで、現在の「状態」において選択可能な様々な「行動」によって生じる「状態」に与えられる「（即時）報酬」がわかっていることから、学習器は、現在の「状態」において選択可能な「行動」によって得られると期待される将来に渡る報酬の総量を最大化するように、次の「行動」を選択する。そして、学習器は、このような試行錯誤を繰り返すことにより、将来に得らえる報酬の総量を最大化する「行動」が選択されやすくなるように強化する学習を行うこととなる。
このように、強化学習では、正解となるデータを教師データとして予め準備するのではなく、「行動」の結果によって将来的に与えられる「報酬」の総量を最大にするような「行動」を出力する学習モデルを獲得する点が、教師あり学習と異なる点である。
本発明者が創作した本開示の実施形態においては、上述のような強化学習を用いることにより、より広い範囲の状況を網羅する学習モデルを獲得することができる。しかしながら、倒立振子が搭載された台車型ロボットの例においては、その正解の「状態」が明確であることから、「報酬」を定義することは容易である。一方、スコープワークは、先に説明したように、執刀医５０６７等によって好みや程度感が異なるため、その正解の「状態」がわかり難い。従って、適切なスコープワークのための「報酬」を定義することは容易ではない。従って、単に、強化学習を用いるだけでは、適切なスコープワークの自律動作のための学習モデルを獲得することができない。
そこで、本発明者は、強化学習のための「報酬」の定義を機械学習によって獲得することを独自に着想した。本発明者の創作した本開示の実施形態においては、まずは、学習器に、例えば、臨床におけるスコープワークにおける動作のデータと、その際に得られる内視鏡の位置等の状態データとを、それぞれ入力データ（第１の入力データ）と教師データ（第１の教師データ）として入力し、教師あり学習を行うことで、適切なスコープワークの自律動作のための学習モデルを生成する。次に、本実施形態においては、学習器に、臨床におけるスコープワークにおける動作のデータと、それに対する評価スコアとを、それぞれ入力データ（第２の入力データ）と教師データ（第２の教師データ）として入力し、教師あり学習を行うことで、スコープワークに与えられる「報酬」を定義する学習モデルを生成する。さらに、本実施形態においては、例えば仮想臨床データである入力データ（第３の入力データ）を入力された「報酬」を定義する学習モデルによって得られる「報酬」を用いて、適切なスコープワークの自律動作のための学習モデルを強化する強化学習を行う。すなわち、本実施形態によれば、教師あり学習と強化学習とを組み合わせることにより、少ない臨床データしか得られない場合であっても、より広い範囲の状況を網羅しつつ、人の感性をも考慮したスコープワークを自律的に行うための学習モデルを効率的に取得することができる。以下、本発明者が創作した本開示の実施形態の詳細を順次説明する。
なお、本明細書においては、実際に、医師が患者の術部を手術した際に取得される臨床データに対して、仮想臨床データとは、様々な症例や臓器の位置、形状等の条件の下で手術シミュレーションを実施した際に取得されるデータを意味する。
＜＜４． 実施形態＞＞
＜４．１ 学習装置２００の詳細構成＞
まずは、図５を参照して、本開示の実施形態に係る学習装置２００の詳細構成例について説明する。図５は、本実施形態に係る学習装置２００の構成の一例を示すブロック図である。当該学習装置２００は、内視鏡ロボットアームシステム１００を自律動作させるための制御に用いられる学習モデルを生成、強化することができる。詳細には、図５に示すように、学習装置２００は、情報取得部２１０と、機械学習部（第１の判定部）２２２と、機械学習部（第２の判定部）２２４と、強化学習部２３０と、記憶部２４０と、出力部２５０とを主に有する。以下に、学習装置２００の各機能部の詳細について順次説明する。
＜４．１ 学習装置２００の詳細構成＞
まずは、図５を参照して、本開示の実施形態に係る学習装置２００の詳細構成例について説明する。図５は、本実施形態に係る学習装置２００の構成の一例を示すブロック図である。当該学習装置２００は、内視鏡ロボットアームシステム１００を自律動作させるための制御に用いられる学習モデルを生成、強化することができる。詳細には、図５に示すように、学習装置２００は、情報取得部２１０と、機械学習部（第１の判定部）２２２と、機械学習部（第２の判定部）２２４と、強化学習部２３０と、記憶部２４０と、出力部２５０とを主に有する。以下に、学習装置２００の各機能部の詳細について順次説明する。
（情報取得部２１０）
情報取得部２１０は、上述した、内視鏡ロボットアームシステム１００や、ＵＩ６０２及びセンサ６１２から、内視鏡ロボットアームシステム１００の状態、執刀医５０６７等からの入力情報、患者（図示省略）の状態等に関する各種データを取得することができる。さらに、情報取得部２１０は、後述する機械学習部２２２及び機械学習部２２４に取得したデータを出力する。
情報取得部２１０は、上述した、内視鏡ロボットアームシステム１００や、ＵＩ６０２及びセンサ６１２から、内視鏡ロボットアームシステム１００の状態、執刀医５０６７等からの入力情報、患者（図示省略）の状態等に関する各種データを取得することができる。さらに、情報取得部２１０は、後述する機械学習部２２２及び機械学習部２２４に取得したデータを出力する。
本実施形態においては、データとしては、例えば、撮像部１０４で取得した画像等の画像データを挙げることができる。本実施形態においては、情報取得部２１２が取得するデータには、少なくとも画像データが含まれていることが好ましい。なお、本実施形態においては、画像データは、実際の手術した際に取得した画像のデータ（臨床データ）であることが好ましいが、これに限定されるものではなく、例えば、医療用ファントム（模型）を用いた模擬手術に際に取得した画像データ（疑似臨床データ）でもよく、もしくは、３次元グラフィックス等で表現される手術シミュレータで取得した画像データ（仮想臨床データ）であってもよい。さらに、本実施形態においては、画像データには、必ずしも医療用器具（図示省略）又は臓器の画像が含まれていることに限定されるものではなく、例えば、医療用器具の画像だけ、もしくは、臓器の画像だけが含まれていてもよい。また、本実施形態においては、画像データは、撮像部１０４が取得した生データに限定されるものではなく、例えば、撮像部１０４が取得した生データに対して処理（輝度や彩度の調整処理や、画像から医療用器具又は臓器の位置・姿勢・種類の情報（術部情報）を抽出する処理や、セマンティックセグメンテーション等）を施すことで得られたデータであってもよい。加えて、本実施形態においては、画像データに、認識又は推定した手術のシーケンスやコンテキスト等の情報（例えば、メタデータ）を紐づけてもよい。さらに、本実施形態においては、データには、撮像部１０４で取得した画像に対応する撮像条件（例えば、フォーカス、撮像エリア、撮像方向等）の情報が含まれていてもよい。
なお、本明細書においては、上記臨床データとは、実際に、医師が患者の術部を手術した際に取得されたデータを意味する。また、上記疑似臨床データとは、医療用ファントム（模型）等を用いて医師等が模擬手術を行った際に取得されるデータを意味する。また、上記仮想臨床データとは、先に説明したように、様々な症例や臓器の位置、形状等の条件の下で手術シミュレーションを実施した際に取得されるデータを意味する。
また、本実施形態においては、データとしては、例えば、アーム部１０２の先端部や関節部（図示省略）、撮像部１０４の撮影位置、姿勢等の情報であってもよい。本実施形態においては、このようなデータは、スコピストによる手動操作又は自律動作の際に内視鏡ロボットアームシステム１００のアーム部１０２に含まれる関節部５０３３やリンク５０３５（複数の要素）による関節角やリンク長に基づいて、取得することができる。もしくは、本実施形態においては、上記データは、内視鏡ロボットアームシステム１００に設けられたモーションセンサから取得してもよい。なお、内視鏡ロボットアームシステム１００の手動操作としては、スコピストがＵＩ６０２に対して操作を行う方法でもよく、もしくは、スコピストがアーム部１０２の一部を直接的に物理的に把持して力を加えることで、アーム部１０２がその力にしたがって受動的に動作する方法であってもよい。さらに、本実施形態においては、データとしては、アーム部１０２に支持された医療用器具（図示省略）の種類、位置、姿勢等であってもよい。なお、本実施形態においては、上述のデータは、実際の手術した際に取得したデータ（臨床データ）であることが好ましいが、当該データには、疑似臨床データや、仮想臨床データも含まれていてもよい。
さらに、本実施形態においては、データとしては、術部となる臓器の位置、姿勢等の情報や、術部全体の位置情報（例えば、Ｄｅｐｔｈ情報）、より具体的には、術部である臓器と医療用器具の位置関係を示す情報であってもよい。
また、本実施形態においては、データとしては、例えば、患者（図示省略）の生体情報（患者情報）であってもよい。より具体的には、生体情報としては、患者の、視線、瞬き、心拍、脈拍、血圧、毛中酸素量、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、発話音声、姿勢、動作（例えば、頭や体の揺れ）等を挙げることができる。これら生体情報は、内視鏡下手術において記録されることが一般的な臨床データであることが好ましい。
さらに、本実施形態においては、データとしては、例えば、スコープワークに対する評価スコアであってもよい。より具体的には、評価スコアは、執刀医５０６７、スコピスト等の医療従事者（ユーザ）がＵＩ６０２を介して入力した、スコープワークに対する主観評価スコアであってもよい。例えば、医師等の専門家が、スコープワーク（例えば、撮像部１０４による画像）を精査して、Ｎｉｌｓｓｏｎスコアのような、医療分野においてスコピストのスコープワークや能力をスコア付けする際に用いられる評価尺度（例えば、段階的数値によって評価を表現する）に基づいて、スコープワークに対する評価を入力することにより、主観評価スコアを取得することができる。本実施形態においては、このような評価尺度を用いることにより、医療従事者の感性に基づく評価（主観評価）の情報を取得することができる。なお、本実施形態においては、評価尺度は、Ｎｉｌｓｓｏｎスコアといった従来から存在する評価尺度に限定されるものではなく、新たに独自に定めた評価尺度であってもよく、特に限定されるものではない。
（機械学習部２２２、機械学習部２２４）
機械学習部２２２及び機械学習部２２４は、上述した情報取得部２１０から出力されたデータを用いて機械学習を行うことにより、内視鏡ロボットアームシステム１００を自律動作させるための、自律動作制御モデル及び報酬モデルを生成することができる。そして、機械学習部２２２及び機械学習部２２４は、生成した自律動作制御モデル及び報酬モデルを後述する強化学習部２３０へ出力する。生成された報酬モデルは、強化学習部２３０において、生成された自律動作制御モデルを強化学習する際に用いられる。
機械学習部２２２及び機械学習部２２４は、上述した情報取得部２１０から出力されたデータを用いて機械学習を行うことにより、内視鏡ロボットアームシステム１００を自律動作させるための、自律動作制御モデル及び報酬モデルを生成することができる。そして、機械学習部２２２及び機械学習部２２４は、生成した自律動作制御モデル及び報酬モデルを後述する強化学習部２３０へ出力する。生成された報酬モデルは、強化学習部２３０において、生成された自律動作制御モデルを強化学習する際に用いられる。
機械学習部２２２及び機械学習部２２４は、例えば、サポートベクターレグレッションやディープニューラルネットワーク（ＤＮＮ）等の教師あり学習を行う学習器であるものとする。また、本実施形態においては、機械学習部２２２及び機械学習部２２４は、より解析的な扱いが可能なガウス過程回帰（Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓ Ｒｅｇｒｅｓｓｉｏｎ）モデル、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、ファジィルール等の構造を用いた回帰的手法のアルゴリズムを用いてもよく、特に限定されるものではない。
詳細には、機械学習部２２２は、アーム部１０２の先端部や関節部（図示省略）、撮像部（内視鏡）１０４の撮影位置、姿勢、アーム部１０２に支持された医療用器具の種類、位置、姿勢、臓器の位置・姿勢、撮像部１０４で取得した画像（例えば、内視鏡画像）、臓器と医療器具の位置関係を示す情報（Ｄｅｐｔｈ情報）、患者の生体情報（バイタルサイン）等を入力データ（第１の入力データ）として取得する。さらに、機械学習部２２２は、撮像部（内視鏡）１０４の撮影位置、姿勢、撮像部１０４の撮像エリア、撮像方向等を教師データとして取得する。機械学習部２２２に入力されるデータは、臨床において取得される臨床データであることが好ましいが、当該データには、疑似臨床データや、仮想臨床データも含まれていてもよい。そして、機械学習部２２２は、このような入力データと教師データとを機械学習することにより、内視鏡ロボットアームシステム１００を自律動作させるための自律動作制御モデルを生成する。当該自律動作制御モデルは、入力データに応じて、内視鏡ロボットアームシステム１００の動作に係る情報（アーム部１０２の先端、又は、撮像部１０４の位置、姿勢、速度、角速度、加速度、各加速度及び画像の撮像条件（例えば、被写体（例えば、医療用器具）、撮像エリア、撮像方向等）等に関する情報）を出力することができる。
例えば、機械学習部２２２は、撮像部（内視鏡）１０４の撮影位置、姿勢を入力データとして用いることにより、現在の撮像部１０４の状態に基づく、次の撮像部１０４の撮影位置等を決定するための学習モデルを獲得することができる。また、機械学習部２２２は、医療用器具の種類、位置、姿勢を入力データとして用いることにより、処置（例えば、術式）に応じた、撮像部１０４の撮像エリア等を決定するための学習モデルを獲得することができる。また、機械学習部２２２は、臓器の位置を入力データとして用いることにより、臓器に応じた撮像部１０４の撮像エリア等を決定するための学習モデルを獲得することができる。また、機械学習部２２２は、臓器と医療器具の位置関係を示す情報を入力データとして用いることにより、当該位置関係の違いによる次の処置を予測し、適切な撮影距離等を決定するための学習モデルを獲得することができる。さらに、機械学習部２２２は、患者の生体情報の入力データとして用いることにより、患者の状態に応じて処置を決定するための学習モデルを獲得することができる。
機械学習部２２４は、撮像部１０４で取得した画像データ（例えば、内視鏡画像）、患者の生体情報（バイタルサイン）等を入力データ（第２の入力データ）として取得する。さらに、機械学習部２２４は、スコープワークに対する主観評価結果（スコア）（評価スコア）を教師データとして取得する。そして、機械学習部２２４は、このような入力データと教師データとを機械学習することにより、内視鏡ロボットアームシステム１００の動作（スコープワーク）に対して評価（スコア）を与える報酬モデルを生成する。本実施形態においては、機械学習部２２４に入力される入力データは、内視鏡下手術であれば一般的に記録のために取得される臨床データであることから、入力されるデータの収集は容易であり、医療現場の負担になることはない。また、本実施形態においては、機械学習部２２４に入力される教師データである評価スコアについても、スコピストの評価を行うために内視鏡下手術であれば一般的に記録される臨床データであり、評価する立場の医師等も慣れている指標を用いることにより、データの収集を容易にし、医療現場の負担の増加を抑えることができる。従って、本実施形態に係る報酬モデルを生成するための機械学習においては、収集が容易であることから、多量のデータを用いての学習を実現することが可能である。
（強化学習部２３０）
強化学習部２３０は、上記報酬モデルを用いて、強化学習部２３０において上記自律動作制御モデルを強化学習する。強化学習は、先に説明したように、状態、動作（行動）、報酬の３つの要素を用いた学習手法であり、ある状態において、ある動作を実行した場合に、当該動作が正解であれば報酬を与えるといった処理を繰り返すことで、様々な状態における最適な動作を学習させる手法である。
強化学習部２３０は、上記報酬モデルを用いて、強化学習部２３０において上記自律動作制御モデルを強化学習する。強化学習は、先に説明したように、状態、動作（行動）、報酬の３つの要素を用いた学習手法であり、ある状態において、ある動作を実行した場合に、当該動作が正解であれば報酬を与えるといった処理を繰り返すことで、様々な状態における最適な動作を学習させる手法である。
詳細には、図５に示すように、強化学習部２３０は、シミュレータ部２３２と、評価部２３４と、更新部２３６とを有する。具体的には、シミュレータ部２３２は、機械学習部２２２から出力された自律動作制御モデルを用いて、様々なシミュレーション条件（例えば、様々な症例における術部の情報や患者の生体情報）における、内視鏡ロボットアームシステム１００の動作に係る情報（自律動作）（例えば、アーム部１０２の先端、又は、撮像部１０４の位置、姿勢、速度、角速度、加速度、各加速度及び画像の撮像条件（例えば、被写体（例えば、医療用器具）、撮像エリア、撮像方向等）を決定する（仮想臨床データを取得する）。そして、シミュレータ部２３２は、決定に係る情報を、評価部２３４へ出力する。次に、評価部２３４は、機械学習部２２４から出力された報酬モデルを用いて、ある条件（状態）における内視鏡ロボットアームシステム１００の動作（第３の入力データ）に対する報酬を決定する。さらに、更新部２３６は、将来に渡る報酬の総量を最大化するように、次の内視鏡ロボットアームシステム１００の動作を決定（更新）し、シミュレータ部２３２に出力する。さらに、シミュレータ部２３２は、更新された動作の結果である状態の情報（例えば、アーム部１０２の先端、又は、撮像部１０４の位置、姿勢、及び画像データ等）を評価部２３４へ出力する。さらに、評価部２３４は、出力された状態に基づき、内視鏡ロボットアームシステム１００の動作に対する報酬を決定する。
すなわち、本実施形態においては、強化学習部２３０は、初期状態として、機械学習部２２２から取得した自律動作制御モデルを用いて、内視鏡ロボットアームシステム１００の動作を決定するものの、その後、報酬モデルを用いることにより、内視鏡ロボットアームシステム１００の動作を更新する。
本実施形態においては、機械学習部２２４によって得られた「報酬」を定義する報酬モデルによって得られる「報酬」を用いて、適切なスコープワークの自律動作のための学習モデルを強化する強化学習を行うことができる。すなわち、本実施形態によれば、教師あり学習と強化学習とを組み合わせることにより、少ない臨床データしか得られない場合であっても、より広い範囲の状況を網羅しつつ、人の感性をも考慮したスコープワークを自律的に行うための学習モデルを効率的に取得することができる。
なお、本実施形態においては、強化学習部２３０は、例えば、ディープニューラルネットワーク（ＤＮＮ）等の強化学習手法に限定されるものではなく、既知の他の強化学習手法（Ｑ学習、Ｓａｒｓａ、モンテカルロ法、Ａｃｔｏｒ-Ｃｒｉｔｉｃ）を用いてもよい。
（記憶部２４０）
記憶部２４０は、各種の情報を格納することができる。記憶部２４０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部２４０は、各種の情報を格納することができる。記憶部２４０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
（出力部２５０）
出力部２５０は、強化学習部２３０から出力された学習モデル（自律動作制御モデル）を後述する制御装置３００へ出力することができる。
出力部２５０は、強化学習部２３０から出力された学習モデル（自律動作制御モデル）を後述する制御装置３００へ出力することができる。
なお、本実施形態においては、学習装置２００の詳細構成は、図５に示す構成に限定されるものではない。本実施形態においては、学習装置２００は、例えば、情報取得部２１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が使用する医療用器具（図示省略）の、種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。さらに、学習装置２００は、例えば、情報取得部２１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が処置する術部の、臓器の種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。
＜４．２ 自律動作制御モデルの生成方法＞
次に、図６及び図７を参照して、本実施形態に係る自律動作制御モデルの生成方法について説明する。図６は、本実施形態に係るモデルの生成方法の一例を示すフローチャートであり、図７は、本実施形態に係る自律動作制御モデルの生成方法の一例を説明するための説明図である。詳細には、図６に示すように、本実施形態に係る自律動作制御モデルの生成方法は、ステップＳ１０１からステップＳ１０３までの複数のステップを含む。以下に、これら各ステップの詳細について説明する。
次に、図６及び図７を参照して、本実施形態に係る自律動作制御モデルの生成方法について説明する。図６は、本実施形態に係るモデルの生成方法の一例を示すフローチャートであり、図７は、本実施形態に係る自律動作制御モデルの生成方法の一例を説明するための説明図である。詳細には、図６に示すように、本実施形態に係る自律動作制御モデルの生成方法は、ステップＳ１０１からステップＳ１０３までの複数のステップを含む。以下に、これら各ステップの詳細について説明する。
まずは、学習装置２００は、図７に示すように、内視鏡ロボットアームシステム１００や、センサ６１２から、内視鏡ロボットアームシステム１００の状態や患者（図示省略）の状態等に関する各種データを取得する（ステップＳ１０１）。
そして、学習装置２００は、図７に示すように、上記ステップＳ１０１で取得したデータのうち、例えば、撮像部（内視鏡）１０４の撮影位置、姿勢、医療用器具の位置、姿勢、臓器の位置・姿勢、撮像部１０４で取得した画像データ（例えば、内視鏡画像）、患者の生体情報（バイタルサイン）等を入力データ（第１の入力データ）として、撮像部（内視鏡）１０４の撮影位置、姿勢、撮像エリア、撮像方向等を教師データとして、機械学習を行う（ステップＳ１０２）。詳細には、学習装置２００は、例えば、複数の臨床データにおける撮像部（内視鏡）１０４の３次元位置（ｘ，ｙ，ｚ）の情報と、それぞれの確からしさを示す分散（σｘ
２、σｙ
２、σｚ
２）とを取得し、上記分散が微小な（ほぼゼロに近い）３次元位置の情報を教師データとして、当該教師データに紐づけられた入力データとを用いて機械学習を行う。
そして、学習装置２００は、自律動作制御モデルを出力する（ステップＳ１０３）。自律動作制御モデルは、例えば、撮像部（内視鏡）１０４の撮影位置、姿勢、撮像エリア、撮像方向等に関する情報を出力することができる。詳細には、自律動作制御モデルは、例えば、撮像部（内視鏡）１０４の３次元位置（ｘ，ｙ，ｚ）の情報と、その確からしさを示す分散（σｘ
２、σｙ
２、σｚ
２）とを出力することができる。
なお、本実施形態においては、撮像部（内視鏡）１０４の姿勢については、撮像部１０４が前方直視鏡である場合には、患部周辺の体内によって拘束されるため、考慮しなくてもよい。撮像部１０４が、一方先端部が自由に湾曲することにより視野を可変することができる先端湾曲機能付きの内視鏡（図示省略）である場合には、撮像部（内視鏡）１０４の姿勢の情報を追加することが好ましい。
また、本実施形態においては、自律動作制御モデルの生成の際の入力データ及び教師データは、上述したデータに限定されるものではなく、それぞれ複数のデータを組み合わせて用いてもよい。また、自律動作制御モデルからの出力されるデータも上述したデータに限定されるものではない。
＜４．３ 報酬モデルの生成方法＞
次に、本実施形態に係る報酬モデルの生成方法を説明する。なお、報酬モデルを生成する学習装置２００は、図５を用いて説明した本実施形態に係る学習装置２００と同様であるため、ここではその説明を省略する。
次に、本実施形態に係る報酬モデルの生成方法を説明する。なお、報酬モデルを生成する学習装置２００は、図５を用いて説明した本実施形態に係る学習装置２００と同様であるため、ここではその説明を省略する。
まずは、図６及び図８を参照して、本実施形態に係る報酬モデルの生成方法について説明する。図８は、本実施形態に係る報酬モデルの生成方法の一例を説明するための説明図である。詳細には、図６に示すように、本実施形態に係る報酬モデルの生成方法は、自律動作制御モデルの生成と同様に、ステップＳ１０１からステップＳ１０３までの複数のステップを含む。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
まずは、学習装置２００は、図８に示すように、内視鏡ロボットアームシステム１００や、ＵＩ６０２及びセンサ６１２から、撮像部１０４で取得した画像データ（例えば、内視鏡画像）等を入力データ（第２の入力データ）と、スコープワークに対する評価スコアとを、例えば数百件分、取得する（ステップＳ１０１）。なお、本実施形態においては、撮像部１０４で取得した画像データと、それに紐づけられたニルソンスコア等の評価スコアとの組を少なくとも取得することが好ましい。当該画像データは、内視鏡下手術において、比較的取得しやすいデータであり、自律動作制御モデルの生成の際にも取得することから、本実施形態においては、画像データを用いて報酬モデルを生成することが好ましい。また、ニルソンスコア等も、比較的よく用いられている指標であるため、医師の負担を低減することができる。
そして、学習装置２００は、図８に示すように、上記ステップＳ１０１で取得したデータのうち、撮像部１０４で取得した画像データ（例えば、内視鏡画像）、患者の生体情報（バイタルサイン）等を入力データ（第２の入力データ）として、スコープワークに対する評価スコアを教師データとして、機械学習を行う（ステップＳ１０２）。
そして、学習装置２００は、報酬モデルを出力する（ステップＳ１０３）。詳細には、当該報酬モデルは、図８に示すように、スコープワークに対する評価スコアを出力することができる。
なお、本実施形態においては、報酬モデルの生成の際の入力データは、上述したデータに限定されるものではなく、複数のデータを組み合わせて用いてもよい。
以上のように、本実施形態においては、比較的取得が容易な臨床データを用いて、人の感性を反映させた「報酬」モデルを教師あり学習により生成することができる。従って、本実施形態によれば、以下に説明するように、当該報酬モデルを用いて強化学習を行うことが可能になることから、人の感性が反映された自律動作を可能にする学習モデルを獲得することができる。
＜４．４ 自律動作制御モデルの強化方法＞
次に、本実施形態に係る自律動作制御モデルの強化方法を説明する。なお、自律動作制御モデルの強化を行う学習装置２００は、図５を用いて説明した本実施形態に係る学習装置２００と同様であるため、ここではその説明を省略する。
次に、本実施形態に係る自律動作制御モデルの強化方法を説明する。なお、自律動作制御モデルの強化を行う学習装置２００は、図５を用いて説明した本実施形態に係る学習装置２００と同様であるため、ここではその説明を省略する。
まずは、図９及び図１０を参照して、本実施形態に係る自律動作制御モデルの強化方法について説明する。図９は、本実施形態に係る強化学習の一例を示すフローチャートであり、図１０は、本実施形態に係る強化学習の一例を説明するための説明図である。詳細には、図９に示すように、本実施形態に係る自律動作制御モデルの強化方法は、ステップＳ２０１からステップＳ２０４までの複数のステップを含む。以下に、これら各ステップの詳細について説明する。
まずは、学習装置２００は、シミュレーションを実行するにあたり、シミュレーション条件として、様々な症例のデータを取得する（ステップＳ２０１）。例えば、学習装置２００は、患者の体形や臓器の大きさ、硬さ、内臓脂肪の量等の違いを考慮したデータを取得する。
次に、学習装置２００は、自律動作制御モデルを用いて、シミュレーションを行う（ステップＳ２０２）。詳細には、学習装置２００は、上述のステップＳ２０１で取得したデータによるシミュレーション条件における、内視鏡ロボットアームシステム１００の動作に係る情報（自律動作）（例えば、撮像部（内視鏡）１０４の撮像位置、姿勢、医療用器具（図示省略）の位置、姿勢等）を決定する。そして、学習装置２００は、シミュレーションにより、内視鏡ロボットアームシステム１００の動作の結果である状態の情報（例えば、撮像部（内視鏡）１０４の撮像位置、姿勢、医療用器具（図示省略）の位置、姿勢、臓器の位置、撮像部（内視鏡）による画像データ、患者のバイタルサイン）を取得する。
次に、学習装置２００は、報酬モデルを用いて、内視鏡ロボットアームシステム１００の動作（仮想臨床データ）に対して評価（報酬）を決定する（ステップＳ２０３）。
そして、学習装置２００は、将来に渡る報酬の総量を最大化するように、次の内視鏡ロボットアームシステム１００の動作を決定（更新）する（ステップＳ２０４）。
学習装置２００は、例えば、方策勾配法を用いて、ニューラルネットワークによる強化学習を行うことができる。詳細には、本実施形態においては、方策勾配法を用いることで、ある時点での、内視鏡ロボットアームシステム１００の動作を定義することができる。具体的には、内視鏡ロボットアームシステム１００の動作の確率を示す方策関数π（ａ｜ｓ）とした場合、状態ｓを入力として、選択し得る次の行動確率をａとする（自由度が３である場合には、３つの自由度のそれぞれに対する確率が示される）。従って、方策関数自体がニューラルネットワーク構造を有していることから、ニューラルネットワークのパラメータθ（重みやバイアス）とした場合、パラメータθは、方策勾配法を用いて以下の数式（１）により更新することができる。
なお、αは学習率を示し、Ｊ（θ）は、最適化したい目的関数となり、累積報酬（報酬の総量）の期待値に相当する。Ｑπθ（ｓ，ａ）は、状態ｓで選択することができる行動ａの価値を示す。なお、方策関数π（ａ｜ｓ）は、平均と分散とで表現される正規分布関数として扱うことが可能である。
なお、数式（１）を用いた更新においては、微分値∇θＪ（θ）が必要とされるが、方策勾配定理を用いて、以下の数式（２）で近似することができる。なお、ここでｒｔは、上述した報酬モデルによって得られるスコアであるものとする。
以上のように、本実施形態においては、強化学習を用いることにより、臨床にて得られるデータが少ない場合であっても、より広い範囲の状況を網羅する学習モデルを獲得することができる。さらに、本実施形態においては、評価スコアを用いた教師あり学習によって得られた当該報酬モデルを使用して強化学習を行うことが可能になることから、人の感性が反映された自律動作を可能にする学習モデルを獲得することができる。すなわち、本実施形態によれば、教師あり学習と強化学習とを組み合わせることにより、少ない臨床データしか得られない場合であっても、より広い範囲の状況を網羅しつつ、人の感性をも考慮したスコープワークを自律的に行うための学習モデルを効率的に取得することができる。
＜４．５ 制御装置３００の詳細構成＞
次に、図１１を参照して、本開示の実施形態に係る制御装置３００の詳細構成例について説明する。図１１は、本実施形態に係る制御装置３００の構成の一例を示すブロック図である。当該制御装置３００は、強化された自律動作制御モデルを用いて、内視鏡ロボットアームシステム１００を自律制御することができる。詳細には、図１１に示すように、制御装置３００は、処理部３１０と、記憶部３４０とを主に有する。以下に、制御装置３００の各機能部の詳細について順次説明する。
次に、図１１を参照して、本開示の実施形態に係る制御装置３００の詳細構成例について説明する。図１１は、本実施形態に係る制御装置３００の構成の一例を示すブロック図である。当該制御装置３００は、強化された自律動作制御モデルを用いて、内視鏡ロボットアームシステム１００を自律制御することができる。詳細には、図１１に示すように、制御装置３００は、処理部３１０と、記憶部３４０とを主に有する。以下に、制御装置３００の各機能部の詳細について順次説明する。
（処理部３１０）
処理部３１０は、図１１に示すように、情報取得部３１２と、画像処理部３１４と、モデル取得部３１６と、制御部３１８と、出力部３２０とを主に有する。
処理部３１０は、図１１に示すように、情報取得部３１２と、画像処理部３１４と、モデル取得部３１６と、制御部３１８と、出力部３２０とを主に有する。
情報取得部３１２は、上述した、内視鏡ロボットアームシステム１００や、ＵＩ２０２及びセンサ６１２から、内視鏡ロボットアームシステム１００の状態（アーム部１０２や撮像部１０４の位置、姿勢、撮像部１０４の位置、姿勢等）や、医療用器具（図示省略）の位置、姿勢、臓器の位置、術部全体の位置情報（Ｄｅｐｔｈ情報）、患者（図示省略）の状態（バイタルサイン）等に関する各種データをリアルタイムで取得することができる。さらに、情報取得部３１２は、後述する画像処理部３１４及び制御部３１８に取得したデータを出力する。
画像処理部３１４は、撮像部１０４によって撮像された画像に対して種々の処理を実行することができる。具体的には、例えば、画像処理部３１４は、撮像部１０４によって撮像された画像のうち表示対象領域を切り出して拡大することで新たな画像を生成してもよい。そして、生成された画像は、後述する出力部３２０を介して、提示装置５００へ出力される。
モデル取得部３１６は、学習装置２００から強化された自律動作制御モデルを取得、格納して、後述する制御部３１８へ出力することができる。
制御部３１８は、情報取得部３１２からのデータに基づき、取得した強化された自律動作制御モデルを用いて、アーム部１０２の駆動や撮像部１０４を制御したり（制御部３１８は、例えば、関節部のアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部における回転角度及び発生トルクを制御する）、撮像部１０４の撮像条件（例えば、撮像エリア、方向、フォーカス、拡大率等）を制御したりするための、内視鏡ロボットアームシステム１００に与える制御指令ｕを生成する。決定した制御指令は、後述する出力部３２０を介して、内視鏡ロボットアームシステム１００に出力される。
この際、制御部３１８は、例えば、強化された自律動作制御モデルにより分散値等の値が得られる場合には、分散値等に応じて、自律動作制御モデルにより得られた目標値を調整してもよい（例えば、安全のために動作速度を落とす等）。
出力部３２６は、画像処理部３１４で処理された画像を提示装置５００へ出力したり、制御部３１８から出力された制御指令を内視鏡ロボットアームシステム１００に出力したりすることができる。
（記憶部３４０）
記憶部３４０は、各種の情報を格納することができる。記憶部３４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部３４０は、各種の情報を格納することができる。記憶部３４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
なお、本実施形態においては、制御装置３００の詳細構成は、図１１に示す構成に限定されるものではない。本実施形態においては、制御装置３００は、例えば、情報取得部３１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が使用する医療用器具（図示省略）の、種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。さらに、制御装置３００は、例えば、情報取得部３１２から出力された複数のデータから、例えば、画像解析等を用いることにより、執刀医５０６７が処置する術部の、臓器の種類、位置、姿勢等を認識する認識部（図示省略）を有していてもよい。なお、先に説明したように、本実施形態においては、制御装置３００は、上述した、図４に示す内視鏡ロボットアームシステム１００等と一体の装置であってもよく、別体の装置であってもよく、特に限定されるものではない。
＜４．６ 制御方法＞
次に、図１２及び図１３を参照して、本実施形態に係る制御方法について説明する。図１２は、本実施形態に係る制御方法の一例を示すフローチャートであり、図１３は、本実施形態に係る制御方法を説明するための説明図である。詳細には、図１２に示すように、本実施形態に係る制御方法は、ステップＳ３０１からステップＳ３０３までの複数のステップを含むことができる。以下に、これら各ステップの詳細について説明する。
次に、図１２及び図１３を参照して、本実施形態に係る制御方法について説明する。図１２は、本実施形態に係る制御方法の一例を示すフローチャートであり、図１３は、本実施形態に係る制御方法を説明するための説明図である。詳細には、図１２に示すように、本実施形態に係る制御方法は、ステップＳ３０１からステップＳ３０３までの複数のステップを含むことができる。以下に、これら各ステップの詳細について説明する。
制御装置３００は、内視鏡ロボットアームシステム１００や、センサ６１２及びＵＩ６０２を含む執刀医側装置６００から、内視鏡ロボットアームシステム１００の状態等に関する各種データをリアルタイムで取得する（ステップＳ３０１）。制御装置３００は、ステップＳ３０１で取得されたデータに基づき、制御指令を算出、出力する（ステップＳ３０２）。次に、制御装置３００は、ステップＳ３０２で出力された制御指令に基づき、内視鏡ロボットアームシステム１００の制御を行う（ステップＳ３０３）。
以上のように、本実施形態に係る制御方法においては、強化された自律動作制御モデルのみを用いて、内視鏡ロボットアームシステム１００を制御することができる。
＜＜５． まとめ＞＞
以上のように、本開示の実施形態においては学習器に、臨床におけるスコープワークの動作と、その際に得られる状態のデータとを入力データと教師データとして入力し、教師あり学習を行うことで、自律的スコープワークのための学習モデルを生成する。次に、本実施形態においては、学習器に、スコープワークの動作に関するデータ（入力データ）と、それに対する評価データを教師データとして入力し、教師あり学習させることにより、適切なスコープワークに与えられる「報酬」を出力するための学習モデルを生成する。さらに、本実施形態においては、自律的スコープワークのための学習モデルと、「報酬」を出力させるための学習モデルとを用いて、強化学習を行う。すなわち、本実施形態においては、教師あり学習と強化学習とを組み合わせることにより、少ない臨床データしか得られない場合であっても、より広い範囲の状況を網羅しつつ、人の感性をも考慮したスコープワークを自律的に行うための学習モデルを効率的に取得することができる。
以上のように、本開示の実施形態においては学習器に、臨床におけるスコープワークの動作と、その際に得られる状態のデータとを入力データと教師データとして入力し、教師あり学習を行うことで、自律的スコープワークのための学習モデルを生成する。次に、本実施形態においては、学習器に、スコープワークの動作に関するデータ（入力データ）と、それに対する評価データを教師データとして入力し、教師あり学習させることにより、適切なスコープワークに与えられる「報酬」を出力するための学習モデルを生成する。さらに、本実施形態においては、自律的スコープワークのための学習モデルと、「報酬」を出力させるための学習モデルとを用いて、強化学習を行う。すなわち、本実施形態においては、教師あり学習と強化学習とを組み合わせることにより、少ない臨床データしか得られない場合であっても、より広い範囲の状況を網羅しつつ、人の感性をも考慮したスコープワークを自律的に行うための学習モデルを効率的に取得することができる。
なお、本開示の実施形態に係る「報酬」に係る学習モデルは、スコピストのスキルを認定する試験や内視鏡下手術におけるアセスメントに適用することも可能である。また、本開示の実施形態は、スコープワークに適用することに限定されるものではなく、例えば、アーム部１０２によって支持された医療用器具によって術部の縫合を行う等といった手術における一部の動作（タスク）を自律的に実行するような場合にも適用することができる。
＜＜６． ハードウェア構成＞＞
上述してきた各実施形態に係る学習装置２００等の情報処理装置は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る学習装置２００を例に挙げて説明する。図１４は、本開示の実施形態に係る学習装置２００を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び、入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた各実施形態に係る学習装置２００等の情報処理装置は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る学習装置２００を例に挙げて説明する。図１４は、本開示の実施形態に係る学習装置２００を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び、入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る医療用アーム制御方法のためのプログラムを記録する記録媒体である。
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が本開示の実施形態に係る学習装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた、モデルを生成するためのプログラムを実行する。また、ＨＤＤ１４００には、本開示に実施形態に係るモデルを生成するためのプログラムが格納されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置から情報処理プログラムを取得してもよい。
また、本実施形態に係る学習装置２００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。
以上、学習装置２００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
＜＜７． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような制御装置又は制御システムで実行される制御方法、制御装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような制御装置又は制御システムで実行される制御方法、制御装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
また、上述した本開示の実施形態の制御方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、
第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、
第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、
を備える、
医療用アーム制御システム。
（２）
前記医療用アームは、医療用観察装置を支持する、上記（１）に記載の医療用アーム制御システム。
（３）
前記医療用観察装置は、内視鏡である、上記（２）に記載の医療用アーム制御システム。
（４）
前記医療用アームは、医療用器具を支持する、上記（１）に記載の医療用アーム制御システム。
（５）
前記第１の入力データは、前記医療用アームの位置、姿勢、医療用器具の位置、姿勢、術部情報、患者情報及び画像のうちの少なくともいずれか１つの情報を含む、上記（１）～（３）のいずれか１つに記載の医療用アーム制御システム。
（６）
前記第１の入力データ及び前記第１の教師データは、臨床データ、疑似臨床データ又は仮想臨床データである、上記（５）に記載の医療用アーム制御システム。
（７）
前記第１の教師データは、前記医療用アームの位置、姿勢、画像情報のうちの少なくともいずれか１つの情報を含む、上記（５）又は（６）に記載の医療用アーム制御システム。
（８）
前記自律動作制御モデルは、前記医療用アームの位置、姿勢、速度、加速度、及び画像の撮像条件のうちの少なくともいずれか１つに関する情報を出力する、上記（７）に記載の医療用アーム制御システム。
（９）
前記第２の入力データは、患者情報及び画像のうちの少なくともいずれか１つの情報を含む、上記（５）～（８）のいずれか１つに記載の医療用アーム制御システム。
（１０）
前記第２の入力データは、臨床データ、疑似臨床データ又は仮想臨床データである、上記（９）に記載の医療用アーム制御システム。
（１１）
前記患者情報は、患者の、心拍、脈拍、血圧、血流酸素濃度、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗のうちの少なくともいずれか１つの情報を含む、上記（５）～（１０）のいずれか１つに記載の医療用アーム制御システム。
（１２）
前記術部情報は、臓器の種類、位置、姿勢、前記医療用器具と前記臓器との位置関係を示す情報のうちの少なくともいずれか１つの情報を含む、上記（５）～（１１）のいずれか１つに記載の医療用アーム制御システム。
（１３）
強化された前記自律動作制御モデルに基づき、前記医療用アームを制御する制御部をさらに備える、上記（１）～（１２）のいずれか１つに記載の医療用アーム制御システム。
（１４）
前記第２の教師データは、前記医療用アームの状態の評価スコアを含む、上記（１）～（１３）のいずれか１つに記載の医療用アーム制御システム。
（１５）
前記評価スコアは、医師による主観評価による評価スコアである、上記（１４）に記載の医療用アーム制御システム。
（１６）
前記第３の入力データは、仮想臨床データである、上記（１）～（１５）のいずれか１つに記載の医療用アーム制御システム。
（１７）
第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための制御モデルを、第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化して得られた自律動作制御モデルを格納する、医療用アーム装置。
（１８）
医療用アーム制御システムにより、
第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための自律動作制御モデルを、
第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化することと、
強化した前記自律動作制御モデルを用いて、前記医療用アームを制御することと、
を含む、
医療用アームの制御方法。
（１９）
コンピュータを、
第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、
第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、
第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、
として機能させる、プログラム。
（１）
第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、
第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、
第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、
を備える、
医療用アーム制御システム。
（２）
前記医療用アームは、医療用観察装置を支持する、上記（１）に記載の医療用アーム制御システム。
（３）
前記医療用観察装置は、内視鏡である、上記（２）に記載の医療用アーム制御システム。
（４）
前記医療用アームは、医療用器具を支持する、上記（１）に記載の医療用アーム制御システム。
（５）
前記第１の入力データは、前記医療用アームの位置、姿勢、医療用器具の位置、姿勢、術部情報、患者情報及び画像のうちの少なくともいずれか１つの情報を含む、上記（１）～（３）のいずれか１つに記載の医療用アーム制御システム。
（６）
前記第１の入力データ及び前記第１の教師データは、臨床データ、疑似臨床データ又は仮想臨床データである、上記（５）に記載の医療用アーム制御システム。
（７）
前記第１の教師データは、前記医療用アームの位置、姿勢、画像情報のうちの少なくともいずれか１つの情報を含む、上記（５）又は（６）に記載の医療用アーム制御システム。
（８）
前記自律動作制御モデルは、前記医療用アームの位置、姿勢、速度、加速度、及び画像の撮像条件のうちの少なくともいずれか１つに関する情報を出力する、上記（７）に記載の医療用アーム制御システム。
（９）
前記第２の入力データは、患者情報及び画像のうちの少なくともいずれか１つの情報を含む、上記（５）～（８）のいずれか１つに記載の医療用アーム制御システム。
（１０）
前記第２の入力データは、臨床データ、疑似臨床データ又は仮想臨床データである、上記（９）に記載の医療用アーム制御システム。
（１１）
前記患者情報は、患者の、心拍、脈拍、血圧、血流酸素濃度、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗のうちの少なくともいずれか１つの情報を含む、上記（５）～（１０）のいずれか１つに記載の医療用アーム制御システム。
（１２）
前記術部情報は、臓器の種類、位置、姿勢、前記医療用器具と前記臓器との位置関係を示す情報のうちの少なくともいずれか１つの情報を含む、上記（５）～（１１）のいずれか１つに記載の医療用アーム制御システム。
（１３）
強化された前記自律動作制御モデルに基づき、前記医療用アームを制御する制御部をさらに備える、上記（１）～（１２）のいずれか１つに記載の医療用アーム制御システム。
（１４）
前記第２の教師データは、前記医療用アームの状態の評価スコアを含む、上記（１）～（１３）のいずれか１つに記載の医療用アーム制御システム。
（１５）
前記評価スコアは、医師による主観評価による評価スコアである、上記（１４）に記載の医療用アーム制御システム。
（１６）
前記第３の入力データは、仮想臨床データである、上記（１）～（１５）のいずれか１つに記載の医療用アーム制御システム。
（１７）
第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための制御モデルを、第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化して得られた自律動作制御モデルを格納する、医療用アーム装置。
（１８）
医療用アーム制御システムにより、
第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための自律動作制御モデルを、
第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化することと、
強化した前記自律動作制御モデルを用いて、前記医療用アームを制御することと、
を含む、
医療用アームの制御方法。
（１９）
コンピュータを、
第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、
第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、
第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、
として機能させる、プログラム。
１０ 医療用観察システム
１００ 内視鏡ロボットアームシステム
１０２ アーム部
１０４ 撮像部
１０６ 光源部
２００ 学習装置
２１０、３１２ 情報取得部
２２２、２２４ 機械学習部
２３０ 強化学習部
２３２ シミュレータ部
２３４ 評価部
２３６ 更新部
２４０、３４０ 記憶部
２５０、３２０ 出力部
３００ 制御装置
３１０ 処理部
３１４ 画像処理部
３１６ モデル取得部
３１８ 制御部
５００ 提示装置
６００ 執刀医側装置
６０２ ＵＩ
６１０ 患者側装置
６１２ センサ
１００ 内視鏡ロボットアームシステム
１０２ アーム部
１０４ 撮像部
１０６ 光源部
２００ 学習装置
２１０、３１２ 情報取得部
２２２、２２４ 機械学習部
２３０ 強化学習部
２３２ シミュレータ部
２３４ 評価部
２３６ 更新部
２４０、３４０ 記憶部
２５０、３２０ 出力部
３００ 制御装置
３１０ 処理部
３１４ 画像処理部
３１６ モデル取得部
３１８ 制御部
５００ 提示装置
６００ 執刀医側装置
６０２ ＵＩ
６１０ 患者側装置
６１２ センサ
Claims (19)
- 第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、
第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、
第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、
を備える、
医療用アーム制御システム。 - 前記医療用アームは、医療用観察装置を支持する、請求項１に記載の医療用アーム制御システム。
- 前記医療用観察装置は、内視鏡である、請求項２に記載の医療用アーム制御システム。
- 前記医療用アームは、医療用器具を支持する、請求項１に記載の医療用アーム制御システム。
- 前記第１の入力データは、前記医療用アームの位置、姿勢、医療用器具の位置、姿勢、術部情報、患者情報及び画像のうちの少なくともいずれか１つの情報を含む、請求項１に記載の医療用アーム制御システム。
- 前記第１の入力データ及び前記第１の教師データは、臨床データ、疑似臨床データ又は仮想臨床データである、請求項５に記載の医療用アーム制御システム。
- 前記第１の教師データは、前記医療用アームの位置、姿勢、画像情報のうちの少なくともいずれか１つの情報を含む、請求項５に記載の医療用アーム制御システム。
- 前記自律動作制御モデルは、前記医療用アームの位置、姿勢、速度、加速度、及び画像の撮像条件のうちの少なくともいずれか１つに関する情報を出力する、請求項７に記載の医療用アーム制御システム。
- 前記第２の入力データは、患者情報及び画像のうちの少なくともいずれか１つの情報を含む、請求項５に記載の医療用アーム制御システム。
- 前記第２の入力データは、臨床データ、疑似臨床データ又は仮想臨床データである、請求項９に記載の医療用アーム制御システム。
- 前記患者情報は、患者の、心拍、脈拍、血圧、血流酸素濃度、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗のうちの少なくともいずれか１つの情報を含む、請求項５に記載の医療用アーム制御システム。
- 前記術部情報は、臓器の種類、位置、姿勢、前記医療用器具と前記臓器との位置関係を示す情報のうちの少なくともいずれか１つの情報を含む、請求項５に記載の医療用アーム制御システム。
- 強化された前記自律動作制御モデルに基づき、前記医療用アームを制御する制御部をさらに備える、請求項１に記載の医療用アーム制御システム。
- 前記第２の教師データは、前記医療用アームの状態の評価スコアを含む、請求項１に記載の医療用アーム制御システム。
- 前記評価スコアは、医師による主観評価による評価スコアである、請求項１４に記載の医療用アーム制御システム。
- 前記第３の入力データは、仮想臨床データである、請求項１に記載の医療用アーム制御システム。
- 第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための制御モデルを、第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化して得られた自律動作制御モデルを格納する、医療用アーム装置。
- 医療用アーム制御システムにより、
第１の入力データと第１の教師データとを用いて教師あり学習を行って生成された、医療用アームの自律動作のための自律動作制御モデルを、
第２の入力データと第２の教師データとを用いて教師あり学習を行って生成された、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルに第３の入力データを入力して得られた報酬を用いて、強化することと、
強化した前記自律動作制御モデルを用いて、前記医療用アームを制御することと、
を含む、
医療用アームの制御方法。 - コンピュータを、
第１の入力データと第１の教師データとを用いて教師あり学習を行い、医療用アームの自律動作のための自律動作制御モデルを生成する第１の判定部と、
第２の入力データと第２の教師データとを用いて教師あり学習を行い、前記医療用アームの動作に与えられる報酬を算出するための報酬モデルを生成する第２の判定部と、
第３の入力データを用いて前記報酬モデルを実行し、前記報酬モデルによって算出された報酬を用いて、前記自律動作制御モデルを強化する強化学習部と、
として機能させる、プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112021004722.1T DE112021004722T5 (de) | 2020-09-11 | 2021-08-16 | Steuersystem für einen medizinischen arm, medizinische armvorrichtung, steuerungsverfahren für einen medizinischen arm und programm |
| US18/043,623 US20230355332A1 (en) | 2020-09-11 | 2021-08-16 | Medical arm control system, medical arm device, medical arm control method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-152575 | 2020-09-11 | ||
| JP2020152575 | 2020-09-11 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022054498A1 true WO2022054498A1 (ja) | 2022-03-17 |
Family
ID=80632217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/029898 WO2022054498A1 (ja) | 2020-09-11 | 2021-08-16 | 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230355332A1 (ja) |
| DE (1) | DE112021004722T5 (ja) |
| WO (1) | WO2022054498A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102755A (ja) * | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
| US20180296281A1 (en) * | 2017-04-12 | 2018-10-18 | Bio-Medical Engineering (HK) Limited | Automated steering systems and methods for a robotic endoscope |
| WO2018225132A1 (ja) * | 2017-06-05 | 2018-12-13 | オリンパス株式会社 | 医療システムおよび医療システムの作動方法 |
| JP2021061911A (ja) * | 2019-10-10 | 2021-04-22 | Hoya株式会社 | 学習モデルの生成方法、コンピュータプログラム、内視鏡支援システム、及び操作支援装置 |
-
2021
- 2021-08-16 DE DE112021004722.1T patent/DE112021004722T5/de active Pending
- 2021-08-16 WO PCT/JP2021/029898 patent/WO2022054498A1/ja active Application Filing
- 2021-08-16 US US18/043,623 patent/US20230355332A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102755A (ja) * | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
| US20180296281A1 (en) * | 2017-04-12 | 2018-10-18 | Bio-Medical Engineering (HK) Limited | Automated steering systems and methods for a robotic endoscope |
| WO2018225132A1 (ja) * | 2017-06-05 | 2018-12-13 | オリンパス株式会社 | 医療システムおよび医療システムの作動方法 |
| JP2021061911A (ja) * | 2019-10-10 | 2021-04-22 | Hoya株式会社 | 学習モデルの生成方法、コンピュータプログラム、内視鏡支援システム、及び操作支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112021004722T5 (de) | 2023-09-07 |
| US20230355332A1 (en) | 2023-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7003985B2 (ja) | 医療用支持アームシステムおよび制御装置 | |
| WO2020196338A1 (en) | Medical arm system, control device, and control method | |
| CN106456148A (zh) | 使用眼球凝视跟踪的医疗装置、系统和方法 | |
| WO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
| WO2021124716A1 (en) | Method, apparatus and system for controlling an image capture device during surgery | |
| US20230172438A1 (en) | Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs | |
| US20220218427A1 (en) | Medical tool control system, controller, and non-transitory computer readable storage | |
| JPWO2019073814A1 (ja) | 焦点検出装置および方法、並びにプログラム | |
| WO2021111879A1 (ja) | 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ | |
| JPWO2019092950A1 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
| US20230142404A1 (en) | Medical imaging apparatus, learning model generation method, and learning model generation program | |
| EP4191606A1 (en) | Medical assistance system, medical assistance method, and computer program | |
| US20220096164A1 (en) | Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system | |
| WO2022054498A1 (ja) | 医療用アーム制御システム、医療用アーム装置、医療用アームの制御方法及びプログラム | |
| WO2022030142A1 (ja) | 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法 | |
| WO2021125056A1 (en) | Method, apparatus and system for controlling an image capture device during surgery | |
| WO2020203164A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
| WO2021044900A1 (ja) | 施術システム、画像処理装置、画像処理方法、及びプログラム | |
| JP2021074095A (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
| WO2022172733A1 (ja) | 医療用観察装置、観察装置、観察方法及びアダプタ | |
| WO2022249593A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
| WO2022014246A1 (en) | Device, computer program and method for predicting post-surgical performance of a patient | |
| WO2022019057A1 (ja) | 医療用アーム制御システム、医療用アーム制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21866458 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21866458 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |