JP2024521110A - 指示に基づいた、シミュレーションベースの手術開発システム - Google Patents
指示に基づいた、シミュレーションベースの手術開発システム Download PDFInfo
- Publication number
- JP2024521110A JP2024521110A JP2023571916A JP2023571916A JP2024521110A JP 2024521110 A JP2024521110 A JP 2024521110A JP 2023571916 A JP2023571916 A JP 2023571916A JP 2023571916 A JP2023571916 A JP 2023571916A JP 2024521110 A JP2024521110 A JP 2024521110A
- Authority
- JP
- Japan
- Prior art keywords
- surgical
- simulated
- data
- task
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title abstract description 337
- 238000011161 development Methods 0.000 title abstract description 4
- 230000009471 action Effects 0.000 claims abstract description 266
- 238000012549 training Methods 0.000 claims abstract description 157
- 230000007613 environmental effect Effects 0.000 claims description 198
- 238000000034 method Methods 0.000 claims description 168
- 238000010801 machine learning Methods 0.000 claims description 137
- 230000000694 effects Effects 0.000 claims description 118
- 238000001356 surgical procedure Methods 0.000 claims description 90
- 238000004422 calculation algorithm Methods 0.000 claims description 52
- 230000002787 reinforcement Effects 0.000 claims description 17
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 230000010412 perfusion Effects 0.000 claims description 12
- 230000003872 anastomosis Effects 0.000 claims description 11
- 210000004072 lung Anatomy 0.000 claims description 11
- 238000002271 resection Methods 0.000 claims description 11
- 238000013538 segmental resection Methods 0.000 claims description 11
- 239000003356 suture material Substances 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 abstract description 36
- 230000000875 corresponding effect Effects 0.000 description 141
- 238000004891 communication Methods 0.000 description 68
- 230000006854 communication Effects 0.000 description 68
- 238000011282 treatment Methods 0.000 description 53
- 239000003795 chemical substances by application Substances 0.000 description 48
- 230000006870 function Effects 0.000 description 43
- 238000003860 storage Methods 0.000 description 43
- 238000012545 processing Methods 0.000 description 40
- 238000003384 imaging method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 23
- 238000012800 visualization Methods 0.000 description 20
- 230000003993 interaction Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 210000003484 anatomy Anatomy 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 13
- 238000013439 planning Methods 0.000 description 13
- 239000012530 fluid Substances 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 11
- 206010052428 Wound Diseases 0.000 description 10
- 208000027418 Wounds and injury Diseases 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 10
- 239000000779 smoke Substances 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000003032 molecular docking Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000000090 biomarker Substances 0.000 description 5
- 230000002262 irrigation Effects 0.000 description 5
- 238000003973 irrigation Methods 0.000 description 5
- 230000003278 mimic effect Effects 0.000 description 5
- 230000035479 physiological effects, processes and functions Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000007789 sealing Methods 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 206010060933 Adverse event Diseases 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000036512 infertility Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000002432 robotic surgery Methods 0.000 description 2
- 230000001954 sterilising effect Effects 0.000 description 2
- 238000004659 sterilization and disinfection Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000005653 Brownian motion process Effects 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 108010010803 Gelatin Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000005646 Pneumoperitoneum Diseases 0.000 description 1
- 238000012331 Postoperative analysis Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000005537 brownian motion Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 229920000159 gelatin Polymers 0.000 description 1
- 239000008273 gelatin Substances 0.000 description 1
- 235000019322 gelatine Nutrition 0.000 description 1
- 235000011852 gelatine desserts Nutrition 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- -1 sutures Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000029663 wound healing Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Physics (AREA)
- Medicinal Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Medical Informatics (AREA)
- Pure & Applied Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Instructional Devices (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
インタラクティブかつ動的な手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。手術シミュレーションシステムは、指示に基づいた、シミュレーションベースの手術開発を可能にし得る。プロセッサは、手術データシステムから複数の訓練タスク－環境パラメータセットを受信するように構成され得る。プロセッサは、訓練タスク－環境パラメータセットごとに複数の候補アクションセットを生成し得る。各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、対応する有効性を用いて模擬手術タスクを実行させ得る。この情報は、モデルを訓練し、次いで、ターゲットアクションセットを決定するために使用され得る。ターゲットアクションセットは、定義された有効性に従って最適化された、模擬手術タスクを実行する方法を表し得る。
Description
（関連出願の相互参照）
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。
本出願は、同時に出願された以下の出願に関連し、その各々の内容は、参照により本明細書に組み込まれる。
・２０２１年５月２７日出願の「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＯＢＪＥＣＴＲＥＣＴＩＦＩＣＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，５２４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ２）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，３９９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ３）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＣＯＯＲＤＩＮＡＴＥＤ ＩＭＡＧＩＮＩＮＧ」と題する米国特許出願第１７／３３２，４４１号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ４）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＵＬＡＴＥＤ ＳＵＲＧＩＣＡＬ ＥＱＵＩＰＭＥＮＴ ＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥ ＰＬＡＮＮＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＡＤＶＥＲＳＥ ＥＶＥＮＴ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願Ｎｏ．１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・２０２１年５月２７日出願の「ＤＹＮＡＭＩＣ ＡＤＡＰＴＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）
・２０２１年５月２７日出願の「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＯＢＪＥＣＴＲＥＣＴＩＦＩＣＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，５２４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ２）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，３９９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ３）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＣＯＯＲＤＩＮＡＴＥＤ ＩＭＡＧＩＮＩＮＧ」と題する米国特許出願第１７／３３２，４４１号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ４）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＵＬＡＴＥＤ ＳＵＲＧＩＣＡＬ ＥＱＵＩＰＭＥＮＴ ＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥ ＰＬＡＮＮＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＡＤＶＥＲＳＥ ＥＶＥＮＴ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願Ｎｏ．１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・２０２１年５月２７日出願の「ＤＹＮＡＭＩＣ ＡＤＡＰＴＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）
例えば、手術環境及び／又は外科処置のコンピュータベースの３次元シミュレーションなど手術シミュレーションは、手術技術を進歩させる機会を提示する。手術シミュレーションは、手術訓練、計画、開発などに役立つ可能性を有する。例えば、手術シミュレーションは、新たな処置で外科医を訓練するために、及び／又は外科医に既知の処置の実行を向上させるために使用され得る。手術シミュレーションは、外科医が次の処置の準備を支援するための仮想「最終リハーサル」として使用され得る。また、手術シミュレーションは、実証されていない処置及び技法を用いた実験に使用され得る。
しかしながら、手術シミュレーションプラットフォームは、能力、範囲、及び適用可能性において多くの制限に直面する複合システムである。例えば、多くのプラットフォームは、特定の学習目的に対処するように、又は手術ロボットの動作をシミュレートするなど、単一の機器の動作をシミュレートするように特別にプログラムされ、調整された技術「サイロ」である。これらのような制限は、手術技術を進歩させるためのツールとしてのプラットフォームの有効性を低減させ得る。また、そのような制限は、術前計画、術中サポート、術後分析など手術プロセスの他の側面へのシミュレーションベースのアプリケーションの統合に対する重大な技術的障害を表し得る。
したがって、例えば、手術シミュレーション能力、範囲、及び適用可能性に対処する技術的進歩など手術シミュレーション技術における革新は、手術分野における更なる進歩を加速させ得る。
インタラクティブかつ動的な手術シミュレーションシステムが開示される。手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。手術シミュレーションシステムは、指示に基づいた、シミュレーションベースの手術開発を可能にし得る。デバイスは、模擬環境で模擬手術タスクを実行するためのターゲットアクションセットを決定するために使用され得る。例えば、ターゲットアクションセットは、定義された有効性メトリックに従って最適化された模擬手術タスクを実行する方法を表し得る。
プロセッサは、手術データシステムから複数の訓練タスク－環境パラメータセットを受信するように構成され得る。各訓練タスク－環境パラメータセットは、解剖学的情報、生理学的情報、手術セットアップ情報などを含み得る。各訓練タスク－環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応し得る。
プロセッサは、訓練タスク－環境パラメータセットごとに複数の候補アクションセットを生成し得る。各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含み得る。例えば、模擬離断活動は、相対的な解剖学的位置、器具の選択、器具の適用方向などによってパラメータ化され得る。各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、模擬手術タスクを実行させ得る。当該実行は、対応する有効性メトリックによって示されるそれぞれの有効性をもたらし得る。
この情報は、モデルの訓練に使用され得る。プロセッサは、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いてモデルを訓練し得る。また、プロセッサは、モデルを使用して、次いでターゲットタスク－環境パラメータセットに基づいてターゲットアクションセットを決定し得る。
本発明によると、ターゲットアクションセットを決定するためのコンピュータ実施方法が提供され、本方法は、複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、それぞれの模擬手術タスクを実行させる、ことと、訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含み得るように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を含む。
アクションセット（例えば、候補アクションセット、ターゲットアクションセット、又は入力アクションセット）は、手術中に行われる１つ以上のアクションを定義するパラメータセットを指し得ることが理解されよう。いくつかの実施形態では、アクションセットは、オペレータによって行われる、いくつかの外科的選択を指し得る。いくつかの実施形態では、アクションセットは、特定のレイアウトに関する決定（手術スタッフ及び手術器具の両方）を含み得る。アクションセットはまた、手術中に使用される特定の機器を指し得る。換言すると、アクションセットは、持続時間、手術結果、処置の有効性などの両方において手術に影響を及ぼす外科処置の一部を指し得る。候補アクションセット、ターゲットアクションセット、及び入力アクションセットは全て、同一フォーマットを有するデータセットであることを理解されたい。すなわち、機械学習モデルは、候補アクションセットに基づいて訓練されて、任意の「入力」アクションセット間の関係の定義を支援し得る。これにより、機械学習モデルを使用して、ある有効性を有するターゲットアクションセットを所与のシミュレーション内で見出すことができる。
環境パラメータセット（例えば、環境パラメータセット、ターゲット環境パラメータセット、又は入力環境パラメータセット）は、手術シミュレーションの環境全般を定義するパラメータセットを指し得ることも理解され得る。換言すると、環境パラメータセットは、手術シミュレーションの制約及び物理特性を初期化し、定義するパラメータを指す。ターゲットパラメータセット及び環境パラメータセットは全て環境パラメータセットと同一のフォーマットを有するデータセットであることを理解されたい。すなわち、機械学習モデルは、環境パラメータセットに基づいて訓練されて、任意の「入力」環境パラメータセット間の関係の定義を支援し得る。これにより、機械学習モデルを使用して、ある有効性を有するターゲットアクションセットを所与のシミュレーション内で見出すことができる。
いくつかの実施形態では、「機械学習モデルを訓練すること」は、ラベル付きデータセットを使用して教師あり方式でモデルを訓練することを指し得る。この場合、環境パラメータセットとアクションセットとの組み合わせは、入力データであると見なされ得る（特定のシミュレーション環境内で実行される特定のアクションセットを指すため）。訓練目的のこのデータは、その関連付けられた有効性メトリック（すなわち、特定のアクションが当該シミュレーション内でどの程度有効であったかに関するシミュレーションの出力）で「ラベル付け」され得る。このラベル付きデータを機械学習モデルに供給することによって、モデルは、異なるアクション／環境と関連付けられた有効性との間の関係を生成し得る。
誤解を避けるために、「環境パラメータセット」は、アプリケーションが「訓練タスク－環境パラメータセット」（すなわち、機械学習モデルの訓練に使用され得るパラメータセット）と呼ぶものと同一のパラメータセットであり得る。
手術シミュレーションの初期化（環境パラメータセットによって定義される）及びシミュレーション内で行われる特定の選択／アクション（候補アクションセットによって定義される）の両方が、手術の有効性全般（有効性メトリックによって定義される）に影響を及ぼす。
いくつかの実施形態では、「ターゲットアクションセットを決定すること」は、（環境パラメータセットによって定義されるように）所定のシミュレーション内の複数のアクションセットからあるアクションセットを選択することを指し得る。ターゲットアクションセットは、（機械学習モデルへの入力として）機械学習モデルから最良の出力効率メトリックを生成するターゲットアクションセットに基づいて選択され得る。
換言すると、本発明は、シミュレーションの出力データを使用して機械学習モデルの訓練を改善し、次いで、改善された訓練済み人工知能を使用して、特定の手術セットアップ内で実行され得る手術アクション／選択に関する改善された結論を下す。
これの１つの利点は、機械学習モデル（ニューラルネットワークなど）が、ライブ外科処置中に通常は生じ得ない追加データを用いて訓練され得ることである。換言すると、シミュレーションは、「よりリスクの高い」外科的選択及びそれらの結果に関するデータを機械学習モデルに提供することができる。機械学習モデルから得た情報に基づく知能は、適切なデータを収集するために実際の患者がリスクを負う必要なく、実際に有益な効果を有する決定を強調することによって、手術に関する将来の決定を通知することができる。
本実施形態の方法で機械学習モデルの訓練を改善する結果は、決定したターゲットアクションセットによって改善された手術結果が達成され得ることである。
いくつかの実施形態では、複数の環境パラメータセットを受信することは、手術タスクの実世界での実行から実世界の環境データを記録し、実世界の環境データから複数の環境パラメータセットを生成する手術データシステムから複数の環境パラメータセットを受信することを含む。
いくつかの実施形態では、各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む。
いくつかの実施形態では、各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む。
いくつかの実施形態では、パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む。
いくつかの実施形態では、パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む。
いくつかの実施形態では、パラメータ化された活動は、手術ロボット誘導経路を含む。
いくつかの実施形態では、模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた灌流の指標である。
いくつかの実施形態では、模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた出力肺気量の指標である。
いくつかの実施形態では、本方法は、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む。
いくつかの実施形態では、機械学習モデルを訓練することは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて機械学習モデルを訓練することを含む。
本発明によると、ターゲットアクションセットを決定するためのデバイスも提供され、本デバイスは、プロセッサを備え、プロセッサは、手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、対応する環境セットに対応するそれぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、それぞれの模擬手術タスクを実行させる、ことと、訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含み得るように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている。
いくつかの実施形態では、手術データシステムは、手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、実世界の環境データから複数の環境パラメータセットを生成するように更に構成されている。
いくつかの実施形態では、各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む。
いくつかの実施形態では、各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む。
いくつかの実施形態では、パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む。
いくつかの実施形態では、パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む。
いくつかの実施形態では、パラメータ化された活動は、手術ロボット誘導経路を含む。
いくつかの実施形態では、模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた灌流の指標である。
いくつかの実施形態では、模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた出力肺気量の指標である。
いくつかの実施形態では、プロセッサは、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成するように更に構成されている。
いくつかの実施形態では、プロセッサは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて機械学習モデルを訓練するように構成されている。
本発明によると、ターゲットアクションセットを決定するためのデバイスも提供され、本デバイスは、プロセッサを備え、プロセッサは、手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、ことと、訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含むように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている。
いくつかの実施形態では、手術データシステムは、手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、実世界の環境データから複数の環境パラメータセットを生成するように更に構成されている。
いくつかの実施形態では、各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む。
いくつかの実施形態では、各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む。
本発明によると、ターゲットアクションセットを決定するためのデバイスも提供され、本デバイスは、プロセッサを備え、プロセッサは、訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて訓練された機械学習モデルを受信することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、環境パラメータセット及び機械学習モデルに基づいてターゲットアクションセットを決定することと、を行うように構成されており、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応し、複数の環境パラメータセットは手術データシステムからのものであり、環境パラメータセットごとに、複数の候補アクションセットは、対応する環境セットに対応する模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる。
いくつかの実施形態では、各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含み、各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む。
本発明によると、コンピュータによって実行されると、本発明による方法をコンピュータに実行させる命令を含むコンピュータ可読媒体も提供される。
手術シミュレーションシステム、デバイス、及び方法は、他の医療機器、データソース、プロセス、及び機関との統合の態様を含み得る。手術シミュレーションシステム、デバイス、及び方法は、例えば、コンピュータ実装インタラクティブ手術システム及び／又はコンピュータ実装インタラクティブ手術システムの１つ以上の要素との統合の態様を含み得る。
図１を参照すると、コンピュータ実装インタラクティブ外科用システム１００は、１つ以上の外科用システム１０２と、クラウドベースのシステム（例えば、ストレージデバイス１０５に連結されたリモートサーバ１１３を含み得るクラウド１０４）とを備え得る。各外科用システム１０２は、リモートサーバ１１３を含み得るクラウド１０４と通信する、少なくとも１つの外科用ハブ１０６を備え得る。
１つ以上のシミュレーションデバイス１０３、１１１は、コンピュータ実装インタラクティブ手術システム１００と通信し得、及び／又はその一部として統合され得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術システム１０２の要素であり得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術用ハブ１０６と通信し得る。例えば、シミュレーションデバイス１１１は、クラウド１０４を介してコンピュータ実装インタラクティブ手術システム１００と通信し得る。
一例では、図１に示すように、外科用システム１０２は、可視化システム１０８と、ロボットシステム１１０と、手持ち式インテリジェント外科用器具１１２とを含み、これらは、互いに、及び／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科用システム１０２は、Ｍ個のハブ１０６と、Ｎ個の可視化システム１０８と、Ｏ個のロボットシステム１１０と、Ｐ個の手持ち式インテリジェント外科用器具１１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数であり得る。
様々な態様では、可視化システム１０８は、図２に示すように、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、１つ以上のディスプレイとを備え得る。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備え得る。視覚化システム１０８の様々な構成要素については、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下で説明されており、その開示は、参照によりその全体が本明細書に組み込まれる。
図２に示すように、一次ディスプレイ１１９は、手術台１１４のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー１１１が、滅菌野の外に配置される。可視化タワー１１１は、互いに反対側を向いている第１非滅菌ディスプレイ１０７、及び第２非滅菌ディスプレイ１０９を備え得る。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９及び１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、一次ディスプレイ１１９上に手術部位のライブ映像を維持しながら、撮像デバイス１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９に表示させることができる。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科処置に関連する診断ステップを実施し得る。
一態様では、ハブ１０６は、可視化タワー１１１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成することができる。一例では、入力は、ハブ１０６によって一次ディスプレイ１１９に送ることができる、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であり得る。
図２を参照すると、外科用器具１１２は、外科処置において外科用システム１０２の一部として使用されている。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するようにも構成することができる。例えば、その開示が参照によりその全体が本明細書に組み込まれる、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において。可視化タワー１１１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ１０６によって滅菌野内の外科用器具ディスプレイ１１５に送ることができ、これを外科用器具１１２のオペレータが見ることができる。手術用システム１０２で使用するために好適な例示的外科用器具については、例えば、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｈａｒｄｗａｒｅ」という見出しの下で記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
図２は、手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科用システム１０２の例を示す。ロボットシステム１１０は、外科処置において手術システム１０２の一部として使用され得る。ロボットシステム１１０は、外科医のコンソール１１８と、患者側カート１２０（手術ロボット）と、手術ロボットハブ１２２と、を含み得る。外科医が外科医のコンソール１１８を通して手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通して、少なくとも１つの着脱可能に連結された外科用ツール１１７を操作し得る。手術部位の画像は、撮像デバイス１２４の向きを変えるために、患者側カート１２０によって操作され得る医療撮像デバイス１２４によって取得され得る。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通して、外科医に表示し得る。
他のタイプのロボットシステムが、外科用システム１０２と共に使用するように容易に適合され得る。本開示と共に使用するのに好適なロボットシステム及び外科用ツールの様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１９－０２０１１３７（Ａ１）号（米国特許出願第１６／２０９，４０７号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
クラウド１０４によって実施され、本開示と共に使用するのに好適なクラウドベース分析法の様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題する米国特許出願公開第２０１９－０２０６５６９（Ａ１）号（米国特許出願第１６／２０９，４０３号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
様々な態様では、撮像デバイス１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素と、を含み得る。好適な画像センサとしては、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサを挙げることができるが、これらに限定されない。
撮像デバイス１２４の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含んでもよい。１つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
１つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。
不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
様々な態様では、撮像デバイス１２４は、低侵襲性処置において使用するように構成されている。本開示と共に使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
撮像装置は、トポグラフィーと下層構造とを区別するために、マルチスペクトルモニタリンスを採用してもよい。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では取り込むことができない追加情報を抽出することが可能である。マルチスペクトル撮像の使用については、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において、「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下により詳細に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる外科手術においても、手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療装置及び機器の可能な最も高い滅菌性を必要とする。滅菌プロセスの一部としては、撮像デバイス１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科処置の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
ここで図３を参照すると、可視化システム１０８、ロボットシステム１１０及びハンドヘルド式インテリジェント外科用器具１１２と通信するハブ１０６が示されている。ハブ１０６は、ハブディスプレイ１３５、撮像モジュール１３８、発生器モジュール１４０、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、及び手術室マッピングモジュール１３３を含む。特定の態様では、図３に示されるように、ハブ１０６は、排煙モジュール１２６及び／又は吸引／灌注モジュール１２８を更に含む。外科処置中、封止及び／又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び／又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン及び／又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブモジュール式エンクロージャ１３６は、電力ライン、データライン、及び流体ラインを管理するための統合環境を提供し、このようなライン間の絡まりの頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極ＲＦエネルギー発生器構成要素、及び単極ＲＦエネルギー発生器構成要素のうちの２つ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも１つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体及び／又は微粒子を排出するように構成された少なくとも１つの排煙構成要素と、リモート手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第１の流体ラインであり、第２の流体ラインは、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。一部特定の外科処置は、２つ以上のエネルギータイプを組織に印加することを必要とする場合がある。１つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は組織を封止するために使用することができ、一方で、超音波発生器は封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ１３６が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブモジュール式エンクロージャ１３６の利点の１つは、様々なモジュールの迅速な取り外し及び／又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第１のエネルギーを発生させるように構成された第１のエネルギー発生器モジュールと、第１のデータ及び電力接点を含む第１のドッキングポートを備える第１のドッキングステーションと、を含み、第１のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第１のエネルギー発生器モジュールは、第１の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。上記に加えて、モジュール式外科用エンクロージャはまた、第１のエネルギーとは異なる、組織に印加するための第２のエネルギーを発生させるように構成された第２のエネルギー発生器モジュールと、第２のデータ接点及び第２の電力接点を含む第２のドッキングポートを備える第２のドッキングステーションと、を含み、第２のエネルギー発生器モジュールは、電力接点及びデータ接点と電気係合するように摺動可能に移動可能であり、また第２のエネルギー発生器モジュールは、第２の電力接点及び第２のデータ接点との電気係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第１のエネルギー発生器モジュールと第２のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第１のドッキングポートと第２のドッキングポートとの間の通信バスを含む。図３を参照すると、発生器モジュール１４０、排煙モジュール１２６、及び吸引／灌注モジュール１２８のモジュール式統合を可能にするハブモジュール式エンクロージャ１３６に関する本開示の態様が提示される。ハブモジュール式エンクロージャ１３６は、モジュール１４０とモジュール１２６とモジュール１２８と間のインタラクティブ通信を更に促進する。発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール１４０は、単極デバイス１４２、双極デバイス１４４、及び超音波デバイス１４６に接続するように構成され得る。代替的に、発生器モジュール１４０は、ハブモジュール式エンクロージャ１３６を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール、及び／又は超音波発生器モジュールを備えてもよい。複数の発生器が単一の発生器として機能するように、ハブモジュール式エンクロージャ１３６は、複数の発生器の挿入と、ハブモジュール式エンクロージャ１３６にドッキングされた発生器間の双方向通信と、を促進するように構成することができる。
図４は、医療施設の１つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式デバイスをクラウドベースのシステム（例えばストレージ装置２０５に連結されたリモートサーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３は、ローカルコンピュータシステム２１０に結合して、ローカルコンピュータ処理及びデータ操作を提供することもできる。外科用データネットワーク２０１は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つのデバイス（又はセグメント）から別の装置（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント手術データネットワークは、トラフィックが監視対象の手術データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の特徴部を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
手術室に配置されたモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ２０３に連結され得る。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、装置１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。装置１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。デバイス１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。同じ手術室に配置されたモジュール式デバイス２ａ～２ｍもまた、ネットワークスイッチ２０９に連結され得る。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、装置２ａ～２ｍをクラウド２０４に接続することができる。装置２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。デバイス２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。
複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数のデバイス１ａ～１ｎ／２ａ～２ｍを受け入れるように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０はまた、モジュール式制御タワーに収容され得る。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば外科処置中に、装置１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、装置１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用装置に連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用装置、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
一態様では、外科用データネットワーク２０１は、装置１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングのうちの１つのタイプ」を指すように使用され得、この場合、サーバ、ストレージ及びアプリケーションなど様々なサービスは、手術室（例えば、固定式、移動式、一時的又は現場の手術室又は空間）に配置されたモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、並びにインターネットを介して、モジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続されたデバイスに配信される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ以上の手術室内に位置する装置１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数のデバイス又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。
装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、外科的転帰の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像装置と一体化された様々なセンサを使用し、かつ複数の撮像装置によって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
手術室装置１ａ～１ｎは、ネットワークハブに対する装置１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャストデバイスとして実装され得る。ネットワークハブは、同じ手術室ネットワーク内に位置する装置１ａ～１ｎに接続性を提供することができる。ネットワークハブ２０７は、パケットの形態のデータを収集し、それらを半二重モードでルータに送信し得る。ネットワークハブ２０７は、デバイスデータを転送するためにいずれの媒体アクセス制御／インターネットプロトコル（media access control、ＭＡＣ／Internet Protocol、ＩＰ）も記憶することができない。デバイス１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信し得る。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有することができず、全てのネットワークデータを各コネクション全体及びクラウド２０４上のリモートサーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなど基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなり、ボトルネックを引き起こすおそれがある。
手術室デバイス２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続され得る。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同一手術室内に配置されたデバイス２ａ～２ｍをネットワークに接続するためのマルチキャストデバイスであり得る。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信することができ、全二重モードで機能する。複数のデバイス２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信し得る。ネットワークスイッチ２０９は、データを転送するためにデバイス２ａ～２ｍのＭＡＣアドレスを記憶し、使用する。
ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結され得る。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ２１１は、例えば、同一医療施設の異なる手術室、又は異なる医療施設の異なる手術室に配置された異なるネットワークなど、異なる位置に配置された２つ以上の異なるネットワークを接続するために利用され得る。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信でき、全二重モードで機能する。複数の装置が同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。
一実施例では、ネットワークハブ２０７は、複数のＵＳＢデバイスをホストコンピュータに接続することを可能にするＵＳＢハブとして実装され得る。ＵＳＢハブは、装置をホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含み得る。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置する装置１ａ～１ｎと装置２ａ～２ｍとの間の通信のために用いられてもよい。
例では、手術室装置１ａ～１ｎ／２ａ～２ｍは、固定及びモバイル装置から短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術現場デバイス１ａ～１ｎ／２ａ～２ｍは、いくつかの無線通信規格若しくは有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信してもよく、このような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、無線（new radio、ＮＲ）、ロングタームエボリューション（long-term evolution、ＬＴＥ）、並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ、及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ、及びそれ以降と指定される任意の他の無線プロトコル及び有線プロトコルが挙げられるが、これらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。
モジュール式通信ハブ２０３は、手術室装置１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱える。フレームは、装置１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送できる。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くのワイヤレス又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。
モジュール式通信ハブ２０３は、スタンドアロンデバイスとして使用され得るか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続され得る。モジュール式通信ハブ２０３は、概して設置、構成、及び維持が容易であるため、手術室デバイス１ａ～１ｎ／２ａ～２ｍをネットワーク形成するための良好な選択肢となり得る。
図５は、コンピュータ実装インタラクティブ外科用システム２００を示す。コンピュータ実装インタラクティブ外科用システム２００は、多くの点で、コンピュータ実装インタラクティブ外科用システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科用システム２００は、多くの点で外科用システム１０２と類似する１つ又は２つ以上の外科用システム２０２を含む。各外科用システム２０２は、リモートサーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。
図５の実施例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結され得る撮像モジュール２３８、エネルギー装置２４１に連結され得る発生器モジュール２４０、排煙器モジュール２２６、吸引／灌注モジュール２２８、通信モジュール２３０、プロセッサモジュール２３２、ストレージアレイ２３４、任意選択的にディスプレイ２３７に連結されたスマート装置／器具２３５及び非接触センサモジュール２４２に連結され得る。手術室デバイスは、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及び重ね合わせられた画像と共に表示してもよい。
図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えばネットワーク接続装置などのモジュール式通信ハブ２０３と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム２１０と、を備え得る。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、装置）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続され得る。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
手術用ハブ２０６は、手術室の寸法を測定し、超音波非接触測定デバイス又はレーザタイプ非接触測定デバイスのいずれかを使用して手術室のマップを生成するために、非接触センサモジュール２４２を利用し得る。超音波ベースの非接触センサモジュールは、その全体が参照により本明細書に組み込まれる、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｐａｔｉａｌ Ａｗａｒｅｎｅｓｓ Ｗｉｔｈｉｎ ａｎ Ｏｐｅｒａｔｉｎｇ Ｒｏｏｍ」という見出しで記載されているように、超音波のバーストを送信し、それが手術室の周囲壁から跳ね返るときのエコーを受信することによって、手術室をスキャンすることができ、センサモジュールは、手術室のサイズを決定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調節するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信することによって手術室を走査でき、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整する。
コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備え得る。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、記憶デバイス２４８、メモリ２４９、不揮発性メモリ２５０、及び入力／出力インターフェース２５１に連結されていてもよい。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造（複数可）のうちのいずれかとすることができ、それらのアーキテクチャの例としては、９ビットバス、業界標準アーキテクチャ（Industrial Standard Architecture、ＩＳＡ）、マイクロチャネルアーキテクチャ（Micro-Charmel Architecture、ＭＳＡ）、拡張ＩＳＡ（Extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（Intelligent Drive Electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA Local Bus、ＶＬＢ）、周辺装置相互接続（Peripheral Component Interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（Advanced Graphics Port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（Small Computer Systems Interface、ＳＣＳＩ）、又は任意の他の独自バスが挙げられるが、これらに限定されない。
プロセッサ２４４は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであり得る。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。
一態様では、プロセッサ２４４は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
システムメモリとしては、揮発性メモリ及び不揮発性メモリを挙げることができる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。
コンピュータシステム２１０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージなどを含み得る。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置を挙げることができるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
コンピュータシステム２１０は、好適な動作環境において、記載したユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムを挙げることができる。ディスク記憶装置上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能し得る。システムアプリケーションは、システムメモリ内又はディスク記憶装置上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用し得る。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。
ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力デバイスを介してコンピュータシステム２１０にコマンド又は情報を入力し得る。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを挙げることができるが、これらに限定されない。これら及び他の入力装置は、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びＵＳＢが挙げられる。出力装置は、入力装置と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とし得る出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力装置が存在できることを示すために提供され得る。出力アダプタとしては、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードを挙げることができるが、これは例示としてのものであり、限定するものではない。リモートコンピュータなどの他の装置及び／又は装置のシステムは、入力及び出力機能の両方を提供できることに留意されたい。
コンピュータシステム２１０は、クラウドコンピュータなどの１つ以上のリモートコンピュータ、又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作し得る。リモートクラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータと共に、メモリストレージ装置のみが示される。リモートコンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）などの通信ネットワークを包含し得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。
様々な態様では、図６のコンピュータシステム２１０、図５、図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
通信接続部（複数可）とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指してもよい。例示的な明瞭さのため通信接続部は、コンピュータシステム内部に示されているが、通信接続部は、コンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術を挙げることができる。
図７は、例示的手術シミュレータシステムのブロック図である。手術シミュレータシステムは、シミュレーションデバイス３００００を含み得る。手術シミュレータシステムは、アプリケーション作成デバイス３０００２、ヒューマンインターフェースデバイス３０００４、外科医エージェントデバイス３０００６、及び／又は手術データシステム３０００８を含み得る。
シミュレーションデバイス３００００は、コアシミュレーション機能を提供し得る。例えば、１つ以上のシミュレーションのロード／実行、ユーザ制御情報入力の受信及び処理、視覚、聴覚、及び／又は触覚情報出力の生成及び送信、シミュレーション動作及び活動情報の収集、並びに一次シミュレーションサイクル処理は、シミュレーションデバイス３００００によって実行され得る。
アプリケーション作成デバイス３０００２は、シミュレーション作成機能を提供し得る。個々のシミュレーションアプリケーションは、アプリケーションモジュール３００１０としてシミュレーションデバイス３００００に記憶され得る。アプリケーションモジュール３００１０は、アプリケーション作成デバイス３０００２によって作成、変更、及び／又は削除され得る。アプリケーションモジュール３００１０は、シミュレーションデバイス３００００の動作を指示するコンピュータ可読命令及び／又は実行可能命令を含み得る。例えば、アプリケーションモジュール３００１０は、情報を記憶して手術シミュレーションを実行するのに好適な任意のファイルタイプ、例えば、シミュレーションスクリプト、プログラミングコード、拡張マークアップ言語（Extensible Markup Language、ＸＭＬ）ファイルなど構造データファイル、データベースファイルなどを含み得る。
アプリケーション作成デバイス３０００２は、アプリケーションモジュール３００１０を作成するための制御部を伴うグラフィカルユーザインターフェースを含み得る。アプリケーション作成デバイス３００２は、シミュレーションデバイス３００００と通信して、シミュレーション動作のためにアプリケーションモジュール３００１０を検索、変更、及び／又はロードすることができる。例えば、グラフィカルユーザインターフェースは、ユーザがシミュレーション活動を選択し、様々なシミュレーションパラメータを入力し、シミュレーション目的を設定し、シミュレーションの実行を確認することを可能にするインターフェース構造を含み得る。アプリケーション作成デバイス３０００２は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。
ヒューマンインターフェースデバイス３０００４は、人間のユーザがシミュレーションデバイス３００００によって提供されるシミュレーションと相互作用することを可能にする、任意のハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。ヒューマンインターフェースデバイス３０００４は、ユーザがシミュレーションデバイス３０００００に制御入力を提供すること、及び／又はシミュレーションデバイス３００００から出力情報（視覚、聴覚、及び／又は触覚情報など）を受信することを可能にし得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、従来のデスクトップコンピュータを含み得る。
ヒューマンインターフェースデバイス３０００４は、好適な物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、外科処置の態様を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、そのような機器としては、卓上ユニット、部分タスク仮想現実ユニット、高忠実度仮想現実ユニット、高忠実度フルサイズ患者ユニット、スイートユニット、高忠実度フル手術室ユニット、フル物理仮想現実ユニット、手術ロボットコンソールユニットなどが挙げられ得る。例えば、ヒューマンインターフェースデバイス３０００４は、Ｇａｌｌａｇｅｒ ｅｔ ａｌ，「Ｓｉｍｕｌａｔｉｏｎｓ ｆｏｒ Ｐｒｏｃｅｄｕｒａｌ Ｔｒａｉｎｉｎｇ」，Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｓｕｒｇｉｃａｌ Ｓｉｍｕｌａｔｉｏｎ，Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ，Ｓｐｒｉｎｇｅｒ（２０１２）によって開示されるコンピュータベースのシミュレータインターフェースなどデバイスを含み得る。
ヒューマンインターフェースデバイス３０００４は、外科用器具を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、トロカール、ハンドアクセスポート、気腹針、及びガイドシースなどアクセス機器など外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する物理的デバイス；パッチ、ゼラチン、及び粉末など補助止血剤；伸延具及びプレートなど頭蓋顎顔面器具；バルーン及びインフレータ；診断カテーテル、アクセスカテーテル、血管カテーテル、及び治療カテーテルなどカテーテル；組織シーラー、剪断機、ブレード、及び鉗子などエネルギー封止及び解剖用デバイス；引き下げワイヤ、圧縮ねじ、プレート、インプラント、ドリル、バー、ロッド、及びコネクタなど整形外科用器具；切開及び内視鏡クリップアプライヤなど結紮具；マイクロ波アブレーション機器；ドレーン、縫合糸、結紮糸、持針器、回収器、及び縫合クリップなど補助内視鏡器具；オープンステープラ、内視鏡ステープラ、カッターステープラ、電動ステープラ、円形ステープラ、血管用ステープラ、線形ステープラ、ステープルカートリッジ、及びステープルライン補強アプリケータなど外科用ステープル留め機器；縫合糸、接着剤、針、及び結び目のない組織制御デバイスなど創傷閉鎖材料；低侵襲撮像デバイスなど撮像装置などを含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットを用いて動作すると、上記で開示されたものなど外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する、仮想現実ハンドヘルドコントローラを含み得る。
ヒューマンインターフェースデバイス３０００４は、シミュレーションの視覚表現をユーザに伝達するディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、コンピュータディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットディスプレイを含み得る。例えば、仮想現実ヘッドセットディスプレイは、本明細書の図２に開示されるものなど手術環境を表示するために使用され得る。そのような仮想現実ヘッドセットディスプレイを有するユーザは、例えば、患者、ロボットシステム１１０、外科医のコンソール１１８、手術ロボットハブ１２２、１つ以上の外科用ツール１１７、撮像デバイス１２４、患者側カート１２０、１つ以上のディスプレイ１１９、１０７、１０９など、外科手術室１１６内の要素のうちのいずれかを視認し得る、及び／又はいずれかと相互作用し得る。
ヒューマンインターフェースデバイス３０００６は、外科医の視点を表す視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、関節鏡、血管内視鏡、気管支鏡、コレドコスコープ、コノスコープ、サイトスコープ、十二指腸内視鏡、腸鏡、上部消化管内視鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及びそれらの関連器具、制御部など模擬撮像デバイスからの視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、コンピュータ断層撮影（computed tomography、ＣＴ）ユニット、磁気共鳴撮像（magnetic resonance imaging、ＭＲＩ）ユニット、画像誘導手術ユニット、術中超音波ユニットなど模擬補助術中撮像機器；蛍光透視ユニットなどからの視覚情報を提示し得る。そのような視点視覚情報、手術撮像情報、及び補足術中撮像情報は、シミュレーションの動作に好適な任意の組み合わせでユーザに表示され得る。例えば、そのような情報は、単一のフルスクリーンビュー、タイルウィンドウビュー、ピクチャインピクチャビューとしてユーザに提示され得るか、又は仮想現実ビューの模擬ディスプレイユニットに登録され得る。
ヒューマンインターフェースデバイス３０００４は、物理及び／又は仮想現実手術ロボット外科医コンソールを含み得る。例えば、例示的外科医コンソール様ヒューマンインターフェースデバイス３０００４は、立体視ディスプレイなどディスプレイと、ハンドヘルドマニピュレータ、フットペダルなどを含む制御入力と、を含み得る。例えば、外科医コンソール様ヒューマンインターフェースデバイス３０００４は、本明細書に開示される外科医のコンソール１１８のインターフェースを含み得る。ヒューマンインターフェースデバイス３０００４は、例えば、マイクロフォン及び音声認識機能によって音声制御を可能にし得る。ヒューマンインターフェースデバイス３０００４は、例えばスピーカによって可聴フィードバックを提供し得る。ヒューマンインターフェースデバイス３０００４は、例えば、振動、力フィードバック、ボルテックスリング、及び超音波技法によって触覚フィードバックを提供し得る。
実装される場合、ヒューマンインターフェースデバイス３０００４は、スタンドアロンデバイスとして設けられ得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、ヒューマンインターフェースデバイス３０００４と通信するためのインターフェースモジュール３００１２を含み得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、コンピュータシステム２１０に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、ハブ１０６に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、視覚化システム１０８に統合され得る。インターフェースモジュール３００１２は、例えば、手術データシステムインターフェースモジュール３００１４を介してコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素と通信し得る。
一実施形態では、２つ以上のヒューマンインターフェースデバイス３０００４がシミュレーションデバイス３００００と同時に連動し得る。例えば、多人数シミュレーションアプリケーション
外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力及び出力に対するコンピュータベースの制御及び応答を提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００への人間の入力を模倣するコンピュータ処理を含み得る。例えば、外科医エージェントデバイス３０００６は、基本的な器具操作など制御入力を記録し、登録することが可能であり得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力／出力アプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）にアクセスすることができる、コンピュータ処理を含み得る。例えば、ＡＰＩは、外科医エージェントデバイス３００６に従って指示され得る１つ以上の入力／出力機能を明らかにし得る。機能は、機器の位置及び動きを直接制御する機能など粒度の細かい操作及び物理ベースの入力／出力機能を含み得る。機能は、結紮活動、縫合活動、ステープル留め活動などより粒度の粗い活動ベースの入力／出力機能を含み得る。機能は、外科的アクセス機能、臓器授動機能などより粒度の粗い外手術タスク及び／又はステージベースの入力／出力機能を含み得る。各機能は、粒度のレベルと一致するパラメータを含み得る。パラメータは、シミュレーション内での機能の動作を指示するための特定の詳細を提供し得る。外科医エージェント３０００６は、複数のシミュレーション実行を生成し、操作するための機能を含み得る。例えば、ユーザは、様々な縫合技法の持続時間を推定することを望む場合がある。外科医エージェントデバイス３０００６は、任意の数の異なる技法のシミュレーションを計画するために使用され得、そのそれぞれは、シミュレーションデバイスを介して実行され得、シミュレーションデバイスによって収集されたメトリックは、持続時間の差異を推定するために使用され得る。
外科医エージェントデバイス３０００６は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、外科医エージェントデバイス３０００６と通信するためのインターフェースモジュール３００１２を含み得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００のモジュールとして統合され得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイスのアプリケーションモジュール３００１０に統合され得る。
手術データシステム３０００８は、外部の構造化された手術情報及び機能をシミュレーションデバイス３００００に提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。手術データシステム３０００８は、本明細書の図１～図６に関連して説明される構造及び／又は機能を含み得る。例えば、手術データシステム３０００８は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素を含み得る。手術データシステム３０００８は、例えば、手術用ハブ１０６を含み得る。例えば、シミュレーションデバイス３００００は、手術用ハブの通信モジュール１３０を介した手術用ハブ１０６との通信を可能にする手術データシステムインターフェースモジュール３００１４を含む。手術データシステム３０００８は、例えば、１つ以上の手術データリポジトリを含み得る。例えば、手術データシステム３０００８は、手術室に配置されたコンピュータシステム２１０を含み得る。例えば、手術データシステム３０００８は、クラウド２０４内に遠隔サーバ２１３を含み得る。
例えば、手術用ハブ１０６など手術データシステム３０００８は、シミュレーションデバイス３００００及び／又はアプリケーション作成デバイス３０００２にデータを提供し得る。例えば、データは、手術用ハブ１０６によって収集された、及び／又は生成された任意の手術データを含み得る。また例えば、シミュレーションデバイス３００００は、図１～図６に開示されたネットワーク化されたデバイスのいずれかから同様のデータを直接受信し得る。そのようなデータは、例えば、ライブ外科処置に関する情報を含み得る。そのようなデータは、過去の外科処置に関する情報を含み得る。そのようなデータは、将来の予定された外科処置に関する情報を含み得る。
外科処置に関する情報は、患者、スタッフ、計画された処置、経験した処置、及び患者転帰など術後活動に関する情報を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、患者の記録、患者の画像、患者の解剖学的構造のモデル、患者の検査結果、患者の病歴などを含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置のスタッフ名簿、特定のスタッフメンバーの過去の処置に関する詳細、スタッフメトリック、経験、最近の日程及び作業負荷、並びに過去の手術活動（そのような器具の使用統計、処置期間など）を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置計画、機器及び在庫情報、プルリスト、チェックリスト、処置計画分析、並びに推奨を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、ライブ処置中に収集されたか、又は生成された任意のデータ、例えば、処置の進捗状況、マイルストーン、患者情報、バイタル、手術室のセットアップ、スタッフの動き、画像、器具の使用、手術技法、例えば、ビデオによって取り込まれたもの、手動で記録されたもの、及び／又は例えば、持続時間、異常事象の報告などスマート器具による報告から推測されたものなどを含み得る。ライブ処置中に捕捉されたあらゆるデータもまた、記憶され、過去の処置として利用可能にされ得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、術後記録、患者の回復情報、及び患者の転帰情報、検査、画像など術後診断情報を含み得る。
シミュレーションデバイス３００００は、１つ以上のシミュレーションを実行するのに好適な任意のコンピュータ又は処理プラットフォームを含み得る。シミュレーションは、コンピュータでモデル化された外科処置環境を含み得る。例えば、シミュレーションは、患者の解剖学的構造及び／又は生理学的構造のモデルを含み得る。例えば、シミュレーションは、外科医、看護師、他の医師、技術者などの行動など１人以上の医療従事者の行動及び／又は器具のモデルを含み得る。
シミュレーションデバイス３００００は、１つ以上の追加の機能モジュールを含み得る。各モジュールは、モジュールの機能を可能にするハードウェア、ソフトウェア、又はそれらの組み合わせを含み得る。協調して動作する１つ以上のモジュールは、医療処置のシミュレーションが実行され得るコンピュータフレームワークを表し得る。モジュールは、コンピュータ処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、通信ハードウェア、メモリなどハードウェア要素を含み得る。モジュールは、プロセッサによって実行されるとモジュールに特定の機能を実行させるソフトウェア要素を含み得る。
シミュレーションデバイスは、例えば、コアシミュレーションモジュール３００１６、シミュレーションアプリケーションモジュールディレクトリ３００１８、インターフェースモジュール３００１２、物体特性モジュール３００２０、物理モジュール３００２２、生理学的モデル３００２４、テクスチャモデル３００２６、３Ｄグラフィックスパイプライン３００２８、手術データシステムインターフェースモジュール３００１４、メトリック抽出モジュール３００３０、セッション記憶及び管理モジュール３００３２を含み得る。シミュレーションデバイスは、オペレーティングシステムモジュール３００３４を含み得る。
コアシミュレーションモデル３００１６は、シミュレーションデバイス３００００の主要シミュレーション機能を提供し得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションを初期化するための、シミュレーションデバイス３００００の他のモジュールと通信し、相互作用するための、及び／又はアーキテクチャレベルのシミュレーションパラメータを管理するためのコードを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００のモジュールの動作の時間整合及び／又は調整を提供するために、マスタイベントクロックを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションフレームレート全般を確立し得る。
コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルを提供するためのコアを含み得る。コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルの１つ以上の繰り返しを実行し得る。マスタシミュレーションサイクルの各繰り返しは、シミュレーションの個々のタイムスライスを表し得る。一実施例では、コアシミュレーションモジュール３００１６は、図１０に開示されるフローに従ってマスタシミュレーションサイクルを実行し得る。
シミュレーションアプリケーションモジュールディレクトリ３００１８は、１つ以上のアプリケーションモジュール３００１０の記憶、検索、及び／又はリンクを管理し得る。各アプリケーションモジュール３００１０は、シミュレーションのアプリケーションレベルの態様を指示するコードを含み得る。例えば、アプリケーションモジュール３００１０は、特定の解剖学的構造、特定の教示スコープ、特定の機器のシミュレーションなどを提供する機能を含み得る。例示的シミュレーションデバイス３００００では、アプリケーション固有のシミュレーションデバイス３００００は、シミュレーションアプリケーションモジュールディレクトリ３００１０の有無にかかわらず、単一のアプリケーションモジュール３００１０と共に動作し得る。シミュレーションアプリケーションモジュールディレクトリ３００１８は、コアシミュレーションモジュール３００１６及び／又はアプリケーション作成デバイス３０００２との相互作用に基づいて動作し得る。
インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６と相互作用するための機能を提供し得る。例えば、インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４から受信した情報をソフトウェアコマンド、割り込みなどに変換するための１つ以上のドライバを含み得る。例えば、インターフェースモジュール３００１２は、外科医エージェント３０００６と相互作用するためのソフトウェアアプリケーションプログラミングインターフェース（ＡＰＩ）を含み得る。インターフェースモジュール３００１２は、ヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信した情報をシミュレーションデバイス３００００の他のモジュールに提供し得る。例えば、インターフェースモジュール３００１２は、模擬器具の動きを表す制御入力をヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信し、当該情報をシミュレーションデバイス３００００の１つ以上の他のモジュールに提供し得、それにより、動きがシミュレーションで表され得る。
インターフェースモジュール３００１２は、外科医エージェントデバイス３０００６とのより粒度の細かい相互作用を可能にするためにＡＰＩを提供し得る。例えば、ＡＰＩは、外科医エージェントデバイス３０００６からシミュレーションパラメータ及びシミュレーション設定を受信するためのインターフェースを提供し得る。そのようなシミュレーションパラメータ及び／又はシミュレーション設定は、例えば、アプリケーション作成デバイス３０００２を介したユーザによるそれらの入力と同様であり得る。例えば、外科医エージェントデバイス３０００６では、シミュレーションデバイス３００００によって１つ以上のコンピュータ制御シミュレーショントライアルを実行することが可能であり得る。例えば、外科医エージェントデバイス３０００６では、それぞれが代替相互作用を伴う、複数のシミュレーションを実行することが可能であり得る。
インターフェースモジュール３００１２は、シミュレーションデバイス３００００からの出力をヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６に送信し得る。例えば、出力としては、視覚出力、触覚出力、音声出力、及び／又は構造化データ出力などが挙げられ得る。
物体特性モジュール３００２０は、シミュレーション内の物体の模擬外観及び／又は挙動を管理するための機能を提供し得る。模擬物体としては、解剖学的構造、器具、機器、消耗品、流体など物体が挙げられ得る。物体の外観は、位置、寸法、スケール、材料、親／子関係、頂点、面、対話性、透明度、軌跡、レンダリング特性、テクスチャ、表面反射率、モーションブラー、レイヤリングなど物体特性によって管理され得る。物体の挙動は、物理特性、質量、運動、衝突挙動、弾性、粘度、表面張力、リギング制約、硬度、剪断強度、引き裂き挙動、粒度など物体特性によって管理され得る。
物理モジュール３００２２は、シミュレーション内の物体の物理的応答及び／又は相互作用を計算する機能を提供し得る。物理モジュールは、古典力学、流体力学、軟体力学、ブラウン運動、衝突検出、布挙動、有限要素解析などに従って、そのような応答及び／又は相互作用を決定し得る。物理モジュール３００２２は、ＰｈｙｓＸ（商標）、Ｓｉｍｕｌａｔｉｏｎ Ｏｐｅｎ Ｆｒａｍｅｗｏｒｋ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＯＦＡ）（商標）、ＶｉｓＳｉｍ（商標）など商用モジュール及び／又はオープンソースモジュールを含み得る。
生理学的モジュール３００２４は、シミュレーションにおいて解剖学的構造及び／又は患者の生理学的応答及び／又は相互作用全般を計算する機能を提供し得る。生理学的モジュール３００２４は、重要な器官及び／又は系の生理学的モデルを提供し得る。生理学的モデルは、数学モデル、統計モデルなどを含み得る。例えば、生理学的モジュール３００２４は、患者のバイタルをモジュール化して、シミュレーション中に実行された活動に対する患者の反応及び／又は相互作用を計算し得る。例えば、循環モデルは、シミュレーションにおいて切断された血管に応答して血圧を計算し得る。生理学的モジュール３００２４及び物理モジュール３００２２は、シミュレーションの各状態の計算中に互いに協調し得る。例えば、循環モデルによって計算された血圧は、物理モジュール３００２２によって計算され、物体特性モジュール３００２０によって管理される流体力学特性を決定するために使用され得る。
テクスチャモジュール３００２６は、シミュレーション内の物体の適切な表面を決定、検索、及び／又は生成する機能を提供し得る。テクスチャモジュール３００２６は、シミュレーションのパラメータに従って制御され得る１つ以上の表面モダリティを含み得る。表面モダリティは、人工的に生成された表面、実世界の画像に基づいた表面、及びそれらの組み合わせを含み得る。テクスチャモジュール３００２６は、ユーザインターフェースモジュール３００１２を介してユーザに正確な触覚フィードバックを提供するために物理モジュール３００２２と動作を調整し得る。
３Ｄグラフィックスパイプライン３００２８は、シミュレーション環境の視覚的レンダリングに機能を提供し得る。３Ｄグラフィックスパイプライン３００２８は、物体特性及び奥行を受信し得る。３Ｄグラフィックスパイプライン３００２８は、カメラ視点から見た３Ｄ空間内の物体を表す、ユーザに提示されるべき視覚化を決定し得る。３Ｄグラフィックスパイプライン３００２８は、ライティング、投影、クリッピング、ビュー変換などレンダリングの幾何学的態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、フラグメンテーション、ピクセルシェーディング、頂点シェーディング、ジオメトリ共有、テクスチャフィルタリングなど、レンダリングのラスタ化態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、テクスチャモジュール３００２６と協調して、インターフェースモジュール３００１２を介してユーザに正確な視覚フィードバックを提供し得る。
手術データシステムインターフェースモジュール３００１４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素にインタラクティブ接続性を提供し得る。コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素からの情報は、手術データシステムインターフェースモジュール３００１４を介して、シミュレーションデバイス３００００の１つ以上のモジュールに通信され、シミュレーションの動作に影響を及ぼし得る。例えば、手術データシステムインターフェースモジュール３００１４は、外科処置に関する情報を受信し、それを対応するアプリケーションモジュール３００１０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、器具に関する情報を受信し、それを物体特性モジュール３００２０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、患者に関する情報を受信し、生理学的モジュールに通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、組織画像に関する情報を受信し、それをテクスチャモジュール３００２６に通信し得る。
シミュレーションデバイス３００００のモジュールからの情報は、手術データシステムインターフェース３００１４を介して、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に提供され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、メトリック抽出モジュール３００３０からの模擬処置計画に関連する統計を受信し得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、セッション記憶及び管理モジュール３００３２から、再現されたシミュレーション視覚化処置計画を受信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、インターフェースモジュール３００１２とコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素との間に通信経路を提供し得る。例えば、ライブ外科処置中の外科医は、手術室からシミュレーション情報にアクセスし得る、及び／又はシミュレーションを操作し得る。例えば、外科医は、外科医コンソール１１８を使用して、ライブ外科処置に対応するシミュレーションにアクセスすることができる、及び／又は当該シミュレーションと対話することができる。
メトリック抽出モジュール３００１４は、シミュレーションの動作に関連する様々なパラメータの記録機能を提供し得る。例えば、メトリック抽出モジュール３００１４は、持続時間、活動の数、動きの数、動きの複雑さ、参加したスタッフ、スタッフの動き、機器及び／又は器具の変更などシミュレーション全般に関連するメトリックを記録し得る。例えば、メトリック抽出モジュール３００１４は、模擬患者バイタル、合併症、衝突、出血などシミュレーションの特定側面に関連するメトリックを記録し得る。メトリック抽出モジュール３００１４は、シミュレーション中にメトリック関連事象のマスタログを維持し得る。メトリック抽出モジュール３００１４は、シミュレーションに使用されるアプリケーションモジュール３００１０からの構成に従ってメトリック関連事象を記録し得る。
セッション記憶及び管理モジュール３００３２は、メインシミュレーション実行記録の管理機能を提供し得る。例えば、セッション記憶及び管理モジュール３００３２は、シミュレーションが全体として再実行され、表示され、及び／又は分析されることを可能にする情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、図１０に関して開示される入力、シミュレーション状態、及び出力など各入力、シミュレーション状態、及び出力に関する情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、以前のシミュレーションが、新しいユーザ入力によって呼び出され、コピーされ、初期化されることを可能にし得る。例示すると、訓練中の外科医は、経験豊富な外科医によって実行されたシミュレーションを呼び出し、重要なステップにおいてシミュレーションを一時停止させ、自身でそのステップを試みることができる。セッション記憶及び管理モジュール３００３２は、特定のシミュレーションの様々な実行間でオーバーレイ機能を提供し得る。そのようなオーバーレイは、類似性及び差異を強調し得、訓練を強化し得る。
オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００のハードウェアリソース及び／又はソフトウェアリソースを管理し得る。オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００の他のモジュールにコンピューティングシステムレベルの共通サービスを提供し得る。例えば、オペレーティングシステムモジュール３００３４は、ハードウェア入出力処理、メモリ割り当て、ハードウェア割込み処理、ソフトウェア割込み処理、スレッド処理、シングルタスク処理、マルチタスク処理などを提供し得る。シミュレーションデバイス３００００は、リアルタイムコンピューティングデバイスであり得る。オペレーティングシステムモジュール３００３４は、リアルタイムオペレーティングシステムを含み得る。例えば、オペレーティングシステムモジュール３００３４は、コアシミュレーションモジュール３００１６によって確立されたイベント及びフレームレートによって駆動され得る。
図８は、例示的手術シミュレータシステムのブロック図である。シミュレーションデバイス３００００は、例示的ハードウェアアーキテクチャと共に示されている。例えば、シミュレーションデバイス３００００は、プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６を含み得る。プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６のうちの１つ以上は、本明細書に開示されるシミュレーションデバイス３００００のモジュールの動作を可能にするために使用され得る。
プロセッサ３００４６は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の適切なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）など、並びに／又はコンピュータエージェント及び／若しくは人間のユーザとの相互作用のために３Ｄ模擬環境を処理し、提供するのに好適である、それらの任意の組み合わせを含み得る。一実施例では、プロセッサ３００４６は、１つ以上の処理ユニットを含み得る。プロセッサ３００４６は、本明細書に開示されるデジタル処理要件を実施するように、任意の好適な深さのプロセッサであり得る。例えば、プロセッサ３００４６は、３２ビットのプロセッサ、６４ビットのプロセッサ、１２８ビットのプロセッサなど。
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。
メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。
ストレージ３００３８は、大量のデータを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ストレージ３００３８は、ハードディスクドライブ（hard disk drive、ＨＤＤ）、ソリッドステートドライブ（solid state drive、ＳＳＤ）、ネットワーク接続ストレージ（network-attached storage、ＮＡＳ）などを含み得る。ストレージ３００３８は、データベース構造及び／又はデータベース管理システム（database management system、ＤＢＭＳ）を含み得る。
ディスプレイアダプタ３００４０は、３Ｄシミュレーション環境の視覚表現を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ディスプレイアダプタ３００４０は、グラフィックスカード、ディスプレイカード、グラフィックスアダプタなどを含み得る。ディスプレイアダプタ３００４０は、ヒューマンインターフェースデバイス３０００４のディスプレイなどディスプレイデバイスへの出力画像のフィードを生成するために使用され得る。ディスプレイアダプタ３００４０は、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）を含み得る。ディスプレイアダプタ３００４０は、例えば、グラフィックスパイプラインをレンダリングするためのハードウェアを含み得る。操作インターフェースアダプタ３００４２は、ヒューマンインターフェースデバイスから操作情報を受信し、及び／又はヒューマンインターフェースデバイスにフィードバック情報を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、操作インターフェースアダプタ３００４２は、仮想現実ヘッドセットから動作追跡情報を受信し、次に、ユーザに表示されているビューを操作し得る。例えば、操作インターフェースアダプタ３００４２は、手術器具を操作しているユーザを示す制御入力を受信し、次に、ユーザのハンドヘルドデバイスに触覚フィードバックを出力し得る。例えば、操作インターフェースアダプタ３００４２は、従来のデスクトップキーボード及びマウスから制御情報を受信し得る。操作インターフェースアダプタは、シリアル入力／出力ポート、パラレル入力／出力ポート、ユニバーサル非同期送受信機（universal asynchronous receiver transmitter、ＵＡＲＴ）、ディスクリート論理入力／出力ピン、アナログ－デジタル変換器、デジタル－アナログ変換器、ユニバーサルシリアルバス（universal serial bus、ＵＳＢＩ）ポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、高性能パラレルインターフェース（High Performance Parallel Interface、ＨＩＰＰＩ）、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓ、イーサネット、ギガビットイーサネット、及び／又は任意の他の好適な周辺インターフェース技術など入力／出力ハードウェアを含み得る。
手術データシステムアダプタ３００４４は、手術データシステム３０００８と通信するのに好適な任意の構成要素又は構成要素の集合を含み得る。手術データシステムアダプタ３００４４は、シミュレーションデバイス３００００と手術データシステム３０００８との間に物理チャネルを確立するための通信ハードウェアを含み得る。例えば、手術データシステムアダプタ３００４４は、ＵＳＢポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、ＨＩＰＰＩポート、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓポート、イーサネットポート、ギガビットイーサネットポート、及び／又は任意の他の好適な周辺インターフェースを含み得る。手術データシステムアダプタ３００４４は、ネットワークアダプタ３００４６及びネットワーク３００４８を介してシミュレーションデバイス３００００と手術データシステム３０００８との間に論理チャネルを確立するためのハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。
ネットワークアダプタ３００４６は、例えばネットワーク３００４８などネットワークを介した通信に好適な任意の構成要素又は構成要素の集合を含み得る。ネットワークアダプタ３００４６は、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、及び／又はモバイルネットワークなどを介した通信を可能にし得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５、Ｗｉ－Ｆｉ／ＩＥＥＥ ８０２．１１などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。モバイルネットワークは、ＧＳＭ／ＧＰＲＳ／ＥＤＧＥ（２Ｇ）、ＵＭＴＳ／ＨＳＰＡ（３Ｇ）、ロングタームエボリューション（ＬＴＥ）又は４Ｇ、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、ニューラジオ（ＮＲ）又は５Ｇなどのモバイル通信プロトコルのうちの１つ以上に基づく通信リンクを含み得る。
一実施形態では、ネットワークアダプタ３００４６は、５Ｇネットワークアダプタなど無線ネットワークアダプタを含み得る。そのような５Ｇネットワークアダプタ３００４６は、５Ｇ Ｎｅｗ Ｒａｄｉｏ（ＮＲ）トランシーバを使用して、拡張モバイルブロードバンド（enhanced mobile broadband、ｅＭＢＢ）に超高信頼低遅延通信（ultra-reliable and low latency communication、ＵＲＬＬＣ）を提供し得る。そのような５Ｇネットワークアダプタ３００４６は、３．５ＧＨｚ～７ＧＨｚ及び／又は２４ＧＨｚ～４８ＧＨｚ帯域などより高い無線帯域など無線帯域を使用し得る。そのような５Ｇネットワークアダプタ３００４６にサービス提供するネットワーク３００４８としては、パブリックワイヤレスネットワーク、セミプライベート（例えば、ネットワークスライシングベースの）ネットワーク、及び／又は完全プライベートワイヤレスネットワークが挙げられ得る。
図９は、例示的手術シミュレータのユーザインターフェースデバイス３０００４を描写する、ブロック図である。ヒューマンユーザインターフェースデバイス３０００４は、例示的ハードウェアアーキテクチャと共に示されている。例えば、ヒューマンユーザインターフェースデバイス３０００４は、プロセッサ３００５０、メモリ３００５２、ディスプレイサブシステム３００５４、及び／又は操作サブシステム３００５６を含み得る。
プロセッサ３００５０は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の好適なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など、及び／又はシミュレーションデバイス３００００から受信した視覚情報の表示、シミュレーションデバイスに送信するための操作情報の処理、シミュレーションデバイス３００００から受信したフィードバック情報の処理などに関連する処理を取り扱うのに好適なそれらの任意の組み合わせを含み得る。プロセッサ３００５０は、ユーザからの制御操作を検知するために１つ以上のローカルセンサとインターフェースし、及び／又はユーザからのフィードバックを提供するために１つ以上のローカルアクチュエータとインターフェースするためのマイクロコントローラを含み得る。
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。
メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。
ディスプレイサブシステム３００５４は、シミュレーションデバイス３００００からユーザに３Ｄシミュレーションの視覚表現を表示するのに好適な任意の構成要素又は構成要素の集合を含み得る。ディスプレイサブシステムは、モニタ、デジタルプロジェクタ、スマートフォン、デジタルヘッドセット、仮想現実ヘッドセット、立体視ディスプレイ、ロボット手術外科医のコンソールディスプレイ、手術用ディスプレイユニット、手術用顕微鏡などディスプレイハードウェアを含み得る。
操作サブシステム３００５６は、ユーザから操作制御を収集してシミュレーションデバイス３００００に送信し、及び／又はシミュレーションデバイス３００００から受信したフィードバック情報をユーザに提供するのに好適な任意の構成要素又は構成要素の集合を含み得る。ユーザからの操作は、ユーザに関わる、例えば、シミュレーションにおけるユーザの意図を示すために関与する、センサとの任意のインターフェースを含み得る。例えば、インターフェースとしては、キーボード、マウス、ジョイスティック、実際の手術用器具のサイズ、形状、及び動作を模倣する物理的機器、仮想現実ハンドヘルドコントローラ、スマートグローブ、動作検知システム（例えば、手追跡システムなど）、ロボット手術外科医のコンソールマニピュレータ及び／又は制御部、実際のロボット手術外科医のコンソールマニピュレータ並びに／又は制御装置のサイズ、形状、及び動作を模倣する物理的ユニットなどが挙げられ得る。例えば、インターフェースは、シミュレーション内でユーザの視点を示すために、ヘッドセット内に加速度計などの視点センサを含み得る。
シミュレーションデバイス３００００からのフィードバックは、ユーザに感覚入力を提供するアクチュエータとの任意のインターフェースを含み得る。例えば、フィードバックとしては、触覚フィードバック、力フィードバック、温度フィードバック、水分フィードバック、音声フィードバック、嗅覚フィードバックなどが挙げられ得る。例えば、ロボット手術外科医のコンソールのマニピュレータにおける力フィードバック及び／又は触覚アクチュエータを使用して、そのようなマニピュレータをライブ処置で動作させた場合にユーザが感じるであろうフィードバックをシミュレートすることができる。例えば、実際の手術用ステープラのサイズ、形状、及び動作を模倣するユーザデバイスにおける力フィードバック及び／又は触覚アクチュエータを使用して、例えば組織に係合し、ステープラを発射するときの力フィードバックなど、生体組織上でそのようなデバイスを動作させる場合にユーザが感じるであろうフィードバックをシミュレートすることができる。
図１０は、例示的手術シミュレータの動作のフロー図である。３００５８において、シミュレーションアプリケーションがロードされ得る。例えば、コアシミュレーションモジュール３００１６は、特定のアプリケーションモジュール３００１０に関連付けられたデータをメモリ３００３６にロードさせ得る。ロードされたデータは、プロセッサ３００３４が特定のシミュレーションを動作させるための命令を含み得る。ロードされたデータは、シミュレーションの処置計画を含み得る。例えば、処置計画は、例えば、図１１Ａ～図１１Ｂに関して、本明細書に開示されるように構造化され得る。ロードされたデータは、シミュレーションの初期状態を含み得る。
３００６０において、シミュレーション出力が決定され得る、及び／又は送信され得る。例えば、シミュレーション出力は、シミュレーションデバイス３００００によって決定され得る、及び／又は送信され得る。ここで、コアシミュレーションモジュール３００１６は、シミュレーションの現在の状態（例えば、初期状態及び／又は後続の状態）を参照し得る。コアシミュレーションモジュール３００１６は、現在の状態を処理して出力するために１つ以上の他のモジュールに関与し得る。例えば、コアシミュレーションモジュールは、物体特性モジュール３００２０、テクスチャモジュール３００２６、アプリケーションモジュール３００１０、３Ｄグラフィックスパイプライン３００２８、インターフェースモジュール３００１２、及び／又は手術データシステムインターフェースモジュール３００１４のうちのいずれかに関与して、現在のシミュレーション状態を情報に処理して出力し得る。出力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、及び／又は記憶され得る。
例えば、人間が操作するシミュレーションセッションでは、出力情報は、ディスプレイアダプタ３００４０及び／又は操作インターフェースアダプタ３００４２を介して、ヒューマンインターフェースデバイス３０００４のディスプレイサブシステム３００５４及び／又は操作サブシステム３００５６に送信され得る。例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、インターフェースモジュール３００１２を介して外科医エージェント３０００６に送信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、アプリケーションモジュール３００１０において送信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、出力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して手術データシステムインターフェースモジュール３００１４によって送信され得る。
３００６２において、シミュレーション入力が受信され得る、及び／又は処理され得る。例えば、シミュレーション入力は、シミュレーションデバイス３００００によって受信され得る、及び／又は処理され得る。ここで、コアシミュレーションモジュールは、インターフェースデバイス、手術データシステムインターフェースモジュール、及び／又はアプリケーションモジュール３００１０に関与して、制御入力を受信し得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。
例えば、人間が操作するシミュレーションセッションでは、入力情報は、ヒューマンインターフェースデバイス３０００４の操作サブシステム３００５６から送信され、操作インターフェースアダプタ３００４２を介して受信され得る。例えば、コンピュータ制御シミュレーションセッションにでは、入力情報は、外科医エージェント３０００６から送信され、インターフェースモジュール３００１２を介して受信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、入力情報は、アプリケーションモジュール３００１０において受信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、入力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して受信され、最初に手術データシステムインターフェースモジュール３００１４によって処理され得る。
３００６４において、後続のシミュレーション状態が決定され得る。例えば、後続のシミュレーション状態は、現在のシミュレーション状態及び／又は任意の受信された入力から決定され得る。コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００の他のモジュールのうちの１つ以上に関与して、後続のシミュレーション状態を決定することができる。例えば、コードシミュレーションモジュール３００１６は、アプリケーションモジュール、物体特性モジュール、物理モジュール、生理学的モジュールなどに関与し得る。後続のシミュレーション状態は、プロセッサ３００３４の動作によって決定され得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。
このステージでは、プロセスは、３００６０において入力を受信することにループし得る。このフローの各繰り返しは、シミュレーションにおける対応する時間サイクルを表し得る。シミュレーションのフレームレートは、シミュレーションの目標及び手術シミュレーションデバイス３００００の処理能力に好適なレベルに設定され得る。より低いフレームレートは、ライブ人間相互作用シミュレーションを達成する処理を可能にし得る。より高いフレームレートは、より高いシミュレーション忠実度を可能にし得る。例えば、コンピュータ制御シミュレーションを、例えば外科医エージェント３０００６を用いて動作させるとき、より高いフレームレートがシミュレーションの処理時間に、シミュレーションしている実世界時間を超えさせる場合であっても、より高いフレームレートが使用され得る。
図１１Ａ～図１１Ｂは、コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。外科処置計画は、外科処置を実行するために使用され得るスタッフ、機器、技法、及びステップを概説する情報を含み得る。例えば、処置計画は、処置において関与するべき役割及び／又は特定の医療専門家を示すスタッフ名簿を含み得る。処置計画は、処置中に使用され得る、耐久性のある手術用機器、撮像機器、器具、消耗品など機器のリストを含み得る。例えば、処置計画は、手術室を準備するときに外科医及び手術に好適なツール及び材料を組み立てるために使用する、外科技術師のための候補リストを含み得る。処置計画は、処置の予定される技法に関する情報を含み得る。例えば、同一手術目標の処置計画は、異なるアクセス方法、授動方法、検査方法、組織接合方法、創傷閉鎖方法などを含み得る。
処置計画は、個々の症例に関する外科医の専門家としての判断を反映し得る。処置計画は、特定の技法に対する外科医の選好及び／又は経験を反映し得る。処置計画は、特定の手術タスクを役割及び機器にマッピングし得る。処置計画は、予定処置のタイムラインを提供し得る。
処置計画は、１つ以上の決定点及び／又は分岐を含み得る。そのような決定点及び／又は分岐は、処置の特定の態様に利用可能である外科的選択肢を提供し得、選択肢のうちの１つを選択することは、手術自体からの情報に基づき得る。例えば、１つ以上の選択肢を選択することは、特定患者の解剖学的構造の特定平面に基づいて選択され得、外科医は、ライブ手術中に患者の組織の評価に基づいて選択肢を選択し得る。
処置計画は、１つ以上の不測事態を含み得る。これらは、可能性が低いものの生じ得る、ライブ手術中にあり得る状況に関する情報を含み得る。不測事態は、当該状況が生じた場合に用いられ得る、１つ以上の手術タスクを含み得る。不測事態は、十分な機器、スタッフ、及び／又は消耗品を処置中にいつでも使用できることを保証するために使用され得る。
処置計画は、１つ以上のデータ構造で記録され得る。処置計画データ構造は、将来のライブ手術に関するデータ、完了したライブ手術に関するデータ、将来の模擬手術に関するデータ、完了した模擬手術に関するデータなどを記録するために使用され得る。ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００によって使用され得る。例えば、ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００の状況認識及び／又は動作態様を強化するために、手術用ハブ１０６によって使用され得る。ライブ手術用の処置計画データ構造は、手術用ハブ１０６によって使用されて、構造化分析のためにライブ手術の別個の要素を記録し得る。
処置計画データ構造は、シミュレーションデバイス３００００によって使用され得る。例えば、処置計画データ構造はシミュレーションデバイス３００００によって使用されて、シミュレーションセッションの設定及び／又は１つ以上の目的を確立し得る。例えば、処置計画データ構造は、シミュレーションデバイス３００００によって使用されて、構造化分析のために模擬手術の個別要素を記録し得る。
処置計画データ構造は、処置に関連するデータ要素を捕捉するのに好適な任意の構造を含み得る。例えば、処置計画は、例えば、図１１Ａに示されるものなどツリー状データ構造で記録され得る。ここで、ツリー構造のルートは、コア処置データ３００６６を表す。コア処置データ３００６６は、処置名、処置コード、患者名、日付、時間など、処置全般に関する情報を含み得る。シミュレーションの場合、コア処置データ３００６６は、デバイスＩＤ、ソフトウェアバージョン、ユーザ、シミュレーション実行設定（フレームレート、解像度、接続されたユーザインターフェースデバイスなど）などシミュレーションデバイスに関する情報を含み得る。
処置データは、ツリー構造のリーフを含み得る。第１のレベルのリーフは、処置セットアップ３００６８、１つ以上の処置ステージ３００７０、１つ以上の不測事態３００７２、及び処置の結果３００７４に関するデータなど、処置計画の主要な態様に関するデータを含むことができる。
セットアップデータ３００６８は、処置の準備及び／又は初期状態に関する情報を含み得る。例えば、セットアップデータ３００６８は、スタッフ名簿、スタッフの役割及び／又はスタッフＩＤ、手術室ＩＤ、機器リスト、部屋のレイアウト、当初の手術台位置、術野で準備された器具及び／又は消耗品のリスト、機器に関連する全ての初期設定、術前画像、患者記録など要素を含み得る。シミュレーションの場合には、セットアップデータ３００６８は、模擬解剖学的構造の記録、模擬生理機能の記録、術前画像など模擬環境に関する情報を含み得る。
ステージデータ３００７０は、処置の主要マイルストーンに関連するデータ要素を含み得る。例えば、処置のステージは、アクセスの確立などマイルストーンを含み得る。ステージデータ３００７０は、処置の特定ステージを実行するために使用され得るスタッフ、機器、技法、及びステップに関連する情報を含み得る。ステージデータ３００７０は、ステージＩＤを含み得る。
ステージは、１つ以上の手術タスク３００７６など１つ以上のサブリーフによって更に詳述され得る。手術タスクは、所与のステージ内の別個の手術ステップを表し得る。例えば、アクセスステージにおいて、トロカールを配置することは、手術タスクであり得る。手術タスクデータ３００７６は、タスクＩＤを含み得る。手術タスクデータ３００７６は、タスクを実行しているスタッフ及び／又は外科医、使用される機器、適用される特定の技法、タスク実行中の患者バイタル、他の環境情報、及びリストなど特定のタスクに関連する情報を含み得る。各タスクは、目標データ３００７８、解剖学的構造－器具相互作用に関連するデータ３００８０、及び結果データ３００８２を用いて更に詳述され得る。目標データ３００７８は、タスク実行の相対的成功を示す情報を含み得る。目標データ３００７８は、予定タスク持続時間、許容可能な実行特異度、効率モダリティ、合併症の回避などに関する情報を含み得る。結果データ３００８２は、１つ以上の目標に関連する情報を含み得る。結果データ３００８２は、目標に対する手術実行（例えば、ライブ及び／又は模擬）を記録し得る。
タスクデータ３００７６は、解剖学的構造－器具相互作用データ３００８０の１つ以上の要素を含み得る。解剖学的構造－器具相互作用データ３００８０は、手術実行の粒度の細かい指示を表し得る。解剖学的構造－器具相互作用データ３００８０は、手術タスクの実行に使用される１つ以上の特定の活動を表し得る。解剖学的構造－器具相互作用データ３００８０は、外科医の観察可能な挙動を表し得る。
一実施例では、解剖学的構造－器具相互作用データ３００８０は、外科医によって解剖学的構造に加えられている特定の位置、力、角度などを含み得る。例えば、ライブ手術では、手術用ハブ１０６によってスマート器具から記録されたデータは、解剖学的構造－器具相互作用データ３００８０として捕捉され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の他の要素と協働する手術用スマートステープラは、ステープラの位置、角度、先端力、ジョー力、ステープルカートリッジタイプ、閉鎖圧力、発射速度などを記録し得る。模擬手術では、同様のデータ要素が捕捉され得る。
不測事態データ３００７２は、処置に関連し得る任意の合併症を示し得る。各不測事態データ３００７２は、特定の合併症に対する適切な反応に対処する１つ以上のタスクデータ要素３００８４を含み得る。不測事態データ３００７２は、元の処置計画からの逸脱を示し得る。また、例えば、不測事態データは、１つ以上のタスク３００７８及び／又は解剖学的構造－器具相互作用３００８０と相互参照され得る。例えば、解剖学的構造－器具相互作用３００８０における特定の実行が合併症につながり得る場合、当該実行の性質及び不測事態の相互参照は、当該解剖学的構造－器具相互作用３００８０に関連する結果データ３００８２に含まれ得る。
結果データ３００７４は、処置の結果を示し得る。ここで、手術実行のメトリック全般が記憶され得、実際の及び／若しくは模擬患者回復情報、並びに／又は患者転帰を記録する。例えば、結果データ３００７４は、効率情報、コスト情報、手術期間、作業負荷メトリック、計画された消耗品の使用割合などを含み得る。
図１１Ｂは、特定の処置、タスク、又は活動を完了するための代替ステップの構造を更に確立する、上記で開示された要素を有する処置計画データ構造を示す。示されるように、処置データ３００８６によって表される処置は、２つの代替セットアップを含み得、それぞれのセットアップデータ（第１のセットアップデータ３００８８、３００９０、及び第２のセットアップデータ３００９２）によってそれぞれ示される。第１のセットアップデータ３００８８、３００９０は、２つの代替タスク３００９４、３００９６を含み得る。第２セットアップデータ３００９２は、１つのタスク３００９８を含み得る。この図では、処置データ３００８６によって表される処置は、３つの異なる方法で達成され得る。第１の方法は、第１のセットアップ３００８８及び第１のタスク３００９４を用いる。第２の方法は、第１のセットアップ３００９０及び第２のタスク３００９６を用いる。そして第３の方法は、第２のセットアップ３００９２及びその対応するタスク３００９８を用いる。
ツリー構造の各パスは、処置を実行するための代替方法の特定のセットを表し得る。そのような構造は、特定のライブ及び／又は模擬手術用の特定の処置計画の作成を支援するために有用であり得る。そのような構造は、処置の多くの考えられる代替策をシミュレートして結果の差異を評価するのに有用であり得る。
図１２は、例示的機械学習フレームワークのブロック図である。機械学習は、人間の介入なしにデータから学習し得るコンピュータシステムを構築しようとする人工知能の一分野である。これらの技法は、データ集合体などのデータセット内のパターンを認識するように訓練され得る分析モデルの作成に依存し得る。これらのモデルを配備して、これらのパターンをバイオマーカなどのデータに適用して、更なるガイダンスなしに性能を改善し得る。例えば、そのようなモデルは、機械学習モジュール３３５００を含み得る。
機械学習は、教師あり（例えば、教師あり学習）であり得る。教師あり学習アルゴリズムは、データセット（例えば、訓練データ）を訓練することから数学モデルを作成し得る。訓練データは、訓練例のセットからなり得る。訓練例は、１つ又は２つ以上の入力及び１つ又は２つ以上のラベル付き出力を含み得る。ラベル付き出力は、監視フィードバックとして機能し得る。数学モデルでは、訓練例は、特徴ベクトルと呼ばれるときがあるアレイ又はベクトルによって表され得る。訓練データは、行列を構成する特徴ベクトルの行によって表され得る。目的関数（例えば、コスト関数）の反復最適化を通して、教師あり学習アルゴリズムは、１つ又は２つ以上の新しい入力と関連付けられた出力を予測するために使用され得る関数（例えば、予測関数）を学習し得る。好適に訓練された予測関数は、訓練データの一部ではなかった可能性がある１つ又は２つ以上の入力に対する出力を判定し得る。例示的なアルゴリズムは、線形回帰、ロジスティック回帰、及びニューラルネットワークを含み得る。教師あり学習アルゴリズムによって解くことができる例示的な問題は、分類、回帰問題などを含み得る。
機械学習は、教師なし（例えば、教師なし学習）であり得る。教師なし学習アルゴリズムは、入力を含み得るデータセット上で訓練し得、データ内の構造を見出し得る。データ内の構造は、データポイントのグループ化又はクラスタ化に類似し得る。したがって、アルゴリズムは、ラベル付けされていない可能性がある訓練データから学習し得る。監視フィードバックに応答する代わりに、教師なし学習アルゴリズムは、訓練データにおける共通性を識別し得、各訓練例におけるそのような共通性の有無に基づいて反応し得る。例示的なアルゴリズムは、アプリオリアルゴリズム、Ｋ平均、Ｋ最近傍（K-Nearest Neighbor、ＫＮＮ）、Ｋ中央値などを含み得る。教師なし学習アルゴリズムによって解くことができる例示的な問題は、クラスタ化問題、異常／外れ値検出問題などを含み得る。
機械学習は、強化学習を含み得、強化学習は、累積報酬の概念を最大化するために、ソフトウェアエージェントが環境内でどのようにアクションを取ることができるかに関係し得る機械学習の領域であり得る。強化学習アルゴリズムは、（例えば、マルコフ決定過程（Markov decision process、ＭＤＰ）によって表される）環境の正確な数学モデルの知識を仮定しない場合があり、正確なモデルが実現可能でないことがあるときに使用され得る。強化学習アルゴリズムは、自律車両において、又は人間の対戦相手に対してゲームをプレイする学習において使用され得る。
機械学習は、認知コンピューティング（cognitive computing、ＣＣ）と呼ばれる技術プラットフォームの一部であり得、認知コンピューティングは、コンピュータサイエンス及び認知科学などの様々な分野を構成し得る。ＣＣシステムは、スケールで学習し、目的をもって推論し、人間と自然に対話することが可能であり得る。データマイニング、視覚認識、及び／又は自然言語処理を使用し得る自己教示アルゴリズムによって、ＣＣシステムは、問題を解決し、人間のプロセスを最適化することが可能であり得る。
例示的なフレームワークでは、シミュレーションデバイス３３５０２は、機械学習モデル３３５００の訓練３３５０４を可能にし得る。シミュレーションデバイス３３５０２は、模擬処置及び／又は手術タスク、解剖学的構造、生理機能、機器、器具などセットアップ情報を受信する複合システムを表し得る。シミュレーションデバイス３３５０２は、器具操作、模擬タスク及び／又は模擬手術活動プリミティブなど活動情報を受信する複合システムを表し得る。シミュレーションデバイス３３５０２は、セットアップ情報及び活動情報を受信し、それに応答して、最終処置状態、実行スコア、効率スコア、模擬患者転帰など１つ以上の結果を出力する、複合システムを表し得る。例えば、結果は、特定の状態、値、メトリックなどを含み得る。例えば、結果は、特定の状態、値、メトリックなどの重み関数など関数を含み得る。シミュレーションデバイス３３５０２に関連付けられた、それぞれのセットアップ情報、活動情報、及び結果の組み合わせによって表されるデータセットは、機械学習モデル３３５００を訓練すること（３３５０４）のために使用され得る。本明細書で開示されるように、訓練すること（３３５０４）は、教師あり学習、教師なし学習、強化学習、認知コンピューティングなどであり得る。
機械学習の訓練プロセスの出力は、新しいデータセットに対する転帰を予測するためのモデルであり得る。例えば、線形回帰学習アルゴリズムは、線形予測関数の係数及び定数を調整することによって、訓練プロセス中に線形予測関数の予測誤差を最小にし得るコスト関数であり得る。最小値に達し得るときに、調整された係数を有する線形予測関数は、訓練されたと見なされ、訓練プロセスが生成したモデルを構成し得る。例えば、分類のためのニューラルネットワーク（neural network、ＮＮ）アルゴリズム（例えば、多層パーセプトロン（multilayer perceptron、ＭＬＰ））は、バイアスが割り当てられ、重み接続で相互接続されたノードの層のネットワークによって表される仮説関数を含み得る。仮説関数は、線形関数と、１つ又は２つ以上のロジスティック関数からなる最外層を伴うにネストされたロジスティック関数と、を含み得る、非線形関数（例えば、高度非線形関数）であり得る。ＮＮアルゴリズムは、フィードフォワード伝搬及び逆方向伝搬のプロセスを通してバイアス及び重みを調整することによって、分類誤差を最小限に抑えるためのコスト関数を含み得る。大域的最小値に到達し得るときに、調整されたバイアス及び重みの層を伴う最適化された仮説関数は、訓練されたと見なされ、訓練プロセスが生成したモデルを構成し得る。
データ集合体は、機械学習ライフサイクルの第１の段階として機械学習のために実行され得る。データ集合体は、様々なデータソースを識別すること、データソースからデータを収集すること、データを統合することなどの工程を含み得る。例えば、外科的合併症及び／又は外科手術後回復速度を予測するための機械学習モデルを訓練するために、患者の病状及びバイオマーカ測定データなどの外科手術前データを含有するデータソースが、識別され得る。そのようなデータソースは、患者の電子医療記録（electronical medical record、ＥＭＲ）、患者の外科手術前バイオマーカ測定データを記憶するコンピューティングシステム、及び／又は他の同様のデータストアであり得る。そのようなデータソースからのデータは、取り出され、機械学習ライフサイクルにおける更なる処理のために中央の場所に記憶され得る。そのようなデータソースからのデータは、リンク（例えば、論理的にリンク）され得、それらが中央に記憶されているかのようにアクセスされ得る。外科手術データ及び／又は外科手術後データは、同様に識別され、収集され得る。更に、収集されたデータが、統合され得る。実施例では、患者の外科手術前医療記録データ、外科手術前バイオマーカ測定データ、外科手術前データ、外科手術データ、及び／又は外科手術後データが、患者の記録に組み合わされ得る。患者の記録は、ＥＭＲであり得る。
データ準備は、機械学習ライフサイクルの別の段階として機械学習のために行われ得る。データ準備は、データフォーマッティング、データクリーニング、及びデータサンプリングなどのデータ前処理工程を含み得る。例えば、収集されるデータは、モデルを訓練するのに好適なデータフォーマットではない場合がある。実施例では、前外科的ＥＭＲ記録データ及び前外科的バイオマーカ測定データ、外科的データ、及び後外科的データの患者の統合データ記録は、有理データベース内にあり得る。そのようなデータ記録は、モデル訓練のためにフラットファイル形式に変換され得る。実施例では、患者の前外科的ＥＭＲデータは、患者の肺気腫の診断、術前治療（例えば、化学療法、放射線、血液希釈剤）など、テキスト形式の医用データを含み得る。そのようなデータは、モデル訓練のための数値にマッピングされ得る。例えば、患者の統合データ記録は、個人識別子情報、又は年齢、勤務先、肥満度指数（body mass index、ＢＭＩ）、人口統計情報、及び同等物などの、患者を識別し得る他の情報を含み得る。そのような識別データは、モデル訓練の前に除去され得る。例えば、識別データは、プライバシーの理由で除去され得る。別の例として、モデル訓練のために使用され得るよりも多くの利用可能なデータがあり得るので、データが除去され得る。そのような場合に、利用可能なデータのサブセットは、ランダムにサンプリングされ、モデル訓練のために選択され得、残りは廃棄され得る。
データ準備は、スケーリング及び集約などのデータ変換処置（例えば、前処理後）を含み得る。例えば、前処理されたデータは、様々なスケールのデータ値を含み得る。これらの値は、例えば、モデル訓練のために０～１の間になるようにスケールアップ又はスケールダウンされ得る。例えば、前処理済みデータは、集計されるとより多くの意味を持つデータ値を含み得る。実施例では、患者が受けた複数の以前の結腸直腸手技があり得る。以前の結腸直腸手技の合計数は、癒着に起因する外科的合併症を予測するためのモデルを訓練するためにより有意義であり得る。そのような場合、以前の結腸直腸手技の記録は、モデル訓練目的のために合計数に集計され得る。
モデル訓練は、機械学習ライフサイクルの別の態様であり得る。本明細書に記載されるモデル訓練プロセスは、使用される機械学習アルゴリズムに依存し得る。モデルは、それが訓練され、相互検証され、検査された後に、好適に訓練されたと見なされ得る。したがって、データ準備段階からのデータセット（例えば、入力データセット）は、訓練データセット（例えば、入力データセットの６０％）、検証データセット（例えば、入力データセットの２０％）、及び試験データセット（例えば、入力データセットの２０％）に分割され得る。モデルが訓練データセットで訓練された後、モデルは、過剰適合を低減するために検証データセットに対して実行され得る。モデルの精度が増加しているときに検証データセットに対して実行されたときにモデルの精度が低下する場合、これは過剰適合の問題を示し得る。検査データセットは、最終モデルの精度をテストして、展開の準備ができているか、又はより多くの訓練が必要とされ得るかを判定するために使用され得る。
モデル配備は、機械学習ライフサイクルの別の態様であり得る。モデルは、スタンドアロンコンピュータプログラムの一部として展開され得る。モデルは、より大きなコンピューティングシステムの一部として展開され得る。モデルは、モデル性能パラメータを用いて展開され得る。そのような性能パラメータは、稼働中のデータセットで予測するために使用されるため、モデル精度を監視し得る。例えば、そのようなパラメータは、偽陽性及び分類モデルの偽陽性を追跡し得る。そのようなパラメータは、モデルの精度を改善するための更なる処理のために、偽陽性及び偽陽性を更に記憶し得る。
配備後のモデル更新は、機械学習サイクルの別の態様であり得る。例えば、配備されたモデルは、偽陽性及び／又は偽陽性がプロダクションデータ上で予測されるときに更新され得る。実施例では、分類のために展開されたＭＬＰモデルの場合、偽陽性が生じると、展開されたＭＬＰモデルは、偽陽性を低減するために陽性を予測するための確率カットオフを増加させるように更新され得る。実施例では、分類のために展開されたＭＬＰモデルの場合、偽陰性が生じると、展開されたＭＬＰモデルは、偽陰性を低減するために陽性を予測するための確率カットオフを減少させるように更新され得る。実施例では、外科的合併症の分類のための展開されたＭＬＰモデルの場合、偽陽性及び偽陰性の両方が生じるとき、展開されたＭＬＰモデルは、偽陽性を予測することが偽陰性よりも重大でない場合があるので、偽陰性を低減するために、陽性を予測するための確率カットオフを減少させるように更新され得る。
例えば、展開されたモデルは、より多くのライブ産生データが訓練データとして利用可能になるにつれて更新され得る。そのような場合、展開されたモデルは、そのような追加のライブ産生データを用いて更に訓練され、検証され、検査され得る。実施例では、更に訓練されたＭＬＰモデルの更新されたバイアス及び重みは、展開されたＭＬＰモデルのバイアス及び重みを更新し得る。当業者であれば、展開後モデル更新は、１回限りの発生でない場合があり、展開されたモデルの精度を改善するのに好適な頻度で行われ得ることを認識する。
例示的なフレームワークでは、機械学習モデル３３５００を使用して、特定の結果へと向かうソリューションをモデル化し得る。例えば、モデル３３５００は、セットアップ情報のインスタンスを入力として受信し、対応する活動情報を出力するように構造化され得る、及び／又は訓練され得る。例えば、モデル３３５００は、活動情報のインスタンスを入力として受信し、対応するセットアップ情報を出力するように構造化され得る、及び／又は訓練され得る。一実施例では、機械学習モデル３３５００を使用して、可変の結果へと向かうソリューションをモデル化し得る。例えば、モデル３３５００は、セットアップ情報のインスタンス及び所望の結果を入力として受信し、対応する活動情報を出力するように構造化され得る、及び／又は訓練され得る。例えば、モデル３３５００は、活動情報のインスタンス及び所望の結果を入力として受信し、対応するセットアップ情報を出力するように構造化され得る、及び／又は訓練され得る。
例示的訓練セットは、所定の許容範囲内の結果を有する全てのセットアップ及び／又は活動のシミュレーションの結果を含み得る。例示のために、モデルは、縫合配置に対処し得る。例えば、セットアップ、活動、及び結果は、縫合パターン、張力、創傷治癒など要素を含み得る。一実施例では、シミュレーションは、下前部切除（ＬＡＲ）吻合における再接続時の大腸にかかる張力を決定し得、結果として生じる予測灌流を含み得る。一実施例では、シミュレーションは、区域切除及び／又は肺葉切除に続く拡張後の肺気量を決定し得る。例示的訓練セットは、活動セットを用いた特定の外科処置の複数回実行された自動シミュレーションの結果を含み得、モデルは、予め確立された開始セットの結果を決定することを可能にし得る。
一実施例では、訓練データは、所定の数の可変ステップ内での選択肢及び／又は変形例など、可能な選択肢及び／又は変形例の要約ビューを提供するために集約され得る。選択肢及び／又は変形例は、結果が許容可能な結果セットを伴うものを含み得る。そのような要約は、最良の結果のための提案されたアプローチ経路を含み得る。例えば、そのような要約は、専門家によるレビュー、顧客満足度調査、結果フィードバックなどに基づいてアプローチを提案し得る。例えば、そのような要約は、有害事象リスクスコアを通知し得る。有害事象リスクスコアは、選択肢が進むにつれて次第に上下に更新し得る。要約は、異なるアプローチを比較する、及び／又は対比するためのインタラクティブツールを含み得る。インタラクティブツールは、複数のオートランシミュレーションを比較する、及び／又は対比することを可能にし得る。
一実施例では、シミュレーションデバイス３３５０２は、機械学習及び／又は人工知能訓練用のグラウンドトゥルースデータセットを作成するために使用され得る。例えば、シミュレーションデバイス３３５０２は、機械学習及び／又は人工知能訓練用の境界パラメータ及び／又はエッジケースを確立する状況を作り出し得る。例えば、シミュレーションデバイス３３５０２は、ロボット経路ガイダンスの出力を提供し得る。そのようなガイダンスは、直接的なガイダンス、ジオフェンスなどであり得る。例えば、シミュレーションデバイス３３５０２は、フィードバックデータを提供し得る。例えば、データベースから駆動されるシミュレーションからのデータを使用することができる。データは、類似症例に関する情報を含み得る。データベースは、類似症例を用いて訓練された機械学習及び／又は人工知能モデル情報を含み得る。例えば、シミュレーションデバイス３３５０２は、ある機械学習モデルを用いて医療リスクを予測し得る。この予測は、例えば、予測リスクを考慮して、適切であり得るデバイス、機器、及び／又は消耗品の情報を含み得る。
一実施例では、機械学習モデル３３５００は、注釈、コメント、及び／又は注釈を手術ビデオに適用するように訓練され得る。例えば、将来のビデオ及び／又は将来のシミュレーションがモデルに従って処理されて確認され得るように、そのようなメモ、コメント、及び／又は注釈が訓練セットに組み込まれ得る。モデルは、処理されたビデオ及び／又はシミュレーション内の適切な点において、メモ、コメント、及び／又は注釈を出力し得る。例えば、機械学習モデル３３５００は、複雑なシミュレーションをリアルタイムで提示するように訓練され得る。
一実施例では、シミュレーションデバイス３３５０２は、補足訓練セット（例えば、実世界の訓練セットを補足するための訓練セット）を作成するために使用され得る。例えば、シミュレーションデバイス３３５０２を使用して、希少な解剖学的状態、希少な生理機能、及び／又は希少な有害事象など実世界では希少な症例を含む補足訓練セットを作成し得る。そのような補足訓練セットは、例えば、機械学習モデル３３５００を訓練すること（３３５０４）に使用され得る。同様に、シミュレーションデバイス３３５０２は、患者特有のハイブリッドデータセットを作成するために使用され得る。例えば、シミュレーションデバイス３３５０２（例えば、アプリケーションモジュールを介して）及び／又は機械学習モデル３３５００は、患者特有のトピックの入力パラメータをチェックするために使用され得る。そのようなチェックは、特定の物体及び／又は物体特性に対する修正及び／又は追加による変更を模擬解剖学的構造にもたらし得る。例えば、患者特有の解剖学的構造は、例えば複数の肺動脈分岐及び／又は腫瘍の内方成長などイレギュラー性をシミュレーションに追加することを含み得る。例えば、そのような患者特有の修正は、遠隔医療入力及び／又は術前監視からの入力であり得る。そのような患者特有のデータセットは、シミュレーションのために含まれて、例えば、機械学習モデル訓練用のデータセットを生成し得る。シミュレーションデバイス３３５０２は、患者特有の希少なイレギュラー性を組み込む補足訓練セットを作成するために使用され得る。
一実施例では、シミュレーションデバイス３３５０２を使用して、ロボット、腹腔鏡（laproscopic）、オープン、ハイブリッドなど処置プラットフォームに関連する訓練データセットを作成し得る。ここで、様々なプラットフォーム及び／又は特定プラットフォーム内での変形例を使用して、同様の手術目標をシミュレートし得る。そのようなセットアップデータ及び活動データは、それらの対応するシミュレート結果と合わせて使用されて、例えば、機械学習モデル３３５００を訓練して将来の手術のアプローチを推奨し得る。
図１３は、例示的外科医エージェント３３５０６のブロック図である。外科医エージェント３３５０６は、例えば、図７を参照して本明細書に開示される外科医エージェント３０００６を含み得る。外科医エージェント３３５０６は、模擬タスクのコンピュータベースの制御を提供し得る。そのような外科医エージェント３３５０６は、手術タスクの多くの変形例をシミュレートするために使用され得る。そのようなシミュレーションは、例えば、機械学習モデル３３５００など機械学習モデルを分析する、及び／又は訓練するための大型データセットを生成するために使用され得る。そのようなデータセットは、変更され得る外科手術タスクの態様を分析する、及び／又はモデル化するために使用され得る。
一実施例では、外科医エージェント３３５０６は、処置計画タスクデータ３３５０８を受信し得る。処置計画タスクデータ３３５０８は、特定の手術タスクに関する情報を含み得る。例えば、処置計画タスクデータ３３５０８は、手術タスクに関連する１つ以上のシミュレーションパラメータを含み得る。そのようなシミュレーションパラメータは、特定の手術タスクがシミュレーションにおいて処理されるべき方法に関する情報を提供し得る。手術タスクのシミュレーションパラメータは、手術タスクのパラメータ化された表現を含み得、そのそれぞれは、例えば、１つ以上の特定の操作及び１つ以上の基準位置を含む。例えば、縫合タスクの場合、パラメータ化された例示的表現は、例えば、角度を付けた初期縫合糸挿入など操作及び模擬創傷に対して定められた点など基準位置を含み得る。処置計画タスクデータ３３３５０８は、例えば、図１１Ａ～図１１Ｂに関して本明細書に開示されるように構造化され得る。
３３５１０において、外科医エージェント３３５０６は、処置計画タスクデータ３３５０８から１つ以上のシミュレーションパラメータを受信し得る。外科医エージェント３３５０６は、シミュレーションパラメータをシミュレーションへの１つ以上の制御入力に変換するための論理を含み得る。例えば、外科医エージェント３３５０６は、シミュレーションパラメータからなされた決定に基づいて制御入力を模倣し得る。例えば、外科医エージェント３３５０６は、制御入力を決定するために、及び／又はシミュレーションを制御する方法として、シミュレーションのアプリケーションプログラミングインターフェース（ＡＰＩ）に関与し得る。３３５１２において、外科医エージェントは、１つ以上のシミュレーションパラメータを１つ以上の制御入力に変換し得る。
３３５１４において、外科医エージェント３３５０６は、制御入力をシミュレーションデバイス３３５１６に出力し得る。シミュレーションデバイス３３５１６は、そのような制御入力に基づいてシミュレーションサイクルを実行し、次に出力を外科医エージェントに送信し得る。出力は、制御入力を考慮したシミュレーション状態の表現を含み得る。出力は、例えば、１つ以上の結果メトリックを含み得る。
３３５１８において、外科医エージェントは、シミュレーション出力を受信し得る。外科医エージェントは、後続の制御入力が存在する場合には、そこにループし得る。後続の制御入力は、追加のシミュレーションパラメータから変換され得る。そのような追加のシミュレーションパラメータは、処置計画タスクデータ３３５０８から受信され得る、及び／又は追加の処置計画タスクデータ３３５０８の後続の受信であり得る。そのような外科医エージェントは、パラメータ化された入力データセットに従って手術シミュレーションのコンピュータベースの制御を可能にし得る。外科医エージェントの１つ以上のインスタンスは、シミュレーションを通して特定のタスクの多くの変形例を試験するために、１つ以上のシミュレーションで基礎的要素として使用され得る。このような基礎的要素は、例えば、任意の長さの手術活動の変形例を試験するために組み合わせられ得る。例えば、１つ以上の外科医エージェントは、対応する処置計画タスクデータの１つ以上の要素と共に使用されて、シミュレーションにおける外科処置全体の多くの変形例のコンピュータベースの制御を可能にし得る。
図１４は、例示的シミュレーション活動パラメータ化データセットを示す。コンピュータベースの制御によるシミュレーションのための手術活動のパラメータ化は、手術活動パラメータ化ツール３３５２０の動作を含み得る。手術活動パラメータ化ツール３３５２０は、パラメータ化された手術活動データ３３５２２を生成するために使用され得る。手術活動パラメータ化ツール３３５２０は、シミュレーションプラットフォームに基づき得る。例えば、手術活動パラメータ化ツール３３５２０は、図７に関連して本明細書に開示されるシミュレーションデバイス３００００のアプリケーションモジュール３００１０に実装され得る。手術活動パラメータ化ツール３３５２０は、スタンドアロンツールであり得る。
手術活動パラメータ化ツール３３５２０は、本明細書に開示されるステップ、機能、及び／又は能力を実行するように構成されたプロセッサを含み得る。手術活動パラメータ化ツール３３５２０は、ユーザが、手術活動を表す１つ以上のパラメータを定義することを可能にし得る。例えば、手術活動パラメータ化ツール３３５２０は、ユーザが手術活動を表す１つ以上のパラメータを定義することを可能にし得、その結果、例えば、図７に関して本明細書に開示されるように外科医エージェントデバイス３０００６のようなコンピュータベースの制御エージェントが手術活動を行い得る。そのようなパラメータは、パラメータ化された手術活動データ３３５２０を表し得る。
一実施例では、パラメータ化された手術活動データ３３５２０は、ターゲット物体３３５２２、１つ以上の活動パラメータ３３５２４、及び／又は１つ以上の制約３３５２６を含み得る。ターゲット物体３３５２２は、手術活動が行われるシミュレーション環境内の特定の物体、物体の集合、及び／又は物体の一部を示す情報を含み得る。活動パラメータ３３５２４は、活動を実行する際に利用可能な変形例を定義する特定のデータ要素及び／又は値を示す情報を含み得る。制約３３５２６は、活動に関連付けられた任意の制限を示す情報を含み得、そのような制限は、特定の内挿活動が実行されないようにするためにシミュレーションによって使用され得る。
例示のために、パラメータ化された手術活動データ３３５２０は、創傷閉鎖活動を定義するために使用され得る。そのような実施例では、ターゲット物体３３５２２は、例えば、創傷が位置する組織物体、創傷の位置、サイズ、及び形状に関する幾何学的情報、創傷深さ、表面下物体など模擬創傷を示す情報を含み得る。例えば、中心線３３５２８、上縁３３５３０、下縁３３５３２などの座標などパラメータ化されたデータを使用して、シミュレーションにおける創傷の位置を示すことができる。活動パラメータ３３５２４は、ターゲット物体３３５２２に対して予想される操作を示す情報を含み得る。例えば、縫合幅３３５３４、縫合間隔、縫合パターン、縫合張力、縫合深さ、縫合タイプなどパラメータ化されたデータを使用して、縫合活動の性質及び質を示し得る。例えば、縫合法、器具、縫合材料、針の種類、結び目の種類など他のパラメータ化されたデータを使用して、活動が行われる方法の態様を定義し得る。制約３３５２６は、活動動作を制約するための任意の特定の制限を示すデータを含み得る。例えば、制約３３５２６は、持続時間、器用さ、精度、正確度、衝突制約、印加圧力、隣接組織接触などを含み得る。
パラメータ化された手術活動３３５２０は、特定の活動を実行する多くの異なる方法を表す構造を提供し得る。例えば、パラメータ値の様々な組み合わせ及び／又は順列を適用することによって実行され得る、いくつかの異なる縫合である。
手術活動パラメータ化ツール３３５２０は、データ要素及び／又はそれらの値の定義を可能にするユーザインターフェースを含み得る。一実施形態では、手術活動パラメータ化ツール３３５２０は、実際のユーザ入力制御を記録し、パラメータ化された手術活動データ３３５２０に要素、値、並びに／又は記録されたユーザ入力に基づいた要素及び値を投入する「マクロ」記録機能を提供し得る。手術活動パラメータ化ツール３３５２０は、ユーザ入力制御の記録、再生、編集などを行う、メディアプレーヤ様ユーザインターフェース３３５３８を含み得る。
図１５は、機械学習訓練のための例示的手術シミュレーションフローを示す。パラメータ化された手術活動データ構造は、機械学習モデルのシミュレーションベースの訓練に対する、コンピュータ的に有効なアプローチを可能にし得る。一実施例では、３３５４０において、１つ以上のシミュレーション環境が生成され得る。例えば、１つ以上のシミュレーション環境は、例えば、図１１Ｂに関して本明細書に開示されるように、セットアップデータ３００８８、３００９０、３００９２などセットアップデータ要素の組み合わせ及び／又は順列によって生成され得る。そのような生成は、１つ以上の訓練タスク－環境パラメータセット３３５４２をもたらし得る。
３３５４４において、訓練タスク－環境パラメータセット３３５４２ごとに、可能な活動の組み合わせが生成され得る。例えば、そのような生成は、例えば、図１１Ｂに関して本明細書に開示されるタスクデータ３００９４、３００９６、３００９８、及び／又は図１４に関して本明細書に開示されるパラメータ化された手術活動データ３３５２０など処置タスク及び／又は活動データの種々の組み合わせ及び／又は順列を含み得る。そのような生成は、１つ以上の候補アクションセット３３５４６を出力し得る。一実施例では、各訓練タスク－環境パラメータセット３３５４２は、それに関連付けられた１つ以上の候補アクションセット３３５４６を有し得る。このようにして、様々な手術セットアップ及び／又は様々な手術アプローチが、コンピュータベースの制御入力下でシミュレーション用に生成され得る。訓練タスク－環境パラメータセット３３５４２と候補アクションセット３３５４６との組み合わせは、シミュレートされている入力空間を表し得る。訓練タスク－環境パラメータセット３３５４２と候補アクションセット３３５４６との組み合わせは、機械学習モデルに使用され得る訓練データの一部を表し得る。
一実施例では、訓練タスク－環境パラメータセットは、例えば、図７に関して本明細書で開示される手術データシステム３０００８など手術データシステムから受信され得る。手術データシステムは、手術タスクの実世界での実行から実世界の環境データを記録し得る。手術データシステムは、そのような実世界の環境データを使用して、複数の訓練タスク－環境パラメータセットを生成し得る。このアプローチを用いて、訓練タスク－環境パラメータセットは、典型的な解剖学的構造、生理機能などをより良く表すことができる。同様に、このアプローチは、訓練タスク－環境パラメータセットが、例えば、特定の患者集団の解剖学的構造、生理機能などをより良く表すことができるように使用され得る。
３３５４８において、対応する訓練タスク－環境パラメータセット３３５４２を伴う候補アクションセット３３５４６をシミュレートし得る、及び／又は評価し得る。例えば、対応する訓練タスク－環境パラメータセット３３５４２を伴う候補アクションセット３３５４６は、例えば、図７に関して本明細書に開示されるシミュレーションデバイス３００００などシミュレーションデバイスへの入力として提供され得る。例えば、訓練タスク－環境パラメータセット３３５４２は、セットアップ情報としてシミュレーションに提供され得る。例えば、候補アクションセット３３５４６は、シミュレーションを動作させるために、例えば、外科医エージェント３０００６など外科医エージェントによって駆動され得る。
それぞれの候補アクションセット３３５４６及び訓練タスク－環境パラメータセット３３５４２の対の実行の評価は、１つ以上の有効性メトリック３３５５０をもたらし得る。評価は、所望の機械学習訓練を考慮した、適切な任意の実行メトリックを含み得る。例えば、評価は、最終シミュレーション状態と好ましいターゲットシミュレーション状態との比較を含み得る。例えば、評価は、処置期間、処置の動き、機器の変更、器具の使用、消耗品の使用など特定の実行特性の評価を含み得る。一実施例では、有効性メトリック３３５５０は、１つ以上の実行結果の重み関数など関数を含み得る。一実施例では、有効性メトリック３３５５０は、１つ以上の実行結果のベクトルを含み得る。
３３５５２において、各候補アクションセット３３５４６と訓練タスク－環境パラメータセット３３５４２との対、及びそのそれぞれの有効性メトリック３３５５０は、機械学習モデルを訓練するための訓練データとして機能し得る。訓練は、モデル目的及び訓練データの性質を考慮して適切な任意の訓練アルゴリズムを含み得る。例えば、訓練することは、教師あり学習、教師なし学習、強化学習、認知コンピューティングなどを含み得る。
そのような訓練の出力は、モデル３３５５４を含み得る。そして、３３５５６において、モデルは、訓練及び有効性メトリック３３５５０と一致する新しい候補アクションセット３３５４６と訓練タスク－環境パラメータセット３３５４２との対を決定するために用いられ得る。一実施例では、モデル３３５５４は、「新しい」タスク－環境パラメータセット（例えば、ターゲットタスク－環境パラメータセット３３５５８）を受信し得る。そして、モデルは、対応する「新しい」アクションセット（例えば、ターゲットアクションセット３３５６０）を出力し得る。一実施例では、モデルは、「新しい」アクションセットを受信し、対応する「新しい」タスク－環境パラメータセットを出力し得るように訓練することができる。この意味で、シミュレーションデータは、結果（例えば、特定の実行目的）の達成（例えば、最大化、最小化など）を目指す新しい環境（例えば、手術セットアップ）及び／又は新しい活動（例えば、処置）を決定するために、手術環境、手術活動、及びそれらの対応する結果をモデル化するために使用され得る。
決定されたターゲットアクションセット３３５６０と訓練タスク－環境パラメータセット３３５５８との対は、３３５６２においてシミュレートされ得る。シミュレーションは、評価及び対応する有効性メトリックを含み得る。そのようなメトリックは、例えば、モデル３３５５４を検証するために使用され得る。
プロセスを例示するために、一実施例では、処置は、縫合処置を含み得る。１つ以上の環境が定義され得る。例えば、所定の手術部位は、１つ以上の訓練タスク－環境パラメータセットを確立するために撓み得る。例えば、単一の所定の手術部位が、単一の訓練タスク－環境パラメータセットを生成するために使用されて、モデル化され得る。
１つ以上の縫合アプローチが定義され得る。例えば、縫合部位の両側の組織を貫通する針のシミュレーションが開発され得る（例えば、手術活動パラメータ化ツール３３５２０などのツールを使用して開発される）。例えば、コンピュータビジョンベースのアプローチを適用して、縫合部位から関連する幾何学的パラメータを抽出し得る。例えば、縫合部位及び／又は縫合活動は、パラメータ的に定義され得る。
縫合幅は、シミュレーションにおいて配置され、創傷接触圧など有効性メトリックに従って評価され得る。例えば、有効性メトリックは、縫合の配置、深さ、数、力などいくつかの変形例にわたって有効性メトリックを最大化するようにモデルを訓練するために使用され得る。一実施例では、モデルは、様々なオプションにわたって、また、全体的な縫合力を考慮して学習／自動化を継続して、縫合部位全体の最良の目標基準を計算し得る。モジュールは、ターゲット環境で使用されて、縫合部位の有効性メトリックを最大化する縫合アプローチを出力し得る。
図１６は、例示的手術シミュレーション動作のフロー図である。例えば、例示的手術シミュレーション動作は、模擬環境で模擬手術タスクを実行するターゲットアクションセットを決定するプロセスを含み得る。シミュレーション外科手術タスクの模擬環境は、ターゲットタスク－環境パラメータセットによって示され得る。
３３５６４において、複数の訓練タスク－環境パラメータセットが受信され得る。各訓練タスク－環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境を示し得る。例えば、複数の訓練タスク－環境パラメータセットは、手術データシステムから受信され得る。手術データシステムは、手術タスクの実世界での実行から実世界の環境データを記録し得る。手術データシステムは、実世界の環境データから複数の訓練タスク－環境パラメータセットを生成し得る。例えば、各訓練タスク－環境パラメータセットは、解剖学的情報、生理学的機能、及び／又は手術セットアップ情報を含み得る。
３３５６６において、訓練タスク－環境パラメータセットごとに複数の候補アクションセットが生成され得る。各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含み得る。例えば、パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含み得る。例えば、パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された縫合を含み得る。例えば、パラメータ化された活動は、手術ロボット誘導経路を含み得る。
３３５６５８において、各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行され得る。そして、候補動作セットがそのように実行されると、模擬手術タスクを実行させ得る。そのような実行は、対応する有効性メトリックによって示される有効性を有し得る。例えば、各実行は、３３５７０において評価されて、その有効性メトリックを決定し得る。対応する有効性メトリックが記憶され得る。一実施例では、出力が生成され得る。出力は、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約であり得る。
３３５７２において、モデルが訓練され得る。例えば、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックが、モデルの訓練に使用され得る。
３３５７４において、ターゲットアクションセットは、ターゲットタスク－環境パラメータセット及びモデルに基づいて決定され得る。訓練は、教師あり学習アルゴリズム、教師なし学習アルゴリズム、強化学習アルゴリズムなど機械学習アルゴリズムに基づき得る。
一実施例では、アクションセット（例えば、候補アクションセット、ターゲットアクションセット、又は入力アクションセット）は、手術中に行われる１つ以上のアクションを定義するパラメータセットを指し得る。例えば、アクションセットは、オペレータによって行われるいくつかの外科的選択を指し得る。例えば、アクションセットは、特定のレイアウトに関する決定（手術スタッフ及び手術器具の両方）を含み得る。アクションセットはまた、手術中に使用される特定の機器を指し得る。換言すると、アクションセットは、持続時間、手術結果、処置の有効性などの両方において手術に影響を及ぼす外科処置の一部を指し得る。例えば、候補アクションセット、ターゲットアクションセット、及び入力アクションセットは、互換性のある、及び／又は同一のフォーマットをそれぞれ用い得る。機械学習モデルは、例えば、候補アクションセットに基づいて訓練されて、任意の「入力」アクションセット間の関係の定義を支援し得る。これにより、機械学習モデルを使用して、ある有効性を有するターゲットアクションセットを所与のシミュレーション内で見出すことができる。
同様に、環境パラメータセット（例えば、環境パラメータセット、ターゲット環境パラメータセット、又は入力環境パラメータセット）は、手術シミュレーションの環境全般を定義するパラメータのセットを指し得る。これは、手術シミュレーションの制約及び物理特性を初期化し定義するパラメータを指し得る。ターゲット及び環境パラメータセットは、例えば、環境パラメータセットのフォーマットと互換性のある、及び／又は同一のフォーマットを用い得る。機械学習モデルは、例えば、環境パラメータセットに基づいて訓練されて、任意の「入力」環境パラメータセット間の関係の定義を支援し得る。これにより、機械学習モデルを使用して、ある有効性を有するターゲットアクションセットを所与のシミュレーション内で見出すことができる。
一実施例では、機械学習モデルは、ラベル付きデータセットを使用して訓練されて、教師あり方式でモデルを訓練し得る。例えば、環境パラメータセットとアクションセットとの組み合わせは、入力データであると見なされ得る（特定のシミュレーション環境内で実行される特定のアクションセットを指すため）。訓練目的のこのデータは、その関連付けられた有効性メトリック（すなわち、特定のアクションが当該シミュレーション内でどの程度有効であったかに関するシミュレーションの出力）で「ラベル付け」され得る。このラベル付きデータを機械学習モデルに供給することによって、モデルは、異なるアクション／環境と関連付けられた有効性との間の関係を生成し得る。
模擬手術タスク及び有効性メトリックは、コンピュータ評価を受ける客観的目標を有するシミュレーションを受ける任意の手術活動を含み得る。例えば、模擬手術タスクは、下前部切除吻合を含み得る。また、有効性メトリックは、模擬手術タスクの実行から生じる灌流を含み得る。例えば、模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み得る。また、有効性メトリックは、模擬手術タスクの実行から生じた出力肺気肺容量の指示を含み得る。
以下の実施形態の非包括的な列挙はまた、本開示の一部を形成する。
実施形態１．ターゲットアクションセットを決定するためのコンピュータ実施方法であって、方法は、
複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を含む、方法。
複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を含む、方法。
アクションセット（例えば、候補アクションセット、ターゲットアクションセット、又は入力アクションセット）は、手術中に行われる１つ以上のアクションを定義するパラメータセットを指し得ることが理解されよう。いくつかの実施形態では、アクションセットは、オペレータによって行われる、いくつかの外科的選択を指し得る。いくつかの実施形態では、アクションセットは、特定のレイアウトに関する決定（手術スタッフ及び手術器具の両方）を含み得る。アクションセットはまた、手術中に使用される特定の機器を指し得る。換言すると、アクションセットは、持続時間、手術結果、処置の有効性などの両方において手術に影響を及ぼす外科処置の一部を指し得る。候補アクションセット、ターゲットアクションセット、及び入力アクションセットは全て、同一フォーマットを有するデータセットであることを理解されたい。すなわち、機械学習モデルは、候補アクションセットに基づいて訓練されて、任意の「入力」アクションセット間の関係の定義を支援し得る。これにより、機械学習モデルを使用して、ある有効性を有するターゲットアクションセットを所与のシミュレーション内で見出すことができる。
環境パラメータセット（例えば、環境パラメータセット、ターゲット環境パラメータセット、又は入力環境パラメータセット）は、手術シミュレーションの環境全般を定義するパラメータセットを指し得ることも理解され得る。換言すると、環境パラメータセットは、手術シミュレーションの制約及び物理特性を初期化し、定義するパラメータを指す。ターゲットパラメータセット及び環境パラメータセットは全て環境パラメータセットと同一のフォーマットを有するデータセットであることを理解されたい。すなわち、機械学習モデルは、環境パラメータセットに基づいて訓練されて、任意の「入力」環境パラメータセット間の関係の定義を支援し得る。これにより、機械学習モデルを使用して、ある有効性を有するターゲットアクションセットを所与のシミュレーション内で見出すことができる。
一実施形態では、「機械学習モデルを訓練すること」は、ラベル付きデータセットを使用して教師あり方式でモデルを訓練することを指し得る。この場合、環境パラメータセットとアクションセットとの組み合わせは、入力データであると見なされ得る（特定のシミュレーション環境内で実行される特定のアクションセットを指すため）。訓練目的のこのデータは、その関連付けられた有効性メトリック（すなわち、特定のアクションが当該シミュレーション内でどの程度有効であったかに関するシミュレーションの出力）で「ラベル付け」され得る。このラベル付きデータを機械学習モデルに供給することによって、モデルは、異なるアクション／環境と関連付けられた有効性との間の関係を生成し得る。
誤解を避けるために、本実施形態が「環境パラメータセット」と呼ぶとき、「環境パラメータセット」は、アプリケーションが「訓練タスク－環境パラメータセット」（すなわち、機械学習モデルの訓練に使用され得るパラメータセット）と呼ぶのと同一のパラメータセットであり得る。
手術シミュレーションの初期化（環境パラメータセットによって定義される）及びシミュレーション内で行われる特定の選択／アクション（候補アクションセットによって定義される）の両方が、手術の有効性全般（有効性メトリックによって定義される）に影響を及ぼす。
一実施形態では、「ターゲットアクションセットを決定すること」は、（環境パラメータセットによって定義されるように）所定のシミュレーション内の複数のアクションセットからあるアクションセットを選択することを指し得る。ターゲットアクションセットは、（機械学習モデルへの入力として）機械学習モデルから最良の出力効率メトリックを生成するターゲットアクションセットに基づいて選択され得る。
換言すると、本発明は、シミュレーションの出力データを使用して機械学習モデルの訓練を改善し、次いで、改善された訓練済み人工知能を使用して、特定の手術セットアップ内で実行され得る手術アクション／選択に関する改善された結論を下す。
これの１つの利点は、機械学習モデル（ニューラルネットワークなど）が、ライブ外科処置中に通常は生じ得ない追加データを用いて訓練され得ることである。換言すると、シミュレーションは、「よりリスクの高い」外科的選択及びそれらの結果に関するデータを機械学習モデルに提供することができる。機械学習モデルから得た情報に基づく知能は、適切なデータを収集するために実際の患者がリスクを負う必要なく、実際に有益な効果を有する決定を強調することによって、手術に関する将来の決定を通知することができる。
本実施形態の方法で機械学習モデルの訓練を改善する結果は、決定したターゲットアクションセットによって改善された手術結果が達成され得ることである。
実施形態２．複数の環境パラメータセットを受信することは、手術タスクの実世界での実行から実世界の環境データを記録し、実世界の環境データから複数の環境パラメータセットを生成する手術データシステムから複数の環境パラメータセットを受信することを含む、実施形態１に記載のコンピュータ実施方法。
実施形態３．各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施形態１又は２のいずれか１つに記載のコンピュータ実施方法。
実施形態４．各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施形態１～３のいずれか１つに記載のコンピュータ実施方法。
実施形態５．パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、実施形態４に記載のコンピュータ実施方法。
実施形態６．パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、実施形態４に記載のコンピュータ実施方法。
実施形態７．パラメータ化された活動は、手術ロボット誘導経路を含む、実施形態４に記載のコンピュータ実施方法。
実施形態８．模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた灌流の指標である、実施形態１～７のいずれか１つに記載のコンピュータ実施方法。
実施形態９．模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた出力肺気量の指標である、実施形態１～８のいずれか１つに記載のコンピュータ実施方法。
実施形態１０．複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む、実施形態１～９のいずれか１つに記載のコンピュータ実施方法。
実施形態１１．機械学習モデルを訓練することは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて機械学習モデルを訓練することを含む、実施形態１～１０のいずれか１つに記載のコンピュータ実施方法。
実施形態１２．ターゲットアクションセットを決定するためのデバイスであって、デバイスは、
プロセッサを備え、プロセッサが、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、対応する環境セットに対応するそれぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含み得るように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
プロセッサを備え、プロセッサが、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、対応する環境セットに対応するそれぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含み得るように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
実施形態１３．手術データシステムは、手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、実世界の環境データから複数の環境パラメータセットを生成するように更に構成されている、実施形態１２に記載のデバイス。
実施形態１４．各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施形態１２又は１３のいずれか１つに記載のデバイス。
実施形態１５．各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施形態１２～１４のいずれか１つに記載のデバイス。
実施形態１６．パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、実施形態１５に記載のデバイス。
実施形態１７．パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、実施形態１５に記載のデバイス。
実施形態１８．パラメータ化された活動は、手術ロボット誘導経路を含む、実施形態１５に記載のデバイス。
実施形態１９．模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた灌流の指標である、実施形態１２～１８のいずれか１つに記載のデバイス。
実施形態２０．模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、対応する環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた出力肺気量の指標である、実施形態１２～１８のいずれか１つに記載のデバイス。
実施形態２１．プロセッサは、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成するように更に構成されている、実施形態１２～２０のいずれか１つに記載のデバイス。
実施形態２２．プロセッサは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて機械学習モデルを訓練するように構成されている、実施形態１２～２１のいずれか１つに記載のデバイス。
実施形態２３．ターゲットアクションセットを決定するためのデバイスであって、デバイスは、
プロセッサを備え、プロセッサが、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含むように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
プロセッサを備え、プロセッサが、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含むように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて機械学習モデルを訓練することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
実施形態２４．手術データシステムは、手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、実世界の環境データから複数の環境パラメータセットを生成するように更に構成されている、実施形態２３に記載のデバイス。
実施形態２５．各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施形態２３又は２４のいずれか１つに記載のデバイス。
実施形態２６．各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施形態２３～２５のいずれか１つに記載のデバイス。
実施形態２７．ターゲットアクションセットを決定するためのデバイスであって、デバイスは、
プロセッサを備え、プロセッサが、
訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含むように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及び対応する有効性メトリックを用いて訓練した機械学習モデルを受信することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
環境パラメータセット及び機械学習モデルに基づいてターゲットアクションセットを決定することと、を行うように構成されており、
各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応し、
複数の環境パラメータセットは、手術データシステムからのものであり、
環境パラメータセットごとに、複数の候補アクションセットは、対応する環境セットに対応する模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、デバイス。
プロセッサを備え、プロセッサが、
訓練した機械学習モデルが、モデル入力とモデル出力との間の関数関係を含むように、複数の環境パラメータセット、それぞれの複数の候補アクションセット、及び対応する有効性メトリックを用いて訓練した機械学習モデルを受信することであって、モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、出力は、出力有効性メトリックを含む、ことと、
環境パラメータセット及び機械学習モデルに基づいてターゲットアクションセットを決定することと、を行うように構成されており、
各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応し、
複数の環境パラメータセットは、手術データシステムからのものであり、
環境パラメータセットごとに、複数の候補アクションセットは、対応する環境セットに対応する模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、デバイス。
実施形態２８．各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含み、各候補アクションセットは、それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施形態２７に記載のデバイス。
実施形態２９．コンピュータによって実行されると、コンピュータに実施形態１～１１のいずれか１つに記載の方法を実行させる命令を含む、コンピュータ可読媒体。
以下の態様の非包括的な列挙はまた、本開示の一部を形成する。
態様１．ターゲットタスク－環境パラメータセットによって示される模擬環境内で模擬手術タスクを実行するためのターゲットアクションセットを決定するためのデバイスであって、デバイスは、プロセッサを備え、プロセッサは、手術データシステムから複数の訓練タスク－環境パラメータセットを受信することであって、各訓練タスク－環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、訓練タスク－環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、ことと、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いてモデルを訓練することと、ターゲットタスク－環境パラメータセット及びモデルに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
態様２．プロセッサは、手術タスクの実世界での実行から実世界の環境データを記録し、実世界の環境データから複数の訓練タスク－環境パラメータセットを生成する手術データシステムから複数の訓練タスク－環境パラメータセットを受信するように更に構成されている、態様１に記載のデバイス。
態様３．各訓練タスク－環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、態様１に記載のデバイス。
態様４．各候補アクションセットは、それぞれの模擬手術環境内におけるパラメータ化された手術活動を含む、態様１に記載のデバイス。
態様５．パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、態様４に記載のデバイス。
態様６．複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む、態様１に記載のデバイス。
態様７．モデルを訓練することは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いてモデルを訓練することを含む、態様１に記載のデバイス。
態様８．ターゲットタスク－環境パラメータセットによって示される模擬環境内で模擬手術タスクを実行するためのターゲットアクションセットを決定するための方法であって、方法は、複数の訓練タスク－環境パラメータセットを受信することであって、各訓練タスク－環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、訓練タスク－環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、ことと、複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いてモデルを訓練することと、ターゲットタスク－環境パラメータセット及びモデルに基づいてターゲットアクションセットを決定することと、を含む、方法。
態様９．複数の訓練タスク－環境パラメータセットを受信することは、手術タスクの実世界での実行から実世界の環境データを記録し、実世界の環境データから複数の訓練タスク－環境パラメータセットを生成する手術データシステムから複数の訓練タスク－環境パラメータセットを受信することを含む、態様８に記載の方法。
態様１０．各訓練タスク－環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、態様８に記載の方法。
態様１１．各候補アクションセットは、それぞれの模擬手術環境内におけるパラメータ化された手術活動を含む、態様８に記載の方法。
態様１２．パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、態様１１に記載の方法。
態様１３．パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、態様１１に記載の方法。
態様１４．パラメータ化された活動は、手術ロボット誘導経路を含む、態様１１に記載の方法。
態様１５．模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた灌流の指標である、態様８に記載の方法。
態様１６．模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させ、対応する有効性メトリックは、模擬手術タスクの実行から生じた出力肺気量の指標である、態様８に記載の方法。
態様１７．複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む、態様８に記載の方法。
態様１８．モデルを訓練することは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いてモデルを訓練することを含む、態様８に記載の方法。
態様１９．ターゲットタスク－環境パラメータセットによって示される模擬環境内で模擬手術タスクを実行するためのターゲットアクションセットを決定するためのデバイスであって、デバイスは、プロセッサを備え、プロセッサは、複数の訓練タスク－環境パラメータセット、それぞれの複数の候補アクションセット、及び対応する有効性メトリックを用いて訓練したモデルを受信することであって、各訓練タスク－環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応し、複数の訓練タスク－環境パラメータセットは手術データシステムからのものであり、訓練タスク－環境パラメータセットごとに、複数の候補アクションセットは、対応する訓練タスク－環境セットによって示される模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、模擬手術タスクを実行させる、ことと、ターゲットタスク－環境パラメータセット及びモデルに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
態様２０．各訓練タスク－環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含み、各候補アクションセットは、それぞれの模擬手術環境内のパラメータ化された手術活動を含む、態様１９に記載のデバイス。
〔実施の態様〕
（１） ターゲットアクションセットを決定するためのコンピュータ実施方法であって、前記方法は、
複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を含む、方法。
（２） 前記複数の環境パラメータセットを受信することは、前記手術タスクの実世界での実行から実世界の環境データを記録し、前記実世界の環境データから前記複数の環境パラメータセットを生成する手術データシステムから前記複数の環境パラメータセットを受信することを含む、実施態様１に記載のコンピュータ実施方法。
（３） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施態様１に記載のコンピュータ実施方法。
（４） 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様１に記載のコンピュータ実施方法。
（５） 前記パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、実施態様４に記載のコンピュータ実施方法。
（１） ターゲットアクションセットを決定するためのコンピュータ実施方法であって、前記方法は、
複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を含む、方法。
（２） 前記複数の環境パラメータセットを受信することは、前記手術タスクの実世界での実行から実世界の環境データを記録し、前記実世界の環境データから前記複数の環境パラメータセットを生成する手術データシステムから前記複数の環境パラメータセットを受信することを含む、実施態様１に記載のコンピュータ実施方法。
（３） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施態様１に記載のコンピュータ実施方法。
（４） 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様１に記載のコンピュータ実施方法。
（５） 前記パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、実施態様４に記載のコンピュータ実施方法。
（６） 前記パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、実施態様４に記載のコンピュータ実施方法。
（７） 前記パラメータ化された活動は、手術ロボット誘導経路を含む、実施態様４に記載のコンピュータ実施方法。
（８） 前記模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた灌流の指標である、実施態様１に記載のコンピュータ実施方法。
（９） 前記模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた出力肺気量の指標である、実施態様１に記載のコンピュータ実施方法。
（１０） 前記複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む、実施態様１に記載のコンピュータ実施方法。
（７） 前記パラメータ化された活動は、手術ロボット誘導経路を含む、実施態様４に記載のコンピュータ実施方法。
（８） 前記模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた灌流の指標である、実施態様１に記載のコンピュータ実施方法。
（９） 前記模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた出力肺気量の指標である、実施態様１に記載のコンピュータ実施方法。
（１０） 前記複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む、実施態様１に記載のコンピュータ実施方法。
（１１） 前記機械学習モデルを訓練することは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて前記機械学習モデルを訓練することを含む、実施態様１に記載のコンピュータ実施方法。
（１２） ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記対応する環境セットに対応する前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
（１３） 前記手術データシステムは、前記手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、前記実世界の環境データから前記複数の環境パラメータセットを生成するように更に構成されている、実施態様１２に記載のデバイス。
（１４） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施態様１２に記載のデバイス。
（１５） 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様１２に記載のデバイス。
（１２） ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記対応する環境セットに対応する前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
（１３） 前記手術データシステムは、前記手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、前記実世界の環境データから前記複数の環境パラメータセットを生成するように更に構成されている、実施態様１２に記載のデバイス。
（１４） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施態様１２に記載のデバイス。
（１５） 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様１２に記載のデバイス。
（１６） 前記パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、実施態様１５に記載のデバイス。
（１７） 前記パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、実施態様１５に記載のデバイス。
（１８） 前記パラメータ化された活動は、手術ロボット誘導経路を含む、実施態様１５に記載のデバイス。
（１９） 前記模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた灌流の指標である、実施態様１２に記載のデバイス。
（２０） 前記模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた出力肺気量の指標である、実施態様１２に記載のデバイス。
（１７） 前記パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、実施態様１５に記載のデバイス。
（１８） 前記パラメータ化された活動は、手術ロボット誘導経路を含む、実施態様１５に記載のデバイス。
（１９） 前記模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた灌流の指標である、実施態様１２に記載のデバイス。
（２０） 前記模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた出力肺気量の指標である、実施態様１２に記載のデバイス。
（２１） 前記プロセッサは、前記複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成するように更に構成されている、実施態様１２に記載のデバイス。
（２２） 前記プロセッサは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて前記機械学習モデルを訓練するように構成されている、実施態様１２に記載のデバイス。
（２３） ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
（２４） 前記手術データシステムは、前記手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、前記実世界の環境データから前記複数の環境パラメータセットを生成するように更に構成されている、実施態様２３に記載のデバイス。
（２５） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施態様２３に記載のデバイス。
（２２） 前記プロセッサは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて前記機械学習モデルを訓練するように構成されている、実施態様１２に記載のデバイス。
（２３） ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。
（２４） 前記手術データシステムは、前記手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、前記実世界の環境データから前記複数の環境パラメータセットを生成するように更に構成されている、実施態様２３に記載のデバイス。
（２５） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、実施態様２３に記載のデバイス。
（２６） 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様２３に記載のデバイス。
（２７） ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及び対応する有効性メトリックを用いて訓練した前記機械学習モデルを受信することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
前記環境パラメータセット及び前記機械学習モデルに基づいてターゲットアクションセットを決定することと、を行うように構成されており、
各環境パラメータセットは、前記模擬手術タスクが完了されるべき前記それぞれの模擬環境に対応し、
前記複数の環境パラメータセットは、手術データシステムからのものであり、
環境パラメータセットごとに、複数の候補アクションセットは、前記対応する環境セットに対応する前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させる、デバイス。
（２８） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含み、各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様２７に記載のデバイス。
（２９） コンピュータによって実行されると、前記コンピュータに実施態様１に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
（２７） ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及び対応する有効性メトリックを用いて訓練した前記機械学習モデルを受信することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
前記環境パラメータセット及び前記機械学習モデルに基づいてターゲットアクションセットを決定することと、を行うように構成されており、
各環境パラメータセットは、前記模擬手術タスクが完了されるべき前記それぞれの模擬環境に対応し、
前記複数の環境パラメータセットは、手術データシステムからのものであり、
環境パラメータセットごとに、複数の候補アクションセットは、前記対応する環境セットに対応する前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させる、デバイス。
（２８） 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含み、各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、実施態様２７に記載のデバイス。
（２９） コンピュータによって実行されると、前記コンピュータに実施態様１に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
Claims (29)
- ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記対応する環境セットに対応する前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。 - 前記手術データシステムは、前記手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、前記実世界の環境データから前記複数の環境パラメータセットを生成するように更に構成されている、請求項１に記載のデバイス。
- 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、請求項１に記載のデバイス。
- 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、請求項１に記載のデバイス。
- 前記パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、請求項４に記載のデバイス。
- 前記パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、請求項４に記載のデバイス。
- 前記パラメータ化された活動は、手術ロボット誘導経路を含む、請求項４に記載のデバイス。
- 前記模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた灌流の指標である、請求項１に記載のデバイス。
- 前記模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた出力肺気量の指標である、請求項１に記載のデバイス。
- 前記プロセッサは、前記複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成するように更に構成されている、請求項１に記載のデバイス。
- 前記プロセッサは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて前記機械学習モデルを訓練するように構成されている、請求項１に記載のデバイス。
- ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
手術データシステムから複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を行うように構成されている、デバイス。 - 前記手術データシステムは、前記手術タスクの実世界での実行から実世界の環境データを記録するように構成されており、前記実世界の環境データから前記複数の環境パラメータセットを生成するように更に構成されている、請求項１２に記載のデバイス。
- 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、請求項１２に記載のデバイス。
- 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、請求項１２に記載のデバイス。
- ターゲットアクションセットを決定するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含むように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及び対応する有効性メトリックを用いて訓練した前記機械学習モデルを受信することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
前記環境パラメータセット及び前記機械学習モデルに基づいてターゲットアクションセットを決定することと、を行うように構成されており、
各環境パラメータセットは、前記模擬手術タスクが完了されるべき前記それぞれの模擬環境に対応し、
前記複数の環境パラメータセットは、手術データシステムからのものであり、
環境パラメータセットごとに、複数の候補アクションセットは、前記対応する環境セットに対応する前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させる、デバイス。 - 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含み、各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、請求項１６に記載のデバイス。
- ターゲットアクションセットを決定するためのコンピュータ実施方法であって、前記方法は、
複数の環境パラメータセットを受信することであって、各環境パラメータセットは、模擬手術タスクが完了されるべきそれぞれの模擬環境に対応する、ことと、
環境パラメータセットごとに複数の候補アクションセットを生成することであって、各候補アクションセットは、前記それぞれの模擬環境内で実行されると、対応する有効性メトリックによって示される有効性で、前記それぞれの模擬手術タスクを実行させる、ことと、
訓練した機械学習モデルがモデル入力とモデル出力との間の関数関係を含み得るように、前記複数の環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックを用いて前記機械学習モデルを訓練することであって、前記モデル入力は、入力環境パラメータセットと、入力アクションセットと、を含み、前記出力は、出力有効性メトリックを含む、ことと、
ターゲット環境パラメータセット、及び前記訓練した機械学習モデルによって出力される、対応する有効性メトリックに基づいてターゲットアクションセットを決定することと、を含む、方法。 - 前記複数の環境パラメータセットを受信することは、前記手術タスクの実世界での実行から実世界の環境データを記録し、前記実世界の環境データから前記複数の環境パラメータセットを生成する手術データシステムから前記複数の環境パラメータセットを受信することを含む、請求項１８に記載のコンピュータ実施方法。
- 各環境パラメータセットは、解剖学的情報と、生理学的情報と、手術セットアップ情報と、を含む、請求項１８に記載のコンピュータ実施方法。
- 各候補アクションセットは、前記それぞれの模擬環境内におけるパラメータ化された手術活動を含む、請求項１８に記載のコンピュータ実施方法。
- 前記パラメータ化された活動は、相対的な解剖学的位置、器具の選択、及び器具の適用方向のいずれかによってパラメータ化された模擬離断を含む、請求項２１に記載のコンピュータ実施方法。
- 前記パラメータ化された活動は、縫合位置、縫合パターン、縫合回数、縫合材料、及び縫合張力のいずれかによってパラメータ化された模擬縫合を含む、請求項２１に記載のコンピュータ実施方法。
- 前記パラメータ化された活動は、手術ロボット誘導経路を含む、請求項２１に記載のコンピュータ実施方法。
- 前記模擬手術タスクは、下前部切除吻合を含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた灌流の指標である、請求項１８に記載のコンピュータ実施方法。
- 前記模擬手術タスクは、区域切除及び肺葉切除のいずれかを含み、各候補アクションセットは、前記対応する環境セットによって示される前記模擬環境内で実行されると、前記対応する有効性メトリックによって示される有効性で、前記模擬手術タスクを実行させ、前記対応する有効性メトリックは、前記模擬手術タスクの前記実行から生じた出力肺気量の指標である、請求項１８に記載のコンピュータ実施方法。
- 前記複数のタスク環境パラメータセット、それぞれの複数の候補アクションセット、及びそれぞれの対応する有効性メトリックの人間可読集約である出力を生成することを更に含む、請求項１８に記載のコンピュータ実施方法。
- 前記機械学習モデルを訓練することは、教師あり学習アルゴリズム、教師なし学習アルゴリズム、及び強化学習アルゴリズムのいずれかを用いて前記機械学習モデルを訓練することを含む、請求項１８に記載のコンピュータ実施方法。
- コンピュータによって実行されると、前記コンピュータに請求項１８に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163191681P | 2021-05-21 | 2021-05-21 | |
| US63/191,681 | 2021-05-21 | ||
| US17/332,407 | 2021-05-27 | ||
| US17/332,407 US20220370133A1 (en) | 2021-05-21 | 2021-05-27 | Simulation-Based Directed Surgical Development System |
| PCT/IB2022/054738 WO2022243966A1 (en) | 2021-05-21 | 2022-05-20 | Simulation-based directed surgical development system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024521110A true JP2024521110A (ja) | 2024-05-28 |
Family
ID=81928088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023571916A Pending JP2024521110A (ja) | 2021-05-21 | 2022-05-20 | 指示に基づいた、シミュレーションベースの手術開発システム |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4150608A1 (ja) |
| JP (1) | JP2024521110A (ja) |
| WO (1) | WO2022243966A1 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
| WO2019133143A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Surgical hub and modular device response adjustment based on situational awareness |
| US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
| US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
| EP3810009A1 (en) * | 2018-06-19 | 2021-04-28 | Tornier, Inc. | Visualization of intraoperatively modified surgical plans |
| US20220117663A1 (en) * | 2019-02-05 | 2022-04-21 | Smith & Nephew, Inc. | Algorithm-based optimization, tool and selectable simulation data for total hip arthroplasty |
-
2022
- 2022-05-20 EP EP22727473.5A patent/EP4150608A1/en active Pending
- 2022-05-20 WO PCT/IB2022/054738 patent/WO2022243966A1/en active Application Filing
- 2022-05-20 JP JP2023571916A patent/JP2024521110A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022243966A1 (en) | 2022-11-24 |
| EP4150608A1 (en) | 2023-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7309721B2 (ja) | 自律的に調節可能な制御プログラムを有する外科システム | |
| US20220370133A1 (en) | Simulation-Based Directed Surgical Development System | |
| US20230023083A1 (en) | Method of surgical system power management, communication, processing, storage and display | |
| WO2022243961A1 (en) | Surgical simulation system with simulated surgical equipment coordination | |
| WO2022243963A1 (en) | Dynamic adaptation system for surgical simulation | |
| JP2024521110A (ja) | 指示に基づいた、シミュレーションベースの手術開発システム | |
| JP2024521722A (ja) | 手術シミュレーションナビゲーションシステム | |
| WO2022243955A1 (en) | Surgical adverse event simulation system | |
| WO2022243960A1 (en) | Simulation-based surgical analysis system | |
| WO2022243957A1 (en) | Simulation-based surgical procedure planning system | |
| WO2022243958A1 (en) | Surgical simulation system with coordinated imagining | |
| WO2022243954A1 (en) | Surgical simulation object rectification system | |
| US20230372013A1 (en) | Aggregation of patient, procedure, surgeon, and facility pre-surgical data and population and adaptation of a starting procedure plan template | |
| US20230372030A1 (en) | Automatic compilation, annotation, and dissemination of surgical data to systems to anticipate related automated operations | |
| US20230377709A1 (en) | Method of controlling autonomous operations in a surgical system | |
| US20230372031A1 (en) | Identification of images shapes based on situational awareness of a surgical image and annotation of shapes or pixels | |
| EP4377967A1 (en) | Automatic compilation, annotation, and dissemination of surgical data to systems to anticipate related automated operations |