JP2024514633A - 手術視野における表示態様のリスクベースの優先順位付け - Google Patents
手術視野における表示態様のリスクベースの優先順位付け Download PDFInfo
- Publication number
- JP2024514633A JP2024514633A JP2023563011A JP2023563011A JP2024514633A JP 2024514633 A JP2024514633 A JP 2024514633A JP 2023563011 A JP2023563011 A JP 2023563011A JP 2023563011 A JP2023563011 A JP 2023563011A JP 2024514633 A JP2024514633 A JP 2024514633A
- Authority
- JP
- Japan
- Prior art keywords
- surgical
- display
- tissue
- data
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012913 prioritisation Methods 0.000 title 1
- 238000001356 surgical procedure Methods 0.000 claims abstract description 142
- 238000003384 imaging method Methods 0.000 claims abstract description 57
- 239000012636 effector Substances 0.000 claims description 115
- 230000004044 response Effects 0.000 claims description 71
- 230000008859 change Effects 0.000 claims description 36
- 230000007704 transition Effects 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 230000000740 bleeding effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 209
- 230000000007 visual effect Effects 0.000 description 118
- 238000004891 communication Methods 0.000 description 60
- 230000002452 interceptive effect Effects 0.000 description 54
- 238000010304 firing Methods 0.000 description 52
- 230000003190 augmentative effect Effects 0.000 description 48
- 238000012545 processing Methods 0.000 description 41
- 238000012800 visualization Methods 0.000 description 39
- 230000003068 static effect Effects 0.000 description 32
- 238000003860 storage Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000002059 diagnostic imaging Methods 0.000 description 15
- 238000002372 labelling Methods 0.000 description 14
- 238000005520 cutting process Methods 0.000 description 11
- 230000007935 neutral effect Effects 0.000 description 10
- 239000000779 smoke Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000007789 sealing Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 210000004072 lung Anatomy 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000036772 blood pressure Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000002271 resection Methods 0.000 description 7
- 238000013538 segmental resection Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 208000025247 virus-associated trichodysplasia spinulosa Diseases 0.000 description 7
- 230000004397 blinking Effects 0.000 description 6
- 238000007654 immersion Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013468 resource allocation Methods 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 230000001225 therapeutic effect Effects 0.000 description 6
- 210000000115 thoracic cavity Anatomy 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 5
- 230000003238 somatosensory effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000000090 biomarker Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000002224 dissection Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 206010002091 Anaesthesia Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000037005 anaesthesia Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000002355 open surgical procedure Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013021 overheating Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000007682 sleeve gastrectomy Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000003874 surgical anastomosis Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000475481 Nebula Species 0.000 description 1
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002682 general surgery Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009802 hysterectomy Methods 0.000 description 1
- 238000001566 impedance spectroscopy Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- 238000012977 invasive surgical procedure Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
- A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
- A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/105—Multiple levels of security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/50—Secure pairing of devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/14—Direct-mode setup
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
- A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
- A61B17/07292—Reinforcements for staple line, e.g. pledgets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
- A61B17/115—Staplers for performing anastomosis in a single operation
- A61B17/1155—Circular staplers comprising a plurality of staples
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00022—Sensing or detecting at the treatment site
- A61B2017/00026—Conductivity or impedance, e.g. of tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00022—Sensing or detecting at the treatment site
- A61B2017/00084—Temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00022—Sensing or detecting at the treatment site
- A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00809—Lung operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00818—Treatment of the gastro-intestinal system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
- A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
- A61B2017/07214—Stapler heads
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
- A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
- A61B2017/07214—Stapler heads
- A61B2017/07271—Stapler heads characterised by its cartridge
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
- A61B2017/1132—End-to-end connections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/42—Gynaecological or obstetrical instruments or methods
- A61B2017/4216—Operations on uterus, e.g. endometrium
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00636—Sensing and controlling the application of energy
- A61B2018/00898—Alarms or notifications created in response to an abnormal condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
- A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2217/00—General characteristics of surgical instruments
- A61B2217/002—Auxiliary appliance
- A61B2217/005—Auxiliary appliance with suction drainage system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2217/00—General characteristics of surgical instruments
- A61B2217/002—Auxiliary appliance
- A61B2217/007—Auxiliary appliance with irrigation system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Radiology & Medical Imaging (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Urology & Nephrology (AREA)
- Gynecology & Obstetrics (AREA)
- Emergency Management (AREA)
- Quality & Reliability (AREA)
- Social Psychology (AREA)
Abstract
外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
Description
(関連出願の相互参照)
本出願は、米国特許法第119条(e)の下で、2021年4月14日に出願された「HEADS UP DISPLAY」と題する米国仮特許出願第63/174,674号、及び2021年11月30日に出願された「INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS」と題する米国仮特許出願第63/284,326号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。
本出願は、米国特許法第119条(e)の下で、2021年4月14日に出願された「HEADS UP DISPLAY」と題する米国仮特許出願第63/174,674号、及び2021年11月30日に出願された「INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS」と題する米国仮特許出願第63/284,326号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。
本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。
実世界の外科用器具は、エネルギー、ステープラ、又はエネルギーとステープラとの組合せを含む、種々の外科用デバイスを含む。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数(RF)ベースの単極及び双極電気外科用器具、超音波外科用器具、RF電気外科用器具と超音波器具との組合せ、RF電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。
様々な例では、外科用システムは外科的処置で使用される。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
様々な例では、外科用システムは外科的処置で使用される。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに重度レベルを割り当てることと、外科的リスクの重度レベルに基づいて外科的リスクの表示配置を決定することであって、表示配置が、アラート特徴を含む、ことと、を行うように構成される。
構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点とともに、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。
本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。
本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。
本開示の一態様による、医療施設の1つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。
本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。
本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実(AR)システムを示す図である。
本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実(AR)システムを示す図である。
本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実(AR)デバイスを示す図である。
本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。
本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。
本開示の少なくとも一態様による、外科用可視化システムを示す図である。
本開示の少なくとも一態様による、ディスプレイ上への提示を求めて競合する外科用データの表示配置を決定するための例示的な方法の動作を示すフローチャートである。
図13の方法に従って、検出された(6011)外科用データの表示優先度値を決定するための例示的な方法6020の動作を示すフローチャートである。
本開示の少なくとも一態様による、外科用吻合内の組織張力及び/又は圧力パラメータの表示優先度値を決定するための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、トリガイベントに基づいて表示優先度値を決定するための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、外科的処置における術野のライブストリーム間の自動切り替えのための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、外科的処置中にシステムリソースをバランスさせるための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、外科用データに基づいて静的表示モードとアクティブ表示モードとの間で遷移するための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、静的表示モードとアクティブ表示モードとの間で外科用データの視覚表現を遷移させるための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、表示配置における表示対立を解決するための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、外科用器具を採用する外科的処置における組織変化に対処するための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の方法による、表示配置を示す図である。
本開示の少なくとも一態様による、外科的処置中の表示配置のリスクベースの操作のための方法の動作を示すフローチャートである。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
本開示の少なくとも一態様による、表示配置を示す図である。
複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。
本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
・「METHOD FOR INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS」と題された米国特許出願;代理人整理番号END9352USNP1/210120-1M、
・「UTILIZATION OF SURGICAL DATA VALUES AND SITUATIONAL AWARENESS TO CONTROL THE OVERLAY IN SURGICAL FIELD VIEW」と題された米国特許出願;代理人整理番号END9352USNP2/210120-2、
・「Selective and adjustable mixed reality overlay in surgical field view」と題する米国特許出願;代理人整理番号END9352USNP3/210120-3、
・「SYSTEMS AND METHODS FOR CONTROLLING SURGICAL DATA OVERLAY」と題する米国特許出願;代理人整理番号END9352USNP5/210120-5、
・「SYSTEMS AND METHODS FOR CHANGING DISPLAY OVERLAY OF SURGICAL FIELD VIEW BASED ON TRIGGERING EVENTS」と題する米国特許出願;代理人整理番号END9352USNP6/210120-6、
・「CUSTOMIZATION OF OVERLAID DATA AND CONFIGURATION」と題する米国特許出願;代理人整理番号END9352USNP7/210120-7、
・「INDICATION OF THE COUPLE PAIR OF REMOTE CONTROLS WITH REMOTE DEVICES FUNCTIONS」と題する米国特許出願;代理人整理番号END9352USNP8/210120-8、
・「COOPERATIVE OVERLAYS OF INTERACTING INSTRUMENTS WHICH RESULT IN BOTH OVERLAYS BEING EFFECTED」と題する米国特許出願;代理人整理番号END9352USNP9/210120-9、
・「ANTICIPATION OF INTERACTIVE UTILIZATION OF COMMON DATA OVERLAYS BY DIFFERENT USERS」と題する米国特許出願;代理人整理番号END9352USNP10/210120-10、
・「MIXING DIRECTLY VISUALIZED WITH RENDERED ELEMENTS TO DISPLAY BLENDED ELEMENTS AND ACTIONS HAPPENING ON-SCREEN AND OFF-SCREEN」と題する米国特許出願;代理人整理番号END9352USNP11/210120-11、
・「SYSTEM AND METHOD FOR TRACKING A PORTION OF THE USER AS A PROXY FOR NON-MONITORED INSTRUMENT」と題する米国特許出願;代理人整理番号END9352USNP12/210120-12、
・「UTILIZING CONTEXTUAL PARAMETERS OF ONE OR MORE SURGICAL DEVICES TO PREDICT A FREQUENCY INTERVAL FOR DISPLAYING SURGICAL INFORMATION」と題する米国特許出願;代理人整理番号END9352USNP13/210120-13、
・「COOPERATION AMONG MULTIPLE DISPLAY SYSTEMS TO PROVIDE A HEALTHCARE USER CUSTOMIZED INFORMATION」と題する米国特許出願;代理人整理番号END9352USNP14/210120-14、
・「INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS」と題する米国特許出願;代理人整理番号END9352USNP15/210120-15、
・「ADAPTATION AND ADJUSTABILITY OR OVERLAID INSTRUMENT INFORMATION FOR SURGICAL SYSTEMS」と題する米国特許出願;代理人整理番号END9352USNP16/210120-16、及び、
・「MIXED REALITY FEEDBACK SYSTEMS THAT COOPERATE TO INCREASE EFFICIENT PERCEPTION OF COMPLEX DATA FEEDS」と題する米国特許出願;代理人整理番号END9352USNP17/210120-17。
・「METHOD FOR INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS」と題された米国特許出願;代理人整理番号END9352USNP1/210120-1M、
・「UTILIZATION OF SURGICAL DATA VALUES AND SITUATIONAL AWARENESS TO CONTROL THE OVERLAY IN SURGICAL FIELD VIEW」と題された米国特許出願;代理人整理番号END9352USNP2/210120-2、
・「Selective and adjustable mixed reality overlay in surgical field view」と題する米国特許出願;代理人整理番号END9352USNP3/210120-3、
・「SYSTEMS AND METHODS FOR CONTROLLING SURGICAL DATA OVERLAY」と題する米国特許出願;代理人整理番号END9352USNP5/210120-5、
・「SYSTEMS AND METHODS FOR CHANGING DISPLAY OVERLAY OF SURGICAL FIELD VIEW BASED ON TRIGGERING EVENTS」と題する米国特許出願;代理人整理番号END9352USNP6/210120-6、
・「CUSTOMIZATION OF OVERLAID DATA AND CONFIGURATION」と題する米国特許出願;代理人整理番号END9352USNP7/210120-7、
・「INDICATION OF THE COUPLE PAIR OF REMOTE CONTROLS WITH REMOTE DEVICES FUNCTIONS」と題する米国特許出願;代理人整理番号END9352USNP8/210120-8、
・「COOPERATIVE OVERLAYS OF INTERACTING INSTRUMENTS WHICH RESULT IN BOTH OVERLAYS BEING EFFECTED」と題する米国特許出願;代理人整理番号END9352USNP9/210120-9、
・「ANTICIPATION OF INTERACTIVE UTILIZATION OF COMMON DATA OVERLAYS BY DIFFERENT USERS」と題する米国特許出願;代理人整理番号END9352USNP10/210120-10、
・「MIXING DIRECTLY VISUALIZED WITH RENDERED ELEMENTS TO DISPLAY BLENDED ELEMENTS AND ACTIONS HAPPENING ON-SCREEN AND OFF-SCREEN」と題する米国特許出願;代理人整理番号END9352USNP11/210120-11、
・「SYSTEM AND METHOD FOR TRACKING A PORTION OF THE USER AS A PROXY FOR NON-MONITORED INSTRUMENT」と題する米国特許出願;代理人整理番号END9352USNP12/210120-12、
・「UTILIZING CONTEXTUAL PARAMETERS OF ONE OR MORE SURGICAL DEVICES TO PREDICT A FREQUENCY INTERVAL FOR DISPLAYING SURGICAL INFORMATION」と題する米国特許出願;代理人整理番号END9352USNP13/210120-13、
・「COOPERATION AMONG MULTIPLE DISPLAY SYSTEMS TO PROVIDE A HEALTHCARE USER CUSTOMIZED INFORMATION」と題する米国特許出願;代理人整理番号END9352USNP14/210120-14、
・「INTRAOPERATIVE DISPLAY FOR SURGICAL SYSTEMS」と題する米国特許出願;代理人整理番号END9352USNP15/210120-15、
・「ADAPTATION AND ADJUSTABILITY OR OVERLAID INSTRUMENT INFORMATION FOR SURGICAL SYSTEMS」と題する米国特許出願;代理人整理番号END9352USNP16/210120-16、及び、
・「MIXED REALITY FEEDBACK SYSTEMS THAT COOPERATE TO INCREASE EFFICIENT PERCEPTION OF COMPLEX DATA FEEDS」と題する米国特許出願;代理人整理番号END9352USNP17/210120-17。
本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
・「METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS」と題する米国特許出願第16/209,423号(現在は、米国特許出願公開第2019/0200981(A1)号)、
・「METHOD FOR CONTROLLING SMART ENERGY DEVICES」と題する米国特許出願第16/209,453号(現在は、米国特許出願公開第2019/0201046(A1)号)。
・「METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS」と題する米国特許出願第16/209,423号(現在は、米国特許出願公開第2019/0200981(A1)号)、
・「METHOD FOR CONTROLLING SMART ENERGY DEVICES」と題する米国特許出願第16/209,453号(現在は、米国特許出願公開第2019/0201046(A1)号)。
外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び/又は実施例のうち1つ以上を、以下に記述される他の態様、態様の表現、及び/又は実施例のうち任意の1つ以上と組み合わせることができるものと理解されたい。
様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数(RF)ベースの単極及び双極電気外科用器具、超音波外科用器具、RF電気外科用器具と超音波器具との組合せ、RF電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、電気外科用デバイス及び/又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び/又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び/又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科的処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にRFエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び/又は非治療用RFエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。
様々な態様では、本開示は、外科的処置中にORチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でORチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの1つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ORスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。
様々な態様では、本開示は、ORチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでORチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はORチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの1つ又は組合せが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース(例えば、電気外科、超音波)又は機械ベース(例えば、ステープラ)外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ORチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。
様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの1つ又は組合せを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はORチームの経験レベルを利用することを含み得る。
他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び/又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組合せの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び/又は重要な外科的構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの1つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にORチームに伝達する。
他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をORチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び/又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組合せと組み合わせて使用することができる。
以下の説明は、概して、外科的処置中に拡張現実(AR)インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び/又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の1つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。
本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び/又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び/又は重要な外科的構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの1つ以上の表示要素の変化を含み得る。
本明細書で説明されるように、ARは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実(VR)は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実(MR)及びARは両方とも没入型技術と考えられているが、それらは同じではない。MRは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ARは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、MR体験は、実世界及びデジタルオブジェクトが相互作用するAR及びVRの両方の要素を組み合わせる。
AR環境では、1つ以上のコンピュータ生成仮想オブジェクトが、1つ以上の現実(すなわち、いわゆる「実世界」)要素とともに表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、1つ以上のオーバーレイ仮想オブジェクトとともにコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。
本開示の文脈における装置、システム、及び方法は、外科的処置中に1つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ARデバイス、及び/又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び/又は現実オブジェクトの表現を現実外科的環境上にオーバーレイすることによって、実世界外科的環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科的環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び/又はARデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ARデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して1つを含む、2つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ARデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、2つの透明又は半透明ディスプレイレンズを通過することができる。
2つ以上のディスプレイ及びARデバイスは、例えば、定義された役割を有するシステム内の1つ以上の追加のディスプレイ又はARデバイスを制御する第1のディスプレイ又はARデバイスと協調して使用されてもよい。例えば、ディスプレイ又はARデバイスを起動するとき、ユーザは、役割(例えば、外科的処置中の外科医、外科助手、看護師等)を選択してもよく、ディスプレイ又はARデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次の工程のために行う必要がある器具の仮想表現を表示させてもよい。現在の工程に対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。
多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の手術チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科的環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、OR内の人員を含む、手術室(OR)チームに提供されてもよい。仮想フィードバック情報は、一次ORスクリーンディスプレイ、ARデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。
図1は、1つ以上の外科用システム2及びクラウドベースのシステム4を含むコンピュータ実装インタラクティブ外科用システム1を示す。クラウドベースシステム4は、リモートストレージ5に連結されたリモートサーバ13を含み得る。各外科用システム2は、クラウド4と通信する少なくとも1つの外科用ハブ6を備える。例えば、外科用システム2は、可視化システム8と、ロボットシステム10と、手持ち式インテリジェント外科用器具12とを備えてもよく、それぞれが、互いに、及び/又はハブ6と通信するように構成されている。いくつかの態様では、外科用システム2は、M個のハブ6と、N個の可視化システム8と、O個のロボットシステム10と、P個の手持ち式インテリジェント外科用器具12とを備えてもよく、M、N、O及びPは1以上の整数である。コンピュータ実装インタラクティブ外科用システム1は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。
図2は、外科手術室16内の手術台14上に横たわっている患者に対して外科的処置を実行するための外科用システム2の例を示す。ロボットシステム10は、外科的処置において外科用システム2の一部として使用される。ロボットシステム10は、外科医のコンソール18と、患者側カート20(外科用ロボット)と、外科用ロボットハブ22とを含む。患者側カート20は、外科医が外科医のコンソール18又は外科医によって装着された拡張現実(AR)デバイス66を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも1つの着脱可能に連結された外科用ツール17を操作することができる。低侵襲処置中の手術部位の画像(例えば、リアルタイムでストリーミングされる静止画像又はライブ画像)は、医療用撮像デバイス24によって取得することができる。患者側カート20は、撮像デバイス24を操作して、撮像デバイス24を配向することができる。切開外科的処置の画像は、医療用撮像デバイス96によって取得することができる。ロボットハブ22は、外科医のコンソール18、又は外科医若しくは外科手術室16内の他の人によって装着されたARデバイス66上にその後表示するために手術部位の画像を処理する。
撮像デバイス24、96又はARデバイス66の光学構成要素は、1つ以上の照明源、及び/又は1つ以上のレンズを含み得る。1つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。1つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。
様々な態様では、撮像デバイス24は、低侵襲外科的処置において使用するように構成されている。本開示とともに使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡(胃カメラ)、内視鏡、喉頭鏡、鼻咽喉-腎盂鏡、S状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス96は、切開(侵襲)外科的処置において使用するように構成されている。
様々な態様では、可視化システム8は、滅菌野に対して戦略的に配置される1つ以上の撮像センサと、1つ以上の画像処理装置と、1つ以上のストレージアレイと、1つ以上のディスプレイとを備える。一態様では、可視化システム8は、HL7、PACS及びEMR用のインターフェースを備える。一態様では、撮像デバイス24は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、IR、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。
図2は、手術台14のオペレータに見えるように滅菌野に配置される一次ディスプレイ19を示す。可視化タワー11は、滅菌野の外側に配置され、互いに反対側を向いている第1の非滅菌ディスプレイ7及び第2の非滅菌ディスプレイ9を含む。ハブ6によって誘導される可視化システム8は、ディスプレイ7、9、19を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ6は、可視化システム8に、一次ディスプレイ19又はARデバイス66上に手術部位のライブ映像を維持しながら、撮像デバイス24、96によって記録される手術部位のAR画像を非滅菌ディスプレイ7、9又はARデバイス66を通じて表示させることができる。非滅菌ディスプレイ7、9は、例えば、非滅菌オペレータが、外科的処置に関連する診断工程を実行することを可能にすることできる。
図3は、可視化システム8、ロボットシステム10及び手持ち式インテリジェント外科用器具12と通信するハブ6を示す。ハブ6は、ハブディスプレイ35、撮像モジュール38、発電機モジュール40、通信モジュール30、プロセッサモジュール32、ストレージアレイ34、及び手術室マッピングモジュール33を含む。ハブ6は、排煙モジュール26及び/又は吸引/灌注モジュール28を更に含む。様々な態様では、撮像モジュール38は、ARデバイス66を含み、プロセッサモジュール32は統合ビデオプロセッサ及び拡張現実モデラ(例えば、図10に示すようなもの)を含む。モジュール式光源は、様々な撮像デバイスとともに使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる(例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置)。撮像モジュール38は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール38は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。
図4は、医療施設の1つ以上の手術現場/部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ53を含む外科用データネットワーク51を示す。クラウド54は、ストレージデバイス55に連結されたリモートサーバ63(図5)を含むことができる。モジュール式通信ハブ53は、ネットワークルータ61と通信するネットワークハブ57及び/又はネットワークスイッチ59を含む。モジュール式通信ハブ53は、データを処理するためにローカルコンピュータシステム60に連結される。手術現場のモジュール式デバイス1a~1nは、モジュール式通信ハブ53に連結され得る。ネットワークハブ57及び/又はネットワークスイッチ59は、ネットワークルータ61に連結されて、デバイス1a~1nをクラウド54又はローカルコンピュータシステム60に接続することができる。デバイス1a~1nに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス1a~1nは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ53に接続され得る。外科用データネットワーク51環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を1つ以上のリモートディスプレイ58に提供するために採用されてもよい。
図5は、コンピュータ実装インタラクティブ外科用システム50を示す。コンピュータ実装インタラクティブ外科用システム50は、多くの点で、コンピュータ実装インタラクティブ外科用システム1と類似している。コンピュータ実装インタラクティブ外科用システム50は、多くの点で外科用システム2と類似する1つ以上の外科用システム52を含む。各外科用システム52は、リモートサーバ63を含み得るクラウド54と通信する少なくとも1つの外科用ハブ56を備える。一態様では、コンピュータ実装インタラクティブ外科用システム50は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー23を備える。図6に示すように、モジュール式制御タワー23は、コンピュータシステム60に連結されたモジュール式通信ハブ53を含む。
図5に戻ると、モジュール式制御タワー23は、内視鏡98に連結された撮像モジュール38、エネルギーデバイス99に連結された発電機モジュール27、排煙器モジュール76、吸引/灌注モジュール78、通信モジュール13、プロセッサモジュール15、ストレージアレイ16、任意選択的にディスプレイ39に連結されたスマートデバイス/器具21及びセンサモジュール29に連結されている。手術現場デバイスは、モジュール式制御タワー23を介して、サーバ63、データストレージ55及びディスプレイ58等のクラウドコンピューティングリソースに連結されている。ロボットハブ72もまた、モジュール式制御タワー23、及びサーバ63、データストレージ55、並びにディスプレイ58に接続されてもよい。とりわけ、デバイス/器具21、可視化システム58が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー23に連結されてもよい。モジュール式制御タワー23は、撮像モジュール38、デバイス/器具ディスプレイ39及び/又は他の可視化システム58から受信した、現実外科世界上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ65(例えば、モニタ、スクリーン)に連結されてもよい。ハブディスプレイ65はまた、画像及びオーバーレイ画像とともにモジュール式制御タワー23に接続されたデバイスから受信したデータを表示し得る。
図6は、モジュール式制御タワー23に連結された複数のモジュールを含む外科用ハブ56を示す。モジュール式制御タワー23は、例えばネットワーク接続デバイス等のモジュール式通信ハブ53と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム60とを含む。モジュール式通信ハブ53は、モジュール式通信ハブ53に接続されてもよいモジュール(例えば、デバイス)の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム60、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ53内のネットワークハブ/スイッチ57/59の各々は、3つの下流ポート及び1つの上流ポートを含み得る。上流のネットワークハブ/スイッチ57、59は、クラウドコンピューティングリソース及びローカルディスプレイ67への通信接続を提供するためにプロセッサ31に接続されている。クラウド54への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
コンピュータシステム60は、プロセッサ31と、ネットワークインターフェース37とを含む。プロセッサ31は、システムバスを介して、通信モジュール41、ストレージ45、メモリ46、不揮発性メモリ47、及び入力/出力インターフェース48に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び/又はローカルバスを含む、いくつかのタイプのバス構造のいずれかであってもよい。
プロセッサ31は、拡張現実モデラ(例えば、図10に示されるような)を含み、Texas Instrumentsによる商標名ARM Cortexで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Texas Instrumentsから入手可能なLM4F230H5QR ARM Cortex-M4Fプロセッサコアであってもよい。このプロセッサコアは、最大40MHzの256KBのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を40MHz超に改善するためのプリフェッチバッファ、32KBのシングルサイクルシリアルランダムアクセスメモリ(SRAM)、StellarisWare(登録商標)ソフトウェアを搭載した内部読み出し専用メモリ(ROM)、2KBの電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)及び/又は、1つ以上のパルス幅変調(PWM)モジュール、1つ以上の直交エンコーダ入力(QEI)アナログ、12個のアナログ入力チャネルを備える1つ以上の12ビットアナログ-デジタル変換器(ADC)を含む。なお、その詳細は、製品データシートで入手可能である。
システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム(BIOS)は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ROM、プログラマブルROM(PROM)、電気的プログラマブルROM(EPROM)、EEPROM又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ(RAM)が挙げられる。更に、RAMは、SRAM、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、エンハンスドSDRAM(ESDRAM)、シンクリンクDRAM(SLDRAM)及びダイレクトランバスRAM(DRRAM)などの多くの形態で利用可能である。
コンピュータシステム60はまた、取り外し可能/取り外し不可能な揮発性/不揮発性のコンピュータストレージ媒体、例えばディスク記憶装置等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Jazドライブ、Zipドライブ、LS-60ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組合せで含むことができる。他の記憶媒体としては、コンパクトディスクROM装置(CD-ROM)、コンパクトディスク記録可能ドライブ(CD-Rドライブ)、コンパクトディスク書き換え可能ドライブ(CD-RWドライブ)若しくはデジタル多用途ディスクROMドライブ(DVD-ROM)などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
様々な態様では、図6のコンピュータシステム60、図4~図6の撮像モジュール38、及び/又は可視化システム58、及び/又はプロセッサモジュール15は、画像プロセッサ、画像処理エンジン、画像処理装置(GPU)、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ(DSP)を含んでもよい。画像プロセッサは、単一命令複数データ(SIMD)、又は複数命令複数データ(MIMD)技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
図7は、撮像モジュール38と外科用ハブディスプレイ67との間の通信経路内に配置された中間信号結合器64を含む拡張現実(AR)システム263を示す。信号結合器64は、撮像モジュール38及び/又はARデバイス66から受信された音声及び/又は画像データを組み合わせる。外科用ハブ56は、結合器64から組み合わされたデータを受信し、ディスプレイ67に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス68はデジタルビデオカメラであってもよく、オーディオデバイス69はマイクロフォンであってもよい。信号結合器64は、外科用ハブ56がディスプレイ67上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ67の通信経路内に配置されたARデバイス66に連結するための無線ヘッドアップディスプレイアダプタを含み得る。
図8は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実(AR)システムを示す。図8は、外科用ハブ56にデータを通信するために外科医73によって装着されるARデバイス66を示す。ARデバイス66の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影(CT)又は外科用ハブ56内でリンクされた他のデータとのリンクに基づいて、外科医73の情報を拡張させ得る。ARデバイス66は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ARデバイス66は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び/又は回答を提供するために使用される外科用ハブ56における処理を含み得る。外科医73は、報告又はフォローアップにおける後の使用のためにハブストレージ45内に患者データとともに保存されるように、ARデバイス66にメモを書き取ることができる。
外科医73によって装着されるARデバイス66は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ56にリンクし、視野の周辺の周りに表示される情報のカスタマイズを可能にする。ARデバイス66は、デバイス(例えば、器具)からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ARデバイス66は、ARデバイス66からの音声制御及び音声フィードバックを有する。ARデバイス66は、手術現場内の他のシステムと相互作用することができ、外科医73がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ARデバイス66は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ARデバイス66は、音声、視覚、又は触覚タッチを含む1つ以上のモダリティの形態でフィードバックを提供してもよい。
図9は、ARデバイス66を装着している外科医73、患者74を示し、手術室75内にカメラ96を含んでもよい。外科医73によって装着されるARデバイス66は、拡張現実ディスプレイ89を通して、又はハブ接続ディスプレイ67を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医73に提示するために使用されてもよい。リアルタイム画像は、外科用器具77の一部を含んでもよい。仮想オブジェクトは、手術室75内の他者(例えば、外科助手又は看護師)には可視でない場合があるが、彼らもまた、ARデバイス66を装着し得る。別の人がARデバイス66を用いて手術室75を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医73と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は(例えば、外科医73に固有のカスタマイゼーションに従って)仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。
仮想オブジェクト及び/又はデータは、外科用器具77の一部上に、又は撮像モジュール38、低侵襲外科的処置中の撮像デバイス68、及び/又は切開外科的処置中のカメラ96によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール38は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ARシステムは、ARシステムの1人又は複数の視認者(例えば、外科医73)の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室75内のARシステムの視認者に可視であってもよく、手術室75外のARシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室75に入ったときに、手術室75外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ67又は拡張現実ディスプレイ89に表示されてもよい。
ARデバイス66は、単一スクリーン又は2つのスクリーン(例えば、ユーザの目毎に1つ)等の1つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医73に可視になり得る。仮想オブジェクトは、ある程度の透明度を有するように見えてもよく、又は不透明であってもよい(すなわち、実環境の態様を遮断する)。
ARシステムは、1人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、1人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、2つのビューの間で変化し得るが、仮想オブジェクト及び/又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも1つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。
ユーザは、ARシステム内に提示される仮想オブジェクト及び/又はデータを、不透明として、又はあるレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第1の位置から第2の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、(例えば、ARデバイスカメラ79又は別個の96等のARデバイス66上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、1つ以上のカメラを使用して)手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ARシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ARシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約(例えば、浮遊オブジェクト、永久運動等)を否定する他の事前定義された規則を含んでもよい。ARデバイス66は、ARデバイス66上にカメラ79を含み得る(ARデバイス66とは別個のカメラ96と混同されるべきではない)。ARデバイスカメラ79又はカメラ96は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ARデバイス66は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。
ARデバイス66は、例えば、外科医73によって患者74に対して行われる外科的処置中に手術室75内で使用され得る。ARデバイス66は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医73は、ARデバイス66、ARデバイス66のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ARデバイス66のカメラ79によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具77等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、(ARデバイス66を通して仮想オブジェクトを視認する外科医73に対して)外科用器具77と連結されるように、又は外科用器具77から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具77を案内するために使用されてもよく、患者74に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。
拡張現実ディスプレイシステム撮像デバイス38は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ89、67は、外科領域の実画像上への外科用器具77の動作態様のオーバーレイを提示する。外科用器具77は、ARデバイス66上の通信回路233を介して外科用器具77からARデバイス66に動作態様及び機能データを通信するための通信回路231を含む。外科用器具77及びARデバイス66は、矢印B、Cによって示されるように、回路231、233の間のRF無線通信において示されているが、他の通信技術(例えば、有線、超音波、赤外線等)が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具77の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具77からの機能データと組み合わせる。ARデバイス66のプロセッサ部分は、外科用器具77から動作態様及び機能データを受信し、外科用器具77の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具77からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内で不適当にバランスされた組織が含まれる。追加の拡張画像は、組織張力の表示及び異物検出の表示を含む付随事象の表示を提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具表示を示す。
図10は、本開示の少なくとも一態様による、ARディスプレイ89を使用して情報とともに術野の画像を拡張するためのシステム83を示す。システム83は、例えば、プロセッサ85を使用することによって、以下で説明される技術を実行するために使用され得る。システム83は、データベース93と通信することができるARデバイス66の一態様を含む。ARデバイス66は、プロセッサ85、メモリ87、ARディスプレイ89、及びカメラ79を含む。ARデバイス66は、センサ90、スピーカ91、及び/又は触覚コントローラ92を含んでもよい。データベース93は、画像ストレージ94又は術前計画ストレージ95を含んでもよい。
ARデバイス66のプロセッサ85は、拡張現実モデラ86を含む。拡張現実モデラ86は、拡張現実環境を作成するために、プロセッサ85によって使用され得る。例えば、拡張現実モデラ86は、カメラ79又はセンサ90等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び/又はデータは、手術視野及び/又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ86は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び/又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ86は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び/又はデータ、及び/又はカメラ79によって捕捉された手術視野内の手術部位の画像を提示してもよい。ARディスプレイ89は、実環境にオーバーレイされたAR環境を表示してもよい。ディスプレイ89は、AR環境内の固定位置等にあるARデバイス66を使用して、仮想オブジェクト及び/又はデータを示すことができる。
ARデバイス66は、赤外線センサ等のセンサ90を含むことができる。カメラ79又はセンサ90は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ85によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ85は、カメラ79を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ90は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ90は、バイノーラルオーディオセンサ(空間音)、慣性測定(加速度計、ジャイロスコープ、磁力計)センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。
ARディスプレイ89は、例えば、外科的処置中に、術野がARディスプレイ89を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第1の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第1の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。
一例では、ARデバイス66は、個々のARデバイスであり得る。一態様では、ARデバイス66は、ワシントン州レドモンドのMicrosoftによって製造されたHoloLens 2 ARデバイスであってもよい。このARデバイス66は、レンズ及びバイノーラルオーディオ特徴(空間音)を伴うバイザと、慣性測定(加速度計、ジャイロスコープ、磁力計)と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。
別の例では、ARデバイス66は、Snapchat Spectacles 3 ARデバイスであり得る。このARデバイスは、ペア画像を捕捉し、3D深度マッピングを再作成し、仮想効果を追加し、3Dビデオを再生する能力を提供する。ARデバイスは、60fpsで3D写真及びビデオを捕捉するための2つのHDカメラを含み、一方、4つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。
更に別の例では、ARデバイス66は、GoogleによるGlass 2 ARデバイスであり得る。このARデバイスは、情報を補足するためにレンズ(視野外)上にオーバーレイされた慣性測定(加速度計、ジャイロスコープ、磁力計)情報を提供する。
別の例では、ARデバイス66は、AmazonによるEcho Frames ARデバイスであり得る。このARデバイスは、カメラ/ディスプレイを有しない。マイクロフォン及びスピーカはAlexaにリンクされる。このARデバイスは、ヘッドアップディスプレイよりも機能が少ない。
更に別の例では、ARデバイス66は、North(Google)によるFocals ARデバイスであり得る。このARデバイスは、通知プッシャ/スマートウォッチアナログ、慣性測定、情報(天気、カレンダ、メッセージ)のスクリーンオーバーレイ、音声制御(Alexa)統合を提供する。このARデバイスは、基本的なヘッドアップディスプレイ機能を提供する。
別の例では、ARデバイス66は、Nreal ARデバイスであり得る。このARデバイスは、空間音、2つの環境カメラ、写真カメラ、IMU(加速度計、ジャイロスコープ)、周辺光センサ、近接センサ機能を含む。nebulaは、アプリケーション情報をレンズ上に投影する。
様々な他の例では、ARデバイス66は、以下の市販のARデバイス、すなわち、Magic Leap 1、Epson Moverio、Vuzix Blade AR、ZenFone AR、Microsoft AR眼鏡プロトタイプ、EyeTapのうちのいずれか1つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。AR可視化システムは、HUD、コンタクトレンズ、眼鏡、仮想現実(VR)ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び/又はスマートコンタクトレンズ(バイオニックレンズ)を含む。
ARデバイス66のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び/又はSony空間ディスプレイシステム等の空間ディスプレイを含む。
他のAR技術は、例えば、AR捕捉デバイス及びソフトウェアアプリケーション、AR作成デバイス及びソフトウェアアプリケーション、並びにARクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。AR捕捉デバイス及びソフトウェアアプリケーションは、例えば、Apple Polycam app、Ubiquity 6(Display.land appを使用するMirrorworld)を含み、ユーザは、(3Dモデルを作成するために)実世界の3d画像をスキャンし、取得することができる。AR作成デバイス及びソフトウェアアプリケーションは、例えば、Adobe Aero、Vuforia、ARToolKit、Google ARCore、Apple ARKit、MAXST、Aurasma、Zappar、Blipparを含む。ARクラウドデバイス及びソフトウェアアプリケーションは、例えば、Facebook、Google(world geometry、objection recognition、predictive data)、Amazon AR Cloud(commerce)、Microsoft Azure、Samsung Project Whare、Niantic、Magic Leapを含む。
状況認識は、データベース及び/又は器具から受信したデータから外科的処置に関連する情報を判定又は推測するための、外科システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科的処置に関するコンテキスト情報によると、外科システムは、例えば、外科システムが、それに接続されるモジュール式デバイス(例えば、ロボットアーム及び/又はロボット外科用ツール)を制御し、外科的処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。
図11は、状況認識外科的処置のタイムラインを示す。図11は、例示的な外科的処置のタイムライン5200と、外科的処置の各工程でデータソース5126から受信されたデータから外科用ハブ5104が導出することができるコンテキスト情報とを示す。タイムライン5200は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を示す。状況認識外科用ハブ5104は、外科的処置の過程全体にわたって、医療関係者が外科用ハブ5104とペアリングされたモジュール式デバイス5102を使用するたびに生成されるデータを含むデータを、データソース5126から受信する。外科用ハブ5104は、ペアリングされたモジュール式デバイス5102及び他のデータソース5126からこのデータを受信して、任意の所与の時間に処置のどの工程が行われているかなどの新しいデータが受信されると、進行中の処置に関する推定(すなわち、コンテキスト情報)を継続的に導出することができる。外科用ハブ5104の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを(例えば、表示画面を介して)提供すること、コンテキストに基づいてモジュール式デバイス5102を調整する(例えば、モニタを起動する、医療用撮像デバイスのFOVを調整する、又は超音波外科用器具若しくはRF電気外科用器具のエネルギーレベルを変更する)こと、及び上述される任意の他のこうした動作を行うことが可能である。
第1の工程5202では、病院職員は、病院のEMRデータベースから、患者のEMRを取り出す。EMRにおいて選択された患者データに基づいて、外科用ハブ5104は、実施される処置が胸部手術であることを判定する。
第2の5204では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ5104は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ5104はまた、処置が楔形切除術ではないと判定することができる(入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため)。
第3の5206では、医療従事者は、外科用ハブ5104に通信可能に接続されたスキャナ5128を介して患者バンドをスキャンする。次いで、外科用ハブ5104は、スキャンされたデータに基づいて患者の身元を確認することができる。
第4の5208では、医療職員が補助装置をオンにする。利用されている補助機器は、外科的処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、通気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス5102である補助装置は、その初期化プロセスの一部として、モジュール式デバイス5102の特定の近傍内に位置する外科用ハブ5104と自動的にペアリングすることができる。次いで、外科用ハブ5104は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス5102の種類を検出することによって、外科的処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ5104は、ペアリングされたモジュール式デバイス5102のこの特定の組合せに基づいて、外科的処置がVATS手術であると判定する。患者のEMRからのデータの組合せ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス5102の種類に基づいて、外科用ハブ5104は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ5104が、何の特定の処置が行われているかを知ると、次いで外科用ハブ5104は、メモリから、又はクラウドからその処置の工程を読み出し、次いで接続されたデータソース5126(例えば、モジュール式デバイス5102及び患者モニタリングデバイス5124)からその後受信したデータを相互参照して、外科的処置のどの工程を外科チームが実行しているかを推定することができる。
第5の5210では、職員は、EKG電極及び他の患者モニタリングデバイス5124を患者に取り付ける。EKG電極及び他の患者モニタリングデバイス5124は、外科用ハブ5104とペアリングすることができる。外科用ハブ5104が患者モニタリングデバイス5124からデータの受信を開始すると、外科用ハブ5104は患者が手術現場にいることを確認する。
第6の5212では、医療関係者は患者において麻酔を誘発する。外科用ハブ5104は、例えば、EKGデータ、血圧データ、人工呼吸器データ又はこれらの組合せを含む、モジュール式デバイス5102、及び/又は患者モニタリングデバイス5124からのデータに基づいて、患者が麻酔下にあることを推測することができる。第6工程5212が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。
第7の5214では、手術されている患者の肺が虚脱される(換気が対側肺に切り替えられる間に)。外科用ハブ5104は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ5104は、患者の肺が虚脱したのを検出したことを、処置の予期される工程(事前にアクセス又は読み出すことができる)と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第1の手術工程であると判定することができる。
第8の5216では、医療用撮像デバイス5108(例えば、スコープ)が挿入され、医療用撮像デバイスからのビデオ映像が開始される。外科用ハブ5104は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ(すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ)を受信する。医療用撮像デバイスデータを受信すると、外科用ハブ5104は、外科的処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ5104は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる(処置の第2の工程5204で受信したデータに基づいて、楔形切除術は外科用ハブ5104によって既に考慮に入れられていないことに留意されたい)。医療用撮像デバイス124(図2)からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている(すなわち、起動されており、外科用ハブ5104とペアリングされている)数又は医療用撮像デバイスを監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。
例えば、VATS肺葉切除術を実行するための1つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、VATS区域切除術を実行するための1つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、VATS肺葉切除術を実行するための1つの技術は、単一の医療用撮像デバイスを利用するが、VATS区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、VATS区域切除術を実行するための1つの技術は、区域裂を可視化するために赤外線光源(可視化システムの一部として手術用ハブへと通信可能に連結できる)を利用するが、これはVATS肺葉切除術では利用されない。医療用撮像デバイス5108からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ5104は、行われている特定の種類の外科的処置、及び/又は特定の種類の外科的処置に使用されている技術を判定することができる。
第9の5218では、外科チームは、処置の切開工程を開始する。外科用ハブ5104は、エネルギー器具が発射されていることを示すRF又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ5104は、受信したデータを外科的処置の読み出しされた工程と相互参照して、プロセスのこの時点(すなわち、上述された処置の工程が完了した後)で発射されているエネルギー器具が切開工程に対応していると判定することができる。
第10の5220では、外科チームは、処置の結紮工程に進む。外科用ハブ5104は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ5104は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。
第11の5222では、処置の区域切除術の部分が行われる。外科用ハブ5104は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び/又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ5104は、区域切除処置が行われていると推定することができる。
続いて第12の5224で、結節切開工程が行われる。外科用ハブ5104は、RF又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるRF又は超音波器具は結節切開工程に対応しており、これにより外科用ハブ5104がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定の工程に応じて、手術用ステープリング/切断器具と手術用エネルギー(すなわち、RF又は超音波)器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具/切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。第12の工程5224が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
第13の5226では、患者の麻酔を解く。外科用ハブ5104は、例えば、ベンチレータデータに基づいて(すなわち、患者の呼吸速度が増加し始める)、患者が麻酔から覚醒しつつあると推定することができる。
最後に、第14の5228では、医療従事者が患者から様々な患者モニタリングデバイス5124を除去する。したがって、外科用ハブ5104は、ハブがEKG、BP、及び患者モニタリングデバイス5124からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ5104と通信可能に連結された各種データソース5126から受信したデータに従って、外科用ハブ5104は、所与の外科的処置の各工程が発生しているときを判定又は推定することができる。
図86に示されるタイムライン5200の第1の工程5202に示されるように、EMRデータベース(複数の場合もある)からの患者データを利用して、行われる外科的処置のタイプを推定することに加えて、患者データはまた、状況認識外科用ハブ5104によって利用されて、ペアリングされたモジュール式デバイス5102の制御調整を生成することができる。
外科用ディスプレイ(例えば、ディスプレイ7、9、19、35、62、65、66、67、及び89)は、臨床医(例えば、外科医、外科スタッフ)に有用な情報を提供することによって、手術室内で重要な機能を果たし、この情報は、とりわけ、外科的処置の進行を評価し、外科的処置を行うための後続の工程を決定し、患者のバイタルサインを監視するため等に使用することができる。ディスプレイは、提供されるこの情報を見ることができるように十分な大きさである必要があるが、過度であり、混雑した手術室内のワークフロー又は移動を妨げるほど大きくはない。
例えば、本明細書の他の箇所で説明される多くの撮像デバイスのうちの1つ等の撮像デバイスは、外科的処置の間、術野のライブストリームを捕捉するために使用される。ディスプレイは、臨床医が外科的処置中に術野を視認することができるように、撮像デバイスによって捕捉されたこのライブストリームを示す。
外科的処置の過程において、外科的処置に関連する又は関連付けられた情報は、ディスプレイ上のライブストリーム上にオーバーレイされ得る。例えば、心電図(EKG)は、外科的処置中に患者の心拍数を監視し、監視された心拍数は、臨床医が患者が安定していることを確実にすることができるように、ライブストリーム上にオーバーレイされる。
様々な他のセンサ、検出器、モジュール等は、外科的処置の過程にわたって他のパラメータを監視し、これらのパラメータに関連付けられた情報もまた、ディスプレイ上にオーバーレイすることができる。しかしながら、いくつかのオーバーレイされた情報は、他のオーバーレイされた情報よりも重要であり得る。一例として、臨床医が外科用器具のエンドエフェクタを用いて組織を操作しているとき、エンドエフェクタを用いてどの程度の力が組織に加えられているかに関する情報は、組織が意図せずに損傷していないことを確実にするために監視することに関連する。
しかしながら、ディスプレイ上にオーバーレイされている情報の量のために、組織に加えられている力等のより重要な情報が臨床医によって見落とされるか、又は見逃される場合がある。この豊富な競合情報により、外科医は、外科的処置を適切に行う能力にとって有害であり得る情報に圧倒される可能性があり、患者にとって費用がかかることが判明する可能性がある。したがって、ディスプレイ上にオーバーレイされているデータの量を優先付け、制御し、及び/又は制限する必要がある。
図12は、本開示の少なくとも一態様による、外科用可視化システム6000を示す。外科用可視化システム6000の様々な構成要素は、本開示の他の箇所に記載される他のシステムの構成要素と多くの点で類似しており、したがって、簡潔にするために同じレベルの詳細で本明細書において繰り返されない。いくつかの実施態様では、システム6000はスタンドアロンシステムである。他の実施態様では、システム6000は、コンピュータ実装インタラクティブ外科用システム1に統合されるか、又はコンピュータ実装インタラクティブ外科用システム1とともに使用される。
外科用可視化システム6000は、例えば、プロセッサ85等の1つ以上のプロセッサ又は処理回路を使用することによって、本明細書に説明される種々の技術を行うように構成される、制御モジュール6001を備える。いくつかの実施態様では、システム6000は、例えば、拡張現実デバイス84を備えるか、それとともに使用されるか、又はそれと通信することができる。システム6000は、例えばメモリ6003等の記憶媒体、例えばカメラ88等の撮像デバイス6004、及びディスプレイ6005を更に備えることができる。システム6000は、1つ以上のスピーカ91、触覚コントローラ92、及び/又はセンサ90を更に備えてもよい(図10参照)。ディスプレイ6005は、例えば、ARディスプレイ89、VRディスプレイ、プロジェクタ、ヘッドアップディスプレイ、スクリーン、及び/又は視覚コンテンツを描写するための任意の他の適切なデバイスを含むことができる。
いくつかの実施態様では、システム6000は、例えば、コンピュータ実装インタラクティブ外科用システム50に組み込まれる。いくつかの実施態様では、システム6000は、外科用データをシステム6000に送達することができる、1つ以上のハブ、システム、ネットワーク、サーバ、及び/又はデータベースと動作可能に通信している。例えば、システム6000は、本明細書で説明されるように、有線又は無線通信標準又はプロトコルを介して、リモートサーバ63、ロボットハブ72、外科用ハブ56、デバイス/器具21、及び/又はモジュール式制御タワー23を含み得るクラウド54と動作可能に通信することができる。いくつかの実施態様では、システム6000は、外科用ハブ5104に関連して説明したものと同様の状況認識モジュール6006を備える。状況認識モジュール6006は、センサ入力及び/又はユーザ入力を通じて受信された多数の周術期データに基づいて、外科的処置に関するコンテキスト情報を外挿するように訓練され得る。
図13は、ディスプレイ6005等のディスプレイ上への提示を求めて競合する外科用データの表示配置を決定するための例示的な方法6010の動作を示すフローチャートである。方法6010は、外科用データを検出すること(6011)と、表示優先度値又は表示優先度状況を外科用データに割り当てること(6012)と、表示優先度値に基づいてディスプレイ上の外科用データの表示配置を決定すること(6013)とを含む。方法6010は、術野のライブストリーム上に、例えば、表示配置に従って外科用データの視覚表現を表示するか、又はオーバーレイすることによって、提示すること(6014)を更に含み得る。
いくつかの実施態様では、外科用データは、制御モジュール6001によって検出される(6011)。外科用データは、例えば、1つ以上の無線及び/又は有線通信インターフェースを介してコンピュータ実装インタラクティブ外科用システム1の構成要素等の1つ以上のソースから外科用データを受信することによって検出することができる(6011)。少なくとも1つの例では、外科用データは、外科用器具21のうちの1つ以上から受信されたデータを含み得る。別の例では、外科用データは、状況認識モジュール6006によって確認されたコンテキスト情報を含む。
特定の例示では、外科用データは、制御データ、バイオマーカ測定値、及び/又は外科用器具21に関連付けられた動作及び/又は結果の他の動作インジケータを含む。特定の例示では、外科用データは、奇形ステープル及び不十分に封止された組織のより高い傾向を示す任意のデータであり得る。特定の例では、外科用データは、他の組織及び/又は器具パラメータの中でも、組織流動、クランプ力、発射力に関連付けることができ、これらは、発射プロセスの調整を可能にするために、又は潜在的に奇形のステープル領域を外科医に警告するために、複数の方法でリアルタイムで監視及び臨床医に表示することができる。
いくつかの実施態様では、表示優先度値は、状況認識モジュール6006によって開発された外科的処置に関する外科用データ及び/又はコンテキスト情報に基づいて割り当てられる。いくつかの実施態様では、表示優先度値は、トリガイベント、条件、又は外科用データの特性に基づいて割り当てられる。いくつかの実施態様では、表示優先度値を割り当てること(6012)は、以前に割り当てられた表示優先度値を変更することを含む。例えば、トリガイベント、条件、及び/又は外科用データの特性の検出は、以前に割り当てられた表示優先度値をより高い値又はより低い値へ変更させることができる。
特定の例示では、プロセッサ85は、外科用データの表示優先度値を決定する際に、所定の方程式及び/又は公式を採用する。表示優先度値を計算する際に、様々な関連要因を考慮し、異なる重みを割り当てることができる。加えて又は代替的に、外科用データ及び対応する表示優先度値を列挙する1つ以上のデータベース又は表は、表示優先度値を割り当てる際に、プロセッサ85によって利用することができる。
様々な実施態様では、割り当てられた(6012)表示優先度値は、例えば、低い表示優先度レベル、中程度の表示優先度レベル、及び/又は高い表示優先度レベル等、様々なレベルの表示優先度を含む。いくつかの実施態様では、表示優先度値は、例えば、高い優先度状況、中程度の優先度状況、及び/又は低い優先度状況等の表示優先度状況である。
図14は、図13の方法6010に従って、検出された(6011)外科用データの表示優先度値を決定するための例示的な方法6020の動作を示すフローチャートである。いくつかの実施態様では、表示優先度値は外科用データに依存する。図示された例では、表示優先度値は、外科的処置に関連付けられた重要な解剖学的構造に対する外科的処置において利用されている外科用器具の近接性に基づいて割り当てられる。表示優先度値は、受信された近接データと所定の近接閾値との間の関係に基づく。例えば、外科用器具と解剖学的構造との間の距離が所定の閾値よりも大きい場合(6021)、近接度データには低い表示優先度値が割り当てられる(6022)。しかしながら、距離が所定の近接度閾値以下である場合(6021)、近接度データには高い表示優先度値が割り当てられる(6023)。
いくつかの実施態様では、システム6000は、状況認識モジュール6006を採用して、実行される外科的処置のタイプを識別する。外科的処置のタイプは、例えば、ユーザ入力から決定され得る。代替的に又は加えて、それは、外科的処置タイプに固有であるか又は外科的処置タイプの特徴的な、外科的処置とともに使用するために選択されたデバイスの在庫リストから決定することができる。システム6000は、例えば、データベース及び/又はユーザ入力から外科的処置に関連付けられた重要構造を更に識別してもよい。いくつかの実施態様では、システム6000は、撮像デバイスによって捕捉されるような術野のライブストリーム内の重要構造を検出することができる。更に、システム6000は、術野内の外科用器具21を更に検出することができ、重要構造への外科用器具21の近接を追跡することができる。近接度データの表示優先度値は、図14に関連して説明したように決定することができる。
いくつかの実施態様では、術野のライブストリーム内の重要構造及び/又は外科用器具の識別は、その全体が参照することによって組み込まれる、「STRUCTURED MULTI SPECTRAL COMPUTATIONAL ANALYSIS」と題する、米国特許出願公開代理人整理番号END9228USNP1/190580-1Mで議論されるもの等の種々の適切なオブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び/又は他の画像処理技術を通して達成することができる。例えば、外科用器具及び/又は重要構造の以前に記憶された画像を利用して、術野における外科用器具及び/又は重要構造を識別することができる。
低位前方切除(LAR)外科的処置は、直腸がんの一般的な手術である。この処置は直腸の除去を伴う。次いで、結腸を直腸の残りの部分に付着させて、正常な腸運動を可能にする。円形ステープラは、一般に、低LAR処置において使用される。最初に、外科医が、吻合を作成するために構造を設定し始めると、組織張力及び吻合組織圧力のパラメータ等のあるパラメータは、関連せず、ライブストリーム上であまりに早くオーバーレイ又は強調される場合、気を散らす可能性がある。特定の例では、ライブストリームのために利用可能な表示空間の混乱及び/又は低減を回避するために、そのようなパラメータは、方法6010による表示配置毎にディスプレイ6005上にオーバーレイされ、及び/又は強調される。
いくつかの実施態様では、表示優先度値は、外科的処置に対するパラメータの関連性に関連付けられたトリガイベントに基づいて、組織張力及び吻合組織圧力のパラメータに割り当てられる。トリガイベントは、例えば、円形ステープラトロカールへの円形ステープラのアンビルの接続の検出であり得る。検出は、例えば、1つ以上のオブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び/又はライブストリームの他の画像処理アルゴリズムを採用することによって、及び/又はアンビルのトロカールへの接続若しくは近接によってトリガされるアンビル及び/又はトロカール内の1つ以上のセンサを通して、自動的に達成され得る。
いくつかの実施態様では、トリガイベントは、重大度又はリスクレベルの増加に関連付けられる。特定の例では、トリガイベントは、例えば、外科用器具21のステープル発射を一時停止する等、外科用活動の警告及び/又は即時一時停止をもたらし得る。トリガイベントは、例えば、故障の原因を修復又は低減するために一連の命令が提供される、保留故障モードへの遷移をもたらし得る。以下でより詳細に説明するように、トリガイベントは、例えば、バットレス耕起(buttress plowing)、組織封止を伴わない組織切断、及び/又は破壊されたアンビルであり得る。いくつかの実施態様では、これらのトリガイベントは、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び/又はライブストリームの画像フレームの他の適切な画像処理技術を通して、又は様々な適切な有線及び/又は無線通信方式を通して、自動的に視覚的に検出される。
いくつかの実施態様では、故障モードは、バットレスが外科用器具21による組織ステープル留めにおいて利用される場合に生じ得る状態である、バットレス耕起によって引き起こされる。バットレス耕起の検出に応答して、制御モジュール6001は、例えば、外科用器具21に外科用器具の発射シーケンスを停止させる。例えば、制御モジュール6001は、無線又は有線インターフェースを介して外科用器具21に発射停止コマンドを通信してもよい。加えて、制御モジュール6001は、警告、及び/又は発射中に組織に張力を印加することによって故障を修復する一連の命令を、例えば、術野のライブストリーム上に表示又はオーバーレイさせてもよい。
あるいは、この故障は、組織封止なしで組織切断を検出することによって引き起こされ得る。例えば、制御モジュール6001は、外科用器具21の切断部材が前進するときに、外科用器具21のエンドエフェクタによって把持された組織内に配備されるステープルの故障を検出してもよく、これは、組織封止の故障なしに組織切断をもたらす。故障を検出したことに応答して、制御モジュール6001は、警告、及び/又は故障を修復する一連の命令を、術野のライブストリーム上に表示又はオーバーレイさせてもよい。命令は、周囲の血液供給をクランプすること、外科用器具21のエンドエフェクタのジョーから組織を解放する前に出血を止めるための材料を準備することを示唆してもよい。
図15は、外科用吻合内の組織張力及び/又は圧力パラメータの表示優先度値を決定するための例示的な方法6030の動作を示すフローチャートである。方法6030は、組織パラメータを受信すること(6031)と、円形ステープラのアンビルとトロカールとの間の接続の検出等のトリガイベントに基づいて、表示優先度値をパラメータに割り当てることとを含む。例えば、トロカール及びアンビル接続が検出されない場合(6032)、低い表示優先度値がパラメータに割り当てられる(6033)。しかしながら、トロカール及びアンビル接続が検出されない場合(6032)、高い表示優先度値がパラメータに割り当てられる(6034)。
方法6030は、表示優先度値を決定するためのトリガイベントとして円形ステープルの構成要素の接続の検出を利用する例を提供するが、他の器具21の他の構成要素の接続は、表示優先度値を決定するためのトリガイベントとして利用することができる。例えば、カートリッジリロード、エンドエフェクタ、及び/又はシャフトの取り付けは、表示優先度値を決定するためのトリガイベントを表すことができる。いくつかの実施態様では、外科用器具構成要素、外科用ロボット構成要素、及び/又は任意の適切な外科用システムのアセンブリは、表示優先度値を決定するためのトリガイベントとして利用することができる。
図16は、トリガイベントに基づいて表示優先度値を決定するための例示的な方法6040の動作を示すフローチャートである。図示された例では、トリガイベントは、外科用器具21の最適な動作のために外科用器具21の設定の調整を行うのに必要なパラメータを受信する前の外科用器具21の起動である。いくつかの実施態様では、システム6000は、術野のライブストリーム内の外科用器具21を検出し、必要なパラメータのユーザ入力を待つように構成され得る。
いくつかの実施態様では、パラメータは、必要とされるユーザ入力であり得る。パラメータは、組織特性又は疾患状態に関連付けることができる。組織の状態及び/又は疾患状態に基づいて、組織を治療するためにデバイスを利用する前に、特定のデバイス設定を調整することができる。これらの調整は、外科用ステープル留め器具の発射速度を低下させて、封止をより確実にすることを含み得る。外科用エネルギーデバイスの場合、外科医は、例えば、組織のより良好なシールを提供するために、新しい組織特性に応答して電力を調整し得る。
図16に示されるように、方法6040は、ユーザによる外科用器具21を起動する試みを検出すること(6041)を含む。必要なパラメータが受信された場合(6042)、低い表示優先度値が割り当てられる(6043)。しかしながら、トロカール及びアンビル接続が検出されない場合(6042)、高い表示優先度値がパラメータに割り当てられる(6044)。
いくつかの実施態様では、パラメータは、外科用器具21の内部センサ、又は外科的処置の適切な動作に必要なパラメータを測定するように構成された任意の他のセンサとすることができるセンサパラメータである。パラメータを受信する前の外科用器具21の起動等のトリガイベントの検出は、システム6000に、例えばオーバーレイの形態で、高い優先度値を視覚コンテンツに割り当てさせ、欠落パラメータを無視するか、又は欠落パラメータなしで進む許可を要求し、又は例えば欠落パラメータの入力を要求してもよい。
いくつかの実施態様では、トリガイベントは、許容可能な所定の範囲又は閾値から逸脱するセンサパラメータである。センサパラメータは、例えば、インピーダンス分光法を実行することによって、術野内の組織を把持する外科用器具によって測定可能な組織インピーダンスパラメータであり得る。把持された組織が生理食塩水で高度に飽和している場合、測定された組織インピーダンスは、許容可能な所定の範囲又は閾値から逸脱し、システム6000をトリガして、検出された逸脱に関する警告、ユーザオーバーライド要求、及び/又はユーザオーバーライド要求に高い表示優先度値を割り当てる。
いくつかの実施態様では、トリガイベントは、選択された外科用器具21と外科用器具21によって実行される外科的処置との間の不一致の検出であり得る。不一致は、例えば、システム6000及び/又はコンピュータ実装インタラクティブ外科用システム1によって検出され得る。外科的処置のタイプ及び外科的処置において利用される外科用器具21の在庫リストは、ユーザインターフェースを通じて入力され、及び/又は、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び/又はライブストリームの画像フレームの他の適切な画像処理技術を通じて、又は様々な適切な有線及び/又は無線通信方式を通じて検出され得る。状況認識モジュール6006は、ユーザによって検出又は入力された在庫リストを、ユーザによって検出又は入力された外科的処置タイプに履歴的に関連付けられた以前に記憶された在庫リストと比較することができる。不一致の検出により、システム6000は、不一致に関する警告、ユーザオーバーライド要求、及び/又は確認要求に高い表示優先度値を割り当てる。
少なくとも1つの例では、子宮摘出で使用するための円形ステープラの選択を検出することにより、システム6000は、不一致に関する警告、ユーザオーバーライド要求、及び/又は確認要求に高い表示優先度値を割り当てる。システム6000は、円形ステープラの必要性を確認するか、又は現在のアクティブリストから円形ステープラを削除するか、又は処置計画の不一致を修正するようにスタッフに要求することができる。
いくつかの実施態様では、トリガイベントは、外科用器具アセンブリの不適合な構成要素の検出であり得る。様々な外科用器具21は、例えば、交換可能なカートリッジ、リロード、エンドエフェクタ、シャフト、ハンドル、モータ、及び/又はバッテリ等の交換可能な構成要素を利用する。不適合な構成要素を利用することは、外科用器具21が不適切に機能することを引き起こす可能性があり、これは、患者に害を引き起こし、及び/又は外科的処置の結果に干渉する可能性がある。システム6000は、不適合な構成要素の検出に基づいて表示優先度値を割り当てることができる。
コンピュータ実装インタラクティブ外科用システム1は、真正性チェック又は完全性チェックを通して、不適合な構成要素を検出することができる。真正性及び/又は完全性検証の失敗は、不適合な構成要素を示す可能性がある。特定の実施態様では、様々な構成要素が、接続された構成要素間の適切な互換性を示す適切な接続を検出することができるセンサを装備する。そのような実施態様では、センサ信号又はその欠如は、不適合な構成要素を示すことができる。
少なくとも1つの例では、外科用器具21内に交換可能な構成要素を設置すると、外科用器具21は、例えば、データベース内に記憶された認識された識別情報と比較することができる識別情報について、交換可能な構成要素を照会することができる。データベースは、例えば、クラウドベースのシステム4の外科用器具21、ハブ22、及び/又はリモートサーバ13の記憶媒体上に保持され得る。識別情報の認証に失敗すると、システム6000は、不適合な構成要素に関する警告、ユーザオーバーライド要求、及び/又は確認要求に高い表示優先度値を割り当てる。コンピュータ実装インタラクティブ外科用システム1はまた、患者及び/又は外科的処置結果を保護するために、外科用器具21の特定の能力を阻止するか、又は外科用器具21をロックアウトしてもよい。
いくつかの実施態様では、トリガイベントは、標準設定下での外科的処置における外科用器具21の適切な使用に悪影響を及ぼし得る生物学的異常等の組織状態の検出である。例えば、極度に高い肥満度指数「BMI」は、スリーブ状胃切除術における外科用器具21の種々の設定に対する調節を必要とする。BMIレベルは、状況認識モジュール6006によって、例えば周術期データから検出することができる。
許容可能な所定の閾値から逸脱するBMIレベルの検出は、システム6000に、BMIレベルに関する警告、ユーザオーバーライド要求、及び/又は確認要求に高い表示優先度値を割り当てさせ得る。更に、システム6000は、例えば、スリーブ胃切除術において利用される外科用ステープラのより低い発射速度等の推奨される外科用器具設定に、高い表示優先度値を更に割り当ててもよい。システム6000及び/又はコンピュータ実装インタラクティブ外科用システム1は、周術期データに基づいて推奨外科用器具設定を自動的に決定するように構成され得る。
様々な態様では、ディスプレイ6005上の外科用データの表示配置を決定すること(6013)は、外科用データの視覚表現の特性を変更することを含む。いくつかの実施態様では、外科用データは、ディスプレイ6005上の術野のライブストリーム上にオーバーレイされ得るセンサ読み取り値の形態であり得る。センサ読み取り値は、外科的処置に対するセンサパラメータ読み取り値の重要性に従って変化する色で強調表示され得る。いくつかの実施態様では、センサ読み取り値は、センサ読み取り値が所定の規格の正常な範囲内にあると、第1の色で視覚的に表され得るが、センサ読み取り値は、センサ読み取り値が正常な範囲外にあると、第1の色とは異なる第2の色で視覚的に表され得る。
例えば、センサ読み取り値は、温度読み取り値が所定の温度閾値以下であると、緑色で視覚的に表すことができる温度読み取り値とすることができる。温度読み取り値が所定の閾値を超える場合、温度読み取り値は、例えば、外科的処置に対する現在の温度の重要性を示す、黄色又は赤色で視覚的に表すことができる。
いくつかの実施態様では、外科用データの視覚表現の特性の変化は、漸進的な遷移であり得る。例えば、温度読み取り値は、温度の変化の重度を反映するために、温度が上昇するにつれて黄色から赤色に徐々に遷移することができる。いくつかの実施態様では、視覚表現の他の特性、例えば、サイズ、形状、表示時間、表示場所、表示3次元配置(例えば、前景、背景)、表示の点滅、強調表示、及び/又はフォント等を変更することもできる。
様々な態様では、ディスプレイ6005上の外科用データの表示配置を決定すること(6013)は、例えば、重要性の低減及び/又は非アクティブ状況を反映するように、外科用データの視覚表現の特性を除去又は変更することを含む。いくつかの実施態様では、外科用データは、外科的処置の術野内の組織を封止するために利用される外科用エネルギーデバイスの温度を含む。外科用エネルギーデバイスの起動に応答して、温度の視覚表現が、ディスプレイ6005上の術野のライブストリーム上にオーバーレイされる。視覚表現は、アクティブ状況にある間に外科用エネルギーデバイスを注意深く取り扱うための警告を提供するために、外科用エネルギーデバイスが「高温」であることを意味する。いくつかの実施態様では、視覚表現は、外科用エネルギーデバイス及び/又は他のORスタッフを使用する臨床医の注意を確実に引くために、高優先度状況を示す特性を含んでもよい。
臨床医が外科用エネルギーデバイスを使用するとき、温度の視覚表現は、外科用エネルギーデバイスが高温のままであっても、より低い優先度状況を割り当てられ得る。これは、臨床医の注意散漫を低減し、及び/又は臨床医の注意をより高い優先度の外科用データの別の視覚表現に移すためである。例えば、温度の視覚表現は、中間色に変更され、サイズが縮小され、及び/又は異なる形状に変更され得る。
外科用エネルギーデバイスが非アクティブになると、温度が所定の閾値以上である場合、高優先度状況が温度に再割り当てされ、その視覚表現を変化させ、非アクティブであっても外科用エネルギーデバイスが依然として損傷を引き起こし得る温度閾値を上回ることを注意喚起、又は強調するための警告を提供する。温度が所定の閾値を下回ったことに応答して、温度の視覚表現は、より低い優先度状況に再び変更される。いくつかの実施態様では、外科用エネルギーデバイスの温度は、外科用エネルギーデバイスのエンドエフェクタ上又はその近くの1つ以上の温度センサを使用して監視することができる。センサ読み取り値は、無線で、又は有線通信を介して、システム6000に通信することができる。
様々な態様では、外科用データの表示配置を決定すること(6013)は、第1のディスプレイと第2のディスプレイとの間で外科用データの視覚表現を転送することを含む。転送は、システム6000が、適切な時間及び場所で適切なユーザに外科用データを適時に提示することを可能にする。いくつかの実施態様では、第1のディスプレイは、セットアップディスプレイ、看護師ディスプレイ、又は準備ディスプレイであり、第2のディスプレイは、例えば、ディスプレイ6005等の術野又は外科医ディスプレイである。そのような実施態様では、転送は、セットアップの完了の検出によってトリガされ得る。特定の例では、ユーザ入力は、転送をトリガするセットアップの完了を示すことができる。セットアップは、外科的処置を実行するのに必要な外科用デバイスの存在を保証するために、在庫リストに対して外科用デバイスをチェックすることを含み得る。セットアップは、無線通信動作の成功を確実にするために外科用デバイスを試験すること、及び/又は任意の他の適切な試験を更に含み得る。
いくつかの実施態様では、制御モジュール6001は、トリガイベントの検出まで、第1のディスプレイにおける外科用データに高い表示優先度値を割り当て、第2のディスプレイにおける同じ外科用データに低い表示優先度値を割り当てるように構成される。検出に応答して、制御モジュール6001は、第1のディスプレイにおける外科用データに低い表示優先度値を割り当て、第2のディスプレイにおける同じ外科用データに高い表示優先度値を割り当てるように構成される。優先度の切り替えにより、外科用データが第2のディスプレイに転送される。いくつかの実施態様では、切り替えは、外科用データの視覚表現を、第1のディスプレイにおいて減光させ、第2のディスプレイにおいて出現させる。次いで、所定の期間が経過した後、外科用データの視覚表現を第1のディスプレイから完全に除去することができる。
様々な態様では、決定された(6013)表示配置は、例えば、スペクトルビューを展開すること、及び/又は外科用エンドエフェクタを術野に留めること、外科用データを外科用エンドエフェクタ上にオーバーレイすることを伴うもの等、追加の処理能力を必要とし得る。図17は、コンピュータ実装インタラクティブ外科用システム1によって実行される外科的処置中の追加の処理速度の必要性に応答するための例示的な方法60600の動作を示すフローチャートである。追加の処理能力が必要な場合(6061)、制御モジュール6001は、フィールドプログラマブルゲートアレイ(FPGA)を利用することができる。例えば、図17の方法6060に示すように、高度可視化モード6063において、重要な変数の追加の高速計算をFPGAに割り当てることができる。高度可視化モード6063が有効にされると、FPGAは、可視化(例えば、スペクトル)処理能力を最大化するように動的に再利用される。高速計算の完了後、FPGAは、通常の可視化モード6062における通常動作に戻ることができる。
いくつかの実施態様では、通常可視化モード6062と高度可視化モード6063との間の転送は、外科用タスクによってトリガされ得る。制御モジュール6001は、状況認識モジュール6006によって生成されたコンテキスト情報に基づいて、次の、又は現在の外科用タスクを検出することができる。制御モジュール6001は、外科用タスクに関連付けられた可視化モードについて、メモリ6003に記憶され得るデータベースを参照することができる。外科用タスクが高度可視化モード6063を必要とする場合、制御モジュール6001は、高度可視化モード6063に関連付けられた高速計算を支援するためにFPGAを再利用する。外科用タスクが完了すると、制御モジュール6001は、通常の可視化モード6062への復帰をトリガし、FPGAを通常のタスクの実行に効果的に切り替える。
特定の実施態様では、外科用データを検出すること(6011)は、ユーザの注意を求めて競合する2つの別個の外科用データを受信することを含む。例えば、外科用データを検出すること(6011)は、第1の外科用データ及び第2の外科用データを受信することを含むことができ、第1の外科用データ及び第2の外科用データは両方とも、現在の外科用タスクに関連し、及び/又は1つ以上のアクティブな外科用デバイスに関連付けられる。そのような実施態様では、方法6010は、第1の外科用データ及び第2の外科用データに表示優先度値を、それらを無視することによって引き起こされ得る手術の成功の重大度及び/又は失敗の重度の比較に基づいて割り当てること(6012)を含むことができる。例えば、第1の外科用データが第2の外科用データよりも高い重大度を含む場合、方法6010は、第2の外科用データよりも高い表示優先度値を第1の外科用データに割り当てる(6012)。加えて又は代替的に、第1の外科用データに関連付けられた第1の故障が第2の外科用データに関連付けられた第2の故障よりも深刻である場合、方法6010は、第2の外科用データよりも高い表示優先度値を第1の外科用データに割り当てる(6012)。
いくつかの実施態様では、様々な外科用データに関連付けられた表示優先度値並びに対応する重大度及び/又は故障重度は、メモリ6003等の記憶媒体内に、任意の適切なフォーマット、例えば、表又はデータベースで記憶され得る。制御モジュール6001のプロセッサ85は、そのような記憶された情報に基づいて表示優先度値を割り当てる(6012)ように構成され得る。
加えて又は代替的に、表示優先度値は、所定のユーザ選好及び/又はユーザ固有の外科コンテキストに基づいて割り当てること(6012)ができる。いくつかの実施態様では、アクティブな外科用器具21に関連付けられた外科用データは、外科用器具21を使用する臨床医に関連付けられたディスプレイ上に選択的に表示され得る。したがって、方法6010は、異なるディスプレイのために同じ外科用データに異なる表示優先度値を割り当てること(6012)を含むことができる。
一例示では、臨床医によって利用されている第1の外科用デバイスに関連付けられた外科用データは、臨床医によって選択された、そうでなければ臨床医に関連付けられた第1のディスプレイに対して高い表示優先度値、及び臨床医によって選択されていない、又は臨床医に関連付けられていない他のディスプレイに対して低い表示優先度値を同時に割り当てられる(6012)。別の例示では、臨床医によって利用されている第1の外科用デバイスに関連付けられた第1の外科用データは、臨床医によって選択された、そうでなければ臨床医に関連付けられた第1のディスプレイに対して高い表示優先度値を割り当てられ、臨床医によって利用されていない第2の外科用デバイスに関連付けられた第2の外科用データは、第1のディスプレイに対して低い表示優先度値を割り当てられる。
様々な例では、制御モジュール6001は、特定の外科用デバイスの外科用データと、外科用デバイスを使用する臨床医に関連付けられたディスプレイとの前述のペアリングにおいて利用され得る状況認識モジュール6006からコンテキスト情報を受信する。コンテキスト情報は、周術期データに基づいて状況認識モジュール6006によって生成され得る。
いくつかの実施態様では、データベース又は表がペアリング情報を記憶することができる。他の例では、臨床医は、臨床医が外科用デバイスを保持するときに外科用デバイスによって検出され得る固有の識別子を装着してもよい。肯定的識別が行われると、制御モジュール6001は、次いで、臨床医に選択されるか、そうでなければ関連付けられたディスプレイに対して、外科用デバイスに関連付けられた外科用データに高い表示優先度値を割り当てることができる。一例示では、固有の識別子は、外科用デバイスのハンドル内の対応するRFIDスキャナによって検出される、臨床医のグローブ内のRFIDとすることができる。
結腸直腸処置中等の特定の例では、システム6000は、ディスプレイ(例えば、ディスプレイ6005)を、第1の術野の第1のライブストリームを示すことから第2の術野の第2のライブストリームに自動的に切り替えるように構成される。自動切り替えは、外科的処置における外科用タスクの完了によってトリガすることができる。一例では、外科用タスクの完了を示す所定の外科用キューを、ライブストリーム間の自動切り替えのトリガとして利用することができる。所定の外科用キューは、例えば、外科用器具21による組織内へのステープル発射の完了を検出すること、外科用器具21による組織封止の完了を検出すること、及び/又は例えばジョーを開くことによる外科用器具21のエンドエフェクタのジョーからの組織の解放を検出することを含み得る。
所定の外科用キューはまた、外科用器具21による外科用タスクの完了を示す、外科用器具21の停止が後に続く、外科用器具21の起動を検出することを含んでもよい。いくつかの実施態様では、制御モジュール6001は、外科用器具21の1つ以上のセンサ及び/又はコンピュータ実装インタラクティブ外科用システム1の他の構成要素からの読み取り値を活用して、所定の外科用キューを検出する。いくつかの例示では、所定の外科用キューは、状況認識モジュール6006によって生成されたコンテキスト情報に基づいて検出される。
結腸直腸処置では、臨床医は、円形ステープラ及び線形ステープラを使用して、処置の種々のタスクを完了する。結腸直腸処置は、2つの別個の術野、すなわち、疾患組織が切除される内部術野と、円形ステープラが利用される外部術野とで手術することを伴う。いくつかの実施態様では、第1のライブストリームは、組織切除が行われている内部区画に焦点を合わせ、第2のライブストリームは、円形ステープラが適用される外部区画に焦点を合わせる。そのような実施態様では、自動切り替えは、例えば、線形ステープラの停止及び/又は第1の術野からの線形ステープラの除去によって検出することができる、線形ステープラによる組織切除の完了によってトリガすることができる。制御モジュール6001は、例えば、術野からの線形ステープラの除去を検出するために、様々なオブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又はライブストリームの画像フレームの他の画像処理技術を採用してもよい。
図18は、外科的処置における術野のライブストリームを自動的に切り替えるための例示的な方法6070の動作を示すフローチャートである。いくつかの実施態様では、方法6070は、例えば、コンピュータ実装インタラクティブ外科用システム1によって実行され得る。方法6070は、第1の術野の第1のライブストリームをディスプレイ(例えば、ディスプレイ6005)上に提示すること(6071)を含む。第1の術野における外科用タスクの完了を示す所定の外科用キューが検出された場合(6072)、第1の術野の第1のライブストリームをディスプレイ上に提示することから、第2の術野の第2のライブストリームをディスプレイ上に提示することに自動的に切り替える(6073)。いくつかの例示では、第2の術野は、外科的処置における第1の外科用タスクに続く第2の外科用タスクに関連付けられる。
外科的処置中、コンピュータ実装インタラクティブ外科用システム1の様々な構成要素は、電力、電流、及び/又は処理リソース等の利用可能なシステムリソースを求めて競合する場合がある。加えて又は代替的に、コンピュータ実装インタラクティブ外科用システム1の特定の構成要素の動作は、コンピュータ実装インタラクティブ外科用システム1の他の構成要素の動作に干渉するか、又は悪影響を及ぼす場合がある。システムリソース及び/又は構成要素動作のバランスを維持することによって構成要素が正常に機能することを確実にするために、様々な方法及びシステムが本明細書で説明される。
図19は、コンピュータ実装インタラクティブ外科用システム1によって実行される外科的処置中にシステムリソースのバランスをとるための例示的な方法6050の動作を示すフローチャートである。方法6050は、コンピュータ実装インタラクティブ外科用システム1の異なる構成要素の競合するニーズを満たすシステムリソースの故障を検出すること(6051)を含む。方法6050は、例えば、外科的処置の術野のライブストリーム上にリソース割り当て制御をオーバーレイすること(6052)によって、故障の検出に応答して、システムリソースのリソース割り当て制御を表示することを更に含む。加えて、方法6050は、リソース割り当て制御に対する推奨される調整を表示することを更に含むことができる。
上記に加えて、方法6050は、ユーザによるリソース割り当て制御の調整に基づいて、異なる構成要素のうちの1つ以上の電力消費を調整すること(6053)を含む。方法6050は、故障がもはや検出されないとき、デフォルトリソース割り当てに戻ること(6055)、又はリソース消費制限を除去することを更に含むことができる。方法6050は、例えば、視覚コンテンツをコンピュータ実装インタラクティブ外科用システム1のディスプレイ上の術野のライブストリーム上にオーバーレイすることによって、リソース割り当てに対する調整の効果を表す視覚コンテンツを表示すること(6054)、及び/又はデフォルトモードへの復帰を表す視覚コンテンツを表示すること(6056)を更に含むことができる。
いくつかの実施態様では、故障を検出すること(6051)は、例えば、電力閾値、電流閾値、処理閾値、及び/又は最大利用閾値等の所定の閾値に達すること、及び/又は超えることを含む。所定の閾値は、外科的処置中の誤動作を回避するために、電力消費が利用可能な電力リソースを超える点に達する前に故障を検出すること(6051)が達成されることを確実にするように選択され得る。いくつかの実施態様では、所定の閾値は、プロセッサ85によってアクセスされ、監視された値(例えば、総消費量、消費率)と比較されるメモリ6003等の記憶媒体に記憶される。
いくつかの実施態様では、制御モジュール6001が、総推定リソース消費(例えば、電力消費)又はリソース消費率が所定の閾値以上である外科的処置中に競合タスクが実行されていることを検出したときに、故障が検出される(6051)。いくつかの実施態様では、制御モジュール6001が、総推定リソース消費(例えば、電力消費)又はリソース消費率が所定の閾値以上である、コンピュータ実装インタラクティブ外科用システム1の複数の構成要素の同時利用を検出したときに、故障が検出される(6051)。一例では、例えばメモリ6003に記憶されたデータベースは、コンピュータ実装インタラクティブ外科用システム1の様々な構成要素及び/又はコンピュータ実装インタラクティブ外科用システム1によって実行される様々なタスクに関連付けられたリソース消費推定値のリストを含むことができる。プロセッサ85は、データベース内の情報に基づいてリソース消費値を計算し、故障が検出されたかどうかを判定する(6051)ために、計算された値を所定の閾値と比較することができる。
いくつかの実施態様では、システムリソースは電力であり、電力リソースを求めて競合するコンピュータ実装インタラクティブ外科用システム1の構成要素は、システム6000、又はコンピュータ実装インタラクティブ外科用システム1の任意の他の可視化システム、及び発電機27である。例えば、外科用組織封止処置中に、コンピュータ実装インタラクティブ外科用システム1は、所定の閾値に達するか、又はそれを超える電力消費を集合的に必要とする2つのタスクを実行するように構成され得る。第1のタスクは、例えば、術野のスペクトルビューを提供する可視化タスクとすることができ、第2のタスクは、例えば、術野において外科用エネルギーデバイスによって把持された組織を封止するために外科用エネルギーデバイスに通電することであり得る。発電機モジュール27は、外科用エネルギーデバイスに電力を供給して、組織への治療エネルギーの印加によって組織を封止するように構成され得る。
そのような実施態様では、故障は、システム6000及び発電機モジュール27による電力消費を監視することによって検出される(6051)。電力消費が所定の閾値に達する及び/又は超える場合、制御モジュール6001は、ディスプレイ6005上の術野のライブストリーム上への電力割り当て制御のオーバーレイ6052を引き起こすことによって、ユーザアラートを発行する。次いで、制御モジュール6001は、電力割り当て制御のユーザ調整に従って電力消費を調整することができる。
特定の例では、制御モジュール6001は、ユーザ調整を実施するために1つ以上のシステムの電力要件を低減する。例えば、制御モジュール6001は、発電機モジュール27への電力割り当てを維持することを優先して、システム6000への電力割り当ての低減を選択するユーザ入力に応答して、ディスプレイ6005の輝度を低減することができる。加えて又は代替的に、制御モジュール6001は、発電機モジュール27への電力割り当てを維持することを優先してシステム6000への電力割り当ての低減を選択するユーザ入力に応答して、システム6000によって実行される二次画像処理タスク等の特定のタスクを減速、遅延、又は一時停止することができる。
特定の例では、電力割り当て制御のユーザ調整は、発電機モジュール27よりもシステム6000への電力割り当てを優先することができる。これは、ユーザが、最適な可視化を必要とする重要な工程にいる場合、例えば、血管を封止する場合、及びエネルギーデバイスの適切な動作を、おそらく組織封止時間を増加させることによって、より低い電力レベルで依然として達成することができる場合に起こり得る。そのような場合、制御モジュール6001は、外科用エネルギーデバイス及び/又は発電機モジュール27に、それらの設定のうちの1つ以上を調整させて、システム6000に有利に電力消費を低減させ得る。
いくつかの実施態様では、制御モジュール6001は、故障の検出に応答して、ユーザ入力なしに、電力割り当て調整を行うように自動的に介入する。そのような実施態様では、制御モジュール6001は、電力消費に対する自動変更によって引き起こされた変更をユーザに警告するだけである。例えば、制御モジュール6001は、ディスプレイ6005上のライブストリーム上に、ディスプレイ6005の輝度の変化に対するアラート、及び/又は、例えば、オーバーレイをもたらす画像処理の一時的停止に起因する、外科用データオーバーレイ等の視覚コンテンツのオーバーレイの一時的停止をオーバーレイしてもよい。オーバーレイは、外科用エネルギーデバイスによる組織封止の完了時に再導入され得る。代替的に、オーバーレイは、発電機モジュール27を優先してシステム6000の電力消費を低減するために、連続的に表示されるのではなく断続的に表示され得る。
いくつかの実施態様では、電力割り当て制御に対するユーザ調整は、例えば、1つ以上のシステムが最大ヒューズ限界閾値を超えることを防止するように構成された1つ以上のアクティブな個別電流制限回路を介して実装される。
いくつかの実施態様では、システムリソースは電力であり、電力リソースを求めて競合するコンピュータ実装インタラクティブ外科用システム1の構成要素は、システム6000、又はコンピュータ実装インタラクティブ外科用システム1の任意の他の可視化システム、及び排煙器モジュール26(図3)である。例えば、外科用組織封止処置中に、コンピュータ実装インタラクティブ外科用システム1は、所定の閾値に達するか、又はそれを超える電力消費を集合的に必要とする2つのタスクを実行するように構成され得る。第1のタスクは、例えば、術野のスペクトルビューを提供する可視化タスクとすることができ、第2のタスクは、例えば、術野から煙を抽出することであり得る。煙は、エネルギーデバイスによる組織封止プロセスの副産物である。
そのような実施態様では、故障が検出された場合(6051)、制御モジュール6001は、次いで、例えば、前述のように、ディスプレイ6005上の術野のライブストリーム上に電力割り当て制御のオーバーレイ6052を引き起こすことによって、ユーザアラートを発行してもよい。次いで、制御モジュール6001は、電力割り当て制御のユーザ調整に従って電力消費を調整することができる。特定の例では、制御モジュール6001は、例えば、推奨される調整を表す視覚コンテンツをディスプレイ6005上の術野のライブストリーム上にオーバーレイすることによって、排煙モジュール26のより低い設定への調整を推奨し得る。加えて、制御モジュール6001はまた、排煙の減速を表す視覚コンテンツをオーバーレイさせてもよい。示される方法でそのような視覚コンテンツを提示することは、外科用エネルギーデバイスのユーザに、外科用エネルギーデバイスをより少ない煙を生成するより低い設定に調節することによって、封止プロセスを減速させる機会を与える。例えばスペクトルビューに関連付けられた画像処理の完了に起因して、システム6000の追加の電力要件が終わると、制御モジュール6001は、排煙モジュール26がその元の設定に戻っていることをユーザに知らせるために、アラートを表す視覚コンテンツのオーバーレイを引き起こす。
様々な例では、方法6050と同様の方法は、コンピュータ実装インタラクティブ外科用システム1を使用して実行される外科的処置に悪影響を及ぼし得る他の故障、例えば、過熱及び/又はノイズに対処するために実施され得る。そのような場合、故障検出は、コンピュータ実装インタラクティブ外科用システム1の1つ以上の構成要素の1つ以上の内部及び/又は外部センサの読み取り値に基づいて達成され得る。次いで、センサ読み取り値を所定の閾値と比較して、故障を検出することができる。例えば、過熱故障は、1つ以上の温度センサ読み取り値が所定の温度閾値以上である場合に検出することができる。故障に応答して、制御モジュール6001は、ディスプレイ6005上の外科的処置の術野のライブストリーム上に仮想制御をオーバーレイし、それによって、過熱に対処するためにコンピュータ実装インタラクティブ外科用システム1の構成要素のうちの1つ以上の設定を変更する機会をユーザに提示してもよい。同様の方法を利用してノイズレベルに対処することができる。
様々な例では、方法6010による表示配置は、外科用データの視覚表現に対応するためのディスプレイ6005のセグメント化を含む。同時に表示されるセグメントのサイズ、形状、表示時間、表示場所、表示3次元配置(例えば、前景、背景)、表示点滅、強調表示、及び/又はフォントは、外科用データの性質、複雑性、及び/又は重大度を含むいくつかの要因に依存し得る。いくつかの実施態様では、同時に表示されるように構成される外科用データのペアリング情報は、メモリ6003等の記憶媒体上に記憶されるデータベース又は表内に設けることができる。制御モジュール6001のプロセッサ85は、記憶された情報に基づいて、複数の外科用データが同時に表示されるべきかどうかを決定してもよい。
いくつかの実施態様では、2つの異なる外科用データの視覚表現は、ディスプレイ6005上にセグメント化モードで同時に表示されるように構成されるが、視覚表現のうちの1つだけが表示の準備ができている。そのような実施態様では、準備ができていない視覚表現は、その割り当てられたセグメント内の空白領域として表すことができる。加えて、上記で説明したように、制御モジュール6001は、準備ができていない視覚表現を準備するのを助けるために、追加の処理速度のためにFPGAを再利用するように構成され得る。代替的に、準備ができていない視覚表現は、外科用データが同時に表示されることを確実にするために、より低い品質で表示され得る。
特定の例では、複数の外科用データの視覚表現は、例えばセグメント化モードでディスプレイ6005上に同時に表示するように構成されるが、システム6000は、異なる外科用データの全てを同時に表示するのに十分な処理能力を欠いている。その処理能力の不足を検出したことに応答して、システム6000は、例えば、外科用データの割り当てられた表示優先度値に基づいて、より低い優先度の外科用データよりもより高い優先度の外科用データのディスプレイを優先し得る。
他の例では、ディスプレイ問題は、セグメント化モードで複数の外科用データの視覚表現を同時に表示するのに十分な表示領域がディスプレイ6005にないことであり得る。そのような場合、制御モジュール6001によって実装される表示配置は、第1の視覚表現が第2の視覚表現の内側に表示されるピクチャインピクチャタイプの表示配置を含むことができる。言い換えれば、第1の視覚表現は前景に現れてもよく、背景に現れる第2の視覚表現よりもサイズが小さくてもよい。加えて、任意の適切なユーザインターフェース6007を通して、臨床医は、視覚表現のうちの一方を前景に、他方を背景に選択的に移動させることによって、2つの視覚表現の間で切り替えることができる。
制御モジュール6001は、ディスプレイ6005の所定の表示サイズ、及び外科用データの視覚表現の計算された表示サイズに基づいて、十分な表示領域の欠如を検出するように構成され得る。いくつかの実施態様では、所定の方程式を計算に利用することができる。他の例では、視覚表現のサイズが同じ又は同様である場合、外科用データの視覚表現の数が所定の閾値以上である場合、十分な表示の欠如が検出される。
様々な例では、方法6010による表示配置は、例えば、静的又はパッシブ表示モード及び動的又はアクティブ表示モード等の表示モード間の遷移を含む。いくつかの実施態様では、制御モジュール6001は、外科用データの視覚表現を静的モードから動的モードに遷移させるように構成される。制御モジュール6001は、例えば、外科用データに関連付けられた優先度、重大度、及び/又はリスクの変化等の所定のトリガに応答して遷移を実施するように構成することができる。例えば、低い表示優先度値を最初に割り当てられた(6012)外科用データは、外科用データの表示優先度値がより高い表示優先度値に増加することに起因して後にアクティブ表示モードに遷移される静的表示モードで、術野のライブストリーム上に表示又はオーバーレイされ得る。
上記に加えて、いくつかの実施態様では、静的モードは、外科用器具21に関連付けられた外科用データの静的視覚表現を、例えば、ディスプレイ6005の側面又は角に表示又はオーバーレイすることを含む。対照的に、アクティブモードは、例えば、術野のライブストリームにおいて外科用器具21の一部に外科用データのアクティブ視覚表現をオーバーレイすること、及び/又は静的視覚表現において強調表示された領域を移動させることを含み得る。様々な実施態様では、静的表示モードは、例えば、サイズ、形状、表示時間、表示場所、表示3次元配置(例えば、前景、背景)、表示点滅、強調表示、及び/又はフォントのうちの1つ以上において、アクティブ表示モードとは異なる。
いくつかの実施態様では、静的表示モードからアクティブ表示モードへの遷移は、外科用器具21の作動又は起動に基づいており、外科用器具21は、リアルタイム動的表示を必要とする技術感応工程を知らせる。例えば、先の発射に対して特定の発射角度を必要とする、組織への後続のステープル発射における外科用器具21の作動又は起動は、アクティブ表示モードへの遷移をトリガすることができる。第1に、外科用データ(例えば、様々な発射及び/又は組織パラメータ)の視覚表現等の特定の表示要素を、静的表示モードで表示又はオーバーレイすることができる。次いで、外科用器具21の作動又は起動に応答して、その後の発射において、制御モジュール6001は、例えば、表示要素が強調表示され及び/又は移動される動的表示モードに遷移させる。様々な例では、遷移をトリガする後続の発射は、組織補助材(例えば、組織厚さコンペンセータ)も配備するステープル発射を伴う。
いくつかの実施態様では、制御モジュール6001は、静的表示モードの表示要素のサイズを小さくし、強調表示を少なくし、及び/又は経時的に表示要素を消すように構成される。外科用器具21の様々な動作パラメータは、最初に動的表示モードで提示され、次いで、そのようなパラメータの有意レベルが変化するにつれて、静的表示モードに遷移することができる。特定の例示では、特定の表示要素は、例えば、静的表示モードでディスプレイ6005上の所定の場所に割り当てられ、次いで、アクティブ表示モードで変更される。
いくつかの実施態様では、外科用データの視覚表現、例えばバイオマーカは、静的表示モードで提示され、例えばソリッドカラーは強調表示されないが、バイオマーカに関連付けられた値は、所定の範囲内又は所定の閾値未満のままである。しかしながら、値が所定の範囲を超えて、又は所定の閾値を超えて移動する場合、外科用データの視覚表現は、視覚表現の特定の表示要素に、例えば、サイズ、形状、表示時間、表示場所、表示3次元配置(例えば、前景、背景)、点滅、強調表示、及び/又はフォントを変化させることによって、動的表示モードに遷移され得る。
図19Aは、外科用データに基づいて静的表示モードとアクティブ表示モードとの間で遷移するための例示的な方法6110の動作を示すフローチャートである。いくつかの実施態様では、方法6110は、例えば、コンピュータ実装インタラクティブ外科用システム1によって実行され得る。図示の例では、外科用データは、組織パラメータを含む。組織パラメータは、組織インピーダンスである。例えば、組織厚さ、組織圧力、組織コンダクタンス、及び/又は組織圧縮等の他の組織パラメータが、同様に提示することができる。
上記に加えて、方法6110は、外科用器具21のエンドエフェクタのジョー間の組織を検出すること(6111)を含む。特定の例では、組織検出6111は、例えば、オブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又はライブストリームの画像フレームの他の画像処理技術を通して自動的に達成され得る。あるいは、外科用器具21は、ジョー内の1つ以上のセンサの信号読み取り値に基づいてジョー間の組織の存在を検出する(61111)ように構成することができる。例えば、組織を通過した非治療信号が許容可能な組織インピーダンスをもたらすときに、組織を検出することができる(6111)。
組織を検出すること(6111)に応答して、方法6110は、例えば、術野のライブストリーム上に組織パラメータの視覚表現を表示するか、又はオーバーレイすることによって、静的表示モードで組織パラメータを提示する(6112)。しかしながら、組織パラメータが所定の閾値に達するか、若しくはそれを超えるか、又は所定の範囲外になる場合(6113)、方法6110は更に、組織パラメータの視覚表現の1つ以上の表示要素のアクティブ表示モードへの遷移6115を引き起こす。
いくつかの実施態様では、外科用器具21は、外科用器具21のエンドエフェクタによって把持された組織を封止するように構成されたエネルギーデバイスである。治療の開始時に、組織を検出すると(6111)、組織インピーダンスが静的表示モードで提示される。外科用器具21は、有線又は無線インターフェースを介して、組織インピーダンスを示す外科用データを制御モジュール6001に通信して、例えば、静的表示モードでディスプレイ6005上に表示することができる。組織へのエネルギー印加が始まると、組織インピーダンスが変化する。しかしながら、組織インピーダンスが所定の閾値に達するか、若しくはそれを超えるか、又は所定の範囲外になる場合、これは、流体中へのエンドエフェクタの浸漬、電気的短絡、又は単に低インピーダンス組織の表示であり得る。いずれにしても、アクティブ表示モードへの遷移6115がトリガされて、臨床医に調査するように警告する。
様々な例では、制御モジュール6001は、例えば、外科的処置の工程、各工程で利用される外科用器具21、並びに各工程に関連付けられた様々なリスク及び/又は技術等の外科的処置に関連付けられた様々な外科用情報を決定する。そのような決定は、例えば状況認識モジュール6006によって生成されたコンテキスト情報に基づくことができる。制御モジュール6001は、次いで、本開示によって説明される方法のうちの1つ以上を利用する表示配置において、外科用情報を外科的処置の術野上に表示又はオーバーレイさせることができる。例えば、現在の工程、現在の工程に関連付けられた外科用器具21、現在の工程に関連付けられたリスク、及び/又は現在の工程に関連付けられた技術は、アクティブ表示モードで提示され得るが、前及び/又は次の工程は、静的表示モードで提示される。次の工程が現在の工程になると、アクティブ表示モードに遷移する。
上記に加えて、静的表示モードからアクティブ表示モードへの遷移6115は、例えば、新しいレイアウトを反映する、処置計画への変更を反映するために採用することができる。様々な例では、外科用情報は、制御モジュール6001による提示のために、例えば、アクセス、分離及び/又は可動化、切除、及び/又は修復、及び/又は関連データの外科医への拡張の段階にセグメント化され得る。
様々な例では、静的表示モードとアクティブ表示モードとの間の外科用データの視覚表現の遷移は、外科用データにリンクされた又は関連付けられた外科用器具21の使用の変化に基づく。外科用データは、最初に静的表示モードで提示することができる。しかしながら、外科用器具21の使用において所定の変化が検出された場合、外科用データの視覚表現のアクティブ表示モードへの遷移が影響を受ける。
図19Bは、静的表示モードとアクティブ表示モードとの間で外科用データの視覚表現を遷移させるための例示的な方法6120の動作を示すフローチャートである。遷移は、外科用データにリンクされた又は関連付けられた外科用器具21の使用の変化に基づくか又はそれによってトリガされる。いくつかの実施態様では、方法6120は、例えば、コンピュータ実装インタラクティブ外科用システム1によって実行され得る。
図示の例では、外科用器具21は、外科的処置においてそのエンドエフェクタによって把持された組織を凝固させるように構成された超音波外科用器具である。外科用器具21は、外科的処置の術野に表示又はオーバーレイするために、制御モジュール6001によって受信される(6121)事前設定された発電機設定の発電機とともに利用される。方法6120は、事前設定された発電機設定を静的表示モードで提示すること(6122)を更に含む。しかしながら、外科的処置中に、血液中に半浸漬されている血管の凝固の試みに起因して、血液中のエンドエフェクタの浸漬が検出される場合(6123)、例えば、新しい発電機設定がアクティブ表示モードで提示される。新しい発電機設定は、エンドエフェクタの血液への浸漬に応答したトランスデューサ電力レベルの増加を含んでもよい。新しい発電機設定の術野のライブストリーム上への表示又はオーバーレイは、外科用器具21のユーザに警告し、増加した電力レベルが望ましくない場合、ユーザがエンドエフェクタの位置を調整する機会を与える。
いくつかの実施態様では、エンドエフェクタの血液への浸漬を検出することは、1つ以上のセンサによって達成される。一例では、非治療電流を流すことができる。短絡が検出された場合、短絡は血液中への浸漬を示す。これに応答して、浸漬を示す外科用データは、無線で、又は有線インターフェースを介して制御モジュール6001に通信する。
様々な例では、方法6010による表示配置は、静的表示モードで外科用データの視覚表現を最初に提示することを含む。次いで、方法6010は、外科用データに関連付けられた外科用器具21の状況の変化に応答して、例えば外科用データに関連付けられた値等の視覚表現の1つ以上の表示要素の変化を引き起こす。変化は、例えば、ステープルカートリッジロックアウトに遭遇すること、高度エネルギーデバイスの起動、外科用器具21のエンドエフェクタの開放構成と閉鎖構成との間の遷移を含む。
前述のように、外科用データに関連付けられた1つ以上の値の変更は、静的表示モードで実行することができる。代替的に、いくつかの実施態様では、変化は、追加のアラートを提供するために、静的表示モードからアクティブ表示モードへの遷移を伴うことができる。そのような実施態様は、例えば、組織クリープ及び/又は組織圧縮を可能にするために休止すること、外科用器具21のエンドエフェクタのジョー内の不均衡な組織を検出すること、及び/又はジョーのクランプが不適切な組織張力を誘発していることを検出すること等の、例えば、様々な適合技術を含む。
様々な例では、方法6010による表示配置は、第1の動的表示モードから第2の動的表示モードへの遷移を含み、第2の動的表示モードは、第1の動的表示モードよりも高い優先度、リスク、及び/又は重大度を含むか、又は表す。一例では、血圧は、例えば、無線又は有線インターフェースを使用して、その読み取り値を制御モジュール6001に通信し得る、血圧監視デバイスを介して、外科的処置中に追跡される。次に、血圧データの重要性により、血圧の視覚表現を第1の動的表示モードで提示することができる。しかしながら、外科的処置中に、許容可能な限界を超える血圧データの増加が検出された場合、例えば、適切なアラートが送達されることを確実にするために、血圧データを第2の動的表示モードに上昇させるように遷移が行われる。
様々な実施態様では、例えば、視覚表現のサイズ、形状、表示時間、表示場所、表示3次元配置(例えば、前景、背景)、表示点滅、強調表示、及び/又はフォント等の、外科用データの視覚表現の1つ以上の特性は、割り当てられた(6012)表示優先度値に基づくことができる。特定の例では、割り当てられた(6012)表示優先度値は、表示対立を有する表示配置をもたらすことができる。例えば、割り当てられた表示優先度値に基づいて表示配置を決定することは、例えば、ディスプレイ6005上の同じ場所に外科用データの2つ以上の視覚表現をもたらし得る。
図20は、表示配置における表示対立を解決するための例示的な方法6010’の動作を示すフローチャートである。方法6010’は、多くの点で方法6010に類似している。2つの方法の間の共通の詳細は、簡潔にするために本明細書では繰り返さない。特定の例では、図20に示すように、検出された(6080)表示対立は、競合する視覚表現の1つ以上の表示時間を変更して(6081)対立を解決することによって解決することができる。代替的に、臨床医は、対立を認識することができ、ディスプレイ6005上で、異なる外科用データ間で選択する(6082)ための選択肢を提供することができる。代替的に、選択6083は、臨床医の所定の選好に基づいて自動的に行うことができ、これは、ユーザ入力又は状況認識モジュール、例えば、6006によって生成されるコンテキスト情報に基づくことができる。
いくつかの実施態様では、第1の外科用データと第2の外科用データとの間の表示対立を検出すること(6080)は、例えばプロセッサ85によって、例えばメモリ6003から第1の外科用データ及び第2の外科用データに関する表示優先度情報を取り出すことを含む。次いで、プロセッサ85は、第1の外科用データ及び第2の外科用データの表示優先度情報を比較して、表示対立が検出されたかどうかを判定することができる(6080)。
特定の実施態様では、制御モジュール6001は、例えば、デフォルトサイズよりもサイズが小さい競合する外科用データの視覚表現を同時に示すことによって、検出された(6080)表示対立に応答するように構成される。臨床医は、例えば、ユーザインターフェース6007を通して視覚表現の間で選択することができる。これに応答して、制御モジュール6001は、選択されていない視覚表現を除去し、選択された視覚表現のサイズをデフォルトサイズに増加させる。
特定の実施態様では、検出された(6080)表示対立は、表示対立を提示する外科用データに基づいて決定された解決順序に基づいて自動的に優先順位を付ける(6084)ことによって解決され得る。いくつかの実施態様では、解決順序は、外科用データに関連付けられた外科用工程の順序、及び/又は外科用データによって報告されたリスク及び/又は問題の緊急性に基づいて決定される。
特定の例示では、表示対立が、第1の外科用データと第2の外科用データとの間で検出され(6080)、両方とも高い優先度の問題及び/又はリスクを提示する。更に、第1の外科用データに関連付けられた第1の解決が実施されるまで、第2の外科用データに関連付けられた第2の解決を実行することができない。そのような例示では、第1の外科用データの第1の視覚表現は、解決順序に基づいて、第2の外科用データの第2の視覚表現よりも自動的に優先される(6084)。
特定の例示では、表示対立は、外科用器具21の作動を防止するロックアウトに関連付けられた第1の外科用データと、外科用器具によって治療されている組織の次善の組織厚さに関連付けられた第2の外科用データとの間で生じ得る。そのような例示では、組織厚さの問題は、高い優先度であるが、外科用器具21がロックアウト状態にある間は解決することができないので、ロックアウトを優先して対立を解決するために、所定の解決順序を採用することができる。
特定の例では、解決順序は、データベース、表の形態、又は任意の他の適切な形態で記憶媒体(例えば、メモリ6003)上に記憶され得る。記憶された情報は、様々な外科用データ及び対応する解決順序を列挙することができる。プロセッサ85は、記憶された情報を参照して、競合する外科用データ間の解決順序を識別し、表示対立を解決することができる。いくつかの実施態様では、解決順序は、競合する外科用データに基づいて開始又は完了する外科用タスクの順序に基づく。
いくつかの例示では、制御モジュール6001は、検出されたステープルカートリッジ(例えば、外科用器具21上に装填されたもの)が以前に発射されたことを示す第1の外科用データを受信し得る。外科用器具21のコントローラは、例えば、ステープルカートリッジのチップ上に記憶された発射情報を要求することによってステープルカートリッジに照会してもよく、取り出された発射情報に基づいて、ステープルカートリッジが以前に発射されたことを判定してもよい。発射情報を含む第1の外科用データは、無線で又は無線通信を通じて制御モジュール6001に通信され得る。更に、制御モジュール6001は、以前に発射されたステープルカートリッジが装填された外科用器具21を伴う外科的処置においてステープル留めされている組織上への外科用器具21のエンドエフェクタの閉鎖に関連付けられた第2の外科用データを受信し得る。例えば、第2の外科用データは、エンドエフェクタのジョーの間の組織厚さ及び/又は組織位置に関連し得る。
上記に加えて、制御モジュール6001は、第1の外科用データ、すなわち以前に発射されたステープルカートリッジ、及び第2の外科用データ、すなわちエンドエフェクタの組織上への閉鎖の両方が高優先度状況を含むので、表示対立を検出する(6080)。第1及び第2の外科用データの視覚表現のディスプレイ6005上への表示配置を決定するために、例えば、プロセッサ85は、データベース、表の形態、又は任意の他の適切な形態で記憶媒体(例えば、メモリ6003)上に記憶された解決順序情報をチェックする。本例では、第1の外科用データによって提示される第1の問題、すなわち以前に発射されたステープルカートリッジは、第2の外科用データによって提示される第2の問題、すなわち組織上へのエンドエフェクタの閉鎖の前に解決されなければならない。これは、先に発射されたステープルカートリッジを使用して組織を治療することができない場合、エンドエフェクタの組織への閉鎖を解決することが重要でないためである。
表示対立が解決されると、方法6010’は、解決順序に基づいて選択された表示配置に従って、第1の外科用データ及び第2の外科用データの視覚表現を表示すること(6014’)に進む。例えば、第1の外科用データの第1の視覚表現は、第2の外科用データの第2の視覚表現の前に表示することができる。本開示の他の場所で説明されるように、他の適切な表示配置を採用することができる。
様々な態様では、外科的処置は、例えば外科用ステープラ等の外科用器具21を使用して組織をステープル留めすることを伴う。外科的処置は、典型的には、外科用器具21のエンドエフェクタを術野内に位置付けることと、エンドエフェクタのジョーの間に組織を把持するようにエンドエフェクタを作動させることとを含む。ジョーは、把持された組織を圧縮下に置く。組織は水を含むので、把持された組織は、組織が定常状態に達するまで、組織クリープとして知られるプロセスにおいてエンドエフェクタのジョーによって圧縮されるのに応答して徐々に変化する。更に、ジョー間の間隙及び組織の厚さもまた、組織が定常状態に達するまで変化し得る。また、組織流動又は組織の動きは、組織が定常状態に達するまで起こり得る。いくつかの実施態様では、ステープル留めを成功させるために、組織は、定常状態を達成するための待機時間を許容される。待機時間パラメータ、組織厚さパラメータ、及び/又は器具間隙パラメータ等の前述の組織変化と関連付けられるパラメータは、組織定常状態に到達するときを適切に評価するために重要である。
図21は、外科用器具21を採用する外科的処置における組織変化(例えば、組織クリープ、組織流動、組織圧縮)に対処するための例示的な方法6090の動作を示すフローチャートである。いくつかの実施態様では、方法6090は、外科用器具21のエンドエフェクタのジョー間の組織を検出すること(6091)を含む。特定の例では、組織検出6091は、例えば、オブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又はライブストリームの画像フレームの他の画像処理技術を通して自動的に視覚的に達成され得る。あるいは、外科用器具21は、ジョー内の1つ以上のセンサの信号読み取り値に基づいてジョー間の組織の存在を検出する(6091)ように構成することができる。例えば、組織を通過した非治療信号が許容可能な組織インピーダンスをもたらすときに、組織を検出することができる(6091)。
組織の検出6091に応じて、方法6090は、組織変化(例えば、組織クリープ、組織流動、組織圧縮)の少なくとも1つのパラメータ、及び/又はエンドエフェクタのジョー間の外科用器具間隙距離のパラメータ、及び/又は待機時間を、術野のライブストリーム上に表示又はオーバーレイ(6092)し得る。特定の実施態様では、方法6090は、組織治療を開始するために定常状態に達したときに外科用器具21のユーザに警告すること(6094)を更に含む。特定の例では、定常状態は、組織変化パラメータのうちの1つ以上及び/又は外科用器具パラメータのうちの1つ以上に基づいて検出される(6093)。例えば、定常状態は、組織流動、組織クリープ、組織厚さ、組織圧縮、エンドエフェクタのジョー間の間隙距離、及び/又は待機時間のうちの1つ以上が所定の閾値以上である場合に検出することができる(6093)。代替的に、定常状態は、組織流動、組織クリープ、組織厚さ、組織圧縮、エンドエフェクタのジョー間の間隙距離、及び/又は待機時間のうちの1つ以上の変化率が所定の閾値以下である場合に検出することができる(6093)。加えて又は代替的に、定常状態は、オブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又は例えば、組織の変化を監視し得る他の画像処理技術に基づいて、自動的に視覚的に検出することができる(6093)。
いくつかの実施態様では、方法6090は、例えば、1つ以上の適切なオブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又はライブストリームの画像フレームの他の画像処理技術を利用することによって、外科用器具21による治療の適用中に組織変化を視覚的に自動的に監視することを更に含む。特定の例では、治療は、例えば、把持された組織へのステープルの発射であり得る。発射中に組織変化が過剰なレベルに達する場合(6095)、方法6090は、臨床医へのアラートを表示又はオーバーレイすること(6096)を更に含み得る。特定の例では、方法6090は、例えば図26に示すように、過剰な組織変化の場所及び/又は大きさの視覚表現を表示又はオーバーレイすること(6097)を含む。いくつかの実施態様では、組織変化は、例えば、把持された組織内の1つ以上の組織標的のサイズ、場所、色、及び/又は移動を追跡することによって、自動的に視覚的に監視される。
方法6090はまた、例えば、1つ以上の閉鎖パラメータ(例えば、ジョークランピング、ジョー圧力、遠位先端負荷)、及び/又は発射パラメータ(例えば、発射速度、Iビーム速度)等の外科用器具21の1つ以上のパラメータを調整すること等の推奨解決を表示又はオーバーレイすること(6098)を含み得る。特定の例では、推奨解決は、追加の待機時間であり得る。特定の例では、外科用器具21は超音波器具であり、推奨解決は、エンドエフェクタの遠位先端負荷を減少させるものである。他の例では、外科用器具21は外科用ステープラであり、推奨解決は、エンドエフェクタの遠位先端負荷を増加させるものである。
様々な例では、組織変化(例えば、組織流動)は、少なくとも部分的に、ジョー間に把持された組織が受ける張力によって影響を受ける。特定の例では、組織張力は、組織を把持している間の中立位置からのエンドエフェクタの回転等の動きに起因する。そのような場合、オーバーレイされた(6098)解決は、エンドエフェクタの回転位置に対する推奨される調整の形態であり得る。過剰な組織張力は、例えば、1つ以上の適切なオブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又はライブストリームの画像フレームの他の画像処理技術を利用することによって、自動的に観察することができる。
いくつかの実施態様では、エンドエフェクタの位置及び/又は配向は、加速度計、ジャイロ、相対位置センサ、及び/又は3次元磁気センサを含む、1つ以上のセンサを使用して判定することができる。いくつかの実施態様では、センサは、1つ以上の位置変化を特徴付ける位置情報を生成することができる。位置情報は、有線又は無線インターフェースを介して制御モジュール6001に送信することができる。
様々な実施態様では、加速度計は、単軸、二軸、又は三軸加速度計であってもよい。加速度計は、必ずしも座標加速度(速度の変化率)ではない適正な加速度を測定するのに採用されてもよい。その代わりに、加速度計は、加速度計の基準フレーム内で静止している試験質量が経験する重量の現象と関連付けられる加速度を見ることができる。加えて又は代替的に、エンドエフェクタの位置及び/又は配向は、例えば、1つ以上の適切なオブジェクト認識、オブジェクト追跡、及び/又はオブジェクトラベリングアルゴリズム、及び/又はライブストリームの画像フレームの他の画像処理技術を利用することによって、自動的に観察することができる。
エンドエフェクタのジョーによって把持された組織の組織張力の検出に応じて、制御モジュール6001は、術野のライブストリーム上に、組織張力、その大きさ、及び/又は組織張力に関与する回転配向の視覚表現を表示又はオーバーレイしてもよい。いくつかの実施態様では、図22A~22Cに図示されるように、組織張力の視覚表現6100、6101、6102は、例えば、3次元空間におけるエンドエフェクタの位置情報を提供してもよい。いくつかの実施態様では、エンドエフェクタの位置情報は、エンドエフェクタを通って中心に長手方向に延在する第1の軸(例えば、x軸)、第1の軸に垂直であり、第1の軸を有する第1の平面内に延在する第2の軸(例えば、y軸)、及び第1の軸に垂直であり、第1の軸を有する第2の平面内に延在する第3の軸(z軸)によって表され、第1の平面は、第1の軸において第2の平面と交差する。
図22Aに示されるように、エンドエフェクタが座標軸に対して中立状態にある間、座標軸のそれぞれは、第1の形態(例えば、色、形状、サイズ)で提示され得る。1つ以上の座標軸について中立状態からの過剰な逸脱を検出したことに応じて、制御モジュール6001は、1つ以上の座標軸を第1の形態とは異なる第2の形態に変化させる。他の例では、中立状態からの過剰な逸脱は、第1の逸脱であってもよく、第1の所定の閾値又は範囲に基づくことができ、一方、第2の逸脱は、第1の逸脱よりも過剰であってもよく、例えば、第1の所定の閾値又は範囲とは異なる第2の所定の閾値又は範囲に基づくことができる。そのような場合、中立状態は第1の形態で提示することができ、第1の過剰な逸脱は第2の形態で提示することができ、第2の過剰な逸脱は第1の形態及び第2の形態とは異なる第3の形態で提示することができる。特定の実施態様では、第1の形態は緑色を含み、第2の形態は黄色を含み、第3の形態は赤色を含む。
図示の例では、中立状態からの第1の過度の逸脱がy軸の周りで検出される。これに応答して、制御モジュール6001は、図22Bに示されるように、x軸及びz軸が第1の形態のままである間に、y軸を第1の形態から第2の形態に切り替える。図示の例では、第1の過剰な逸脱は第1の所定の閾値以上である。次に、図22Cに示すように、x軸周りの第1の過剰な逸脱が改善された状態で、x軸周りに第2の所定閾値以上の第2の過剰な逸脱が検出される。これに応答して、制御モジュール6001は、Y軸をfirs形態に戻し、x軸を第3の形態に変更させる。
様々な例では、中立状態からの異なる逸脱(例えば、第1及び第2の過剰な逸脱)は、異なる重度を含むことができ、重度を示す異なる形態で提示することができる。例えば、第1の過剰な逸脱を黄色で表し、第1の過剰な逸脱よりも重度な第2の過剰な逸脱を赤色で提示することができる。いくつかの実施態様では、中立状態からの逸脱は、座標軸のうちの1つ以上を中心とする回転角の範囲に基づいて決定される。例えば、第1の軸に対する中立状態は、第1の軸に対するエンドエフェクタの回転角度が約±A°の範囲を満たす場合に検出され、第1の過剰な逸脱は、第1の軸に対するエンドエフェクタの回転角が約±B°の範囲を満たす場合に検出され、第2の過剰な逸脱は、第1の軸に対するエンドエフェクタの回転角が約±C°の範囲を満たす場合に検出される。図示の例では、A、B、及びCは整数であり、AはBより小さく、BはCより小さい。
図23A~図23Bを参照すると、いくつかの実施態様では、組織張力の視覚表現6104、6105は、座標軸のそれぞれに関連付けられた組織張力測定値6104a、6105aを更に含んでもよい。制御モジュール6001は、組織張力の過剰な逸脱(例えば、2.0ポンド~7.0ポンド)に応答して、組織張力測定値の形態(例えば、色、サイズ、及び/又は形状)を変化させてもよい。
いくつかの実施態様では、制御モジュール6001は更に、過剰な組織張力に対処するために、術野のライブストリーム上に推奨を表示又はオーバーレイさせてもよい。いくつかの例示では、図24に示されるように、推奨は、外科用器具21のエンドエフェクタを中立状態に遷移させるための推奨される回転を表す矢印6107とともに外科用器具21を示す視覚表現2106を含む。
図24~図30は、本開示の方法6010及び/又は任意の他の適切な方法に従って、検出された(6011)外科用データに基づいて決定された(6013)様々な表示配置を示す。図24~図30に示す表示配置は、組織をステープル留め及び切断するように構成された外科用器具21との関連で表されている。しかしながら、他の実施態様では、図24~図30に示す表示配置のうちの1つ以上は、他のタイプの外科的処置において他の外科用器具とともに同様に利用することができる。
本開示によって説明されるいくつかの表示配置は、外科用データの種々の視覚表現を、例えば、ディスプレイ6005等のディスプレイ上に示される術野のライブストリーム上にオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び/又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び/又は重要な外科的構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの1つ以上の表示要素の変化を含み得る。
図25は、例えば制御モジュール6001によって例えばディスプレイ6005上に提示される複合現実ビューを含む表示配置6117を示す。ディスプレイ6005は、外科用器具21のエンドエフェクタ6119によって把持された組織Tをステープル留め及び切断するために外科用器具21を利用する外科的処置中の術野のライブストリームを示す。図示の例では、表示配置6117は、エンドエフェクタ6119のチャネル上に、切断進行線6118、又はステープル発射進行線をオーバーレイする。更に、表示配置6117は、発射部材又は切断部材が移動した距離Dをエンドエフェクタ6119のチャネル上にオーバーレイし、臨床医が外科用器具21の発射進行を辿るのを助ける。
いくつかの実施態様では、制御モジュール6001は、例えば、所定の閾値を超えた、又は所定の範囲を超えた、エンドエフェクタ6119によって把持された組織の1つ以上のパラメータ及び/又は外科用器具21のパラメータの変化を検出する。少なくとも1つの実施態様では、パラメータ変化は、所定の閾値以下の発射速度の変化である。例えば、制御モジュール6001は、外科用器具21及び/又は外科用ハブ6(図1)との有線又は無線通信インターフェースを通じて、パラメータ変化を示す外科用データを受信してもよい。パラメータ変化の検出に応じて、制御モジュール6001は、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はこれらの組合せの変化を含む、エンドエフェクタ6119のチャネル上の切断進行線6118又はステープル発射進行線の変化を引き起こしてもよい。
加えて又は代替的に、パラメータ変化の検出に応答して、制御モジュール6001は、エンドエフェクタ6119上にオーバーレイされた仮想チャネルのオーバーレイに、変化の大きさに従って、パラメータの値に従って、又はパラメータ変化に関連付けられたリスクレベルに従って、少なくとも1つの色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はこれらの組合せを変化させてもよい。
図26は、例えば、本開示の方法による、例えば、ディスプレイ6005上に、制御モジュール6001によって提示される表示配置6114を示す。ディスプレイ6005は、外科用器具21のエンドエフェクタ6119によって把持された組織Tをステープル留め及び切断するために外科用器具21を利用する外科的処置中の術野のライブストリームを示す。図示の例では、表示配置6117は、組織T上への組織流動を示す組織マーカ6116をオーバーレイする。過剰な組織流動は、例えば、図21の方法6090に関連して説明したように検出することができる。図示の例では、表示配置6114は、切断進行線6118と組織マーカ6116とのオーバーレイを組み合わせる。他の表示配置は、組織マーカ6116のみを含んでもよい。
図27A~図27Cは、本開示の少なくとも一態様による、外科用データの視覚表現6131を提供する表示配置6130を示す。いくつかの実施態様では、表示配置6130は、例えば本開示の方法に従って、例えばディスプレイ6005上に制御モジュール6001によって提示される。図示の例では、表示配置6130は、外科用器具21の発射シーケンス中の組織流動を示す、半透明のオーバーレイ6133の形態の視覚表現6132を提示する。発射シーケンス中、外科用器具21は、外科用器具21のエンドエフェクタによって把持された組織T内にステープルを配備し、同時に組織Tを切断するように構成されている。図示された例では、表示配置6130は動的表示モードで提示され、視覚表現6131の表示要素6132(図27A)、6133’(図27B)、6133’’(図27C)の変化が示されている。
表示要素は、エンドエフェクタの幅にわたって組織流動を追跡してもよい。異なる場所は、異なる形態(例えば、色、形状、及び/又はサイズ)で提示することができ、異なる形態は、異なる場所における異なるレベルの組織流動を表す。図示される例では、表示要素6132は、許容可能な組織流動状態を表し、表示要素6132’は、低リスク組織流動状態を表す。反対に、表示要素6132’’’は、高リスク組織流動状態を表す。
図28及び図29を参照すると、いくつかの実施態様では、表示配置6140は、例えば、本開示の方法に従って、例えば、ディスプレイ6005上に、制御モジュール6001によって提示される。ディスプレイ6005は、外科用器具21のエンドエフェクタ6141によって把持された組織Tをステープル留め及び切断するために外科用器具21を利用する外科的処置中の術野のライブストリームを示す。図示された例では、表示配置6140は、発射部材、切断部材、及び/又はナイフ位置の関数としての履歴トレースとともに性能パラメータプロット6142(図29)をオーバーレイする。プロット6142は、例えば、エンドエフェクタ6141に隣接してオーバーレイされる。
プロット6142は、例えば、アンビル間隙、組織負荷、発射速度、及び/又はモータ速度等の、外科用器具21の発射シーケンス中に監視される1つ以上のパラメータ6146に関連付けられたリスク重度を提示する。更に、プロット6142は、複数の閾値、例えば3つの閾値6143、6144、6145を更に提供し、それぞれが重度レベル(例えば、低、中、高)を表して、測定されたパラメータ6146に関連付けられたリスクの重度に関する視覚的インジケータを臨床医に提供する。
加えて又は代替的に、表示配置6140は、カラープロット6147を利用して、組織Tの組織パラメータ(例えば、組織圧力、組織圧縮、組織流動、組織厚さ)に関連付けられた外科用データを提示するように構成され得る。組織パラメータ値は、1つ以上の所定の閾値に対する値の関係に従って、異なる色(例えば、緑色、黄色、赤色又は明るい陰影、中間の陰影、暗い陰影)で表され得る。図示された例では、緑色は許容値を有する組織部分を表し、黄色は低リスク値を有する組織部分を表し、赤色は高リスク値を有する組織部分を表す。カラープロット6147は、例えば、発射シーケンスを開始及び/又は継続するかどうかを臨床医が決定するのを支援する便利で迅速なリスク評価ツールを提供する。
様々な実施態様では、組織パラメータ値は、例えば、エンドエフェクタ6141の幅にわたって及び長さに沿って複数の場所に分散されたセンサによって測定される。次いで、組織パラメータ値は、例えば、エンドエフェクタ6141上のセンサの場所に対応するカラープロット6147上の着色領域(例えば、緑色、黄色、赤色、又は明るい陰影、中間の陰影、暗い陰影)によって表される。
図30は、本開示の少なくとも一態様による、外科用データの視覚表現を提供する表示配置6150を示す。いくつかの実施態様では、表示配置6150は、例えば本開示の方法に従って、例えばディスプレイ6005上に制御モジュール6001によって提示される。いくつかの実施態様では、表示配置6150は、外科用器具21を利用して組織をステープル留め及び切断する外科的処置の術野のライブストリーム上にオーバーレイされる。
いくつかの実施態様では、表示配置6150は、例えば、1つ以上のエンドエフェクタ構成要素の位置及び動きをリアルタイムで示し、一致させる、外科用器具21のエンドエフェクタ6153のシミュレートされた断面オーバーレイ6152を含む。可視化の向上は、臨床医が現在の状況及び外科用器具21からのリスクベースのフィードバック(例えば、クランプ負荷が高すぎる、発射する力が高すぎる、必要な待機時間等)をより良く理解するのを助けることができる。
図示の例では、シミュレートされたオーバーレイ6152は、ステープル6156、ステープルドライバ6154、及びステープルドライバ6154を動機付けてステープル6156を組織内に配備するように構成された発射部材(例えば、スレッド6155)を示す。シミュレートされたオーバーレイ6152内の発射部材の位置は、エンドエフェクタ6153内の発射部材の位置を反映し、発射シーケンスの進行をリアルタイムで示す。更に、図示される例では、シミュレートされたオーバーレイ6152は、シミュレートされた組織(ST)を示し、これは、組織流動が検出される領域における組織流動を反映するように提示され得る。図示された例は、ステープル6156の1つの列のみを提示しているが、他の例では、複数の列を示すことができる。
いくつかの実施態様では、発射シーケンスは、動的表示モードでシミュレートされたオーバーレイ6152によって示される。更に、ステープル形成は、場合によっては、例えば、組織タイプ、患者パラメータ、組織流動、閉鎖力、組織クリープ安定性、アンビル間隙等の1つ以上の決定されたパラメータに基づいて予測することができる。例えば、制御モジュール6001は、所定の方程式、データベース、及び/又は表を採用してステープル形成を予測することができる。
図示された例では、表示配置6150は、ステープル形成オーバーレイ6157を更に含む。制御モジュール6001は、例えば、ステープル形成を予測し、リアルタイムでステープル形成オーバーレイ6157を更新するように構成され得る。
図31は、本開示の少なくとも一態様による、外科的処置中の表示配置のリスクに基づく操作のための例示的な方法6160の動作を示すフローチャートである。いくつかの実施態様では、方法6120は、例えば、コンピュータ実装インタラクティブ外科用システム1によって実行され得る。いくつかの実施態様では、方法6160は、外科的処置の術野において組織をステープル留め及び切断するように構成された外科用器具21を備える外科用システムによって実行される。外科用システムは、制御モジュール6001と、撮像デバイス6004と、術野のライブストリームを示すように構成されるディスプレイ6005とを更に備える。ライブストリームは、例えば撮像デバイス6004によって捕捉される。
いくつかの実施態様では、方法6160は、外科的リスクを検出すること(6161)と、外科的リスクに重度レベルを割り当てること(6162)と、重度レベルに基づいて表示配置を決定すること(6163)とを含み、表示配置は、ライブストリーム上にアラート特徴をオーバーレイすることを含む。いくつかの実施態様では、方法6160は、表示配置に従って、外科的リスクの視覚表現を提示すること(6164)を更に含む。
いくつかの実施態様では、外科的リスクは、制御モジュール6001によって検出される(6161)。外科的リスクは、例えば、1つ以上の無線及び/又は有線通信インターフェースを介してコンピュータ実装インタラクティブ外科用システム1の構成要素等の1つ以上のソースから受信した1つの外科用データに基づいて検出することができる(6161)。少なくとも1つの例では、外科用データは、外科用器具21のうちの1つ以上から受信されたデータを含み得る。別の例では、外科用データは、状況認識モジュール6006によって確認されたコンテキスト情報を含む。
特定の例示では、外科用データは、制御データ、バイオマーカ測定値、及び/又は外科用器具21に関連付けられた動作及び/又は結果の他の動作インジケータを含む。特定の例示では、外科用データは、奇形ステープル及び/又は不十分に封止された組織のより高い傾向を示す任意のデータであり得る。特定の例では、外科用データは、他の組織及び/又は器具パラメータの中でも、組織流動、クランプ力、発射力に関連付けることができ、これらは、発射シーケンスの調整を可能にするために、又は潜在的に奇形のステープル領域を外科医に警告するために、複数の方法でリアルタイムで監視及び臨床医に表示することができる。
特定の例示では、プロセッサ85は、外科的リスクの重度レベルを決定する際に、所定の方程式及び/又は式を採用する。様々な関連要因を考慮することができ、重度レベルを計算する際に異なる重みを割り当てることができる。加えて又は代替的に、外科用データ及び対応する重度レベルを列挙する1つ以上のデータベース又は表が、重度レベルを割り当てる(6162)際にプロセッサ85によって利用することができる。様々な実施態様では、割り当てられた(6162)重度レベルは、例えば、低重度レベル、中重度レベル、又は高重度レベルを含む。
図32は、本開示の少なくとも一態様による、表示配置6170の実施態様を示す。いくつかの実施態様では、表示配置6170は、例えば、方法6160において検出された(6161)外科的リスクの重度レベルに基づいて決定される。図示された例では、表示配置6170は、制御モジュール6001によって、外科的リスクの検出6161に応答してアラート特徴6171をオーバーレイすることを含む。アラート特徴6171は、外科的処置中に術野6179のライブストリーム上にオーバーレイされる。図示の例では、術野6179のライブストリームは、外科的構造6178を操作するように構成された外科用器具21のエンドエフェクタ6172を示す。
図示される例では、アラート特徴6171は、臨床医の術野の視認を妨げないように、エンドエフェクタ6172から離れて、及び/又は任意の重要な外科的構造から離れて、角領域内のライブストリーム上にオーバーレイされる。他の例示では、アラート特徴6171は、例えば、外科的リスクのより高い重度を示すために、エンドエフェクタ6172及び/又は任意の重要な外科的構造により近い、ライブストリームの中心領域に移動するか、又は最初にその上にオーバーレイすることができる。
上記に加えて、表示配置6170は、ユーザ反応に応答して、アラート特徴6171の変更を含む。図示された例では、アラート特徴6171に対する変更は、アラート特徴6171を外科的リスクに関連付けられた情報6173で置き換えることを含む。情報6173は、外科的リスク及び/又は推奨される解決についての詳細を含むことができる。
図示された例では、ユーザ反応は、開放構成と閉鎖構成との間のエンドエフェクタ6172の遷移である。他の実施態様では、ユーザ反応は、エンドエフェクタ6172による任意の他の適切なジェスチャ又は動きを含んでもよい。更に他の実施態様では、ユーザ反応は、例えば、手のジェスチャ若しくは動き、及び/又は目のジェスチャ若しくは動きを含み得る。
他の例では、ユーザ反応は、ユーザによる偶発的な行動が、制御モジュール6001によって、アラート特徴6171を操作する目的のためのユーザ反応として解釈されないことを確実にするために、複合ユーザ反応又は多因子反応であり得る。いくつかの移植では、制御モジュール6001によって認識可能なユーザ反応は、例えば、ユーザの目の動き又はユーザの手の動きが後に続くエンドエフェクタのジェスチャ又は動き等の2つの構成要素を含んでもよい。
いくつかの実施態様では、図33に示すように、多くの点で表示配置6170に類似している表示配置6170’は、異なるユーザ反応を含む。図示の例では、ユーザ反応は、エンドエフェクタ6172をアラート特徴6171の上にホバリングすることを含む。
いくつかの実施態様では、ユーザ反応は、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び/又はライブストリームの画像フレームの他の適切な画像処理技術を通して、又は様々な適切な有線及び/又は無線通信方式を通して、自動的に検出される。加えて又は代替的に、ユーザ反応は、適切な有線及び/又は無線通信方式を介して、ユーザ反応を示す情報を受信することによって、自動的に検出することができる。例えば、カメラは、ユーザの身体の動き又は身体ジェスチャ、例えば、手を振ること、目を凝らすこと、又は二度まばたきを監視してもよい。別の例では、臨床医の手袋は、手袋上に位置付けられる1つ以上の適切なセンサを介して追跡することができる。所定の手の動きを示し、所定のユーザ反応を示すセンサ読み取り値は、制御モジュール6001に通信され得る。
いくつかの実施態様では、表示配置6170は、外科的リスクの重度の変化に基づいてアラート特徴6171を変更することを含む。変更は、例えば、動的表示モードで実施することができる。いくつかの例示では、アラート特徴6171に対する変更は、外科的リスクの重度レベルに従って、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はこれらの組合せのうちの少なくとも1つの変更を含む。いくつかの実施態様では、アラート特徴6171は、例えば、外科的リスクの重度レベルに基づいて色を変化させるアラートアイコンの形態である。
いくつかの実施態様では、図34に図示されるように、多くの点で表示配置6170に類似する表示配置6170’’は、例えば、高い重度の外科的リスクを示すために、重要な外科的構造6178の臨床医の視認を妨げる場所にアラート特徴6171を位置付けることを含む。それにもかかわらず、表示配置6170’’は、ユーザが、エンドエフェクタ6172をアラート特徴6171の上にホバリングすることによって、アラート特徴6171を重要な外科的構造6178から離れるように移動させることを可能にする。エンドエフェクタ6172及びアラート特徴6171が同じ場所を占有することを検出したことに応答して、制御モジュール6001は、例えば、アラート特徴を術野6179のライブストリーム上の異なる場所に移動させる。
他の例では、例えば、エンドエフェクタ6172のジョーを1回又は2回開閉すること等の所定のユーザ反応は、アラート特徴6171をつかむことをシミュレートする。更に、エンドエフェクタ6172は、例えば、ディスプレイ6005の角に移動することができ、つかまれたアラート特徴6171をそれとともに移動させる。新しい場所での一時停止は、新しい場所でアラート特徴をドロップすることを示すことができる。他の適切なジェスチャ及び/又は動きを採用して、アラート特徴6171を重要な外科的構造6178から離れるように移動させるユーザ反応を示すことができる。いくつかの実施態様では、例えば、動的モードにおいて、制御モジュール6001は、例えば、エンドエフェクタ6172及び/又は重要な外科的構造6178以下であると判定された初期展開後に、アラート特徴6171をエンドエフェクタ6172及び/又は重要な外科的構造6178から離れるように自動的に移動させてもよい。
様々な実施態様では、エンドエフェクタ6172によるジェスチャ及び/又は動きは、例えば、1つ以上の適切なオブジェクト認識、オブジェクト追跡、及び/若しくはオブジェクトラベリングアルゴリズム、並びに/又は術野6179のライブストリームの画像フレームの他の画像処理技術を利用することによって、自動的に観察され得る。様々な例では、エンドエフェクタ6172は、特徴的な反射率、色、及び/又は形状に基づいて視覚的に認識される。加えて又は代替的に、エンドエフェクタ6172によるジェスチャ及び/又は動きは、外科用器具21内のセンサのセンサ読み取り値を通じて検出することができる。
いくつかの実施態様では、ユーザ反応に応答したアラート特徴6171の変更は、エンドエフェクタ6172及び/又は重要な外科的構造6178から離れるアラート特徴6171の動きを含む。いくつかの例示では、制御モジュール6001は、例えば、ディスプレイ6005上のアラート特徴6171の位置に対するエンドエフェクタ6172及び/又は重要な外科的構造6178の位置を追跡するように構成されている。更に、制御モジュール6001は、例えば、エンドエフェクタ6172及び/又は重要な外科的構造6178の明確な視認を容易にするために、エンドエフェクタ6172及び重要な外科的構造6178の位置のうちの少なくとも1つに基づいてアラート特徴6171の位置を自動的に変更するように構成されている。
いくつかの実施態様では、制御モジュール6001は、例えば、アラート特徴6171をアラート特徴6171によって表されるリスクのソースに相関させるように構成される。相関は、例えば、リスクの詳細を視認するためにアラート特徴6171を拡張する必要なく、リスクの性質に関する表示を臨床医に提供する。相関は、例えば、共通の色の強調表示及び/又は共通の点滅周波数等の共通の表示特性を通じて達成することができる。例えば、リスクが、術野内にエンドエフェクタ6172を含む外科用器具21に関連付けられる場合、アラート特徴6171及びエンドエフェクタ6172は両方とも、例えば、共通の色で強調され得る。加えて又は代替的に、相関は、例えば、ディスプレイ6005上のアラート特徴6171の存在と一致する音及び/又は触覚フィードバックを外科用器具21に提供させることによって達成され得る。加えて又は代替的に、相関は、エンドエフェクタ6172を指すアラート特徴6171とは別個の、アラート特徴6171によって表されるリスクが外科用器具21に関連付けられていることを示す、1つ以上の色分けされたバブル及び/又は矢印をオーバーレイすることによって達成され得る。
いくつかの実施態様では、特定の外科用器具タスク又は外科用工程に関連付けられた表示配置は、外科用器具タスク又は外科用工程の検出された完了に応答して変更され得る。例えば、外科用スリーブ処置等の外科的処置は、組織をステープル留め及び切断するように構成された外科用器具21の所定回数の発射を伴う。発射シーケンスにおける各発射は、ステープルカートリッジから組織内にステープルを配備する。次に、ステープルカートリッジは、発射シーケンスにおける次の発射のために新しいステープルカートリッジと交換される。制御モジュール6001は、外科用器具21による発射回数を検出し、所定の発射回数に達するまで外科用器具21の発射に関連付けられた外科用データをオーバーレイし続けるように構成され得る。発射の完了の検出に応答して、制御モジュール6001は、外科用器具21の発射に関連付けられた外科用データのオーバーレイを折り畳む又はディスプレイ6005から除去させる。
いくつかの実施態様では、外科用器具タスク又は外科用工程の完了を検出することは、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び/又はライブストリームの画像フレームの他の適切な画像処理技術を通じて、又は例えば、様々な適切な有線及び/又は無線通信方式を介した外科用器具21及び/又は外科用ハブ6からの入力を通じて、視覚的に自動的に達成され得る。
様々な例では、前述の方法の1つ以上の機能は、例えば、外科用可視化システム6000の1つ以上の構成要素等の、コンピュータ実装インタラクティブ外科用システム1の1つ以上の構成要素によって実行される。特定の例では、前述の方法の1つ以上の機能を実行する構成要素は、無線及び/又は有線通信インターフェースを介して通信する。様々な例では、コンピュータ実装インタラクティブ外科用システム1のメモリ、例えば、メモリ6003は、プロセッサ(例えば、プロセッサ85)によって実行されると、プロセッサに前述の方法の1つ以上の機能を実行させるプログラム命令を記憶する。前述の機能は、別個の方法で説明されるが、いくつかの実施態様では、前述の方法のいくつかの機能は、例えば、コンピュータ実装インタラクティブ外科用システム1の1つ以上の構成要素による実行のための異なるプログラム命令をもたらす、異なる方法をもたらすために、任意の適切な形態で組み合わせることができる。
様々な例では、追跡を実行するために、本開示の1つ以上の態様に従って、アルゴリズムが、連続ビデオフレームを分析し、フレーム間のターゲットの動きを出力する。例示的なアルゴリズムは、ターゲット表現及び位置特定アルゴリズム、並びにフィルタリング及びデータ関連付けアルゴリズムを含む。ターゲット表現及び位置特定アルゴリズムは、例えば、カーネルベースの追跡及び/又は輪郭追跡を含む。フィルタリング及びデータ関連付けアルゴリズムは、例えば、カルマンフィルタ及び粒子フィルタを含む。
本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。
実施例1.外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
実施例1.外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
実施例2.アラート特徴が、アラートアイコンである、実施例1に記載の外科用システム。
実施例3.表示配置が、ライブストリームの角にアラート特徴をオーバーレイすることを含む、実施例1又は2に記載の外科用システム。
実施例4.表示配置が、外科的リスクの重度レベルに基づいてアラート特徴を変更することを含む、実施例1~3のいずれか1つに記載の外科用システム。
実施例5.外科的リスクが、組織の出血のレベルに関連する、実施例1~4のいずれか1つに記載の外科用システム。
実施例6.外科的リスクが、組織パラメータに関連付けられる、実施例1~4のいずれか1つに記載の外科用システム。
実施例7.外科的リスクが、外科用器具のパラメータに関連付けられる、実施例1~4のいずれか1つに記載の外科用システム。
実施例8.外科的リスクが、組織の動きに関連付けられる、実施例1~4のいずれか1つに記載の外科用システム。
実施例9.表示配置が、アラート特徴に対するユーザ反応に応答して、アラート特徴の変更を引き起こすことを更に含む、実施例1~3のいずれか1つに記載の外科用システム。
実施例10.外科用器具がエンドエフェクタを備え、ユーザ反応が、開放構成と閉鎖構成との間の術野におけるエンドエフェクタの遷移を引き起こすことを含む、実施例9のいずれか1つに記載の外科用システム。
実施例11.アラート特徴の変更が、アラート特徴を外科的リスクに関連付けられた情報と置き換えることを含む、実施例9のいずれか1つに記載の外科用システム。
実施例12.外科用器具がエンドエフェクタを備え、ユーザ反応が、エンドエフェクタをアラート特徴上にホバリングさせることを含む、実施例9のいずれか1つに記載の外科用システム。
実施例13.外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに重度レベルを割り当てることと、外科的リスクの重度レベルに基づいて外科的リスクの表示配置を決定することであって、表示配置が、アラート特徴を含む、ことと、を行うように構成される。
実施例14.アラート特徴が、アラートアイコンである、実施例13に記載の外科用システム。
実施例15.表示配置が、ライブストリームの角にアラート特徴をオーバーレイすることを含む、実施例13又は14に記載の外科用システム。
実施例16.表示配置が、外科的リスクの重度レベルに基づいてアラート特徴を変更することを含む、実施例13~15のいずれか1つに記載の外科用システム。
実施例17.表示配置が、アラート特徴に対するユーザ反応に応答して、アラート特徴の変更を引き起こすことを更に含む、実施例13~15のいずれか1つに記載の外科用システム。
実施例18.外科用器具がエンドエフェクタを備え、ユーザ反応が、開放構成と閉鎖構成との間の術野におけるエンドエフェクタの遷移を引き起こすことを含む、実施例13のいずれか1つに記載の外科用システム。
実施例19.アラート特徴の変更が、アラート特徴を外科的リスクに関連付けられた情報と置き換えることを含む、実施例13のいずれか1つに記載の外科用システム。
実施例20.外科用器具がエンドエフェクタを備え、ユーザ反応が、エンドエフェクタをアラート特徴上にホバリングさせることを含む、実施例13のいずれか1つに記載の外科用システム。
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組合せ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組合せ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
上記の詳細な説明は、ブロック図、フロー図及び/又は実施例を用いて、装置及び/又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び/又は実施例が1つ以上の機能及び/又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び/又は実施例に含まれる各機能及び/又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組合せによって、個々にかつ/又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、1台以上のコンピュータ上で稼働する1つ以上のコンピュータプログラムとして(例えば、1台以上のコンピュータシステム上で稼働する1つ以上のプログラムとして)、1つ以上のプロセッサ上で稼働する1つ以上のプログラムとして(例えば、1つ以上のマイクロプロセッサ上で稼働する1つ以上のプログラムとして)、ファームウェアとして、又はこれらの実質的に任意の組合せとして集積回路上で等価に実装することができ、回路を設計すること、及び/又はソフトウェア及び/又はファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で1つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ(DRAM)、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械(例えば、コンピュータ)によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ(CD-ROM)、並びに磁気光学ディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号(例えば、搬送波、赤外線信号、デジタル信号など)を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械(例えば、コンピュータ)によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路(例えば、1つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ(DSP)、プログラマブル論理装置(PLD)、プログラマブル論理アレイ(PLA)、又はフィールドプログラマブルゲートアレイ(FPGA))、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組合せを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路(IC)、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも1つの個別の電気回路を有する電気回路、少なくとも1つの集積回路を有する電気回路、少なくとも1つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置(例えば、本明細書で説明したプロセス及び/若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び/若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ)を形成する電気回路、メモリ装置(例えば、ランダムアクセスメモリの形態)を形成する電気回路及び/又は通信装置(例えばモデム、通信スイッチ、又は光-電気設備)を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組合せで実装されてもよいことを認識するであろう。
本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び/又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び/又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び/又はハードコードされた(例えば、不揮発性の)データとして具現化されてもよい。
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶、転送、組合せ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び/又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び/又は状態に適用される便利な標識である。
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。1つの例示的な通信プロトコルとしては、伝送制御プロトコル/インターネットプロトコル(TCP/IP)を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Institute of Electrical and Electronics Engineers(IEEE)によって発行された2008年12月発行の表題「IEEE802.3 Standard」、及び/又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、X.25通信プロトコルを使用して互いに通信することができる。X.25通信プロトコルは、International Telecommunication Union-Telecommunication Standardization Sector(ITU-T)によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Consultative Committee for International Telegraph and Telephone(CCITT)及び/又はthe American National Standards Institute(ANSI)によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード(ATM)通信プロトコルを使用して互いに通信することが可能であり得る。ATM通信プロトコルは、ATM Forumによって「ATM-MPLS Network Interworking 2.0」という題で2001年8月に公開されたATM規格及び/又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び/又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること(processing)」、「計算すること(computing)」、「算出すること(calculating)」、「判定すること(determining)」、「表示すること(displaying)」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理(電子的)量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
1つ以上の構成要素が、本明細書中で、「ように構成されている(configured to)」、「ように構成可能である(configurable to)」、「動作可能である/ように動作する(operable/operative to)」、「適合される/適合可能である(adapted/adaptable)」、「ことが可能である(able to)」、「準拠可能である/準拠する(conformable/conformed to)」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び/又は非アクティブ状態の構成要素及び/又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び/又は絶対的であることを意図したものではない。
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本文)で使用される用語は、概して「オープンな」用語として意図されるものである(例えば、「含む(including)」という用語は、「~を含むが、それらに限定されない(including but not limited to)」と解釈されるべきであり、「有する(having)」という用語は「~を少なくとも有する(having at least)」と解釈されるべきであり、「含む(includes)」という用語は「~を含むが、それらに限定されない(includes but is not limited to)」と解釈されるべきであるなど)ことを理解するであろう。更に、導入された請求項記載(introduced claim recitation)において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも1つの(at least one)」及び「1つ以上の(one or more)」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「a」又は「an」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「1つ以上の」又は「少なくとも1つの」といった導入句及び「a」又は「an」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を1つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない(例えば、「a」及び/又は「an」は通常、「少なくとも1つの」又は「1つ以上の」を意味するものと解釈されるべきである)。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう(例えば、他に修飾語のない、単なる「2つの記載事項」という記載がある場合、一般的に、少なくとも2つの記載事項、又は2つ以上の記載事項を意味する)。更に、「A、B及びCなどのうちの少なくとも1つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている(例えば、「A、B及びCのうちの少なくとも1つを有するシステム」は、限定するものではないが、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方及び/又はAとBとCの全てなどを有するシステムを含む)。「A、B又はCなどのうちの少なくとも1つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている(例えば、「A、B、又はCのうちの少なくとも1つを有するシステム」は、限定するものではないが、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方及び/又はAとBとCの全てなどを有するシステムを含む)。更に、典型的には、2つ以上の選択的な用語を表すあらゆる選言的な語及び/又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの1つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「A又はB」という句は、典型的には、「A」又は「B」又は「A及びB」の可能性を含むものと理解されよう。
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス(複数可)で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「~に応答する(responsive to)」、「~に関連する(related to)」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも1つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、1つ以上の態様において任意の好適な様態で組み合わせることができる。
本明細書で参照され、かつ/又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。1つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。1つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例とともに、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書とともに提示される特許請求の範囲が全体的な範囲を定義することが意図される。
〔実施の態様〕
(1) 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに表示優先度を割り当てることと、
前記表示優先度に基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、前記ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
(2) 前記アラート特徴が、アラートアイコンである、実施態様1に記載の外科用システム。
(3) 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様1に記載の外科用システム。
(4) 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、実施態様1に記載の外科用システム。
(5) 前記外科的リスクが、前記組織の出血のレベルに関連する、実施態様1に記載の外科用システム。
(1) 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに表示優先度を割り当てることと、
前記表示優先度に基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、前記ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
(2) 前記アラート特徴が、アラートアイコンである、実施態様1に記載の外科用システム。
(3) 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様1に記載の外科用システム。
(4) 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、実施態様1に記載の外科用システム。
(5) 前記外科的リスクが、前記組織の出血のレベルに関連する、実施態様1に記載の外科用システム。
(6) 前記外科的リスクが、組織パラメータに関連付けられる、実施態様1に記載の外科用システム。
(7) 前記外科的リスクが、前記外科用器具のパラメータに関連付けられる、実施態様1に記載の外科用システム。
(8) 前記外科的リスクが、前記組織の動きに関連付けられる、実施態様1に記載の外科用システム。
(9) 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様1に記載の外科用システム。
(10) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様9に記載の外科用システム。
(7) 前記外科的リスクが、前記外科用器具のパラメータに関連付けられる、実施態様1に記載の外科用システム。
(8) 前記外科的リスクが、前記組織の動きに関連付けられる、実施態様1に記載の外科用システム。
(9) 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様1に記載の外科用システム。
(10) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様9に記載の外科用システム。
(11) 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、実施態様9に記載の外科用システム。
(12) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様9に記載の外科用システム。
(13) 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに重度レベルを割り当てることと、
前記外科的リスクの前記重度レベルに基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、アラート特徴を含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
(14) 前記アラート特徴が、アラートアイコンである、実施態様13に記載の外科用システム。
(15) 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様13に記載の外科用システム。
(12) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様9に記載の外科用システム。
(13) 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに重度レベルを割り当てることと、
前記外科的リスクの前記重度レベルに基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、アラート特徴を含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
(14) 前記アラート特徴が、アラートアイコンである、実施態様13に記載の外科用システム。
(15) 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様13に記載の外科用システム。
(16) 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、実施態様13に記載の外科用システム。
(17) 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様13に記載の外科用システム。
(18) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様17に記載の外科用システム。
(19) 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、実施態様17に記載の外科用システム。
(20) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様17に記載の外科用システム。
(17) 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様13に記載の外科用システム。
(18) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様17に記載の外科用システム。
(19) 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、実施態様17に記載の外科用システム。
(20) 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様17に記載の外科用システム。
Claims (20)
- 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに表示優先度を割り当てることと、
前記表示優先度に基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、前記ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。 - 前記アラート特徴が、アラートアイコンである、請求項1に記載の外科用システム。
- 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、請求項1に記載の外科用システム。
- 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、請求項1に記載の外科用システム。
- 前記外科的リスクが、前記組織の出血のレベルに関連する、請求項1に記載の外科用システム。
- 前記外科的リスクが、組織パラメータに関連付けられる、請求項1に記載の外科用システム。
- 前記外科的リスクが、前記外科用器具のパラメータに関連付けられる、請求項1に記載の外科用システム。
- 前記外科的リスクが、前記組織の動きに関連付けられる、請求項1に記載の外科用システム。
- 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、請求項1に記載の外科用システム。
- 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、請求項9に記載の外科用システム。
- 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、請求項9に記載の外科用システム。
- 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、請求項9に記載の外科用システム。
- 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに重度レベルを割り当てることと、
前記外科的リスクの前記重度レベルに基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、アラート特徴を含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。 - 前記アラート特徴が、アラートアイコンである、請求項13に記載の外科用システム。
- 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、請求項13に記載の外科用システム。
- 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、請求項13に記載の外科用システム。
- 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、請求項13に記載の外科用システム。
- 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、請求項17に記載の外科用システム。
- 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、請求項17に記載の外科用システム。
- 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、請求項17に記載の外科用システム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163174674P | 2021-04-14 | 2021-04-14 | |
US63/174,674 | 2021-04-14 | ||
US202163284326P | 2021-11-30 | 2021-11-30 | |
US63/284,326 | 2021-11-30 | ||
US17/688,615 | 2022-03-07 | ||
US17/688,615 US20220336097A1 (en) | 2021-04-14 | 2022-03-07 | Risk based prioritization of display aspects in surgical field view |
PCT/IB2022/053362 WO2022219490A1 (en) | 2021-04-14 | 2022-04-11 | Risk based prioritization of display aspects in surgical field view |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024514633A true JP2024514633A (ja) | 2024-04-02 |
Family
ID=83601401
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023562917A Pending JP2024514882A (ja) | 2021-04-14 | 2022-04-11 | オーバーレイされたデータ及び構成のカスタマイズ |
JP2023563019A Pending JP2024514635A (ja) | 2021-04-14 | 2022-04-11 | 両方のオーバーレイが実行されることになる相互作用する器具の協調的オーバーレイ |
JP2023562919A Pending JP2024514883A (ja) | 2021-04-14 | 2022-04-11 | 遠隔デバイス機能を有する遠隔制御の組ペアのインジケーション |
JP2023562913A Pending JP2024514881A (ja) | 2021-04-14 | 2022-04-11 | 手術視野におけるオーバーレイを制御するための外科用データ値及び状況認識の利用 |
JP2023563024A Pending JP2024514637A (ja) | 2021-04-14 | 2022-04-11 | 外科用情報を表示する頻度間隔を予測するための1つ以上の外科用デバイスのコンテキストパラメータの利用 |
JP2023563015A Pending JP2024514634A (ja) | 2021-04-14 | 2022-04-11 | 外科用データオーバーレイを制御するためのシステム及び方法 |
JP2023563011A Pending JP2024514633A (ja) | 2021-04-14 | 2022-04-11 | 手術視野における表示態様のリスクベースの優先順位付け |
Family Applications Before (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023562917A Pending JP2024514882A (ja) | 2021-04-14 | 2022-04-11 | オーバーレイされたデータ及び構成のカスタマイズ |
JP2023563019A Pending JP2024514635A (ja) | 2021-04-14 | 2022-04-11 | 両方のオーバーレイが実行されることになる相互作用する器具の協調的オーバーレイ |
JP2023562919A Pending JP2024514883A (ja) | 2021-04-14 | 2022-04-11 | 遠隔デバイス機能を有する遠隔制御の組ペアのインジケーション |
JP2023562913A Pending JP2024514881A (ja) | 2021-04-14 | 2022-04-11 | 手術視野におけるオーバーレイを制御するための外科用データ値及び状況認識の利用 |
JP2023563024A Pending JP2024514637A (ja) | 2021-04-14 | 2022-04-11 | 外科用情報を表示する頻度間隔を予測するための1つ以上の外科用デバイスのコンテキストパラメータの利用 |
JP2023563015A Pending JP2024514634A (ja) | 2021-04-14 | 2022-04-11 | 外科用データオーバーレイを制御するためのシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (17) | US20220331053A1 (ja) |
EP (7) | EP4136645A1 (ja) |
JP (7) | JP2024514882A (ja) |
CN (7) | CN117501378A (ja) |
BR (6) | BR112023021249A2 (ja) |
WO (4) | WO2022219499A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250947B2 (en) * | 2017-02-24 | 2022-02-15 | General Electric Company | Providing auxiliary information regarding healthcare procedure and system performance using augmented reality |
US11350978B2 (en) | 2018-09-07 | 2022-06-07 | Cilag Gmbh International | Flexible neutral electrode |
US11804679B2 (en) | 2018-09-07 | 2023-10-31 | Cilag Gmbh International | Flexible hand-switch circuit |
US11696789B2 (en) | 2018-09-07 | 2023-07-11 | Cilag Gmbh International | Consolidated user interface for modular energy system |
US11923084B2 (en) | 2018-09-07 | 2024-03-05 | Cilag Gmbh International | First and second communication protocol arrangement for driving primary and secondary devices through a single port |
US11743665B2 (en) | 2019-03-29 | 2023-08-29 | Cilag Gmbh International | Modular surgical energy system with module positional awareness sensing with time counter |
USD939545S1 (en) | 2019-09-05 | 2021-12-28 | Cilag Gmbh International | Display panel or portion thereof with graphical user interface for energy module |
US20220294825A1 (en) * | 2021-03-12 | 2022-09-15 | Noviflow Inc. | Trusted dynamic server identification system and method |
US12040749B2 (en) | 2021-03-30 | 2024-07-16 | Cilag Gmbh International | Modular energy system with dual amplifiers and techniques for updating parameters thereof |
US11950860B2 (en) | 2021-03-30 | 2024-04-09 | Cilag Gmbh International | User interface mitigation techniques for modular energy systems |
US12004824B2 (en) | 2021-03-30 | 2024-06-11 | Cilag Gmbh International | Architecture for modular energy system |
US11978554B2 (en) | 2021-03-30 | 2024-05-07 | Cilag Gmbh International | Radio frequency identification token for wireless surgical instruments |
US11857252B2 (en) | 2021-03-30 | 2024-01-02 | Cilag Gmbh International | Bezel with light blocking features for modular energy system |
US11980411B2 (en) | 2021-03-30 | 2024-05-14 | Cilag Gmbh International | Header for modular energy system |
US11968776B2 (en) | 2021-03-30 | 2024-04-23 | Cilag Gmbh International | Method for mechanical packaging for modular energy system |
US11963727B2 (en) | 2021-03-30 | 2024-04-23 | Cilag Gmbh International | Method for system architecture for modular energy system |
US20220331053A1 (en) * | 2021-04-14 | 2022-10-20 | Cilag Gmbh International | Intraoperative display for surgical systems |
WO2022241123A1 (en) * | 2021-05-14 | 2022-11-17 | Snap Inc. | Reducing startup time of augmented reality experience |
USD1003915S1 (en) * | 2021-08-19 | 2023-11-07 | Covidien Lp | Surgeon display screen with a graphical user interface having electrosurgical buttons |
US20230059343A1 (en) * | 2021-08-21 | 2023-02-23 | Ix Innovation Llc | Telemetry-based control of robotic systems |
US20230055383A1 (en) * | 2021-08-23 | 2023-02-23 | Summate Technologies, Inc. | Integrated Data Capture of Sterile and Non-Sterile Surgical Supplies and Implantables |
US20230138204A1 (en) * | 2021-11-02 | 2023-05-04 | International Business Machines Corporation | Augmented reality object interaction and notification |
US20230156174A1 (en) * | 2021-11-17 | 2023-05-18 | 3Dintegrated Aps | Surgical visualization image enhancement |
US20230146255A1 (en) * | 2021-11-09 | 2023-05-11 | Aadg, Inc. | Attack resistant, energy harvesting, and adaptable interactive panel |
US12094031B2 (en) * | 2022-03-11 | 2024-09-17 | International Business Machines Corporation | Mixed reality based contextual evaluation of object dimensions |
US20230328494A1 (en) * | 2022-04-08 | 2023-10-12 | Shreyas Sen | Distributed body area network computing system, method and computer program products |
WO2023205059A1 (en) * | 2022-04-17 | 2023-10-26 | Korion Health, Inc. | Electronic stethoscope and diagnostic algorithm |
EP4356396A1 (en) * | 2022-06-02 | 2024-04-24 | Cilag GmbH International | Customization, troubleshooting, and wireless pairing techniques for surgical instruments |
US12079460B2 (en) | 2022-06-28 | 2024-09-03 | Cilag Gmbh International | Profiles for modular energy system |
US20240221924A1 (en) * | 2022-12-30 | 2024-07-04 | Cilag Gmbh International | Detection of knock-off or counterfeit surgical devices |
US12089906B1 (en) * | 2023-09-27 | 2024-09-17 | Sovato Health, Inc. | Systems and methods for remotely controlling robotic surgery |
US12064202B1 (en) | 2023-11-15 | 2024-08-20 | Sovato Health, Inc. | Systems and methods for allowing remote robotic surgery |
Family Cites Families (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7212208B2 (en) * | 2003-02-25 | 2007-05-01 | Bahram Khozai | System and method to present and display multiple data using enhanced box charts |
FR2855292B1 (fr) * | 2003-05-22 | 2005-12-09 | Inst Nat Rech Inf Automat | Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation |
US9789608B2 (en) * | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
US20070211930A1 (en) * | 2006-03-09 | 2007-09-13 | Terry Dolwick | Attribute based image enhancement and display for medical imaging applications |
US8982195B2 (en) * | 2006-09-07 | 2015-03-17 | Abbott Medical Optics Inc. | Digital video capture system and method with customizable graphical overlay |
JP5357045B2 (ja) * | 2006-12-21 | 2013-12-04 | コーニンクレッカ フィリップス エヌ ヴェ | 電気的に絶縁される、ワイヤレスセンサを備えたカテーテル |
US8167793B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot using time duplexing |
JP5203858B2 (ja) * | 2008-09-01 | 2013-06-05 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム |
EP2227063B1 (en) * | 2009-03-04 | 2012-03-14 | Fujitsu Limited | Improvements to wireless sensor networks |
US8521331B2 (en) * | 2009-11-13 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
US8730251B2 (en) * | 2010-06-07 | 2014-05-20 | Apple Inc. | Switching video streams for a display without a visible interruption |
KR101840312B1 (ko) * | 2010-08-02 | 2018-03-20 | 더 존스 홉킨스 유니버시티 | 협동 로봇 제어 및 음향 피드백을 사용하여 힘 센서 정보를 나타내기 위한 방법 |
US8670816B2 (en) * | 2012-01-30 | 2014-03-11 | Inneroptic Technology, Inc. | Multiple medical device guidance |
US9055870B2 (en) * | 2012-04-05 | 2015-06-16 | Welch Allyn, Inc. | Physiological parameter measuring platform device supporting multiple workflows |
US11871901B2 (en) * | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
US20150019259A1 (en) * | 2013-06-24 | 2015-01-15 | Acupera, Inc. | Systems and Methods for Establishing and Updating Clinical Care Pathways |
WO2015034535A1 (en) * | 2013-09-09 | 2015-03-12 | Empire Technology Development, Llc | Augmented reality alteration detector |
US9935794B1 (en) * | 2014-03-24 | 2018-04-03 | Marvell International Ltd. | Carrier frequency offset estimation |
KR102460203B1 (ko) * | 2014-10-27 | 2022-10-31 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 통합 수술 테이블 아이콘을 위한 시스템 및 방법 |
US11504192B2 (en) * | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US10013808B2 (en) * | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
EP3258876B1 (en) * | 2015-02-20 | 2023-10-18 | Covidien LP | Operating room and surgical site awareness |
US20160287337A1 (en) * | 2015-03-31 | 2016-10-06 | Luke J. Aram | Orthopaedic surgical system and method for patient-specific surgical procedure |
EP3426179B1 (en) * | 2016-03-12 | 2023-03-22 | Philipp K. Lang | Devices for surgery |
CN110140335B (zh) * | 2016-11-10 | 2022-08-12 | 瑞典爱立信有限公司 | 用于改进递送性能的资源分段 |
US11487353B2 (en) * | 2016-11-14 | 2022-11-01 | Logitech Europe S.A. | Systems and methods for configuring a hub-centric virtual/augmented reality environment |
US10754416B2 (en) * | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for a peripheral-centric augmented/virtual reality environment |
CN110199357B (zh) * | 2017-01-17 | 2023-07-14 | 皇家飞利浦有限公司 | 提供背景叠加的增强现实介入系统 |
US9788907B1 (en) * | 2017-02-28 | 2017-10-17 | Kinosis Ltd. | Automated provision of real-time custom procedural surgical guidance |
US9892564B1 (en) * | 2017-03-30 | 2018-02-13 | Novarad Corporation | Augmenting real-time views of a patient with three-dimensional data |
EP3622529A1 (en) * | 2017-05-08 | 2020-03-18 | Masimo Corporation | System for pairing a medical system to a network controller by use of a dongle |
US10242502B2 (en) * | 2017-07-27 | 2019-03-26 | Facebook, Inc. | Providing an augmented reality overlay for display over a view of a user |
US11432877B2 (en) * | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
US10610310B2 (en) * | 2017-10-02 | 2020-04-07 | Robin Elizabeth McKenzie TODD | User interface system and methods for overlaying surgical video output |
WO2019081350A1 (en) * | 2017-10-23 | 2019-05-02 | Koninklijke Philips N.V. | SERVICE INSTRUCTION LIBRARY BASED ON SELF-EXPANSION ENHANCED REALITY |
US11564756B2 (en) * | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11071595B2 (en) * | 2017-12-14 | 2021-07-27 | Verb Surgical Inc. | Multi-panel graphical user interface for a robotic surgical system |
US11659023B2 (en) * | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
US11304699B2 (en) * | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
US11056244B2 (en) * | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks |
US11937769B2 (en) * | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11424027B2 (en) * | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
US11844579B2 (en) * | 2017-12-28 | 2023-12-19 | Cilag Gmbh International | Adjustments based on airborne particle properties |
US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
US11969216B2 (en) * | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
US11266468B2 (en) * | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
US20230072423A1 (en) * | 2018-01-25 | 2023-03-09 | Meta Platforms Technologies, Llc | Wearable electronic devices and extended reality systems including neuromuscular sensors |
US11114199B2 (en) * | 2018-01-25 | 2021-09-07 | Mako Surgical Corp. | Workflow systems and methods for enhancing collaboration between participants in a surgical procedure |
CN110520932A (zh) * | 2018-01-26 | 2019-11-29 | 外科手术室公司 | 用于患者参与的系统和方法 |
WO2019148154A1 (en) * | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
US10825563B2 (en) * | 2018-05-14 | 2020-11-03 | Novarad Corporation | Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient |
US11287874B2 (en) * | 2018-11-17 | 2022-03-29 | Novarad Corporation | Using optical codes with augmented reality displays |
US11103312B2 (en) * | 2019-04-02 | 2021-08-31 | Verb Surgical Inc. | Method and system for predicting current paths and evaluating electrical burn risks of a monopolar electrosurgery tool |
DE102019109189B3 (de) * | 2019-04-08 | 2020-08-13 | Schölly Fiberoptic GmbH | Vorrichtung und Verfahren zur Bearbeitung von Datenströmen |
US11272990B2 (en) * | 2019-10-29 | 2022-03-15 | Alcon Inc. | System and method of utilizing three-dimensional overlays with medical procedures |
EP4051331A4 (en) * | 2019-10-31 | 2022-12-28 | Terumo Cardiovascular Systems Corporation | HEART LUNG MACHINE WITH AUGMENTED REALITY DISPLAY |
EP4031050A4 (en) * | 2019-11-05 | 2024-01-10 | Vicarious Surgical Inc. | SURGICAL VIRTUAL REALITY USER INTERFACE |
US20210174956A1 (en) * | 2019-12-06 | 2021-06-10 | McGinley Engineered Solutions. LLC | Smart orthopedic instrument with ar display |
US11992373B2 (en) * | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
US11818413B2 (en) * | 2019-12-17 | 2023-11-14 | Infosys Limited | System and method for dynamic generation of charts in a personalized video |
US11896442B2 (en) * | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
US20220409300A1 (en) * | 2020-01-15 | 2022-12-29 | Intuitive Surgical Operations, Inc. | Systems and methods for providing surgical assistance based on operational context |
US11464581B2 (en) * | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11382699B2 (en) * | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
US11224485B2 (en) * | 2020-04-05 | 2022-01-18 | Theator inc. | Image analysis for detecting deviations from a surgical plane |
US11510750B2 (en) * | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11382700B2 (en) * | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US20230317248A1 (en) * | 2020-05-29 | 2023-10-05 | Medtronic, Inc. | Presentation of patient information for cardiac blood flow procedures |
US11748924B2 (en) * | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US20220104896A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Interactive information overlay on multiple surgical displays |
US11992372B2 (en) * | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
US11914835B2 (en) * | 2020-11-16 | 2024-02-27 | Samsung Electronics Co., Ltd. | Method for displaying user interface and electronic device therefor |
US20220188545A1 (en) * | 2020-12-10 | 2022-06-16 | International Business Machines Corporation | Augmented reality enhanced situational awareness |
US11461986B2 (en) * | 2021-01-27 | 2022-10-04 | Qualcomm Incorporated | Context-aware extended reality systems |
US11478327B2 (en) * | 2021-02-18 | 2022-10-25 | Xenco Medical, Inc. | Surgical display |
WO2022192585A1 (en) * | 2021-03-10 | 2022-09-15 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems and robotic surgery |
US20220331053A1 (en) * | 2021-04-14 | 2022-10-20 | Cilag Gmbh International | Intraoperative display for surgical systems |
US11838563B2 (en) * | 2021-04-15 | 2023-12-05 | Synamedia Limited | Switching between transmitting a preauthored video frame and a composited video frame |
KR20240089660A (ko) * | 2021-10-15 | 2024-06-20 | 버브 서지컬 인크. | 수술 중 시각화를 위한 장치, 시스템 및 방법 |
US20230157757A1 (en) * | 2021-11-23 | 2023-05-25 | Medtronic, Inc. | Extended Intelligence for Pulmonary Procedures |
US20230157762A1 (en) * | 2021-11-23 | 2023-05-25 | Medtronic, Inc. | Extended Intelligence Ecosystem for Soft Tissue Luminal Applications |
-
2022
- 2022-03-07 US US17/688,663 patent/US20220331053A1/en active Pending
- 2022-03-07 US US17/688,633 patent/US20220331050A1/en active Pending
- 2022-03-07 US US17/688,605 patent/US20220335660A1/en active Pending
- 2022-03-07 US US17/688,646 patent/US20220331056A1/en active Pending
- 2022-03-07 US US17/688,615 patent/US20220336097A1/en active Pending
- 2022-03-07 US US17/688,597 patent/US20220331048A1/en active Pending
- 2022-03-07 US US17/688,671 patent/US20220335696A1/en active Pending
- 2022-03-07 US US17/688,655 patent/US20220336078A1/en active Pending
- 2022-03-07 US US17/688,626 patent/US20220331049A1/en active Pending
- 2022-03-07 US US17/688,641 patent/US20220338049A1/en active Pending
- 2022-03-07 US US17/688,653 patent/US20220331013A1/en active Pending
- 2022-03-07 US US17/688,660 patent/US20220331052A1/en active Pending
- 2022-03-07 US US17/688,667 patent/US20220331054A1/en active Pending
- 2022-03-07 US US17/688,589 patent/US20220331047A1/en active Pending
- 2022-03-07 US US17/688,651 patent/US20220335604A1/en active Pending
- 2022-03-07 US US17/688,638 patent/US20220334787A1/en active Pending
- 2022-03-07 US US17/688,656 patent/US20220331051A1/en active Pending
- 2022-04-11 CN CN202280040795.1A patent/CN117501378A/zh active Pending
- 2022-04-11 EP EP22716541.2A patent/EP4136645A1/en active Pending
- 2022-04-11 EP EP22716538.8A patent/EP4136644A1/en active Pending
- 2022-04-11 CN CN202280040157.XA patent/CN117501377A/zh active Pending
- 2022-04-11 JP JP2023562917A patent/JP2024514882A/ja active Pending
- 2022-04-11 EP EP22718804.2A patent/EP4136653A1/en active Pending
- 2022-04-11 JP JP2023563019A patent/JP2024514635A/ja active Pending
- 2022-04-11 BR BR112023021249A patent/BR112023021249A2/pt unknown
- 2022-04-11 JP JP2023562919A patent/JP2024514883A/ja active Pending
- 2022-04-11 EP EP22718800.0A patent/EP4136652A1/en active Pending
- 2022-04-11 JP JP2023562913A patent/JP2024514881A/ja active Pending
- 2022-04-11 JP JP2023563024A patent/JP2024514637A/ja active Pending
- 2022-04-11 BR BR112023021464A patent/BR112023021464A2/pt unknown
- 2022-04-11 EP EP22718798.6A patent/EP4136650A1/en active Pending
- 2022-04-11 BR BR112023021241A patent/BR112023021241A2/pt unknown
- 2022-04-11 BR BR112023021473A patent/BR112023021473A2/pt unknown
- 2022-04-11 EP EP22718791.1A patent/EP4136646A1/en active Pending
- 2022-04-11 JP JP2023563015A patent/JP2024514634A/ja active Pending
- 2022-04-11 CN CN202280042372.3A patent/CN117581308A/zh active Pending
- 2022-04-11 CN CN202280040424.3A patent/CN117441362A/zh active Pending
- 2022-04-11 WO PCT/IB2022/053371 patent/WO2022219499A1/en active Application Filing
- 2022-04-11 WO PCT/IB2022/053378 patent/WO2022219503A1/en active Application Filing
- 2022-04-11 WO PCT/IB2022/053369 patent/WO2022219497A1/en active Application Filing
- 2022-04-11 CN CN202280041956.9A patent/CN117480565A/zh active Pending
- 2022-04-11 WO PCT/IB2022/053362 patent/WO2022219490A1/en active Application Filing
- 2022-04-11 BR BR112023021253A patent/BR112023021253A2/pt unknown
- 2022-04-11 BR BR112023021240A patent/BR112023021240A2/pt unknown
- 2022-04-11 EP EP22718803.4A patent/EP4128854A1/en active Pending
- 2022-04-11 JP JP2023563011A patent/JP2024514633A/ja active Pending
- 2022-04-11 CN CN202280039646.3A patent/CN117425935A/zh active Pending
- 2022-05-12 CN CN202280042720.7A patent/CN117501585A/zh active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024514633A (ja) | 手術視野における表示態様のリスクベースの優先順位付け | |
JP2024517603A (ja) | 手術視野における選択的かつ調節可能な複合現実オーバーレイ | |
JP2024514884A (ja) | 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性 | |
JP2024514638A (ja) | 外科用システムのための術中ディスプレイ | |
JP2024513992A (ja) | 組織貫通外科用デバイスのチャネルの外に展開可能なカメラアレイを備えるシステム | |
JP2024514636A (ja) | 異なるユーザによる共通データオーバーレイのインタラクティブ利用の予測 | |
CN117480562A (zh) | 外科视野中选择性和可调节的混合现实叠加 | |
JP2024513991A (ja) | トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法 | |
JP2024514640A (ja) | 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合 | |
WO2022219504A1 (en) | Cooperative overlays of interacting instruments which result in both overlays being effected | |
JP2024514885A (ja) | 複合データフィードの効率的な認知を高めるように協働する複合現実フィードバックシステム | |
WO2022219488A1 (en) | Systems and methods for controlling surgical data overlay | |
WO2023242762A1 (en) | Smart circular staplers | |
CN117546253A (zh) | 协作以增加复杂数据馈送的有效感知的混合现实反馈系统 | |
CN117480563A (zh) | 用于外科系统的术中显示器 | |
CN117441212A (zh) | 用渲染元素将混合直接可视化以显示混合元素以及在屏幕上和在屏幕外正在发生的动作 | |
CN117479896A (zh) | 包括可在组织穿透外科装置的通道外展开的相机阵列的系统 |