JP2024514882A - オーバーレイされたデータ及び構成のカスタマイズ - Google Patents

オーバーレイされたデータ及び構成のカスタマイズ Download PDF

Info

Publication number
JP2024514882A
JP2024514882A JP2023562917A JP2023562917A JP2024514882A JP 2024514882 A JP2024514882 A JP 2024514882A JP 2023562917 A JP2023562917 A JP 2023562917A JP 2023562917 A JP2023562917 A JP 2023562917A JP 2024514882 A JP2024514882 A JP 2024514882A
Authority
JP
Japan
Prior art keywords
surgical
display
augmented reality
team
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023562917A
Other languages
English (en)
Inventor
シェルトン・ザ・フォース・フレデリック・イー
ジョーガン・マティアジュ
カウパースウェイト・マシュー・ディー
ファン・ジファン・エフ
キンボール・コリー・ジー
リヴァード・モニカ・エル・ゼット
ロッソーニ・レオナルド・エヌ
コイチェフ・リスト
ボーク・フェリックス・ジェイ
シェーファー・ショーン・ビー
ブレーム・タイラー・エヌ
ブレイディ・ジョン・イー
ハリス・ディミートリアス・エヌ
バーカート・エレン・イー
バノスドール・マディソン・ケイ
ソウ・クリストファー・キュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of JP2024514882A publication Critical patent/JP2024514882A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07292—Reinforcements for staple line, e.g. pledgets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B17/115—Staplers for performing anastomosis in a single operation
    • A61B17/1155—Circular staplers comprising a plurality of staples
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00026—Conductivity or impedance, e.g. of tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00084—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00818—Treatment of the gastro-intestinal system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B2017/07214—Stapler heads
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B2017/07214—Stapler heads
    • A61B2017/07271—Stapler heads characterised by its cartridge
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/11—Surgical instruments, devices or methods, e.g. tourniquets for performing anastomosis; Buttons for anastomosis
    • A61B2017/1132—End-to-end connections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/42—Gynaecological or obstetrical instruments or methods
    • A61B2017/4216—Operations on uterus, e.g. endometrium
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00898—Alarms or notifications created in response to an abnormal condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Urology & Nephrology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Social Psychology (AREA)

Abstract

外科チームのメンバー間でデータを分配する方法は、モジュール式制御タワーによって、複数の撮像デバイスから撮像データを受信することと、モジュール式制御タワーによって、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、モジュール式制御タワーによって、ディスプレイデバイスを外科チームのメンバーに関連付けることと、モジュール式制御タワーによって、外科チームのメンバーの機能的役割を定義することと、モジュール式制御タワーによって、ディスプレイデバイスによる拡張現実ディスプレイを表示することと、を含み得る。ディスプレイデバイス上の拡張現実ディスプレイは、撮像データ、デバイス依存データ、外科チームのメンバーの機能的役割、及び外科チームのメンバーによる外科活動に基づく仮想オブジェクトを含み得る。インタラクティブ外科システムは、この方法を実施することができる。

Description

（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。
本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。
実世界の外科用器具は、エネルギー、ステープラ、又はエネルギーとステープラとの組合せを含む、種々の外科用デバイスを含む。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組合せ、ＲＦ電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。
様々な例では、本開示は、外科チームのメンバー間でデータを分配する方法を提供し、この方法は、モジュール式制御タワーによって、複数の撮像デバイスから撮像データを受信することと、モジュール式制御タワーによって、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、モジュール式制御タワーによって、ディスプレイデバイスを外科チームのメンバーに関連付けることと、モジュール式制御タワーによって、外科チームのメンバーの機能的役割を定義することと、モジュール式制御タワーによって、ディスプレイデバイスによる拡張現実ディスプレイを表示することと、を含む。ディスプレイデバイス上の拡張現実ディスプレイは、撮像データ、デバイス依存データ、外科チームのメンバーの機能的役割、及び外科チームのメンバーによる外科活動に基づく仮想オブジェクトを含む。
別の例では、本開示は、モジュール式制御タワーと、モジュール式制御タワーとデータ通信する複数の撮像デバイスと、複数のインテリジェント外科用器具と、モジュール式制御タワーとデータ通信する複数のディスプレイデバイスと、を備える自動外科用システムを提供する。複数のディスプレイデバイスの各々は、モジュール式制御タワーによって、外科チームの１人以上のメンバーと関連付けられ、外科チームの１人以上のメンバーの各々は、機能的役割によって定義される。モジュール式制御タワーは、命令を記憶するように構成される１つ以上のメモリ構成要素とデータ通信するコントローラを備え、命令は、コントローラによって実行されると、コントローラに、複数の撮像デバイスから撮像データを受信することと、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、複数のディスプレイデバイスの各々に拡張現実ディスプレイを表示することと、を行わせる。指定されたディスプレイデバイス上の拡張現実ディスプレイは、撮像データ、デバイス依存データ、指定されたディスプレイデバイスに関連付けられた外科チームの指定されたメンバーの機能的役割、及び外科チームの指定されたメンバーによる外科活動に基づく仮想オブジェクトを含み得る。
構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点とともに、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。 本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。 本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。 本開示の一態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。 本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。 本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実（ＡＲ）デバイスを示す図である。 本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。 本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。 本開示の一態様による、腹腔鏡スリーブ胃切除処置中に外科用撮像デバイスから取得される外科用ディスプレイを示す図である。 本開示の一態様による、外科用ディスプレイを含む拡張現実画像を、その上にオーバーレイされた仮想二次ビューとともに示す図である。 本開示の一態様による、患者の胃底の一部が除去される、腹腔鏡スリーブ胃切除処置中に外科用撮像デバイスから取得される外科用ディスプレイを示す図である。 本開示の一態様による、ステープラの予測又は推奨される配置とともに外科用ディスプレイを含む拡張現実画像を示す図である。 本開示の一態様による、インタラクティブ外科用システムが外科的処置情報を受信し、次の処置ステップを提案することができる方法を描写するフローチャートである。 本開示の一態様による、腹腔鏡処置中に外科用撮像デバイスから取得される外科用ディスプレイを示す図である。 本開示の一態様による、切除される組織の下にある尿管の輪郭を提示する拡張現実仮想オブジェクトとともに外科用ディスプレイを含む拡張現実画像を示す図である。 本開示の一態様による、インタラクティブ外科用システムによって追跡することができ、最適化戦略を開発するために分析することができる外科的処置に関連付けられる様々な態様を示す図である。 本開示の一態様による、追跡目的のためにモデル化され得る手術室の態様を示す図である。 本開示の一態様による、外科メンバーの疲労の仮想物体警告の一例を示す図である。 本開示の一態様による、最適化された手術室のいくつかの例示的描写を示す図である。 本開示の一態様による、最適化された手術室のいくつかの例示的描写を示す図である。 本開示の一態様による、最適化された手術室のいくつかの例示的描写を示す図である。
複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。
本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
・「ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＶＡＬＵＥＳ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＣＯＮＴＲＯＬ ＴＨＥ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
・「ＳＥＬＥＣＴＩＶＥ ＡＮＤ ＡＤＪＵＳＴＡＢＬＥ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
・「ＲＩＳＫ ＢＡＳＥＤ ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＤＩＳＰＬＡＹ ＡＳＰＥＣＴＳ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ４／２１０１２０－４、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
・「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
・「ＣＯＯＰＥＲＡＴＩＶＥ ＯＶＥＲＬＡＹＳ ＯＦ ＩＮＴＥＲＡＣＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＨＩＣＨ ＲＥＳＵＬＴ ＩＮ ＢＯＴＨ ＯＶＥＲＬＡＹＳ ＢＥＩＮＧ ＥＦＦＥＣＴＥＤ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ９／２１０１２０－９、
・「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
・「ＭＩＸＩＮＧ ＤＩＲＥＣＴＬＹ ＶＩＳＵＡＬＩＺＥＤ ＷＩＴＨ ＲＥＮＤＥＲＥＤ ＥＬＥＭＥＮＴＳ ＴＯ ＤＩＳＰＬＡＹ ＢＬＥＮＤＥＤ ＥＬＥＭＥＮＴＳ ＡＮＤ ＡＣＴＩＯＮＳ ＨＡＰＰＥＮＩＮＧ ＯＮ－ＳＣＲＥＥＮ ＡＮＤ ＯＦＦ－ＳＣＲＥＥＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１１／２１０１２０－１１、
・「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
・「ＵＴＩＬＩＺＩＮＧ ＣＯＮＴＥＸＴＵＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＯＮＥ ＯＲ ＭＯＲＥ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ ＴＯ ＰＲＥＤＩＣＴ Ａ ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＶＡＬ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１３／２１０１２０－１３、
・「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
・「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１５／２１０１２０－１５、
・「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
・「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。
本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９－０２００９８１（Ａ１）号）、
・「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９－０２０１０４６（Ａ１）号）。
外科的処置中、医療専門家のグループ（外科チーム）は、患者に介入医療ケアを提供するために、外科手術室又は手術室内で一緒に作業する。外科処置に応じて、外科チームの各メンバーは、一緒に実行され、患者に医療ケアを提供して好ましい結果をもたらすように設計された１つ以上の特定の役割又は機能を任される。外科チームの各メンバーは、処置中に使用される１つ以上の医療機器の部品を用いて作業することを任されてもよい。外科的処置に関連するステップ及びプロセスは複雑になる可能性があり、実行するのにかなりの時間がかかる。更に、外科チームのメンバーの全ての動作は、成功した結果のために調整されなければならない。この努力の調整は、外科的処置を通じて情報を適切に共有することを必要とする。時間とともに著しく変化し得る情報及びデータの総量は膨大であることが理解され得る。したがって、潜在的な外科情報（患者のバイタルサインデータ、麻酔データ、各インテリジェント外科用デバイスの操作に関連するデータ等）の全てを共有することは、外科チームのメンバーを偽の情報で圧倒することになり得る。外科チームメンバーは、それらの機能に関連しない追加のデータを受けることなく、外科的処置全体を通して彼らの特定の役割及び機能に関連するデータを知らされ続ける必要がある。
本明細書に開示されるのは、拡張現実ベースの外科用システムを使用して、外科的処置の過程を通して、それらの特定の役割又は機能に基づいて、外科チームの各メンバーにデータを分配する方法及びシステムである。
外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。
様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組合せ、ＲＦ電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、電気外科用デバイス及び／又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び／又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び／又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にＲＦエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び／又は非治療用ＲＦエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。
様々な態様では、本開示は、外科的処置中にＯＲチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でＯＲチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの１つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ＯＲスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。
様々な態様では、本開示は、ＯＲチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでＯＲチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はＯＲチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの１つ又は組合せが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース（例えば、電気外科、超音波）又は機械ベース（例えば、ステープラ）外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ＯＲチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。
様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの１つ又は組合せを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はＯＲチームの経験レベルを利用することを含み得る。
他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組合せの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にＯＲチームに伝達する。
他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をＯＲチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び／又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組合せと組み合わせて使用することができる。
以下の説明は、概して、外科的処置中に拡張現実（ＡＲ）インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び／又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の１つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。
本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。
本明細書で説明されるように、ＡＲは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実（ＶＲ）は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実（ＭＲ）及びＡＲは両方とも没入型技術と考えられているが、それらは同じではない。ＭＲは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ＡＲは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、ＭＲ体験は、実世界及びデジタルオブジェクトが相互作用するＡＲ及びＶＲの両方の要素を組み合わせる。
ＡＲ環境では、１つ以上のコンピュータ生成仮想オブジェクトが、１つ以上の現実（すなわち、いわゆる「実世界」）要素とともに表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、１つ以上のオーバーレイ仮想オブジェクトとともにコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。
本開示の文脈における装置、システム、及び方法は、外科的処置中に１つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ＡＲデバイス、及び／又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び／又は現実オブジェクトの表現を現実外科用環境上にオーバーレイすることによって、実世界外科用環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科用環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び／又はＡＲデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ＡＲデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して１つを含む、２つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ＡＲデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、２つの透明又は半透明ディスプレイレンズを通過することができる。
２つ以上のディスプレイ及びＡＲデバイスは、例えば、定義された役割を有するシステム内の１つ以上の追加のディスプレイ又はＡＲデバイスを制御する第１のディスプレイ又はＡＲデバイスと協調して使用されてもよい。例えば、ディスプレイ又はＡＲデバイスを起動するとき、ユーザは、役割（例えば、外科的処置中の外科医、外科助手、看護師等）を選択してもよく、ディスプレイ又はＡＲデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次のステップのために行う必要がある器具の仮想表現を表示させてもよい。現在のステップに対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。
多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の外科チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科用環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、ＯＲ内の人員を含む、手術室（ＯＲ）チームに提供されてもよい。仮想フィードバック情報は、一次ＯＲスクリーンディスプレイ、ＡＲデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。
図１は、１つ以上の外科用システム２及びクラウドベースのシステム４を含むコンピュータ実装インタラクティブ外科用システム１を示す。クラウドベースシステム４は、リモートストレージ５に連結されたリモートサーバ１３を含み得る。各外科用システム２は、クラウド４と通信する少なくとも１つの外科用ハブ６を備える。例えば、外科用システム２は、可視化システム８と、ロボットシステム１０と、手持ち式インテリジェント外科用器具１２とを備えてもよく、それぞれが、互いに、及び／又はハブ６と通信するように構成されている。いくつかの態様では、外科用システム２は、Ｍ個のハブ６と、Ｎ個の可視化システム８と、Ｏ個のロボットシステム１０と、Ｐ個の手持ち式インテリジェント外科用器具１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。コンピュータ実装インタラクティブ外科用システム１は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。
図２は、外科手術室１６内の手術台１４上に横たわっている患者に対して外科的処置を実行するための外科用システム２の例を示す。ロボットシステム１０は、外科的処置において外科用システム２の一部として使用される。ロボットシステム１０は、外科医のコンソール１８と、患者側カート２０（外科用ロボット）と、外科用ロボットハブ２２とを含む。患者側カート２０は、外科医が外科医のコンソール１８又は外科医によって装着された拡張現実（ＡＲ）デバイス６６を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも１つの着脱可能に連結された外科用ツール１７を操作することができる。低侵襲処置中の手術部位の画像（例えば、リアルタイムでストリーミングされる静止画像又はライブ画像）は、医療用撮像デバイス２４によって取得することができる。患者側カート２０は、撮像デバイス２４を操作して、撮像デバイス２４を配向することができる。切開外科的処置の画像は、医療用撮像デバイス９６によって取得することができる。ロボットハブ２２は、外科医のコンソール１８、又は外科医若しくは外科手術室１６内の他の人によって装着されたＡＲデバイス６６上にその後表示するために手術部位の画像を処理する。
撮像デバイス２４、９６又はＡＲデバイス６６の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。１つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。
様々な態様では、撮像デバイス２４は、低侵襲外科的処置において使用するように構成されている。本開示とともに使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス９６は、切開（侵襲）外科的処置において使用するように構成されている。
様々な態様では、可視化システム８は、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理装置と、１つ以上のストレージアレイと、１つ以上のディスプレイとを備える。一態様では、可視化システム８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備える。一態様では、撮像デバイス２４は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。
図２は、手術台１４のオペレータに見えるように滅菌野に配置される一次ディスプレイ１９を示す。可視化タワー１１は、滅菌野の外側に配置され、互いに反対側を向いている第１の非滅菌ディスプレイ７及び第２の非滅菌ディスプレイ９を含む。ハブ６によって誘導される可視化システム８は、ディスプレイ７、９、１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ６は、可視化システム８に、一次ディスプレイ１９又はＡＲデバイス６６上に手術部位のライブ映像を維持しながら、撮像デバイス２４、９６によって記録される手術部位のＡＲ画像を非滅菌ディスプレイ７、９又はＡＲデバイス６６を通じて表示させることができる。非滅菌ディスプレイ７、９は、例えば、非滅菌オペレータが、外科的処置に関連する診断ステップを実行することを可能にすることできる。
図３は、可視化システム８、ロボットシステム１０及び手持ち式インテリジェント外科用器具１２と通信するハブ６を示す。ハブ６は、ハブディスプレイ３５、撮像モジュール３８、発電機モジュール４０、通信モジュール３０、プロセッサモジュール３２、ストレージアレイ３４、及び手術室マッピングモジュール３３を含む。ハブ６は、排煙モジュール２６及び／又は吸引／灌注モジュール２８を更に含む。様々な態様では、撮像モジュール３８は、ＡＲデバイス６６を含み、プロセッサモジュール３２は統合ビデオプロセッサ及び拡張現実モデラ（例えば、図１０に示すようなもの）を含む。モジュール式光源は、様々な撮像デバイスとともに使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる（例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置）。撮像モジュール３８は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール３８は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。
図４は、医療施設の１つ以上の手術現場／部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ５３を含む外科用データネットワーク５１を示す。クラウド５４は、ストレージデバイス５５に連結されたリモートサーバ６３（図５）を含むことができる。モジュール式通信ハブ５３は、ネットワークルータ６１と通信するネットワークハブ５７及び／又はネットワークスイッチ５９を含む。モジュール式通信ハブ５３は、データを処理するためにローカルコンピュータシステム６０に連結される。手術現場のモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ５３に連結され得る。ネットワークハブ５７及び／又はネットワークスイッチ５９は、ネットワークルータ６１に連結されて、デバイス１ａ～１ｎをクラウド５４又はローカルコンピュータシステム６０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス１ａ～１ｎは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ５３に接続され得る。外科用データネットワーク５１環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を１つ以上のリモートディスプレイ５８に提供するために採用されてもよい。
図５は、コンピュータ実装インタラクティブ外科用システム５０を示す。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で、コンピュータ実装インタラクティブ外科用システム１と類似している。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で外科用システム２と類似する１つ以上の外科用システム５２を含む。各外科用システム５２は、リモートサーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を備える。一態様では、コンピュータ実装インタラクティブ外科用システム５０は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー２３を備える。図６に示すように、モジュール式制御タワー２３は、コンピュータシステム６０に連結されたモジュール式通信ハブ５３を含む。
図５に戻ると、モジュール式制御タワー２３は、内視鏡９８に連結された撮像モジュール３８、エネルギーデバイス９９に連結された発電機モジュール２７、排煙器モジュール７６、吸引／灌注モジュール７８、通信モジュール１３、プロセッサモジュール１５、ストレージアレイ１６、任意選択的にディスプレイ３９に連結されたスマートデバイス／器具２１及びセンサモジュール２９に連結されている。手術現場デバイスは、モジュール式制御タワー２３を介して、サーバ６３、データストレージ５５及びディスプレイ５８等のクラウドコンピューティングリソースに連結されている。ロボットハブ７２もまた、モジュール式制御タワー２３、及びサーバ６３、データストレージ５５、並びにディスプレイ５８に接続されてもよい。とりわけ、デバイス／器具２１、可視化システム５８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３に連結されてもよい。モジュール式制御タワー２３は、撮像モジュール３８、デバイス／器具ディスプレイ３９及び／又は他の可視化システム５８から受信した、現実外科世界上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ６５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイ６５はまた、画像及びオーバーレイ画像とともにモジュール式制御タワー２３に接続されたデバイスから受信したデータを表示し得る。
図６は、モジュール式制御タワー２３に連結された複数のモジュールを含む外科用ハブ５６を示す。モジュール式制御タワー２３は、例えばネットワーク接続デバイス等のモジュール式通信ハブ５３と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム６０とを含む。モジュール式通信ハブ５３は、モジュール式通信ハブ５３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム６０、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ５３内のネットワークハブ／スイッチ５７／５９の各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチ５７、５９は、クラウドコンピューティングリソース及びローカルディスプレイ６７への通信接続を提供するためにプロセッサ３１に接続されている。クラウド５４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
コンピュータシステム６０は、プロセッサ３１と、ネットワークインターフェース３７とを含む。プロセッサ３１は、システムバスを介して、通信モジュール４１、ストレージ４５、メモリ４６、不揮発性メモリ４７、及び入力／出力インターフェース４８に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び／又はローカルバスを含む、いくつかのタイプのバス構造（複数可）のいずれかであってもよい。
プロセッサ３１は、拡張現実モデラ（例えば、図１０に示されるような）を含み、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓによる商標名ＡＲＭ Ｃｏｒｔｅｘで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。
システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。
コンピュータシステム６０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージ等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組合せで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
様々な態様では、図６のコンピュータシステム６０、図４～図６の撮像モジュール３８、及び／又は可視化システム５８、及び／又はプロセッサモジュール１５は、画像プロセッサ、画像処理エンジン、画像処理装置（ＧＰＵ）、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
図７は、撮像モジュール３８と外科用ハブディスプレイ６７との間の通信経路内に配置された中間信号結合器６４を含む拡張現実システム２６３を示す。信号結合器６４は、撮像モジュール３８及び／又はＡＲデバイス６６から受信された音声及び／又は画像データを組み合わせる。外科用ハブ５６は、結合器６４から組み合わされたデータを受信し、ディスプレイ６７に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス６８はデジタルビデオカメラであってもよく、オーディオデバイス６９はマイクロフォンであってもよい。信号結合器６４は、外科用ハブ５６がディスプレイ６７上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ６７の通信経路内に配置されたＡＲデバイス６６に連結するための無線ヘッドアップディスプレイアダプタを含み得る。
図８は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す。図８は、外科用ハブ５６にデータを通信するために外科医７３によって装着されるＡＲデバイス６６を示す。ＡＲデバイス６６の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影（ＣＴ）又は外科用ハブ５６内でリンクされた他のデータとのリンクに基づいて、外科医７３の情報を拡張させ得る。ＡＲデバイス６６は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ＡＲデバイス６６は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び／又は回答を提供するために使用される外科用ハブ５６における処理を含み得る。外科医７３は、報告又はフォローアップにおける後の使用のためにハブストレージ４５内に患者データとともに保存されるように、ＡＲデバイス６６にメモを書き取ることができる。
外科医７３によって装着されるＡＲデバイス６６は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ５６にリンクし、ビューの周辺の周りに表示される情報のカスタマイズを可能にする。ＡＲデバイス６６は、デバイス（例えば、器具）からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ＡＲデバイス６６は、ＡＲデバイス６６からの音声制御及び音声フィードバックを有する。ＡＲデバイス６６は、手術現場内の他のシステムと相互作用することができ、外科医７３がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ＡＲデバイス６６は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ＡＲデバイス６６は、音声、視覚、又は触覚タッチを含む１つ以上のモダリティの形態でフィードバックを提供してもよい。
図９は、ＡＲデバイス６６を装着している外科医７３、患者７４を示し、手術室７５内にカメラ９６を含んでもよい。外科医７３によって装着されるＡＲデバイス６６は、拡張現実ディスプレイ８９を通して、又はハブ接続ディスプレイ６７を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医７３に提示するために使用されてもよい。リアルタイム画像は、外科用器具７７の一部を含んでもよい。仮想オブジェクトは、手術室７５内の他者（例えば、外科助手又は看護師）には可視でない場合があるが、彼らもまた、ＡＲデバイス６６を装着し得る。別の人がＡＲデバイス６６を用いて手術室７５を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医７３と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は（例えば、外科医７３に固有のカスタマイゼーションに従って）仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。
仮想オブジェクト及び／又はデータは、外科用器具７７の一部上に、又は撮像モジュール３８、低侵襲外科的処置中の撮像デバイス６８、及び／又は切開外科的処置中のカメラ９６によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール３８は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ＡＲシステムは、ＡＲシステムの１人又は複数の視認者（例えば、外科医７３）の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室７５内のＡＲシステムの視認者に可視であってもよく、手術室７５外のＡＲシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室７５に入ったときに、手術室７５外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ６７又は拡張現実ディスプレイ８９に表示されてもよい。
ＡＲデバイス６６は、単一スクリーン又は２つのスクリーン（例えば、ユーザの目毎に１つ）等の１つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医７３に可視になり得る。仮想オブジェクトは、或る程度の透明度を有するように見えてもよく、又は不透明であってもよい（すなわち、実環境の態様を遮断する）。
ＡＲシステムは、１人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、１人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、２つのビューの間で変化し得るが、仮想オブジェクト及び／又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。
ユーザは、ＡＲシステム内に提示される仮想オブジェクト及び／又はデータを、不透明として、又は或るレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第１の位置から第２の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、（例えば、ＡＲデバイスカメラ７９又は別個の９６等のＡＲデバイス６６上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、１つ以上のカメラを使用して）手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ＡＲシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ＡＲシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約（例えば、浮遊オブジェクト、永久運動等）を否定する他の事前定義された規則を含んでもよい。ＡＲデバイス６６は、ＡＲデバイス６６上にカメラ７９を含み得る（ＡＲデバイス６６とは別個のカメラ９６と混同されるべきではない）。ＡＲデバイスカメラ７９又はカメラ９６は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ＡＲデバイス６６は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。
ＡＲデバイス６６は、例えば、外科医７３によって患者７４に対して行われる外科的処置中に手術室７５内で使用され得る。ＡＲデバイス６６は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医７３は、ＡＲデバイス６６、ＡＲデバイス６６のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ＡＲデバイス６６のカメラ７９によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具７７等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、（ＡＲデバイス６６を通して仮想オブジェクトを視認する外科医７３に対して）外科用器具７７と連結されるように、又は外科用器具７７から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具７７を案内するために使用されてもよく、患者７４に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。
拡張現実ディスプレイシステム撮像デバイス３８は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ８９、６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する。外科用器具７７は、ＡＲデバイス６６上の通信回路２３３を介して外科用器具７７からＡＲデバイス６６に動作態様及び機能データを通信するための通信回路２３１を含む。外科用器具７７及びＡＲデバイス６６は、矢印Ｂ、Ｃによって示されるように、回路２３１、２３３の間のＲＦ無線通信において示されているが、他の通信技術（例えば、有線、超音波、赤外線等）が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具７７の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具７７からの機能データと組み合わせる。ＡＲデバイス６６のプロセッサ部分は、外科用器具７７から動作態様及び機能データを受信し、外科用器具７７の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具７７からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内で不正確にバランスされた組織が含まれる。追加の拡張画像は、組織張力のインジケーション及び異物検出のインジケーションを含む付随事象のインジケーションを提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具インジケーションを示す。
図１０は、本開示の少なくとも一態様による、ＡＲディスプレイ８９を使用して情報とともに術野の画像を拡張するためのシステム８３を示す。システム８３は、例えば、プロセッサ８５を使用することによって、以下で説明される技術を実行するために使用され得る。システム８３は、データベース９３と通信することができるＡＲデバイス６６の一態様を含む。ＡＲデバイス６６は、プロセッサ８５、メモリ８７、ＡＲディスプレイ８９、及びカメラ７９を含む。ＡＲデバイス６６は、センサ９０、スピーカ９１、及び／又は触覚コントローラ９２を含んでもよい。データベース９３は、画像ストレージ９４又は術前計画ストレージ９５を含んでもよい。
ＡＲデバイス６６のプロセッサ８５は、拡張現実モデラ８６を含む。拡張現実モデラ８６は、拡張現実環境を作成するために、プロセッサ８５によって使用され得る。例えば、拡張現実モデラ８６は、カメラ７９又はセンサ９０等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び／又はデータは、手術視野及び／又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ８６は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び／又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ８６は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び／又はデータ、及び／又はカメラ７９によって捕捉された手術視野内の手術部位の画像を提示してもよい。ＡＲディスプレイ８９は、実環境にオーバーレイされたＡＲ環境を表示してもよい。ディスプレイ８９は、ＡＲ環境内の固定位置等にあるＡＲデバイス６６を使用して、仮想オブジェクト及び／又はデータを示すことができる。
ＡＲデバイス６６は、赤外線センサ等のセンサ９０を含むことができる。カメラ７９又はセンサ９０は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ８５によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ８５は、カメラ７９を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ９０は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ９０は、バイノーラルオーディオセンサ（空間音）、慣性測定（加速度計、ジャイロスコープ、磁力計）センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。
ＡＲディスプレイ８９は、例えば、外科的処置中に、術野がＡＲディスプレイ８９を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第１の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第１の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。
一例では、ＡＲデバイス６６は、個々のＡＲデバイスであり得る。一態様では、ＡＲデバイス６６は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔによって製造されたＨｏｌｏＬｅｎｓ ２ ＡＲデバイスであってもよい。このＡＲデバイス６６は、レンズ及びバイノーラルオーディオ特徴（空間音）を伴うバイザと、慣性測定（加速度計、ジャイロスコープ、磁力計）と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。
別の例では、ＡＲデバイス６６は、Ｓｎａｐｃｈａｔ Ｓｐｅｃｔａｃｌｅｓ ３ ＡＲデバイスであり得る。このＡＲデバイスは、ペア画像を捕捉し、３Ｄ深度マッピングを再作成し、仮想効果を追加し、３Ｄビデオを再生する能力を提供する。ＡＲデバイスは、６０ｆｐｓで３Ｄ写真及びビデオを捕捉するための２つのＨＤカメラを含み、一方、４つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。
更に別の例では、ＡＲデバイス６６は、ＧｏｏｇｌｅによるＧｌａｓｓ ２ ＡＲデバイスであり得る。このＡＲデバイスは、情報を補足するためにレンズ（視野外）上にオーバーレイされた慣性測定（加速度計、ジャイロスコープ、磁力計）情報を提供する。
別の例では、ＡＲデバイス６６は、ＡｍａｚｏｎによるＥｃｈｏ Ｆｒａｍｅｓ ＡＲデバイスであり得る。このＡＲデバイスは、カメラ／ディスプレイを有しない。マイクロフォン及びスピーカはＡｌｅｘａにリンクされる。このＡＲデバイスは、ヘッドアップディスプレイよりも機能が少ない。
更に別の例では、ＡＲデバイス６６は、Ｎｏｒｔｈ（Ｇｏｏｇｌｅ）によるＦｏｃａｌｓ ＡＲデバイスであり得る。このＡＲデバイスは、通知プッシャ／スマートウォッチアナログ、慣性測定、情報（天気、カレンダ、メッセージ）のスクリーンオーバーレイ、音声制御（Ａｌｅｘａ）統合を提供する。このＡＲデバイスは、基本的なヘッドアップディスプレイ機能を提供する。
別の例では、ＡＲデバイス６６は、Ｎｒｅａｌ ＡＲデバイスであり得る。このＡＲデバイスは、空間音、２つの環境カメラ、写真カメラ、ＩＭＵ（加速度計、ジャイロスコープ）、周辺光センサ、近接センサ機能を含む。ｎｅｂｕｌａは、アプリケーション情報をレンズ上に投影する。
様々な他の例では、ＡＲデバイス６６は、以下の市販のＡＲデバイス、すなわち、Ｍａｇｉｃ Ｌｅａｐ １、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、Ｖｕｚｉｘ Ｂｌａｄｅ ＡＲ、ＺｅｎＦｏｎｅ ＡＲ、Ｍｉｃｒｏｓｏｆｔ ＡＲ眼鏡プロトタイプ、ＥｙｅＴａｐのうちのいずれか１つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。ＡＲ可視化システムは、ＨＵＤ、コンタクトレンズ、眼鏡、仮想現実（ＶＲ）ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び／又はスマートコンタクトレンズ（バイオニックレンズ）を含む。
ＡＲデバイス６６のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び／又はＳｏｎｙ空間ディスプレイシステム等の空間ディスプレイを含む。
他のＡＲ技術は、例えば、ＡＲ捕捉デバイス及びソフトウェアアプリケーション、ＡＲ作成デバイス及びソフトウェアアプリケーション、並びにＡＲクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。ＡＲ捕捉デバイス及びソフトウェアアプリケーションは、例えば、Ａｐｐｌｅ Ｐｏｌｙｃａｍ ａｐｐ、Ｕｂｉｑｕｉｔｙ ６（Ｄｉｓｐｌａｙ．ｌａｎｄ ａｐｐを使用するＭｉｒｒｏｒｗｏｒｌｄ）を含み、ユーザは、（３ｄモデルを作成するために）実世界の３Ｄ画像をスキャンし、取得することができる。ＡＲ作成デバイス及びソフトウェアアプリケーションは、例えば、Ａｄｏｂｅ Ａｅｒｏ、Ｖｕｆｏｒｉａ、ＡＲＴｏｏｌＫｉｔ、Ｇｏｏｇｌｅ ＡＲＣｏｒｅ、Ａｐｐｌｅ ＡＲＫｉｔ、ＭＡＸＳＴ、Ａｕｒａｓｍａ、Ｚａｐｐａｒ、Ｂｌｉｐｐａｒを含む。ＡＲクラウドデバイス及びソフトウェアアプリケーションは、例えば、Ｆａｃｅｂｏｏｋ、Ｇｏｏｇｌｅ（ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ、ｏｂｊｅｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ、ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ）、Ａｍａｚｏｎ ＡＲ Ｃｌｏｕｄ（ｃｏｍｍｅｒｃｅ）、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ、Ｓａｍｓｕｎｇ Ｐｒｏｊｅｃｔ Ｗｈａｒｅ、Ｎｉａｎｔｉｃ、Ｍａｇｉｃ Ｌｅａｐを含む。
状況認識は、データベース及び／又は器具から受信したデータから外科処置に関連する情報を判定又は推測するための、外科システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科処置に関するコンテキスト情報によると、外科システムは、例えば、外科システムが、それに接続されるモジュール式デバイス（例えば、ロボットアーム及び／又はロボット外科用ツール）を制御し、外科処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。
図１１は、状況認識外科的処置のタイムラインを示す。図１１は、例示的な外科的処置のタイムライン５２００と、外科的処置の各ステップでデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報とを示す。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的なステップを示す。状況認識外科用ハブ５１０４は、外科処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信する。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどのステップが行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられているステップを検証すること、特定の処置ステップに関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び上述される任意の他のこうした動作を行うことが可能である。
第１の５２０２では、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを取り出す。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。
第２の５２０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ５１０４は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。
第３の５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンする。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。
第４の５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科手術のタイプ、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助デバイスは、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置する外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２のタイプを検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組合せに基づいて、外科処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータの組合せ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２のタイプに基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置のステップを読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者監視デバイス５１２４）からその後受信したデータを相互参照して、外科処置のどのステップを外科チームが実行しているかを推定することができる。
第５の５２１０では、職員は、ＥＫＧ電極及び他の患者モニタリングデバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイス５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は患者が手術現場にいることを確認する。
第６の５２１２では、医療関係者は患者において麻酔を誘発する。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組合せを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６のステップ５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。
第７の５２１４では、手術されている患者の肺が虚脱される（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期されるステップ（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術ステップであると判定することができる。
第８の５２１６では、医療用撮像デバイス５１０８（例えば、スコープ）が挿入され、医療用撮像デバイスからのビデオ映像が開始される。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ）を受信する。医療用撮像デバイスデータを受信すると、外科用ハブ５１０４は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２のステップ５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像デバイスを監視することによって、及び利用されている可視化装置のタイプを監視することによって、行われている処置のタイプに関するコンテキスト情報を判定することができる。
例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として手術用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイス５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定のタイプの外科処置、及び／又は特定のタイプの外科処置に使用されている技術を判定することができる。
第９のステップ５２１８では、外科チームは、処置の切開ステップを開始する。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科処置の読み出しされたステップと相互参照して、プロセスのこの時点（すなわち、上述された処置のステップが完了した後）で発射されているエネルギー器具が切開ステップに対応していると判定することができる。
第１０のステップ５２２０では、外科チームは、処置の結紮ステップに進む。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前ステップと同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内のステップと相互参照することによって、この推定を導出することができる。
第１１のステップ５２２２では、処置の区域切除術の部分が行われる。外科用ハブ５１０４は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び／又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ５１０４は、区域切除処置が行われていると推定することができる。
続いて第１２のステップ５２２４で、結節切開ステップが行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開ステップに対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定のステップに応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどのステップを実行しているかを示すことができる。第１２のステップ５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
第１３のステップ５２２６では、患者の麻酔を解く。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。
最後に、第１４の５２２８では、医療従事者が患者から様々な患者モニタリングデバイス５１２４を除去する。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者モニタリングデバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科的処置の各ステップが発生しているときを判定又は推定することができる。
図１１に描写されるタイムライン５２００の第１のステップ５２０２に示されるように、ＥＭＲデータベース（複数可）からの患者データを利用して、実行されている外科的処置のタイプを推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。
非可視処置ステップの拡張現実ディスプレイ
コンピュータ実装インタラクティブ外科用システムは１つ以上の外科用システム及びクラウドベースのシステムを含んでもよいことが理解され得る。クラウドベースシステムは、ストレージデバイスに連結されたリモートサーバを含み得る。各外科用システムは、クラウドと通信する少なくとも１つの外科用ハブを備える。例えば、外科用システムは、可視化システムと、ロボットシステムと、１つ以上の手持ち式インテリジェント外科用器具とを備えてもよく、それぞれが、互いに、及び／又はハブと通信するように構成されている。外科用ハブは、どのデバイスが使用中であるか、及びそれらのデバイスの互いに対する場所、並びにシステムによって識別される重要な構造及び解剖学的構造に対する場所を動的に決定することができる。これらのデバイスの位置、患者の解剖学的構造、及び手術室内の処置ステップに基づいて、拡張現実ディスプレイは、１つ以上の補助拡張現実ビューを描写するように更新されてもよい。そのような補助拡張現実ビューは、外科医が一次視野で見ることができない術野内のビューからなる場合がある。一態様では、そのような補助拡張現実ビューは、他の組織によって一次視野内に隠されている解剖学的構造を描写することができる。別の態様では、そのような補助拡張現実ビューは、二次視点（例えば、手持ち式インテリジェント外科用器具の下側ビュー）からの手持ち式インテリジェント外科用器具のビューを描写することができる。
コンピュータ実装インタラクティブ外科用システムは、処置中にデバイス位置及び使用データを絶えず取得していることが認識され得る。インタラクティブ外科用システムはまた、患者の解剖学的構造に関する様々なインテリジェント外科用器具又は他のデバイスの視覚追跡又は撮像情報を継続的に受信し得る。外科用システムはまた、外科的処置を通して撮像情報を保持してもよい。外科用システムは、クラウドベースのシステムへの接続を通じて、以前の外科的処置からの患者の解剖学的構造の撮像情報を保持することもできる。
コンピュータ実装インタラクティブ外科用システムは、そのようなデバイスが使用されている間のデバイスの動きに基づいて、インテリジェント外科用器具の状態を判定してもよい。そのような動きデータは、例えば、デバイス内に配置された３軸加速度計に基づいて、インテリジェントデバイス自体から取得することができる。代替的に、動きデータは、外科用器具の動きを光学的に追跡することができる可視化デバイスから取得されてもよい。インタラクティブ外科用システムはまた、解剖学的構造の撮像データを受信し、その性質及び場所を判定するように構成される、解剖学的画像認識アルゴリズムを含んでもよい。外科用デバイスの動きと外科用デバイスの周りの解剖学的構造の決定との組合せは、外科的処置の現在のステップを識別するために、インタラクティブ外科用システムによって使用され得る。
いくつかの態様では、インタラクティブ外科用システムは、可視化デバイスから取得された外科用デバイスに関する撮像データを使用して、外科用デバイスが外科的処置における現在のステップのための適切なデバイスであるかどうかを判定してもよい。拡張現実デバイスは、デバイスがその処置に対して正しくないという警告を外科用デバイスユーザに提供するために、拡張現実ディスプレイ内の外科用デバイスの画像にオーバーレイするアイコン又はテキストボックス等の警告として仮想オブジェクトを提供してもよい。
外科医がインテリジェント外科用デバイスのエンドエフェクタの特定の部分を見ることができないステップにおいて、拡張現実ディスプレイは、現在の視野において見ることができないデバイスの位置を外科医に示すために生成された二次ビューを含み得る。一例として、図１２Ａは、患者の胃底の一部が除去される、腹腔鏡スリーブ胃切除処置中に外科用撮像デバイスから取得される外科用ディスプレイ１１０００を描写する。図１２Ａは、外科医がステープラ１１００４を使用して胃１１００２の内縁を一緒にステープル留めし、残胃部分１１００３を切除している間の患者の胃１１００２を描写する。観察され得るように、外科用ディスプレイ１１０００は、ステープラ１１００４のエンドエフェクタの上面１１００６を描写する。外科医は、切除された胃の両縁部が一緒に封止されることを確実にするために、ステープルを発射する前にステープラ１１００４の底部側を見ることを望む場合がある。外科医は、発射前にデバイスの後側を見るためにステープラ１１００４が胃１１００２にクランプされている間、ステープラを回転させたくない場合がある。ステープラ１１００４のそのような回転は、ステープル留め機能を損なう場合がある方法で組織を引っ張ることになる場合がある。図１２Ｂは、外科用ディスプレイ１１０００を、その上にオーバーレイされた仮想二次ビュー１１０１０とともに含む拡張現実画像１１０１２を描写する。仮想二次ビュー１１０１０は、ステープラの側面ビュー１１０１４の拡張現実描写を含み得る。ステープラの側面ビュー１１０１４の拡張現実描写は、ステープラの下顎１１０１８によって把持された患者の胃の一部の側面ビュー１１０１６を描写し得る。このようにして、仮想二次ビュー１１０１０は、外科医がステープラの下側を可視化し、組織を過度に操作する必要なく下側を見ることを可能にすることができる。
いくつかの態様では、拡張現実画像１１０１２は、外科医が利用できない撮像ビュー（ステープラの側面ビュー１１０１４及び患者の胃の一部の側面ビュー１１０１６等）に加えて、情報を表示することができる。例えば、仮想二次ビュー１１０１０は、処置又は組織の状態に関する視覚インジケータ１１０２０を含むこともできる。例えば、組織状態を示す警告１１０２１を描写することができる。別の例では、デバイス状態インジケータ１１０２２は、ステープラの現在の操作の状態を示してもよい。
一態様では、仮想二次ビュー１１０１０は、患者の以前の解剖学的画像、又は同じ外科的処置を受けている他の患者の同様の解剖学的部分の画像に基づく患者の予測モデリングを使用して作成され得る。別の態様では、仮想二次ビュー１１０１０は、処置中に使用される二次カメラから取得されるリアルタイム画像から作成され得る。一例では、外科医は、ジェスチャ又は口頭コマンドの使用を通して、インタラクティブ外科用システムから仮想二次ビュー１１０１０を要求してもよい。インタラクティブ外科用システムは、補助ビューが作成され得るように、二次カメラ位置の位置を調整するように、外科医にアラートを発行してもよい。
別の態様では、仮想二次ビュー１１０１０を使用して、外科処置中に常に重要な解剖学的構造を識別して表示することができる。一例として、そのような持続的二次ビューを使用して、外科的処置全体を通して、関心臓器上に配置された腫瘍の画像をディスプレイデバイス上に維持することができる。そのような持続的ディスプレイは、外科医が、現在の処置の画像上にこのビューをオーバーレイすることと、ディスプレイの側に二次ビューとしてそれを有することとを切り替えることを可能にすることができる。
処置による予測分析及びＡＩ学習－アクティブデバイスのディスプレイ電力
コンピュータ実装インタラクティブ外科用システムは１つ以上の外科用システム及びクラウドベースのシステムを含んでもよいことが理解され得る。クラウドベースシステムは、ストレージデバイスに連結されたリモートサーバを含み得る。各外科用システムは、クラウドと通信する少なくとも１つの外科用ハブを備える。例えば、外科用システムは、可視化システムと、ロボットシステムと、１つ以上の手持ち式インテリジェント外科用器具とを備えてもよく、それぞれが、互いに、及び／又はハブと通信するように構成されている。外科用ハブは、どのデバイスが使用中であるか、及びそれらのデバイスの互いに対する場所、並びにシステムによって識別される重要な構造及び解剖学的構造に対する場所を動的に決定することができる。加えて、コンピュータ実装インタラクティブ外科用システム及び／又はクラウドベースシステムは、同じ処置タイプの以前の症例から引き出されたデータを監視し、現在の症例からデータをインポートするように構成された人工知能（「ＡＩ」）システムを含んでもよい。特定の手術症例（及び／又はこのタイプの全ての完了した手術症例）において手術する外科医に特有のクラウドベースのデータは、ＡＩシステムが現在の処置ステップを認識し、この情報を使用して処置の次のステップを予測することを可能にし得る。この予測を使用して、拡張現実ディスプレイは、行われるべき予測された次の動作及び／又は以前の症例に基づいて予測された結果を提示するように更新され得る。
コンピュータ実装インタラクティブ外科用システムは、そのようなデバイスが使用されている間のデバイスの動きに基づいて、インテリジェント外科用器具の状態を判定してもよい。そのような動きデータは、例えば、デバイス内に配置された３軸加速度計に基づいて、インテリジェントデバイス自体から取得することができる。代替的に、動きデータは、外科用器具の動きを光学的に追跡することができる可視化デバイスから取得されてもよい。インタラクティブ外科用システム又はＡＩシステムはまた、解剖学的構造の撮像データを受信し、その性質及び場所を判定するように構成される、解剖学的画像認識アルゴリズムを含んでもよい。外科用デバイスの動きと外科用デバイスの周りの解剖学的構造の決定との組合せは、外科的処置の現在のステップを識別するために、インタラクティブ外科用システムによって使用され得る。
コンピュータ実装インタラクティブ外科用システムは、処置中にデバイス位置及び使用データを絶えず取得していることが認識され得る。インタラクティブ外科用システムはまた、患者の解剖学的構造に関する様々なインテリジェント外科用器具又は他のデバイスの視覚追跡又は撮像情報を継続的に受信し得る。外科用システムはまた、外科的処置を通して撮像情報を保持してもよい。外科用システムはまた、クラウドベースのシステムへの接続を通して、以前の外科的処置からの患者の解剖学的構造の撮像情報、又は関連する外科的処置からの異なる患者の解剖学的構造からの撮像情報を保持してもよい。
一態様では、データは、追加のハブ接続事例からの全ての以前の処置データをメモリに記憶するように構成されたクラウドデータソースに送信され得る。データは、外科医によって行われる最も可能性の高い次のステップを予測するためにマイニング及び分析されてもよい。予測モデリングの非限定的な例は、分類モデル、回帰モデル、及びマルコフ連鎖モデルのうちの１つ以上を使用してもよい。以前の処置データは、撮像データと、処置において使用されている間に特定のデバイスから取得されたデータとを含み得る。デバイス依存データは、例えば、他の操作パラメータとともに、電力レベル、タイミングパラメータ、ステープルタイプ、デバイス位置及び向きデータを含んでもよい。分析される手術症例は、任意の数の関連又は同一の処置を包含し得る。いくつかの例では、処置を実行する特定の外科医によって完了された関連症例のみが分析されてもよい。一態様では、現在の処置を実行する外科医は、予測推奨を行うために、いずれの以前の症例（複数可）が手元にある症例に関連するものとして分析されるべきかを選択するオプションを有してもよい。
外科医指定予測、使用中の外科用デバイスの追跡された位置及び向き、並びに患者の解剖学的構造を使用して、拡張現実ディスプレイは、次の外科的動作の予測（例えば、次のステープル留め操作のためのステープラの予測位置）を示すように更新されてもよい。拡張現実ディスプレイは、手術室内又はその外側の任意のディスプレイデバイス上に示され得ることが認識され得る。いくつかの態様では、拡張現実ディスプレイは、手術室内の主要ディスプレイ又は一次ディスプレイ上に表示され得る。代替的に、拡張現実ディスプレイは、１つ以上の代替ディスプレイ、例えば、タブレットデバイス、二次モニタ、又はデバイス発電機ディスプレイ等の特定のインテリジェント外科用デバイスに関連付けられたディスプレイデバイス上に表示されてもよい。この予測は、患者の解剖学的構造に基づいて予測されるステープルリロードサイズ等の追加のデバイス固有の推奨を伴うか、又は以前のステープラ操作からの観察、患者の疾患状態等に基づいて漏出を低減するためのバットレス材料の使用を提案することができる。
他の拡張現実ディスプレイは、改善された結果を伴って処置を完了するために使用することができる、追加の外科用デバイスの使用に関連する推奨を含んでもよい。進行中の外科的処置中に処置ステップを追跡し、それらをクラウドシステムに記憶された以前に取得されたデータと比較することによって、インテリジェント外科用システムはまた、ハブネットワーク内のインテリジェント外科用デバイス間の通信優先順位付けを調整してもよい。したがって、手術歴に基づいて、第１の外科用デバイスの使用後に必要とされることになる第２のインテリジェント外科用デバイスは、その使用を見越して優先順位付けされたその通信ストリームを有し得る。例えば、胃スリーブ処置において全てのステープラ発射が完了した後、持針器からの通信ストリームは、他のデバイスよりも優先されてもよい。
一例として、図１３Ａは、図１２Ａの描写と同様に、患者の胃底の一部が除去される、腹腔鏡スリーブ胃切除処置中に外科用撮像デバイスから取得される外科用ディスプレイ１１０００を描写する。図１３Ａは、外科医がステープラ１１００４を使用して胃１１００２の内縁を一緒にステープル留めし、残胃部分１１００３を切断している間の患者の胃１１００２を描写する。観察され得るように、外科用ディスプレイ１１０００は、胃１１００２上の特定の場所におけるステープラ１１００４のエンドエフェクタの上面１１００６を描写する。外科医は、次のステープル留め及び切断操作のためにステープラ１１００４をどのように又はどこに位置決めするかに関して不確かであり得る。
図１３Ｂは、ステープラ１１０３２の予測又は推奨される配置とともに外科用ディスプレイ１１０００を含む拡張現実画像１１０３０を描写する。いくつかの態様では、拡張現実画像１１０３０は、ステープラ１１０３２の予測又は推奨される配置に加えて、補助情報１１０３４を表示することができる。例えば、補助情報１１０３４は、ステープラによって使用されるステープラのタイプ等、デバイス動作パラメータの変更に関する推奨１１０３６を含むことができる。推奨は、同様の手術における新しい動作パラメータの成功率に関する統計データを含んでもよい。別の例では、補助情報１１０３４はまた、外科用デバイスによって操作されている組織の状態に関する１つ以上の警告１１０３８を含んでもよい。警告１１０３８は、問題に対処するために使用することができる推奨修復ステップを含むことができる。一例として、警告１１０３８は、ステープル線が組織に応力を加えていることを示してもよく、これはステープル線における断裂又は不完全な治癒をもたらし得る。組織を封止するのを支援するためにバットレス材料の使用を提案する推奨が与えられ得る。
図１４は、インタラクティブ外科用システムが外科的処置情報を受信し、次の処置ステップを提案し得る方法を描写するフローチャート１１５００である。プロセス１１５１０の第１のステップにおいて、外科医は、外科ステップＡを完了している。外科ステップＡに関連するデータは、通信ハブからクラウドベースのデータソースに送信されてもよい（１１５１２）。クラウドベースのデータソース内の人工知能エンジンは、外科的処置における次のステップを予測し（１１５１４）、そのデータを通信ハブに伝送することができる。次いで、通信ハブは、拡張現実ディスプレイ上に１つ以上の仮想オブジェクトを表示することによって、使用され得る術野及び外科用デバイス内の場所を予測し得る（１１５１６）。次に、通信ハブは、クラウドデータソースと通信して（１１５１８）、患者に関連付けられたパラメータに基づいて、予測されたステップ、場所、及びデバイスの最良の手術結果を決定することができる。これらのパラメータは、クラウドベースのデータベース内の同様の患者統計、外科情報、及び外科用デバイス特性と比較され得る。ハブは、外科医の関連付けられた拡張現実ディスプレイデバイス上に表示される仮想オブジェクトとして、使用、向き、場所、及びデバイスパラメータに関連するパラメータを外科医に通信してもよい（１１５２０）。次いで、外科医は、推奨される次の外科用ステップを完了し得る（１１５２２）。本方法は、外科的処置における各後続設定に対してこのように継続してもよい。
関連器具及びユーザ－デバイス及び相互作用のハブ／ネットワーク感知
コンピュータ実装インタラクティブ外科用システムは、処置中にデバイス位置及び使用データを絶えず取得していることが認識され得る。インタラクティブ外科用システムはまた、患者の解剖学的構造に関する様々なインテリジェント外科用器具又は他のデバイスの視覚追跡又は撮像情報を継続的に受信し得る。外科用システムはまた、外科的処置を通して撮像情報を保持してもよい。外科用システムはまた、クラウドベースのシステムへの接続を通して、以前の外科的処置からの患者の解剖学的構造の撮像情報、又は関連する外科的処置からの異なる患者の解剖学的構造からの撮像情報を保持してもよい。
拡張現実インタラクティブ外科用システムは、複数のデータ接続されたインテリジェント外科用デバイスを含む。外科用システムは、どのデバイスが使用されているか、及びそれらのデバイスがシステムによって識別されるように互いに対して、並びに重要な構造及び解剖学的構造に対して空間内のどこに位置するかを動的に決定することができる。これらのデバイスの場所及びユーザの選好／位置に基づいて、システムは、データ通信を優先し得る。データ通信優先順位付けは、重要な構造に近接するデバイスに対して可能にすることができ、重要な処置ステップ及び／又は特定の解剖学的構造の周囲での増加したアラート感度を含んでもよい。データ通信優先順位付けに応答して、拡張現実ディスプレイ（複数可）は、外科医又は手術室スタッフの他のメンバーに、デバイス位置、高リスク領域、及び他の敏感な場所を知らせるように迅速に更新され得る。
空間追跡を介して、インタラクティブ外科用システムは、器具が近くにあるときに重要な構造を強調表示すること、又は器具が互いに近すぎる場合にアラートを設定すること等、拡張現実ディスプレイを処置ステップに合わせるように適合させることができる。したがって、拡張現実情報は、システムによって絶えず追跡されるが、情報は、外科医にとって重要なときにのみ表示される。例えば、隠れた構造の拡張現実可視化は、常に有効化されるわけではないが、インテリジェント医療デバイスの位置によってトリガされ得る。このようにして、外科医は、高リスク領域が識別されるまで、又は意図しない損傷のリスクが存在するまで、通常通りに手術を進めることができる。そのような状況下では、拡張現実可視化が有効化されてもよく、外科医は、任意の差し迫った問題を通知される。
一例では、インタラクティブ外科用システムは、そうでなければ外科医には見えない可能性がある尿管等の重要な解剖学的構造の位置を認識することができる。例えば、クラウドシステム内の人工知能モジュールは、術野の画像を撮影し、近傍又は下層の解剖学的構造の位置を予測又は推定し得る、解剖学的モデルを含んでもよい。尿管は容易に見ることができない場合があるが、尿管の画像は、１つ以上の拡張現実ディスプレイ上に拡張現実仮想オブジェクトとして現れ得る。１つのオプションでは、そのような拡張現実仮想オブジェクトは、接続されたデバイスのエンドエフェクタがこの重要な構造に対して指定された距離内に来たことをシステムが検出／予測するときに表示され得る。
別の例では、拡張現実仮想オブジェクトは、温度が或るレベルに到達し、器具が腸壁に近接している場合、超音波器具のエンドエフェクタのディスプレイ上に重畳されたハイライトを含んでもよい。
代替的なディスプレイオプションは、外科医の選好に基づいてもよい。いくつかのオプションは、重要構造の拡張現実可視化の持続的ディスプレイを含むことができる。代替的に、重要構造の拡張現実可視化のディスプレイは、処置の或る部分の間のみ、又はエネルギーデバイスが使用中であるときのみ、有効化されてもよい。これらの可視化オプションは、（例として、スコープ、スキャンを介して）患者の解剖学的構造に対するデバイス位置を監視することと、インタラクティブ外科用システムにおいてこの情報を処理することと、外科用コンテキストに基づいて所望の拡張現実ディスプレイを可能にすることとの組合せに依存し得る。
一例として、図１５Ａは、腹腔鏡処置中に外科用撮像デバイスから取得された外科用ディスプレイ１１０４０を描写する。処置は、超音波カッタ１１０４２及び補助組織クランプ１１０４４の使用を含んでもよい。外科医は、組織クランプ１１０４４で組織片１１０４６を把持し、超音波カッタ１１０４２を使用してその一部を切除することを望む場合がある。外科医は、患者の尿管の一部が組織１１０４６のすぐ下にあることに気付かない場合がある。
図１５Ｂは、切除される組織の下にある尿管の輪郭を提示する拡張現実仮想オブジェクト１１０５６とともに、外科用ディスプレイ１１０４０を含む拡張現実画像１１０５０を描写する。いくつかの態様では、拡張現実画像１１０５０は、拡張現実仮想オブジェクト１１０５６に加えて、補助情報１１０５７を表示し得る。例えば、補助情報１１０５７は、超音波カッタ１１０５２又は補助組織クランプ１１０５４が尿管の位置に近すぎるという組織関連警告１１０５８を含んでもよい。補助情報１１０５７は、超音波カッタ１１０５２が補助組織クランプ１１０５４の位置に近すぎる場合があるというデバイス関連警告１１０５９を含むことができる。
拡張現実ディスプレイは、処置又は処置で使用されているデバイスに関連する任意の関連ガイダンスを外科医に提供するために使用されてもよい。例えば、外科医のスキル履歴に基づいて、訓練中の外科医（外科研修医等）が経験を欠いているとインタラクティブ外科用システムが判定した場合、訓練中の外科医は、ユーザ訓練モードにおいてより多くの量のフィードバックを受信し得る。提示されるフィードバックの量は、外科医のスキルレベルに関連する「トレーニング曲線」に基づいて等級付けされてもよく、外科医が学習されたスキルの改善を表示する場合、加速されてもよい。フィードバックは、スキル改善を必要とする領域においてガイダンスを提示するように調整され得る。個別化されたフィードバックは、過去の性能及び手術経験、並びに過去の手術中の外科医によるデバイスの記録された使用に基づいて、個々の外科医のためにクラウドシステム内に記憶されたデータ及び画像に基づき得る。スキル改善の必要性を示し得る手術結果の例は、手術部位における出血、焼灼された組織の二重の熱傷、又は組織タギングを含み得る。
拡張現実ディスプレイはまた、処置中に外科医に特定のデバイスを推奨するために使用されてもよい。改善された、又は更新されたデバイスは、処置中に使用されている外科用デバイスを交換するように推奨され得る。そのような改善されたデバイスが現在の手術においてどのように使用され得るかを示す情報が、拡張現実ディスプレイにおいて提供され得る。拡張現実ディスプレイはまた、本デバイスを使用する手術の結果と比較して、推奨されたデバイスを用いて実行された類似手術の結果に関する統計を提供してもよい。
ＡＲエコシステムを形成するためにリンクされたユーザ
コンピュータ実装インタラクティブ外科用システムは、処置中にデバイス位置及び使用データを絶えず取得していることが認識され得る。インタラクティブ外科用システムはまた、患者の解剖学的構造に関する様々なインテリジェント外科用器具又は他のデバイスの視覚追跡又は撮像情報を継続的に受信し得る。拡張現実インタラクティブ外科用システムは、複数のデータ接続されたインテリジェント外科用デバイスと、外科手術、患者状態、及び全体を通して使用されるインテリジェント外科用デバイスの操作に関連する情報を外科チームのメンバーに提供するように構成される、１つ以上のディスプレイデバイスとを備える。外科用システムは、どのデバイスが使用されているか、及びそれらのデバイスがシステムによって識別されるように互いに対して、並びに重要な構造及び解剖学的構造に対して空間内のどこに位置するかを動的に決定することができる。
いくつかの態様では、外科チームの各メンバーは、外科的処置に関する情報を提供するために１つ以上のディスプレイデバイスに関連付けられ得る。各ディスプレイデバイスは、撮像データ上にオーバーレイされた拡張現実仮想オブジェクトとともに、１つ以上の撮像デバイスから取得された画像を表示してもよい。外科チームの任意のメンバーに関連付けられたディスプレイは、その外科チームメンバーの機能的役割に合わせてカスタマイズされ得る。例えば、外科チームのメンバーのディスプレイは、外科チームのメンバーによって制御されるデバイス又は器具に関連付けられた仮想オブジェクトを含むようにカスタマイズされてもよい。インタラクティブ外科用システムは、手術室内の各外科チームメンバーの制御下で、器具及びデバイスを監視することができる。各ディスプレイデバイス上に表示されるデータは、どのユーザが外科用デバイスの制御を有するか、及びユーザの外科的役割に依存し得る。ユーザのために表示される情報は、器具又はデバイスがそれらの制御に入るか又は制御から出るときに変化し得る。例えば、外科用システムは、外科医間又は外科医と看護師との間の器具交換を追跡し得る。拡張現実ディスプレイは、関わる外科チームメンバーに関連付けられた拡張現実ディスプレイ内の仮想オブジェクトの性質、タイプ、及び／又は位置を調整してもよい。例えば、外科用デバイスの制御に関連付けられた仮想オブジェクトは、１人の外科チームメンバーが外科用デバイスの制御を放棄すると、その１人の外科チームメンバーに関連付けられたディスプレイから消え得る。同様に、外科用デバイスの制御に関連付けられた仮想オブジェクトは、第２の外科チームメンバーが外科用デバイスの制御を受け入れると、第２の外科チームメンバーに関連付けられたディスプレイ上に現れ得る。
いくつかの態様では、インテリジェント外科用システムは、使用中の器具の原位置及び体外態様並びに器具を制御する関連付けられたユーザを判定することができる。外科用システムはまた、２つのファセットの正しい相関を検証するために、体外で生じる動作を体内で生じる動きと関連付けることできる。
上記で開示したように、外科チームの各メンバーは、外科チームメンバーの活動及び役割に合わせてカスタマイズされた拡張現実ディスプレイを表示するように構成された自身のディスプレイデバイスに関連付けられてもよい。そのようなディスプレイは、一次又は主要手術室ディスプレイ、１つ以上の補助手術室ディスプレイ、１つ以上のタブレットデバイスに関連付けられたディスプレイ、ラップトップディスプレイ、スマートフォンディスプレイ、又は患者監視デバイス若しくは麻酔送達／監視デバイス等の個々の外科用デバイスに関連付けられたディスプレイを含む、任意の適切なタイプのディスプレイを含んでもよい。これらのデバイスの各々の目的は、個人の機能的役割に合わせてカスタマイズされた情報を提供することである。
ディスプレイが特定の外科チームメンバーに合わせてカスタマイズされるだけでなく、チームメンバーは、タッチ起動画面をスワイプすること、ハンドジェスチャの使用、又は口頭コマンドによって等、チームの別のメンバーのディスプレイを示すように、自身のディスプレイを修正することが可能であり得る。このようにして、チームメンバーは、別のチームメンバーのディスプレイデバイスからディスプレイを「プル」することが可能であり得る。代替的に、一部のチームメンバーは、自身のディスプレイを外科チームの他のメンバーのディスプレイデバイス上に「プッシュ」する権限を有し得る。
いくつかの態様では、各メンバーは、物理的なディスプレイデバイスを有していなくてもよい。代わりに、外科チームの複数のメンバーが、共有又は共通ディスプレイデバイスに依存し得る。この状況では、カスタマイズ体験は、眼鏡、ヘッドアップディスプレイ、又はコンタクトレンズ等のウェアラブル画像フィルタリングデバイスから得ることができる。共通ディスプレイデバイスは、外科チームのメンバーの全てに関連付けられた仮想オブジェクトを含む画像を表示してもよい。仮想オブジェクトは、外科チームの各メンバーが、ウェアラブル画像フィルタリングデバイスを使用することによって、自身に関連付けられた仮想オブジェクトのみを見ることができるように、色分けされるか、又は別様に視覚的に符号化されてもよい。ウェアラブル画像フィルタリングデバイスは、急速に変化する撮像の色フィルタリング、偏光フィルタリング、又は時間フィルタリングに基づいて、共通ディスプレイデバイス上に表示される画像をフィルタリングしてもよい。色及び偏光フィルタリングは、ユーザが、予め選択された波長又は偏光状態で放出された光のみを見ることを可能にし得る。時間フィルタリングは、ウェアラブルフィルタの空白状況のタイミングを、特定の画像が共通ディスプレイデバイス上に表示される時間と調整することができる。カラーフィルタコンタクトレンズ又はゴーグルは、情報レベルでのラピッドプロトタイピング及び情報収集のために使用され得る。代替的に、ズーム特徴又はＵＶ光起動オプションが、ウェアラブルフィルタに組み込まれてもよい。
インタラクティブ外科用システムはまた、外科チームのメンバー間及び／又はハブ若しくはクラウドシステムとの通信の優先度を管理してもよい。したがって、任意の指定された時間に処置に重要であると見なされる機能又は活動から生じる通信は、例えば、日常的な患者監視に関連付けられ得る通信よりも優先され得る。これらの通信は、外科チームのメンバー間で優先され得る。したがって、処置の特定の部分の間に使用されている重要なデバイスによって生成される関連データは、デバイスの有用な情報を伝達するために、外科チームの全ての関連メンバーに直接通信され得る。非限定的な一例では、外科医は、超音波ブレードが熱いかどうかを常に知る必要があり得るが、麻酔医は、熱いブレードが重要な解剖学的構造といつ接触するかを知るだけでよい。この場合、重要な解剖学的構造が熱いブレードによって接触されたときのみ、超音波ブレードの温度に関連付けられる振動フィードバックによって麻酔医に通知することができる。外科医は、触覚フィードバック、例えば、光振動応答を熱いブレードから受信し、ブレードが全体的に重要な構造に接近したときに通知／光振動を受信することができる。別の例として、止血の困難さをもたらすデバイス及び／又は処置が優先され得る。止血を監視するために必要であり得る処置のデータ特有の部分、例えば、血流のタイプ及びソースは、外科チームの間で共有されてもよい。
外科チームの各メンバーは、自身のカスタマイズされた拡張現実ディスプレイを有し得るが、状況によっては、個々のディスプレイオプションが無効にされ得る。一例として、緊急事態の間、誰もが、検出された状況に基づいて、同じディスプレイを見るか、又は同じ優先順位付けされたアラートを得ることができる。外科チームの全てのメンバーは、標準的な交渉不可能なマスター設定又は標準的なビューを得ることができる。しかしながら、各個人は、追加の設定及び選好を標準画像に追加することができる。
いくつかの態様では、外科チームの特定のメンバー間の通信は、直接通信のために情報を特定のメンバーとペアリングすることをもたらすように、優先されてもよい。一例では、外科医の長は、自身が見ているものを共有することができ、自身のディスプレイ／ウェアラブル選好は、外科チームの具体的に選択されたメンバーに拡張されてもよい。例えば、外科医の長は、自身のディスプレイを外科研修医に「プッシュ」することができ、したがって、外科研修医は、外科医の長と同じものを見るか、又は感じることができる。ウェアラブルデバイスを伴うピングシステムは、他の外科チームメンバーに、それらのそれぞれの拡張現実ディスプレイを切り替えるように通知してもよい。一例として、外科医又は外科助手は、麻酔医にピングして、彼らのビュー／選好を外科医のビュー／選好に切り替えることができる。このようにピングされた外科チームメンバーは、より高い優先度のタスクが手元にある場合、招待を辞退し得ることが理解され得る。
外科用システムは、インテリジェント外科用デバイスとの通信ペアリングを開始し、その後、デバイスがアクティブである間に、デバイスのユーザをデバイスに関連付け得る。インテリジェント外科用デバイスが外科チームのメンバーによって制御され得ることが、上記で開示される。インテリジェント外科用システムは、インテリジェント外科用システムがデバイス自体との通信ペアリングを確立した後に、人物のデバイスとの関連付けを認識し得る。システムは、最初に、デバイスが外科手術室内に位置することを判定してもよい。システムは、次いで、デバイスがその滅菌包装から取り出されたときを認識してもよく、それによって、チームのメンバーによる使用のために受動的に選択可能になる。外科チームメンバーがデバイスの取り扱いを開始すると、インタラクティブ外科用システムは、インテリジェントデバイスの状態をアクティブに選択されているものとして認識してもよく、システムは、したがって、デバイスと外科チームメンバーとの間の制御又は関連付けを認識することができる。
デバイスの監視－ユーザの相互作用及びディスプレイニーズの変化
インテリジェント外科用システムは、インテリジェント外科用器具状態の状況認識、チームメンバーの機能的役割、及び処置におけるステップのうちの１つ以上に基づいて、外科チームのメンバーのタスクを決定し得る。状況認識は、手元にあるタスクに基づいて拡張現実仮想オブジェクトディスプレイ情報を適合させるために使用され得る。
非限定的な一例では、外科医は、横切開する臓器上に配置された装填済みステープラを展開することができる。拡張現実ディスプレイは、発射力（ＦＴＦ）、待機時間、及び検出された組織張力、並びにインテリジェント医療デバイスのカートリッジ色、状態、及びストローク場所のうちの１つ以上に関連する情報を表示する、仮想オブジェクトを含んでもよい。発射が完了すると、外科医は、組織を解放し、閉鎖し、デバイスを除去することができる。ここで、デバイスは消費されたカートリッジを有するので、拡張現実ディスプレイは、ステープラが再装填されるまで再び使用されることができないことを示すことができる。拡張現実ディスプレイは、色付き仮想オブジェクトをステープラの画像上のオーバーレイとして使用して、ステープルが再装填されるまで追加の使用に利用可能でないことを示してもよい。ステープラがスクラブ看護師に手渡されると、ステープラを表す仮想オブジェクトを看護師の拡張現実ディスプレイに移すことができる。同時に、ステープラを表す仮想オブジェクトは、デバイスの制御が看護師に渡されたことを示すために、外科医の拡張現実ディスプレイから除去され得る。看護師の拡張現実ディスプレイは、次いで、ステープラの発射状態を示し、新しい未発射カートリッジを器具に再装填するために必要とされるステップを示すことができる。そのような仮想オブジェクトは、処置計画及びインテリジェント医療器具が現在その間にあるステップの認識に基づいて、押すべきステープラのボタン、それらの順序、及び次のカートリッジ色の提案に関するインジケーションを含み得る。いくつかの態様では、看護師の拡張現実ディスプレイはまた、他のディスプレイにリンクして、必要とされるカートリッジがどこに位置するか、更にはデバイス及び処置とともに装填されているカートリッジの適合性を示すことができる。
いくつかの態様では、インタラクティブ外科用システムは、手術室処置の複数の態様を追跡することができる。いくつかの例では、インタラクティブ外科用システムは、処置中に使用される複数のインテリジェント外科用デバイスの使用及び制御、外科チームメンバーの場所及び活動、並びに手術ｒｏｍ自体の範囲内の機器及び患者の配置を追跡し得る。インタラクティブ外科用システムが外科アクセスポイントを含むことができ、それらを患者、器具の場所、向き、若しくは状態、又は紛失若しくは誤配置された機器に登録することができる追加の追跡可能な態様。いくつかの追加の態様では、インタラクティブ外科用システムは、進行中の外科的処置ステップを識別することができる。外科用システムは、１つ以上の拡張現実ディスプレイ上に背景ハイライトを伴う仮想オブジェクトを表示して、重要な又は時間に敏感なステップを示すか、又は特定のステップが他よりも高いリスクレベルにあることを示してもよい。
いくつかの態様では、インタラクティブ外科用システムは、手術室内の外科チームのメンバーの技能又は能力を追跡することができる。加えて、インタラクティブ外科用システムは、手術室内の外科チームのメンバーの個々の場所及びそれらの機能を追跡することができる。手術室に出入りする人員の場所も追跡することができる。インタラクティブ外科用システムは、レイアウトを改善するために、手術室内での外科用スタッフの動き、相互作用、及び動きを監視することができる。インテリジェント外科用デバイスの使用に関連する態様、例えば、そのようなデバイスを使用するチームメンバーの利き手、又は効率を最適化するための使用前若しくは使用後の外科用デバイスのテーブル上への配置が追跡され得る。
図１６は、インタラクティブ外科用システムによって追跡することができ、最適化戦略を開発するために分析することができる、外科的処置と関連付けられる種々の態様を描写する。患者に関連するデータは、患者の場所、並びに手術前及び手術後のスケジューリングを含んでもよい。材料データは、ガーゼ及びワイプ等の消耗品のリスト及び場所、並びに病院サプライチェーンにおけるそれらの管理を含むことができる。場所関連データは、手術室だけでなく、保管設備及び作業場所等の補助室を含んでもよい。管理事項は、病院の業務実務、実務に対する医療、政治、経済、及び法的な制約に関連するルール、規制、及び法律を含んでもよい。機能データは全て、外科的処置に含まれる個々のステップ、プロセス、及びサブプロセスに関連するデータである。フローデータは、モデルを含む処置及びプロセスの実際のシーケンスを包含する。操作データは、デバイス及びツールとともに、外科用機器の種々の部品の適用に関する。情報は、処置中に取得された全てのデータ、文書、及び処置のデータモデルを含む。最後に、組織データは、スタッフ識別、外科的役割、及び病院自体の編成モデルを含む、病院からの人材データを含んでもよい。
図１７は、追跡目的のためにモデル化され得る手術室１１１００の態様を描写する。描写された手術室１１１００は、単に手術室全般を表すものであってもよく、レイアウトは、手術室の任意の現実世界の例に適合されてもよい。手術室１１１００は、アクセス１１１０２を有し、それを通して、患者、外科チームメンバー、及び機器が入ることができる。手術室は、使用済み機器が廃棄又はリサイクルのために流れることができる出口１１１１６を有することができる。患者及び外科医のための無菌区域１１１０８と、麻酔医及び麻酔専門看護師のための麻酔区域１１１１０とを含む中央手術現場１１１１８があってもよい。中央手術現場１１１１８はまた、手術に関与する任意の手術ロボットの場所を含んでもよい。中央手術現場１１１１８を取り囲むのは、看護師、技術者、及び他の個人が手術現場１１１１８で実行される外科的処置を妨げないように移動することができる循環区域１１１０６であってもよい。臨床記録をとることができるカルテ記入区域１１１０４は、循環区域１１１０６を通してアクセス可能であってもよい。手術室１１１００の外側に周辺通路１１１１２があってもよく、これは、外科チームメンバーが自身の手を洗浄し、自身の個人用保護具を装着するためのスクラブステーション１１１１４を含んでもよい。
インタラクティブ外科用システムは、立っている間に前後に揺れる等、外科チームのメンバーの姿勢変化を追跡することができる。そのような姿勢活動は、外科チームメンバーの疲労レベルの増加のインジケーションであり得る。それに応答して、インタラクティブ外科用システムは、外科チームの疲労メンバーに関連付けられた拡張現実ディスプレイ上に仮想オブジェクトを表示することができる。インタラクティブ外科用システムは、それぞれの拡張現実ディスプレイ上に適切な仮想オブジェクトを表示することによって、現在のスタッフ又は外科医に潜在的に休憩を可能にするようにサポートスタッフにアラートすることができる。一態様では、仮想オブジェクトは、チームメンバーの疲労状態のインジケータであり得る。外科メンバー疲労１１０６０のそのような仮想物体警告の例は、図１８に描写される。
手術室処置の複数の態様を追跡するインタラクティブ外科用システムの能力の一部として、インタラクティブ外科用システムは、外科的処置中の性能を改善するための最適化アルゴリズムを含んでもよい。そのような最適化は、必要とされる外科用ツールの全てが利用可能であり、処置の開始前に好都合に配置されることを判定すること等、正しい時間に使用される正しい外科用ツールの最適化を含んでもよい。システムは、機器の最適化手術室レイアウト、最適化された患者配置、又は機器若しくは手術室ドアへの最適化されたアクセスを決定してもよい。
処置が完了すると、インタラクティブ外科用システムは、非効率的な領域を最小限に抑えるために、手術室のフローに対する変更を分析及び提案することができる。この分析は、全ての将来の同等の手術の処置計画に影響を与える可能性がある。この分析は、各固有の動作に合わせて調整することができる。手術室のサイズ、形状、スタッフの数、入口及び出口の配置、手術室内の補給品の場所、及び手術室に入るために必要とされる外部材料は全て、手術中の外科チームメンバーの動き及び動作、並びに手術の結果を考慮して、インタラクティブ外科用システムによって分析され得る。インタラクティブ外科用システムは、複数のシナリオを仮想的に実行して、「最適な」ワークフローを決定することができる。将来の同様の処置は、更新されたフローを使用して効率を上げ、疲労を低減することができる。例えば、拡張現実ディスプレイ上の仮想オブジェクトを有効化することによって、改善されたロジスティクス及び手術効率が示され得る。そのような仮想オブジェクトは、製品のフロー及び利用を可視化するために、デバイスレイアウト、機器の場所、及び患者レイアウトの画像上のグラフィカルオーバーレイを含んでもよい。
最適化された手術室のいくつかの例示的な図が、図１９Ａ、図１９Ｂ、及び図１９Ｃに描写されている。各図１１２００ａ、ｂ、ｃは、１つ以上の支持区域１１２０２ａ、ｂ、ｃ、遷移区域１１２０４ａ、ｂ、ｃ（図１７の循環区域１１１０６に相当する）、及び１つ以上の供給区域１１２０６ａ、ｂ、ｃを含む手術室の構成要素の可能な編成を描写する。麻酔区域は１１２０８ａ、ｂ、ｃで示され、手術台１１２１０ａ、ｂ、ｃは中央手術現場（図１７の１１１１８）に配置される。これらの描写では、手術台１１２１０ａ、ｂ、ｃは、右のテーブル区域、左のテーブル区域、足区域に細分される。
手術が完了した後、オーバーレイが投影されて、手術室内の様々な器具及び材料に対してどの処分方法を使用すべきかを示す。いくつかの例では、バッテリは、それ自体の廃棄物流に向けられてもよい。使用済み医療デバイス又はインテリジェント医療デバイスの使い捨て部分は、医療廃棄物処分領域に向けられてもよい。未使用の材料は、ストックに戻されるか、又は手術室内に留まることができる。適切なリサイクル、再使用又は処分を確実にするために、医療デバイス又は医療使い捨て用品の包装を追跡することができる。
デバイス所有権及びタスクニーズに基づく仮想オブジェクトデータのカスタマイズ
いくつかの態様では、拡張現実ディスプレイは、ユーザの制御下でインテリジェント外科用器具に関連する仮想オブジェクトのディスプレイを有効化するように、その関連付けられたユーザによってカスタマイズされてもよい。インタラクティブ外科用システムは、手術室内の外科チームの各メンバーの制御下で、インテリジェント外科用器具の状態を監視してもよい。次いで、インタラクティブ外科用システムは、外科チームメンバーの制御下にあるデバイスと、チームメンバーが行動しているタスク又は状況との両方の結果である、外科チームメンバーに関連付けられた拡張現実ディスプレイ上の１つ以上の仮想オブジェクトのディスプレイを制御してもよい。
インタラクティブ外科用システムは、どの外科チームメンバーがどの拡張現実ディスプレイデバイスを使用しているかを追跡することができる。これは、従来のモニタを含むことができるが、拡張現実眼鏡、ウェアラブル、二次ディスプレイ、器具上のディスプレイ、及び資本機器制御ディスプレイを含むこともできる。次いで、外科チームメンバーによって使用されている器具のその理解を使用して、インタラクティブ外科用システムは、外科チームメンバーに関連付けられたディスプレイ上に、手元にあるタスクに有用な仮想オブジェクトを用いてディスプレイを調整することができる。一態様では、そのような仮想オブジェクトは、インテリジェント外科用デバイスを制御している外科チームメンバーの拡張現実ディスプレイ上に表示されてもよい。代替的に、そのような仮想オブジェクトは、外科チームのメンバーのうちの何人か又は全員の拡張現実ディスプレイ上に表示されてもよい。これは、ＯＲ内の全てのユーザと、彼らがそれぞれ同時に使用している全ての器具及びディスプレイとで行われる可能性がある。いくつかの態様では、仮想オブジェクトは、外科用器具の画像を囲む色付きのハイライトとして現れてもよい。ハイライトは、外科用器具の画像上に表示される輪郭又は色付きのオーバーレイとして現れてもよい。他の仮想オブジェクトは、術野において可視である組織のテキストメッセージ又は二次画像を含む補助ウィンドウディスプレイを含んでもよい。いくつかの他の態様では、補助ウィンドウディスプレイは、クラウドシステム内の人工知能モジュールによって計算されたモデルから導出された画像を含むことができる。これらのモデルは、術野内のビューから隠された組織の画像、又は外科医によって使用されるインテリジェント医療器具の代替的なビューを含み得る。
いくつかの態様では、拡張現実ディスプレイは、関連付けられたユーザによってカスタマイズされ、関連付けられたユーザ又は別の外科チームメンバーの制御下にあるインテリジェント外科用デバイスの状態に関連する仮想オブジェクトのディスプレイを有効化し得る。状態は、デバイスが電力供給されていること、いくつかのタイプの機能のうちの１つを実行していること、デバイスの電力レベル、ステープル等の補助構成要素の状態、エラー状況、及び同様の機能状態を含み得る。
いくつかの態様では、拡張現実ディスプレイは、その関連付けられたユーザによってカスタマイズされ、患者への別の外科用デバイスの適用等のイベントに関連する仮想オブジェクトのディスプレイを有効化し得る。仮想オブジェクトは、線形カウンタ又は円形カウンタ等のカウンタ又はタイマを表示してもよい。タイマは、イベントを計時するために使用され得る。
いくつかの態様では、拡張現実ディスプレイは、その関連付けられたユーザによってカスタマイズされ、ペアリングされたデバイスの状態に関係する仮想オブジェクトのディスプレイを有効化し得る。一例では、仮想オブジェクトは、ステープラのエネルギーレベルに関連する色又は強度を有するステープラ上にオーバーレイされたハイライトであってもよい。いくつかの例では、ハイライトは、ステープラがディスプレイデバイスに関連付けられた外科医によって制御されるときのみ、拡張現実ディスプレイに適用されてもよい。
いくつかの態様では、拡張現実ディスプレイは、その関連付けられたユーザによってカスタマイズされ、アクティブデバイスの状態に関連する仮想オブジェクトのディスプレイを有効化し得る。手術室内に位置するインテリジェント外科用デバイスは、インタラクティブ外科用システム、通信ハブ、クラウドシステム、又は他の機器とアクティブに通信してもよい（アクティブにペアリングされてもよい）。外科用デバイスは、外科医によってアクティブに使用されていても使用されていなくてもよいが、単に、使用の準備が整った状態でメイヨースタンドに配置されていてもよい。外科医によってアクティブに使用されているデバイスは、外科医によって現在使用又は保持されているものであってもよい。外科医によって使用されているデバイスは、術野内の外科医と現在何らかの動作を実行しているデバイスであり得る。
いくつかの態様では、アクティブデバイスの状態に関連する仮想オブジェクトは、一定の不使用時間の後にディスプレイから消え得る。いくつかの態様では、アクティブデバイスの状態に関連する仮想オブジェクトは、デバイスがアクティブ使用中又は使用中であるときのみ、デバイス関連情報を表示し得る。
いくつかの態様では、拡張現実ディスプレイは、ディスプレイを有効化するためのユーザ入力又は要求に基づいて、その関連付けられたユーザによってカスタマイズされ得る。拡張現実ディスプレイの技術的能力に応じて、入力は、キーボード、マウス、口頭コマンド、ジェスチャ、タッチセンシティブスクリーン上の触覚入力、スタイラス、又は情報入力の任意の他の手段から受信され得る。
複数の拡張現実ディスプレイデバイスが、手術室内で使用され得ることが理解され得る。１つ以上の主要のワイドスクリーンディスプレイが、使用するために外科チームのメンバーの全員に利用可能であり得る。代替的に、他のディスプレイタイプのデバイスが、インタラクティブ外科用システムによって、外科チームのメンバーのそれぞれと関連付けられてもよい。そのようなデバイスは、１つ以上のラップトップデバイス、タブレットデバイス、又は拡張現実ヘッドセット等のウェアラブルデバイスを含み得る。タブレットディスプレイデバイスは、標準ＯＲ内のより大きいディスプレイデバイスとは異なり得る。インタラクティブ外科用システムが、タブレット画面を使用していると判定するか、又はユーザが示した場合、拡張現実ディスプレイデバイス上に表示される仮想オブジェクトは、ディスプレイの場所、アスペクト比、色、又は他の視覚的設計態様のいずれかにおいて、より小さい画面に適合するように調整されてもよい。ユーザは、どの仮想オブジェクトが存在し、どの仮想オブジェクトが除外されるべきかを決定することができる。
外科チームメンバーは、特定の仮想オブジェクトがどこに表示されるかを決定するために関連付けられる拡張現実ディスプレイの一部と相互作用してもよい。他の態様では、外科チームメンバーは、オーバーレイ、構成、又は場所のディスプレイを指定するであろう分類子を走査、写真撮影、又は入力してもよい。他の態様では、外科チームメンバーは、所定の構成又は入力を識別して、ユーザに関連付けられた拡張現実ディスプレイのレイアウトをカスタマイズするために、ウェアラブルデバイス等の別個のデバイスを介して拡張現実ディスプレイの一部と相互作用してもよい。他の態様では、ユーザのオーディオ又は視覚ソースは、それらの制御において器具と連結され得る。いくつかの他の態様では、複数の器具のリンクされたディスプレイ又はインタラクティブディスプレイを示す仮想オブジェクトは、個々の独立したディスプレイの各々よりも詳細な概要とともに、複数の拡張現実ディスプレイ上に、又は主要若しくは一次手術室ディスプレイ上に一緒に表示され得る。
外科チームの個々のメンバーは、関連付けられた拡張現実ディスプレイ上の仮想オブジェクトのディスプレイをカスタマイズすることが可能であり得るが、特定の外科チームメンバーのために表示される情報は、インテリジェント外科用器具がそれらの制御を開始又は終了するにつれて変化し得る。いくつかの態様では、インテリジェント外科用システムは、外科チームのメンバー間の器具交換及び所有権の変化を追跡し、所有権変化に基づいて、拡張現実の表示されたデータを調整してもよい。更に、インタラクティブ外科用システムは、使用中の器具の原位置及び体外態様、並びに器具を制御する関連付けられたユーザを決定することができる。インタラクティブ外科用システムは、２つのファセットの正しい相関を検証するために、体外で発生する動作を体内で発生する運動と関連させることができる。
本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。
実施例１：外科チームのメンバー間でデータを分配する方法であって、モジュール式制御タワーによって、複数の撮像デバイスから撮像データを受信することと、モジュール式制御タワーによって、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、モジュール式制御タワーによって、ディスプレイデバイスを外科チームのメンバーに関連付けることと、モジュール式制御タワーによって、外科チームのメンバーの機能的役割を定義することと、モジュール式制御タワーによって、ディスプレイデバイスによる拡張現実ディスプレイを表示することと、を含み、ディスプレイデバイス上の拡張現実ディスプレイが、撮像データ、デバイス依存データ、外科チームのメンバーの機能的役割、及び外科チームのメンバーによる外科活動に基づく仮想オブジェクトを含む、方法。
実施例２：モジュール式制御タワーによって、デバイス依存データを受信することが、モジュール式制御タワーによって、複数のインテリジェント外科用器具のうちの１つ以上を制御する外科チームのメンバーを定義するデータを受信することを含む、実施例１に記載の方法。
実施例３：モジュール式制御タワーによって、複数のインテリジェント外科用器具のうちの１つ以上を制御する外科チームのメンバーに関連付けられた拡張現実ディスプレイ上に、複数のインテリジェント外科用器具のうちの１つ以上の、外科チームのメンバーによる制御機能に関連付けられた仮想オブジェクトを表示することを更に含む、実施例２に記載の方法。
実施例４：モジュール式制御タワーによって、外科チームのメンバーによって制御される複数のインテリジェント外科用器具のうちの１つ以上の原位置の態様及び体外態様を判定することと、モジュール式制御タワーによって、複数のインテリジェント外科用器具のうちの１つ以上の原位置の態様に関連付けられた仮想オブジェクトを、複数のインテリジェント外科用器具のうちの１つ以上を制御する外科チームのメンバーに関連付けられたディスプレイデバイス上に表示することと、を更に含む、実施例３に記載の方法。
実施例５：モジュール式制御タワーによって、複数のインテリジェント外科用器具のうちの１つ以上の原位置の態様の動作を、複数のインテリジェント外科用器具のうちの１つ以上の体外態様の動作と相関させることを更に含む、実施例４に記載の方法。
実施例６：外科チームのメンバーが複数のインテリジェント外科用器具のうちの１つ以上の制御を放棄するとき、モジュール式制御タワーによって、複数のインテリジェント外科用器具のうちの１つ以上を制御する外科チームのメンバーに関連付けられた拡張現実ディスプレイ上に表示された仮想オブジェクトを変更することを更に含む、実施例３に記載の方法。
実施例７：モジュール式制御タワーによって、複数のインテリジェント外科用器具のうちの１つ以上の制御を受信する外科チームのメンバーに関連付けられたディスプレイデバイス上の拡張現実ディスプレイを変更することを更に含む、実施例６に記載の方法。
実施例８：外科チームの第１のメンバーによって、外科チームの第２のメンバーに関連付けられたディスプレイデバイスに、外科チームの第１のメンバーに関連付けられた拡張現実ディスプレイを表示させることを更に含む、実施例１に記載の方法。
実施例９：外科チームの第１のメンバーによって、外科チームの第１のメンバーに関連付けられたディスプレイデバイスに、外科チームの第２のメンバーに関連付けられた拡張現実ディスプレイを表示させることを更に含む、実施例１に記載の方法。
実施例１０：外科チームのメンバーによって、外科チームのメンバーに関連付けられた拡張現実ディスプレイの仮想オブジェクトを調整することを更に含む、実施例１に記載の方法。
実施例１１：外科チームのメンバーによって、外科チームのメンバーに関連付けられた拡張現実ディスプレイ上に表示された仮想オブジェクトの態様を調整することを更に含む、実施例１に記載の方法。
実施例１２：拡張現実ディスプレイ上に表示される仮想オブジェクトの態様を調整することが、拡張現実ディスプレイ上の仮想オブジェクトのうちの１つ以上の場所を調整することを含む、実施例１１に記載の方法。
実施例１３：自動外科用システムであって、モジュール式制御タワーと、モジュール式制御タワーとデータ通信する複数の撮像デバイスと、複数のインテリジェント外科用器具と、モジュール式制御タワーとデータ通信する複数のディスプレイデバイスと、を備える自動外科用システム。複数のディスプレイデバイスの各々は、モジュール式制御タワーによって、外科チームの１人以上のメンバーと関連付けられ、外科チームの１人以上のメンバーの各々は、機能的役割によって定義される。モジュール式制御タワーは、命令を記憶するように構成される１つ以上のメモリ構成要素とデータ通信するコントローラを備え、命令は、コントローラによって実行されると、コントローラに、複数の撮像デバイスから撮像データを受信することと、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、複数のディスプレイデバイスの各々に拡張現実ディスプレイを表示することと、を行わせる。指定されたディスプレイデバイス上の拡張現実ディスプレイは、撮像データ、デバイス依存データ、指定されたディスプレイデバイスに関連付けられた外科チームの指定されたメンバーの機能的役割、及び外科チームの指定されたメンバーによる外科活動に基づく仮想オブジェクトを含み得る。
実施例１４：複数のディスプレイデバイスの各々の拡張現実ディスプレイが、同じである、実施例１３に記載のシステム。
実施例１５：指定されたディスプレイデバイスの拡張現実ディスプレイが、指定されたディスプレイデバイスに関連付けられた外科チームの指定されたメンバーによってカスタマイズ可能である、実施例１３に記載のシステム。
実施例１６：拡張現実ディスプレイの仮想オブジェクトが、１つ以上のディスプレイデバイスのタイプに依存する、実施例１３に記載のシステム。
実施例１７：指定されたディスプレイデバイス上の拡張現実ディスプレイの仮想オブジェクトが、外科チームの指定されたメンバーによって制御される１つ以上のインテリジェント外科用器具に依存する、実施例１３に記載のシステム。
実施例１８：拡張現実ディスプレイの仮想オブジェクトが、外科チームの指定されたメンバーが１つ以上のインテリジェント外科用器具の制御を放棄するときに変化する、実施例１７に記載のシステム。
実施例１９：指定されたディスプレイデバイス上の拡張現実ディスプレイの仮想オブジェクトが、外科チームの指定されたメンバーによる第２の外科活動の予測を含む、実施例１７に記載のシステム。
実施例２０：拡張現実ディスプレイの仮想オブジェクトが、患者の重要な解剖学的構造からの１つ以上のインテリジェント外科用器具の距離に依存する、実施例１７に記載のシステム。
実施例２１：拡張現実ディスプレイの仮想オブジェクトが、外科チームの指定されたメンバーによって制御される１つ以上のインテリジェント外科用器具が、外科活動のために不適切に使用されるか、又は不適当であることを示す、実施例１７に記載のシステム。
実施例２２：拡張現実ディスプレイの仮想オブジェクトが、外科チームの指定されたメンバーに見えない１つ以上のインテリジェント外科用器具のビューを描写する、実施例１７に記載のシステム。
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組合せ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組合せ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組合せによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１台以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組合せとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組合せを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組合せで実装されてもよいことを認識するであろう。
本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながるステップの自己無撞着シーケンスを指し、「ステップ」とは、必ずしも必要ではないが、記憶、転送、組合せ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくはディスプレイデバイス内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置の動作及び処理を指していることが理解されよう。
１つ以上の構成要素が、本明細書中で、「ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（複数可）で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する（responsive to）」、「～に関連する（related to）」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。
本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例とともに、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書とともに提示される特許請求の範囲が全体的な範囲を定義することが意図される。
〔実施の態様〕
（１） 外科チームのメンバー間でデータを分配する方法であって、
モジュール式制御タワーによって、複数の撮像デバイスから撮像データを受信することと、
前記モジュール式制御タワーによって、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、
前記モジュール式制御タワーによって、ディスプレイデバイスを前記外科チームのメンバーに関連付けることと、
前記モジュール式制御タワーによって、前記外科チームの前記メンバーの機能的役割を定義することと、
前記モジュール式制御タワーによって、前記ディスプレイデバイスによる拡張現実ディスプレイを表示することと、を含み、
前記ディスプレイデバイス上の前記拡張現実ディスプレイが、前記撮像データ、前記デバイス依存データ、前記外科チームの前記メンバーの前記機能的役割、及び前記外科チームの前記メンバーによる外科活動に基づく仮想オブジェクトを含む、方法。
（２） 前記モジュール式制御タワーによって、デバイス依存データを受信することが、前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームのメンバーを定義するデータを受信することを含む、実施態様１に記載の方法。
（３） 前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームの前記メンバーに関連付けられた拡張現実ディスプレイ上に、前記複数のインテリジェント外科用器具のうちの前記１つ以上の、前記外科チームの前記メンバーによる制御機能に関連付けられた仮想オブジェクトを表示することを更に含む、実施態様２に記載の方法。
（４） 前記モジュール式制御タワーによって、前記外科チームの前記メンバーによって制御される前記複数のインテリジェント外科用器具のうちの１つ以上の原位置の態様及び体外態様を判定することと、
前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上の前記原位置の態様に関連付けられた仮想オブジェクトを、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームの前記メンバーに関連付けられた前記ディスプレイデバイス上に表示することと、を更に含む、実施態様３に記載の方法。
（５） 前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上の前記原位置の態様の動作を、前記複数のインテリジェント外科用器具のうちの前記１つ以上の前記体外態様の動作と相関させることを更に含む、実施態様４に記載の方法。
（６） 前記外科チームの前記メンバーが前記複数のインテリジェント外科用器具のうちの前記１つ以上の制御を放棄するとき、前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームの前記メンバーに関連付けられた前記拡張現実ディスプレイ上に表示された前記仮想オブジェクトを変更することを更に含む、実施態様３に記載の方法。
（７） 前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上の制御を受信する前記外科チームのメンバーに関連付けられたディスプレイデバイス上の拡張現実ディスプレイを変更することを更に含む、実施態様６に記載の方法。
（８） 前記外科チームの第１のメンバーによって、前記外科チームの第２のメンバーに関連付けられたディスプレイデバイスに、前記外科チームの前記第１のメンバーに関連付けられた拡張現実ディスプレイを表示させることを更に含む、実施態様１に記載の方法。
（９） 前記外科チームの第１のメンバーによって、前記外科チームの前記第１のメンバーに関連付けられたディスプレイデバイスに、前記外科チームの第２のメンバーに関連付けられた拡張現実ディスプレイを表示させることを更に含む、実施態様１に記載の方法。
（１０） 前記外科チームの前記メンバーによって、前記外科チームの前記メンバーに関連付けられた前記拡張現実ディスプレイの前記仮想オブジェクトを調整することを更に含む、実施態様１に記載の方法。
（１１） 前記外科チームの前記メンバーによって、前記外科チームの前記メンバーに関連付けられた前記拡張現実ディスプレイ上に表示される前記仮想オブジェクトの態様を調整することを更に含む、実施態様１に記載の方法。
（１２） 前記拡張現実ディスプレイ上に表示される前記仮想オブジェクトの態様を調整することが、前記拡張現実ディスプレイ上の前記仮想オブジェクトのうちの１つ以上の場所を調整することを含む、実施態様１１に記載の方法。
（１３） 自動外科用システムであって、
モジュール式制御タワーと、
前記モジュール式制御タワーとデータ通信する複数の撮像デバイスと、
複数のインテリジェント外科用器具と、
前記モジュール式制御タワーとデータ通信する複数のディスプレイデバイスと、を備え、
前記複数のディスプレイデバイスの各々が、前記モジュール式制御タワーによって、外科チームの１人以上のメンバーと関連付けられ、前記外科チームの前記１人以上のメンバーの各々が、機能的役割によって定義され、
前記モジュール式制御タワーが、命令を記憶するように構成された１つ以上のメモリ構成要素とデータ通信するコントローラを備え、前記命令が、前記コントローラによって実行されると、前記コントローラに、
前記複数の撮像デバイスから撮像データを受信することと、
前記複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、
前記複数のディスプレイデバイスの各々に拡張現実ディスプレイを表示することであって、指定されたディスプレイデバイス上の前記拡張現実ディスプレイが、前記撮像データ、前記デバイス依存データ、前記指定されたディスプレイデバイスに関連付けられた前記外科チームの指定されたメンバーの前記機能的役割、及び前記外科チームの前記指定されたメンバーによる外科活動に基づく仮想オブジェクトを含む、ことと、を行わせる、自動外科用システム。
（１４） 前記複数のディスプレイデバイスの各々の前記拡張現実ディスプレイが同じである、実施態様１３に記載のシステム。
（１５） 前記指定されたディスプレイデバイスの拡張現実ディスプレイが、前記指定されたディスプレイデバイスに関連付けられた前記外科チームの前記指定されたメンバーによってカスタマイズ可能である、実施態様１３に記載のシステム。
（１６） 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記１つ以上のディスプレイデバイスのタイプに依存する、実施態様１３に記載のシステム。
（１７） 前記指定されたディスプレイデバイス上の前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーによって制御される１つ以上のインテリジェント外科用器具に依存する、実施態様１３に記載のシステム。
（１８） 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーが前記１つ以上のインテリジェント外科用器具の制御を放棄するときに変化する、実施態様１７に記載のシステム。
（１９） 前記指定されたディスプレイデバイス上の前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーによる第２の外科活動の予測を含む、実施態様１７に記載のシステム。
（２０） 前記拡張現実ディスプレイの前記仮想オブジェクトが、患者の重要な解剖学的構造からの前記１つ以上のインテリジェント外科用器具の距離に依存する、実施態様１７に記載のシステム。
（２１） 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーによって制御される前記１つ以上のインテリジェント外科用器具が、前記外科活動のために不適切に使用されるか、又は不適当であることを示す、実施態様１７に記載のシステム。
（２２） 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーに見えない前記１つ以上のインテリジェント外科用器具のビューを描写する、実施態様１７に記載のシステム。

Claims (22)

  1. 自動外科用システムであって、
    モジュール式制御タワーと、
    前記モジュール式制御タワーとデータ通信する複数の撮像デバイスと、
    複数のインテリジェント外科用器具と、
    前記モジュール式制御タワーとデータ通信する複数のディスプレイデバイスと、を備え、
    前記複数のディスプレイデバイスの各々が、前記モジュール式制御タワーによって、外科チームの１人以上のメンバーと関連付けられ、前記外科チームの前記１人以上のメンバーの各々が、機能的役割によって定義され、
    前記モジュール式制御タワーが、命令を記憶するように構成された１つ以上のメモリ構成要素とデータ通信するコントローラを備え、前記命令が、前記コントローラによって実行されると、前記コントローラに、
    前記複数の撮像デバイスから撮像データを受信することと、
    前記複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、
    前記複数のディスプレイデバイスの各々に拡張現実ディスプレイを表示することであって、指定されたディスプレイデバイス上の前記拡張現実ディスプレイが、前記撮像データ、前記デバイス依存データ、前記指定されたディスプレイデバイスに関連付けられた前記外科チームの指定されたメンバーの前記機能的役割、及び前記外科チームの前記指定されたメンバーによる外科活動に基づく仮想オブジェクトを含む、ことと、を行わせる、自動外科用システム。
  2. 前記複数のディスプレイデバイスの各々の前記拡張現実ディスプレイが同じである、請求項１に記載のシステム。
  3. 前記指定されたディスプレイデバイスの拡張現実ディスプレイが、前記指定されたディスプレイデバイスに関連付けられた前記外科チームの前記指定されたメンバーによってカスタマイズ可能である、請求項１に記載のシステム。
  4. 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記１つ以上のディスプレイデバイスのタイプに依存する、請求項１に記載のシステム。
  5. 前記指定されたディスプレイデバイス上の前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーによって制御される１つ以上のインテリジェント外科用器具に依存する、請求項１に記載のシステム。
  6. 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーが前記１つ以上のインテリジェント外科用器具の制御を放棄するときに変化する、請求項５に記載のシステム。
  7. 前記指定されたディスプレイデバイス上の前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーによる第２の外科活動の予測を含む、請求項５に記載のシステム。
  8. 前記拡張現実ディスプレイの前記仮想オブジェクトが、患者の重要な解剖学的構造からの前記１つ以上のインテリジェント外科用器具の距離に依存する、請求項５に記載のシステム。
  9. 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーによって制御される前記１つ以上のインテリジェント外科用器具が、前記外科活動のために不適切に使用されるか、又は不適当であることを示す、請求項５に記載のシステム。
  10. 前記拡張現実ディスプレイの前記仮想オブジェクトが、前記外科チームの前記指定されたメンバーに見えない前記１つ以上のインテリジェント外科用器具のビューを描写する、請求項５に記載のシステム。
  11. 外科チームのメンバー間でデータを分配する方法であって、
    モジュール式制御タワーによって、複数の撮像デバイスから撮像データを受信することと、
    前記モジュール式制御タワーによって、複数のインテリジェント外科用器具の各々からデバイス依存データを受信することと、
    前記モジュール式制御タワーによって、ディスプレイデバイスを前記外科チームのメンバーに関連付けることと、
    前記モジュール式制御タワーによって、前記外科チームの前記メンバーの機能的役割を定義することと、
    前記モジュール式制御タワーによって、前記ディスプレイデバイスによる拡張現実ディスプレイを表示することと、を含み、
    前記ディスプレイデバイス上の前記拡張現実ディスプレイが、前記撮像データ、前記デバイス依存データ、前記外科チームの前記メンバーの前記機能的役割、及び前記外科チームの前記メンバーによる外科活動に基づく仮想オブジェクトを含む、方法。
  12. 前記モジュール式制御タワーによって、デバイス依存データを受信することが、前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームのメンバーを定義するデータを受信することを含む、請求項１１に記載の方法。
  13. 前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームの前記メンバーに関連付けられた拡張現実ディスプレイ上に、前記複数のインテリジェント外科用器具のうちの前記１つ以上の、前記外科チームの前記メンバーによる制御機能に関連付けられた仮想オブジェクトを表示することを更に含む、請求項１２に記載の方法。
  14. 前記モジュール式制御タワーによって、前記外科チームの前記メンバーによって制御される前記複数のインテリジェント外科用器具のうちの１つ以上の原位置の態様及び体外態様を判定することと、
    前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上の前記原位置の態様に関連付けられた仮想オブジェクトを、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームの前記メンバーに関連付けられた前記ディスプレイデバイス上に表示することと、を更に含む、請求項１３に記載の方法。
  15. 前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上の前記原位置の態様の動作を、前記複数のインテリジェント外科用器具のうちの前記１つ以上の前記体外態様の動作と相関させることを更に含む、請求項１４に記載の方法。
  16. 前記外科チームの前記メンバーが前記複数のインテリジェント外科用器具のうちの前記１つ以上の制御を放棄するとき、前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上を制御する前記外科チームの前記メンバーに関連付けられた前記拡張現実ディスプレイ上に表示された前記仮想オブジェクトを変更することを更に含む、請求項１３に記載の方法。
  17. 前記モジュール式制御タワーによって、前記複数のインテリジェント外科用器具のうちの前記１つ以上の制御を受信する前記外科チームのメンバーに関連付けられたディスプレイデバイス上の拡張現実ディスプレイを変更することを更に含む、請求項１６に記載の方法。
  18. 前記外科チームの第１のメンバーによって、前記外科チームの第２のメンバーに関連付けられたディスプレイデバイスに、前記外科チームの前記第１のメンバーに関連付けられた拡張現実ディスプレイを表示させることを更に含む、請求項１１に記載の方法。
  19. 前記外科チームの第１のメンバーによって、前記外科チームの前記第１のメンバーに関連付けられたディスプレイデバイスに、前記外科チームの第２のメンバーに関連付けられた拡張現実ディスプレイを表示させることを更に含む、請求項１１に記載の方法。
  20. 前記外科チームの前記メンバーによって、前記外科チームの前記メンバーに関連付けられた前記拡張現実ディスプレイの前記仮想オブジェクトを調整することを更に含む、請求項１１に記載の方法。
  21. 前記外科チームの前記メンバーによって、前記外科チームの前記メンバーに関連付けられた前記拡張現実ディスプレイ上に表示される前記仮想オブジェクトの態様を調整することを更に含む、請求項１１に記載の方法。
  22. 前記拡張現実ディスプレイ上に表示される前記仮想オブジェクトの態様を調整することが、前記拡張現実ディスプレイ上の前記仮想オブジェクトのうちの１つ以上の場所を調整することを含む、請求項２１に記載の方法。
JP2023562917A 2021-04-14 2022-04-11 オーバーレイされたデータ及び構成のカスタマイズ Pending JP2024514882A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202163174674P 2021-04-14 2021-04-14
US63/174,674 2021-04-14
US202163284326P 2021-11-30 2021-11-30
US63/284,326 2021-11-30
US17/688,638 2022-03-07
US17/688,638 US20220334787A1 (en) 2021-04-14 2022-03-07 Customization of overlaid data and configuration
PCT/IB2022/053369 WO2022219497A1 (en) 2021-04-14 2022-04-11 Customization of overlaid data and configuration

Publications (1)

Publication Number Publication Date
JP2024514882A true JP2024514882A (ja) 2024-04-03

Family

ID=83601401

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2023563024A Pending JP2024514637A (ja) 2021-04-14 2022-04-11 外科用情報を表示する頻度間隔を予測するための１つ以上の外科用デバイスのコンテキストパラメータの利用
JP2023562913A Pending JP2024514881A (ja) 2021-04-14 2022-04-11 手術視野におけるオーバーレイを制御するための外科用データ値及び状況認識の利用
JP2023563011A Pending JP2024514633A (ja) 2021-04-14 2022-04-11 手術視野における表示態様のリスクベースの優先順位付け
JP2023562917A Pending JP2024514882A (ja) 2021-04-14 2022-04-11 オーバーレイされたデータ及び構成のカスタマイズ
JP2023562919A Pending JP2024514883A (ja) 2021-04-14 2022-04-11 遠隔デバイス機能を有する遠隔制御の組ペアのインジケーション
JP2023563019A Pending JP2024514635A (ja) 2021-04-14 2022-04-11 両方のオーバーレイが実行されることになる相互作用する器具の協調的オーバーレイ
JP2023563015A Pending JP2024514634A (ja) 2021-04-14 2022-04-11 外科用データオーバーレイを制御するためのシステム及び方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2023563024A Pending JP2024514637A (ja) 2021-04-14 2022-04-11 外科用情報を表示する頻度間隔を予測するための１つ以上の外科用デバイスのコンテキストパラメータの利用
JP2023562913A Pending JP2024514881A (ja) 2021-04-14 2022-04-11 手術視野におけるオーバーレイを制御するための外科用データ値及び状況認識の利用
JP2023563011A Pending JP2024514633A (ja) 2021-04-14 2022-04-11 手術視野における表示態様のリスクベースの優先順位付け

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2023562919A Pending JP2024514883A (ja) 2021-04-14 2022-04-11 遠隔デバイス機能を有する遠隔制御の組ペアのインジケーション
JP2023563019A Pending JP2024514635A (ja) 2021-04-14 2022-04-11 両方のオーバーレイが実行されることになる相互作用する器具の協調的オーバーレイ
JP2023563015A Pending JP2024514634A (ja) 2021-04-14 2022-04-11 外科用データオーバーレイを制御するためのシステム及び方法

Country Status (6)

Country Link
US (17) US20220336078A1 (ja)
EP (7) EP4136646A1 (ja)
JP (7) JP2024514637A (ja)
CN (7) CN117581308A (ja)
BR (6) BR112023021240A2 (ja)
WO (4) WO2022219499A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US20200078118A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Power and communication mitigation arrangement for modular surgical energy system
US11696789B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Consolidated user interface for modular energy system
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11218822B2 (en) 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US20220294825A1 (en) * 2021-03-12 2022-09-15 Noviflow Inc. Trusted dynamic server identification system and method
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US20220336078A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International System and method for tracking a portion of the user as a proxy for non-monitored instrument
KR20240005953A (ko) 2021-05-14 2024-01-12 스냅 인코포레이티드 증강 현실 경험의 시동 시간 감소
USD1003915S1 (en) * 2021-08-19 2023-11-07 Covidien Lp Surgeon display screen with a graphical user interface having electrosurgical buttons
US20230059343A1 (en) * 2021-08-21 2023-02-23 Ix Innovation Llc Telemetry-based control of robotic systems
US20230055383A1 (en) * 2021-08-23 2023-02-23 Summate Technologies, Inc. Integrated Data Capture of Sterile and Non-Sterile Surgical Supplies and Implantables
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification
US20230156174A1 (en) * 2021-11-17 2023-05-18 3Dintegrated Aps Surgical visualization image enhancement
US20230306652A1 (en) * 2022-03-11 2023-09-28 International Business Machines Corporation Mixed reality based contextual evaluation of object dimensions
US20230328494A1 (en) * 2022-04-08 2023-10-12 Shreyas Sen Distributed body area network computing system, method and computer program products
WO2023233323A1 (en) * 2022-06-02 2023-12-07 Cilag Gmbh International Customization, troubleshooting, and wireless pairing techniques for surgical instruments

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212208B2 (en) * 2003-02-25 2007-05-01 Bahram Khozai System and method to present and display multiple data using enhanced box charts
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US20070211930A1 (en) * 2006-03-09 2007-09-13 Terry Dolwick Attribute based image enhancement and display for medical imaging applications
US8982195B2 (en) * 2006-09-07 2015-03-17 Abbott Medical Optics Inc. Digital video capture system and method with customizable graphical overlay
JP5357045B2 (ja) * 2006-12-21 2013-12-04 コーニンクレッカ フィリップス エヌ ヴェ 電気的に絶縁される、ワイヤレスセンサを備えたカテーテル
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
JP5203858B2 (ja) * 2008-09-01 2013-06-05 富士フイルム株式会社 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム
EP2227063B1 (en) * 2009-03-04 2012-03-14 Fujitsu Limited Improvements to wireless sensor networks
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8730251B2 (en) * 2010-06-07 2014-05-20 Apple Inc. Switching video streams for a display without a visible interruption
CN103068348B (zh) * 2010-08-02 2015-07-15 约翰霍普金斯大学 使用协作机器人控制和音频反馈呈现力传感器信息的方法
US9055870B2 (en) * 2012-04-05 2015-06-16 Welch Allyn, Inc. Physiological parameter measuring platform device supporting multiple workflows
US11871901B2 (en) * 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9626773B2 (en) * 2013-09-09 2017-04-18 Empire Technology Development Llc Augmented reality alteration detector
US10624807B2 (en) * 2014-10-27 2020-04-21 Intuitive Surgical Operations, Inc. System and method for integrated surgical table icons
US11504192B2 (en) * 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP3258876B1 (en) * 2015-02-20 2023-10-18 Covidien LP Operating room and surgical site awareness
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
CA3016604A1 (en) * 2016-03-12 2017-09-21 Philipp K. Lang Devices and methods for surgery
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
EP3571698A1 (en) * 2017-01-17 2019-11-27 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
US9836654B1 (en) * 2017-02-28 2017-12-05 Kinosis Ltd. Surgical tracking and procedural map analysis tool
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US10242502B2 (en) * 2017-07-27 2019-03-26 Facebook, Inc. Providing an augmented reality overlay for display over a view of a user
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10610310B2 (en) * 2017-10-02 2020-04-07 Robin Elizabeth McKenzie TODD User interface system and methods for overlaying surgical video output
US11861898B2 (en) * 2017-10-23 2024-01-02 Koninklijke Philips N.V. Self-expanding augmented reality-based service instructions library
US11564756B2 (en) * 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11071595B2 (en) * 2017-12-14 2021-07-27 Verb Surgical Inc. Multi-panel graphical user interface for a robotic surgical system
US11266468B2 (en) * 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11844579B2 (en) * 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11056244B2 (en) * 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11304699B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11937769B2 (en) * 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11969216B2 (en) * 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11424027B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11114199B2 (en) * 2018-01-25 2021-09-07 Mako Surgical Corp. Workflow systems and methods for enhancing collaboration between participants in a surgical procedure
US20230072423A1 (en) * 2018-01-25 2023-03-09 Meta Platforms Technologies, Llc Wearable electronic devices and extended reality systems including neuromuscular sensors
EP3735695A4 (en) * 2018-01-26 2021-10-20 Surgical Theater Inc. PATIENT FIXATION SYSTEM AND METHOD
US10825563B2 (en) * 2018-05-14 2020-11-03 Novarad Corporation Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US11287874B2 (en) * 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11103312B2 (en) * 2019-04-02 2021-08-31 Verb Surgical Inc. Method and system for predicting current paths and evaluating electrical burn risks of a monopolar electrosurgery tool
DE102019109189B3 (de) * 2019-04-08 2020-08-13 Schölly Fiberoptic GmbH Vorrichtung und Verfahren zur Bearbeitung von Datenströmen
WO2021084391A1 (en) * 2019-10-29 2021-05-06 Alcon Inc. System and method of utilizing three-dimensional overlays with medical procedures
JP2022554312A (ja) * 2019-10-31 2022-12-28 テルモ カーディオバスキュラー システムズ コーポレイション 拡張現実ディスプレイを有する人工心肺装置
CN114641251A (zh) * 2019-11-05 2022-06-17 替代外科手术公司 外科手术虚拟现实用户接口
US11992373B2 (en) * 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11818413B2 (en) * 2019-12-17 2023-11-14 Infosys Limited System and method for dynamic generation of charts in a personalized video
US11896442B2 (en) * 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
EP4091174A1 (en) * 2020-01-15 2022-11-23 Intuitive Surgical Operations, Inc. Systems and methods for providing surgical assistance based on operational context
US11464581B2 (en) * 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US20210312949A1 (en) * 2020-04-05 2021-10-07 Theator inc. Systems and methods for intraoperative video review
US11382700B2 (en) * 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
CN115668390A (zh) * 2020-05-29 2023-01-31 美敦力公司 用于心脏分流手术的扩展现实(xr)应用
US11992372B2 (en) * 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11748924B2 (en) * 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness
US11461986B2 (en) * 2021-01-27 2022-10-04 Qualcomm Incorporated Context-aware extended reality systems
US11478327B2 (en) * 2021-02-18 2022-10-25 Xenco Medical, Inc. Surgical display
US11786206B2 (en) * 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US20220336078A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International System and method for tracking a portion of the user as a proxy for non-monitored instrument
US11838563B2 (en) * 2021-04-15 2023-12-05 Synamedia Limited Switching between transmitting a preauthored video frame and a composited video frame
US20230121709A1 (en) * 2021-10-15 2023-04-20 Verb Surgical Inc. Method and system for controlling and displaying video streams
US20230157757A1 (en) * 2021-11-23 2023-05-25 Medtronic, Inc. Extended Intelligence for Pulmonary Procedures
US20230157762A1 (en) * 2021-11-23 2023-05-25 Medtronic, Inc. Extended Intelligence Ecosystem for Soft Tissue Luminal Applications

Also Published As

Publication number Publication date
US20220331052A1 (en) 2022-10-20
CN117581308A (zh) 2024-02-20
JP2024514634A (ja) 2024-04-02
JP2024514881A (ja) 2024-04-03
WO2022219499A1 (en) 2022-10-20
US20220331049A1 (en) 2022-10-20
EP4136650A1 (en) 2023-02-22
US20220335696A1 (en) 2022-10-20
EP4136646A1 (en) 2023-02-22
BR112023021253A2 (pt) 2023-12-26
US20220334787A1 (en) 2022-10-20
EP4136652A1 (en) 2023-02-22
JP2024514635A (ja) 2024-04-02
EP4136653A1 (en) 2023-02-22
JP2024514883A (ja) 2024-04-03
BR112023021249A2 (pt) 2024-02-06
US20220335660A1 (en) 2022-10-20
US20220331013A1 (en) 2022-10-20
WO2022219490A1 (en) 2022-10-20
CN117425935A (zh) 2024-01-19
BR112023021241A2 (pt) 2024-01-09
CN117441362A (zh) 2024-01-23
US20220336097A1 (en) 2022-10-20
EP4136644A1 (en) 2023-02-22
CN117501377A (zh) 2024-02-02
US20220331048A1 (en) 2022-10-20
JP2024514637A (ja) 2024-04-02
EP4136645A1 (en) 2023-02-22
CN117501378A (zh) 2024-02-02
CN117501585A (zh) 2024-02-02
BR112023021473A2 (pt) 2023-12-19
BR112023021464A2 (pt) 2023-12-19
US20220331051A1 (en) 2022-10-20
WO2022219503A1 (en) 2022-10-20
US20220331056A1 (en) 2022-10-20
US20220338049A1 (en) 2022-10-20
US20220336078A1 (en) 2022-10-20
JP2024514633A (ja) 2024-04-02
US20220331050A1 (en) 2022-10-20
WO2022219497A1 (en) 2022-10-20
US20220331054A1 (en) 2022-10-20
US20220331047A1 (en) 2022-10-20
CN117480565A (zh) 2024-01-30
US20220331053A1 (en) 2022-10-20
EP4128854A1 (en) 2023-02-08
US20220335604A1 (en) 2022-10-20
BR112023021240A2 (pt) 2024-01-09

Similar Documents

Publication Publication Date Title
US20220334787A1 (en) Customization of overlaid data and configuration
JP2024514884A (ja) 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性
EP4143844A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
JP2024517603A (ja) 手術視野における選択的かつ調節可能な複合現実オーバーレイ
JP2024514638A (ja) 外科用システムのための術中ディスプレイ
CN118160044A (zh) 叠加数据和配置的定制
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
JP2024514640A (ja) 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合
WO2022219504A1 (en) Cooperative overlays of interacting instruments which result in both overlays being effected
CN117480562A (zh) 外科视野中选择性和可调节的混合现实叠加
CN117480563A (zh) 用于外科系统的术中显示器
CN117441212A (zh) 用渲染元素将混合直接可视化以显示混合元素以及在屏幕上和在屏幕外正在发生的动作
WO2022219488A1 (en) Systems and methods for controlling surgical data overlay
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法
CN117546253A (zh) 协作以增加复杂数据馈送的有效感知的混合现实反馈系统