JP2023544356A - 表示共有の再構成 - Google Patents

表示共有の再構成 Download PDF

Info

Publication number
JP2023544356A
JP2023544356A JP2023520137A JP2023520137A JP2023544356A JP 2023544356 A JP2023544356 A JP 2023544356A JP 2023520137 A JP2023520137 A JP 2023520137A JP 2023520137 A JP2023520137 A JP 2023520137A JP 2023544356 A JP2023544356 A JP 2023544356A
Authority
JP
Japan
Prior art keywords
data
display
surgical
hub
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023520137A
Other languages
English (en)
Inventor
シェルトン・ザ・フォース・フレデリック・イー
ハリス・ジェイソン・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of JP2023544356A publication Critical patent/JP2023544356A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B17/07207—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously the staples being applied sequentially
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00026—Conductivity or impedance, e.g. of tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00367—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
    • A61B2017/00398—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00818—Treatment of the gastro-intestinal system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A61B2017/07214—Stapler heads
    • A61B2017/07271—Stapler heads characterised by its cartridge
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

ディスプレイ上に表示される構成データのための外科用ハブが提供され得る。医療処置中に医療器具を使用する外科作業が決定され得る。外科作業に基づく第１のデータが決定され得る。第２のデータに対する選好を示し得るユーザからのコマンドが決定され得る。第１のデータ及び第２のデータを含み得る表示データが決定され得る。表示データは、第１のデータよりも第２のデータに優先度を提供し得る。データを表示するようにディスプレイに命令し得るメッセージが送信され得る。

Description

（関連出願の相互参照）
本出願は、以下に関連し、これらの各々の内容は、本明細書中に参考として援用される。
・代理人整理番号ＥＮＤ９２８７ＵＳＮＰ１を有する、本明細書とともに出願された「ＭＥＴＨＯＤ ＦＯＲ ＯＰＥＲＡＴＩＮＧ ＴＩＥＲＥＤ ＯＰＥＲＡＴＩＯＮ ＭＯＤＥＳ ＩＮ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」と題する米国特許出願、
・代理人整理番号ＥＮＤ９２８８ＵＳＮＰ１を有する、本明細書とともに出願された「ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＯＦ ＩＮＳＴＲＵＭＥＮＴＳ ＬＯＣＡＴＩＯＮ ＡＮＤ ＩＮＤＩＶＩＤＵＡＬＩＺＡＴＩＯＮ ＯＦ ＵＳＥＲＳ ＴＯ ＣＯＮＴＲＯＬ ＤＩＳＰＬＡＹＳ」と題する米国特許出願、
・代理人整理番号ＥＮＤ９２８８ＵＳＮＰ２を有する、本明細書とともに出願された「ＳＨＡＲＥＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＯＦ ＴＨＥ ＤＥＶＩＣＥ ＡＣＴＵＡＴＯＲ ＡＣＴＩＶＩＴＹ ＴＯ ＰＲＩＯＲＩＴＩＺＥ ＣＥＲＴＡＩＮ ＡＳＰＥＣＴＳ ＯＦ ＤＩＳＰＬＡＹＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願、
・代理人整理番号ＥＮＤ９２８８ＵＳＮＰ３を有する、本願とともに出願された「ＭＯＮＩＴＯＲＩＮＧ ＯＦ ＵＳＥＲ ＶＩＳＵＡＬ ＧＡＺＥ ＴＯ ＣＯＮＴＲＯＬ ＷＨＩＣＨ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭ ＤＩＳＰＬＡＹＳ ＴＨＥ ＰＲＩＭＡＲＹ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願、及び
・代理人整理番号ＥＮＤ９２８８ＵＳＮＰ５を有する、本明細書とともに出願された「ＣＯＮＴＲＯＬ Ａ ＤＩＳＰＬＡＹ ＯＵＴＳＩＤＥ ＴＨＥ ＳＴＥＲＩＬＥ ＦＩＥＬＤ ＦＲＯＭ Ａ ＤＥＶＩＣＥ ＷＩＴＨＩＮ ＴＨＥ ＳＴＥＲＩＬＥ ＦＩＥＬＤ」と題する米国特許出願。
外科システムは、臨床医が、例えば、モニタなどの１つ又は２つ以上のディスプレイ上で、手術部位及び／又はその１つ又は２つ以上の部分を見ることを可能にできる撮像システムを組み込んでいることが多い。ディスプレイは、手術現場（surgical theater）に局所的であっても、かつ／又は、遠隔であってもよい。撮像システムは、手術部位見て、かつ臨床医が見ることができるディスプレイにビューを送信する、カメラを備えたスコープを含むことができる。スコープとしては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、食道胃十二指腸鏡、腸鏡、食道十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識することができ、かつ／又は臨床医に伝達することができる情報によって制限される場合がある。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識できないことがある。追加的に、特定の撮像システムは、手術中に特定の情報を臨床医に通信すること、及び／又は伝達することできない場合がある。
本発明の一実施形態によれば、ディスプレイ上に表示されるデータを構成するための外科用ハブ及び／又は医療器具が提供される。外科用ハブ及び／又は医療器具は、プロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。外科作業に基づく第１のデータが決定され得る。第２のデータに対する選好を示すユーザからのコマンドが決定され得る。コマンドは、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上であり得る。表示データが決定され得る。表示データは、第１データ及び第２データを含み得、第１データより第２データを優先させることができる。ディスプレイが表示データを表示する命令を含むメッセージが送信され得る。メッセージは、ディスプレイに送信され得る。ディスプレイ及び／又はディスプレイの識別情報は、第２のデータに対する選好を示すユーザからのコマンドに基づいて決定され得る。第１のデータは第１のコンテキストデータであってもよく、第２のデータは第２のコンテキストデータであってもよい。
本発明の一実施形態によれば、ディスプレイ上に表示されるデータを構成するための外科用ハブ及び／又は医療器具が提供される。外科用ハブ及び／又は医療器具は、プロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。
本発明の一実施形態によれば、ディスプレイ上に表示されるデータを構成するための、外科用ハブ及び／又は医療器具によって実行される方法が提供される。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。ユーザの視覚的焦点が決定され得る。第２のディスプレイがユーザの視覚的焦点内にあることが判定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。
上記及び下記の例として、外科用ハブは、外科医などのユーザが、画像、ビデオフィード、及びキー器具データなどのデータを優先させるか、又は異なる外科用ディスプレイに移動させるように迅速かつ容易に命令することを可能にする。ハブは、データを移動させるために、ユーザが音声、ジェスチャ、触覚及び視覚的焦点ベースのコマンドを使用することを可能にする。これは、ユーザに、ハブとどのように対話するかに関してより大きな柔軟性を与える。したがって、ハブは、例えば、臨床要件、行われる手術、又は手術室の構成によって決定され得るような異なる状況により適合可能である。音声、ジェスチャ、触覚及び視覚制御は、データとのより直感的な対話を可能にする。例えば、ユーザがデータを異なるディスプレイの方向に「スワイプ」して、データを新しいディスプレイに移動させることを可能にするジェスチャコマンド、又は音声コマンドを使用することは、キーボードなどのより従来的な入力手段よりもユーザにとって迅速かつ容易であり、より少ない訓練を要求することができる。同様に、あるディスプレイから別のディスプレイにデータを移動させるためにユーザの視覚的焦点に基づく制御を使用することは、最小限のユーザ入力又は注意散漫を必要とする。このようにして手術の長さを延長するより複雑な又はより長いユーザ対話の必要性を低減することは、外科処置の効率を改善する。そのような対話を低減することはまた、ユーザが、外科作業により良好に集中することが可能であり、結果として、あまり気を散らされないため、患者安全性を改良する。安全性は、ユーザが外科用データの位置及びレイアウトをより良好に制御することを可能にし、手術に対してより良好でより個人化された制御をユーザに与えることによって更に改善することができる。適合性は、データを重ね合わせたり、サイズ変更したり、半透明にしたり、より目立つようにしたり、他の方法で強調したりすることを可能にすることによって更に改善される。全体的に、ハブは、異なる外科処置及びユーザの選好により適合可能であり、外科的効率及び安全性が改善される。
本発明の更なる実施形態によれば、以下の実施例が提供される。
１．ディスプレイ上に表示されるデータを構成するための外科用ハブであって、外科用ハブが、
プロセッサを備え、プロセッサが、
医療処置中に医療器具を使用する外科作業を決定することと、
外科作業に基づいて、第１のデータを決定することと、
第２のデータに対する選好を示すユーザからのコマンドを決定することと、
第１のデータ及び第２のデータを含み、かつ第１のデータよりも第２のデータに優先度を提供する、表示データを決定することと、
ディスプレイが表示データを表示するための命令を含むメッセージを送信することと、を行うように構成されている、外科用ハブ。
例えば、実施例１では、外科用ハブは、ディスプレイ及び／又は医療器具に接続するように構成されてもよい。表示データを決定することは、表示データを生成することを含み得る。表示データを決定又は生成することは、コマンドに応答して表示データを決定又は生成することを含み得る。
例えば、実施例１において、プロセッサは、ユーザを識別又は決定するように構成されてもよい。プロセッサは、コンテキストデータを使用してユーザを識別又は決定するように構成され得る。プロセッサは、医療器具を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを使用して医療器具を識別又は決定するように構成され得る。プロセッサは、医療処置を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを使用して医療処置を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを使用して外科作業を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを識別、決定、及び／又は測定するように構成され得る。
例えば、実施例１において、第１のデータは、外科作業に関連していること、外科作業を実施するための処置命令であること、外科作業に関連する患者データ及び／又は器具データであること、外科作業が不正確に実行されたこと、又は外科作業においてエラーが発生したことの指示であること、外科作業におけるエラーを解決するための１つ又は２つ以上の命令であること、ユーザが修正外科作業を実施するのを支援するための１つ又は２つ以上の命令であること、のうちの少なくとも１つによって、ユーザに関連していてもよい。
例えば、実施例１では、外科作業に基づいて第１のデータを決定することは、外科作業に基づいて第１のデータを決定することと、ディスプレイが第１のデータを表示する命令を含むメッセージを送信することとを含んでもよい。例えば、実施例１において、第２のデータに対する選好を示すユーザからのコマンドを決定することは、ディスプレイ又は異なるディスプレイに既に表示されている第２のデータを選択するユーザからのコマンドを決定することを含んでもよい。
例えば、実施例１において、ユーザは、看護師、器械出し看護師、医療技術者、医師、外科医、外科医助手、及び／又は医療専門家であってもよい。
例えば、実施例１では、ディスプレイは、医療器具などの医療器具上に位置する器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータスクリーン、パーソナルコンピュータ、タブレット、スマートフォン、手首装着型ディスプレイ、ＡＲ装置、及び／又はヘッドマウントディスプレイであってもよい。ディスプレイは、表示データを含むデータを表示するように構成され得る。
２．コマンドは、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施例１に記載の外科用ハブ。
例えば、実施例１又は２において、コマンドは、音声コマンド、ジェスチャ、触覚制御コマンド、医療器具上の制御部の動作、ディスプレイ又は別のディスプレイ上のデータの識別若しくはデータの選択、及び／又はユーザの視覚的焦点のうちの１つ又は２つ以上であってもよい。
例えば、実施例１又は２において、ユーザからのコマンドを決定することは、ユーザからのコマンドを受信すること、又はユーザから受信された情報に基づいてコマンドを決定することを含んでもよい。ユーザから受信されたコマンド又は情報は、音声コマンド、ジェスチャ、触覚制御コマンド、医療器具上の制御部の動作、ディスプレイ又は別のディスプレイ上のデータの識別若しくはデータの選択、及び／又はユーザの視覚的焦点のうちの少なくとも１つであってもよい。第２のデータに対する選好を示すユーザからのコマンドを決定することは、第２のデータを選択するユーザからのコマンドを決定することを含んでもよい。
例えば、実施例１又は２では、外科用ハブは、ユーザコマンド又は情報をユーザから受信し、ユーザ指示をプロセッサに送信するように構成される、入力装置を備えてもよい。入力装置は、インタラクティブディスプレイ、タッチスクリーン、手術室内の１つ又は２つ以上のカメラ、手術室内の１つ又は２つ以上のセンサのうちの少なくとも１つを含んでもよい。３．メッセージが、ディスプレイに送信され、プロセッサが、第２のデータに対する選好を示すユーザからのコマンドに基づいて、表示データを決定するように更に構成されている、実施例１又は２に記載の外科用ハブ。
４．プロセッサが、第１のデータの上に第２のデータを重ね合わせることと、第１のデータの少なくとも一部分を第２のデータの少なくとも一部分で置き換えることと、第１のデータ又は第２のデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、第１のデータ及び第２のデータを含み、かつ第１のデータよりも第２のデータに優先度を提供する、表示データを決定するように構成されている、実施例１～３のいずれか一項に記載の外科用ハブ。
５．プロセッサが、表示されるときに第２のデータが第１のデータよりも顕著であることを確実にすることによって、第１のデータ及び第２のデータを含み、かつ第１のデータよりも第２のデータに優先度を提供する、表示データを決定するように構成されている、実施例１～４のいずれか一項に記載の外科用ハブ。
６．メッセージが、表示データを表示するときに第１のデータよりも高い優先度を伴って第２のデータを表示するための命令を更に含む、実施例１～５のいずれか一項に記載の外科用ハブ。
７．メッセージが、表示データを表示するときに第２のデータを強調する命令、表示データを表示するときに第２のデータをハイライトする命令、表示データを表示するときに第１のデータの第１のフォントサイズを縮小させる命令、表示データを表示するときに第２のデータの第２のフォントサイズを拡大させる命令、表示データを表示するときに色を使用して第２のデータを表示する命令、データを表示するときに第１のデータを半透明に表示する命令、表示データを表示するときにディスプレイの目立つ場所に第２のデータを表示する命令、ディスプレイの第２の場所よりも目立たないディスプレイの第１の場所に第１のデータを表示する命令のうちの１つ又は２つ以上を更に含む、実施例１～６のいずれか一項に記載の外科用ハブ。
例えば、実施例１～７のいずれかにおいて、第１のデータよりも第２のデータに優先度を提供することは、第２のデータを第１のデータよりも顕著にすること、第１のデータの上に第２のデータを重ね合わせること、第２のデータを、第２のデータ以外のデータに重ね合わせること、第１のデータの少なくとも一部を第２のデータの少なくとも一部で置き換えること、第２のデータ以外のデータの少なくとも一部を、第２のデータの少なくとも一部で置き換えること、第２のデータの表示サイズを大きくすること、第１のデータの表示サイズを小さくすること、第２のデータをより目立つ位置に移動させること、第２のデータ以外のデータの表示サイズを小さくすること、第２のデータをハイライトすること、第２のデータの色を変更すること、第１のデータの色を変更すること、第２のデータ以外のデータの色を変更すること、第２のデータをより目立つ位置に移動させること、第２のデータ以外のデータをより目立たない位置に移動させること、第１のデータを半透明にすること、第２のデータ以外のデータを半透明にすること、第２のデータを強調すること、第２のデータをハイライトすること、第１のデータのフォントサイズを縮小させること、第２のデータのフォントサイズを拡大させること、色を使用して第２のデータを表示すること、第１のデータを半透明に表示すること、ディスプレイの目立つ位置に第２のデータを表示すること、ディスプレイの目立たない位置に第１のデータを表示すること、のうちの１つ又は２つ以上を含んでもよい。
例えば、実施例７では、メッセージは、第１のデータよりも第２のデータに優先度を提供する上記のアクションのいずれかを行うための命令のうちの１つ又は２つ以上を更に含んでもよい。
８．ディスプレイ上に表示されるデータを構成するための外科用ハブであって、外科用ハブが、
プロセッサを備え、プロセッサが、
医療処置中に医療器具を使用する外科作業を決定することと、
第１のディスプレイ上に表示される第１のコンテキストデータを決定することと、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、を行うように構成されている、外科用ハブ。
例えば、実施例８では、医療処置中に医療器具を使用する外科作業を決定するように構成されているプロセッサの特徴は、実施例から省略されてもよい。
例えば、実施例８では、外科用ハブは、ディスプレイ及び／又は医療器具に接続するように構成されてもよい。
例えば、実施例８において、プロセッサは、ユーザを識別又は決定するように構成されてもよい。プロセッサは、コンテキストデータを使用してユーザを識別又は決定するように構成され得る。プロセッサは、医療器具を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを使用して医療器具を識別又は決定するように構成され得る。プロセッサは、医療処置を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを使用して医療処置を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを使用して外科作業を識別又は決定するように構成され得る。プロセッサは、コンテキストデータを識別、決定、及び／又は測定するように構成され得る。
例えば、実施例８において、第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することは、ディスプレイ又は異なるディスプレイに既に表示されている第２のコンテキストデータを選択するユーザからのコマンドを決定することを含んでもよい。
例えば、実施例８において、第１のコンテキストデータを決定することは、第１のコンテキストデータを決定し、第１のディスプレイが第１のデータを表示する命令を含むメッセージを送信すること、及び／又は外科作業に基づいて第１のディスプレイ上に表示される第１のコンテキストデータを決定することを含んでもよい。第１のコンテキストデータは、外科作業に関連すること、外科作業を実施するための処置命令であること、外科作業に関連する患者データ及び／又は器具データであること、外科作業が不正確に実行されたこと、又は外科作業においてエラーが発生したことの指示であること、外科作業におけるエラーを解決するための１つ又は２つ以上の命令であること、ユーザが修正外科作業を実施するのを支援するための１つ又は２つ以上の命令であること、のうちの少なくとも１つによって、外科作業に基づいていてもよい。
例えば、実施例８において、第１及び／又は第２のディスプレイは、医療器具などの医療器具に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータスクリーン、パーソナルコンピュータ、タブレット、スマートフォン、手首装着型ディスプレイ、ＡＲ装置、及び／又はヘッドマウントディスプレイであってもよい。ディスプレイは、表示データを含むデータを表示するように構成され得る。第１のディスプレイは、一次ディスプレイであってもよく、第２のディスプレイは、二次ディスプレイであってもよく、又はその逆であってもよい。
例えば、実施例８において、ユーザは、看護師、器械出し看護師、医療技術者、医師、外科医、外科医助手、及び／又は医療専門家であってもよい。
９．プロセッサが、
第１のコンテキストデータを表示するように第１のディスプレイに命令する第１のメッセージを送信することと、
第２のコンテキストデータを表示するように第２のディスプレイに命令する第２のメッセージを送信することと、を行うように更に構成されている、実施例８に記載の外科用ハブ。
１０．コマンドが、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施例８又は９に記載の外科用ハブ。
例えば、実施例８～１０のいずれかにおいて、ユーザからのコマンドを決定することは、ユーザからのコマンドを受信すること、又はユーザから受信された情報に基づいてコマンドを決定することを含んでもよい。ユーザから受信されたコマンド又は情報は、音声コマンド、ジェスチャ、触覚制御コマンド、医療器具上の制御部の動作、第１及び／又は第２のディスプレイ又は別のディスプレイ上の第２のコンテキストデータなどのデータの識別又は選択、及び／又はユーザの視覚的焦点のうちの少なくとも１つであってもよい。第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することは、第２のコンテキストデータを選択するユーザからのコマンドを決定することを含み得る。
例えば、実施例８～１０のいずれかにおいて、外科用ハブは、ユーザコマンド又は情報をユーザから受信し、ユーザ指示をプロセッサに送信するように構成される、入力装置を備えてもよい。入力装置は、インタラクティブディスプレイ、タッチスクリーン、手術室内の１つ又は２つ以上のカメラ、手術室内の１つ又は２つ以上のセンサのうちの少なくとも１つを含んでもよい。
例えば、実施例８～１０のいずれかにおいて、ユーザから受信されるコマンド又は情報は、ジェスチャであってもよい。ジェスチャは、第１の表示及び第２のディスプレイを決定するために分析され得る。ジェスチャは、第２のディスプレイが位置し得る方向を示し得、方向は、第２のスクリーンディスプレイが第２のコンテキストデータを送信され得るように、第２のディスプレイの識別情報を決定するために分析され得る。
１１．プロセッサが、
コマンドから第２のディスプレイを決定することと、
第２のコンテキストデータが第１のディスプレイ上に表示されていると判定することと、
第１のディスプレイから第２のコンテキストデータを削除するように、第１のメッセージを第１のディスプレイに送信することと、
第２のコンテキストデータを表示するように、第２のディスプレイに第２のメッセージを送信することと、を行うように更に構成されている、実施例８～１０のいずれか一項に記載の外科用ハブ。
例えば、実施例８～１１のいずれかにおいて、第２のコンテキストデータは、第１のコンテキストデータであってもよい。
例えば、実施例８～１１のいずれかにおいて、プロセッサは、第２のコンテキストデータが第１のディスプレイ上に表示されていると判定することと、第１のディスプレイから第２のコンテキストデータを削除するように、第１のメッセージを第１のディスプレイに送信し、第２のコンテキストデータを表示するように、第２のメッセージを第２のディスプレイに送信することと、を行うように更に構成されてもよい。
１２．プロセッサが、
ユーザの視覚的焦点を決定することと、
第２のディスプレイがユーザの視覚的焦点内にあると判定することと、
第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージを送信することと、を行うように更に構成されている、実施例８～１１のいずれか一項に記載の外科用ハブ。
１３．プロセッサが、ウェアラブルデバイスデータ、ユーザと関連付けられたセンサデータ、手術室内のカメラからの画像、及び手術室内のカメラからのビデオのうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点を決定するように構成されている、実施例１２に記載の外科用ハブ。
例えば、実施例１２～１４のいずれかにおいて、プロセッサは、ウェアラブルデバイスデータ、ユーザに関連付けられたセンサデータ、手術室内のカメラからの画像、手術室内のカメラからのビデオ、ユーザの視線を決定するセンサ及び／又はカメラ、外科用ハブが３Ｄ幾何学的データを生成し得、３Ｄ幾何学的データを使用して視線を決定し得るように、外科用ハブによって検出され得る、ユーザ上に装備された１つ又は２つ以上のセンサ、及び／又は、ユーザの視覚的焦点を追跡することが可能であり得る、又は頭部の運動、頭部の傾きなどのユーザの視覚的焦点に関するデータを提供することが可能であり得る、ユーザによって着用された安全眼鏡、のうちの１つ又は２つ以上を使用して、ユーザの視覚的焦点を決定するように更に構成されている。そのような安全眼鏡は、ユーザの移動を監視するための１つ又は２つ以上のセンサ及び／又は電子機器を含み得る。安全眼鏡はまた、ユーザの瞳孔の移動を監視するために使用され得るカメラを含み得る。安全眼鏡はまた、コンテキストデータなどの情報をユーザに提示するために使用され得るスクリーンを含み得る。１４．プロセッサが、
カメラから画像又はビデオを受信することと、
画像又はビデオから幾何学的三次元データを生成することと、
幾何学的三次元データを使用して、ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を決定することと、
ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点を決定することと、を行うように更に構成されている、実施例１２～１４のいずれか一項に記載の外科用ハブ。
１５．プロセッサが、第２のディスプレイが第２のユーザと関連付けられた第３のコンテキストデータを表示していると判定するように更に構成されており、プロセッサが、第３のコンテキストデータを削除し、第２のコンテキストデータを表示するように、第２のディスプレイに命令するメッセージを送信するように更に構成されている、実施例８～１４のいずれか一項に記載の外科用ハブ。
例えば、実施例１５において、第３のコンテキストデータは、ユーザを対象とするデータであることによって、第２のユーザに関連付けられてもよい。
例えば、実施例８～１５のいずれかにおいて、プロセッサは、第２のディスプレイが第３のコンテキストデータを表示していると判定するように更に構成されてもよく、プロセッサは、第３のコンテキストデータを削除し、第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージを送信するように更に構成される。
例えば、実施例８～１５のいずれかにおいて、第１、第２、及び／又は第３のコンテキストデータは、発射力、速度、及び／又はステープルの数の指示などの、医療装置に関連するパラメータ、バイオメトリックデータ、ＥＭＲからの患者データなどの患者に関連するパラメータ、画像、ビデオ、医療用画像、カメラスコープ及び／又は腹腔鏡及び／又は内視鏡からのＸ線及び／又はビデオのうちの少なくとも１つを含んでもよい。
例えば、実施例８～１５のいずれかにおいて、第１、第２及び／又は第３のコンテキストデータは、医療器具から受信されたデータ、医療器具のステータス、医療器具のサブシステムのステータス、医療器具の構成要素のステータス、医療器具のモータのステータス、エンドエフェクタの配向、リロードステータス、医療器具の構成、作動情報、ユーザが医療器具を制御しているという指示、医療器具が特定の位置にあるという指示、医療器具が患者に近接しているか、又は患者の内部にあるという指示、医療器具が手術部位にあるという指示、位置がトロカールの内側にあるという指示、ユーザフィードバック、ユーザによって調整された医療器具のパラメータ、待機時間、発射力パラメータ、クランプ圧縮パラメータ、カートリッジが装填されたという指示、カートリッジステータス、有効にされた制御の指示無効化された医療器具制御の指示、電池電力レベル、手術前後データ、器具データ、画像データ、医療器具データ、バイオメトリックデータ、特許データ、ＥＭＲデータ、ビデオデータ、患者に関するデータ、医療器具のパラメータ、手術部位の画像、及び／又は、手術部位のビデオのうちの少なくとも１つを含んでもよい。
１６．ディスプレイ上に表示されるデータを構成するために医療器具によって実行される方法であって、方法が、
医療器具によって、医療処置中に医療器具を使用する外科作業を決定することと、
医療器具によって、外科作業に基づいて第１のコンテキストデータを決定することと、
医療器具によって、第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、
医療器具によって、第１のコンテキストデータ及び第２のコンテキストデータを含み、かつ第１のコンテキストデータよりも第２のコンテキストデータに優先度を提供する、表示データを決定することと、
医療器具によって、ディスプレイが表示データを表示するための命令を含むメッセージを送信することと、を含む、方法。
実施例１に関する上記の全てのコメントは、必要な変更を加えて実施例１６に適用される。
１７．ディスプレイ上に表示されるデータを構成するための医療器具であって、医療器具が、実施例１に記載のプロセッサを備え、第１のデータが、第１のコンテキストデータであり、第２のデータが、第２のコンテキストデータである、医療器具。
実施例１に関する上記の全てのコメントは、必要な変更を加えて実施例１７に適用される
１８．コマンドが、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施例１６に記載の方法又は実施例１７に記載の医療器具。
実施例２に関する上記の全てのコメントは、必要な変更を加えて実施例１８に適用される
１９．メッセージは、ディスプレイに送信され、方法は、決定することを更に含み／プロセッサは、第２のコンテキストデータに対する選好を示すユーザからのコマンドに基づいて表示データを決定するように更に構成されている、実施例１６及び１８のいずれか１つに記載の方法又は実施例１７又は１８に記載の医療器具。
実施例３に関する上記の全てのコメントは、必要な変更を加えて実施例１９に適用される
２０．第１のコンテキストデータの上に第２のコンテキストデータを重ね合わせることと、第１のコンテキストデータの少なくとも一部分を第２のコンテキストデータの少なくとも一部分で置き換えることと、第１のコンテキストデータ又は第２のコンテキストデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、第１のコンテキストデータ及び第２のコンテキストデータを含み、かつ第１のコンテキストデータよりも第２のコンテキストデータに優先度を提供する、表示データを決定する、実施例１６及び１７～１９のいずれか１つに記載の方法又は実施例１７～１９のいずれか１つに記載の医療器具。
実施例４に関する上記の全てのコメントは、必要な変更を加えて実施例２０に適用される
２１．メッセージが、表示データを表示するときに第１のコンテキストデータよりも高い優先度を伴って第２のコンテキストデータを表示する命令を更に含む、実施例１６及び１８～２０のいずれか１つに記載の方法又は実施例１７～２０のいずれか１つに記載の医療器具。
実施例６に関する上記の全てのコメントは、必要な変更を加えて実施例２１に適用される
例えば、実施例１～２１のいずれかにおいて、第１のデータ、第２データ、第１のコンテキストデータ、第２のコンテキストデータ及び／又は第３のコンテキストデータのうちの少なくとも１つは、発射力、速度、及び／又はステープルの数の指示などの、医療装置に関するパラメータ、バイオメトリックデータ、ＥＭＲからの患者データなどの患者に関連するパラメータ、画像、ビデオ、医療用画像、カメラスコープ及び／又は腹腔鏡及び／又は内視鏡からのＸ線及び／又はビデオのうちの少なくとも１つを含んでもよい。
例えば、実施例１～２１のいずれかにおいて、第１のデータ、第２データ、第１のコンテキストデータ、第２のコンテキストデータ及び／又は第３のコンテキストデータのうちの１つ又は２つ以上は、医療器具から受信されたデータ、医療器具のステータス、医療器具のサブシステムのステータス、医療器具の構成要素のステータス、医療器具のモータのステータス、エンドエフェクタの配向、リロードステータス、医療器具の構成、作動情報、ユーザが医療器具を制御しているという指示、医療器具が特定の位置にあるという指示、医療器具が患者に近接しているか、又は患者の内部にあるという指示、医療器具が手術部位にあるという指示、位置がトロカールの内側にあるという指示、ユーザフィードバック、ユーザによって調整された医療器具のパラメータ、待機時間、発射力パラメータ、クランプ圧縮パラメータ、カートリッジが装填されたという指示、カートリッジステータス、有効にされた制御の指示無効化された医療器具制御の指示、電池電力レベル、手術前後データ、器具データ、画像データ、医療器具データ、バイオメトリックデータ、特許データ、ＥＭＲデータ、ビデオデータ、患者に関するデータ、医療器具のパラメータ、手術部位の画像、及び／又は、手術部位のビデオのうちの少なくとも１つを含んでもよい。
例えば、実施例１～２１のいずれかにおいて、外科用ハブ及び／又は医療器具は、状況認識システムを備えてもよく、状況認識システムは、ユーザを識別又は決定すること、ユーザの視覚的焦点を識別又は決定すること、外科作業を識別又は決定すること、医療器具を識別又は決定すること、医療処置を識別又は決定すること、ユーザからのコマンドを識別又は決定すること、ユーザから情報を受信し、情報からコマンドを識別又は決定し、及び／又は状況認識データからコンテキストデータを識別、決定及び／又は測定するように構成され得る。状況認識システムは、状況認識データを状況認識システムに送信するために、少なくとも１つのハードウェアを備えるか、又は接続するように構成され得る。ハードウェアは、カメラ、手術室内のセンサ、ユーザに関連付けられたセンサ、医療器具に関連付けられたセンサ、及び／又はウェアラブルデバイスのうちの少なくとも１つを備え得る。
本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科システムのブロック図である。 本開示の少なくとも１つの態様による、手術室内で外科処置を実施するために使用される外科システムである。 本開示の少なくとも１つの態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。 本開示の少なくとも１つの態様による、医療施設の１つ又は２つ以上の手術室、又は外科処置のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式装置をクラウドに接続するように構成されたモジュール式通信ハブを備える外科用データネットワークを示す。 本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科システムを示す。 本開示の少なくとも１つの態様による、モジュール式制御タワーに連結された複数のモジュールを備える外科用ハブを示す。 本開示の少なくとも１つの態様による、外科用器具又はツールの制御システムの論理図を示す。 本開示の少なくとも１つの態様による、様々な機能を実施するために起動され得る複数のモータを備える外科用器具又はツールを示す。 本開示の少なくとも１つの態様による、状況認識外科システムの図である。 本開示の少なくとも１つの態様による、外科処置における各工程で検出されたデータから外科用ハブが作成することができる例示的な外科処置及び推論のタイムラインを示す。 本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科システムのブロック図である。 本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科システムの機能アーキテクチャを示すブロック図である。 本開示の少なくとも１つの態様による、モジュール式装置のための制御プログラム更新を適応的に生成するように構成されたコンピュータ実装インタラクティブ外科システムのブロック図を示す。 本開示の少なくとも１つの態様による、コントローラ及びモータを有するハンドルと、ハンドルに解放可能に結合されたアダプタと、アダプタに解放可能に結合された装填ユニットとを含む外科システムを示す。 動作モードを決定し、決定されたモードで動作するための例示的なフローを示す。 動作モードを変更するための例示的なフローを示す。 外科用ハブの一次ディスプレイを示す。 外科用ハブの一次ディスプレイの例を示す。 処置中の４つの別個の時間における手術部位の４つの広角ビュー画像の図を示す。 表示された要素を識別するデータで拡張された術前ビデオ画像の拡張ビデオ画像の例を示す。 １つ又は２つ以上の画像を表示するためのプロセスの例示的なフロー図を示す。 本開示の少なくとも１つの態様による、手術室内の装置制御機構として利用される、ビーム源及び組み合わせられたビーム検出器システムの略図を示す。 本開示の少なくとも１つの態様による、様々なタイプの滅菌野制御及びデータ入力コンソールを示す。 本開示の少なくとも１つの態様による、様々なタイプの滅菌野制御及びデータ入力コンソールを示す。 本開示の少なくとも１つの態様による、様々なタイプの滅菌野制御及びデータ入力コンソールを示す。 本開示の少なくとも１つの態様による、様々なタイプの滅菌野制御及びデータ入力コンソールを示す。 本開示の少なくとも１つの態様による、様々なタイプの滅菌野制御及びデータ入力コンソールを示す。 単一ゾーン滅菌野制御及びデータ入力コンソールを示す。 マルチゾーン滅菌野制御及びデータ入力コンソールを示す。 テザー付き滅菌野制御及びデータ入力コンソールを示す。 電池式滅菌野制御及びデータ入力コンソールを示す。 電池式滅菌野制御及びデータ入力コンソールを示す。 本開示の少なくとも１つの態様による、外科処置の間、滅菌野において使用中の滅菌野コンソールを示す。手術に従事する２人の外科医の近くの滅菌野に位置付けられた滅菌野コンソールを示す。 本開示の少なくとも１つの態様による、外科処置の間、滅菌野において使用中の滅菌野コンソールを示す。外科医のうちの１人が滅菌野コンソールのタッチスクリーンをタップしている様子を示す。 本開示の少なくとも１つの態様による、脈管経路及び深度並びに装置軌道を推定するための標準的技術を示す。 本開示の少なくとも１つの態様による、切開のための仮想解剖学的細部の画像の複数のリアルタイムビューを示す。仮想解剖学的細部の斜視図である。 本開示の少なくとも１つの態様による、切開のための仮想解剖学的細部の画像の複数のリアルタイムビューを示す。仮想解剖学的細部の側面図である。 本開示の少なくとも１つの態様による、切開のための仮想解剖学的細部の画像の複数のリアルタイムビューを示す。仮想解剖学的細部の斜視図である。 本開示の少なくとも１つの態様による、切開のための仮想解剖学的細部の画像の複数のリアルタイムビューを示す。仮想解剖学的細部の側面図である。 本開示の態様による、滅菌野内で使用され得るタッチスクリーンディスプレイを示す。縦長モードでタッチスクリーンディスプレイ上に表示された手術部位の画像を示す。 本開示の態様による、滅菌野内で使用され得るタッチスクリーンディスプレイを示す。横長モードで回転されたタッチスクリーンディスプレイを示し、外科医は人差し指を使用して、矢印の方向に画像をスクロールする。 本開示の態様による、滅菌野内で使用され得るタッチスクリーンディスプレイを示す。外科医が人差し指及び親指を使って画像を矢印の方向にピンチして開き、ズームインする様子を示す。 本開示の態様による、滅菌野内で使用され得るタッチスクリーンディスプレイを示す。外科医が人差し指及び親指を使って画像を矢印の方向にピンチして閉じ、ズームアウトする様子を示す。 本開示の態様による、滅菌野内で使用され得るタッチスクリーンディスプレイを示す。外科医が異なる配向で画像を見ることができるように、矢印によって示される２つの方向に回転されたタッチスクリーンディスプレイを示す。 本開示の少なくとも１つの態様による、滅菌野の内側から滅菌野の外側に位置する装置に通信するための制御プログラム又は論理構成を示すプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、第１の情報層をオーバーレイする第２の情報層を示す。 本開示の少なくとも１つの態様による、外科医が安全眼鏡を着用している状態で、外科処置中にハンドル組立体ハウジングと無線回路基板とを含む外科用器具を使用している外科医の斜視図を示す。 本開示の少なくとも１つの態様による、障害事象と関連付けられた外科用データを識別し、識別された外科用データをクラウドベースのシステムに優先度ベースで通信する方法を示す。 本開示の少なくとも１つの態様による、外科用ハブと手術室壁との間の距離を判定するための手術室壁の超音波ピング送出を示す。 本開示の少なくとも１つの態様による、手術室の境界内に位置する外科システムの外科用装置との外科用ハブペアリングのための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科システムの装置間の接続を選択的に形成及び切断するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、新しい装置を検出した後の手術室の境界を選択的に再評価するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、ペアリングされた装置の接続解除後の手術室の境界を選択的に再評価するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科用ハブの位置の変化を検出した後に外科用ハブによって手術室の境界を再評価するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科システムの装置間の接続を選択的に形成するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科システムの装置間の接続を選択的に形成及び切断するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、手術室内の外科システムの第１の装置と第２の装置とをペアリングする外科用ハブを示す。 本開示の少なくとも１つの態様による、手術室内の外科システムの第１の装置と第２の装置とをペアリング解除し、第１の装置を手術室内の第３の装置とペアリングする外科用ハブを示す。 本開示の少なくとも１つの態様による、外科処置の工程の進行に基づいて、外科処置中に手術室内の外科システムの装置間の接続を形成及び切断するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、遠隔手術部位のライブストリームの１つ又は２つ以上の静止フレーム由来の情報を、ライブストリーム上にオーバーレイするための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科処置の外科的工程を区別するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科処置の外科的工程を区別するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、ステープルカートリッジから組織内に配備されたステープルの１つ又は２つ以上の静止フレーム由来の情報からステープルカートリッジを識別するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、手術室内の外科システムの部分図であり、外科システムは、遠隔手術部位における撮像装置と通信する撮像モジュールを有する外科用ハブを含む。 本開示の少なくとも１つの態様による、外科システムを介して手術室で実施される外科処置の部分的な人為的な予定表を示す。 本開示の少なくとも１つの態様による、異なる手術室（「ＯＲ１」及び「ＯＲ３」）内の２つの外科用ハブ間の相互作用を示す。 本開示の少なくとも１つの態様による、結腸直腸処置の手術部位を示す手術室（「ＯＲ３」）内の二次ディスプレイを示す。 本開示の少なくとも１つの態様による、ＯＲ３の手術部位を表示するＯＲ１内のパーソナルインターフェース又はタブレットを示す。 本開示の少なくとも１つの態様による、ＯＲ１の一次ディスプレイ上に表示されるＯＲ３の手術部位の拡大図を示す。 本開示の少なくとも１つの態様による、利用可能なディスプレイを示す、ＯＲ１のレイアウトを表示するパーソナルインターフェース又はタブレットを示す。 本開示の少なくとも１つの態様による、ＯＲ１内のパーソナルインターフェース又はタブレットを介して、ＯＲ１内の術者によってなされたＯＲ３の手術部位の横切開位置の推奨を示す。 本開示の少なくとも１つの態様による、受信したデータから導出されたコンテキスト情報に従って、モジュール式装置を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、第１のモジュール式装置から受信した手術前後データから導出されるコンテキスト情報に従って、第２のモジュール式装置を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、第１のモジュール式装置及び第２のモジュール式装置から受信した手術前後データから導出されるコンテキスト情報に従って第２のモジュール式装置を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、第１のモジュール式装置及び第２のモジュール式装置から受信した手術前後データから導出されるコンテキスト情報に従って第３のモジュール式装置を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、手術室事象に関連付けられたデータを追跡する論理フロー図である。 本開示の少なくとも１つの態様による、複数のハブ及びインタラクティブ二次ディスプレイを含む外科処置中のロボット外科システムの概略図である。 本開示の少なくとも１つの態様による、図５７のインタラクティブ二次ディスプレイの詳細図である。 本開示の少なくとも１つの態様による、個人所有の無線装置と外科用ハブとのペアリングの図である。 本開示の少なくとも１つの態様による、例示的な手術室（operating room、ＯＲ）セットアップの図である。 本開示の少なくとも１つの態様による、手術スタッフ員を視覚的に評価するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、外科処置の過程中の手術スタッフ員の一連のモデルを示す図である。 本開示の少なくとも１つの態様による、図６１に示される手術スタッフ員の測定された姿勢を経時的に示すグラフである。 本開示の少なくとも１つの態様による、外科用器具を保持している外科医を示した図である。 本開示の少なくとも１つの態様による、外科処置結果に対する手首の角度の散布図である。 本開示の少なくとも１つの態様による、外科用装置を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、手術メタデータを生成するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、ジェスチャ認識システムのブロック図である。 医療器具の状況認識を使用してディスプレイを制御するためのプロセスの論理フロー図である。 外科処置の過程の間、１つ又は２つ以上の医療器具の状況認識を使用して制御され得る、１つ又は２つ以上のディスプレイを示す図である。 ユーザに表示されるデータを優先順位付けするために状況認識を使用してディスプレイを制御するためのプロセスの論理フロー図である。 ユーザの視覚的焦点に基づいて、ディスプレイ上に情報を表示するためのプロセスの論理フロー図である。 ユーザの視覚的焦点に基づいて情報を表示し得る、１つ又は２つ以上のディスプレイを図示する図を示す。 １人又は２人以上のユーザの視覚的焦点に基づいて情報を表示し得る、１つ又は２つ以上のディスプレイを図示する図を示す。 ディスプレイ上に表示されているデータを構成するためのプロセスの論理フロー図である。 滅菌野の外側にあり得るディスプレイを制御するためのプロセスの論理フロー図である。
本出願の出願人は、同時期に出願された以下の米国特許出願を所有しており、同時に、これらの各々は、その全体が参照により本明細書に組み込まれる：
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＤＩＳＰＬＡＹ，ＡＮＤ ＣＬＯＵＤ ＡＮＡＬＹＴＩＣＳ」と題する米国特許出願第１６／２０９，４１６号；
・２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＰＡＴＩＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＤＥＴＥＲＭＩＮＥ ＤＥＶＩＣＥＳ ＩＮ ＯＰＥＲＡＴＩＮＧ ＴＨＥＡＴＥＲ」と題する米国特許出願第１５／９４０６７１号（代理人整理番号ＥＮＤ８５０２ＵＳＮＰ）；
・２０１８年１１月６日に出願された「ＩＭＡＧＥ ＣＡＰＴＵＲＩＮＧ ＴＨＥ ＡＲＥＡＳ ＯＵＴＳＩＤＥ ＴＨＥ ＡＢＤＯＭＩＮＡＬ ＴＯ ＩＭＰＲＯＶＥ ＰＬＡＣＥＭＥＮＴ ＡＮＤ ＣＯＮＴＲＯＬ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥ ＩＮ ＵＳＥ」と題する米国特許出願第１６／１８２，２６９号（代理人整理番号：ＥＮＤ９０１８ＵＳＮＰ３）；
・２０１９年１２月３１日に出願された「ＤＹＮＡＭＩＣ ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／７２９，７４７号（代理人整理番号：ＥＮＤ９２１７ＵＳＮＰ１）；
・２０１９年１２月３１日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ，ＡＤＪＵＳＴＩＮＧ，ＡＮＤ ＭＡＮＡＧＩＮＧ ＲＥＳＥＣＴＩＯＮ ＭＡＲＧＩＮ ＡＢＯＵＴ Ａ ＳＵＢＪＥＣＴ ＴＩＳＳＵＥ」と題する米国特許出願第１６／７２９、７７８号（代理人整理番号：ＥＮＤ９２１９ＵＳＮＰ１）；
・２０１９年１２月３１日に出願された「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥＳ ＩＮ ＳＵＲＧＥＲＹ」と題する米国特許出願第１６／７２９，８０７号（代理人整理番号：ＥＮＤ９２２８ＵＳＮＰ１）；
・２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」と題する米国特許出願第１５／９４０６５４号（代理人整理番号ＥＮＤ８５０１ＵＳＮＰ）；
・２０１８年３月２９日に出願された「ＵＳＥ ＯＦ ＬＡＳＥＲ ＬＩＧＨＴ ＡＮＤ ＲＥＤ－ＧＲＥＥＮ－ＢＬＵＥ ＣＯＬＯＲＡＴＩＯＮ ＴＯ ＤＥＴＥＲＭＩＮＥ ＰＲＯＰＥＲＴＩＥＳ ＯＦ ＢＡＣＫ ＳＣＡＴＴＥＲＥＤ ＬＩＧＨＴ」と題する米国特許出願第１５／９４０，７０４号（代理人整理番号ＥＮＤ８５０４ＵＳＮＰ）；
・２０１８年１１月６日に出願された「ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＲＥＣＯＭＭＥＮＤＡＴＩＯＮＳ ＦＲＯＭ ＲＥＡＬ ＴＩＭＥ ＡＮＡＬＹＳＩＳ ＯＦ ＰＲＯＣＥＤＵＲＥ ＶＡＲＩＡＢＬＥＳ ＡＧＡＩＮＳＴ Ａ ＢＡＳＥＬＩＮＥ ＨＩＧＨＬＩＧＨＴＩＮＧ ＤＩＦＦＥＲＥＮＣＥＳ ＦＲＯＭ ＴＨＥ ＯＰＴＩＭＡＬ ＳＯＬＵＴＩＯＮ」と題する米国特許出願第１６／１８２，２９０号（代理人整理番号ＥＮＤ９０１８ＵＳＮＰ５）；
・２０１５年４月２１日に発行された「ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＷＩＴＨ ＳＡＦＥＴＹ ＧＬＡＳＳＥＳ」と題する米国特許第９０１１４２７号；
・２０１５年９月１日に発行された「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＩＯＮ ＳＹＳＴＥＭ ＩＮ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥＳ」と題する米国特許第９、１２３，１５５号；
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＦＯＲ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＮＥＣＴＥＤ ＤＥＶＩＣＥ ＣＡＰＡＢＬＥ ＯＦ ＡＤＪＵＳＴＩＮＧ ＦＵＮＣＴＩＯＮ ＢＡＳＥＤ ＯＮ Ａ ＳＥＮＳＥＤ ＳＩＴＵＡＴＩＯＮ ＯＲ ＵＳＡＧＥ」と題する米国特許出願第１６／２０９，４７８号（代理人整理番号ＥＮＤ９０１５ＵＳＮＰ１）；
・２０１８年１１月６日に出願された「ＡＤＪＵＳＴＭＥＮＴＳ ＢＡＳＥＤ ＯＮ ＡＩＲＢＯＲＮＥ ＰＡＲＴＩＣＬＥ ＰＲＯＰＥＲＴＩＥＳ」と題する米国特許出願第１６／１８２，２４６号（代理人整理番号ＥＮＤ９０１６ＵＳＮＰ１）；
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願第１６／２０９，３８５号（代理人整理番号ＥＮＤ８４９５ＵＳＮＰ）；
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願第１６／２０９，４０７号（代理人整理番号ＥＮＤ８４９７ＵＳＮＰ）；
・２０１８年１１月６日に出願された「ＷＩＲＥＬＥＳＳ ＰＡＩＲＩＮＧ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥ ＷＩＴＨ ＡＮＯＴＨＥＲ ＤＥＶＩＣＥ ＷＩＴＨＩＮ Ａ ＳＴＥＲＩＬＥ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＢＡＳＥＤ ＯＮ ＴＨＥ ＵＳＡＧＥ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＯＦ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１８２，２３１号（代理人整理番号ＥＮＤ９０３２ＵＳＮＰ２）；
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＦＯＲ ＦＡＣＩＬＩＴＹ ＤＡＴＡ ＣＯＬＬＥＣＴＩＯＮ ＡＮＤ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ」と題する米国特許出願第１６／２０９，４９０号（代理人整理番号ＥＮＤ９０１７ＵＳＮＰ１）；
・２０１４年９月１８日に公開された「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１４／０２６３５５２号；
・２０１７年６月２０日に出願された「ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＯＦ ＭＯＴＯＲ ＶＥＬＯＣＩＴＹ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願第１５／６２８１７５号（代理人整理番号ＥＮＤ８１９９ＵＳＮＰ）；
・２００９年２月１９日に公開された「ＳＵＲＧＩＣＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＡＮＤ ＣＯＮＴＲＯＬ ＳＹＳＴＥＭ」と題する米国特許出願公開第２００９／００４６１４６号；及び
・２０１６年３月１５日に発行された「ＳＵＲＧＩＣＡＬ ＡＰＰＡＲＡＴＵＳ ＷＩＴＨ ＩＮＤＩＣＡＴＯＲ」と題する米国特許第９，２８３，０５４号。
図１を参照すると、コンピュータ実装インタラクティブ外科システム１００は、１つ又は２つ以上の外科システム１０２と、クラウドベースのシステム（例えば、ストレージ装置に連結された遠隔サーバ１１３を含み得るクラウド１０４）とを含み得る。各外科システム１０２は、遠隔サーバ１１３を含み得るクラウド１０４と通信する少なくとも１つの外科用ハブ１０６を含み得る。一例では、図１に示すように、外科システム１０２は、可視化システム１０８と、ロボットシステム１１０と、ハンドヘルド式インテリジェント外科用器具１１２とを含み、これらは、互いに、及び／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科システム１０２は、Ｍ個のハブ１０６、Ｎ個の可視化システム１０８、Ｏ個のロボットシステム１１０、及びＰ個のハンドヘルド式インテリジェント外科用器具１１２を含むことができ、Ｍ、Ｎ、Ｏ、及びＰは、１以上の整数とすることができる。
様々な態様では、可視化システム１０８は、図２に示すように、滅菌野に対して戦略的に配置される１つ又は２つ以上の撮像センサと、１つ又は２つ以上の画像処理ユニットと、１つ又は２つ以上のストレージアレイと、１つ又は２つ以上のディスプレイとを含み得る。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ、及びＥＭＲのためのインターフェースを含み得る。可視化システム１０８の様々な構成要素は、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
図２に示すように、一次ディスプレイ１１９は、手術台１１４の操作者に見えるように滅菌野に位置付けられる。加えて、可視化タワー１１１が、滅菌野の外側に位置付けられる。可視化タワー１１１は、第１の非滅菌ディスプレイ１０７と、第２の非滅菌ディスプレイ１０９とを含んでもよく、それらは、相互から離れて面している。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９及び１１９を利用して、滅菌野の内側及び外側の操作者への情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、撮像装置１２４によって記録されるような手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９上に表示させる一方、手術部位のライブ映像を一次ディスプレイ１１９上に維持してもよい。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌操作者が、外科処置に関連する診断工程を実行することを可能にすることできる。
一態様では、ハブ１０６はまた、可視化タワー１１１において非滅菌操作者によって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ１１９に送り、これを手術台において滅菌操作者によって見ることができるように構成されている。一例では、入力は、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であることができ、ハブ１０６によって一次ディスプレイ１１９に送信することができる。
図２を参照すると、外科用器具１１２は、外科処置において外科システム１０２の一部として使用されている。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するように構成され得る。例えば、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号において、その開示は、その全体が参照により本明細書に組み込まれる。可視化タワー１１１において非滅菌操作者によって入力された診断入力又はフィードバックは、ハブ１０６によって、滅菌野内の外科用器具ディスプレイ１１５に送信することができ、外科用器具１１２の操作者によって見ることができる。外科システム１０２とともに使用するのに好適な例示的な外科用器具は、例えば、「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｈａｒｄｗａｒｅ」という見出しの下、及び２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号に記載されており、その開示は、その全体が参照により本明細書に組み込まれる。
図３は、手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科システム１０２の例を示す。ロボットシステム１１０は、外科システム１０２の一部として外科処置において使用され得る。ロボットシステム１１０は、外科医コンソール１１８、患者側カート１２０（外科用ロボット）、及び外科用ロボットハブ１２２を含み得る。外科医が外科医のコンソール１１８を通じて手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通じて、少なくとも１つの着脱可能に連結された外科用ツール１１７を操作することができる。手術部位の画像は医療用撮像装置１２４によって取得され、この医療用撮像装置は、撮像装置１２４を配向するように患者側カート１２０によって操作することができる。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通じて、外科医に表示することができる。
他の種類のロボットシステムを、外科システム１０２とともに使用するように容易に適合させることができる。本開示とともに使用するのに適したロボットシステム及び外科用ツールの様々な例は、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１９－０２０１１３７（Ａ１）号に記載されており、その開示は、その全体が参照により本明細書に組み込まれる。
クラウド１０４によって実行され、本開示とともに使用するのに適したクラウドベースの分析の様々な例は、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題する米国特許出願公開第２０１９－０２０６５６９（Ａ１）号に記載されており、その開示は、その全体が参照により本明細書に組み込まれる。
様々な態様では、撮像装置１２４は、少なくとも１つの画像センサと、１つ又は２つ以上の光学構成要素とを含み得る。好適な画像センサは、電荷結合素子（Charge-Coupled Device、ＣＣＤ）センサ及び相補型金属酸化膜半導体（Complementary Metal-Oxide Semiconductor、ＣＭＯＳ）センサを含み得るが、それらに限定されない。
撮像装置１２４の光学構成要素は、１つ又は２つ以上の照明源、及び／又は１つ又は２つ以上のレンズを含んでもよい。１つ又は２つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ又は２つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
１つ又は２つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。
不可視スペクトル（すなわち、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ｉｎｆｒａｒｅｄ、ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
様々な態様では、撮像装置１２４は、低侵襲性処置において使用するように構成されている。本開示とともに使用するために好適な撮像装置の例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
撮像装置は、マルチスペクトルモニタリングを採用して、トポグラフィ及び下層構造を判別することができる。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データをキャプチャするものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体ではキャプチャすることができない追加情報を抽出することが可能にある。マルチスペクトル撮像の使用は、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号の下でより詳細に説明されており、その開示は、参照によりその全体が本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ又は２つ以上を実行するための外科作業が完了した後に術野を再配置するのに有用なツールであり得る。
いかなる外科手術においても手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療装置及び機器の可能な最も高い滅菌性を必要とする。上記の滅菌プロセスの一部としては、撮像装置１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科手術の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
図４は、医療施設の１つ又は２つ以上の手術室、又は外科処置のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式装置をクラウドベースのシステム（例えばストレージ装置に連結された遠隔サーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３はまた、ローカルコンピュータシステム２１０に連結することができ、ローカルコンピュータ処理及びデータ操作を提供することができる。外科用データネットワーク２０１は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つの装置（又はセグメント）から別の装置（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント外科用データネットワークは、トラフィックが監視対象の外科用データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の機構を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
手術室に位置するモジュール式装置１ａ～１ｎは、モジュール式通信ハブ２０３に連結されてもよい。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、装置１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。装置１ａ～１ｎに関連付けられたデータは、遠隔データ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。装置１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送されてもよい。同じ手術室に位置するモジュール式装置２ａ～２ｍもまた、ネットワークスイッチ２０９に連結されてもよい。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、装置２ａ～２ｍをクラウド２０４に接続することができる。装置２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。装置２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送されてもよい。
複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数の装置１ａ～１ｎ／２ａ～２ｍを受容するように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０もまた、モジュール式制御タワーに収容されてもよい。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば外科処置中に、装置１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、装置１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用装置に連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用装置、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
一態様では、外科用データネットワーク２０１は、装置１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングの一種」を指すために使用することができ、この場合、サーバ、ストレージ及びアプリケーションなどの様々なサービスは、インターネットを介して、手術現場（例えば、固定式、移動式、一時的又は現場の手術室又は空間）に位置するモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、かつモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続された装置に送達される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ又は２つ以上の手術室内に位置する装置１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数の装置又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。
装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、手術結果の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像装置と一体化された様々なセンサを使用し、かつ複数の撮像装置によってキャプチャされた画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
手術室装置１ａ～１ｎは、ネットワークハブに対する装置１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャスト装置として実装されてもよい。ネットワークハブは、同じ手術室ネットワーク内に位置する装置１ａ～１ｎに接続性を提供することができる。ネットワークハブ２０７は、パケットの形態のデータを収集し、それらを半二重モードでルータに送信することができる。ネットワークハブ２０７は、いかなる装置データを転送するための媒体アクセス制御／インターネットプロトコル（media access control、MAC/Internet Protocol、ＩＰ）も記憶しなくてもよい。装置１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信することができる。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有しなくてもよく、全てのネットワークデータを各コネクション全体及びクラウド２０４上の遠隔サーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなどの基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなりボトルネックを引き起こすおそれがある。
手術室装置２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続されてもよい。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同じ手術室内に位置する装置２ａ～２ｍをネットワークに接続するためのマルチキャスト装置であってもよい。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信することができ、全二重モードで機能する。複数の装置２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信することができる。ネットワークスイッチ２０９は、データを転送するために装置２ａ～２ｍのＭＡＣアドレスを記憶かつ使用する。
ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結され得る。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータの更なる処理及び操作のために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信されたデータパケットをクラウドベースのコンピュータリソースに送信するためのルートを作成する。ネットワークルータ２１１は、例えば、同じ医療施設の異なる手術室又は異なる医療施設の異なる手術室に位置する異なるネットワークなどの、異なる位置に位置する２つ以上の異なるネットワークを接続するために用いられてもよい。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信することができ、全二重モードで機能する。複数の装置が同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。
一例では、ネットワークハブ２０７は、複数のＵＳＢ装置をホストコンピュータに接続することを可能にするＵＳＢハブとして実装されてもよい。ＵＳＢハブは、装置をホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含むことができる。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置する装置１ａ～１ｎと装置２ａ～２ｍとの間の通信のために用いられてもよい。
例では、手術室装置１ａ～１ｎ／２ａ～２ｍは、固定及びモバイル装置から短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（personal area network、ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術室装置１ａ～１ｎ／２ａ～２ｍは、数多くの無線又は有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信することができ、そのような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、新しい無線（ＮＲ）、ロングタームエボリューション（ＬＴＥ）並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ及びそれ以降と指定される任意の他の無線及び有線プロトコルが挙げられるがこれらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。
モジュール式通信ハブ２０３は、手術室装置１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱ってもよい。フレームは、装置１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送することができる。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くの無線又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。
モジュール式通信ハブ２０３は、スタンドアロンの装置として使用されてもよいか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続されてもよい。モジュール式通信ハブ２０３は、一般に据え付け、構成、及び維持が容易であるため、モジュール式通信ハブ２０３は手術室装置１ａ～１ｎ／２ａ～２ｍをネットワーク接続するための良好な選択肢となり得る。
図５は、コンピュータ実装インタラクティブ外科システム２００を示す。コンピュータ実装インタラクティブ外科システム２００は、多くの点で、コンピュータ実装インタラクティブ外科システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科システム２００は、多くの点で外科システム１０２と類似する１つ又は２つ以上の外科システム２０２を含む。各外科システム２０２は、遠隔サーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科システム２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。
図５の例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結された撮像モジュール２３８、エネルギー装置２４１に連結され得る発生器モジュール２４０、排煙器モジュール２２６、吸引／灌注モジュール２２８、通信モジュール２３０、プロセッサモジュール２３２、ストレージアレイ２３４、任意選択的にディスプレイ２３７に連結され得るスマート装置／器具２３５及び非接触センサモジュール２４２に連結され得る。手術室装置は、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続された装置から受信されたデータを、画像及び重ね合わせられた画像とともに表示してもよい。
図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えばネットワーク接続装置などのモジュール式通信ハブ２０３と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム２１０と、を備え得る。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、装置）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続されてもよい。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
外科用ハブ２０６は、非接触センサモジュール２４２を使用して、手術室の寸法を測定し、また超音波非接触測定装置又はレーザ型非接触測定装置のいずれかを使用して手術現場のマップを生成してもよい。超音波ベースの非接触センサモジュールは、参照することによってその全体として本明細書に組み込まれる、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題された米国特許出願公開第２０１９－０２００８４４（Ａ１）号で説明されるように、超音波のバーストを送信し、手術室の周囲壁から跳ね返るときにエコーを受信することによって、手術室をスキャンしてもよく、センサモジュールは、手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信することによって手術室をスキャンし、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整してもよい。
コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備え得る。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、ストレージ２４８、メモリ２４９、不揮発性メモリ２５０、及び入力／出力インターフェース２５１に連結されてもよい。システムバスは、９ビットバス、業界標準アーキテクチャ（Industrial Standard Architecture、ＩＳＡ）、マイクロチャネルアーキテクチャ（Micro-Charmel Architecture、ＭＳＡ）、拡張ＩＳＡ（Extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（Intelligent Drive Electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA Local Bus、ＶＬＢ）、周辺装置相互接続（Peripheral Component Interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（Advanced Graphics Port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（Small Computer Systems Interface、ＳＣＳＩ）、又は任意の他の専用バスが挙げられるがこれらに限定されない任意の様々なバスアーキテクチャを用いる、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造（複数可）のうちのいずれかであってもよい。
プロセッサ２４４は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（serial random access memory、ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（read-only memory、ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）及び／又は、１つ又は２つ以上のパルス幅変調（pulse width modulation、ＰＷＭ）モジュール、１つ又は２つ以上の直交エンコーダ入力（quadrature encoder input、ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ又は２つ以上の１２ビットアナログ－デジタル変換器（analog-to-digital converter、ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。
一態様では、プロセッサ２４４は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（basic input/output system、ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（programmable ROM、ＰＲＯＭ）、電気的プログラマブルＲＯＭ（electrically programmable ROM、ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（random-access memory、ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（enhanced SDRAM、ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（Synchlink DRAM、ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（direct Rambus RAM、ＤＲＲＡＭ）などの多くの形態で利用可能である。
コンピュータシステム２１０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータ記憶媒体、例えばディスク記憶装置などを含み得る。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられ得るが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（compact disc ROM、ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（compact disc recordable drive、ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（compact disc rewritable drive、ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（digital versatile disc ROM、ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
コンピュータシステム２１０は、好適な動作環境で説明されるユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムが挙げられる。ディスク記憶装置上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能し得る。システムアプリケーションは、システムメモリ内又はディスク記憶装置上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用することができる。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。
ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力装置を介してコンピュータシステム２１０にコマンド又は情報を入力することができる。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどが挙げられるが、これらに限定されない。これら及び他の入力装置は、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びＵＳＢが挙げられる。出力装置は、入力装置と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とし得る出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力装置が存在し得ることを示すために提供され得る。出力アダプタとしては、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードが挙げられるが、これは例示としてのものであり、限定するものではない。遠隔コンピュータなどの他の装置及び／又は装置のシステムは、入力及び出力機能の両方を提供し得ることに留意されたい。
コンピュータシステム２１０は、クラウドコンピュータなどの１つ若しくは２つ以上の遠隔コンピュータ又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作することができる。遠隔クラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、遠隔コンピュータとともに、メモリストレージ装置のみが示される。遠隔コンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続されてもよい。ネットワークインターフェースは、ローカルエリアネットワーク（local area network、ＬＡＮ）及びワイドエリアネットワーク（wide area network、ＷＡＮ）などの通信ネットワークを包含し得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（Fiber Distributed Data Interface、ＦＤＤＩ）、銅線分散データインターフェース（Copper Distributed Data Interface、ＣＤＤＩ）、イーサネット／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５などが挙げられる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（Integrated Services Digital Network、ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（Digital Subscriber Line、ＤＳＬ）が挙げられるが、これらに限定されない。
様々な態様では、図６のコンピュータシステム２１０、図５、図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（digital signal processor、ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（single instruction,multiple data、ＳＩＭＤ）、又は複数命令複数データ（multiple instruction,multiple data、ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
通信接続部とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指すことができる。例示の明瞭さのため通信接続部はコンピュータシステム内部に示されているが、通信接続部はコンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術が挙げられる。
図７は、本開示の１つ又は２つ以上の態様による、外科用器具又はツールの制御システム４７０の論理図を示す。システム４７０は、制御回路を備え得る。制御回路は、プロセッサ４６２及びメモリ４６８を備えるマイクロコントローラ４６１を含み得る。例えば、センサ４７２、４７４、４７６のうちの１つ又は２つ以上が、プロセッサ４６２にリアルタイムなフィードバックを提供する。モータドライバ４９２によって駆動されるモータ４８２は、長手方向に移動可能な変位部材を動作可能に連結して、Ｉビームナイフ要素を駆動する。追跡システム４８０は、長手方向に移動可能な変位部材の位置を判定するように構成され得る。位置情報は、長手方向に移動可能な駆動部材の位置、並びに発射部材、発射バー、及びＩビームナイフ要素の位置を判定するようにプログラム又は構成することができるプロセッサ４６２に提供され得る。追加のモータが、Ｉビームの発射、閉鎖管の移動、シャフトの回転、及び関節運動を制御するために、ツールドライバインターフェースに提供されてもよい。ディスプレイ４７３は、器具の様々な動作条件を表示することができ、データ入力のためのタッチスクリーン機能を含んでもよい。ディスプレイ４７３上に表示された情報は、内視鏡撮像モジュールを介して取得された画像とオーバーレイさせることができる。
一態様では、マイクロコントローラ４６１は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、主マイクロコントローラ４６１は、例えば、その詳細が製品データシートで入手可能である、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルＳＲＡＭ、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部ＲＯＭ、２ＫＢのＥＥＰＲＯＭ、１つ若しくは２つ以上のＰＷＭモジュール、１つ若しくは２つ以上のＱＥＩアナログ、及び／又は１２個のアナログ入力チャネルを備える１つ若しくは２つ以上の１２ビットＡＤＣを含む、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。
一態様では、マイクロコントローラ４６１は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
マイクロコントローラ４６１は、ナイフ及び関節運動システムの速度及び位置に対する精密制御など、様々な機能を実施するようにプログラムされてもよい。一態様では、マイクロコントローラ４６１は、プロセッサ４６２及びメモリ４６８を含み得る。電気モータ４８２は、ギアボックス、及び関節運動又はナイフシステムへの機械的連結部を備えたブラシ付き直流（direct current、ＤＣ）モータであってもよい。一態様では、モータドライバ４９２は、Ａｌｌｅｇｒｏ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃから入手可能なＡ３９４１であってもよい。他のモータドライバを、絶対位置付けシステムを備える追跡システム４８０で使用するために容易に代用することができる。絶対位置付けシステムに関する詳細な説明は、その全体が参照により本明細書に組み込まれる「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年１０月１９日公開の米国特許出願公開第２０１７／０２９６２１３号に記載されている。
マイクロコントローラ４６１は、変位部材及び関節運動システムの速度及び位置に対する正確な制御を提供するようにプログラムされてもよい。マイクロコントローラ４６１は、マイクロコントローラ４６１のソフトウェア内で応答を計算するように構成されてもよい。計算された応答は、実際のシステムの測定された応答と比較されて「観測された」応答が得られ、これが実際のフィードバックの決定に使用され得る。観測された応答は、シミュレートされた応答の滑らかで連続的な性質と、測定された応答とのバランスをとる好適な調整された値であり得、これはシステムに及ぼす外部の影響を検出することができる。
いくつかの例では、モータ４８２は、モータドライバ４９２によって制御されてもよく、外科用器具又はツールの発射システムによって用いられ得る。様々な形態において、モータ４８２は、例えば、約２５，０００ＲＰＭの最大回転速度を有するブラシ付きＤＣ駆動モータであってもよい。いくつかの例では、モータ４８２としては、ブラシレスモータ、コードレスモータ、同期モータ、ステッパモータ、又は任意の他の好適な電気モータが挙げられ得る。モータドライバ４９２は、例えば、電界効果トランジスタ（field-effect transistor、ＦＥＴ）を含むＨブリッジドライバを備えてもよい。モータ４８２は、外科用器具又はツールに制御電力を供給するために、ハンドル組立体又はツールハウジングに解除可能に装着された電源組立体によって給電され得る。電源組立体は、外科用器具又はツールに給電するための電源として使用され得る、直列に接続された多数の電池セルを含み得る電池を備えてもよい。特定の状況下では、電源組立体の電池セルは、交換可能及び／又は再充電可能であってもよい。少なくとも１つの例では、電池セルは、電源組立体に連結可能かつ電源組立体から分離可能であり得るリチウムイオン電池であり得る。
モータドライバ４９２は、Ａｌｌｅｇｒｏ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃから入手可能なＡ３９４１であってもよい。Ａ３９４１ ４９２は、特にブラシ付きＤＣモータなどの誘導負荷を目的として設計された外部Ｎチャネルパワー金属酸化膜半導体電界効果トランジスタ（metal-oxide semiconductor field-effect transistor、ＭＯＳＦＥＴ）とともに使用するためのフルブリッジコントローラであってもよい。ドライバ４９２は、固有の電荷ポンプレギュレータを備えてもよく、これは、完全（＞１０Ｖ）ゲート駆動を７Ｖまでの電池電圧に提供してもよく、Ａ３９４１が５．５Ｖまでの低減ゲート駆動で動作することを可能にし得る。ＮチャネルＭＯＳＦＥＴに必要な上記の電池供給電圧を与えるために、ブートストラップコンデンサが用いられてもよい。ハイサイド駆動用の内部電荷ポンプにより、ＤＣ（１００％デューティサイクル）動作が可能となる。フルブリッジは、ダイオード又は同期整流を使用して高速又は低速減衰モードで駆動され得る。低速減衰モードでは、電流の再循環は、ハイサイドのＦＥＴによっても、ローサイドのＦＥＴによっても可能である。電力ＦＥＴは、抵抗器で調整可能なデッドタイムによって、シュートスルーから保護され得る。統合診断は、低電圧、温度過昇、及びパワーブリッジの異常を示すものであり、ほとんどの短絡状態下でパワーＭＯＳＦＥＴを保護するように構成され得る。他のモータドライバを、絶対位置付けシステムを備えた追跡システム４８０で使用するために容易に代用することができる。
追跡システム４８０は、本開示の一態様による位置センサ４７２を備える制御されたモータ駆動回路配置を備え得る。絶対位置付けシステム用の位置センサ４７２は、変位部材の位置に対応する固有の位置信号を提供し得る。いくつかの例では、変位部材は、ギア減速機組立体の対応する駆動ギアと噛合係合するための駆動歯のラックを備える長手方向に移動可能な駆動部材を表し得る。いくつかの例では、変位部材は、駆動歯のラックを含むように適合され、構成され得る発射部材を表し得る。いくつかの例では、変位部材は、発射バー又はＩビームを表してもよく、それらの各々は、駆動歯のラックを含むように適合され、構成され得る。したがって、本明細書で使用するとき、変位部材という用語は、一般的に、駆動部材、発射部材、発射バー、Ｉビーム、又は変位され得る任意の要素など、外科用器具又はツールの任意の可動部材を指すために使用され得る。一態様では、長手方向に移動可能な駆動部材は、発射部材、発射バー、及びＩビームに連結され得る。したがって、絶対位置付けシステムは、実際には、長手方向に移動可能な駆動部材の直線変位を追跡することによって、Ｉビームの直線変位を追跡することができる。様々な態様では、変位部材は、直線変位を測定するのに好適な任意の位置センサ４７２に連結されてもよい。したがって、長手方向に移動可能な駆動部材、発射部材、発射バー、若しくはＩビーム、又はそれらの組み合わせは、任意の好適な直線変位センサに連結されてもよい。直線変位センサは、接触式変位センサ又は非接触式変位センサを含んでもよい。直線変位センサは、線形可変差動変圧器（linear variable differential transformer、ＬＶＤＴ）、差動可変磁気抵抗型変換器（differential variable reluctance transducer、ＤＶＲＴ）、スライドポテンショメータ、移動可能な磁石及び一連の直線状に配置されたホール効果センサを備える磁気感知システム、固定された磁石及び一連の移動可能な直線状に配置されたホール効果センサを備える磁気感知システム、移動可能な光源及び一連の直線状に配置された光ダイオード若しくは光検出器を備える光学検出システム、固定された光源及び一連の移動可能な直線状に配置された光ダイオード若しくは光検出器を備える光学検出システム、又はこれらの任意の組み合わせを含んでもよい。
電気モータ４８２は、変位部材上の駆動歯の組又はラックと噛合係合で装着されるギア組立体と動作可能にインターフェースする回転式シャフトを含んでもよい。センサ素子は、位置センサ４７２素子の１回転が、変位部材のいくつかの直線長手方向並進に対応するように、ギア組立体に動作可能に連結されてもよい。ギアリング及びセンサの構成は、ラックピニオン構成によって直線アクチュエータに、又はスパーギア若しくは他の接続によって回転アクチュエータに接続することができる。電源は、絶対位置付けシステムに電力を供給することができ、出力インジケータは、絶対位置付けシステムの出力を表示することができる。変位部材は、ギア減速機組立体の対応する駆動ギアと噛合係合するための、その上に形成された駆動歯のラックを備える長手方向に移動可能な駆動部材を表し得る。変位部材は、長手方向に移動可能な発射部材、発射バー、Ｉビーム、又はこれらの組み合わせを表し得る。
位置センサ４７２と関連付けられたセンサ素子の１回転は、変位部材の長手方向直線変位ｄ１に相当してもよく、ｄ１は、変位部材に連結されたセンサ素子の１回転した後で、変位部材が点「ａ」から点「ｂ」まで移動する長手方向の直線距離である。センサ機構は、位置センサ４７２が変位部材のフルストロークに対して１回以上の回転を完了する結果をもたらすギアの減速を介して連結されてもよい。位置センサ４７２は、変位部材のフルストロークに対して複数回の回転を完了することができる。
位置センサ４７２の２回以上の回転に対する固有の位置信号を提供するために、一連のスイッチ（ここでｎは１よりも大きい整数である）が、単独で、又はギアの減速との組み合わせで用いられてもよい。スイッチの状態は、マイクロコントローラ４６１にフィードバックされてもよく、マイクロコントローラ４６１は、論理を適用して、変位部材の長手方向の直線変位ｄ１＋ｄ２＋．．．ｄｎに対応する固有の位置信号を判定する。位置センサ４７２の出力はマイクロコントローラ４６１に提供される。センサ機構の位置センサ４７２は、位置信号又は値の固有の組み合わせを出力する、磁気センサ、電位差計などのアナログ回転センサ、又はアナログホール効果素子のアレイを備えてもよい。
位置センサ４７２は、例えば、全磁界又は磁界のベクトル成分を測定するかどうかに従って分類される磁気センサなどの、任意の数の磁気感知素子を備えてもよい。両タイプの磁気センサを生産するために使用される技術は、物理学及び電子工学の多数の側面を含み得る。磁界の感知に使用される技術としては、とりわけ、探りコイル、フラックスゲート、光ポンピング、核摂動（nuclear precession）、ＳＱＵＩＤ、ホール効果、異方性磁気抵抗、巨大磁気抵抗、磁気トンネル接合、巨大磁気インピーダンス、磁歪／圧電複合材、磁気ダイオード、磁気トランジスタ、光ファイバ、磁気光学、及び微小電気機械システムベースの磁気センサが挙げられる。
一態様では、絶対位置付けシステムを備える追跡システム４８０の位置センサ４７２は、磁気回転絶対位置付けシステムを備え得る。位置センサ４７２は、Ａｕｓｔｒｉａ Ｍｉｃｒｏｓｙｓｔｅｍｓ，ＡＧから入手可能なＡＳ５０５５ＥＱＦＴシングルチップ磁気回転位置センサとして実装されてもよい。位置センサ４７２は、マイクロコントローラ４６１とインターフェースされて絶対位置付けシステムを提供する。位置センサ４７２は、低電圧低電力の構成要素であってもよく、磁石の上方に位置し得る位置センサ４７２の領域に、４つのホール効果素子を含む。また、高解像度ＡＤＣ及びスマート電力管理コントローラがチップ上に設けられ得る。加算、減算、ビットシフト、及びテーブル参照演算のみを必要とする、双曲線関数及び三角関数を計算する簡潔かつ効率的なアルゴリズムを実装するために、桁毎法及びボルダーアルゴリズムとしても知られる、座標回転デジタルコンピュータ（coordinate rotation digital computer、ＣＯＲＤＩＣ）プロセッサが設けられ得る。角度位置、アラームビット、及び磁界情報は、シリアル周辺インターフェース（serial peripheral interface、ＳＰＩ）インターフェースなどの標準的なシリアル通信インターフェースを介してマイクロコントローラ４６１に送信され得る。位置センサ４７２は、１２ビット又は１４ビットの解像度を提供し得る。位置センサ４７２は、小型のＱＦＮ１６ピン４ｘ４ｘ０．８５ｍｍパッケージで提供されるＡＳ５０５５チップであってもよい。
絶対位置付けシステムを備える追跡システム４８０は、ＰＩＤ、状態フィードバック、及び適応コントローラなどのフィードバックコントローラを備えてもよく、かつ／又はこれを実装するようにプログラムされてもよい。電源は、フィードバックコントローラからの信号を、システムへの物理的入力、この場合は電圧へと変換する。他の例としては、電圧、電流、及び力のＰＷＭが挙げられる。位置センサ４７２によって測定される位置に加えて、物理的システムの物理パラメータを測定するために、他のセンサが設けられてもよい。いくつかの態様では、他のセンサとしては、その全体が参照により本明細書に組み込まれる、「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する２０１６年５月２４日発行の米国特許第９，３４５，４８１号、その全体が参照により本明細書に組み込まれる、「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する２０１４年９月１８日公開の米国特許出願公開第２０１４／０２６３５５２号、及びその全体が参照により本明細書に組み込まれる、「ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＯＦ ＭＯＴＯＲ ＶＥＬＯＣＩＴＹ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年６月２０日出願の米国特許出願第１５／６２８，１７５号に記載されているものなどのセンサ配置を挙げることができる。デジタル信号処理システムでは、絶対位置付けシステムはデジタルデータ取得システムに連結され、ここで絶対位置付けシステムの出力は有限の解像度及びサンプリング周波数を有する。絶対位置付けシステムは、計算された応答を測定された応答に向けて駆動する加重平均及び理論制御ループなどのアルゴリズムを使用して、計算された応答を測定された応答と組み合わせるために、比較及び組み合わせ回路を備え得る。入力を知ることによって物理的システムの状態及び出力がどうなるかを予測するために、物理的システムの計算された応答は、質量、慣性、粘性摩擦、誘導抵抗などの特性を考慮に入れることができる。
絶対位置付けシステムは、単にモータ４８２がとった前方又は後方への工程の数を計数して装置アクチュエータ、駆動バー、ナイフなどの位置を推定する従来の回転エンコーダで必要となり得るような、変位部材をリセット（ゼロ又はホーム）位置へ後退又は前進させることなしに、器具の電源投入時に変位部材の絶対位置を提供し得る。
例えば歪みゲージ又は微小歪みゲージなどのセンサ４７４は、例えば、アンビルに適用される閉鎖力を示すことができる、クランプ動作中にアンビルに及ぼされる歪みの振幅などのエンドエフェクタの１つ又は２つ以上のパラメータを測定するように構成され得る。測定された歪みは、デジタル信号に変換されて、プロセッサ４６２に提供され得る。センサ４７４の代わりに、又はこれに加えて、例えば、負荷センサなどのセンサ４７６が、閉鎖駆動システムによってアンビルに加えられる閉鎖力を測定することができる。例えば、負荷センサなどのセンサ４７６は、外科用器具又はツールの発射ストローク中にＩビームに加えられる発射力を測定することができる。Ｉビームは、楔形スレッドと係合するように構成されており、楔形スレッドは、ステープルドライバを上向きにカム作用して、ステープルを押し出してアンビルと変形接触させるように構成されている。Ｉビームはまた、Ｉビームを発射バーによって遠位に前進させる際に組織を切断するたに使用することができる、鋭利な切刃を含み得る。代替的に、モータ４８２により引き込まれる電流を測定するために、電流センサ４７８を用いることができる。発射部材を前進させるのに必要な力は、例えば、モータ４８２によって引き込まれる電流に対応し得る。測定された力は、デジタル信号に変換されて、プロセッサ４６２に提供され得る。
一形態では、歪みゲージセンサ４７４を使用して、エンドエフェクタによって組織に加えられる力を測定することができる。治療されている組織に対するエンドエフェクタによる力を測定するために、歪みゲージをエンドエフェクタに連結することができる。エンドエフェクタによって把持された組織に加えられる力を測定するためのシステムは、例えば、エンドエフェクタの１つ又は２つ以上のパラメータを測定するように構成され得る微小歪みゲージなどの歪みゲージセンサ４７４を備え得る。一態様では、歪みゲージセンサ４７４は、組織圧縮を示し得る、クランプ動作中にエンドエフェクタのジョー部材に及ぼされる歪みの振幅又は規模を測定することができる。測定された歪みは、デジタル信号に変換されて、マイクロコントローラ４６１のプロセッサ４６２に提供され得る。負荷センサ４７６は、例えば、アンビルとステープルカートリッジとの間に捕捉された組織を切断するために、ナイフ要素を動作させるために使用される力を測定することができる。磁界センサは、捕捉された組織の厚さを測定するために用いることができる。磁界センサの測定値もデジタル信号に変換されて、プロセッサ４６２に提供され得る。
センサ４７４、４７６によってそれぞれ測定される、組織圧縮、組織の厚さ、及び／又はエンドエフェクタを組織上で閉鎖するのに必要な力の測定値は、発射部材の選択された位置、及び／又は発射部材の速度の対応する値を特性決定するために、マイクロコントローラ４６１によって使用することができる。一例では、メモリ４６８は、評価の際にマイクロコントローラ４６１によって用いることができる技術、等式及び／又はルックアップテーブルを記憶することができる。
外科用器具又はツールの制御システム４７０はまた、図５及び図６に示されるようにモジュール式通信ハブ２０３と通信するための有線通信回路又は無線通信回路を備えてもよい。
図８は、様々な機能を実施するために起動され得る複数のモータを備える外科用器具又はツールを示す。特定の例では、第１のモータを起動させて第１の機能を実施することができ、第２のモータを起動させて第２の機能を実施することができ、第３のモータを起動させて第３の機能を実施することができ、第４のモータを起動させて第４の機能を実施することができる、といった具合である。特定の例では、ロボット外科用器具６００の複数のモータは個々に起動されて、エンドエフェクタにおいて発射運動、閉鎖運動、及び／又は関節運動を生じさせることができる。発射運動、閉鎖運動、及び／又は関節運動は、例えばシャフト組立体を介してエンドエフェクタに伝達することができる。
特定の例では、外科用器具システム又はツールは発射モータ６０２を含んでもよい。発射モータ６０２は、具体的にはＩビーム要素を変位させるために、モータ６０２によって生成された発射運動をエンドエフェクタに伝達するように構成することができる、発射モータ駆動組立体６０４に動作可能に連結されてもよい。特定の例では、モータ６０２によって生成される発射運動によって、例えば、ステープルをステープルカートリッジから、エンドエフェクタによって捕捉された組織内へと配備し、かつ／又はＩビーム要素の切刃を前進させて、捕捉された組織を切断してもよい。Ｉビーム要素は、モータ６０２の方向を逆転させることによって後退させることができる。
特定の例では、外科用器具又は手術具は閉鎖モータ６０３を含んでもよい。閉鎖モータ６０３は、具体的には閉鎖管を変位させてアンビルを閉鎖し、アンビルとステープルカートリッジとの間で組織を圧縮するためにモータ６０３によって生成された閉鎖運動をエンドエフェクタに伝達するように構成され得る、閉鎖モータ駆動組立体６０５と動作可能に連結されてもよい。閉鎖運動によって、エンドエフェクタは、例えば、組織を捕捉する、開放構成から接近構成へと移行することができる。エンドエフェクタは、モータ６０３の方向を逆転させることによって開放位置に移行され得る。
特定の例では、外科用器具又はツールは、例えば、１つ又は２つ以上の関節運動モータ６０６ａ、６０６ｂを含んでもよい。モータ６０６ａ、６０６ｂは、モータ６０６ａ、６０６ｂによって生成された関節運動をエンドエフェクタに伝達するように構成され得る、対応する関節運動モータ駆動組立体６０８ａ、６０８ｂに動作可能に連結され得る。特定の例では、関節運動によって、例えば、エンドエフェクタがシャフトに対して関節運動することができる。
本明細書に記載されるように、外科用器具又はツールは、様々な独立した機能を実施するように構成され得る複数のモータを含んでもよい。特定の例では、外科用器具又はツールの複数のモータは、他のモータが停止した状態を維持している間に、個別に又は別個に起動させて、１つ又は２つ以上の機能を実施することができる。例えば、関節運動モータ６０６ａ、６０６ｂを起動させて、発射モータ６０２が停止した状態を維持している間に、エンドエフェクタを関節運動させることができる。代替的に、発射モータ６０２を起動させて、関節運動モータ６０６が停止した状態を維持している間に、複数のステープルを発射させ、及び／又は切刃を前進させることができる。更に、閉鎖モータ６０３は、本明細書の以下でより詳細に説明されるように、閉鎖管及びＩビーム要素を遠位に前進させるために、発射モータ６０２と同時に起動されてもよい。
特定の例では、外科用器具又はツールは、外科用器具又はツールの複数のモータとともに用いることができる、共通の制御モジュール６１０を含んでもよい。特定の例では、共通の制御モジュール６１０は、一度に複数のモータのうちの１つに対応することができる。例えば、共通の制御モジュール６１０は、ロボット外科用器具の複数のモータに対して個々に連結可能かつ分離可能であってもよい。特定の例では、外科用器具又はツールの複数のモータは、共通の制御モジュール６１０などの１つ又は２つ以上の共通の制御モジュールを共有してもよい。特定の例では、外科用器具又はツールの複数のモータは、共通の制御モジュール６１０に個別にかつ選択的に係合することができる。特定の例では、共通の制御モジュール６１０は、外科用器具又はツールの複数のモータのうちの一方とのインターフェース接続から、外科用器具又はツールの複数のモータのうちのもう一方とのインターフェース接続へと選択的に切り替えることができる。
少なくとも１つの例では、共通の制御モジュール６１０は、関節運動モータ６０６ａ、６０６ｂとの動作可能な係合と、発射モータ６０２又は閉鎖モータ６０３のいずれかとの動作可能な係合と、の間で選択的に切り替えることができる。少なくとも１つの例では、図８に示すように、スイッチ６１４は、複数の位置及び／又は状態間を移動又は移行させることができる。例えば、第１の位置６１６では、スイッチ６１４は、共通の制御モジュール６１０を発射モータ６０２と電気的に連結してもよく、第２の位置６１７では、スイッチ６１４は、共通の制御モジュール６１０を閉鎖モータ６０３と電気的に連結してもよく、第３の位置６１８ａでは、例えば、スイッチ６１４は、共通の制御モジュール６１０を第１の関節運動モータ６０６ａと電気的に連結してもよく、第４の位置６１８ｂでは、スイッチ６１４は、共通の制御モジュール６１０を第２の関節運動モータ６０６ｂと電気的に連結してもよい。特定の例では、同時に、別個の共通の制御モジュール６１０を、発射モータ６０２、閉鎖モータ６０３、及び関節運動モータ６０６ａ、６０６ｂと電気的に連結してもよい。特定の例では、スイッチ６１４は、機械的スイッチ、電気機械的スイッチ、固体スイッチ、又は任意の好適な切り替え機構であってもよい。
モータ６０２、６０３、６０６ａ、６０６ｂの各々は、モータのシャフト上の出力トルクを測定するためのトルクセンサを備えてもよい。エンドエフェクタ上の力は、ジョーの外側の力センサによって、又はジョーを作動させるモータのトルクセンサなどによって、任意の従来の様式で感知されてもよい。
様々な例では、図８に示されるように、共通の制御モジュール６１０は、１つ又は２つ以上のＨブリッジＦＥＴを備え得るモータドライバ６２６を備えてもよい。モータドライバ６２６は、例えば、マイクロコントローラ６２０（「コントローラ」）からの入力に基づいて、電源６２８から共通の制御モジュール６１０に連結されたモータへと伝達された電力を変調してもよい。特定の例では、本明細書に記載されるように、例えば、モータが共通の制御モジュール６１０に連結されている間にマイクロコントローラ６２０を用いて、モータによって引き込まれる電流を判定することができる。
特定の例では、マイクロコントローラ６２０は、マイクロプロセッサ６２２（「プロセッサ」）と、１つ又は２つ以上の非一時的コンピュータ可読媒体又はメモリユニット６２４（「メモリ」）と、を含んでもよい。特定の例では、メモリ６２４は、様々なプログラム命令を記憶することができ、それが実行されると、プロセッサ６２２に、本明細書に記載される複数の機能及び／又は計算を実施させることができる。特定の例では、メモリユニット６２４のうちの１つ又は２つ以上が、例えば、プロセッサ６２２に連結されてもよい。
特定の例では、電源６２８を用いて、例えばマイクロコントローラ６２０に電力を供給してもよい。特定の例では、電源６２８は、例えばリチウムイオン電池などの電池（又は「電池パック」若しくは「電源パック」）を含んでもよい。特定の例では、電池パックは、外科用器具６００に電力を供給するため、ハンドルに解除可能に装着されるように構成されてもよい。直列で接続されたいくつかの電池セルを、電源６２８として使用してもよい。特定の例では、電源６２８は、例えば、交換可能及び／又は再充電可能であってもよい。
様々な例では、プロセッサ６２２は、モータドライバ６２６を制御して、共通の制御モジュール６１０に連結されたモータの位置、回転方向、及び／又は速度を制御することができる。特定の例では、プロセッサ６２２は、モータドライバ６２６に信号伝達して、共通の制御モジュール６１０に連結されるモータを停止及び／又は無効化することができる。「プロセッサ」という用語は、本明細書で使用されるとき、任意の好適なマイクロプロセッサ、マイクロコントローラ、又は、コンピュータの中央処理装置（central processing unit、ＣＰＵ）の機能を１つの集積回路又は最大で数個の集積回路上で統合した他の基本コンピューティング装置を含むと理解されるべきである。プロセッサは、デジタルデータを入力として受理し、メモリに記憶された命令に従ってそのデータを処理し、結果を出力として提供する、多目的プログラマブル装置であってもよい。それは、内部メモリを有し得るので、逐次的デジタル論理の一例であり得る。プロセッサは、二進数法で表される数字及び記号で動作し得る。
プロセッサ６２２は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。特定の例では、マイクロコントローラ６２０は、例えばＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ ４Ｆ２３０Ｈ５ＱＲであってもよい。少なくとも１つの実施例では、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓのＬＭ４Ｆ２３０Ｈ５ＱＲは、製品データシートで容易に利用可能な機能の中でもとりわけ、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルＳＲＡＭ、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部ＲＯＭ、２ＫＢのＥＥＰＲＯＭ、１つ又は２つ以上のＰＷＭモジュール、１つ又は２つ以上のＱＥＩアナログ、１２個のアナログ入力チャネルを備える１つ又は２つ以上の１２ビットＡＤＣを含むＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアである。他のマイクロコントローラが、モジュール４４１０とともに使用するのに容易に代用されてもよい。したがって、本開示は、この文脈に限定されるべきではない。
メモリ６２４は、共通の制御モジュール６１０に連結可能な外科用器具６００のモータの各々を制御するためのプログラム命令を含んでもよい。例えば、メモリ６２４は、発射モータ６０２、閉鎖モータ６０３、及び関節運動モータ６０６ａ、６０６ｂを制御するためのプログラム命令を含んでもよい。このようなプログラム命令は、プロセッサ６２２に、外科用器具又はツールのアルゴリズム又は制御プログラムからの入力に従って、発射機能、閉鎖機能、及び関節運動機能を制御させることができる。
例えば、センサ６３０などの１つ又は２つ以上の機構及び／又はセンサを用いて、特定の設定で使用すべきプログラム命令をプロセッサ６２２に警報することができる。例えば、センサ６３０は、エンドエフェクタの発射、閉鎖、及び関節運動に関連するプログラム命令を使用するようにプロセッサ６２２に警報することができる。特定の例では、センサ６３０は、例えば、スイッチ６１４の位置を感知するために用いることができる位置センサを備えてもよい。したがって、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第１の位置６１６にあることを検出すると、エンドエフェクタのＩビームの発射と関連付けられたプログラム命令を使用することができ、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第２の位置６１７にあることを検出すると、アンビルの閉鎖と関連付けられたプログラム命令を使用することができ、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第３の位置６１８ａ又は第４の位置６１８ｂにあることを検出すると、エンドエフェクタの関節運動と関連付けられたプログラム命令を使用することができる。
図９は、本開示の少なくとも１つの態様による、状況認識外科システム５１００の図を示す。いくつかの例示では、データソース５１２６は、例えば、モジュール式装置５１０２（患者及び／又はモジュール式装置自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る）、データベース５１２２（例えば、患者記録を含むＥＭＲデータベース）、及び患者監視装置５１２４（例えば、血圧（blood pressure、ＢＰ）モニタ、及び心電図（electrocardiography、ＥＫＧ）モニタ）を含み得る。外科用ハブ５１０４は、例えば、受信したデータの特定の組み合わせ又はデータソース５１２６からデータが受信される特定の順序に基づいて、データから外科処置に関するコンテキスト情報を導出するように構成され得る。受信されたデータから推測されるコンテキスト情報は、例えば、実施される外科手術の種類、外科医が実行している外科手術の特定の工程、手術されている組織の種類、又は処置の対象である体腔を含むことができる。受信されたデータから外科処置に関する情報を導出又は推測するための外科用ハブ５１０４のいくつかの態様に係わるこの機能は、「状況認識」と称することもある。一例示では、外科用ハブ５１０４は、受信されたデータから外科処置に関連するコンテキスト情報を導出する外科用ハブ５１０４に関連付けられたハードウェア及び／又はプログラミングである状況認識システムを組み込むことができる。
外科用ハブ５１０４の状況認識システムは、様々な異なる方法でデータソース５１２６から受信されたデータから、コンテキスト情報を導出するように構成することができる。例示では、状況認識システムは、様々な入力（例えば、データベース５１２２、患者監視装置５１２４、及び／又はモジュール式装置５１０２からのデータ）を外科処置に関する対応するコンテキスト情報に相関させるために訓練データで訓練されたパターン認識システム又は機械学習システム（例えば、人工ニューラルネットワーク）を含み得る。言い換えると、機械学習システムは、提供された入力から外科手術に関するコンテキスト情報を正確に導出するように訓練することができる。例では、状況認識システムは、外科処置に関する事前に特性評価されたコンテキスト情報を、そのコンテキスト情報に対応する１つ又は２つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式装置５１０２を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。例では、外科用ハブ５１０４の状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式装置５１０２の特定の制御調整、又は一連の制御調整に関連付けられ得る。例では、状況認識システムは、コンテキスト情報を入力として提供された際、１つ又は２つ以上のモジュール式装置５１０２の１つ又は２つ以上の制御調整を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含み得る。
状況認識システムを組み込む外科用ハブ５１０４は、外科システム５１００にいくつかの利点をもたらし得る。１つの利点は、感知及び収集されたデータの解釈を改善することを含み得、これは、外科処置の過程中の処理精度、及び／又はデータの使用を改善させる。以前の例に戻ると、状況認識外科用ハブ５１０４は、どの種類の組織が手術されているかを判定することができるので、したがって、外科用器具のエンドエフェクタを閉鎖するための予想外に高い力が検出されると、状況認識外科用ハブ５１０４は、組織種類に合わせて外科用器具のモータを正しく加速、あるいは減速させることができる。
手術されている組織の種類は、特定の組織間隙測定用の手術用ステープリング及び切断器具の圧縮速度と負荷閾値になされる調整に影響を及ぼし得る。状況認識外科用ハブ５１０４は、実行されている外科処置が胸部手術であるのか、又は腹部手術であるのかを推測することができ、これにより、外科用ハブ５１０４は、手術用ステープリング及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか（胸部手術の場合）、又は胃であるのか（腹部手術の場合）を判定することができる。次いで、外科用ハブ５１０４は、手術用ステープリング及び切断器具の圧縮速度及び負荷閾値を、組織の種類に合わせて適切に調整することができる。
送気処置中に手術されている体腔の種類は、排煙器の機能に影響を及ぼし得る。状況認識外科用ハブ５１０４は、手術部位が（外科処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置タイプを決定することができる。一般に、ある処置タイプが特定の体腔内で実行され得るので、外科用ハブ５１０４は、手術されている体腔に合わせて適切に排煙器のモータ速度を制御することができる。かくして、状況認識外科用ハブ５１０４は、胸部手術及び腹部手術の両方用に一貫した量の排煙を提供し得る。
実行されている処置の種類は、超音波外科用器具、又は高周波（radio frequency、ＲＦ）電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。例えば、関節鏡処置では、超音波外科用器具、又はＲＦ電気外科用器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とし得る。状況認識外科用ハブ５１０４は、外科処置が関節鏡処置であるかどうかを判定することができる。次いで、外科用ハブ５１０４は、流体充填環境を補償するために、発生器のＲＦ電力レベル又は超音波振幅（すなわち、「エネルギーレベル」）を調整することができる。関連して、手術されている組織の種類は、超音波外科用器具又はＲＦ電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識外科用ハブ５１０４は、どの種類の外科処置が実行されているかを判定し、次いで、外科処置について予想される組織形状に従って、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識外科用ハブ５１０４は、単に処置ごとにではなく、外科処置の過程にわたって、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルを調整するように構成することができる。状況認識外科用ハブ５１０４は、外科処置のどの工程が実行されているか、又は引き続き実行されるかを判定し、次いで、発生器、及び／又は超音波外科用器具若しくはＲＦ電気外科用器具の制御アルゴリズムを更新して、外科処置工程に従って予想される組織種類に適切な値までエネルギーレベルを設定することができる。
例では、外科用ハブ５１０４が１つのデータソース５１２６から導き出される結論を改善するために、追加のデータソース５１２６からデータを導出することも可能である。状況認識外科用ハブ５１０４は、モジュール式装置５１０２から受信したデータを、他のデータソース５１２６から外科処置に関して構築したコンテキスト情報で強化し得る。例えば、状況認識外科用ハブ５１０４は、医療用撮像装置から受信されたビデオ又は画像データに従って、止血が行われたかどうか（すなわち、手術部位での出血が止まったかどうか）を決定するように構成することができる。しかしながら、場合によっては、ビデオ又は画像データは、決定的ではない可能性がある。したがって、一例示では、外科用ハブ５１０４は、生理学的測定（例えば、外科用ハブ５１０４へと通信可能に接続されたＢＰモニタで感知された血圧）を、（例えば、外科用ハブ５１０４へと通信可能に連結された医療用撮像装置１２４（図２）からの）止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性に関する決定を行うように更に構成することができる。換言すれば、外科用ハブ５１０４の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用となり得る。
例えば、状況認識外科用ハブ５１０４は、処置の後続の工程で器具の使用が必要とされると判定された場合に、ＲＦ電気外科用器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることができる。
状況認識外科用ハブ５１０４は、外科医が見る必要があると予想される手術部位の特徴に従って、外科処置の現工程、又は後続の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを判定することができる。次いで、外科用ハブ５１０４は、表示されたビュー（例えば、可視化システム１０８用に医療用撮像装置から供給される）を適切に積極的に変更することができ、これにより、ディスプレイは外科処置にわたって自動的に調整する。
状況認識外科用ハブ５１０４は、外科処置のどの工程が実行されているか、又は次に実行されるか、及び特定のデータ又はデータ同士の比較が外科処置の該当工程に必要とされるかどうかを判定することができる。外科用ハブ５１０４は、外科医が特定の情報を尋ねるのを待つことなく、実行されている外科処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
エラーは、外科処置のセットアップ中、又は外科処置の経過中にチェックされ得る。例えば、状況認識外科用ハブ５１０４は、手術現場が、実行されるべき外科処置用に適切に又は最適にセットアップされているかどうかを判定することができる。外科用ハブ５１０４は、実行されている外科処置の種類を決定し、対応するチェックリスト、製品位置、又はセットアップ要件を（例えば、メモリから）読み出し、次いで、現在の手術現場のレイアウトを、実行されていると外科用ハブ５１０４が決定した外科処置の種類の標準レイアウトと比較するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、処置のための項目リスト、及び／又は外科用ハブ５１０４とペアリングされた装置のリストを、所与の外科処置のための項目及び／又は装置の推奨される又は予想されるマニフェストと比較するように構成され得る。リスト同士に分断が存在する場合、外科用ハブ５１０４は、特定のモジュール式装置５１０２、患者監視装置５１２４、及び／又は他の手術用物品が欠落していることを示すアラートを提供するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、例えば、近接センサによってモジュール式装置５１０２及び患者監視装置５１２４の相対距離又は相対位置を決定するように構成することができる。外科用ハブ５１０４は、装置の相対位置を、特定の外科処置用に推奨又は予測されるレイアウトと比較することができる。レイアウト同士に分断が存在する場合、外科用ハブ５１０４は、外科処置の現在のレイアウトが推奨レイアウトから逸脱していることを示すアラートを提供するように構成することができる。
状況認識外科用ハブ５１０４は、外科医（又は、他の医療従事者）がエラーを犯しているかどうか、又は外科処置の過程中に予想される一連のアクションから逸脱しているかどうかを判定することができる。例えば、外科用ハブ５１０４は、実行されている外科処置の種類を決定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、外科処置の過程中に実行されている工程又は使用されている機器を、外科用ハブ５１０４が実行されていると判定した外科処置の種類について予想される工程、又は機器と比較するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、外科処置における特定の工程で想定外のアクションが実行されているか、又は想定外の装置が利用されていることを示すアラートを提供するように構成することができる。
外科用器具（及び他のモジュール式装置５１０２）は、各外科処置の特定の状況に合わせて調整されてもよく（異なる組織型に合わせて調整するなど）、外科処置中のアクションを検証してもよい。次の工程、データ、及びディスプレイ調整は、処置の特定の状況に従って、手術現場内の外科用器具（及び他のモジュール式装置５１０２）に提供され得る。
図１０は、例示的な外科処置のタイムライン５２００と、外科処置の各工程においてデータソース５１２６から受信したデータから外科用ハブ５１０４が導出し得るコンテキスト情報とを示す。図９に示されるタイムライン５２００の以下の説明では、図９も参照されたい。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除手術の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を示し得る。状況認識外科用ハブ５１０４は、外科処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式装置５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信し得る。外科用ハブ５１０４は、ペアリングされたモジュール式装置５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどの工程が行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療関係者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを（例えば、ディスプレイスクリーンを介して）提供すること、コンテキストに基づいてモジュール式装置５１０２を調整する（例えば、モニタを起動する、医療用撮像装置のＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び本明細書で記載される任意の他のこうしたアクションを行うことが可能であり得る。
この例示的な処置における第１の工程５２０２として、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを読み出し得る。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。第２の工程５２０４では、職員は、処置のために入来する医療用品をスキャンし得る。外科用ハブ５１０４は、スキャンされた物資を様々な種類の処置において利用され得る物資のリストと相互参照し、物資の組み合わせが、胸部処置に一致することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。第３の工程５２０６で、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンすることができる。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。第４の工程５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、吸入器及び医療用撮像装置が挙げられる。起動されると、モジュール式装置５１０２である補助機器は、その初期化プロセスの一部として、モジュール式装置５１０２の特定の近傍内に位置し得る外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式装置５１０２の種類を検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の例では、外科用ハブ５１０４は、ペアリングされたモジュール式装置５１０２のこの特定の組み合わせに基づいて、外科処置がＶＡＴＳ手術であると判定することができる。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式装置５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置の工程を読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式装置５１０２及び患者監視装置５１２４）からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実行しているかを推定することができる。第５の工程５２１０では、職員は、ＥＫＧ電極及び他の患者監視装置５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者監視装置５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者監視装置５１２４からデータの受信を開始すると、外科用ハブ５１０４は、例えば、プロセス５２０７で説明するように、患者が手術室にいることを確認することができる。第６の工程５２１２では、医療関係者は患者において麻酔をかけることができる。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式装置５１０２、及び／又は患者監視装置５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６の工程５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。
第７の工程５２１４では、（換気が対側肺に切り替えられる間に）手術されている患者の肺が虚脱され得る。外科用ハブ５１０４は、例えば、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期される工程（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の外科的工程であり得ると判定することができる。第８の工程５２１６では、医療用撮像装置５１０８（例えば、スコープ）が挿入され得、医療用撮像装置からのビデオが開始され得る。外科用ハブ５１０４は、医療用撮像装置への接続を通じて医療用撮像装置データ（すなわち、ビデオ又は画像データ）を受信し得る。医療用撮像装置データを受信すると、外科用ハブ５１０４は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２の工程５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像装置１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像装置の角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像装置を監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置し得る。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像装置の位置を認識するように訓練することができる。ＶＡＴＳ肺葉切除術を実施するための例示的な技術は、単一の医療用撮像装置を利用することができる。ＶＡＴＳ部分切除を実行するための例示的な技術は、複数のカメラを利用する。ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像装置５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科処置、及び／又は特定の種類の外科処置に使用されている技術を判定することができる。
第９の工程５２１８では、外科チームは、処置の切開工程を開始することができる。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が切開工程に対応していると判定することができる。第１０の工程５２２０では、外科チームは、処置の結紮工程に進むことができる。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信し得るため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出し得る。第１１の工程５２２２では、処置の区域切除術の部分が行われ得る。外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータ（そのカートリッジからのデータを含む）に基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応することができる。異なる種類のステープルが異なる種類の組織に利用されるので、カートリッジのデータは、ステープリング及び／又は横切開されている組織の種類を示すことができる。この場合、発射されているステープルの種類は実質組織（又は他の同様の組織種）に利用され、これにより、外科用ハブ５１０４は、処置の区域切除術の部分が行われていると推定することができる。続いて第１２の工程５２２４で、結節切開工程が行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開工程に対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定の工程に応じて、手術用ステープリング／切断器具と手術用エネルギー（例えば、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープリング器具／切断器具及び外科用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。第１２の工程５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始され得る。
第１３の工程５２２６では、患者の麻酔を解くことができる。外科用ハブ５１０４は、例えば、人工呼吸器データに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。最後に、第１４の工程５２２８は、医療関係者が患者から様々な患者監視装置５１２４を除去する工程であり得る。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者監視装置５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明から分かるように、外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科処置の各工程が発生しているときを判定又は推定することができる。
図１０に示される時間線５２００の第１の工程５２０２に示されるように、ＥＭＲデータベースからの患者データを利用して、行われる外科処置の種類を推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式装置５１０２の制御調整を生成することができる。
図１１は、本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科システムのブロック図である。一態様では、このコンピュータ実装インタラクティブ外科システムは、外科用ハブ、外科用器具、ロボット装置、及び手術現場又は医療施設を含む様々な外科システムの動作に関するデータを監視及び分析するように構成され得る。コンピュータ実装インタラクティブ外科システムは、クラウドベースの分析システムを含み得る。クラウドベースの分析システムは、外科システムとして記載され得るが、必ずしもそのように限定されるものではなく、クラウドベースの医療システムであってもよい。図１１に示すように、クラウドベースの分析システムは、（器具１１２と同じ又は類似であってよい）複数の外科用器具７０１２と、（ハブ１０６と同じ又は類似であってよい）複数の外科用ハブ７００６と、外科用ハブ７００６を（クラウド２０４と同じ又は類似であってよい）クラウド７００４に連結するための（ネットワーク２０１と同じ又は類似であってよい）外科用データネットワーク７００１と、を含み得る。複数の外科用ハブ７００６の各々は、１つ又は２つ以上の外科用器具７０１２に通信可能に連結され得る。ハブ７００６はまた、ネットワーク７００１を介してコンピュータ実装インタラクティブ外科システムのクラウド７００４に通信可能に連結され得る。クラウド７００４は、様々な外科システムの動作に基づいて生成されたデータを記憶、操作、及び通信するためのハードウェア及びソフトウェアの遠隔集中型供給源であり得る。図１１に示すように、クラウド７００４へのアクセスはネットワーク７００１を介して達成され得、このネットワーク７００１は、インターネットであってもよく、又は他の好適なコンピュータネットワークであってもよい。クラウド７００４に連結され得る外科用ハブ７００６は、クラウドコンピューティングシステムのクライアント側（すなわち、クラウドベースの分析システム）と見なすことができる。外科用器具７０１２は、本明細書に記載される様々な外科処置又は動作の制御及び実装のために、外科用ハブ７００６とペアリングされ得る。
加えて、外科用器具７０１２は、（これも送受信機を備え得る）対応する外科用ハブ７００６へのデータ送信、及び外科用ハブ７００６からのデータ送信のための送受信機を備えてもよい。外科用器具７０１２と対応するハブ７００６との組み合わせは、医療手術を提供するための医療施設（例えば、病院）内の手術現場などの、特定の位置を示すことができる。例えば、外科用ハブ７００６のメモリは、位置データを記憶することができる。図１１に示すように、クラウド７００４は、（遠隔サーバ７０１３と同じ又は同様であってもよい）中央サーバ７０１３、ハブアプリケーションサーバ７００２、データ分析モジュール７０３４、及び入出力（input/output、「Ｉ／Ｏ」）インターフェース７００６を含む。クラウド７００４の中央サーバ７０１３は、クラウドコンピューティングシステムを集合的に管理し、これは、クライアントモジュール７００６による要求を監視し、その要求を実行するためのクラウド７００４の処理能力を管理することを含む。中央サーバ７０１３の各々は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ及び磁気ストレージ装置などの不揮発性メモリを含むことができる、好適なメモリ装置７０１０に連結された１つ又は２つ以上のプロセッサ７００８を備え得る。メモリ装置７０１０は、実行されると、プロセッサ７００８に、クラウドベースのデータ分析、動作、推奨、及び以下で説明するその他の動作のためのデータ分析モジュール７０３４を実行させる、機械実行可能命令を含み得る。更に、プロセッサ７００８は、独立して、又はハブ７００６によって独立して実行されるハブアプリケーションと併せて、データ分析モジュール７０３４を実行することができる。中央サーバ７０１３はまた、メモリ２２１０内に存在し得る集約された医療データのデータベース２２１２を含み得る。
ネットワーク７００１を介した様々な外科用ハブ７００６への接続に基づいて、クラウド７００４は、様々な外科用器具７０１２及びそれらの対応するハブ７００６によって生成された特定のデータからのデータを集約することができる。そのような集約されたデータは、クラウド７００４の集約された医療データベース７０１１内に記憶されてもよい。具体的には、クラウド７００４は、有利にも、集約されたデータ上でデータ分析及び動作を実行して、洞察をもたらし、及び／又は個別のハブ７００６がそれ自体では達成できない機能を行うことができる。この目的のために、図１１に示すように、クラウド７００４と外科用ハブ７００６とは、情報を送受信するために通信可能に連結されている。Ｉ／Ｏインターフェース７００５は、ネットワーク７００１を介して複数の外科用ハブ７００６に接続されている。このようにして、Ｉ／Ｏインターフェース７００５は、外科用ハブ７００６と集約された医療データのデータベース７０１１との間で情報を転送するように構成され得る。したがって、Ｉ／Ｏインターフェース７００５は、クラウドベースの分析システムの読み出し／書き込み動作を容易にすることができる。このような読み出し／書き込み動作は、ハブ７００６からの要求に応じて実行されてもよい。これらの要求は、ハブアプリケーションを介してハブ７００６に送信され得る。Ｉ／Ｏインターフェース７００５は、１つ又は２つ以上の高速データポートを含んでよく、当該ポートとしては、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、ＩＥＥＥ１３９４ポート、並びにクラウド７００４をハブ７００６に接続するためのＷｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈ Ｉ／Ｏインターフェースを挙げることができる。クラウド７００４のハブアプリケーションサーバ７００２は、外科ハブ７００６によって実行されるソフトウェアアプリケーション（例えば、ハブアプリケーション）に共有機能をホストし、かつ供給するように構成され得る。例えば、ハブアプリケーションサーバ７００２は、ハブアプリケーションによるハブ７００６を介する要求を管理し、集約された医療データのデータベース７０１１へのアクセスを制御し、負荷分散を実行し得る。データ分析モジュール７０３４について、図１２を参照してより詳細に説明する。
本開示に記載される特定のクラウドコンピューティングシステムの構成は、具体的には、外科用器具７０１２、１１２などの医療用装置を使用して実行される医療手術及び処置のコンテキストにおいて生じる様々な問題に対処するように設計することができる。特に、外科用器具７０１２は、外科手術の成績を改善するための技術を実施するために、クラウド７００４と相互作用するように構成されたデジタル外科用装置であってよい。様々な外科用器具７０１２及び／又は外科用ハブ７００６は、臨床医が外科用器具７０１２とクラウド７００４との間の相互作用の態様を制御できるように、タッチ制御されたユーザインターフェースを含み得る。聴覚的に制御されたユーザインターフェースなどの制御のための他の好適なユーザインターフェースもまた使用することもできる。
図１２は、本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科システムの機能アーキテクチャを示すブロック図である。クラウドベースの分析システムは、医療分野において特に生じる問題にデータ分析ソリューションを提供するために、クラウド７００４のプロセッサ７００８によって実行され得る複数のデータ分析モジュール７０３４を含み得る。図１２に示すように、クラウドベースのデータ分析モジュール７０３４の機能は、外科用ハブ７００６上でアクセスすることができるハブアプリケーションサーバ７００２によってホストされたハブアプリケーション７０１４を介して支援されてもよい。クラウドプロセッサ７００８及びハブアプリケーション７０１４は、データ分析モジュール７０３４を実行するために連携して動作してもよい。アプリケーションプログラムインターフェース（Application program interface、ＡＰＩ）７０１６は、ハブアプリケーション７０１４に対応する一連のプロトコル及びルーチンを規定し得る。加えて、ＡＰＩ７０１６は、アプリケーション７０１４の動作のために集約された医療データベース７０１１へのデータの記憶及び読み出しを管理することができる。キャッシュ７０１８はまた、データを（例えば、一時的に）記憶してもよく、アプリケーション７０１４によって使用されるデータのより効率的な読み出しのためにＡＰＩ７０１６に連結され得る。図１２のデータ分析モジュール７０３４は、リソース最適化７０２０、データ収集及び集約７０２２、認可及びセキュリティ７０２４、制御プログラムの更新７０２６、患者転帰分析７０２８、推奨７０３０、並びにデータ分類及び優先順位付け７０３２のためのモジュールを含み得る。他の好適なデータ分析モジュールも、いくつかの態様により、クラウド７００４によって実装され得る。一態様では、データ分析モジュールは、傾向、転帰、及び他のデータの分析に基づいて特定の推奨に使用され得る。
例えば、データ収集及び集約モジュール７０２２は、顕著な特徴又は構成（例えば、傾向）の識別、冗長データセットの管理、及び手術によってグループ化することができるが、必ずしも実際の外科手術日付及び外科医に一致していないペアリングされたデータセットへのデータの保存を含む、自己記述型データ（例えば、メタデータ）を生成するために使用され得る。特に、外科用器具７０１２の動作から生成される対のデータセットは、例えば出血又は非出血事象などの二項分類を適用することを含み得る。より一般的には、二項分類は、望ましい事象（例えば、成功した外科処置）又は望ましくない事象（例えば、誤発射又は誤使用された外科用器具７０１２）のいずれかとして特徴付けられ得る。集約された自己記述型データは、外科用ハブ７００６の様々なグループ又はサブグループから受信された個々のデータに対応し得る。したがって、データ収集及び集約モジュール７０２２は、外科用ハブ７００６から受信した生データに基づいて、集約メタデータ又はその他の編成されたデータを生成することができる。この目的のために、プロセッサ７００８は、データ分析モジュール７０３４を実行するために、ハブアプリケーション７０１４及び集約された医療データのデータベース７０１１に動作的に連結することができる。データ収集及び集約モジュール７０２２は、集約された編成データを集約された医療データのデータベース２２１２に記憶してよい。
資源最適化モジュール７０２０は、この集約されたデータを分析して、特定の医療施設又は医療施設のグループに関する資源の最適な使用を決定するように構成することができる。例えば、資源最適化モジュール７０２０は、外科用器具７０１２の対応する予測される要求に基づいて、医療施設のグループに関するかかる外科用器具７０１２の最適な発注点を決定することができる。資源最適化モジュール７０２０はまた、資源使用を改善することができるかどうかを判定するために、様々な医療施設の資源使用又は他の動作構成を評価することができる。同様に、推奨モジュール７０３０は、データ収集及び集約モジュール７０２２から集約された編成データを分析して推奨を提供するように構成することができる。例えば、推奨モジュール７０３０は、特定の外科用器具７０１２が、例えば、誤り率が予測よりも高いことに基づいて改善されたバージョンにアップグレードされるべきであることを、医療施設（例えば、病院などの医療サービス提供者）に推奨することができる。加えて、推奨モジュール７０３０及び／又は資源最適化モジュール７０２０は、製品再注文点などのより良好なサプライチェーンパラメータを推奨し、異なる外科用器具７０１２、その使用、又は手術結果を改善する処置工程の提案を提供することができる。医療施設は、対応する外科用ハブ７００６を介してそのような推奨を受信することができる。様々な外科用器具７０１２のパラメータ又は構成に関する、より具体的な推奨もまた提供することができる。ハブ７００６及び／又は外科用器具７０１２はそれぞれ、クラウド７００４によって提供されるデータ又は推奨を表示するディスプレイスクリーンを有することもできる。
患者転帰分析モジュール７０２８は、外科用器具７０１２の現在使用されている動作パラメータに関連付けられた手術結果を分析することができる。患者転帰分析モジュール７０２８はまた、他の潜在的な動作パラメータを分析及び評価してもよい。これに関連して、推奨モジュール７０３０は、より良好な封止又はより少ない出血などの、より良好な手術結果をもたらすことに基づいて、これらの他の潜在的な動作パラメータを使用して推奨することができる。例えば、推奨モジュール７０３０は、対応するステープル留め外科用器具７０１２に特定のカートリッジを使用するときに関する提案を外科用７００６に送信することができる場合もある。したがって、クラウドベースの分析システムは、共通変数を制御しながら、収集された大規模な生データを分析し、複数の医療施設にわたって（有利には、集約されたデータに基づいて決定される）集中的推奨を提供するように構成され得る。例えば、クラウドベースの分析システムは、医療行為の種類、患者の種類、患者の数、同様の種類の器具を使用する医療提供者間の地理的類似性などを、１つの医療施設が単独で独立して分析することはできない方法で、分析、評価、及び／又は集約することができる。制御プログラム更新モジュール７０２６は、対応する制御プログラムが更新されたときに、様々な外科用器具７０１２の推奨を実施するように構成することができる。例えば、患者転帰分析モジュール７０２８は、特定の制御パラメータを成功した（又は失敗した）結果と結び付ける相関関係を識別することができる。そのような相関関係は、更新された制御プログラムが制御プログラム更新モジュール７０２６を介して外科用器具７０１２に送信されるときに対処され得る。対応するハブ７００６を介して送信され得る外科用器具７０１２への更新は、クラウド７００４のデータ収集及び集約モジュール７０２２によって収集されかつ分析された集約された成績データを組み込んでもよい。加えて、患者転帰分析モジュール７０２８及び推奨モジュール７０３０は、集約された成績データに基づいて、外科用器具７０１２を使用する改善された方法を識別することができる。
クラウドベースの分析システムは、クラウド７００４によって実装されるセキュリティ機能を含んでもよい。これらのセキュリティ機能は、認可及びセキュリティモジュール７０２４によって管理され得る。各外科用ハブ７００６は、ユーザ名、パスワード、及びその他の好適なセキュリティ資格情報などの関連する固有の資格情報を有することができる。これらの資格情報は、メモリ７０１０に記憶され、許可されたクラウドアクセスレベルに関連付けることができる。例えば、正確な資格情報を提供することに基づいて、外科用ハブ７００６は、クラウドと所定の範囲まで通信するアクセスを付与され得る（例えば、特定の定義された種類の情報の送信又は受信を行ってよい）。この目的のために、クラウド７００４の集約された医療データのデータベース７０１１は、提供された資格情報の正確さを検証するための認定された資格情報のデータベースを含んでもよい。異なる資格情報は、クラウド７００４によって生成されたデータ分析を受信するための所定のアクセスレベルなど、クラウド７００４との相互作用のための様々なレベルの許可に関連付けられてよい。更に、セキュリティ目的のために、クラウドは、ハブ７００６、外科用器具７０１２、及び禁止された装置の「ブラックリスト」を含み得るその他の装置のデータベースを維持することができる。具体的には、ブラックリスト上に列挙された外科用ハブ７００６は、クラウドと相互作用することを許可されなくてもよい一方で、ブラックリスト上に列挙された外科用器具７０１２は、対応するハブ７００６への機能的アクセスを有さなくてもよく、かつ／又は対応するハブ７００６とペアリングされたときに完全に機能することが防止されてもよい。追加的に又は代替的に、クラウド７００４は、不適合性又はその他の指定された基準に基づいて、外科用器具７０１２にフラグを立ててもよい。このようにして、偽造医療用装置、及びそのような装置の、クラウドベースの分析システム全体での不適切な再使用を識別し、対処することができる。
外科用器具７０１２は、無線送受信機を使用して、例えば、対応するハブ７００６及びクラウド７００４へのアクセスのための認可資格情報を表し得る無線信号を送信してもよい。有線送受信機も、信号を送信するために使用することができる。そのような認可資格情報は、外科用器具７０１２のそれぞれのメモリ装置に記憶することができる。認可及びセキュリティモジュール７０２４は、認可資格情報が正確であるか又は偽造であるかを判定することができる。認可及びセキュリティモジュール７０２４はまた、強化されたセキュリティのために、認可資格情報を動的に生成してもよい。資格情報はまた、ハッシュベースの暗号化を使用することなどによって、暗号化することができる場合もある。適切な認可を送信すると、外科用器具７０１２は、対応するハブ７００６及び最終的にはクラウド７００４に信号を送信して、外科用器具７０１２が医療データを取得し送信する準備ができていることを示すことができる。これに応答して、クラウド７００４は、集約された医療データのデータベース７０１１に記憶するための医療データを受信することが可能な状態に遷移し得る。このデータ送信準備は、例えば、外科用器具７０１２上の光インジケータによって示すことができる。クラウド７００４はまた、それらの関連する制御プログラムを更新するために、外科用器具７０１２に信号を送信することができる。クラウド７００４は、制御プログラムに対するソフトウェアアップデートが適切な外科用器具７０１２にのみ送信されるように、特定の部類の外科用器具７０１２（例えば、電気外科器具）に向けられた信号を送信することができる。更に、クラウド７００４は、選択的データ送信及び認可資格情報に基づいてローカル又はグローバルの問題に対処するために、システム全体のソリューションを実装するために使用することができる場合もある。例えば、外科用器具７０１２のグループが共通の製造欠陥を有するものとして識別される場合、クラウド７００４は、このグループに対応する認可資格情報を変更して、このグループの動作ロックアウトを実施し得る。
クラウドベースの分析システムは、改善された実務を判定し、それに応じて変更を推奨する（例えば、推奨モジュール２０３０を介して）ために、複数の医療施設（例えば、病院のような医療施設）を監視することを可能にし得る。したがって、クラウド７００４のプロセッサ７００８は、個々の医療施設に関連付けられたデータを分析して、施設を識別し、そのデータを他の医療施設に関連付けられた他のデータと集約することができる。グループは、例えば、同様の操作行為又は地理的位置に基づいて規定し得る。このようにして、クラウド７００４は、医療施設グループに幅広い分析及び推奨を提供することができる。クラウドベースの分析システムはまた、強化された状況認識のために使用することもできる。例えば、プロセッサ７００８は、（全体的な動作及び／又は様々な医療処置と比較して）特定の施設に対するコスト及び有効性に関する推奨の効果を予測的にモデル化してもよい。その特定の施設に関連するコスト及び有効性はまた、他の施設又は任意のその他の同等の施設の対応するローカル領域と比較することもできる。
データ分類及び優先順位付けモジュール７０３２は、重大性（例えば、データに関連付けられた医療事象の重篤度、意外さ、不審さ）に基づいてデータを優先順位付けし分類してもよい。この分類及び優先順位付けは、本明細書に記載されるクラウドベースの分析及び動作を改善するために、本明細書に記載される他のデータ分析モジュール７０３４の機能と併せて使用し得る。例えば、データ分類及び優先順位付けモジュール７０３２は、データ収集及び集約モジュール７０２２並びに患者転帰分析モジュール７０２８によって実行されるデータ分析に対する優先度を割り当てることができる。異なる優先順位レベルは、迅速応答のための上昇、特別な処理、集約された医療データのデータベース７０１１からの除外、又はその他の好適な応答などの、（緊急性のレベルに対応して）クラウド７００４からの特定の応答をもたらすことができる。更に、必要に応じて、クラウド７００４は、対応する外科用器具７０１２からの追加データのために、ハブアプリケーションサーバを介して要求（例えば、プッシュメッセージ）を送信することができる。プッシュメッセージは、支持又は追加のデータを要求するために、対応するハブ７００６上に表示された通知をもたらすことができる。このプッシュメッセージは、クラウドが有意な不規則性又は外れ値を検出し、クラウドがその不規則性の原因を判定することができない状況で必要とされ得る。中央サーバ７０１３は、例えば、データが所定の閾値を超えて予測値と異なると判定されたとき、又はセキュリティが含まれていたと見られる場合など、特定の重大な状況において、このプッシュメッセージをトリガするようにプログラムされることができる。
説明された様々な機能に関する更なる例示的な詳細を、以下の説明において提供する。様々な説明の各々は、ハードウェア及びソフトウェアの実施態様の一例として図１１及び図１２に記載されるように、クラウドアーキテクチャを利用してもよい。
図１３は、本開示の少なくとも１つの態様による、モジュール式装置９０５０のための制御プログラム更新を適応的に生成するように構成されたコンピュータ実装適応型外科システム９０６０のブロック図を示す。いくつかの例示では、外科システムは、外科用ハブ９０００と、外科用ハブ９０００に通信可能に連結された複数のモジュール式装置９０５０と、外科用ハブ９０００に通信可能に連結された分析システム９１００とを含み得る。単一の外科用ハブ９０００が示され得るが、外科システム９０６０は、分析システム９１００に通信可能に連結される外科用ハブ９０００のネットワークを形成するように接続され得る任意の数の外科用ハブ９０００を含み得ることに留意されたい。いくつかの例示では、外科用ハブ９０００は、その上に記憶された命令を実行するためのメモリ９０２０に結合されたプロセッサ９０１０と、それを通してデータが分析システム９１００に送信されるデータ中継インターフェース９０３０とを含み得る。いくつかの例示では、外科用ハブ９０００は、ユーザからの入力を受信するための入力装置９０９２（例えば、容量性タッチスクリーン又はキーボード）と、ユーザに出力を提供するための出力装置９０９４（例えば、ディスプレイスクリーン）とを有するユーザインターフェース９０９０を更に含んでもよい。出力は、ユーザによって入力された問い合わせからのデータ、所与の処置で使用するための製品若しくは製品の混合物の提案、及び／又は外科処置の前、その間、若しくはその後に実行されるアクションの命令を含み得る。外科用ハブ９０００は、モジュール式装置９０５０を外科用ハブ９０００に通信可能に連結するためのインターフェース９０４０を更に含み得る。一態様では、インターフェース９０４０は、無線通信プロトコルを介してモジュール式装置９０５０に通信可能に接続可能な送受信機を含み得る。モジュール式装置９０５０は、例えば、外科用ステープル留め及び切断器具、電気外科用器具、超音波器具、注入器、レスピレータ、並びにディスプレイスクリーンを含み得る。いくつかの例示では、外科用ハブ９０００は更に、ＥＫＧモニタ又はＢＰモニタなどの１つ又は２つ以上の患者監視装置９０５２に通信可能に連結され得る。いくつかの例示では、外科用ハブ９０００は更に、外科用ハブ９０００が位置する医療施設のＥＭＲデータベースなどの１つ又は２つ以上のデータベース９０５４又は外部コンピュータシステムに通信可能に連結され得る。
モジュール式装置９０５０が外科用ハブ９０００に接続されると、外科用ハブ９０００は、モジュール式装置９０５０から手術前後データを感知又は受信し、次いで、受信された手術前後データを外科処置結果データと関連付けることができる。手術前後データは、外科処置の過程でモジュール式装置９０５０がどのように制御されたかを示すことができる。処置結果データは、外科処置（又はその工程）からの結果に関連付けられたデータを含み、これは、外科処置（又はその工程）が肯定的又は否定的な結果を有したかどうかを含み得る。例えば、結果データは、患者が特定の処置から術後合併症を患ったかどうか、又は特定のステープル若しくは切開線において漏出（例えば、出血又は空気漏出）があったかどうかを含み得る。外科用ハブ９０００は、外部ソースから（例えば、ＥＭＲデータベース９０５４から）データを受信することによって、（例えば、接続されたモジュール式装置９０５０のうちの１つを介して）結果を直接検出することによって、又は状況認識システムを通して結果の発生を推測することによって、外科処置結果データを取得することができる。例えば、術後合併症に関するデータは、ＥＭＲデータベース９０５４から読み出すことができ、ステープル又は切開線の漏出に関するデータは、状況認識システムによって直接検出又は推測することができる。外科処置結果データは、モジュール式装置９０５０自体、患者監視装置９０５２、及び外科用ハブ９０００が接続されるデータベース９０５４を含む、様々なデータソースから受信されるデータから、状況認識システムによって推測され得る。
外科用ハブ９０００は、関連付けられたモジュール式装置９０５０のデータ及び結果データを、その上で処理するために分析システム９１００に送信することができる。モジュール式装置９０５０がどのように制御されるかを示す手術前後データ及び処置結果データの両方を送信することによって、分析システム９１００は、モジュール式装置９０５０を制御する異なる方法を、特定の処置タイプの手術結果と相関させることができる。いくつかの例示では、分析システム９１００は、外科用ハブ９０００からデータを受信するように構成された分析サーバ９０７０のネットワークを含み得る。分析サーバ９０７０の各々は、メモリと、受信されたデータを分析するためにその上に記憶された命令を実行しているメモリに結合されたプロセッサとを含み得る。いくつかの例示では、分析サーバ９０７０は、分散コンピューティングアーキテクチャで接続されてもよく、かつ／又はクラウドコンピューティングアーキテクチャを利用してもよい。このペアリングされたデータに基づいて、分析システム９１００は、次いで、様々なタイプのモジュール式装置９０５０に対する最適な又は好ましい動作パラメータを学習し、現場におけるモジュール式装置９０５０の制御プログラムに対する調整を生成し、次いで、更新をモジュール式装置９０５０の制御プログラムに送信（又は「プッシュ」）することができる。
外科用ハブ９０００及びそれに接続可能な様々なモジュール式装置９０５０を含む、コンピュータ実装インタラクティブ外科システム９０６０に関する追加の詳細は、図５～６に関連して説明される。
図１４は、本開示による外科システム６５００を提供し、有線又は無線接続を介してローカルエリアネットワーク６５１８又はクラウドネットワーク６５２０を通じてコンソール６５２２又はポータブル装置６５２６と通信することができる外科用器具６５０２を含み得る。様々な態様では、コンソール６５２２及びポータブル装置６５２６は、任意の好適なコンピューティング装置であってもよい。外科用器具６５０２は、ハンドル６５０４と、アダプタ６５０８と、装填ユニット６５１４とを含み得る。アダプタ６５０８は、ハンドル６５０４に解放可能に結合し、装填ユニット６５１４は、アダプタ６５０８が駆動シャフトから装填ユニット６５１４に力を伝達するように、アダプタ６５０８に解放可能に結合する。アダプタ６５０８又は装填ユニット６５１４は、装填ユニット６５１４に及ぼされる力を測定するために、その中に配設された力ゲージ（明示的に示されない）を含み得る。装填ユニット６５１４は、第１のジョー６５３２及び第２のジョー６５３４を有するエンドエフェクタ６５３０を含み得る。装填ユニット６５１４は、臨床医が、装填ユニット６５１４をリロードするために装填ユニット６５１４が手術部位から除去されることを必要とせずに、複数の締結具を複数回発射することを可能にする、現場装填又は複数発射装填ユニット（multi-firing loading unit、ＭＦＬＵ）であってもよい。
第１及び第２のジョー６５３２、６５３４は、それらの間に組織をクランプし、クランプされた組織を通して締結具を発射し、クランプされた組織を切断するように構成されてもよい。第１のジョー６５３２は、少なくとも１つの締結具を複数回発射するように構成されてもよく、又は、交換される前に２回以上発射されてもよい複数の締結具（例えば、ステープル、クリップなど）を含む交換可能な複数回発射締結具カートリッジを含むように構成されてもよい。第２のジョー６５３４は、アンビルを含み得、このアンビルは、締結具が複数回発射締結具カートリッジから射出されるときに、締結具を組織の周りで変形させるか又は他の方法で固定する。
ハンドル６５０４は、駆動シャフトの回転に影響を及ぼすように、駆動シャフトに連結されるモータを含んでもよい。ハンドル６５０４は、モータを選択的に起動するための制御インターフェースを含み得る。制御インターフェースは、ボタン、スイッチ、レバー、スライダ、タッチスクリーン、及び任意の他の好適な入力機構又はユーザインターフェースを含んでもよく、それらは、臨床医によって係合され、モータを起動させることができる。
ハンドル６５０４の制御インターフェースは、ハンドル６５０４のコントローラ６５２８と通信し、モータを選択的に起動させ、駆動シャフトの回転に影響を及ぼし得る。コントローラ６５２８は、ハンドル６５０４内に配設され得、制御インターフェースからの入力、及びアダプタ６５０８からのアダプタデータ、又は装填ユニット６５１４からの装填ユニットデータを受信するように構成される。コントローラ６５２８は、制御インターフェースからの入力と、アダプタ６５０８及び／又は装填ユニット６５１４から受信されたデータとを分析して、モータを選択的に起動し得る。ハンドル６５０４はまた、ハンドル６５０４の使用中に臨床医が見ることができるディスプレイを含んでもよい。ディスプレイは、器具６５０２の発射前、発射中、又は発射後に、アダプタ又は装填ユニットデータの部分を表示するように構成され得る。
アダプタ６５０８は、その中に配設されたアダプタ識別装置６５１０を含み得、装填ユニット６５１４は、その中に配設された装填ユニット識別装置６５１６を含む。アダプタ識別装置６５１０は、コントローラ６５２８と通信してもよく、装填ユニット識別装置６５１６は、コントローラ６５２８と通信してもよい。装填ユニット識別装置６５１６は、アダプタ識別装置６５１０と通信し得、これは、装填ユニット識別装置６５１６からコントローラ６５２８への通信を中継又は通過させることが理解されるであろう。
アダプタ６５０８はまた、アダプタ６５０８又は環境の様々な状態（例えば、アダプタ６５０８が装填ユニットに接続されている場合、アダプタ６５０８がハンドルに接続されている場合、駆動シャフトが回転している場合、駆動シャフトのトルク、駆動シャフトの歪み、アダプタ６５０８内の温度、アダプタ６５０８の発射の回数、発射中のアダプタ６５０８のピーク力、アダプタ６５０８に印加される力の総量、アダプタ６５０８のピーク後退力、発射中のアダプタ６５０８の休止の回数など）を検出するために、その周囲に配設されるいくつかのセンサ６５１２（１つが示されている）を含み得る。複数のセンサ６５１２は、データ信号の形態でアダプタ識別装置６５１０に入力を提供することができる。複数のセンサ６５１２のデータ信号は、アダプタ識別装置６５１０内に記憶されてもよく、又はアダプタ識別装置６５１０内に記憶されたアダプタデータを更新するために使用されてもよい。複数のセンサ６５１２のデータ信号は、アナログ又はデジタルであり得る。複数のセンサ６５１２は、発射中に装填ユニット６５１４に及ぼされる力を測定するための力ゲージを含み得る。
ハンドル６５０４及びアダプタ６５０８は、電気的インターフェースを介して、アダプタ識別装置６５１０及び装填ユニット識別装置６５１６をコントローラ６５２８と相互接続するように構成され得る。電気的インターフェースは、直接的な電気的インターフェースであってもよい（すなわち、互いに係合してそれらの間でエネルギー及び信号を送信する電気接点を含む）。加えて、又は代替として、電気インターフェースは、その間でエネルギー及び信号を無線で送信する（例えば、誘導伝達）ための非接触電気インターフェースであってもよい。また、アダプタ識別装置６５１０及びコントローラ６５２８は、電気的インターフェースとは別個の無線接続を介して互いに無線通信し得ることも企図される。
ハンドル６５０４は、コントローラ６５２８からシステム６５００の他の構成要素（例えば、ＬＡＮ６５１８、クラウド６５２０、コンソール６５２２、又はポータブル装置６５２６）に器具データを送信するように構成された送信機６５０６を含み得る。送信機６５０６はまた、システム６５００の他の構成要素からデータ（例えば、カートリッジデータ、装填ユニットデータ、又はアダプタデータ）を受信してもよい。例えば、コントローラ６５２８は、ハンドル６５０４に取り付けられた、取り付けられたアダプタ（例えば、アダプタ６５０８）のシリアル番号、アダプタに取り付けられた装填ユニット（例えば、装填ユニット６５１４）のシリアル番号、及び装填ユニットに装填されたマルチ発射締結具カートリッジ（例えば、マルチ発射締結具カートリッジ）のシリアル番号を含む器具データを、コンソール６５２２に送信し得る。その後、コンソール６５２２は、それぞれ、取り付けられたカートリッジ、装填ユニット、及びアダプタに関連付けられるデータ（例えば、カートリッジデータ、装填ユニットデータ、又はアダプタデータ）をコントローラ６５２８に返信してもよい。コントローラ６５２８は、ローカル器具ディスプレイ上にメッセージを表示するか、又は送信機６５０６を介して、メッセージをコンソール６５２２又はポータブル装置６５２６に送信し、それぞれ、ディスプレイ６５２４又はポータブル装置スクリーン上にメッセージを表示することができる。
図１５Ａは、動作モードを決定し、決定されたモードで動作するための例示的なフローを示す。コンピュータ実装インタラクティブ外科システム及び／又はコンピュータ実装インタラクティブ外科システムの構成要素及び／又はサブシステムは、更新されるように構成され得る。そのような更新は、更新前にユーザに利用可能でなかった特徴及び利益の包含を含み得る。これらの更新は、ユーザに機能を導入するのに適したハードウェア、ファームウェア、及びソフトウェア更新の任意の方法によって確立することができる。例えば、交換可能／スワップ可能な（例えば、ホットスワップ可能な）ハードウェア構成要素、フラッシュ可能なファームウェア装置、及び更新可能なソフトウェアシステムを使用して、コンピュータ実装インタラクティブ外科システム及び／又はコンピュータ実装インタラクティブ外科システムの構成要素及び／又はサブシステムを更新することができる。
更新は、任意の好適な基準又は基準のセットを条件とし得る。例えば、更新は、処理能力、帯域幅、解像度など、システムの１つ又は２つ以上のハードウェア能力を条件とすることができる。例えば、更新は、特定のソフトウェアコードの購入などの１つ又は２つ以上のソフトウェア態様を条件とすることができる。例えば、更新は、購入されたサービス層を条件としてもよい。サービス層は、ユーザがコンピュータ実装インタラクティブ外科システムと関連して使用する資格がある特徴及び／又は特徴のセットを表してもよい。サービス層は、ライセンスコード、電子商取引サーバ認証対話、ハードウェアキー、ユーザ名／パスワードの組み合わせ、バイオメトリック認証対話、公開／秘密鍵交換対話などによって決定されてもよい。
１０７０４において、システム／装置パラメータが識別され得る。システム／装置パラメータは、更新が条件付けられる任意の要素又は要素のセットであり得る。例えば、コンピュータ実装インタラクティブ外科システムは、モジュール式装置と外科用ハブとの間の通信のある帯域幅を検出してもよい。例えば、コンピュータ実装インタラクティブ外科システムは、あるサービス層の購入の指示を検出してもよい。
１０７０８において、動作モードが、識別されたシステム／装置パラメータに基づいて決定され得る。この決定は、システム／装置パラメータを動作モードにマッピングするプロセスによって行われ得る。プロセスは、手動及び／又は自動プロセスであり得る。プロセスは、ローカル計算及び／又は遠隔計算の結果であり得る。例えば、クライアント／サーバ対話を使用して、識別されたシステム／装置パラメータに基づいて動作モードを決定してもよい。例えば、ローカルソフトウェア及び／又はローカルに埋め込まれたファームウェアが、識別されたシステム／装置パラメータに基づいて動作モードを決定するために使用されてもよい。例えば、安全なマイクロプロセッサなどのハードウェアキーを使用して、識別されたシステム／装置パラメータに基づいて動作モードを決定してもよい。
１０７１０において、動作は、決定された動作モードに従って進み得る。例えば、システム又は装置は、デフォルト動作モードで動作するように進んでもよい。例えば、システム又は装置は、代替動作モードで動作するように進んでもよい。動作モードは、システム又は装置内に既に常駐する制御ハードウェア、ファームウェア、及び／又はソフトウェアによって指示され得る。動作モードは、新たにインストール／更新された制御ハードウェア、ファームウェア、及び／又はソフトウェアによって指示され得る。
図１５Ｂは、動作モードを変更するための例示的な機能ブロック図を示す。アップグレード可能な要素１０７１４は、初期化構成要素１０７１６を含み得る。初期化構成要素１０７１６は、動作モードを決定するのに適した任意のハードウェア、ファームウェア、及び／又はソフトウェアを含み得る。例えば、初期化構成要素１０７１６は、システム又は装置起動手順の一部であってもよい。初期化構成要素１０７１６は、アップグレード可能な要素１０７１４の動作モードを決定するための対話に関与することができる。例えば、初期化構成要素１０７１６は、例えば、ユーザ１０７３０、外部リソース１０７３２、及び／又はローカルリソース１０７１８と対話してもよい。例えば、初期化構成要素１０７１６は、ユーザ１０７３０からライセンスキーを受信して、動作モードを決定してもよい。初期化構成要素１０７１６は、動作モードを決定するために、アップグレード可能な装置１０７１４のシリアル番号を用いて、例えばサーバなどの外部リソース１０７３２に問い合わせることができる。例えば、初期化構成要素１０７１６は、利用可能な帯域幅の量を決定するためのローカル問い合わせ、及び／又は例えば動作モードを決定するためのハードウェアキーのローカル問い合わせなど、ローカルリソース１０７１８に問い合わせてもよい。
アップグレード可能な要素１０７１４は、１つ又は２つ以上の動作構成要素１０７２０、１０７２２、１０７２６、１０７２８及び動作ポインタ１０７２４を含み得る。初期化構成要素１０７１６は、アップグレード可能な要素１０７４１の動作を、決定された動作モードに対応する動作構成要素１０７２０、１０７２２、１０７２６、１０７２８に向けるように、動作ポインタ１０７２４に命令することができる。初期化構成要素１０７１６は、アップグレード可能要素の動作をデフォルト動作構成要素１０７２０に向けるように、動作ポインタ１０７２４に命令することができる。例えば、デフォルト動作構成要素１０７２０は、他の代替動作モードが決定されていないという条件で選択されてもよい。例えば、デフォルト動作構成要素１０７２０は、初期化構成要素の失敗及び／又は対話失敗の条件で選択されてもよい。初期化構成要素１０７１６は、アップグレード可能要素１０７１４の動作を常駐動作構成要素１０７２２に命令するように動作ポインタ１０７２４に命令することができる。例えば、特定の機能は、アップグレード可能な構成要素１０７１４内に常駐することができるが、動作させるために起動を必要とする。初期化構成要素１０７１６は、新しい動作構成要素１０７２８及び／又は新しくインストールされた動作構成要素１０７２６をインストールするようにアップグレード可能な要素１０７１４の動作を命令するように動作ポインタ１０７２４に命令することができる。例えば、新しいソフトウェア及び／又はファームウェアがダウンロードされてもよい。新しいソフトウェア及び／又はファームウェアは、選択された動作モードによって表される特徴を有効にするためのコードを含み得る。例えば、新しいハードウェア構成要素をインストールして、選択された動作モードを可能にし得る。
一次ディスプレイ及び／又は二次ディスプレイの間の協働が提供され得る。例えば、ローカル器具ディスプレイとペアリングされた撮像装置ディスプレイとの間の協働が提供されてもよい。
ローカルディスプレイと、器具ディスプレイとは別個の手術室（ＯＲ）又は手術室ディスプレイを有するハブとを含み得る器具が提供されてもよい。器具が外科用ハブに連結されるとき、装置上の二次ディスプレイは、外科用ハブ接続から独立し得るときとは異なる情報を表示するように再構成する。器具の二次ディスプレイ上の情報の一部は、外科用ハブの一次ディスプレイ上に表示されてもよい。装置のステータス、いくつかの画像をインターロックするために使用される統合ランドマーク、及びガイダンス特徴のうちの１つ又は２つ以上のオーバーレイを可能にし得る画像融合が行われ得る。画像融合は、外科用ハブ及び／又は器具ディスプレイ上に提供され得る。本明細書に開示されるように、１つ又は２つ以上のディスプレイ上に複合画像を提示するために、複数の画像／テキストソースからの画像及び／又はテキストをオーバーレイ又は拡張するためのいくつかの技術が使用され得る。
１つ又は２つ以上のローカル器具ディスプレイとペアリングされた腹腔鏡ディスプレイとの間の協働が提供され得る。器具のローカルディスプレイの挙動は、外科用ハブに連結され得るディスプレイ（例えば、グローバルディスプレイ）の接続可能な存在を感知するときに変化し得る。本開示は、側副構造を回避することを支援し得る、手術部位の３６０￢∞複合上部視野を提供し得る。
外科処置中、手術部位は、遠隔外科用ハブディスプレイ上に表示され得る。遠隔外科用ハブディスプレイは、一次ディスプレイと称されてもよい。外科処置中、外科用装置は、器具内に記憶され得る外科用データ及び変数（例えば、外科用パラメータ）を追跡及び記録することができる（プロセッサ、メモリ、制御回路、記憶装置などを備える器具アーキテクチャについては図１～図１３を参照）。外科処置パラメータは、発射力（ＦＴＦ）、閉鎖力（force-to-close、ＦＴＣ）、発射進行、組織ギャップ、電力レベル、インピーダンス、組織圧縮安定性（クリープ）などを含み得る。画像／テキストオーバーレイを提供することは、例えば、外科医がオーバーレイされた画像／テキスト情報を提示し得るディスプレイを見ることを可能にするために提供され得る。
外科用装置（例えば、器具）が外科用ハブに接続されると、第１の器具（例えば、腹腔鏡、内視鏡、胸腔鏡などの医療用撮像装置）から受信された手術部位の視野を含み得る複合画像が、一次ディスプレイ上に表示され得、これは、第２の器具（例えば、外科用ステープラ）から受信された外科用データ及び変数によって拡張されて、一次ディスプレイ上に関連画像及びデータを提供し得る。
外科処置中、手術部位は、一次外科用ハブディスプレイ上に医療用撮像装置の狭い視野として表示され得る。現在の視野の外側の物品、すなわち側副構造は、医療用撮像装置を移動させなければ見ることができない。
一実施形態は、ディスプレイの別個のウィンドウ内の手術部位の広い視野によって拡張された、ディスプレイの第１のウィンドウ内の手術部位の狭い視野を提供することができる。これは、２つ又は３つ以上の撮像アレイを使用してマップされる複合頭上視野を提供し、手術部位の複数の斜視図の拡張画像を提供する。
一実施形態は、一次ディスプレイであり得る第１のディスプレイ上に手術部位の広い視野を提供し得る。また、外科処置側の狭い視野が、二次ディスプレイであり得る第２のディスプレイ上に提供され得る。
プロセッサと、プロセッサに連結されたメモリとを備え得る、外科用ハブが提供され得る。メモリは、外科用ハブへの外科用装置接続を検出し、検出された装置に関連する手術パラメータデータを外科用ハブに送信するために、検出された外科用装置に制御信号を送信し、手術パラメータデータを受信し、画像センサから画像データを受信し、外科用ハブに結合されたディスプレイ上に、外科用装置から受信された手術パラメータデータとともに、画像センサから受信された画像を表示するように、プロセッサによって実行可能な命令を記憶し得る。
別の態様では、本開示は、プロセッサと、プロセッサに結合されるメモリとを備える、外科用ハブを提供する。メモリは、第１の画像センサから第１の画像データを受信し、第２の画像センサから第２の画像データを受信し、外科用ハブに結合されたディスプレイ上に、第１の視野に対応する第１の画像及び第２の視野に対応する第２の画像を表示するように、プロセッサによって実行可能な命令を記憶し得る。第１の画像データは第１の視野を表し、第２の画像データは第２の視野を表す。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。この表示は、滅菌野の内側にあってもよく、又は滅菌野の外側にあってもよい。
第１の視野は、狭角視野であってもよく、第２の視野は、広角視野であってもよい。第１の画像は、ディスプレイ上で第２の画像を用いて拡張され得る。第１の画像は、第２の画像と融合されて第３の画像になり、融合画像をディスプレイ上に表示することができる。融合画像データは、外科用装置に関連付けられたステータス情報、複数の画像をインターロックするための画像データ統合ランドマーク、ガイダンスパラメータなどを含み得る器具データを含み得る。第１の画像センサは、第１の時間に第１の画像データをキャプチャし、第２の時間に第２の画像データをキャプチャし得る。
第３の画像センサから第３の画像データを受信することができ、第３の画像データは第３の視野を表すことができる。第２及び第３の画像データを含む複合画像データを生成することができる。第１の画像は、第１のディスプレイ上及び／又はディスプレイの第１のウィンドウ内に表示され得る。第１の画像は、第１の画像データに対応し得る。第３の画像は、第２のディスプレイ上及び／又は第１のディスプレイの第２のウィンドウ内に表示され得る。第３の画像は、複合画像データに対応し得る。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。この表示は、滅菌野の内側にあってもよく、又は滅菌野の外側にあってもよい。
第３の画像データは、第３の視野を表すことができる。第２の画像データは、融合画像データを生成するために第３の画像データと融合され得る。第１の画像は、第１のディスプレイ上及び／又はディスプレイの第１のウィンドウ内に表示され得る。第１の画像は、第１の画像データに対応し得る。第３の画像は、第２のディスプレイ上及び／又は第１のディスプレイの第２のウィンドウ内に表示され得る。第３の画像は、融合画像データに対応し得る。
外科用装置画像で拡張された内視鏡画像を一次外科用ハブディスプレイ上に表示することは、外科医が、ディスプレイに集中して、発射力、閉鎖力、発射進行、組織間隙、電力レベル、インピーダンス、組織圧縮安定性（クリープ）などの外科処置に関連付けられた外科用装置データで拡張された手術部位の視野を取得することを可能にし得る。内視鏡画像は、外科用装置画像を用いて拡張され得、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。例えば、一次ディスプレイは、外科用装置画像で拡張された内視鏡画像を表示し得、二次ディスプレイは、外科用装置画像を表示し得る。本明細書に記載されるように、ユーザは、一次ディスプレイ及び／又は二次ディスプレイを変更するためのコマンドをジェスチャ及び／又は発行してもよい。例えば、ユーザは、二次ディスプレイ上に表示された画像を一次ディスプレイに移動させることができ、その逆も可能である。ディスプレイの第１のウィンドウに狭視野画像を表示し、より広い視野などのいくつかの他のパースペクティブの複合画像を表示することにより、外科医は、スコープを移動させることなく、手術部位の拡大画像を手術部位のより広い視野と同時に見ることが可能になる。
装置（例えば、外科用器具）のグローバルディスプレイ及びローカルディスプレイの両方が提供され得る。ローカルディスプレイは、外科用ハブに連結され得る。グローバルディスプレイは、プライマリディスプレイに関連付けられ得る。ローカルディスプレイは、二次ディスプレイに関連付けられ得る。装置は、その関連メニューのうちの１つ又は２つ以上（例えば、全て）を表示してもよく、外科用ハブへの接続を感知するまで、ローカルディスプレイ上に表示し、その時点で、情報のサブセットが、外科用ハブを通して、一次ディスプレイ、例えば、モニタ上に表示されてもよい。情報は、装置ディスプレイ上に鏡映されてもされなくてもよい。情報は、装置スクリーンから除去されてもよい。この技術は、装置ディスプレイを解放して、外科用ハブディスプレイ上に異なる情報を示すか、又はより大きなフォント情報を表示する。
器具は、二次ディスプレイであり得るローカルディスプレイを有してもよい。外科用ハブは、器具ディスプレイとは別個であり得、一次ディスプレイであり得る、手術室（例えば、手術室又はＯＲ）ディスプレイに関連付けられてもよい。器具が外科用ハブに連結されるとき、器具ローカルディスプレイは、二次ディスプレイとなり得、器具は、外科用ハブ接続とは無関係に動作し得るときとは異なる情報を表示するように再構成し得る。別の態様では、二次ディスプレイ上の情報のある部分は、外科用ハブを通して、手術室内の一次ディスプレイ上に表示されてもよい。
図１６は、外科用ハブの一次ディスプレイを示す。例えば、図１６は、本開示の一態様による、グローバル表示ウィンドウ６２０２及びローカル器具表示ウィンドウ６２０４を備える外科用ハブ２０６に関連付けられた例示的な一次ディスプレイ６２００を示す。外科用ハブ１０６、２０６を含むインタラクティブ外科システム１００環境との対話を示す図１～図１１、及び外科用ハブに接続された器具を一緒に示す図１２～図１４を引き続き参照すると、器具２３５が外科用ハブ２０６を通してグローバル表示ウィンドウ６２０２の接続可能な存在を感知したときに、ローカル器具ディスプレイ６２０４の挙動を表示することができる。グローバル表示ウィンドウ６２０２は、例えば、本明細書ではモニタとも称される外科用ハブディスプレイ２１５の中心において、例えば、撮像モジュール２３８に結合された腹腔鏡／内視鏡２１９などの医療撮像装置を通して見られる手術部位６２０８の視野６２０６を示し得る。接続された器具２３５のエンドエフェクタ６２１８部分は、グローバル表示ウィンドウ６２０２内の手術部位６２０８の視野６２０６内に示され得る。外科用ハブ２０６に連結された器具２３５上に位置するディスプレイ２３７上に示される画像は、例えば、図１６に示されるように、モニタ６２００の右下隅に位置するローカル器具表示ウィンドウ６２０４上に示されるか、又は鏡映される。
動作中、関連する器具及び情報及びメニューは、器具２３５が外科用ハブ２０６への器具２３５の接続を感知するまで、器具２３５上に位置するディスプレイ２３７上に表示されてもよく、その時点で、器具ディスプレイ２３７上に提示される情報の全て又はいくつかのサブセットが、外科用ハブ２０６を通して外科用ハブディスプレイ６２００のローカル器具表示ウィンドウ６２０４部分上に（例えば、のみ）表示されてもよい。ローカル器具表示ウィンドウ６２０４上に表示された情報は、器具２３５上に配置されたディスプレイ２３７上に鏡映されてもよく、又は器具ディスプレイ２３７の起動スクリーン上ではもはやアクセス可能でなくてもよい。この技術は、器具２３５を解放して、外科用ハブディスプレイ６２００上に異なる情報を示すか、又はより大きなフォント情報を示す。
一次ディスプレイ６２００は、手術部位６２０８の手術前後の可視化を提供し得る。高度な撮像は、尿管６２２０（又は神経など）などの重要構造を識別し、視覚的にハイライト（６２２２）してもよく、器具近接ディスプレイ６２１０を追跡し、ディスプレイ６２００の左側に示すことができる。図示の例では、器具近接ディスプレイ６２１０は、器具固有の設定を示すことができる。例えば、上部器具近接ディスプレイ６２１２は、単極器具の設定を示し得、中間器具近接ディスプレイ６２１４は、双極器具の設定を示し得、下部器具近接ディスプレイ６２１２は、超音波器具の設定を示し得る。
専用ローカルディスプレイであり得る、１つ又は２つ以上の二次ディスプレイが、タッチスクリーンディスプレイを介した対話ポータル、及び／又はステータスを提供するために任意の数の外科用ハブ２０６の追跡されたデータフィードを表示し得る二次スクリーンの両方を提供するように、外科用ハブ２０６にリンクされ得る。二次スクリーンは、発射力（ＦＴＦ）、組織間隙、電力レベル、インピーダンス、組織圧縮安定性（クリープ）などを表示してもよく、一方、一次スクリーンは、フィードをクラッタのない状態に保つために、キー変数（例えば、キー変数のみ）を表示してもよい。インタラクティブディスプレイを使用して、一次ディスプレイへの情報の表示を所望の位置、サイズ、色などに移動させることができる。例えば、ユーザは、インタラクティブディスプレイを使用して、情報を一次ディスプレイに移動させることができ、そこで、他のデータよりも目立つようにハイライト及び／又は表示することができる。
図１６に示されるように、二次スクリーンは、ディスプレイ６２００の左側に器具近接ディスプレイ６２１０を表示し、ディスプレイ６２００の右下側にローカル器具ディスプレイ６２０４を表示する。外科用ハブディスプレイ６２００上に提示されるローカル器具ディスプレイ６２０４は、エンドエフェクタ６２１８のアイコン、例えば、現在使用中のステープルカートリッジ６２２４のアイコン、ステープルカートリッジ６２２４のサイズ６２２６（例えば、６０ｍｍ）、及びエンドエフェクタのナイフ６２２８の現在位置のアイコンを表示する。
器具２３５上に位置するディスプレイ２３７は、外科用ハブ２０６への器具２３５の無線又は有線取り付け、及び外科用ハブ２０６上の器具の通信／記録を表示することができる。両方の監視装置への表示の鏡映又は拡張をユーザが選択することを可能にするために、器具２３５上に設定が提供され得る。器具制御部は、器具上に供給されている情報の外科用ハブディスプレイと対話するために使用されてもよい。本明細書に開示されるように、器具２３５は、外科用ハブ２０６と無線で通信するための無線通信回路を備えてもよい。
外科用ハブ２０６に結合された第１の器具は、外科用ハブ２０６に結合された第２の器具のスクリーンとペアリングされ得、両方の器具が、両方の２つの装置からの情報の何らかのハイブリッド組み合わせを表示することを可能にし、一次ディスプレイの部分の鏡映になる。
外科用ハブ２０６の一次ディスプレイ６２００は、側副構造を回避するために、手術部位６２０８の３６０°複合上面視覚図を提供することができる。例えば、エンドエフェクタ外科用ステープラの二次ディスプレイが、現在の視野６２０６内の領域の周囲により良好な視野を提供するために、外科用ハブ２０６の一次ディスプレイ６２００内に、又は別のディスプレイ上に提供されてもよい。
図１７は、外科用ハブの一次ディスプレイの例を示す。例えば、図１７は、２つ又は３つ以上の撮像アレイ又は１つのアレイを使用してマッピングされた外科用ステープラのエンドエフェクタ６２３４部分の合成俯瞰図と、俯瞰図の複合撮像を可能にするためにエンドエフェクタ６２３４の複数の斜視図を提供する時間とを有する例示的な一次ディスプレイを示すことができる。本明細書に記載される技術は、超音波器具、電気外科用器具、超音波／電気外科用器具の組み合わせ、及び／又は外科用ステープラ／電気外科用器具の組み合わせに適用され得る。ディスプレイ（例えば、単一のディスプレイ）上に複合画像を提示するために、複数の画像／テキストソースからの画像及び／又はテキストをオーバーレイ又は拡張するためのいくつかの技術が実行され得る。
図１７に示されるように、外科用ハブ２０６の一次ディスプレイ６２００は、一次ウィンドウ６２３０を表示することができる。一次ウィンドウ６２３０は、スクリーンの中心に位置してもよく、手術視野６２３２の拡大又は分解された狭角ビューを示す。スクリーンの中心に位置する一次ウィンドウ６２３０は、血管６２３６を把持する外科用ステープラのエンドエフェクタ６２３４の拡大された又は狭角の図を示す。一次ウィンドウ６２３０は、手術視野６２３２に隣接する構造の可視化を可能にする複合画像を生成するために、編成画像を表示することができる。第２のウィンドウ６２４０は、一次ディスプレイ６２００の左下隅に示されてもよい。第２のウィンドウ６２４０は、俯瞰図で一次ウィンドウ６２３０に示される画像の標準焦点で広角ビューで編成画像を表示する。第２のウィンドウ６２４０内に提供される俯瞰図は、観察者が、腹腔鏡、又は外科用ハブ２０６の撮像モジュール２３８に結合される他の撮像装置を移動させることなく、狭視野外科用視野６２３２の外にある物品を容易に見ることを可能にし得る。第３のウィンドウ６２４２は、一次ディスプレイ６２００の右下隅に示すことができ、エンドエフェクタ６２３４のステープルカートリッジ（例えば、この例ではステープルカートリッジ）を表すアイコン６２４４と、ステープル列６２４６の数を示す「４列」及びステープルカートリッジの長さに沿ってナイフが横断する距離６２４８を示す「３５ｍｍ」などの追加の情報とを示す。第３のウィンドウ６２４２の下には、クランプ安定化を示すクランプ安定化シーケンス６２５０の現在の状態のフレームのアイコン６２５８が表示される。
例示的な可視化制御モードでは、表示は、例えば、運動追跡（例えば、モニタに対する頭部配向）、手のジェスチャ、音声起動、及び滅菌野内の他の手段を介して、ユーザによって制御されてもよい。ユーザは、１つのディスプレイから別のディスプレイにデータを移動させるために、ジェスチャ、運動追跡コマンド、音声起動などを使用し得る。例えば、ユーザは、ジェスチャを使用して、データを第１のディスプレイから第２のディスプレイに移動させてもよい。ジェスチャは、ハブによって検出されてもよく、ハブは、第１のディスプレイに、データを削除するか、又はデータの表示を停止するように命令してもよく、第２のディスプレイに、データを表示するように命令してもよい。
図１８は、処置中の４つの別個の時間における手術部位の４つの広角ビュー画像の図を示す。例えば、図１８は、本開示の一態様による、処置中の４つの別個の時間における手術部位の４つの別個の広角ビュー画像６２７２、６２７４、６２７６、６２７８の図６２７０を示す。
画像のシーケンスは、経時的な広い焦点及び狭い焦点におけるオーバーヘッド複合画像の作成を示す。第１の画像６２７２は、先行時間ｔ０（例えば、０９：３５：０９）に撮影された、血管６２３６をクランプしているエンドエフェクタ６２３４の広角ビューである。第２の画像６２７４は、現在時刻ｔ１（例えば、０９：３５：１３）に撮影された、血管６２３６をクランプしているエンドエフェクタ６２３４の別の広角ビューである。第３の画像６２７６は、現時点ｔ１で撮影された、血管６２３６をクランプしているエンドエフェクタ６２３４の俯瞰図の複合画像である。第３の画像６２７６は、図１７に示されるように、外科用ハブ２０６の一次ディスプレイ６２００の第２のウィンドウ６２４０に表示されてもよい。第４の画像６２７８は、現時点ｔ１（例えば、０９：３５：１３）で血管６２３６をクランプしているエンドエフェクタ６２３４の狭角ビューである。第４の画像６２７８は、図１７に示されるように、外科用ハブ２０６の一次ディスプレイ６２００の一次ウィンドウ６２３０に示される手術部位の狭角ビューである。
本開示の一態様では、一次ディスプレイ及び／又は二次ディスプレイは、第１の画像、第２の画像、第３の画像、及び／又は第４の画像のうちの１つ又は２つ以上を表示し得る。例えば、一次ディスプレイは第３の画像を表示することができ、二次ディスプレイは第４の画像を表示することができる。別の例として、一次ディスプレイは第４の画像を表示することができ、第２のディスプレイは第３の画像を表示することができる。
図１９は、表示された要素を識別するデータで拡張された術前ビデオ画像の拡張ビデオ画像の例を示す。データで拡張され得る術前ビデオ画像は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。例えば、拡張ビデオ画像が一次ディスプレイに表示され、ビデオ画像が二次ディスプレイに表示され得る。別の例として、拡張ビデオ画像は、二次ディスプレイ上に表示されてもよく、一方、ビデオ画像は、一次ディスプレイ上に表示されてもよい。
例えば、図１９は、データ（例えば、表示された要素を識別する６３５４、６３５６、６３５８）で拡張された術前ビデオ画像６３５２を含む拡張ビデオ画像６３５０の例を示す。拡張現実視覚システムは、術前画像６３５２上にデータを拡張するための方法を実装するために、外科処置において採用されてもよい。本方法は、患者の解剖学的区分の術前画像６３５２を生成することと、患者内の手術部位の拡張ビデオ画像を生成することとを含む。拡張ビデオ画像６３５０は、ユーザ６４５６によって操作される外科用ツール６３５４の少なくとも一部分の画像を含み得る。本方法は、患者の解剖学的区分に関するデータを生成するために術前画像６３５２を処理することを更に含み得る。データは、解剖学的区分のラベル６３５８と、解剖学的区分の少なくとも一部の周辺マージンとを含み得る。周辺マージンは、外科医を解剖学的区分に対する切断位置に誘導し、術前画像６３５０内にデータ及びユーザ６３５６の識別情報を埋め込んで、患者の解剖学的区分についての拡張ビデオ画像６３５０をユーザに表示するように構成することができる。本方法は、外科用ツール６３５４上の負荷状態を感知することと、感知された負荷状態に基づいてフィードバック信号を生成することと、拡張ビデオ画像６３５０内の外科用ツール６３５４の場所の変化に応答して、拡張ビデオ画像６３５０内に埋め込まれた外科用ツール６３５４を操作するユーザの識別情報のデータ及び場所をリアルタイムで更新することとを更に含み得る。更なる例は、２０１５年９月１日に発行された「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＩＯＮ ＳＹＳＴＥＭ ＩＮ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥＳ」と題する米国特許第９，１２３，１５５号に開示されており、その全体が参照により本明細書に組み込まれる。
一態様では、Ｘ線撮影統合技術を使用して、術前画像６３５２を、ライブ内部感知又は処置前技術を通して取得されたデータとオーバーレイすることができる。Ｘ線撮影統合は、外科的ランドマーク、患者の中又は外に配置されたＸ線撮影マーカーを使用するマーカー及びランドマーク識別、放射線不透過性ステープル、クリップ、又は他の組織固定物品の識別を含んでもよい。デジタルＸ線撮影技術を使用して、術前画像６３５２とオーバーレイするためのデジタル画像を生成することができる。デジタルＸ線撮影は、従来の写真フィルムの代わりにデジタルＸ線センサを有するデジタル画像キャプチャ装置を使用するＸ線撮像の一形態である。デジタルＸ線撮影技術は、術前画像６３５２とオーバーレイするための即時の画像プレビュー及び利用可能性を提供する。更に、特別な画像処理技術をデジタルＸ線画像に適用して、画像の全体的な表示品質を向上させることができる。
デジタルＸ線撮影技術は、フラットパネル検出器（ＦＰＤ）を含む画像検出器を採用してもよく、これは、間接ＦＰＤ及び直接ＦＰＤの２つのカテゴリに分類されてもよい。間接ＦＰＤは、ヨウ化セシウム（ＣＳＩ）又は酸硫化ガドリニウム（Ｇｄ２０２Ｓ）から作製され、Ｘ線を光に変換する、検出器の外側層内のシンチレータと組み合わせられたアモルファスシリコン（ａ－Ｓｉ）を含み得る。光は、ａ－Ｓｉフォトダイオード層を通って導かれ得、そこでデジタル出力信号に変換される。デジタル信号は、次いで、薄膜トランジスタ（thin film transistor、ＴＦＴ）又はファイバ結合電荷結合素子（coupled charge coupled device、ＣＯＤ）によって読み出されてもよい。直接型ＦＰＤは、Ｘ線光子を直接電荷に変換するアモルファスセレン（ａ－Ｓｅ）ＦＰＤを含む。この設計におけるフラットパネルの外層は、高電圧バイアス電極であり得る。Ｘ線光子は、ａ－Ｓｅ内に電子正孔対を生成し得、これらの電子及び正孔の通過は、バイアス電圧電荷の電位に依存し得る。正孔は電子で置換され得るので、セレン層内に結果として生じる電荷パターンは、ＴＦＴアレイ、アクティブマトリクスアレイ、電位計プローブ、又はマイクロプラズマラインアドレッシングによって読み出され得る。他の直接デジタル検出器は、ＣＭＯＳ及びＣＣＤ技術に基づいてもよい。燐光体検出器はまた、露光中にＸ線エネルギーを記録するために使用されてもよく、ＣＣＤのデジタル画像キャプチャアレイによって放出され、読み出されてもよい貯蔵エネルギーを励起するために、レーザダイオードによってスキャンされてもよい。
図２０は、１つ又は２つ以上の画像を表示するためのプロセスの例示的なフロー図を示す。例えば、図２０は、本開示の一態様による、画像を表示するための制御プログラム又は論理構成を示すプロセスの論理フロー図６３６０を示す。外科用ハブ１０６、２０６を含むインタラクティブ外科システム１００環境との対話を示すために図１～図１１も参照すると、本開示は、一態様では、プロセッサ２４４と、プロセッサ２４４に連結されたメモリ２４９とを備える外科用ハブ２０６を提供する。メモリ２４９は、第１の画像センサから第１の画像データを受信し（６３６２）、第２の画像センサから第２の画像データを受信（６３６４）し、ディスプレイ上に、第１の視野に対応する第１の画像及び第２の視野に対応する第２の画像を表示する（６３６６）ようにプロセッサ２４４によって実行可能な命令を記憶する。第１の画像データは第１の視野を表すことができ、第２の画像データは第２の視野を表す。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。ディスプレイは、外科用ハブ２０６に連結されたディスプレイ２１７であり得る。
一態様では、第１の視野は狭角視野であり得、第２の視野は広角視野である。別の態様では、メモリ２４９は、ディスプレイ上で第１の画像を第２の画像で拡張するためにプロセッサ２４４によって実行可能な命令を記憶する。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。
別の態様では、メモリ２４９は、第１の画像と第２の画像とを第３の画像に融合し、融合画像をディスプレイ上に表示するためにプロセッサ２４４によって実行可能な命令を記憶する。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。ディスプレイは、ディスプレイ２１７であり得る。第１の画像、第２の画像、及び／又は第３の画像は、二次ディスプレイ上に表示されてもよく、一方、融合画像は、一次ディスプレイ上に表示されてもよい。第１の画像、第２の画像、及び／又は第３の画像は、一次ディスプレイ上に表示されてもよく、一方、融合画像は、二次ディスプレイ上に表示されてもよい。
別の態様では、融合画像データは、外科用装置２３５に関連付けられたステータス情報と、複数の画像をインターロックするための画像データ統合ランドマークと、少なくとも１つのガイダンスパラメータとを含む。別の態様では、第１の画像センサは、同じ画像センサと同じであり、第１の画像データは、第１の時間にキャプチャされ、第２の画像データは、第２の時間にキャプチャされる。１つ又は２つ以上の画像は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。
別の態様では、メモリ２４９は、第３の画像データを第３の画像センサから受信し（第３の画像データは第３の視野を表す）、第２及び第３の画像データを含む複合画像データを生成し、第１の画像をディスプレイの第１のウィンドウに表示し（第１の画像は第１の画像データに対応する）、第３の画像をディスプレイ２１５の第２のウィンドウに表示する（第３の画像は複合画像データに対応する）ように、プロセッサ２４４によって実行可能な命令を記憶する。別の態様では、第１の画像、第２の画像、及び／又は第３の画像は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。例えば、ユーザは、一次ディスプレイ及び／又は二次ディスプレイが第１の画像、第２の画像、及び第３の画像のうちの１つにおいて表示し得ることを示してもよい。
別の態様では、メモリ２４９は、第３の画像データを第３の画像センサから受信し（第３の画像データは第３の視野を表す）、融合画像データを生成するために第２の画像データと第３の画像データとを融合し、第１の画像をディスプレイ２１７の第１のウィンドウに表示し（第１の画像は第１の画像データに対応する）、第３の画像をディスプレイ２１７の第２のウィンドウに表示する（第３の画像は融合画像データに対応する）ように、プロセッサ２４４によって実行可能な命令を記憶する。別の態様では、第１の画像、第２の画像、及び／又は第３の画像は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。例えば、ユーザは、一次ディスプレイ及び／又は二次ディスプレイが第１の画像、第２の画像、及び第３の画像のうちの１つにおいて表示し得ることを示し得る。
一態様では、本開示は、図１～図１１に関連して説明される外科用ハブ２０６とインターフェースをとる、外科用通信及び制御ヘッドセットを提供し、例証する。更なる例は、２００９年２月１９日に公開された「ＳＵＲＧＩＣＡＬ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＡＮＤ ＣＯＮＴＲＯＬ ＳＹＳＴＥＭ」と題する米国特許出願公開第２００９／００４６１４６号に開示されており、その全体が参照により本明細書に組み込まれる。図２１は、本開示の少なくとも１つの態様による、手術室内の装置制御機構として利用される、ビーム源及び組み合わせられたビーム検出器システムの略図を示す。例えば、図２１は、手術室における装置制御機構として利用される、ビーム源及び組み合わせられたビーム検出器システムの略図を示す。システム６６８０は、一次ディスプレイ（例えば、一次手順ディスプレイ）及び／又は二次ディスプレイ上に生成されるオーバーレイを用いた装置制御を可能にするように構成及び配線されてもよい。フットスイッチは、クリックされる特定の所望のコマンドアイコンを狙うためにビーム源が使用されている間に、ユーザがスクリーン上に現れるコマンドアイコンをクリックすることを可能にする方法を示す。ビーム源はまた、ユーザがどこを見ているかを示すために使用され得る。ビーム源はまた、データが表示され得る場所を示すためにユーザによって使用され得る。例えば、ユーザは、ビーム源を一次ディスプレイ及び／又は二次ディスプレイに向けて、データを表示するためにどちらのディスプレイを使用すべきかを示してもよい。
制御システムのグラフィックユーザインターフェース（graphic user interface、ＧＵＩ）と装置制御プロセッサとが通信し、システムを使用してパラメータが変更される。システムは、ビーム検出センサに結合され得るディスプレイを備え得る。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。例えば、システム６６８０は、ビーム検出センサ６６８２に結合されたディスプレイ６６８４を含む。システムは、ヘッドマウントソース６６８６を含み得る。ビーム検出センサ６６８２は、制御システムＧＵＩオーバーレイプロセッサ及びビーム源プロセッサ６６８８と通信することができる。外科医は、装置制御インターフェースユニット６６９４に信号を提供するフットスイッチ６６９２又は他の付属スイッチを操作することができる。
システム６６８０は、滅菌臨床医が、容易かつ迅速であるが、手を使わずに集中化された様式で処置用装置を制御するための手段を提供し得る。手術の効率を最大限にし、患者が麻酔下にある時間を最小限にする能力は、最良の患者転帰にとって重要である。外科医、心臓病専門医又は放射線科医が、滅菌野の外側での処置において使用される特定の医療装置及び電子機器に対して行われる調整を口頭で要求することは、一般的である。いくつか例を挙げると、カメラ、ボビー、外科用ベッド、シェーバー、吸入器、注入器などの装置の設定に必要な調整を行うために、別のスタッフ員に頼らなければならないことが一般的である。多くの状況において、スタッフ員に設定を変更するように命令しなければならないことは、非滅菌スタッフ員が別のタスクで忙しいので、処置を遅くする可能性がある。滅菌医師は、滅菌性を損なうことなく非滅菌の機器を調整することができないため、しばしば、処置を再開する前に、非滅菌のスタッフ員が特定の装置に対して要求された調整を行うのを待たなければならない。
システム６６８０は、ユーザがビーム源及びビーム検出器を使用して、ＧＵＩと結合されたポインタオーバーレイを再生成することを可能にし、臨床医が一次ディスプレイ及び／又は二次ディスプレイ上のコマンドをクリックすることを可能にするための同時切り替え方法（すなわち、フットスイッチなど）を可能にする。一態様では、ＧＵＩは、ユーザが頭を覚醒させるために頭を２回傾けたとき、又はシステムに設けられたフットスイッチを踏んだときなど、起動したときに、一次ディスプレイ及び／又は二次ディスプレイであり得る処置ビデオディスプレイ上に現れることができる。あるいは、右への頭の傾きなどのジェスチャがシステムを起動させ、左への頭の傾きなどの別のジェスチャが単にビーム源を作動させることが可能である。オーバーレイ（装置制御ＧＵＩオーバーレイと称される）がスクリーン上に現れると、オーバーレイは、様々な外科用装置を表すボタンアイコンを示すことができ、ユーザは、ビーム源、この場合はレーザビームを使用して、ボタンアイコンを狙うことができる。レーザが適切なボタンアイコンの上に来ると、フットスイッチ又は他の同時スイッチ方法を起動することができ、コンピュータ上のマウスクリックのように効果的に作用する。例えば、ユーザは、システムを「ウェイクアップ」させて、装置制御ＧＵＩオーバーレイをポップアップさせることができ、装置制御ＧＵＩオーバーレイは、それぞれが対応する処置用医療装置としてラベル付けされたボタンアイコンをスクリーン上にリストする。ユーザは、正しいボックス又は装置にレーザを向け、コンピュータ上でマウスをクリックするのと同様に、フットペダル（又は音声制御、ウエストバンドボタンなどの何らかの他の並行制御）をクリックして、選択を行ってもよい。その後、滅菌医師は、例えば「吸入器」を選択することができる。次のスクリーンは、調整される必要がある装置の様々な設定（圧力、速度など）のためにクリックすることができる矢印アイコンを示す。１つの反復において、ユーザは、次いで、レーザを上向き矢印に向け、所望の設定が達成されるまで、フットペダルを繰り返しクリックすることができる。
一態様では、滅菌医師などのユーザは、ビームを使用して、データが表示され得る場所を示してもよい。例えば、ユーザは、一次ディスプレイ及び／又は二次ディスプレイを見ることが可能であり得る。ユーザは、ディスプレイのうちの１つ又は２つ以上で、動作に関係するデータなどのコンテキストデータを見ることを望む場合がある。ユーザは、ビームを使用して、コンテキストデータが一次ディスプレイ上に現れるべきであることを示すことができる。ユーザは、ビームを使用して、コンテキストデータが二次ディスプレイ上に現れるべきであることを示すことができる。ユーザは、ビームを使用して、一次ディスプレイからのデータが二次ディスプレイに移動されるべきであること、又はデータが二次ディスプレイから一次ディスプレイに移動されるべきであることを示してもよい。
外科用ハブは、１つ又は２つ以上の一次ディスプレイ及び／又は二次外科医ディスプレイユニットであり得る１つ又は２つ以上の二次ディスプレイとのインターフェース制御を提供し得る。一次ディスプレイ及び／又は二次ディスプレイは、滅菌野内にあるように設計されてもよい。
図２２Ａ～図２２Ｅは、本開示の少なくとも１つの態様による、様々なタイプの滅菌野制御及びデータ入力コンソールを示す。図２２Ａは、単一ゾーン滅菌野制御及びデータ入力コンソールを示す。図２２Ｂは、マルチゾーン滅菌野制御及びデータ入力コンソールを示す。図２２Ｃは、テザー付き滅菌野制御及びデータ入力コンソールを示す。図２２Ｄは、電池式滅菌野制御及びデータ入力コンソールを示す。図２２Ｅは、電池式滅菌野制御及びデータ入力コンソールを示す。
一態様では、外科用ハブ２０６は、滅菌野からの外科用ハブ２０６の機能の表示及び制御を可能にし得る二次ユーザインターフェースを提供し得る。二次ディスプレイは、表示位置、どの情報がどこに表示されるかを変更し、特定の機能又は装置の制御をパスオフするために使用され得る。例えば、二次ディスプレイは、二次ディスプレイ上のデータディスプレイを一次ディスプレイに移動させるためにユーザによって使用されてもよい。別の例として、二次ディスプレイは、一次ディスプレイから二次ディスプレイにデータを移動させるためにユーザによって使用され得る。二次ディスプレイは、医療器具の内部にあってもよく、医療器具の外部にあってもよく、又は医療器具に関連付けられてもよい。
一次ディスプレイ及び／又は二次ディスプレイであり得るディスプレイユニットは、滅菌野内で使用されるように設計され得、外科医が外科用ハブに連結され得る他の外科用装置を制御するために滅菌野からのインタラクティブ入力制御を有することを可能にするように、外科医による入力及び表示のためにアクセス可能であり得る。ディスプレイユニットは、滅菌され、滅菌野内に位置し、外科医がディスプレイユニットとインターフェースをとり、外科用ハブが、滅菌野を離れることなく、必要に応じて、器具を直接インターフェースをとり、構成することを可能にし得る。ディスプレイユニットは、表示、制御、ツール制御の交換のために使用されてもよく、外科医が滅菌野を離れることなく、他の外科用ハブからの供給を可能にする。ディスプレイユニットは、外科医などのユーザが、滅菌野の外側にあり得る一次ディスプレイ及び／又は二次ディスプレイを制御することを可能にし得る。ディスプレイユニットは、ユーザが、滅菌野内にあり得る一次及び／又は二次ディスプレイを制御することを可能にし得る。
一態様では、本開示は、インタラクティブタッチスクリーンディスプレイと、インタラクティブタッチスクリーンディスプレイを外科用ハブに結合するように構成されたインターフェースと、プロセッサと、プロセッサに連結されたメモリとを備える制御ユニットを提供する。メモリは、滅菌野の内側に位置するインタラクティブタッチスクリーンディスプレイから入力コマンドを受信し、入力コマンドを外科用ハブに送信し、滅菌野の外側に位置する外科用ハブに結合される装置を制御するように、プロセッサによって実行可能な命令を記憶する。
一態様では、本開示は、インタラクティブタッチスクリーンディスプレイと、インタラクティブタッチスクリーンディスプレイを外科用ハブに結合するように構成されるインターフェースと、滅菌野の内側に位置するインタラクティブタッチスクリーンディスプレイから入力コマンドを受信し、入力コマンドを外科用ハブに送信し、滅菌野の外側に位置する外科用ハブに結合される装置を制御するように構成される制御回路とを備える、制御ユニットを提供する。
滅菌野内で使用され得、外科医による入力及び表示のためにアクセス可能であり得る、ディスプレイユニットが提供されてもよい。例えば、ディスプレイユニットは、外科用ハブに連結された他の外科用装置を制御するために、滅菌野からのインタラクティブ入力制御を外科医に提供してもよい。
滅菌野内のこのディスプレイユニットは、滅菌されており、外科医がそれ及び外科用ハブとインターフェースすることを可能にする。これは、外科医に、外科用ハブに結合された器具の制御を与え、外科医が、滅菌野を離れることなく、必要に応じて、器具を直接インターフェースし、構成することを可能にする。ディスプレイユニットは、表示、制御、ツール制御の交換のために使用されてもよく、外科医が滅菌野を離れることなく、他の外科用ハブからの供給を可能にする。例えば、ディスプレイユニットは、一次ディスプレイ及び／又は二次ディスプレイであってもよく、ディスプレイユニットは、別の一次ディスプレイ及び／又は二次ディスプレイ上のデータの表示を制御するために使用されてもよい。別の例では、ディスプレイユニットは、１つのディスプレイ上に表示されているデータを別のディスプレイに移動させるために使用され得る。
二次ユーザインターフェースは、滅菌野内からの外科用ハブ機能の表示及び制御を可能にするために使用されてもよい。この制御部は、一次ディスプレイ及び／又は二次ディスプレイであってもよく、ｉＰａｄのようなディスプレイ装置、例えば、滅菌様式で手術室の中に導入されるように構成されるポータブルインタラクティブタッチスクリーンディスプレイ装置であってもよい。それは、任意の他の装置のようにペアリングされてもよく、又は場所に敏感であってもよい。ディスプレイ装置は、ディスプレイ装置がある場所（例えば、特定の場所）の上に配置されるときはいつでも、このように機能することを可能にされ得る。例えば、ディスプレイ装置は、外科処置の間、ディスプレイ装置が患者のドレープされた腹部の場所を覆って配置されるときはいつでも、このように機能することを可能にされてもよい。
一態様では、本開示は、滅菌野内からの外科用ハブ機能の表示及び制御を可能にするための二次ユーザインターフェースを提供する。一態様では、二次ディスプレイは、表示位置を変更し、どの情報がどこに表示されるかを判定し、特定の機能又は装置の制御をパスオフするために使用され得る。例えば、二次ディスプレイは、一次ディスプレイ上に表示されるデータを送信するために使用されてもよい。
いくつかの異なるタイプの二次手術ディスプレイが存在し得る。例えば、１つのタイプの二次ディスプレイは、滅菌野内で使用されるように設計されてもよく、滅菌野インタラクティブ制御ディスプレイ内で外科医による入力及び表示のためにアクセス可能であってもよい。滅菌野インタラクティブ制御ディスプレイは、共有又は共通滅菌野入力制御ディスプレイであってもよい。滅菌野ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであってもよい。
滅菌野ディスプレイは、手術台上、スタンド上に搭載されてもよく、又は単に患者の腹部又は胸部上に置かれてもよい。滅菌野ディスプレイは、滅菌されており、外科医が滅菌野ディスプレイ及び外科用ハブとインターフェースをとることを可能にする。これは、外科医にシステムの制御を与え得、外科医が必要に応じて滅菌野ディスプレイをインターフェース接続及び構成することを可能にし得る。滅菌野ディスプレイは、マスタ装置として構成されてもよく、表示、制御、ツール制御の交換、他の外科用ハブからのフィードを可能にすることなどのために使用されてもよい。例えば、滅菌野ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであってもよく、外科医が１つ又は２つ以上の一次ディスプレイ及び／又は二次ディスプレイを制御することを可能にしてもよい。
一態様では、滅菌野ディスプレイは、外科医が装置を別の装置に手渡した場合に、手術室（ＯＲ）内の無線起動装置及びそれらのペアリングされたエネルギー装置を再構成するために採用され得る。図２２Ａ～図２２Ｅは、本開示の様々な態様による、様々なタイプの滅菌野制御及びデータ入力コンソール６７００、６７０２、６７０８、６７１２、６７１４を示す。開示される滅菌野制御及びデータ入力コンソール６７００、６７０２、６７０８、６７１２、６７１４は各々、情報処理システムの電子視覚ディスプレイの上部に重ねられた少なくとも１つのタッチスクリーン６７０１、６７０４／６７０６、６７０９、６７１３、６７１６入力／出力装置を備える。滅菌野制御及びデータ入力コンソール６７００、６７０２、６７０８、６７１２、６７１４は、電源として電池を含み得る。いくつかは、別個の電源に接続するため、又は電池を再充電するためのケーブル６７１０を含む。ユーザは、スタイラス、１本以上の指、又は外科用ツールでタッチスクリーン６７０１、６７０４／６７０６、６７０９、６７１３、６７１６にタッチすることによって、単純な又はマルチタッチジェスチャを介して入力を与えるか、又は情報処理システムを制御することができる。滅菌野制御及びデータ入力コンソール６７００、６７０２、６７０８、６７１２、６７１４は、外科医が装置を別の外科医に手渡した場合、手術室内の無線起動装置及びペアリングされたエネルギー装置を再構成するために使用されてもよい。例えば、滅菌野ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであってもよく、外科医が１つ又は２つ以上の一次ディスプレイ及び／又は二次ディスプレイを制御することを可能にしてもよい。
滅菌野制御及びデータ入力コンソール６７００、６７０２、６７０８、６７１２、６７１４は、別の手術室からの助言の提供を受け入れるために使用されてもよく、次いで、外科医が、補助するために必要とされるものを見ることができるように、他の手術室を鏡映するように、手術室スクリーンの一部又はそれらの全てを構成するであろう。滅菌野制御及びデータ入力コンソール６７００、６７０２、６７０８、６７１２、６７１４は、外科用ハブ２０６と通信するように構成される。したがって、図１～図１１に関連して説明した外科用ハブ２０６の説明は、参照によりこのセクションに組み込まれる。
図２２Ａは、本開示の一態様による、単一ゾーン滅菌野制御及びデータ入力コンソール６７００を示す。単一ゾーンコンソール６７００は、滅菌野内の単一ゾーン内で使用するために構成される。単一ゾーンコンソール６７００は、二次ディスプレイであってもよい。滅菌野内に配備されると、単一ゾーンコンソール６７００は、滅菌野内のユーザからタッチスクリーン入力を受信することができる。タッチスクリーン６７０１は、ユーザが、マウス、タッチパッド、又は（スタイラス若しくは外科用ツール以外の）他のそのような装置を使用するのではなく、表示されているものと直接対話することを可能にする。単一ゾーンコンソール６７００は、外科用ハブ２０６に無線で通信するための無線通信回路を含む。単一ゾーンコンソール６７００は、ユーザが一次ディスプレイ及び／又は別の二次ディスプレイを制御することを可能にし得る。
図２２Ｂは、本開示の一態様による、マルチゾーン滅菌野制御及びデータ入力コンソール６７０２を示す。マルチゾーンコンソール６７０２は、滅菌野の第１のゾーンから入力を受信するための第１のタッチスクリーン６７０４と、滅菌野の第２のゾーンから入力を受信するための第２のタッチスクリーン６７０６とを備える。マルチゾーンコンソール６７０２は、二次ディスプレイであり得る。マルチゾーンコンソール６７０２は、滅菌野内の複数のユーザからの入力を受信するように構成される。マルチゾーンコンソール６７０２は、外科用ハブ２０６に無線で通信するための無線通信回路を含む。したがって、マルチゾーン滅菌野制御及びデータ入力コンソール６７０２は、複数の入力及び出力ゾーンを有する対話式タッチスクリーンディスプレイを備える。マルチゾーンコンソール６７０２は、ユーザが一次ディスプレイ及び／又は別の二次ディスプレイを制御することを可能にし得る。
図２２Ｃは、本開示の一態様による、テザー付き滅菌野制御及びデータ入力コンソール６７０８を示す。テザー付きコンソール６７０８は、有線接続を介してテザー付きコンソール６７０８を外科用ハブ２０６に接続するためのケーブル６７１０を含む。ケーブル６７１０は、テザー付きコンソール６７０８が無線リンクに加えて有線リンクを介して通信することを可能にする。ケーブル６７１０はまた、テザー付きコンソール６７０８が、コンソール６７０８に電力供給し、及び／又はコンソール６７０８内の電池を再充電するための電源に接続することを可能にする。テザー付きコンソール６７０８は、二次ディスプレイであり得る。テザー付きコンソール６７０８は、ユーザが一次ディスプレイ及び／又は別の二次ディスプレイを制御することを可能にし得る。
図２２Ｄは、本開示の一態様による、電池式滅菌野制御及びデータ入力コンソール６７１２を示す。滅菌野コンソール６７１２は、電池式であり、外科用ハブ２０６と無線で通信するための無線通信回路を含む。一態様では、滅菌野コンソール６７１２は、発生器モジュール２４０などのハブ２０６に結合されたモジュールのいずれかと通信するように構成され得る。滅菌野コンソール６７１２を通して、外科医は、タッチスクリーン６７１３インターフェースを使用して、発生器の電力出力レベルを調整してもよい。一例が、図２２Ｅに関連して以下で説明される。滅菌野コンソール６７１２は、二次ディスプレイであり得る。滅菌野コンソール６７１２は、ユーザが一次ディスプレイ及び／又は別の二次ディスプレイを制御することを可能にし得る。
図２２Ｅは、本開示の一態様による、電池式滅菌野制御及びデータ入力コンソール６７１４を示す。滅菌野コンソール６７１４は、発生器のタッチスクリーン上に表示されるユーザインターフェースを含み得る。外科医は、したがって、発生器モジュール２４０の電力出力を増加／減少させる、上／下矢印アイコン６７１８Ａ、６７１８Ｂに触れることによって、発生器の出力を制御してもよい。追加のアイコン６７１９は、滅菌野コンソール６７１４から直接、他の特徴の中でも、＋／－アイコンを使用して、発生器モジュール設定６１７４、体積６１７８へのアクセスを可能にする。滅菌野コンソール６７１４は、外科医が滅菌野コンソール６７１４を別のものに手渡したときに、手術室内のハブ２０６に連結された他の無線起動装置又はモジュール、及びそれらのペアリングされたエネルギー装置の設定を調整する、又は再構成するために採用されてもよい。滅菌野コンソール６７１４は、二次ディスプレイであり得る。滅菌野コンソール６７１４は、ユーザが一次ディスプレイ及び／又は別の二次ディスプレイを制御することを可能にし得る。
図２３Ａ～図２３Ｂは、本開示の一態様による、外科処置中に滅菌野で使用される滅菌野コンソール６７００を示す。図２３は、手術に従事する２人の外科医の近くの滅菌野に位置付けられた滅菌野コンソール６７１４を示す。図２３では、外科医のうちの１人が、外科用ハブ２０６に結合されたモジュール式装置の出力を調整し、モジュール式装置、又は外科用ハブ２０６に結合されたモジュール式装置とペアリングされたエネルギー装置を再構成するために、外科用ツール６７２２を用いて滅菌野コンソールのタッチスクリーン６７０１をタップしている様子が示されている。
滅菌野ディスプレイは、外科医が、レーザドップラー走査アレイのような他のフィード又は画像をオーバーレイすることを可能にする、対話可能スケーラブル二次ディスプレイとして採用されてもよい。一態様では、滅菌野ディスプレイは、精査するために術前スキャン又は画像を呼び出すために採用され得る。脈管経路及び深度並びに装置軌道が推定されると、外科医は、外科医が他のフィード又は画像をオーバーレイすることを可能にする、滅菌野対話可能スケーラブル二次ディスプレイを採用する。
図２４は、脈管経路、深度、及び装置軌道を推定するための技術を示す略図６７７０である。標準的なアプローチを使用して、組織６７７５の表面の下に位置する血管６７７２、６７７４を切開する前に、外科医は、血管６７７２、６７７４の経路及び深度、並びに血管６７７２、６７７４に到達するために外科用装置６７７８がとる軌道６７７６を推定する。外科医は血管６７７２、６７７４の経路及び深度６７７６の位置を正確に可視化することができないので、組織６７７５の表面の下に位置する血管６７７２、６７７４の経路及び深度６７７６を推定することはしばしば困難である。
図２５Ａ～図２５Ｄは、斜視図（図２５Ａ、２５Ｃ）及び側面図（図２５Ｂ、２５Ｄ）を含む、切開のための仮想解剖学的細部の画像の複数のリアルタイム図を示す。画像は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。例えば、画像は、本開示の一態様によると、外科医が他のフィード又は画像をオーバーレイすることを可能にする、対話可能なスケーラブル二次ディスプレイとして採用される、タブレットコンピュータ又は滅菌野制御及びデータ入力コンソールの滅菌野ディスプレイ上に表示されてもよい。仮想解剖の画像は、外科医が、図２４に示されるような組織６７７５の表面の下に位置する脈管６７７２、６７７４の経路及び深度、並びに外科用装置６７７８の最良軌道６７７６をより正確に予測することを可能にし得る。
図２５Ａは、タブレットコンピュータ又は滅菌野制御及びデータ入力コンソールなどの二次装置上に表示される仮想解剖６７８０の斜視図である。図２５Ｂは、本開示の一態様による、図２５Ａに示される仮想解剖６７８０の側面図である。図２５Ａ～図２５Ｂを参照すると、一態様では、外科医は、スマート外科用装置６７７８及びタブレットコンピュータを使用して、仮想解剖６７８０をリアルタイムで複数のビューで可視化する。スマート外科用装置６７７８は、二次ディスプレイであり得る、ディスプレイを含み得る。タブレットコンピュータは、一次ディスプレイ及び／又は二次ディスプレイであり得るディスプレイを含み得る。三次元斜視図は、血管６７７２、６７７４が表面下に位置する組織６７７５の一部を含む。組織の部分は、外科医がスケールを可視化し、それぞれＸによってマーキングされる標的場所６７８２、６７８４における血管６７７２、６７７４の経路及び深度を測定することを可能にするように、グリッド６７８６でオーバーレイされる。グリッド６７８６はまた、外科医が外科用装置６７７８の最良軌道６７７６を決定することを補助する。図示のように、血管６７７２、６７７４は、異常な脈管経路を有する。
図２５Ｃは、本開示の一態様による、切開のための仮想解剖６７８０の斜視図を示す。図２５Ｄは、本開示の一態様による、切開のための仮想解剖６７８０の側面図である。図２５Ｃ～図２５Ｄを参照すると、タブレットコンピュータを使用して、外科医は、切開のための仮想解剖６７８０の最適ビューを取得するように、ズーム及びパン３６０－∞を行うことができる。次いで、外科医は、外科用装置６７７８（例えば、この例では切開器具）を挿入するための最良の経路又は軌道６７７６を決定する。外科医は、三次元斜視図又は６つの図のうちのいずれか１つで解剖学的構造を見ることができる。例えば、図２５Ｄの仮想解剖構造の側面図及び外科用装置６７７８（例えば、切開器具）の挿入を参照されたい。
別の態様では、滅菌野制御及びデータ入力コンソールは、例えば、腫瘍学又は病理学部門などの異なる部門間のライブチャットが、マージン又は撮像に関連付けられた他の詳細を議論することを可能にし得る。滅菌野制御及びデータ入力コンソールは、病理学部門が、標本内のマージンの関係について外科医に伝え、滅菌野コンソールを使用してリアルタイムで外科医にそれらを示すことを可能にし得る。
別の態様では、滅菌野制御及びデータ入力コンソールが、それ自体の画像の焦点及び視野を変化させる、又は外科用ハブに結合される他のモニタのうちのいずれかのものを制御するために使用され得る。例えば、滅菌野制御及びデータ入力コンソールは、別の一次ディスプレイ及び／又は二次ディスプレイを制御するために使用され得る、一次ディスプレイ及び／又は二次ディスプレイであってもよい。
別の態様では、滅菌野制御及びデータ入力コンソールが、外科用ハブ２０６に結合される機器又はモジュールのうちのいずれかのステータスを表示するために使用され得る。外科用ハブ２０６に結合されたどの装置が使用されているかの知識は、装置が器具パッド又はオンデバイスセンサ上にないなどの情報を介して取得され得る。この情報に基づいて、滅菌野制御及びデータ入力コンソールは、ディスプレイ、構成を変更し、１つの装置を駆動し、別の装置を駆動しないように電力を切り替え、資本から器具パッドへの１つのコード及びそこからの複数のコードを切り替えることができる。装置診断は、装置が非アクティブであるか、又は使用されていないという知識を得ることができる。装置診断は、装置が器具パッド上にないなどの情報に基づくか、又は装置上のセンサに基づくことができる。
別の態様では、滅菌野制御及びデータ入力コンソールが、学習ツールとして使用されてもよい。コンソールは、チェックリスト、処置工程、及び／又は一連の工程を表示することができる。タイマー／クロックが、工程及び／又は処置を完了するための時間を測定するために表示されてもよい。コンソールは、活動、ストレスなどの指標として室内音圧レベルを表示することができる。
図２６Ａ～図２６Ｅは、本開示の一態様による、滅菌野内で使用され得るタッチスクリーンディスプレイ６８９０を示す。タッチスクリーンディスプレイ６８９０は、一次ディスプレイ及び／又は二次ディスプレイであり得る。タッチスクリーンディスプレイ６８９０を使用して、外科医は、例えば、とりわけ、ドラッグアンドドロップ、スクロール、ズーム、回転、タップ、ダブルタップ、フリック、ドラッグ、スワイプ、ピンチオープン、ピンチクローズ、タッチアンドホールド、２本指スクロールなどの様々なジェスチャを使用して、タッチスクリーンディスプレイ６８９０上に表示される画像６８９２を操作してもよい。タッチスクリーンディスプレイ６８９０を使用して、外科医は、例えば、とりわけ、ドラッグアンドドロップ、スクロール、ズーム、回転、タップ、ダブルタップ、フリック、ドラッグ、スワイプ、ピンチオープン、ピンチクローズ、タッチアンドホールド、２本指スクロールなどの様々なジェスチャを使用して、別の一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る、画像６８９２を操作してもよい。外科医はまた、タッチスクリーンディスプレイ６８９０上のジェスチャなどのジェスチャを使用して、タッチスクリーンディスプレイ６８９０上に表示されている画像又はデータを別の一次ディスプレイ及び／又は二次ディスプレイに移動させてもよい。外科医はまた、タッチスクリーンディスプレイ６８９０上のジェスチャなどのジェスチャを使用して、一次ディスプレイ及び／又は二次ディスプレイ上に表示されている画像又はデータをタッチスクリーンディスプレイ６８９０に移動させてもよい。
図２６Ａは、縦長モードでタッチスクリーンディスプレイ６８９０上に表示された手術部位の画像６８９２を示す。図２６Ｂは、横長モードに回転された（例えば、矢印６８９４）タッチスクリーンディスプレイ６８９０を示し、外科医は、人差し指６８９６を使用して、画像６８９２を矢印の方向にスクロールする。図２６Ｃは、外科医が人差し指６８９６及び親指６８９８を使用して、画像６８９２を矢印６８９９の方向にピンチして開き、ズームアウトすることを示す。図２６Ｄは、外科医が人差し指６８９６及び親指６８９８を使用して、画像６８９２を矢印６８９７の方向にピンチして開き、ズームアウトすることを示す。図２６Ｅは、外科医が異なる配向で画像６８９２を見ることができるように、矢印６８９４、６８９６によって示される２つの方向に回転されたタッチスクリーンディスプレイ６８９０を示す。
滅菌野の外側では、滅菌野の内側で使用される制御及び静的ディスプレイと異なり得る、制御及び静的ディスプレイが使用される。滅菌野の外側に位置する制御及び静的ディスプレイは、手術室（ＯＲ）及び装置制御のためのインタラクティブ及び静的ディスプレイを提供する。滅菌野の外側に位置する制御及び静的ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。滅菌野の外側に位置する制御及び静的ディスプレイは、入力及び出力のための二次静的ディスプレイ及び二次タッチスクリーンなどの二次ディスプレイを含み得る。
非滅菌ディスプレイ１０７、１０９、１１９（図２）は、滅菌野の外側で使用されてもよく、手術室の壁上、回転スタンド上、又は資本設備上に配置されるモニタを含んでもよい。ディスプレイは、それらが取り付けられる制御装置からのフィードを提示されてもよく、それに提示されるものを表示してもよい。
滅菌野の外側に位置する二次タッチ入力スクリーンであり得る、１つ又は２つ以上の二次ディスプレイは、可視化システム１０８（図２）の一部、外科用ハブ１０６（図２）の一部であってもよく、又は壁若しくは回転スタンド上の固定配置タッチモニタであってもよい。タッチ入力スクリーンと静的ディスプレイとの間の差異は、ユーザが、その特定のモニタ又は他のもの上に表示され得るものを変更することによって、タッチ入力スクリーンと対話し得ることであり得る。資本設備用途の場合、それは、接続された資本設備の設定を制御するためのインターフェースであり得る。滅菌野の外側の一次ディスプレイ及び／又は二次ディスプレイが、外科医の選好を事前ロードするために使用されてもよい。例えば、滅菌野の外側のタッチ入力スクリーン及び静的ディスプレイは、外科医の選好（器具類設定及びモード、照明、処置並びに好ましい工程及びシーケンス、音楽など）を事前ロードするために使用されてもよい。
二次外科医ディスプレイなどの二次ディスプレイは、滅菌野入力ディスプレイ装置と同様に機能し得るが、外科医によって制御され得る、個人用入力装置を伴う個人用入力ディスプレイを含んでもよい。個人用二次ディスプレイなどの二次ディスプレイは、例えば、時計、小型ディスプレイパッド、インターフェース眼鏡などの多くのフォームファクタで実装されてもよい。個人用二次ディスプレイは、ディスプレイ装置の制御能力を含んでもよく、外科医に配置されるか、又は外科医によって制御されてもよい。個人用二次ディスプレイは、外科医にキー設定されてもよく（例えば、外科医に特別にキー設定されてもよい）、１人又は２人以上のユーザ、それ自体、１つ又は２つ以上の一次ディスプレイ、１つ又は２つ以上の二次ディスプレイ、及び／又は他の装置にそのことを示してもよい。個人用二次ディスプレイを使用して、装置の解放の許可を与えることができる。個人用二次ディスプレイは、１つ又は２つ以上の一次ディスプレイ及び／又は二次ディスプレイを制御するために使用され得る。例えば、個人用二次ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイ上に表示されるものを制御するために使用されてもよい。別の例として、個人用二次ディスプレイは、１つのディスプレイから別のディスプレイにデータを移動するために使用されてもよい。
個人用二次ディスプレイを使用して、他者が監視したくないものを監視したい複数の外科担当者のうちの１人に専用のデータを提供することができる。個人用二次ディスプレイをコマンドモジュールとして使用してもよい。個人用二次ディスプレイは、手術室内の主任外科医によって保持されてもよく、外科医に、他の誰かからの他の入力のいずれかをオーバーライドする制御を与えてもよい。個人用二次ディスプレイは、短距離無線（例えば、Ｂｌｕｅｔｏｏｔｈ）マイクロフォン及び／又はイヤホンに結合され、外科医が別個の会話又は通話を有することを可能にしてもよく、又は個人用二次ディスプレイは、手術室又は他の部門における全ての他者に放送するために使用されてもよい。外科医はまた、マイクロフォン及び／又はイヤホンを使用して、口頭コマンドを個人用二次ディスプレイに発してもよい。外科医はまた、ジェスチャを使用して、１つ又は２つ以上のコマンドを個人用二次ディスプレイに提供してもよい。
図２７は、本開示の一態様による、滅菌野の内側から滅菌野の外側に位置する装置に通信するための制御プログラム又は論理構成を示す、プロセスの論理フロー図６９２０である。一態様では、制御ユニットは、インタラクティブタッチスクリーンディスプレイと、インタラクティブタッチスクリーンディスプレイを外科用ハブに結合するように構成されたインターフェースと、プロセッサと、プロセッサに連結されたメモリとを備え得る。メモリは、滅菌野の内側に位置するインタラクティブタッチスクリーンディスプレイから入力コマンドを受信し（６９２２）、入力コマンドを外科用ハブに送信し、滅菌野の外側に位置する外科用ハブに結合される装置を制御する（６９２４）ようにプロセッサによって実行可能な命令を記憶してもよい。
図２８は、第１の情報層の上にオーバーレイされる第２の情報層を示す。第２の情報層は、第１の情報層に示される使い捨て装填ユニット（disposable loading unit、ＤＬＵ）内のナイフの検出された位置に重複する、ナイフの記号表現を含む。更なる例は、２０１６年３月１５日に発行された「ＳＵＲＧＩＣＡＬ ＡＰＰＡＲＡＴＵＳ ＷＩＴＨ ＩＮＤＩＣＡＴＯＲ」と題する米国特許第９，２８３，０５４号に開示されており、その全体が参照により本明細書に組み込まれる。
図２８を参照すると、第２の情報層６９６３は、ディスプレイ６９６０上の第１の情報層６９６２の少なくとも一部をオーバーレイすることができる。更に、一次ディスプレイ及び／又は二次ディスプレイであり得るタッチスクリーン６９６１は、ユーザが、ディスプレイ６９６０上の下層の第１の情報層６９６２内のビデオフィードバックに対して第２の情報層６９６３を操作することを可能にし得る。例えば、ユーザは、タッチスクリーン６９６１を操作して、第２の情報層６９６３に表示された情報を選択、操作、再フォーマット、サイズ変更、及び／又は他の方法で修正することができる。一態様では、ユーザは、第１の情報層及び／又は第２の情報層を、一次ディスプレイ及び／又は二次ディスプレイを含み得る１つ又は２つ以上のディスプレイに移動させることができる。一態様では、ユーザは、ディスプレイ６９６０上の第１の情報層６９６２に示された外科用器具６９６４に対して第２の情報層６９６３を操作するために、タッチスクリーン６９６１を操作することができる。ユーザは、例えば、その制御パネル６９６７のメニュー、カテゴリ、及び／又は分類を選択してもよく、第２の情報層６９６３及び／又は制御パネル６９６７は、ユーザの選択を反映するように調整されてもよい。様々な態様では、ユーザは、第１の情報層６９６２中に示される外科用器具６９６４の特定の特徴部（１つ又は複数）に対応する、器具フィードバックカテゴリ６９６９からカテゴリを選択してよい。ユーザが選択したカテゴリに対応するフィードバックを、外科用器具６９６４の特定の特徴部（１つ又は複数）に関するディスプレイ６９６０上の位置に、移動させる、それ自身を位置付ける、及び／又は「スナップ」してよい。例えば、選択されたフィードバックは、第１の情報層６９６２に示された外科用器具６９６４の特定の１つ又は２つ以上の特徴部に近い及び／又は重なる位置に移動することができる。
器具フィードバックメニュー６９６９は、複数のフィードバックカテゴリを含んでもよく、外科処置中に外科用器具６９６４によって測定及び／又は検出されたフィードバックデータに関連し得る。本明細書に記載されるように、外科用器具６９６４は、例えば、開放配向と閉鎖配向との間の可動ジョーの位置６９７０、クランプされた組織の厚さ６９７３、クランプされた組織に対するクランプ力６９７６、ＤＬＵ６９６５の関節屈曲６９７４、並びに／又は発射要素の位置６９７１、速度６９７２、及び／若しくは力６９７５を検出及び／又は測定することができる。更に、外科用器具６９６４と信号通信するフィードバックコントローラは、感知されたフィードバックをディスプレイ６９６０に提供してもよく、これは、第２の情報層６９６３にフィードバックを表示することができる。本明細書に記載されるように、第２の情報層６９６３中に表示されるフィードバックデータの選択、配置、及び／又は形態は、例えば、タッチスクリーン６９６１へのユーザの入力に基づいて変更できる。
ＤＬＵ６９６５のナイフがエンドエフェクタジョー６９６６及び／又は組織Ｔによって視界から遮られるとき、例えば、操作者は、フィードバックデータの変化する値及び／又は下層の第１の情報層６９６２に示されるＤＬＵ６９６５に対するフィードバックデータのシフト位置に基づいて、ＤＬＵ６９６５内のナイフの位置を追跡及び／又は概算してもよい。
様々な態様では、制御パネル６９６７の表示メニュー６９７７は、例えば、単位系６９７８及び／又はデータモード６９７９などの複数のカテゴリに関連し得る。特定の態様では、ユーザは、単位系カテゴリ６９７８を選択して、例えばメートル法単位と米国慣習単位との間など、単位系の間で切り替えることができる。加えて、ユーザは、データモードカテゴリ６９７９を選択して、例えば、フィードバックデータの数値表現のタイプ及び／又はフィードバックデータのグラフ表現のタイプを切り替えることができる。フィードバックデータの数値表示は、例えば、数値及び／又は百分率として表示できる。更に、フィードバックデータのグラフ表現は、例えば、時間及び／又は距離の関数として表示することができる。本明細書に記載されるように、ユーザは、制御パネル６９６７から器具コントローラメニュー６９８０を選択して、外科用器具６９６４に対する指示を入力することができ、これは、例えば、器具コントローラ及び／又はマイクロコントローラを介して実装され得る。ユーザは、最小化／最大化アイコン６９６８を選択することによって制御パネル６９６７を最小化又は折り畳むことができ、最小化／最大化アイコン６９６８を再選択することによって制御パネル６９６７を最大化又は展開することができる。
図２９は、外科処置の間、ハンドル組立体ハウジングと、無線回路基板とを含む、外科用器具を使用する外科医の斜視図を示し、外科医は、安全眼鏡を着用している。無線回路基板は、処置中、外科用器具を使用する外科医が着用している安全眼鏡に信号を送信する。信号は、安全眼鏡上の無線ポートにより受信される。安全眼鏡の前面レンズ上の１つ又は２つ以上の照明装置は、受信された信号に応答して、色を変化させるか、フェードするか、又は発光して、外科用器具のステータスに関する情報を外科医に示す。点灯装置は、外科医の真っ直ぐな視線を妨げないように、前部レンズの周縁上に配置可能である。更なる例は、２０１５年４月２１日に発行された「ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＷＩＴＨ ＳＡＦＥＴＹ ＧＬＡＳＳＥＳ」と題する米国特許第９，０１１，４２７号に開示されており、その全体が参照により本明細書に組み込まれる。
図２９は、医療装置を使用しながら、外科処置中に外科医６９９２によって着用され得る、安全眼鏡６９９１のバージョンを示す。安全眼鏡６９９１は、一次ディスプレイ及び／又は二次ディスプレイであり得る。安全眼鏡６９９１は、外科医６９９２が見ている方向を決定するために使用され得る。例えば、安全眼鏡６９９１は、（例えば、内部又は外部カメラを使用して）外科医６９９２の瞳孔の移動を分析してもよく、外科医がモニタ６９９７を見ていることを判定してもよい。別の例として、安全眼鏡６９９１は、１つ又は２つ以上のセンサを使用して外科医の頭部の移動を追跡し、外科医がどこを見ているか（例えば、外科医がモニタ６９９７を見ているか）を判定することができる。
使用中、外科用器具６９９３内に収容された無線通信基板は、安全眼鏡６９９１上の無線ポート６９９４と通信し得る。例示的な外科用器具６９９３は、電池式装置であるが、器具６９９３は、ケーブル又は他の方法によって電力供給され得る。器具６９９３は、エンドエフェクタを含む。特に、無線通信基板（６９９５）は、矢印（Ｂ、Ｃ）で示される１つ又は２つ以上の無線信号を、安全眼鏡（６９９１）の無線ポート（６９９４）に送信する。安全眼鏡６９９１は、信号を受信し、受信された信号を分析し、安全眼鏡６９９１を着用している外科医６９９２などのユーザに対して、レンズ６９９６上の信号によって受信された示されたステータス情報を表示する。
無線通信基板６９９５は、本明細書に記載されるように、外科用モニタ６９９７が受信された示されたステータス情報を外科医６９９２に表示し得るように、無線信号を外科用モニタ６９９７に送信することができる。外科用モニタ６９９７は、一次ディスプレイ及び／又は二次ディスプレイであってもよい。
安全眼鏡６９９１のバージョンは、安全眼鏡６９９１の周縁部に照明装置を含み得る。照明装置は、器具６９９３の周辺視野感覚フィードバックを提供し、それを用いて、安全眼鏡６９９１は、安全眼鏡６９９１を着用しているユーザに通信する。照明装置は、例えば、発光ダイオード（light-emitted diode、「ＬＥＤ」）、一連のＬＥＤ、又は当業者に公知であり、本明細書の教示を考慮すると明白である、任意の他の好適な照明装置であってもよい。
ＬＥＤは、ユーザが照明装置を見るために手術部位から目を逸らす必要がないように、依然としてユーザの視野内に位置付けられながら、ユーザの視野の中心から逸れないように、安全眼鏡６９９１の正面レンズの縁又は側面に位置してもよい。表示された光は、点滅し、かつ／又は変色して、器具６９９３から読み出された情報の様々な態様（例えば、システムステータス情報又は組織感知情報（すなわち、エンドエフェクタが組織を十分に切断及び封止したか否か））を安全眼鏡６９９１の着用者に通信し得る。収容された無線通信基板６９９５からのフィードバックは、器具６９９３の使用に関する情報をユーザに示すために、照明装置を起動させ、点滅させ、又は変色してもよい。例えば、装置は、感知される１つ又は２つ以上の組織パラメータに基づいたフィードバック機構を組み込んでもよい。この場合、状態変化と同期したこのフィードバックに基づく装置出力の変化は、無線通信基板６９９５を介して安全眼鏡６９９１に信号を送り、照明装置の起動をトリガすることができる。安全眼鏡６９９１を介してユーザに器具６９９３のステータス情報を示す他の手段が企図されるので、照明装置の起動のそのような説明された手段は、限定と見なされるべきではない。更に、安全眼鏡６９９１は、使い捨て又は再使用可能なアイウェアであってもよい。ボタン型電池などのボタン型電力供給装置を使用して、無線受信機と、安全眼鏡（６９９１）の諸変形物のＬＥＤとに電力を供給してもよく、変形物もまた、収容された無線ボード及び３色ＬＥＤを含み得る。このようなボタン型電力供給装置は、使用時、器具（６９９３）に関する情報の感覚フィードバックを、安全眼鏡（６９９１）を着用している外科医（６９９２）に提供する低コスト手段を提供することができる。
全ての外科処置の結果が必ずしも最適及び／又は成功であるとは限らないことは、不運な現実である。例えば、障害事象が検出及び／又は識別された場合、通信方法を利用して、障害事象に関連付けられ得る外科用データ（例えば、障害事象外科用データ）を障害事象に関連付けられ得ない外科用データ（例えば、非障害事象外科用データ）から分離することができ、障害事象に関連付けられ得る外科用データ（例えば、障害事象データ）を外科用ハブ２０６からクラウドベースシステム２０５に分析のために優先度に基づいて通信することができる。本開示の一態様によると、障害事象外科用データは、非障害事象外科用データに対して優先的に、外科用ハブ２０６からクラウドベースのシステム２０５に通信され得る。
図３０は、障害事象と関連付けられた外科用データ（例えば、障害事象外科用データ）を識別し、識別された外科用データを優先度ベースでクラウドベースのシステム２０５に通信するシステム実装方法の様々な態様を示す。本方法は、外科用ハブ２０６において外科用データを受信すること（３８３８）であって、外科用データは、外科処置に関連付けられる、受信することと、外科用データをタイムスタンプすること（３８４０）と、外科処置に関連付けられた障害事象を識別すること（３８４２）と、外科用データのうちのどれが障害事象に関連付けられているか（例えば、障害事象外科用データ）を決定すること（３８４４）と、障害事象に関連付けられた外科用データを、外科用ハブ２０６において受信された全ての他の外科用データ（例えば、非障害事象外科用データ）から分離すること（３８４６）と、障害事象に関連付けられた外科用データを時系列化すること（３８４８）と、障害事象に関連付けられた外科用データを暗号化すること（３８５０）と、暗号化された外科用データをクラウドベースのシステム２０５に優先度に基づいて通信すること（３８５２）と、を含む。
より具体的には、様々な外科用データが、外科処置中にキャプチャされ得、キャプチャされた外科用データ、並びに外科処置に関連付けられた他の外科用データが、外科用ハブ２０６に通信され得る。外科用データは、例えば、手術中に利用される外科用装置／器具（例えば、図５、外科用装置／器具２３５）と関連付けられたデータ、患者と関連付けられたデータ、外科処置が実施された施設に関連付けられたデータ、及び外科医と関連付けられたデータを含み得る。外科用データが外科用ハブ２０６に通信され、外科用ハブ２０６によって受信される前又は後のいずれかで、外科用データは、タイムスタンプされ、特定の手術、患者、又は外科医を識別し得る全ての情報を取り除かれ得、その結果、情報は、クラウドベースのシステム２０５による更なる処理及び分析のために本質的に匿名化される。
障害事象が検出及び／又は識別されたとき（例えば、外科処置中又は外科処置後のいずれかであり得る）、外科用ハブ２０６は、外科用データのうちのどれが障害事象に関連付けられているか（例えば、障害事象外科用データ）、及び外科用データのうちのどれが手術事象に関連付けられていないか（例えば、非障害事象外科用データ）を判定し得る。本開示の一態様によると、障害事象は、例えば、外科処置のステープル留め部分の間の１つ又は２つ以上の誤発射ステープルの検出を含み得る。例えば、一態様では、図５を参照すると、内視鏡２３９は、ステープルカートリッジを含むエンドエフェクタを備える外科用装置／器具２３５が外科処置のステープル留め部分を実施する間にスナップショットを撮影し得る。そのような一態様では、撮像モジュール２３８は、誤発射ステープル及び／又は誤発射ステープルの証拠（漏れ）を検出するために、正確に発射されたステープルを伝える、記憶された画像及び／又はクラウドベースのシステム２０５からダウンロードされた画像とスナップショットを比較し得る。別の態様では、撮像モジュール２３８は、スナップショット自体を分析して、誤発射ステープル及び／又は誤発射ステープルの証拠を検出し得る。１つの代替的な態様では、外科用ハブ２０６は、クラウドベースのシステム２０５にスナップショットを通信し得、クラウドベースのシステム２０５の構成要素は、上記の様々な撮像モジュール機能を実施して、誤発射ステープル及び／又は誤発射ステープルの証拠を検出し、検出を外科用ハブ２０６に報告し得る。本開示の別の態様によると、障害事象は、外科処置の組織封止部分中の予期される温度未満である組織温度の検出、及び／又は外科処置後の過剰な出血若しくは滲出の視覚的指示（例えば、図５、内視鏡２３９を介して）を含み得る。例えば、一態様では、図５を参照すると、外科用装置／器具２３５は、温度センサ及び外科用ハブ２０６を含むエンドエフェクタを備え得る、及び／又はクラウドベースのシステムは、温度センサによって検出された少なくとも１つの温度（例えば、外科処置の組織封止部分の間の）を、予期される及び／又はその外科処置と関連付けられた記憶された温度及び／又は温度範囲と比較して、不適切／低い封止温度を検出し得る。別の態様では、内視鏡２３９は、外科処置中にスナップショットを撮影し得る。そのような一態様では、撮像モジュール２３８は、不適切／不十分な封止温度の証拠（例えば、炭化、滲出／出血）を検出するために、予期される温度で正確に封止された組織を伝える、記憶された画像及び／又はクラウドベースのシステム２０５からダウンロードされた画像とスナップショットを比較し得る。更に、そのような一態様では、撮像モジュール２３８は、不適切／不十分な封止温度の証拠（例えば、炭化、滲出／出血）を検出するために、スナップショット自体を分析し得る。別の例として、外科用ハブ２０６は、スナップショットをクラウドベースのシステム２０５に通信してもよく、クラウドベースのシステム２０５の構成要素は、不適切／不十分な封止温度の証拠を検出し、その検出を外科用ハブ２０６に報告するために、上述の様々な撮像モジュール機能を実行してもよい。本明細書に記載される様々な態様によると、検出された及び／又は識別された障害事象に応答して、外科用ハブ２０６は、検出された問題を修正する外科用装置／器具２３５による実行のために、クラウドベースのシステム２０５からプログラム（例えば、誤発射ステープルを防止するために外科用装置／器具パラメータを変更するプログラム、正確な封止温度を確実にするために外科用装置／器具パラメータを変更するプログラム）をダウンロードしてもよい。
いくつかの態様では、障害事象は、特定の期間を包含すると見なされ得、その期間に関連付けられた１つ又は２つ以上の（例えば、全ての）外科用データは、障害事象に関連付けられていると見なされ得る。
障害事象に関連する外科用データが識別された後、識別された外科用データ（例えば、障害事象外科用データ）は、外科処置に関連する他の外科用データ（例えば、非障害事象外科用データ）の一部又は全てから分離又は隔離されてもよい。この分離は、例えば、識別された外科用データにタグ付け又はフラグ付けすることによって、識別された外科用データを外科処置に関連付けられた他の外科用データの全てとは別に記憶することによって、又はクラウドベースシステム２０５へのその後の優先通信のために識別された外科用データを処理し続けながら他の外科用データのみを記憶することによって、実現することができる。様々な態様によると、識別された外科用データのタグ付け又はフラグ付けは、以下により詳細に説明されるように、データグラムが生成されるときに、通信プロセス中に生じ得る。
（例えば、外科用データが外科用ハブにおいて受信される前又は後のいずれかの）外科用データのタイムスタンプは、障害事象に関連付けられた識別された外科用データを時系列化するために、外科用ハブ２０６の構成要素によって利用され得る。識別された外科用データを時系列化するためにタイムスタンプを利用する外科用ハブ２０６の構成要素は、例えば、プロセッサモジュール２３２、コンピュータシステム２１０のプロセッサ２４４、及び／又はそれらの組み合わせであってもよい。識別された外科用データを時系列化することによって、クラウドベースのシステム２０５及び／又は他の関係者は、続いて、障害事象の発生につながる状態をより良好に理解し、恐らくは、障害事象の正確な原因を正確に指摘することができ、それによって、将来実施される同様の外科処置中に同様の障害事象が発生することを潜在的に緩和するための知識を提供する。
識別された外科用データが時系列化されている場合、時系列化された外科用データは、発生器データの暗号化に関して上述したものと同様の方法で暗号化されてもよい。したがって、識別された外科用データは、外科用ハブ２０６に記憶されている間、又はインターネット若しくは他のコンピュータネットワークを使用してクラウドベースのシステム２０５に送信されている間のいずれかに、識別された外科用データの機密性を確実にすることに役立つように、暗号化され得る。様々な態様によると、外科用ハブ２０６の構成要素は、暗号化アルゴリズムを利用して、識別された外科用データを可読バージョンから符号化バージョンに変換し、それによって、障害事象に関連付けられた暗号化された外科用データを形成する。暗号化アルゴリズムを利用する外科用ハブの構成要素は、例えば、プロセッサモジュール２３２、コンピュータシステム２１０のプロセッサ２４４、及び／又はそれらの組み合わせであってもよい。利用される暗号化アルゴリズムは、対称暗号化アルゴリズム又は非対称暗号化アルゴリズムであり得る。
識別された外科用データが暗号化された後、外科用ハブの構成要素は、障害事象に関連付けられた暗号化された外科用データ（例えば、暗号化された障害事象外科用データ）をクラウドベースのシステム２０５に通信し得る。暗号化された外科用データをクラウドベースのシステム２０５に通信する外科用ハブの構成要素は、例えば、プロセッサモジュール２３２、モジュール式通信ハブ２０３のハブ／スイッチ２０７／２０９、モジュール式通信ハブ２０３のルータ２１１、又はコンピュータシステム２１０の通信モジュール２４７であってもよい。様々な態様によると、インターネットを通じた暗号化された外科用データ（例えば、暗号化された障害事象外科用データ）の通信は、配信される暗号化された外科用データを包含するデータグラムを提供することができ、ソース及び宛先情報でデータグラムをラベル付けするために使用されるアドレス指定方法を提供することができるＩＰに従うことができる。データグラムは、暗号化された外科用データ（例えば、暗号化された障害事象外科用データ）を他の優先順位付けされていない外科用データ（例えば、暗号化された非障害事象外科用データ）に対して優先順位付けされているものとして識別するフラグ又はタグを含むフィールドを含み得る。
いくつかの態様では、外科処置と関連付けられた障害事象が識別されると、外科用ハブ２０６及び／又はクラウドベースのシステム２０５は、続いて、不作動性及び／又は除去について、外科処置中に利用された外科用装置／器具２３５をフラグ付け又はタグ付けし得る。例えば、一態様では、外科用装置／器具２３５と関連付けられ、外科用ハブ２０６及び／又はクラウドベースシステム２０５に記憶された情報（例えば、シリアル番号、ＩＤ）が、外科用装置／器具２３５が再び使用されることを効果的に阻止する（例えば、ブラックリスト化される）ために利用され得る。別の態様では、外科用装置／器具と関連付けられた情報（例えば、シリアル番号、ＩＤ）は、外科用装置／器具２３５の徹底的な分析／検査が実施され得るように（例えば、障害の原因を判定するために）、外科用装置／器具２３５を製造元又は他の指定された当事者に返却するための輸送伝票及び輸送指示の印刷を開始し得る。本明細書に説明される様々な態様によると、障害の原因が判定されると（例えば、外科用ハブ２０６及び／又はクラウドベースのシステム２０５を介して）、外科用ハブ２０６は、判定された障害の原因を補正する、外科用装置／器具２３５による実行のためのプログラム（すなわち、外科用装置／器具パラメータを変更して障害が再び発生することを防止するプログラム）をクラウドベースのシステム２０５からダウンロードし得る。
いくつかの態様では、一次ディスプレイ及び／又は二次ディスプレイは、動作エラーが発生したという通知を提供又は表示するために使用され得る。例えば、外科処置に関連付けられた障害事象が識別されたとき、外科用ハブ２０６及び／又はクラウドベースのシステム２０５は、１つ又は２つ以上の一次ディスプレイ及び／又は二次ディスプレイ上に表示されるエラーメッセージを送信してもよい。エラーメッセージは、障害事象が発生したことをユーザに示してもよく、エラーを修正する命令を示してもよく、エラーを修正するための推奨を示してもよく、外科処置を変更し得る命令を示してもよい。例えば、一次ディスプレイ上のエラーメッセージは、障害事象に起因して患者に発生した可能性がある外科的エラーに対する命令を提供してもよい。別の例として、二次ディスプレイ上のエラーメッセージは、どのようにして誤発射のステープルを取り除き、ステープルカートリッジをリロードするかについての命令をユーザに提供し得る。
いくつかの態様によると、外科用ハブ２０６及び／又はクラウドベースのシステム２０５はまた、外科用装置／器具２３５を手術室から物理的に除去する（例えば、手術室に依然として存在することを検出された場合）、及び／又は外科用装置／器具２３５を製造元又は他の指定された当事者に送信するように、管理者、職員、及び／又は他の関係者にリマインダを提供／表示し得る（例えば、ハブディスプレイ２１５及び／又は外科用装置／器具ディスプレイ２３７を介して）。一態様では、リマインダは、管理者が外科用ハブ２０６及び／又はクラウドベースシステム２０５から外科用装置／器具２３５のフラグ又はタグを除去し得るまで、周期的に提供／表示されるように設定され得る。様々な態様によると、管理者は、管理者が、外科用装置／器具２３５が製造元又は他の指定された当事者によって受容されたことを確認し得ると（例えば、そのシリアル番号／ＩＤを介した外科用装置／器具２３５のシステム追跡）、フラグ又はタグを除去し得る。障害事象に関連付けられた外科用データをフラグ付け及び／又は追跡するために本明細書に記載される方法を使用することによって、障害事象及び／又は外科用装置／器具２３５に関連付けられた外科用データの閉ループ制御が実現され得る。外科用ハブ２０６は、外科処置中に利用された又は潜在的に利用され得る外科用装置／器具２３５の利用（又は非利用）を効果的に管理するために利用され得ることが理解されるであろう。
本開示の様々な態様では、外科用ハブ２０６及び／又はクラウドベースのシステム２０５は、どの構成要素（例えば、外科用装置／器具２３５、エネルギー装置２４１）が、外科処置を実施するために、そのインタラクティブ外科システム１００／２００内で利用されるかを制御することを望み得る（例えば、将来の障害事象を最小化するために、未認可又はノックオフ構成要素の使用を回避するために）。
したがって、本開示の様々な態様では、インタラクティブ外科システム１００が、複数の外科用ハブ１０６を備え得るため、インタラクティブ外科システム１００のクラウドベースのシステム１０５及び／又は各外科ハブ１０６は、経時的に利用される構成要素－外科用ハブの組み合わせを追跡することを望み得る。一態様では、構成要素（図５、例えば、外科用装置／器具２３５、エネルギー装置２４１参照）が、特定の外科用ハブ１０６に接続された／それとともに使用された際／後（例えば、外科用装置／器具２３５が特定の外科用ハブ１０６に有線／無線で接続され、エネルギー装置２４１が発生器モジュール２４０を介して特定の外科用ハブ１０６に接続される）、特定の外科用ハブ１０６は、インタラクティブ外科システム１００のクラウドベースのシステム１０５及び／又は他の外科用ハブ１０６に対するその接続／使用のレコード／ブロックを通信し得る（例えば、接続された装置のそれぞれの固有の識別子をリンクする）。例えば、エネルギー装置２４１の接続／使用の際／後、特定の外科用ハブ１０６は、インタラクティブ外科システム１００のクラウドベースのシステム１０５及び／又は他の外科用ハブ１０６に対するレコード／ブロックを通信し得る（例えば、エネルギー装置２４１の固有の識別子を、発生器モジュール２４０の固有識別子に、特定の外科用ハブ１０６の固有の識別子にリンクする）。そのような一態様では、これが、構成要素（例えば、エネルギー装置）のインタラクティブ外科システム１００の外科用ハブ１０６への接続／それとの使用の初回である場合、インタラクティブ外科システム１００のクラウドベースのシステム１０５及び／又は各外科用ハブ１０６は、レコード／ブロックを発生レコード／ブロックとして記憶し得る。そのような一態様では、クラウドベースのシステム１０５及び／又は各外科用ハブ１０６に記憶された発生レコード／ブロックは、タイムスタンプを含み得る。しかしながら、そのような一態様では、これが、構成要素（例えば、エネルギー装置２４１）のインタラクティブ外科システム１００の外科用ハブ１０６への接続／それとの使用の初回ではなかった場合、インタラクティブ外科システムのクラウドベースのシステム１０５及び／又は各外科用ハブ１０６は、レコード／ブロックを、構成要素と関連付けられた一連のレコード／ブロック内の新しいレコード／ブロックとして記憶し得る。そのような態様では、新しいレコード／ブロックは、クラウドベースのシステム１０５及び／又は各外科用ハブ１０６に記憶された、最新の通信されたレコード／ブロックの暗号ハッシュ、通信されたリンクデータ、及びタイムスタンプを含み得る。そのような一態様では、各暗号ハッシュは、各新しいレコード／ブロック（例えば、構成要素の各使用）をその以前のレコード／ブロックにリンクして、元の発生レコード／ブロック（例えば、構成要素の第１の使用）に遡る各々の以前のレコード／ブロックの完全性を確認するチェーンを形成する。そのような一態様によると、このレコード／ブロックのブロックチェーンは、インタラクティブ外科システム１００のクラウドベースのシステム１０５及び／又は各外科用ハブ１０６で展開されて、特定の構成要素の使用を、経時的にインタラクティブ外科システム１００の１つ又は２つ以上の外科用ハブ１０６に永続的かつ検証可能に結び付け得る。ここで、別の態様によると、このアプローチは、構成要素がインタラクティブ外科システム１００の特定の外科用ハブ１０６に接続される／それとともに使用されたとき／後に、構成要素の副構成要素（例えば、ハンドル、シャフト、エンドエフェクタ、カートリッジ）に同様に適用され得る。
本開示の様々な態様によると、クラウドベースのシステム１０５及び／又は各外科用ハブ１０６は、そのようなレコード／ブロックを利用して、特定の構成要素及び／又は副構成要素の使用を、インタラクティブ外科システム１００でのその最初の使用まで辿って追跡し得る。例えば、特定の構成要素（例えば、外科用装置／器具２３５）が障害事象に関連してフラグ付け／タグ付けされている場合、クラウドベースのシステム１０５及び／又は外科用ハブ１０６は、そのようなレコード／ブロックを分析して、その構成要素及び／又はその構成要素の副構成要素の過去の使用が障害事象（例えば、過剰使用）の一因となったか、又はそれを引き起こしたか否かを判定し得る。一例では、クラウドベースのシステム１０５は、その構成要素の副構成要素（例えば、エンドエフェクタ）が実際に障害事象の一因となり得る／それを引き起こし得ることを判定し、次いで、判定に基づいて、不作動性及び／又は除去についてその構成要素をタグ付け／フラグ付けし得る。
別の態様によると、クラウドベースのシステム２０５及び／又は外科用ハブ２０６は、構成要素及び／又はその供給元／製造元を認証することによって、どの構成要素（例えば、外科用装置／器具２３５、エネルギー装置２４１）が、外科処置を実施するためにインタラクティブ外科システム２００で利用されるかを制御し得る。一態様では、構成要素の供給元／製造元は、シリアル番号及びソースＩＤを構成要素と関連付け得る。そのような一態様では、供給元／製造元は、シリアル番号の秘密鍵を作成／生成し、秘密鍵を用いてシリアル番号を暗号化し、暗号化されたシリアル番号及びソースＩＤを、手術現場に輸送する前に構成要素内の電子チップ（例えば、メモリ）上に記憶し得る。ここで、外科用ハブ２０６への構成要素の接続の際／後に、外科用ハブ２０６は、暗号化されたシリアル番号及びソースＩＤを電子チップから読み取り得る。それに応じて、外科用ハブ２０６は、メッセージ（すなわち、暗号化シリアル番号を含む）を、ソースＩＤと関連付けられた供給元／製造元のサーバに送信し得る（例えば、直接、又はクラウドベースのシステム２０５を介して）。そのような一態様では、外科用ハブ２０６は、その供給元／製造元と関連付けられた公開鍵を使用してメッセージを暗号化し得る。それに応答して、外科用ハブ２０６は、メッセージ（すなわち、供給元／製造元がその暗号化されたシリアル番号用に生成した／それと関連付けた秘密鍵を含む）を供給元／製造元サーバから受信し得る（例えば、直接、又はクラウドベースのシステム２０５を介して）。そのような一態様では、供給元／製造元サーバは、外科用ハブ２０６と関連付けられた公開鍵を使用してメッセージを暗号化し得る。更に、そのような一態様では、外科用ハブ２０６は、次いで、暗号化されたシリアル番号と関連付けられた秘密鍵を明らかにするために、メッセージを復号化し得る（例えば、メッセージを暗号化するために使用された公開鍵に対してペアリングされた秘密鍵を使用して）。外科用ハブ２０６は、次いで、暗号化されたシリアル番号を、シリアル番号を明らかにするために、その秘密鍵を使用して復号化し得る。更に、そのような一態様では、外科用ハブ２０６は、次いで、復号化されたシリアル番号を、認可されたシリアル番号の包括的リスト（例えば、外科用ハブ２０６及び／若しくはクラウドベースのシステムに記憶される、並びに／又はクラウドベースのシステムからダウンロードされる、例えば、供給元／製造元から別個に受信される）と比較し、復号化されたシリアル番号が認可されたシリアル番号と一致する場合、接続された構成要素の使用を許可し得る。最初に、そのようなプロセスは、外科用ハブ２０６が供給元／製造元を認証することを可能にする。具体的には、外科用ハブ２０６は、供給元／製造元と関連付けられた公開鍵を使用して暗号化されたシリアル番号を含むメッセージを暗号化した。したがって、応答メッセージ（すなわち、秘密鍵を含む）を受信することは、供給元／製造元を外科用ハブ２０６に対して認証する（すなわち、そうでない場合、供給元／製造元は、メッセージを暗号化するために、外科用ハブ２０６によって使用される公開鍵に対してペアリングされた秘密鍵へのアクセスを有していないことになり、供給元／製造元は、メッセージ内で受信された暗号化されたシリアル番号を、その既に生成された秘密鍵に関連付けることができなかったことになる）。更に、そのようなプロセスは、外科用ハブ２０６が、接続された構成要素／装置自体を認証することを可能にする。具体的には、供給元／製造元（例えば、ちょうど認証された）は、送達された秘密鍵を使用して、構成要素のシリアル番号を暗号化した。秘密鍵の安全な受信の際、外科用ハブ２０６は、暗号化されたシリアル番号（すなわち、接続された構成要素から読み取られる）を復号化することができ、暗号化されたシリアル番号は、構成要素及び／又は供給元／製造元とのその関連付けを認証する（すなわち、その供給元／製造元から受信された秘密鍵のみが、暗号化されたシリアル番号を復号化することになる）。それでもなお、外科用ハブ２０６は、構成要素を真正として更に検証する（例えば、復号化されたシリアル番号を、供給元／製造元とは別個に受信された、認可されたシリアル番号の包括的リストと比較する）。なお、上記のそのような態様は、構成要素及び／又はその供給元／製造元を認証することによって、どの構成要素（例えば、外科用装置／器具２３５、エネルギー装置２４１）が、インタラクティブ外科システム２００で利用されるか（例えば、外科処置を実施するために）を制御するために、クラウドベースのシステム２０５、及び／又はクラウドベースのシステム２０５と外科用ハブ２０６との組み合わせによって代替的に実施されてもよい。一態様では、そのような説明されたアプローチは、インタラクティブ外科システム２００内のノックオフ構成要素の使用を防止し、外科患者の安全及び健康を確保し得る。
別の態様によると、構成要素（例えば、外科用装置／器具２３５、エネルギー装置２４１）の電子チップは、その構成要素の使用と関連付けられたデータ（すなわち、使用データ、例えば、制限された使用装置による使用回数、残りの使用回数、実行された発射アルゴリズム、単回使用構成要素としての指定）を記憶し得る（例えば、メモリ内に）。そのような一態様では、インタラクティブ外科システムへの構成要素の接続の際／後、外科用ハブ２０６及び／又はクラウドベースのシステム２０５は、構成要素のメモリからそのような使用データを読み取り、その使用データの少なくとも一部分を、外科用ハブ２０６での記憶（例えば、メモリ２４９内）のために、及び／又はクラウドベースのシステム２０５での記憶のために、書き戻し得る（例えば、個々に、及び／又は本明細書で考察されるブロックチェーンアプローチの下で）。そのような一態様によると、外科用ハブ２０６及び／又はクラウドベースのシステム２０５は、その構成要素の後続の接続の際／後に、そのような使用データを再び読み取り、その使用を以前に記憶された使用データと比較し得る。ここで、不一致が存在する場合、又は所定の／認可された使用が満たされた場合、外科用ハブ２０６及び／又はクラウドベースのシステム２０５は、インタラクティブ外科システム２００上でのその構成要素（例えば、ブラックリスト化された、不作動とされた、除去についてフラグ付けされた）の使用を防止し得る。様々な態様では、そのようなアプローチは、暗号化チップシステムのバイパスを防止する。構成要素の電子チップ／メモリが改ざんされた場合（例えば、メモリリセット、変更された使用回数、変更された発射アルゴリズム、複数回使用装置として指定された単回使用装置）、不一致が存在し、構成要素の使用が制御／防止される。
更なる詳細は、２０１５年４月２１日に発行された「ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＷＩＴＨ ＳＡＦＥＴＹ ＧＬＡＳＳＥＳ」と題する米国特許第９，０１１，４２７号に開示されており、その全体が参照により本明細書に組み込まれる。
手術室における装置ペアリングの協調を提供し得る、外科用ハブが提供されてもよい。外科用ハブ１０６の機能のうちの１つは、外科システム１０２の構成要素間の相互作用を制御する、それらから情報を収集する、又はそれらを調整するために、外科システム１０２の他の構成要素とペアリングすることである（本明細書では「接続」又は「連結」とも称される）。病院の手術室が互いに物理的に近接している可能性が高いため、外科システム１０２の外科用ハブ１０６は、隣接する手術室内の外科システム１０２の構成要素と知らずにペアリングされる場合があり、これは、外科用ハブ１０６の機能との顕著に干渉することになる。例えば、外科用ハブ１０６は、異なる手術室で外科用器具を非意図的に作動させるか、又は隣接する手術室で異なる進行中の外科処置から情報を記録する場合がある。
本開示の態様は、その手術室の境界内に位置する外科システム１０２の検出された装置とペアリングし得る外科用ハブ１０６を提示する。外科用ハブ１０６は、別の手術室内の装置と誤ってペアリングすることを回避し得る。
更に、外科用ハブ１０６は、例えば、どの外科用器具が互いにペアリングされるべきか、又は起動されるべきかについての決定を行う際に、その手術室内の外科システム１０２の他の構成要素の位置についてのその知識に依存し得る。外科用ハブ１０６又は外科システム１０２の別の構成要素の位置の変化は、問題となり得る。
本開示の態様は更に、外科用ハブ１０６が移動されたことを検出すると、その手術室の境界を再評価又は再判定するように構成され得る、外科用ハブ１０６を提示する。
本開示の態様は、外科用ハブ１０６が移動されたという指示であり得る、外科システム１０２の潜在的装置の検出時に、その手術室の境界を再決定するように構成され得る、外科用ハブ１０６を更に提示する。
様々な態様では、外科用ハブ１０６は、手術室で行われる外科処置において外科システム１０２とともに使用され得る。外科用ハブ１０６は、手術室の境界を決定し、手術室の境界内に位置する外科システム１０２の装置を決定し、外科用ハブ１０６を手術室の境界内に位置する外科システム１０２の装置とペアリングするように構成された制御回路を備えてもよい。
一態様では、制御回路は、外科用ハブ１０６の起動後に手術室の境界を決定するように構成され得る。一態様では、外科用ハブ１０６は、手術室の境界内に位置する外科システムの装置を検出し、それとペアリングするように構成された通信回路を含む。一態様では、制御回路は、外科システム１０２の潜在的装置が検出された後に、手術室の境界を再決定するように構成される。一態様では、制御回路は、手術室の境界を周期的に判定するように構成される。
一態様では、外科用ハブ１０６は、手術室の境界を測定するように構成された複数の非接触センサを含む手術室マッピング回路を備え得る。
様々な態様では、外科用ハブ１０６は、プロセッサと、プロセッサに連結されたメモリとを含む。メモリは、上記のように、外科用ハブを、手術室の境界内に位置する外科システム１０２の装置とペアリングするために、プロセッサによって実行可能な命令を記憶する。様々な態様では、本開示は、本明細書に記載されるように、実行されると、機械に、外科用ハブ１０６を手術室の境界内に位置する外科システム１０２の装置とペアリングさせる、コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体を提供する。
図３２及び図３３は、本明細書に記載されるように、外科用ハブ１０６を、手術室の境界内に位置する外科システム１０２の装置とペアリングするための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。
外科用ハブ１０６は、外科処置の支援、外科システム１０２の装置間の調整、並びにデータの収集及びクラウド１０４への送信などの、短距離及び長距離通信を使用し得る広範囲の機能を実行する。その機能を実行するために、外科用ハブ１０６は、外科システム１０２の他の装置との短距離通信が可能な通信モジュール１３０を備えてもよい。通信モジュール１３０はまた、クラウド１０４と長距離通信することもできる。
外科用ハブ１０６はまた、手術室の境界を識別し、手術室内の外科システム１０２の装置を識別することが可能であり得る、手術室マッピングモジュール１３３を具備してもよい。外科用ハブ１０６は、手術室の境界を識別し、手術室内で検出された外科システム１０２の潜在的装置とのみペアリング又は接続するように構成されてもよい。
一態様では、ペアリングは、通信リンク又は経路を確立することを含み得る。別の態様では、ペアリングは、制御リンク又は経路を確立することを含み得る。
手術室の境界のマッピング又は評価は、外科用ハブ１０６の起動（例えば、初期起動）中に行われる。外科用ハブ１０６は、その手術室を周期的にマッピングすることによって、手術中に空間認識を維持するように構成されてもよく、これは、外科用ハブ１０６が移動されたかどうかを判定する際に有用であり得る。再評価３０１７は、周期的に行われてもよく、又は手術室内にあると見なされる外科システム１０２の装置の変化を観察することなどの事象によってトリガされてもよい。一態様では、変化は、図３４に示すように、手術室の境界内にあると以前に見なされなかった装置（例えば、新しい装置）の検出３０１０である。別の態様では、変化は、図３５に示されるように、以前に手術室内に常駐すると見なされたペアリングされた装置の消失、切断、又はペアリング解除であってもよい。外科用ハブ１０６は、ペアリングされた装置との接続を連続的に監視して（３０３５）、ペアリングされた装置の消失、接続解除、又はペアリング解除を検出し得る（３０３４）。
他の態様では、再評価トリガ事象は、例えば、外科医の位置の変化、器具交換、又は外科用ハブ１０６によって行われている新しいタスクのセットの感知であってもよい。
一態様では、外科用ハブ１０６による部屋の境界の評価は、外科用ハブ１０６が手術室の壁を検出することを可能にする、外科用ハブ１０６内の手術室マッピングモジュール１３３のセンサアレイの起動によって達成される。
外科システム１０２の他の構成要素は、外科用ハブ１０６と同じ又は同様の方法で空間的に認識するように作製され得る。例えば、ロボットハブ１２２はまた、手術室マッピングモジュール１３３を備えてもよい。一次ディスプレイ及び／又は二次ディスプレイはまた、手術室マッピングモジュールを具備してもよい。
外科用ハブ１０６の空間認識、及び外科システム１０２の潜在的な構成要素のための手術室をマッピングするその能力は、外科用ハブ１０６が、そのような潜在的な構成要素を外科システム１０２の一部として含めるか、又は除外するかについての自律的な決定を行うことを可能にし、手術スタッフがそのようなタスクを扱うことから解放することができる。更に、外科用ハブ１０６は、例えば、外科処置の実施前、実施中、及び／又は実行後に収集された情報に基づいて、手術室で実施される外科処置の種類についての推定を行うように構成される。収集された情報の例としては、手術室内に持ち込まれる装置の種類、手術室内へのそのような装置の導入時間、及び／又は装置起動シーケンスが挙げられる。外科用ハブ１０６の空間認識はまた、手術室内の１つ又は２つ以上のディスプレイを更新するために使用され得る。例えば、外科用ハブ１０６の空間認識は、器具の検出、手術室のマッピング、ユーザの検出、外科用ハブの場所の変化、器具の切断などのうちの少なくとも１つに基づいて、一次ディスプレイ上にデータを表示してもよく、二次ディスプレイ上にデータを表示してもよく、かつ／又は一次ディスプレイと二次ディスプレイとの間でデータを移動させてもよい。
一態様では、外科用ハブ１０６は、手術室マッピングモジュール１３３を用いて、超音波又はレーザ非接触測定装置のいずれかを使用して、手術現場の境界（例えば、固定、可動、又は一時的な手術室又は空間）を判定する。
図３１を参照すると、超音波ベースの非接触センサ３００２が、超音波のバーストを送信し、それが手術現場の外周壁３００６で反射したときのエコーを受信することによって手術現場をスキャンして、手術現場のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整するために用いられ得る。一例では、非接触センサ３００２は、図３１に示されるように、ピング超音波距離センサとすることができる。
図３１は、超音波センサ３００２が、どのように、その超音波スピーカ３００３を用いて有する簡易チャープを送信し、エコーが超音波センサの超音波マイクロフォン３００５に戻るまでどの程度の時間がかかるかを手術室マッピングモジュール１３３のマイクロコントローラ３００４が測定することを可能にするかを示す。マイクロコントローラ３００４は、超音波センサ３００２にパルスを送信して、測定を開始する。次いで、超音波センサ３００２は、マイクロコントローラプログラムがパルス入力コマンドを開始するのに十分長く待機する。次いで、超音波センサ３００２が４０ｋＨｚトーンをチャープするのとほぼ同時に、それは、高信号をマイクロコントローラ３００４に送信する。超音波センサ３００２は、その超音波マイクロフォン３００５を用いてエコーを検出すると、その高信号を低に戻すように変化させる。マイクロコントローラのパルス入力コマンドは、高い変化と低い変化との間の時間を測定し、その測定値を変数に記憶する。この値は、外科用ハブ１０６と手術室壁３００６との間の距離を計算するために、空気中の音の速度とともに使用され得る。
一例では、図３１に示されるように、外科用ハブ１０６は、４つの超音波センサ３００２を備え得、４つの超音波センサの各々は、外科用ハブ１０６と手術室３０００の壁との間の距離を評価するように構成される。外科用ハブ１０６は、手術室の境界を判定するために、４つ超又は４つ未満の超音波センサ３００２を備えてもよい。
他の距離センサが、手術室の境界を決定するために、手術室マッピングモジュール１３３によって採用されてもよい。一例では、手術室マッピングモジュール１３３は、手術室の境界を査定するために採用されることができる、１つ又は２つ以上の光電センサを具備してもよい。一例では、好適なレーザ距離センサもまた、手術室の境界を評価するために用いられてもよい。レーザベースの非接触センサは、レーザ光パルスを送信し、手術室の周壁から跳ね返るレーザ光パルスを受信し、送信されたパルスの位相を受信されたパルスと比較し、手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整することによって、手術室をスキャンしてもよい。
図４７の左上隅を参照すると、外科用ハブ１０６が手術室３０００に持ち込まれる。外科用ハブ１０６は、外科処置の前に発生するセットアップの開始時に起動される。図４７の例では、セットアップは、リアルタイムクロックに基づいて１１：３１：１４（ＥＳＴ）の実際の時間で開始する。しかしながら、記載された手順のセットアップ開始時間では、外科用ハブ１０６は、個人の患者情報を保護するために、人為的なリアルタイム０７：３６：００で人為的にランダム化されたリアルタイムクロックタイミングスキームを開始する（３００１）。
人為的なリアルタイム０７：３６：０１では、手術室マッピングモジュール１３３が、超音波距離センサを用いて、手術室に超音波でピング送出して（例えば、上記のように超音波のバーストを送信し、それが手術室の外周壁から反射したときのエコーを待つ）、手術室のサイズを検証し、ペアリング距離限界を調整する。
擬似リアルタイム０７：３６：０３において、データはストリップされ、タイムスタンプされる。人為的なリアルタイム０７：３６：０５では、外科用ハブ１０６は、手術室マッピングモジュール１３３の超音波距離センサ３００２を使用して検証された際の手術室３０００内のみに位置する装置のペアリングを開始する。図３３の右上隅は、手術室３０００の境界内にあり、かつ二次ディスプレイ装置３０２０、二次ハブ３０２１、共通インターフェース装置３０２２、電動ステープラ３０２３、ビデオタワーモジュール３０２４、及び電動ハンドヘルド式切開器具３０２５を含む、外科用ハブ１０６とペアリングされるいくつかの例示的な装置を示す。一方、二次ハブ３０２１’、二次ディスプレイ装置３０２０’、及び電動ステープラ３０２６は全て、手術室３０００の境界の外側にあり、したがって、外科用ハブ１０６とペアリングされない。
手術室内にある外科システム１０２の装置との通信リンクを確立することに加えて、外科用ハブ１０６はまた、装置の各々に固有の識別及び通信シーケンス又は番号を割り当てる。固有のシーケンスは、装置の名前と、通信が最初に確立されたときのタイムスタンプとを含み得る。他の好適な装置情報もまた、装置の固有のシーケンスに組み込まれ得る。
図４７の左上隅に示されるように、外科用ハブ１０６は、手術室３０００の境界が、外科用ハブ１０６から距離ａ、－ａ、ｂ、及び－ｂにあると判定している。装置「Ｄ」は、その手術室３０００の判定された境界の外側にあるため、外科用ハブ１０６は、装置「Ｄ」とペアリングしないことになる。図３２は、外科用ハブ１０６が、その手術室の境界内の装置とペアリングし得る（例えば、ペアリングのみし得る）方法を示す、例示的なアルゴリズムである。起動後、外科用ハブ１０６は、上記のように手術室マッピングモジュール１３３を使用して手術室の境界を判定する（３００７）。初期判定後、外科用ハブ１０６は、ペアリング範囲内の装置を連続的に探索又は検出する（３００８）。装置が検出された場合（３０１０）、外科用ハブ１０６は、次いで、検出された装置が手術室の境界内にあるかを判定する（３０１１）。装置が手術室の境界内にあると判定された場合、外科用ハブ１０６は、装置とペアリングする（３０１２）。外科用ハブ１０６は、ペアリングされた装置に関連付けられたデータを一次ディスプレイ及び／又は二次ディスプレイ上に表示してもよい。特定の事例では、外科用ハブ１０６はまた、装置に識別子を割り当てる（３０１３）。しかしながら、検出された装置が手術室の境界の外側にあると外科用ハブ１０６が判定した場合、外科用ハブ１０６は、装置を無視することになる（３０１４）。
図３３を参照すると、手術室の境界の初期判定後、及びそのような境界内に位置する装置の初期ペアリング後、外科用ハブ１０６は、ペアリングのために利用可能となる新しい装置を検出し続ける（３０１５）。新しい装置が検出された場合（３０１６）、外科用ハブ１０６は、新しい装置とのペアリングの前に、手術室の境界を再評価する（３０１７）ように構成される。新しい装置が、手術室の新たに判定された境界内にあると判定された場合（３０１８）、外科用ハブ１０６は、装置とペアリングし（３０１９）、新しい装置に固有の識別子を割り当てる（３０３０）。しかしながら、新しい装置が手術室の新たに判定された境界の外側にあると外科用ハブ１０６が判定した場合、外科用ハブ１０６は、装置を無視することになる（３０３１）。
ペアリングのために、手術室マッピングモジュール１３３は、コンパス及び統合Ｂｌｕｅｔｏｏｔｈ送受信機を含有してもよい。病院環境又は地理的位置によって著しく影響されない他の通信機構が使用されてもよい。Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）ビーコン技術は、現在、約１～２メートルの精度で屋内距離測定を達成することができ、より近位（０～６メートル以内）での改善された精度を有する。距離測定の精度を改善するために、コンパスがＢＬＥとともに使用される。手術室マッピングモジュール１３３は、ＢＬＥ及びコンパスを利用して、モジュールが患者に対してどこに位置しているかを判定する。例えば、互いに対向する２つのモジュール（コンパスによって検出される）は、それらの間の距離が１メートル超である状態で、モジュールが患者の両側にあることを明確に示し得る。手術室内により多くの「ハブ」対応モジュールが存在すると、三角測量技術に起因して、達成可能な精度がより高くなる。
複数の外科用ハブ１０６、モジュール及び／又は他の周辺装置が、図４７の右上隅に示されるように、同じ手術室内に存在する状況では、手術室マッピングモジュール１３３は、手術室内に存在する各モジュールの物理的位置をマッピングするように構成される。この情報は、ユーザインターフェースによって使用されて、手術室の仮想マップを表示し得、ユーザが、どのモジュールが存在して有効化されているか、及びそれらの現在の状態をより容易に識別することを可能にする。一態様では、外科用ハブ１０６によって収集されたマッピングデータは、クラウド１０４にアップロードされ、データは、例えば、手術室がどのように物理的にセットアップされているかを識別するために分析される。
外科用ハブ１０６は、送信無線信号の強度及び方向を評価することによって装置の位置を決定するように構成される。Ｂｌｕｅｔｏｏｔｈプロトコルについて、受信信号強度インジケーション（Received Signal Strength Indication、ＲＳＳＩ）は、受信された無線信号強度の測定値である。一態様では、外科システム１０２の装置は、ＵＳＢ Ｂｌｕｅｔｏｏｔｈドングルを備え得る。外科用ハブ１０６は、ＵＳＢ Ｂｌｕｅｔｏｏｔｈビーコンをスキャンして距離情報を取得し得る。別の態様では、可変減衰器を有するＢｌｕｅｔｏｏｔｈアクセスポイント上の複数の高ゲインアンテナは、ＲＳＳＩ測定よりも正確な結果を生成し得る。一態様では、ハブは、複数のアンテナからの信号強度を測定することによって装置の場所を判定するように構成される。代替的に、いくつかの例では、外科用ハブ１０６は、外科用ハブ１０６の位置の変化を検出するように構成された１つ又は２つ以上の運動センサ装置を備え得る。
図４７の左下隅を参照すると、外科用ハブ１０６は、破線で図示されているその元の位置から、依然として手術室３０００の境界の外側にある装置「Ｄ」により近い新しい位置に移動されている。外科用ハブ１０６は、その新しい位置にあり、以前に判定された手術室の境界に基づいて、装置「Ｄ」が外科システム１０２の変圧構成要素であると自然に結論付けることになる。しかしながら、新しい装置の導入は、図３２、図３４の例示的なアルゴリズムに示されるように、手術室の境界の再評価（３０１７）のためのトリガ事象である。再評価を実施した後、外科用ハブ１０６は、手術室境界が変化したと判定する。新しい境界に基づいて、距離ａｎｅｗ、－ａｎｅｗ、ｂｎｅｗ、及び－ｂｎｅｗにおいて、外科用ハブ１０６は、それが移動されたこと、及び装置「Ｄ」がその手術室の新しく判定された境界の外側にあることを結論付ける。したがって、外科用ハブ１０６は、依然として、装置「Ｄ」とペアリングしないことになる。外科用ハブ１０６はまた、変化を反映するように、一次ディスプレイ及び／又は二次ディスプレイを更新してもよい。
一態様では、図３２～図３６に示されるプロセスのうちの１つ又は２つ以上は、図６（プロセッサ２４４）に示されるような外科用ハブ１０６の制御回路によって実行され得る。別の態様では、図３２～図３６に示されるプロセスのうちの１つ又は２つ以上は、図１に示されるようなクラウドコンピューティングシステム１０４によって実行され得る。更に別の態様では、図３２～３６に示されるプロセスのうちの１つ又は２つ以上は、前述のクラウドコンピューティングシステム１０４のうちの少なくとも１つ、及び／又は図７に示される外科用器具のマイクロコントローラ４６１、図１６に示される外科用器具のマイクロコントローラ６２０、図８に示されるロボット外科用器具７００の制御回路７１０、外科用器具７５０の制御回路７６０、及び／又は任意の他の好適なマイクロコントローラなどのモジュール式装置の制御回路と組み合わせた外科用ハブ１０６の制御回路によって実行され得る。
外科処置中、超音波又はＲＦ外科用器具などの外科用器具は、外科用ハブ１０６の発生器モジュール１４０に連結され得る。加えて、足又は手のスイッチ又は起動装置などの別個の外科用器具コントローラが、発生器から外科用器具へのエネルギーの流れを起動するために、外科用器具の操作者によって使用され得る。複数の外科用器具コントローラ及び複数の外科用器具は、手術室で同時に使用され得る。誤った外科用器具コントローラを押す又は起動することは、望ましくない結果をもたらし得る。本開示の態様は、外科用ハブ１０６が外科用器具コントローラと外科用器具とのペアリングを調整して、患者及び操作者の安全を確保する解決策を提示する。
本開示の態様は、手術室の境界内の外科システム１０２の構成要素間のペアリングを確立及び切断して、そのような構成要素間の情報の流れ及び制御動作を調整するように構成された外科用ハブ１０６について提示される。外科用ハブ１０６は、外科用ハブ１０６の手術室の境界内に存在する外科用器具コントローラと外科用器具との間のペアリングを確立するように構成され得る。
様々な態様では、外科用ハブ１０６は、操作者要求又は状況及び／若しくは空間認識に基づいて、外科システム１０２の構成要素間のペアリングを確立及び切断するように構成され得る。ハブ状況認識は、図１０に関して本明細書でより詳細に説明される。
本開示の態様は、手術室で実施される外科処置で外科システムとともに使用するための外科用ハブについて提示される。外科用ハブは、外科システムの装置間のペアリングを選択的に形成及び切断する制御回路を含む。外科用ハブは、形成又は切断されたペアリングを反映するように、一次ディスプレイ及び／又は二次ディスプレイを更新してもよい。一態様では、ハブは、制御回路を含み、制御回路は、ハブを外科システムの第１の装置とペアリングし、第１の装置に第１の識別子を割り当て、ハブを外科システムの第２の装置とペアリングし、第２の識別子を第２の装置に割り当て、第１の装置を第２の装置と選択的にペアリングするように構成される。一態様では、外科用ハブは記憶媒体を含み、制御回路は、記憶媒体内に第１の装置と第２の装置との間のペアリングを示すレコードを記憶するように構成される。一態様では、第１の装置と第２の装置との間のペアリングは、それらの間の通信経路を画定する。一態様では、第１の装置と第２の装置との間のペアリングは、第２の装置から第１の装置に制御動作を送信するための制御経路を画定する。
上記に加えて、一態様では、制御回路は、ハブを外科システムの第３の装置とペアリングし、第３の識別子を第３の装置に割り当て、第１の装置と第２の装置との間のペアリングを切断し、第１の装置を第３の装置と選択的にペアリングするように更に構成される。一態様では、制御回路は、記憶媒体内に第１の装置と第３の装置との間のペアリングを示すレコードを記憶するように更に構成される。一態様では、第１の装置と第３の装置との間のペアリングは、それらの間の通信経路を画定する。一態様では、第１の装置と第３の装置との間のペアリングは、第３の装置から第１の装置に制御動作を送信するための制御経路を画定する。
様々な態様では、外科用ハブは、プロセッサと、プロセッサに連結されたメモリとを含む。メモリは、上記のように、外科システムの装置間のペアリングを選択的に形成及び切断するように、プロセッサによって実行可能な命令を記憶する。様々な態様では、本開示は、非一時的コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体を提供し、コンピュータ可読命令は、実行されると、機械に、上記のように、外科システムの装置間のペアリングを選択的に形成及び切断させる。図３７及び図３８は、本明細書中に記載されるような、外科システムの装置間のペアリングを選択的に形成及び切断するための制御プログラム又は論理構成を示すプロセスの論理フロー図である。
一態様では、外科用ハブ１０６は、外科用器具との第１のペアリング、及び外科用器具コントローラとの第２のペアリングを確立する。外科用ハブ１０６は、次いで、外科用器具及び外科用器具コントローラが互いに動作することを可能にするように、ペアリングを一緒にリンクさせる。外科用ハブ１０６は、リンクされたペアリングを反映するように、一次ディスプレイ及び／又は二次ディスプレイの表示を更新し得る。別の態様では、外科用ハブ１０６は、外科用器具と外科用器具コントローラとの間の既存の通信リンクを切断し、次いで、外科用器具を外科用ハブ１０６にリンクされる別の外科用器具コントローラにリンクし得る。外科用ハブ１０６は、切断された通信リンク及び／又は別の外科用器具コントローラへのリンクを反映するように、一次ディスプレイ及び／又は二次ディスプレイの表示を更新し得る。
一態様では、外科用器具コントローラは、２つのソースにペアリングされる。外科用器具コントローラは、その起動の制御のために、発生器モジュール１４０を含む外科用ハブ１０６とペアリングされる。外科用器具コントローラはまた、誤った外科用器具の不注意な起動を防止するために、特定の外科用器具とペアリングされる。
図３７及び図３９を参照すると、外科用ハブ１０６は、通信モジュール１３０に、第１の外科用器具であり得る、外科システム１０２の第１の装置３１０２とペアリングさせるか（３１００）、又はそれとの第１の通信リンク３１０１を確立させ得る。次いで、ハブは、第１の識別番号を第１の装置３１０２に割り当て得る（３１０４）。これは、装置の名前及び通信が最初に確立されたときのタイムスタンプを含み得る、固有の識別及び通信シーケンス又は番号である。
加えて、外科用ハブ１０６は、通信モジュール１３０に、外科用器具コントローラであり得る、外科システム１０２の第２の装置３１０８とペアリングさせるか（３１０６）、又はそれとの第２の通信リンク３１０７を確立させ得る。外科用ハブ１０６は、次いで、第２の識別番号を第２の装置３１０８に割り当てる（３１１０）。
様々な態様では、外科用ハブ１０６を装置とペアリングするは、本明細書に記載されるように、新しい装置の存在を検出すると、新しい装置が手術室の境界内にあることを判定すると、新しい装置が手術室の境界内に位置する場合、新しい装置とペアリングする（例えば、ペアリングのみ）とを含み得る。
外科用ハブ１０６は、次いで、図３９に示されるように、第１の装置３１０２と第２の装置３１０８との間に確立されることになる通信リンク３１１４をペアリング（３１１２）又は認可し得る。通信リンク３１１４を示すレコードが、ストレージアレイ１３４内の外科用ハブ１０６によって記憶される。一態様では、通信リンク３１１４は、外科用ハブ１０６を介して確立される。別の態様では、図３９に示されるように、通信リンク３１１４は、第１の装置３１０２と第２の装置３１０８との間の直接リンクである。外科用ハブ１０６は、第１の装置３１０２と第２の装置３１０８との間の直接リンクを反映するように、一次ディスプレイ及び／又は二次ディスプレイを更新してもよい。
図３８及び４０を参照すると、外科用ハブ１０６は、例えば、別の外科用器具コントローラであり得る、外科システム１０２の第３の装置３１１６を検出し、それと第３の通信リンク３１２４をペアリング（３１２０）又は確立することができる。外科用ハブ１０６は、次いで、第３の識別番号を第３の装置３１１６に割り当て得る（３１２６）。外科用ハブ１０６は、第３の装置が検出及び／又はペアリングされたことを示すために、一次ディスプレイ及び／又は二次ディスプレイを更新し得る。
特定の態様では、図４０に示されるように、外科用ハブ１０６は、次いで、図４０に示されるように、通信リンク３１１４を切断させながら（３１２８）、第１の装置３１０２と第３の装置３１１６との間に確立されることになる通信リンク３１１８をペアリング（３１３０）又は認可し得る。通信リンク３１１８の形成及び通信リンク３１１４の切断を示すレコードが、ストレージアレイ１３４内の外科用ハブ１０６によって記憶される。一態様では、通信リンク３１１８は、外科用ハブ１０６を介して確立される。別の態様では、図４０に示されるように、通信リンク３１１８は、第１の装置３１０２と第３の装置３１１６との間の直接リンクである。
上記のように、外科用ハブ１０６は、外科システム１０２の装置間の間接通信を管理し得る。例えば、第１の装置３１０２が外科用器具であり、第２の装置３１０８が外科用器具コントローラである状況では、外科用器具コントローラの出力は、通信リンク３１０７を介して外科用ハブ１０６に送信され得、次いで、通信リンク３１０１を介して出力を外科用器具に送信し得る。
外科システム１０２の装置間の接続を接続又は切断する決定を行う際、外科用ハブ１０６は、外科用ハブ１０６によって受信又は生成された手術前後のデータを頼り得る。手術前後のデータは、操作者入力、ハブ状況認識、ハブ空間認識、及び／又はクラウドデータを含む。例えば、要求が、外科用器具コントローラを外科用器具に割り当てるために、操作者ユーザインターフェースから外科用ハブ１０６に送信され得る。外科用ハブ１０６が、外科用器具コントローラが別の外科用器具に既に接続されていると判定した場合、外科用ハブ１０６は、接続を切断し、操作者の要求に従って新しい接続を確立することができる。外科用ハブ１０６は、接続又は接続の切断の決定を反映するために、一次ディスプレイ及び／又は二次ディスプレイの表示を更新し得る。
特定の実施例では、外科用ハブ１０６は、可視化システム１０８と一次ディスプレイ１１９との間に第１の通信リンクを確立して、滅菌野の外側にある可視化システム１０８から、滅菌野内に位置する一次ディスプレイ１１９に画像又は他の情報を送信し得る。外科用ハブ１０６は、次いで、第１の通信リンクを切断し、ロボットハブ１２２と一次ディスプレイ１１９との間に第２の通信リンクを確立して、例えば、ロボットハブ１２２から一次ディスプレイ１１９に別の画像又は他の情報を送信し得る。外科用ハブ１０６が、外科システム１０２の異なる構成要素に一次ディスプレイ１１９を割り当て及び再割り当てする能力は、外科用ハブ１０６が、これらの構成要素を物理的に移動させずに、手術室内、特に滅菌野の内側及び滅菌野の外側の構成要素間の情報フローを管理することを可能にする。
ハブ状況認識を伴う別の例では、外科用ハブ１０６は、行われている外科処置のタイプに基づいて、又は装置が接続又は切断されることを必要とする外科処置の次のタスクの決定に基づいて、手術室内の外科システム１０２の装置を選択的に接続又は切断し得る。ハブ状況認識は、例えば図１０に関して本明細書に記載されている。
図３１を参照すると、外科用ハブ１０６は、外科処置の外科作業の進行を追跡し得（３１４０）、そのような進行に基づいて、外科システム１０２の装置のペアリング及びペアリング解除を調整し得る。例えば、外科用ハブ１０６は、第１の外科作業が第１の外科用器具の使用を必要とする一方で、第１の外科作業の完了後に実施される第２の外科作業が第２の外科用器具の使用を必要とすることを判定してもよい。したがって、外科用ハブ１０６は、第１の外科作業の持続時間の間、外科用器具コントローラを第１の外科用器具に割り当てることができる。第１の外科作業の完了３１４２を検出した後、外科用ハブ１０６は、第１の外科用器具と外科用器具コントローラとの間の通信リンクを切断させ得る（３１４４）。外科用ハブ１０６は、次いで、外科用器具コントローラと第２の外科用器具との間のペアリング（３１４６）又はそれら間の通信リンクの確立を認可することによって、外科用器具コントローラを第２の外科用器具に割り当て得る。外科用ハブ１０６は、外科作業の進行に関連付けられた一次ディスプレイ及び／又は二次ディスプレイデータを更新することができる。例えば、外科用ハブ１０６は、第１の外科作業のために接続されたときに第１の外科用器具に関連付けられたデータを表示してもよく、第２の外科作業のために接続されたときに第２の外科用器具に関連付けられたデータを表示してもよい。
外科システム１０２の装置を接続又は切断する決定に影響を及ぼし得るハブ状況認識の様々な他の例が、例えば、図１０に関して本明細書に記載される。ハブの状況認識はまた、一次ディスプレイ及び／又は二次ディスプレイ上にデータを表示することによって反映されてもよい。
外科用ハブ１０６は、本明細書に記載されるように、その空間認識能力を利用して、外科処置の外科作業の進行を追跡し、外科用ハブ１０６の手術室内で１つの外科用器具から別の外科用器具に外科用器具コントローラを自律的に再割り当てすることができる。一態様では、外科用ハブ１０６は、Ｂｌｕｅｔｏｏｔｈペアリング及びコンパス情報を使用して、外科システム１０２の構成要素の物理的位置を判定する。外科用ハブ１０６は、外科用器具コントローラが外科用ハブ１０６の手術室内で１つの外科用器具から別の外科用器具に再割り当てされるときに、一次ディスプレイ及び／又は二次ディスプレイを更新してもよい。
図２に示される実施例では、外科用ハブ１０６は、手術台で術者によって保持された第１の外科用器具、及びサイドトレイ上に位置付けられた第２の外科用器具とペアリングされる。外科用器具コントローラは、第１の外科用器具又は第２の外科用器具のいずれかと選択的にペアリングされ得る。Ｂｌｕｅｔｏｏｔｈペアリング及びコンパス情報を利用して、外科用ハブ１０６は、患者に対するその近接度を理由に、外科用器具コントローラを第１の外科用器具に自律的に割り当てる。外科用ハブ１０６は、第１の外科用器具に対する外科用器具コントローラの割り当てを反映するように、データを用いて一次ディスプレイ及び／又は二次ディスプレイを更新してもよい。
第１の外科用器具を使用することを伴った外科作業の完了後、第１の外科用器具は、サイドトレイに戻されるか、又は別様に患者から離れるように移動され得る。第１の外科用器具の位置の変化を検出すると、外科用ハブ１０６は、第１の外科用器具と外科用器具コントローラとの間の通信リンクを切断して、外科用器具コントローラによる第１の外科用器具の不意の起動を防止し得る。外科用ハブ１０６はまた、外科用ハブ１０６が手術台の新しい位置に移動されたことを検出した場合、外科用器具コントローラを別の外科用器具に再割り当てし得る。外科用ハブ１０６は、一次ディスプレイ及び／又は二次ディスプレイを更新して、外科用器具コントローラが第２の外科用器具に割り当てられたことを反映し得る。例えば、外科用ハブ１０６は、一次ディスプレイを更新して、第２の医療器具に関連付けられたデータを表示してもよい。別の例として、外科用ハブ１０６は、二次ディスプレイを更新して、第１の医療器具の洗浄及び／又はリロードのための命令を表示してもよい。別の例として、外科用ハブ１０６は、二次ディスプレイを更新して、第２の医療器具の１つ又は２つ以上の設定を表示してもよい。
様々な態様では、外科システム１０２の装置は、１人のユーザが、現在制御している装置の起動制御を、別の操作者の手の届く範囲内にある別の外科用器具コントローラに与えることを可能にする、簡単なハンドオフ動作モードを備えてもよい。一態様では、装置は、所定の起動シーケンスで起動される装置を互いにペアリングさせる、装置の所定の起動シーケンスを介したハンドオフを達成するように備わっている。一次ディスプレイ及び／又は二次ディスプレイは、それに応じて更新され得る。
一態様では、起動シーケンスは、互いにペアリングされる装置を特定の順序で電源投入することによって達成され得る。一次ディスプレイ及び／又は二次ディスプレイは、それに応じて更新され得る。別の態様では、起動シーケンスは、所定の期間内に互いにペアリングされることになる装置に電力供給することによって達成される。一態様では、起動シーケンスは、互いにペアリングされることになる装置のＢｌｕｅｔｏｏｔｈなどの通信構成要素を特定の順序で起動することによって達成される。別の態様では、起動シーケンスは、互いにペアリングされることになる装置のＢｌｕｅｔｏｏｔｈなどの通信構成要素を所定の期間内に起動することによって達成される。
ハンドオフは、術者入力装置のうちの１つを通した装置の選択によって達成され得る。選択が完了した後、別のコントローラによる次の起動は、新しいコントローラが制御を行うことを可能にする。
様々な態様では、外科用ハブ１０６は、外科システム１０２の構成要素が手術室に持ち込まれたときにそれらを直接識別するように構成され得る。一態様では、外科システム１０２の装置は、例えば、バーコード又はＲＦＩＤタグなどの外科用ハブ１０６によって認識可能な識別子を備え得る。ＮＦＣもまた、用いられ得る。外科用ハブ１０６は、手術室内に持ち込まれた装置を検出するための好適な読取器又はスキャナを備え得る。外科用ハブ１０６は、一次ディスプレイ及び／又は二次ディスプレイを更新して、外科システム１０２の構成要素が識別されたことを示し得る。
外科用ハブ１０６はまた、外科システム１０２の装置の様々な制御プログラムをチェック及び／又は更新するように構成され得る。外科システム１０２の装置の通信リンクを検出及び確立すると、外科用ハブ１０６は、その制御プログラムが最新であるかどうかをチェックし得る。制御プログラムのより新しいバージョンが利用可能であると外科用ハブ１０６が判定した場合、外科用ハブ１０６は、クラウド１０４から最新バージョンをダウンロードし得、装置を最新バージョンに更新し得る。外科用ハブ１０６は、各々のペアリング又は接続された装置に対して、連続的な識別及び通信番号を発行し得る。
インテリジェント外科用ハブによる二次ソースから導出されたデータの協働的利用が提供され得る。外科処置では、術者の注意は、手の作業に集中しなければならない。例えば、複数のディスプレイなどの複数のソースから情報を受信することは、有用ではあるが、気を散らすことにもなり得る。外科用ハブ１０６の撮像モジュール１３８は、気が散ることを最小限に抑える様式で、術者に関連情報をインテリジェントに収集、分析、編成／パッケージ、及び伝播するように構成される。
本開示の態様は、例えば、外科用ハブ１０６の撮像モジュール１３８などの複数のソース由来のデータの協調利用について提示される。一態様では、撮像モジュール１３８は、例えば、１つ又は２つ以上のソース由来のデータを、一次ディスプレイ１１９に向かうライブストリーム上にオーバーレイするように構成されている。一態様では、オーバーレイされたデータは、撮像モジュール１３８によって取得された１つ又は２つ以上のフレームから導出され得る。撮像モジュール１３８は、画像フレームを、例えば、一次ディスプレイ１１９などのローカルディスプレイ上に表示する過程で自由に利用し得る。撮像モジュール１３８はまた、コマンドされた画像に対してローカル画像処理のアレイを実行することができる画像プロセッサを備える。オーバーレイされたデータは、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。
更に、外科処置は、概して、例えば、術者又は外科用ロボットによってガイドされる１つ又は２つ以上の外科用器具によって実施され得るいくつかの外科作業を含む。外科処置の成功又は失敗は、外科作業の各々の成功又は失敗に依存する。個々の外科作業に関連するデータがない場合、失敗した外科処置の理由を判定することは、確率の問題である。
本開示の態様は、他のデータとの更なる処理及び／又はペアリングのために、外科処置のライブストリームの１つ又は２つ以上のフレームをキャプチャすることについて提示される。フレームは、外科作業が正常に完了したか否かを評価するために、外科作業（本明細書の他の箇所では「外科的工程」とも称される）の完了時にキャプチャされ得る。更に、フレーム及びペアリングされたデータは、更なる分析のためにクラウドにアップロードされ得る。
一態様では、１つ又は２つ以上のキャプチャされた画像は、少なくとも１つの以前に完了した外科作業を識別して、外科作業の結果を評価するために使用される。一態様では、外科作業は、組織ステープル留めリング作業である。別の態様では、外科作業は、高度エネルギー横切開である。
図４２は、遠隔手術部位のライブストリームの１つ又は２つ以上の静止フレーム由来の情報を、ライブストリーム上にオーバーレイするための制御プログラム又は論理構成を図示するプロセス３２１０の論理フロー図である。プロセス３２１０は、例えば、医療用撮像装置１２４から遠隔手術部位のライブストリームを受信すること（３２１２）と、ライブストリームから外科処置の外科作業の少なくとも１つの画像フレームをキャプチャすること（３２１４）と、少なくとも１つの画像フレームから抽出されたデータから外科作業に関連する情報を導出すること（３２１６）と、ライブストリーム上に情報をオーバーレイすること（３２１８）とを含む。ライブストリームは、一次ディスプレイ及び／又は二次ディスプレイに表示され得る。
一態様では、静止フレームは、遠隔手術部位で行われる外科作業のものであり得る。静止フレームは、外科作業の完了に関する情報のために分析され得る。一態様では、外科作業は、手術部位で組織をステープル留めすることを含む。別の態様では、外科作業は、手術部位で組織にエネルギーを印加することを含む。
図４３は、外科処置の外科作業を区別するための制御プログラム又は論理構成を示すプロセス３２２０の論理フロー図である。プロセス３２２０は、医療撮像装置１２４から手術部位のライブストリームを受信すること（３２２２）と、例えば、ライブストリームから外科処置の第１の外科作業の少なくとも１つの第１の画像フレームをキャプチャすること（３２２４）と、少なくとも１つの画像フレームから抽出されたデータから第１の外科作業に関連する情報を導出すること（３２２６）と、ライブストリームから外科処置の第２の外科作業の少なくとも１つの第２の画像フレームをキャプチャすること（３２２８）と、少なくとも１つの第１の画像フレーム及び少なくとも１つの第２の画像フレームに基づいて第１の外科作業と第２の外科作業とを区別すること（３２２９）とを含む。
図４４は、外科処置の外科作業を区別するための制御プログラム又は論理構成を示すプロセス３２３０の論理フロー図である。プロセス３２３２は、医療撮像装置１２４から手術部位のライブストリームを受信すること（３２３２）と、例えば、ライブストリームから外科処置の外科作業の画像フレームをキャプチャすること（３２３４）と、画像フレームから抽出されたデータに基づいて外科作業を区別すること（３２３６とを含む。
図４５は、ステープルカートリッジから組織内に配備されたステープルの１つ又は２つ以上の静止フレーム由来の情報からステープルカートリッジを識別するための制御プログラム又は論理構成を図示するプロセス３２４０の論理フロー図である。プロセス３２４０は、例えば、医療用撮像装置１２４から手術部位のライブストリームを受信すること（３２４２）と、ライブストリームから画像フレームをキャプチャすること（３２４４）と、画像フレーム内のステープルパターンを検出すること（３２４６）と、を含み、ステープルパターンは、ステープルカートリッジから手術部位の組織内に配備されたステープルによって画定される。プロセス３２４０は、ステープルパターンに基づいてステープルカートリッジを識別すること（３２４８）を更に含む。
図３１及び図４６を参照すると、外科用ハブ１０６は、外科処置中に遠隔手術部位に位置する医療用撮像装置１２４と連通している。撮像モジュール１３８は、例えば、作業３２１２、３２２２、３２３２、３２４２に従って、撮像装置１２４によって一次ディスプレイ１１９に送信される遠隔手術部位のライブストリームを受信する。
上記に加えて、外科用ハブ１０６の撮像モジュール１３８は、フレームグラバ３２００を含む。フレームグラバ３２００は、作業３２１４、３２２４、３２３４、３２４４に従って、例えば外科処置中に、例えば一次ディスプレイ１１９に撮像装置１２４によって送信されたライブストリームから個々のデジタル静止フレームをキャプチャする（すなわち「取り込む」）ように構成される。キャプチャされた静止フレームは、外科処置に関する情報を導出するために、撮像モジュール１３８のコンピュータプラットフォーム３２０３（図４６）によって記憶及び処理される。キャプチャされたフレームの処理は、物体検出、３Ｄフィルタリングなどのより複雑なタスクの性能に対して、ヒストグラム計算、２Ｄフィルタリング、及びピクセルのアレイ上の算術演算などの単純な演算の性能を含み得る。
一態様では、導出された情報は、ライブストリーム上にオーバーレイされ得る。一態様では、静止フレーム及び／又は静止フレームの処理から結果的に得られる情報は、データ集約及び更なる分析のために、クラウド１０４に通信され得る。
様々な態様では、フレームグラバ３２００は、デジタルビデオデコーダと、例えば、フレームバッファなどの、取得された静止フレームを記憶するためのメモリとを含み得る。フレームグラバ３２００はまた、バスインターフェースであって、これを介して、プロセッサが取得を制御し、データにアクセスし得る、バスインターフェースと、画像取得のトリガ又は外部機器の制御のための汎用Ｉ／Ｏとを含み得る。
上記のように、撮像装置１２４は、例えば、カメラ及び遠隔手術部位に位置付けられた光源を含む内視鏡の形態であり、例えば、一次ディスプレイ１１９で遠隔手術部位のライブストリームを提供するように構成され得る。
様々な態様では、画像認識アルゴリズムが、フレームグラバ３２００によってキャプチャされる手術部位の静止フレーム内の特徴又は物体を識別するために実装され得る。キャプチャされたフレームに関連する外科作業に関する有用な情報は、識別された特徴から導出され得る。例えば、キャプチャされたフレーム内のステープルの識別は、組織ステープル留め外科作業が手術部位において行われたことを示す。識別されたステープルの種類、色、配置、及びサイズもまた、ステープルを配備するために用いられるステープルカートリッジ及び外科用器具に関する有用な情報を導出するために使用され得る。上記のように、そのような情報は、手術室内の一次ディスプレイ１１９に向けられたライブストリーム上にオーバーレイされ得る。
画像認識アルゴリズムは、撮像モジュール１３８のコンピュータプラットフォーム３２０３（図４６）によって、少なくとも部分的にローカルに実施され得る。特定の事例では、画像認識アルゴリズムは、少なくとも部分的に、外科用ハブ１０６のプロセッサモジュール１３２によって実施され得る。画像データベースは、画像認識アルゴリズムの性能内で利用され得、コンピュータプラットフォーム３２０３のメモリ３２０２内に記憶され得る。一態様では、撮像データベースは、外科用ハブ１０６の記憶アレイ１３４（図３）に記憶することができる。画像データベースは、クラウド１０４から更新され得る。
コンピュータプラットフォーム３２０３によって実行され得る例示的な画像認識アルゴリズムは、キーポイントベースの比較及び領域ベースの色比較を含み得る。アルゴリズムは、例えば、コンピュータプラットフォーム３２０３などの処理装置で入力を受信することであって、入力が、遠隔手術部位の静止フレームに関するデータを含む、受信することと、画像データベースから画像を読み出すことを含む読み出し作業を実施し、画像が受け入れられるか又は拒絶されるまで、画像を候補画像として指定することと、画像認識アルゴリズム出力を取得するために、処理装置を使用して、静止フレーム及び候補画像に対して画像認識アルゴリズムを実行することを含む、画像認識タスクを実施することであって、画像認識アルゴリズム出力が事前選択された範囲内にある場合、候補画像を静止フレームとして受け入れ、画像認識アルゴリズム出力が事前選択された範囲内にない場合、候補画像を拒絶し、読み出し、画像認識、及び比較のタスクを繰り返すことを含む、実施することと、を含む。
概して、図４８～図５３を参照すると、外科用ハブ間の相互作用は、手術室の境界を越えて拡張されてもよい。様々な態様では、別個の手術室内の外科用ハブは、既定の限界内で互いに相互作用し得る。それらの相対的近接度に依存して、別個の手術室内の外科用ハブは、Ｂｌｕｅｔｏｏｔｈ及びＷｉＦｉなどの任意の好適な有線又は無線データ通信ネットワークを介して相互作用し得る。本明細書に使用される際、「データ通信ネットワーク」は、発信元構成要素と宛先構成要素との間のデータ通信をサポートするように構成された、ハードウェア、ソフトウェア、ファームウェア、及び／又は処理論理を含む、任意の数の物理的、仮想的、又は論理的構成要素を表し、データ通信は、１つ又は２つ以上の指定された通信媒体を介して１つ又は２つ以上の指定された通信プロトコルに従って実行される。
様々な態様では、第１の手術室内の第１の術者は、緊急の場合などの、第２の手術室の第２の術者に助言を求めることを望む場合がある。第１及び第２の術者がそれぞれの手術室に留まりながらの助言を容易にするために、一時的通信リンクが第１及び第２の手術室の外科用ハブ間に確立され得る。
助言を求められている術者は、自身の手術室の外科用ハブを介して助言要求を提示され得る。術者が受け入れた場合、術者は、助言を要求する外科用ハブによってコンパイルされたデータの一部又は全部へのアクセスを有する。術者は、処置の完全な履歴を含む、全ての以前に記憶されたデータにアクセスし得る。加えて、要求側手術室における手術部位のライブストリームは、外科用ハブを通して、受信側手術室における一次ディスプレイ及び／又は二次ディスプレイなどのディスプレイに送信され得る。ユーザは、どのディスプレイがライブストリームを受信し得るかを判定し得る。例えば、ユーザは、ライブストリームを一次ディスプレイ及び／又は二次ディスプレイ上に表示するように、外科用ハブに命令することができる。ユーザは、ライブストリームを一次ディスプレイから二次ディスプレイに、又は二次ディスプレイから一次ディスプレイに移動するように外科用ディスプレイに命令することができる。
助言要求が開始すると、受信側外科用ハブは、外科用ハブの記憶アレイの専用部分であり得る、一時的記憶場所に、受信された情報の一部又は全部を記録し始める。助言の終了時に、一時的な記憶場所は、全ての情報から消去され得る。一態様では、助言中に、外科用ハブは、血圧、換気データ、酸素状態、発生器の設定及び使用、並びに全ての患者の電子データを含む、一部又は全てのアクセス可能なデータを記録する。記録されたデータは、通常の動作中に外科用ハブによって記憶されたデータよりも多くなる可能性があり得、これは、助言のために可能な限り多くの情報を助言されている術者に提供する際に有用であり得る。
図４８を参照すると、異なる手術室内の外科用ハブ間の相互作用の非限定的な例が図示されている。図４８は、胸部分節切除術を支援する外科システム３４００を含み得る手術室ＯＲ１と、結腸直腸処置を支援する外科システム３４１０を含む第２の手術室ＯＲ３とを示す。外科システム３４００は、外科用ハブ３４０１、外科用ハブ３４０２、及びロボット外科用ハブ３４０３を含む。外科システム３４００は、パーソナルインターフェース３４０６、一次ディスプレイ３４０８、及び二次ディスプレイ３４０４、３４０５を更に含む。外科システム３４１０は、外科用ハブ３４１１及び二次ディスプレイ３４１２を含む。明確化のために、外科システム３４００、３４１０の数個の構成要素が除去されている。
図４８の例では、ＯＲ３の術者は、ＯＲ１の術者から助言を要求することができる。ＯＲ３の外科用ハブ３４１１は、外科用ハブ３４０１などの、ＯＲ１の外科用ハブのうちの１つに助言要求を送信する。ＯＲ１において、外科ハブ３４０１は、術者によって保持される、二次ディスプレイであり得る、パーソナルインターフェース３４０６において要求を提示する。助言は、結腸横切開の最適な位置を選択することに関する。パーソナルインターフェース３４０６を介して、ＯＲ１の術者は、結腸の血管の多い区分を回避する横切開部位の最適な位置を推奨する。推奨は、外科用ハブ３４０１、３４１１を通してリアルタイムで送信され得る。したがって、術者は、自身の手術室の滅菌野を去ることを必要とせず、リアルタイムに助言要求に応答することができる。助言を要求する術者もまた、滅菌野又はＯＲ３を去る必要はなかった。一例では、助言要求は、パーソナルインターフェース３４０６などの二次ディスプレイから、３４０８などの一次ディスプレイ及び／又は二次ディスプレイ３４０４に移動されてもよい。
外科用ハブ３４０１がパーソナルインターフェース３４０６と通信していない場合、外科用ハブ３４０１は、外科用ハブ３４０２又はロボット外科用ハブ３４０３などの別の外科用ハブにメッセージを中継し得る。外科用ハブ３４０１は、別の外科用ハブからパーソナルインターフェース３４０６の制御を要求することができる。
ＯＲ１の術者が助言要求を受け入れることを決定した場合、ＯＲ３の結腸直腸処置の手術部位３４１３のライブストリーム又はフレームが、例えば、外科用ハブ３４０１、３４１１の間に確立された接続を通じてＯＲ１に送信される。図４９は、ＯＲ３の二次ディスプレイ上に表示された手術部位３４１３のライブストリームを示す。外科用ハブ３４０１、３４１１は、図５０に示されるように、ＯＲ３の手術部位のライブストリームを、ＯＲ１のパーソナルインターフェース３４０６に送信するように協働する。
図５１～図５３を参照すると、術者は、例えば、二次ディスプレイであり得る、パーソナルインターフェース３４０６の制御を通して、ＯＲ３からＯＲ１内の一次ディスプレイ３４０８上に腹腔鏡ライブストリームを拡張してもよい。パーソナルインターフェース３４０６は、図５２に示されるように、ＯＲ１において利用可能であり得る表示を表すアイコンを術者に提示することによって、術者がライブストリームの目的地を選択することを可能にし得る。他のナビゲーション制御３４０７は、図５３に示されるように、パーソナルインターフェース３４０６を通して術者に利用可能であり得る。例えば、パーソナルインターフェース３４０６は、術者がその指をパーソナルインターフェース３４０６上に表示されたライブストリーム上で動かすことによって、ＯＲ３の手術部位のライブストリームをＯＲ１で調整するためのナビゲーション制御を含む。血管の多い領域を可視化するために、助言を求められた術者は、ライブストリームのビューを、パーソナルインターフェース３４０６を介して、ＯＲ３から高度な撮像スクリーンに変化させ得る。術者は、次いで、複数の平面内で画像を操作して、例えば、広角マルチスペクトルビューを使用して血管分布を見ることができる。一例では、外科医は、ジェスチャ、手の運動、音声コマンド、頭の運動などのうちの１つ又は２つ以上を使用して、ライブストリームを調整するか、又はライブストリームの目的地を選択するようにパーソナルインターフェース３４０６に命令を与えることができる。
図５３に示されるように、術者はまた、例えば、心拍数、血圧、換気データ、酸素状態、発生器設定及び使用、並びにＯＲ３内の患者の全ての患者電子データなどの関連情報３４２０のアレイへのアクセスを有してもよい。
外科用ハブ状況認識が提供されてもよい。感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」装置は、感知されたデータを考慮せずに動作する「ダム」装置を上回る改良であり得るが、いくつかの感知されたデータは、単独で、すなわち、行われている外科処置のタイプ又は手術されている組織の型の文脈を伴わずに考慮されるとき、不完全又は決定的ではない場合がある。処置の状況を知ることなく（例えば、手術されている組織の型又は行われている処置のタイプを知ることなく）、制御アルゴリズムは、特定の状況のない感知されたデータが与えられると、モジュール式装置を不正確に又は準最適に制御することができる。例えば、特定の感知されたパラメータに応答して外科用器具を制御するための制御アルゴリズムのための最適な様式は、手術されている特定の組織型に従って変動し得る。これは、異なる組織型が異なる特性（例えば、引き裂きに対する抵抗）を有し、したがって、外科用器具によって行われるアクションに対して異なって応答するという事実に起因し得る。特定のパラメータに対して同じ測定値が感知された場合であっても、外科用器具が異なるアクションを行うことが望ましい場合がある。特定の例として、外科用ステープル留め及び切断器具がそのエンドエフェクタを閉じるための予想外に高い力を感知することに応答して、この器具を制御するための最適な様式は、組織型が引き裂きに対して影響を受けやすいか、又は耐性であるかに依存して変化する。肺組織などの引き裂きを受けやすい可能性がある組織の場合、器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答して、モータを最適に減速させる。胃組織などの引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織上に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答してモータを最適に加速させる。肺組織がクランプされているのか、胃組織がクランプされているのかが分からなければ、制御アルゴリズムは、最適ではない判断を行う可能性がある。
外科用ハブは、様々なデータソースから受信されたデータに基づいて、行われている外科処置に関する情報を導出するように構成され得るシステムを含み得、それに応じて、ペアリングされたモジュール式装置を制御し得る。換言すれば、外科用ハブは、受信されたデータから外科処置に関する情報を推測し、次いで、外科処置の推測された状況に基づいて、外科用ハブとペアリングされたモジュール式装置を制御するように構成され得る。外科用ハブは、受信されたデータ及び／又は構成設定を１つ又は２つ以上の一次ディスプレイ及び／又は二次ディスプレイ上に表示してもよい。
別の例として、図９に示される状況認識外科用ハブ５１０４などの状況認識外科用ハブは、外科医が見る必要があると予期される手術部位における特徴に従って、外科処置の現在又は後続タスクがディスプレイ上の異なるビュー又は倍率を要求するかどうかを判定してもよい。次いで、外科用ハブは、それに応じて、ディスプレイが外科処置全体を通して自動的に調整するように、一次ディスプレイ及び／又は二次ディスプレイ上に表示されるビューを積極的に変化させてもよい。
更に別の例として、状況認識外科用ハブは、外科処置のどのタスクが実施されているか、又はその後に実施されるか、及び特定のデータ又はデータ間の比較が外科処置のそのタスクのために要求されるかどうかを判定することができる。外科用ハブは、外科医が特定の情報を求めるのを待つことなく、実施されている外科処置のタスクに基づいてデータスクリーンを自動的に呼び出すように構成されてもよい。例えば、外科用ハブは、第１のセットのデータを表示するように一次ディスプレイに命令してもよく、第２のセットのデータを表示するように二次ディスプレイに命令してもよい。
状況認識外科用ハブは、手術室が、行われる外科処置のために適切又は最適に設定されているかどうかを判定してもよい。外科用ハブは、実施されている外科処置のタイプを決定し、対応するチェックリスト、製品位置、又はセットアップニーズを（例えば、メモリから）読み出し、次いで、現在の手術室レイアウトを、外科用ハブが実施されていると判定する外科処置のタイプに対する標準レイアウトと比較するように構成され得る。外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイ上に、手術室をどのように設定するかに関する命令をスタッフに表示してもよい。
外科用ハブは、処置のための物品のリスト及び／又は外科用ハブとペアリングされた装置のリストを、所与の外科処置のための物品及び／又は装置の推奨又は予期されるマニフェストと比較するように構成され得る。リスト間に何らかの不連続性がある場合、外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイを使用してユーザに警告を提供するように構成され得る。
状況認識外科用ハブは、外科医（又は他の医療関係者）がエラーを起こしていたか、又は別様で外科処置の経過中に予想されるアクションの方針から逸脱していたかを判定することができる。例えば、外科用ハブは、実施されている外科処置のタイプを判定し、タスクの対応するリスト又は機器使用の順序を（例えば、メモリから）読み出し、次いで、実施されているタスク又は外科処置の経過中に使用されている機器を、判定された外科用ハブが実施されている外科処置のタイプに対して予期されるタスク又は機器と比較するように構成されてもよい。外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイを使用して、予期しないアクションが行われていること、又は予期しない装置が外科処置における特定のタスクで利用されていることを示すアラートを提供してもよい。外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイを使用して、エラーを修正するための修正命令を提供してもよい。
外科用ハブのための状況認識システムは、各外科処置の特定の状況に対して外科用器具、一次ディスプレイ、及び／又は二次ディスプレイを調整し（異なる組織型に対して調整するなど）、外科処置中のアクションを検証することによって、外科処置の結果を改善することができる。状況認識システムはまた、次のタスクを自動的に提案し、データを提供し、処置の状況に従って手術室内のディスプレイ（例えば、一次ディスプレイ及び／又は二次ディスプレイ）及び他のモジュール式装置を調整することによって、外科処置を行う際の外科医の効率を改善する。
図５４Ａは、本開示の少なくとも１つの態様による、受信したデータから導出されたコンテキスト情報（例えば、コンテキストデータ）に従ってモジュール式装置５１０２を制御するためのプロセス５０００ａの論理フロー図を示す。「コンテキスト情報」という句は、本明細書では「コンテキストデータ」という句と交換可能に使用され得る。
状況認識外科用ハブ５１０４は、プロセス５０００ａを実行して、外科処置の前後関係によって決定されるように、外科処置の前、最中、又は後に外科用ハブ５１０４とペアリングされたモジュール式装置５１０２のための適切な制御調整を決定することができる。以下のプロセス５０００ａの説明では、図９も参照されたい。一例では、プロセス５０００ａは、図６に示すように、外科用ハブ５１０４の制御回路（プロセッサ２４４）によって実行され得る。別の例では、プロセス５０００ａは、図１に示されるように、クラウドコンピューティングシステム１０４によって実行され得る。別の例では、プロセス５０００ａは、前述のクラウドコンピューティングシステム１０４及び／又は図７に示される外科用器具のマイクロコントローラ４６１などのモジュール式装置の制御回路と組み合わせた外科用ハブ５１０４の制御回路のうちの少なくとも１つを含む、分散コンピューティングシステムによって実行されてもよい。経済性のために、プロセス５０００ａの以下の説明は、外科用ハブ５１０４の制御回路によって実行されるものとして説明される。しかしながら、プロセス５０００ａの説明は、前述の例の全てを包含することを理解されたい。
プロセス５０００ａを実行する外科用ハブ５１０４の制御回路は、外科用ハブ５１０４が通信可能に接続される１つ又は２つ以上のデータソース５１２６からデータを受信（５００４ａ）する。データソース５１２６は、例えば、データベース５１２２、患者監視装置５１２４、及びモジュール式装置５１０２を含む。一例示では、データベース５１２２は、外科処置が行われている医療施設に関連する患者ＥＭＲデータベースを含み得る。データソース５１２６から受信されたデータ５００４ａは、所与の外科処置に関連付けられた術前データ、術中データ、及び／又は術後データを含む手術前後データを含み得る。データベース５１２２から受信（５００４ａ）したデータは、行われている外科処置のタイプ、又は患者の病歴（例えば、本外科処置の対象であってもなくてもよい医療条件）を含み得る。
プロセス５０００ａが継続すると、外科用ハブ５１０４の制御回路は、データソース５１２６から受信（５００４ａ）したデータからコンテキスト情報（例えば、コンテキストデータ）を導出し得る（５００６）。コンテキスト情報（例えば、コンテキストデータ）は、例えば、行われている処置のタイプ、外科処置において行われている特定のタスク、患者の状態（例えば、患者が麻酔下にあるかどうか、又は患者が手術室にいるかどうか）、又は手術されている組織の型を含み得る。制御回路は、個々のデータソース５１２６又はデータソース５１２６の組み合わせのいずれかからのデータに従ってコンテキスト情報を導出し得る（５００６）。制御回路は、例えば、それが受信するデータのタイプ、データが受信される順序、又はデータに関連付けられた特定の測定値若しくは値に従ってコンテキスト情報を導出し得る（５００６）。例えば、制御回路が、ＲＦ発生器が起動されたことを示すデータをＲＦ発生器から受信する場合、制御回路は、したがって、ＲＦ電気外科用器具が現在使用中であり、外科医が特定の器具を利用して外科処置のタスクを行っている、又は行うであろうことを推測し得る。別の例として、制御回路が、腹腔鏡撮像装置が起動されており、超音波発生器が続いて起動されていることを示すデータを受信する場合、制御回路は、事象が生じた順序に起因して、外科医が外科処置の腹腔鏡切開タスクを行っていることを推測してもよい。別の例として、制御回路が、患者の呼吸が特定の速度を下回ることを示すデータを人工呼吸器から受信する場合、制御回路は、患者が麻酔下にあることを判定してもよい。
次に、制御回路は、導出（５００６ａ）されたコンテキスト情報（例えば、コンテキストデータ）に従って、１つ又は２つ以上のモジュール式装置５１０２に対して（もしあれば）どのような制御調整が必要であるかを判定することができる（５００８ａ）。制御調整を判定（５００８）した後、外科用ハブ５１０４の制御回路は、次いで、制御調整に従ってモジュール式装置を制御してもよい（制御回路が、いずれかが必要であると判定（５００８ａ）した場合）（５０１０）。例えば、制御回路が関節鏡処置が行われていると判定し、処置の次のタスクが、ＲＦ又は超音波外科用器具を液体環境で利用すると判定した場合、制御回路は、器具のエネルギー出力を事前に増加させるために、ＲＦ又は超音波外科用器具の発生器の制御調整が必要であると判定（５００８ａ）することができる（そのような器具は、それらの有効性を維持するために液体環境におけるエネルギーの増加を必要とするため）。次いで、制御回路は、それに応じて、発生器にその出力を増加させることによって、及び／又はＲＦ若しくは超音波外科用器具に発生器から引き出されるエネルギーを増加させることによって、発生器及び／又はＲＦ若しくは超音波外科用器具を制御することができる（５０１０）。制御回路は、例えば、制御調整を特定のモジュール式装置に送信してモジュール式装置５１０２のプログラミングを更新することによって、判定（５００８ａ）された制御調整に従ってモジュール式装置５１０２を制御することができる（５０１０）。モジュール式装置５１０２及び外科用ハブ５１０４が分散コンピューティングアーキテクチャを実行している例では、制御回路は、分散プログラムを更新することによって、判定（５００８）された制御調整に従ってモジュール式装置５１０２を制御してもよい（５０１０）。
外科用ハブはまた、どの制御調整が行われたかを表示してもよい。例えば、外科用ハブの制御回路は、どの制御調整が行われるべきかを判定してもよく、それらの調整を一次ディスプレイ及び／又は二次ディスプレイを介してユーザに表示してもよい。別の例では、外科用ハブの制御回路は、一次スクリーン及び／又は二次スクリーン上で、調整に関連するデータをハイライトするか、又はより目立つようにすることができる。
図５４Ｂ～図５４Ｄは、図５４Ａに示されるプロセス５０００ａの代表的な実施態様を示す。図５４Ａに示されるプロセス５０００ａと同様に、図５４Ｂ～図５４Ｄに示されるプロセスは、一例示では、外科用ハブ５１０４の制御回路によって実行されてもよい。図５４Ｂは、本開示の少なくとも１つの態様による、第１のモジュール式装置から受信された手術前後データから導出されたコンテキスト情報（例えば、コンテキスト情報）に従って第２のモジュール式装置を制御するためのプロセス５０００ｂの論理フロー図を示す。図示される例では、外科用ハブ５１０４の制御回路は、第１のモジュール式装置から手術前後データを受信する（５００４ｂ）。手術前後データは、例えば、モジュール式装置５１０２自体に関するデータ（例えば、圧力差、モータ電流、内力、又はモータトルク）、又はモジュール式装置５１０２が利用されている患者に関するデータ（例えば、組織特性、呼吸数、気道容積、又は腹腔鏡画像データ）を含み得る。手術前後データは、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。手術前後データを受信（５００４ｂ）した後、外科用ハブ５１０４の制御回路は、手術前後データからコンテキスト情報（例えば、コンテキストデータ）を導出する（５００６ｂ）。コンテキスト情報は、例えば、処置タイプ、実施されている処置のタスク、又は患者のステータスを含み得る。コンテキスト情報（例えば、コンテキスト情報）は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。次いで、外科用ハブ５１０４の制御回路は、導出（５００６ｂ）されたコンテキスト情報に基づいて、第２のモジュール式装置のための制御調整を判定（５００８ｂ）し、次いで、それに応じて第２のモジュール式装置を制御する（５０１０ｂ）。制御調整は、一次ディスプレイ及び／又は二次ディスプレイに表示されてもよい。例えば、外科用ハブ５１０４は、患者の肺が収縮したことを示す、人工呼吸器からの手術前後データを受信（５００４ｂ）し、そこから、特定の処置タイプにおける後続タスクが医療撮像装置（例えば、スコープ）を利用するというコンテキスト情報を導出（５００６ｂ）し、医療撮像装置が起動され、特定の倍率に設定されるべきであると判定（５００８ｂ）し、次いで、それに応じて、医療撮像装置を制御してもよい（５０１０ｂ）。
図５４Ｃは、第１のモジュール式装置及び第２のモジュール式装置から受信した手術前後データから導出されたコンテキスト情報（例えば、コンテキストデータ）に従って、第２のモジュール式装置を制御するためのプロセス５０００ｃの論理フロー図を示す。図示の例では、外科用ハブ５１０４の制御回路は、第１のモジュール式装置から手術前後データを受信（５００２ｃ）し、第２のモジュール式装置から手術前後データを受信する（５００４ｃ）。第１のモジュール式装置及び／又は第２のモジュール式装置からの手術前後データは、一次ディスプレイ及び／又は二次ディスプレイ上に表示されてもよい。手術前後データを受信（５００２ｃ、５００４ｃ）した後、外科用ハブ５１０４の制御回路は、手術前後データからコンテキスト情報を導出する（５００６ｃ）。コンテキスト情報は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。次いで、外科用ハブ５１０４の制御回路は、導出（５００６ｃ）されたコンテキスト情報に基づいて、第２のモジュール式装置の制御調整を判定（５００８ｃ）し、次いで、それに応じて第２のモジュール式装置を制御する（５０１０ｃ）。制御調整は、一次ディスプレイ及び／又は二次ディスプレイに表示されてもよい。例えば、外科用ハブ５１０４は、器具が発射されたことを示すＲＦ電気外科用器具からの手術前後データを受信（５００２ｃ）し、器具が発射されたことを示す外科用ステープル留め器具からの手術前後データを受信（５００４ｃ）し、特定の処置タイプにおける後続のタスクが、外科用ステープル留め器具が特定の力で発射されることを必要とするというコンテキスト情報をそこから導出（５００６ｃ）し（発射するための最適な力は、手術されている組織型に従って変化し得るため）、外科用ステープル留め器具に適用されるべき特定の力閾値を決定（５００８ｃ）し、次いで、それに応じて外科用ステープル留め器具を制御し得る（５０１０ｃ）。
図５４Ｄは、第１のモジュール式装置及び第２のモジュール式装置から受信した手術前後データから導出されたコンテキスト情報に従って第３のモジュール式装置を制御するためのプロセス５０００ｄの論理フロー図を示す。図示される例示では、外科用ハブ５１０４の制御回路は、第１のモジュール式装置から手術前後データを受信（５００２ｄ）し、第２のモジュール式装置から手術前後データを受信する（５００４ｄ）。手術前後データは、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。手術前後データを受信（５００２ｄ、５００４ｄ）した後、外科用ハブ５１０４の制御回路は、手術前後データからコンテキスト情報を導出する（５００６ｄ）。コンテキスト情報は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る。外科用ハブ５１０４の制御回路は、次いで、導出（５００６ｄ）されたコンテキスト情報に基づいて、第３のモジュール式装置の制御調整を判定（５００８ｄ）し、次いで、それに応じて第３のモジュール式装置を制御する（５０１０ｄ）。例えば、外科用ハブ５１０４は、両方の装置が起動され、外科用ハブ５１０４とペアリングされたことを示す吸入器及び医療撮像装置から手術前後データを受信（５００２ｄ、５００４ｄ）し、ビデオ支援胸腔鏡補助手術（video-assisted thoracoscopic surgery、ＶＡＴＳ）処置が実施されているというコンテキスト情報をそこから導出（５００６ｄ）し、外科用ハブ５１０４に接続されたディスプレイが処置タイプに関連付けられた特定のビュー又は情報を表示するように設定されるべきであると判定（５００８ｄ）し、次いで、それに応じてディスプレイを制御し得る（５０１０ｄ）。例えば、外科用ハブ５１０４は、医療用撮像装置からの第１の画像（例えば、広ビュー画像）を一次ディスプレイ上に表示してもよく、医療用撮像装置からの第２の画像（例えば、狭ビュー画像）を二次ディスプレイ上に表示してもよい。
一例では、外科用ハブ５７０６（例えば、各外科用ハブ）は、１つ又は２つ以上の手術室事象がいつ発生するかを（例えば、状況認識システムを介して）判定するように構成されてもよく、１つ又は２つ以上の事象（例えば、各事象）に費やされた時間の長さを追跡してもよい。手術室事象は、外科用ハブ５７０６がその発生を検出又は推測し得る事象であり得る。手術室事象は、例えば、特定の外科処置、外科処置のタスク若しくは一部、又は外科処置間の休止時間、装置に関するエラーなどを含み得る。手術室事象は、個々の処置からのデータが、ともに集約され、検索可能データセットを形成し得るように、行われている外科処置のタイプなどの事象タイプに従って分類されてもよい。
例示では、外科用ハブ５７０６は、外科処置が行われているかどうかを判定し、次いで、処置間に費やされた時間の長さ（すなわち、休止時間）及び処置自体に費やされた時間の両方を追跡するように構成される。外科用ハブ５７０６は、外科処置の間又はその各々の間のいずれかに医療関係者（例えば、外科医、看護師、用務係）によって行われる個々のタスクのそれぞれに費やされる時間を決定及び追跡するように更に構成されてもよい。外科用ハブは、上記で更に詳細に説明される状況認識システムを介して、外科処置又は外科処置の異なるタスクが行われているときを判定してもよい。
図５５は、手術室の事象に関連付けられたデータを追跡するためのプロセス５３００の論理フロー図を示す。プロセス５３００を実行する外科用ハブ５７０６の制御回路は、外科用ハブ５７０６に通信可能に連結されたモジュール式装置及び他のデータソース（例えば、データベース及び患者監視装置）から手術前後データを受信（５３０２）する。次いで、制御回路は、例えば、受信（５３０２）したデータからコンテキスト情報を導出する状況認識システムを介して事象が発生したかどうかを判定（５３０４）する。事象は、外科用ハブ５７０６が使用されている手術室に関連付けられ得る。事象は、例えば、外科処置、外科処置のタスク若しくは一部、又は外科処置若しくは外科処置のタスク間の休止時間を含んでもよい。更に、制御回路は、事象の時間長、事象の経過中に利用される外科用器具及び／又は他の医療製品、並びに事象に関連付けられた医療従事者など、特定の事象に関連付けられたデータを追跡する。外科用ハブ５７０６は、例えば、状況認識システムを介して、事象に関するこの情報を更に判定してもよい。外科用ハブ５７０６は、事象又は事象に関する情報を一次ディスプレイ及び／又は二次ディスプレイ上に表示することができる。
例えば、状況認識外科用ハブ５７０６の制御回路は、１つ又は２つ以上のモジュール式装置５１０２（図９）及び／又は患者監視装置５１２４（図９）から受信したデータによって、患者において麻酔が誘発されていることを判定することができる。次いで、制御回路は、超音波外科用器具又はＲＦ電気外科用器具が起動されたことを検出すると、外科処置の動作部分が開始したと判定することができる。したがって、制御回路は、特定のタスクの開始と外科処置の手術部分における第１のタスクの開始との間の時間差に従って、麻酔誘発タスクの時間の長さを決定することができる。同様に、制御回路は、制御回路が処置における後続のタスクが開始したことをいつ検出したのかに従って、外科処置における特定の外科作業がどれほど長くかかったかを判定することができる。更に、制御回路は、制御回路が処置における最後の外科作業が終了したことをいつ検出したのかに従って、外科処置の全体的な手術部分がどれだけ長くかかったかを判定することができる。制御回路はまた、タスクの各々の間の器具の起動及び／又は使用を追跡することによって、どの外科用器具（及び他のモジュール式装置５１０２）が外科処置における各タスクの過程の間に利用されているかを判定することができる。制御回路はまた、例えば、患者監視装置５１２４が患者から取り外されたときを検出することによって、（図８６のタスク１４の５２２８におけるように）外科処置の完了を検出してもよい。次いで、制御回路は、後続の外科処置が始まったと制御回路がいつ推測したのかに従って、処置間の休止時間を追跡することができる。外科用ハブ５７０６は、一次ディスプレイ及び／又は二次ディスプレイを使用して、実施されたタスク、使用された外科用器具、時間の長さ、後続のタスク、前のタスクなどに関する情報を表示することができる。
プロセス５３００を実行する制御回路は、次いで事象タイプに基づいて、事象に関連付けられたデータを集約（５３０６）する。集約されたデータ又は集約されたデータのサブセットは、一次ディスプレイ及び／又は二次ディスプレイ上に表示されてもよい。一例では、集約（５３０６）されたデータは、外科用ハブ５７０６のメモリ２４９（図６）に記憶されてもよい。別の例示では、制御回路は、事象に関連付けられたデータをクラウド５７０２にアップロードするように構成され、そうすると、データは、クラウド５７０２に接続された外科用ハブ５７０６の各々によってアップロードされた全てのデータに対して、事象タイプに従って集約（５３０６）される。別の例では、制御回路は、事象に関連付けられたデータを外科用ハブ５７０６のローカルネットワークに関連付けられたデータベースにアップロードするように構成され、その後、データは、外科用ハブ５７０６のローカルネットワークにわたってアップロードされたデータの全てに対する事象タイプに従って集約される（５３０６）。
一例では、制御回路は、事象タイプに関連付けられたデータを事象タイプに関連付けられたベースラインデータと比較するように更に構成される。ベースラインデータは、例えば、特定の病院、病院のネットワーク、又はクラウド５７０２の全体にわたる特定の事象タイプに関連付けられた平均値に対応し得る。ベースラインデータは、外科用ハブ５７０６に記憶されてもよく、又は手術前後データが受信（５３０２）されると、外科用５７０６によって読み出されてもよい。
事象タイプに従って事象のうちの１つ又は２つ以上（例えば、各々）からのデータを集約（５３０６）することは、事象タイプの個々のインシデントが、その後、履歴データ又は集約されたデータと比較されて、事象タイプについての基準からの逸脱がいつ発生するかを判定することを可能にし得る。制御回路は、問い合わせを受信したかどうかを更に判定する（５３０８）。制御回路が問い合わせを受信しない場合、プロセス５３００は、いいえの分岐に沿って続き、ループバックしてデータソースからデータを受信（５３０２）し続ける。制御回路が特定の事象タイプについての問い合わせを受信した場合、プロセス５３００は、はいの分岐に沿って続き、制御回路は、次に、特定の事象タイプについての集約されたデータを読み出し、問い合わせに対応する適切な集約されたデータを表示する（５３１０）。様々な例示では、制御回路は、外科用ハブ５７０６のメモリ、クラウド５７０２、又はローカルデータベース５７０８ａ、５７０８ｂから適切な集約データを読み出してもよい。
一例では、外科用ハブ５７０６は、外科処置の実行において利用される１つ又は２つ以上のモジュール式装置から受信されたデータ（及び他のデータソース）に従って、前述の状況認識システムを介して処置のための時間の長さを決定するように構成される。外科処置が完了すると、外科用ハブ５７０６は、特定のタイプの外科処置を完了するために必要とされる時間の長さをアップロード又は記憶し、次いで、処置のタイプの他の全てのインスタンスからのデータと集約され得る。いくつかの態様では、外科用ハブ５７０６、クラウド５７０２、及び／又はローカルデータベース５７０８ａ、５７０８ｂは、次いで、集約されたデータから、特定のタイプの処置に対する平均又は予期される処置長さを決定し得る。外科用ハブ５７０６がその後の処置の特定のタイプに関する問い合わせを受信すると、外科用ハブ５７０６は、平均（又は予想）処置長さに関するフィードバックを提供するか、又は処置タイプの個々の発生を平均処置長さと比較して、特定の発生が平均処置長さから逸脱しているかどうかを判定することができる。
いくつかの態様では、外科用ハブ５７０６は、事象タイプの各発生率を事象タイプの平均又は予期される基準と自動的に比較し、次いで、事象タイプの特定の発生率が基準から逸脱したときにフィードバックを提供する（例えば、報告を表示する）ように構成され得る。例えば、外科用ハブ５７０６は、外科処置（又は外科処置のタスク）が、外科処置（又は外科処置のタスク）を完了するための予期される時間の長さから、設定量を超えて逸脱するときはいつでも、フィードバックを提供するように構成されてもよい。
図５６は、本開示の少なくとも１つの態様による、複数のハブ及びインタラクティブ二次ディスプレイを含む外科処置中のロボット外科システムの概略図である。図５７は、本開示の少なくとも１つの態様による、図５７のインタラクティブ二次ディスプレイの詳細図である。
主に図５７を参照すると、ハブ１３３８０、１３３８２は、２つのハブ１３３８０、１３３８２間に無線通信リンクが確立されるように無線通信モジュールを含む。加えて、ロボットハブ１３３８０は、滅菌野内のインタラクティブ二次ディスプレイ１３３６２、１３３６４と信号通信を行う。ハブ１３３８２は、ハンドヘルド式外科用器具１３３６６と信号通信を行う。外科医１３３７１が、患者１３３６１に向かって、（参照文字１３３７１’によって示されるように）滅菌野内に移動する場合、外科医１３３７１は、無線インタラクティブディスプレイ１３３６２、１３３６４のうちの１つを使用して、遠隔コマンドコンソール１３３７０から離れてロボット１３３７２を動作させることができる。滅菌野内の複数の二次ディスプレイ１３３６２、１３３６４により、外科医１３３７１は、外科処置及びその中で利用されるロボットツールの制御のための重要な情報を見失うことなく、遠隔コマンドコンソール１３３７０から離れることができる。
インタラクティブ二次ディスプレイ１３３６２、１３３６４により、臨床医は、ロボット１３３７２の制御を維持しながら、遠隔コマンドコンソール１３３７０から離れて滅菌野に入ることができる。例えば、インタラクティブ二次ディスプレイ１３３６２、１３３６４により、臨床医は、電動ハンドヘルド式外科用器具１３３６６及びロボット外科システムの同時的な協働的かつ／又は協調的な制御を維持することができる。様々な例では、情報は、ロボット外科用システムと、１つ又は２つ以上の電動ハンドヘルド式外科用器具１３３６６と、外科用ハブ１３３８０、１３３８２と、インタラクティブ二次ディスプレイ１３３６２、１３３６４との間で伝送される。このような情報は、例えば、ロボット外科用システム及び／若しくは電動ハンドヘルド式外科用器具のディスプレイ上の画像、ロボット外科用システム及び／若しくは電動ハンドヘルド式外科用器具のパラメータ、並びに／又はロボット外科用システム及び／若しくは電動ハンドヘルド式外科用器具の制御コマンドを含んでもよい。
様々な例では、ロボット外科システムの制御ユニット（例えば、ロボット外科システム１３１１０の制御ユニット１３１１３）は、外科医のコマンドコンソール（例えば、コンソール１３１１６）からインタラクティブ二次ディスプレイ（例えば、ディスプレイ１３１３０）に少なくとも１つの表示要素を通信するように構成される。換言すれば、外科医のコンソールにおけるディスプレイの一部は、インタラクティブ二次ディスプレイのディスプレイ上に複製され、ロボットディスプレイをインタラクティブ二次ディスプレイと統合する。インタラクティブ二次ディスプレイの表示上でロボットディスプレイを再現することにより、臨床医は、そこに表示される視覚画像を見失うことなく、遠隔コマンドコンソールから離れることができる。例えば、インタラクティブ二次ディスプレイ１３３６２、１３３６４のうちの少なくとも１つは、ロボットディスプレイ及び／又は外科医のコマンドコンソール１３３７０からの情報などのロボットからの情報を表示することができる。
様々な例では、インタラクティブ二次ディスプレイ１３３６２、１３３６４は、ロボット外科システムの少なくとも１つの動作パラメータを制御及び／又は調整するように構成されている。このような制御が、自動的に及び／又は臨床医入力に応答して発生してもよい。臨床医は、インタラクティブ二次ディスプレイ１３３６２、１３３６４上のタッチ感知スクリーン及び／又はボタンとの相互作用によって、１つ又は２つ以上のロボットツールの動き及び／又は機能を制御するコマンドを入力することができる。例えば、ハンドヘルド式外科用器具１３３６６を利用する場合、臨床医はロボットツール１３３７４を異なる位置に動かすことを望む場合がある。ロボットツール１３３７４を制御するために、臨床医はインタラクティブ二次ディスプレイ１３３６２、１３３６４に入力を行い、インタラクティブ二次ディスプレイ１３３６２、１３３６４はそれぞれ、ロボットハブ１３３８０内のロボット外科用システムの制御ユニットに臨床医入力を伝送する。
様々な例では、ロボット外科用システムの遠隔コマンドコンソール１３３７０のところにいる臨床医は、１つ又は２つ以上のインタラクティブ二次ディスプレイ１３３６２、１３３６４上の臨床医入力によって開始された任意のロボットコマンドを手動でオーバーライドすることができる。例えば、臨床医入力が１つ又は２つ以上のインタラクティブ二次ディスプレイ１３３６２、１３３６４から受信されると、遠隔コマンドコンソール１３３７０のところにいる臨床医がコマンドを発して所望の機能を実行させることを可能としてもよく、又は、臨床医が遠隔コマンドコンソール１３３７０と対話してコマンドをオーバーライドし、コマンドが発行されることを禁止してもよい。
特定の例では、滅菌野内の臨床医は、ロボット１３３７２及び／又はこれに取り付けられたロボットツール１３３７４を制御するための許可を要求することが必要であってもよい。遠隔コマンドコンソール１３３７０における外科医１３３７１は、臨床医の要求を承諾又は拒否することができる。例えば、外科医は、ハンドヘルド式外科用器具を操作している、及び／又はインタラクティブ二次ディスプレイ１３３６２、１３３６４と対話している別の臨床医によって許可が要求されていることを示すポップアップ又は他の通知を受信してもよい。
様々な例では、ロボット外科システム及び／又は外科用ハブ１３３８０、１３３８２のプロセッサは、例えば、ロボット外科システムの事前に承認された機能でプログラムされてもよい。例えば、インタラクティブ二次ディスプレイ１３３６２、１３３６４からの臨床医入力が事前に承認された機能に対応している場合、ロボット外科システムは、インタラクティブ二次ディスプレイ１３３６２、１３３６４がロボット外科システムを制御することを可能にし、かつ／又はインタラクティブ二次ディスプレイ１３３６２、１３３６４がロボット外科システムを制御することを禁止しない。インタラクティブ二次ディスプレイ１３３６２、１３３６４からの臨床医入力が予め承認された機能に対応していない場合、インタラクティブ二次ディスプレイ１３３６２、１３３６４は、ロボット外科用システムに所望の機能を実行するように命令することができない。一例では、ロボットハブ１３３７０及び／又は外科用ハブ１３３８２内の状況認識モジュールは、インタラクティブ二次ディスプレイが制御運動をロボット外科システムに発行することができるときに規定及び／又は影響を及ぼすように構成される。
様々な例では、インタラクティブ二次ディスプレイ１３３６２、１３３６４は、ロボット外科システムの一部分と接触すると、ロボット外科システムのこの部分を制御する。例えば、インタラクティブ二次ディスプレイ１３３６２、１３３６４がロボットツール１３３７４と接触すると、接触したロボットツール１３３７４の制御がインタラクティブ二次ディスプレイ１３３６２、１３３６４に許可される。臨床医は次に、インタラクティブ二次ディスプレイ１３３６２、１３３６４上のタッチ感知スクリーン及び／又はボタンを利用して、接触したロボットツール１３３７４の動き及び／又は機能を制御するコマンドを入力することができる。この制御スキームにより、臨床医はロボットアームの位置を変えたり、ロボットツールをリロードしたり、かつ／又は他の方法でロボット外科用システムを再構成したりすることができる。上記と同様の方法で、ロボット外科用システムの遠隔コマンドコンソール１３３７０のところにいる臨床医１３３７１は、インタラクティブ二次ディスプレイ１３３６２、１３３６４によって開始された任意のロボットコマンドを手動でオーバーライドすることができる。
様々な態様では、本開示は、本明細書で説明するように、コンソールから第１のユーザ入力を受信し、ロボット外科用ツールの機能を制御するためのモバイル無線制御モジュールから第２のユーザ入力を受信するための制御回路を提供する。例えば、第１のユーザは、二次ディスプレイを使用して入力を提供してもよく、第２のユーザは、別の二次ディスプレイを使用して入力を提供してもよい。様々な態様では、本開示は、本明細書で説明するように、実行されると、機械に、コンソールから第１のユーザ入力を受信させ、ロボット外科用ツールの機能を制御するためのモバイル無線制御モジュールから第２のユーザ入力を受信させるためのコンピュータ可読命令を記憶している非一時的コンピュータ可読媒体を提供する。
図５８は、二次ディスプレイであり得る、個人所有の無線装置２００００２と外科用ハブ２００００６とのペアリングの例を示す。無線装置２００００２及び外科用ハブ２００００６は、無線リンク２００００４を介して互いに通信することができる。本明細書に開示されるように、外科用ハブ２００００６は、無線装置２００００２から受信されたインポートされたデータを、外科チームのメンバーに見える１つ又は２つ以上のディスプレイ上に表示してもよい。一態様では、外科用ハブ２００００６は、インポートされたデータを一次又は使用中のディスプレイモニタ２００００８に表示させることができる。別の態様では、外科用ハブ２００００６は、インポートされたデータを二次ディスプレイモニタ２０００１０に表示させることができる。
いくつかの態様では、本明細書に記載されるコンピュータシステムは、外科処置の過程の間、手術スタッフを評価し（例えば、それらが外科用器具をどのように使用しているか）、手術スタッフ員の技術又はアクションを改善するための示唆を提案するようにプログラムされ得る。一態様では、外科用ハブ１０６、２０６（図１～図１１）などの本明細書に記載されるコンピュータシステムは、ベースラインに対する外科医及び／又は他の手術スタッフ員の技術、身体特性、及び／又は能力を分析するようにプログラムされ得る。更に、コンピュータシステムは、手術スタッフがベースラインから逸脱しているときを示す通知又はプロンプトを提供するようにプログラムすることができ、その結果、手術スタッフは彼らのアクションを変更し、彼らの能力又は技術を最適化することができる。いくつかの態様では、通知は、手術スタッフが適切な技術を利用していないという警告（これは、手術スタッフが彼らの技術に対処するために取り得る是正措置の推奨を更に含み得る）、代替的な外科用製品の提案、処置変数間の相関に関する統計（例えば、処置を完了するためにとられた時間）、及びモニタされた手術スタッフの身体特性、外科医間の比較などを含むことができる。様々な態様では、通知又は推奨は、リアルタイム（例えば、外科処置中の手術室内）又は処置後のレポートのいずれかで提供することができる。したがって、コンピュータシステムは、スタッフ員の技術及び器具使用スキルを自動的に分析及び比較するようにプログラムされ得る。
図５９は、本開示の少なくとも１つの態様による、例示的なＯＲセットアップの図である。様々な実現において、外科用ハブ２１１８０１は、外科用ハブの項で上述したように、通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ）を介して、様々な１つ又は２つ以上のカメラ２１１８０２、外科用器具２１１８１０、ディスプレイ２１１８０６、及びＯＲ２１１８００内の他の外科用装置に接続することができる。カメラ２１１８０２は、外科処置の過程の間、手術スタッフ員２１１８０３の画像及び／又はビデオをキャプチャするために向けることができる。したがって、外科用ハブ２１１８０１は、カメラ２１１８０２からキャプチャされた画像及び／又はビデオデータを受信して、外科処置中に手術スタッフ員２１１８０３の技術若しくは身体特性を視覚的に分析することができる。
図６０は、本開示の少なくとも１つの態様による、手術スタッフ員を視覚的に評価するためのプロセス２１１０００の論理フロー図である。プロセス２１１０００の以下の説明では、図６、及び図５９もまた参照されたい。プロセス２１１０００は、図６に示される外科用ハブ２０６のプロセッサ２４４などの、コンピュータシステムのプロセッサ又は制御回路によって実行され得る。したがって、プロセス２１１０００は、メモリ２４９内に記憶されたコンピュータ実行可能命令セットとして具現化され得、命令セットは、プロセッサ２４４によって実行されると、コンピュータシステム（例えば、外科用ハブ２１１８０１）に、説明される工程を実施させる。
外科用ハブの項の下で上述したように、外科用ハブ２１１８０１などのコンピュータシステムは、外科用器具、発生器、排煙器、ディスプレイなどの様々な外科用装置に接続されるか、又は対となることができる。これらの外科用装置に対する外科用ハブ２１１８０１の接続を介して、外科用ハブ２１１８０１は、装置が外科処置中に使用されている間に、これらのペアリングされた外科用装置から手術前後データの配列を受信し得る。更に、項目「状況認識」の下で上述したように、外科用ハブ２１１８０１は、接続された外科用装置から受信した手術前後データに少なくとも部分的に基づいて、実施されている外科処置のコンテキスト（例えば、処置タイプ又は実施されている処置の工程）を判定することができる。したがって、プロセス２１１０００を実行するプロセッサ２４４は、外科用ハブ２１１８０１と接続又はペアリングされた外科用装置から手術前後データを受信し（２１１００２）、状況認識を利用して、受信した手術前後データに少なくとも部分的に基づいて、外科的コンテキストを判定する（２１１００４）。状況認識を通じて外科用ハブ２１１８０１によって判定された外科的コンテキストを利用して、外科処置を実施する手術スタッフに評価を通知することができる。
したがって、プロセッサ２４４は、外科処置を実行する手術スタッフの画像（複数可）を、例えば、ＯＲ２１１８００内に位置付けられたカメラ２１１８０２を介して、キャプチャする２１１００６。キャプチャされた画像は、静止画像又は動画像（すなわち、ビデオ）を含むことができる。手術スタッフの画像は、様々な角度及び倍率でキャプチャすることができ、異なるフィルタを利用するなどができる。一実施態様では、カメラ２１１８０２は、処置を行う各手術スタッフ員を集合的に可視化できるように、ＯＲ２１１８００内に配置される。
したがって、プロセッサ２４４は、１つ又は２つ以上の手術スタッフ員の身体特性を、キャプチャされた画像（複数可）から判定する２１１００８。例えば、身体特性は、図６１～図６２に関連して論じたような姿勢、又は図６３～図６４に関連して論じたような手首角度を含み得る。他の実施態様では、身体特性は、個人の頭部、肩、胴、肘、脚、臀部などの位置、配向、角度、又は回転を含み得る。身体特性は、様々なマシンビジョン、画像処理、物体認識、及び光学追跡技術を利用して判定することができる２１１００８。一態様では、身体特性は、キャプチャされた画像を処理して、画像内の物体の縁を検出し、検出された画像を評価されている身体部分のテンプレートと比較することによって、判定することができる２１１００８。評価される身体部分が認識されると、その位置、配向、及び他の特性は、追跡された身体部分の移動をカメラ２１１８０２の既知の位置と比較することによって追跡することができる。別の態様では、身体特性は、マーカーベースの光学システム（例えば、外科用ハブ２１１８０１に接続されたカメラ２１１８０２又は他のセンサによって受信することができる電磁放射線又は他の信号を放出する手術スタッフ員のユニフォームに埋め込まれたアクティブマーカー）を利用して決定することができる（２１１００８）。カメラ２１１８０２に対するマーカーの移動を追跡することによって、プロセッサ２４４は、このため身体部分の対応する位置及び向きを判定することができる。
したがって、プロセッサ２４４は、手術スタッフ員の判定された身体特性をベースラインに対して評価する２１１０１０。一態様では、ベースラインは、状況認識を介して判定された外科的コンテキストに対応することができる。プロセッサ２４４は、例えば、所与の外科的コンテキストに従って、メモリ（例えば、図６に示されるメモリ２４９）から様々な身体特性のためにベースラインを読み出すことができる。ベースラインは、特定の外科的コンテキスト中に追跡される特定の身体特性の値又は値の範囲を含むことができる。異なる外科的コンテキストにおいて評価される身体特性のタイプは、各々特定の外科的コンテキストと同じであるか、又は固有であり得る。
一態様では、プロセッサ２４４は、外科処置中にリアルタイムで手術スタッフ員にフィードバックを提供することができる。リアルタイムフィードバックは、ＯＲ２１１８００内のディスプレイ２１１８０６上に表示された図式の通知又は推奨、外科用ハブ２１１８０１又は外科用器具２１１８１０などによって放出された、音声フィードバックを含むことができる。更に、フィードバックは、トロカールポート配置がシフトされること、外科用器具が１つのトロカールポートから別のポートへと移動されること、手術される患者の位置付けが調整される（例えば、テーブル角度の増加される又は回転される状態になる）ことの提案、及び手術部位へのアクセスを改善し、手術スタッフによって提示される非理想的な外科処置を最小限に抑えるための他のかかる提案を含み得る。別の態様では、プロセッサ２４４は、手術スタッフ員に手術後フィードバックを提供することができる。手術後フィードバックは、学習目的のために手術スタッフによってレビューすることのできる処置をキャプチャしたビデオ上に表示される図式のオーバーレイ又は通知、手術スタッフがベースラインからずれた時間又は特定の外科的工程を示す手術後レポートなどを含むことができる。任意の視覚的に識別可能な身体特性（又は身体特性の組み合わせ）が、手術スタッフによって提示された技術の改善を提案する基礎として利用することができる。
一態様では、プロセス２１１０００の１つ又は２つ以上の工程は、クラウドシステムハードウェア及び機能モジュールの項の下で記載されるクラウドコンピューティングシステムなどの、第２の又は遠隔コンピュータシステムによって実行することができる。例えば、外科用ハブ２１１８０１は、上述したように、接続された外科用装置からの手術前後データを受信し２１１００２、手術前後データに少なくとも部分的に基づいて、外科的コンテキストを判定し２１１００４、カメラ２１１８０２を介して手術スタッフ員２１１８０３の画像をキャプチャする２１１００６か、又は受信し、手術スタッフ員２１１８０３の身体特性を判定する２１１００８ことができる。しかしながら、この態様では、外科用ハブ２１１８０１上で評価を実行する代わりに、外科用ハブ２１１８０１は、代わりに、身体特性及び判定された外科的コンテキストに関するデータをクラウドコンピューティングシステムなどの第２のコンピュータシステムに送信することができる。次いで、クラウドコンピューティングシステムは、判定された身体特性が、外科的コンテキストに対応するベースライン身体特性から逸脱しているかどうかを判定することによって、評価を実行することができる。いくつかの態様では、ベースラインの身体特性は、クラウドコンピューティングシステムに通信可能に接続された外科用ハブ２１１８０１の全てから集約されたデータから決定又は計算することができ、これにより、クラウドコンピューティングシステムは、いくつかの医療施設にわたって手術スタッフ員２１１８０３の技術を比較することが可能になる。したがって、クラウドコンピューティングシステムは、外科用ハブ２１１８０１によって判定された身体特性と、クラウドコンピューティングシステム上に記憶された、又はクラウドコンピューティングシステムによって判定された対応するベースラインとの間の比較の結果を送信することができる。結果を受信すると、外科用ハブ２１１８０１は、次いで、適切なアクションを取ることができる（例えば、上述のように、手術スタッフ員２１１８０３の技術がベースラインから逸脱している場合、通知を表示する）。他の態様では、プロセス２１１０００の１つ又は２つ以上の追加若しくは異なる工程は、第１のコンピューティングシステムに通信可能に結合される他のコンピューティングシステムによって実行することができる。かかる接続されたコンピュータシステムは、いくつかの態様では、分散コンピューティングシステムとして具現化することができる。
図６１～図６２は、評価される身体特性が、手術スタッフ員の姿勢である、図６０に示されるプロセス２１１０００の仮想的な実施態様を示す。図６１は、本開示の少なくとも１つの態様による、外科処置の過程中の手術スタッフ員２１１０５２の一連のモデル２１１０５０ａ、２１１０５０ｂ、２１１０５０ｃ、２１１０５０ｄを示す図である。対応的に、図６２は、本開示の少なくとも１つの態様による、図６１に示される手術スタッフ員の測定された姿勢を経時的に示すグラフ２１１１００である。図５９～図６０はまた、以下の図６１～図６２の説明で参照されるべきである。したがって、プロセス２１１０００を実行する外科用ハブ２１１８０１は、手術スタッフ員の姿勢を分析し、スタッフ員の姿勢がベースラインから逸脱する場合に推奨を提供することができる。不十分な、予期せぬ、又は別様に不適切な姿勢は、例えば、外科医が疲労していること、特定の外科的工程では困難を有すること、外科用器具を不正確に利用していること、外科用器具を誤って位置付けしていること、若しくは危険を生じ得る潜在的に危険な方法で行動していることを示すことができる。したがって、外科処置の経過中に手術スタッフ員の姿勢を監視し、スタッフ員がベースライン姿勢から逸脱しているときに通知を提供することは、是正措置を取ることができるように、又は他の個人が是正措置を取る（例えば、疲労したスタッフ員をより新鮮な個人と交換する）ことを可能にするように、危険な行為に関して無自覚のユーザに警告するために有益であり得る。
図６２を参照すると、グラフ２１１１００の縦軸２１１１０２は、個人の姿勢を表現し、横軸２１１１０４は、時間を表現する。図６１の第１のモデル２１１０５０ａは、外科処置中の図６２の時間ｔ１に対応し、第２のモデル２１１０５０ｂは時間ｔ２に対応し、第３のモデル２１１０５０ｃは時間ｔ３に対応し、第４のモデル２１１０５０ｄは時間ｔ４に対応する。並行して、図６１及び図６２は、評価されている個人の姿勢が、外科処置の過程中にベースライン位置（複数可）から次第に逸脱することを示す。
一態様では、コンピュータシステムによって評価されている個人の姿勢は、対応する初期又は閾値位置からの個人の身体の１つ又は２つ以上の場所の位置の逸脱に対応するメトリックとして定量化され得る。例えば、図６１は、それぞれ、第１の線２１１０５５、第２の線２１１０５７、及び第３の線２１１０５９によって経時的にモデル化された個人の頭部位置２１１０５４、肩部位置２１１０５６、及び臀部位置２１１０５８における変化を示す。マーカーベースの光学システムを利用する態様では、外科医の制服は、例えば、光学システムによって追跡することができるこれらの場所のうちの１つ又は２つ以上に位置するマーカーを有することができる。マーカーレス光学システムを利用する一態様では、光学システムは、手術スタッフ員を識別し、かつ識別された手術スタッフ員の１つ又は２つ以上の身体部分又は身体箇所の場所及び移動を光学的に追跡するように構成することができる。更に、頭部、肩、及び臀部位置２１１０５４、２１１０５６、２１１０５８は、ベースラインヘッド位置２１１０６０、ベースライン肩部位置２１１０６２、及びベースライン臀部位置２１１０６４とそれぞれ比較することができる。ベースライン位置２１１０６０、２１１０６２、２１１０６４は、それぞれの身体部分の初期位置（すなわち、図６２の時間ｔ０における位置）に対応することができるか、又は身体部分の位置が比較される所定の閾値であることができる。一態様では、（グラフ２１１１００の縦軸２１１１０２によって表現されるような）姿勢メトリックは、身体位置２１１０５４、２１１０５６、２１１０５８の内の１つとその対応するベースライン位置２１１０６０、２１１０６２、２１１０６４との間の距離に等しくなり得る。別の態様では、姿勢メトリックは、身体位置２１１０５４、２１１０５６、２１１０５８のうちの２つ以上と、それらの対応するベースライン位置２１１０６０、２１１０６２、２１１０６４との間の累積距離に等しくてもよい。グラフ２１１１００内の第１の線２１１１０８は、経時的な未加工の姿勢メトリック値を表現し、第２の線２１１１０６は、経時的な正規化された姿勢メトリック値を表現する。様々な態様では、プロセス２１１０００は、未加工又は数学的に操作された（例えば、正規化された）データに従って、身体特性（この場合、姿勢）がベースラインから逸脱しているかどうかを評価する２１１０１０ことができる。
一態様では、プロセス２１１０００を実行する外科用ハブ２１１８０１は、計算された姿勢メトリックを、１つ又は２つ以上の閾値と比較することができ、次いで、それに従い様々なアクションをとることができる。図示された実現では、外科用ハブ２１１８０１は、姿勢メトリックを第１の閾値２１１１１０及び第２の閾値２１１１１２と比較する。第２の線２１１１０６によって表される正規化された姿勢メトリックが第１の閾値２１１１１０を超える場合、外科用ハブ２１１８０１は、特定の個人の形態に潜在的なリスクがあることを示す第１の通知又は警告をＯＲ２１１８００内の手術スタッフに提供するように構成され得る。更に、第２の線２１１１０６によって表される正規化された姿勢メトリックが第２の閾値２１１１１２を超える場合、外科用ハブ２１１８０１は、特定の個人の形態に高い程度のリスクがあることを示す第２の通知又は警告をＯＲ２１１８００内のユーザに提供するように構成することができる。例えば、時間ｔ４において、第４のモデル２１１０５０ｄによって表されるような評価された手術スタッフ員の姿勢メトリックは、第１の閾値２１１１１０を超える。したがって、外科用ハブ２１１８０１は、手術スタッフに第１又は初期警告を提供するように構成することができる。
図６３～図６４は、評価される身体特性が、手術スタッフ員の手首角度である、図６０に示されるプロセス２１１０００の仮想的な実施態様を示す。図６３は、本開示の少なくとも１つの態様による、外科用器具２１１６５４を保持する外科医の描写である。対応的に、図６４は、本開示の少なくとも１つの態様による、外科処置結果に対する手首の角度の散布図２１１７００である。図５９～図６０はまた、以下の図６３～図６４の説明で参照されるべきである。したがって、プロセス２１１０００を実行する外科用ハブ２１１８０１は、外科用器具２１１６５４を保持する手術スタッフ員の手の手首角度を分析し、スタッフ員の手首角度がベースラインから逸脱する場合に推奨を提供することができる。外科用器具に対する極端な手首角度によって証明されるように、外科用器具を不適切に保持することは、例えば、外科医が、外科用器具を不正確に利用していること、外科用器具を不正確に位置付けしていること、特定の処置工程のための不正確な外科用器具を利用していること、又は別様に危険を生じ得る潜在的に危険な態様で作用していることを示すことができる。
この特定の実施態様では、個人の手首２１１６５０の角度は、外科医によって保持されている外科用器具２１１６５４の長手方向軸２１１６５６と個人の手の長手方向軸２１１６５２（すなわち、近位から遠位への軸）との間の角度αとして定義される。他の実施態様では、手首角度は、例えば、個人の手と前腕との間の角度として定義され得る。図６４の散布図２１１７００では、縦軸２１１７０２は、手首角度αを表現し、横軸２１１７０４は、処置結果を表現する。縦軸２１１７０２の右側及び左側の横軸２１１７０４の部分は、例えば、それぞれ、肯定的及び否定的な処置結果に対応することができる。外科用器具２１１６５４の特定の処置工程又は発射が過剰な出血をもたらしたかどうか、外科処置のための再動作の発生率など、様々な異なる処置結果を、外科医の手首角度αと比較することができる。更に、処置結果は、外科医の手首角度αと比較される特定のタイプの処置結果に応じて、様々な異なる様式で定量化することができる。例えば、処置結果が、外科用器具２１１６５４の特定の発射後に発生した出血である場合、横軸２１１７０４は、外科用器具２１１６５４の発射からの切開線に沿った血液の程度又は量を表すことができる。更に、散布図２１１７００内のプロットされた各点の手首角度αは、外科処置の特定の瞬間における手首角度α、外科処置の特定の工程中の平均手首角度α、外科処置中の全体的な平均手首角度などを表すことができる。更に、手首角度αが平均手首角度αに対応するか、又は特定の瞬間の手首角度αに対応するかは、手首角度αの比較対象である処置結果のタイプと対応し得る。例えば、横軸２１１７０４によって表される処置結果が、外科用器具２１１６５４の発射からの出血量である場合、縦軸２１１７０２は、外科用器具２１１６５４が発射された瞬間の手首角度αを表すことができる。別の例として、横軸２１１７０４によって表される処置結果が、特定の処置タイプのための再動作の発生率である場合、縦軸２１１７０２は、外科処置中の平均手首角度αを表すことができる。
一態様では、プロセス２１１０００を実行する外科用ハブ２１１８０１は、計算された手首角度αを、１つ又は２つ以上の閾値と比較することができ、その後、様々なアクションをとることができる。図示の実施態様では、外科用ハブ２１１８０１は、外科医の手首角度αが、第１の閾値２１１７０８ａ及び第２の閾値２１１７０８ｂによって画定される第１のゾーン内にあるか、第３の閾値２１１７０６ａ及び第４の閾値２１１７０６ｂによって画定される第２のゾーン内にあるか、又は第２のゾーン外にあるかを判定する。外科処置の過程中に外科用ハブ２１１８０１によって測定された手首角度αが第１の閾値２２１７０８ａと第２の閾値２２１７０８ｂとの間に入る場合、外科用ハブ２１１８０１は、手首角度αが許容可能なパラメータ内にあると判定し、何のアクションも取らないように構成され得る。外科医の手首角度αが第１及び第２の閾値２２１７０８ａ、２２１７０８ｂと第３及び第４の閾値２２１７０６ａ、２２１７０６ｂとの間に入る場合、外科用ハブ２１１８０１は、特定の個人の形態に潜在的なリスクがあることを示す第１の通知又は警告をＯＲ２１１８００内の手術スタッフに提供するように構成することができる。更に、外科医の手首角度αが第３及び第４の閾値２２１７０６ａ、２２１７０６ｂの外側にある場合、外科用ハブ２１１８０１は、特定の個人の形態に高い程度のリスクがあることを示す第２の通知又は警告をＯＲ２１１８００内のユーザに提供するように構成することができる。
いくつかの態様では、監視された身体特性が比較される様々な閾値又はベースラインを、経験的に判定することができる。クラウドシステムハードウェア及び機能モジュールの項の下で記載される外科用ハブ２１１８０１及び／又はクラウドコンピューティングシステムは、分析のための外科処置のサンプル集団から、手術スタッフ員の様々な身体特性に関連するデータをキャプチャすることができる。一態様では、コンピュータシステムは、それらの身体特性を様々な手術結果と相関させ、次いで、良好な手術結果と最も高く相関される、外科医又は他の手術スタッフ員の特定の身体特性に従って、閾値又はベースラインを設定することができる。したがって、プロセス２１１０００を実行する外科用ハブ２１１８０１は、手術スタッフ員が最良の実務から逸脱しているときに通知又は警告を提供することができる。別の態様では、コンピュータシステムは、ほとんどの場合、サンプル集団内に提示される身体特性に従って、閾値又はベースラインを設定することができる。したがって、プロセス２１１０００を実行する外科用ハブ２１１８０１は、手術スタッフ員が最も一般的な実務から逸脱しているときに通知又は警告を提供することができる。例えば、図６４において、第１及び第２の閾値２１１７０８ａ、２１１７０８ｂは、特定の外科処置を行うときに外科医によって示される最も一般的な手首角度α（すなわち、散布図２１１７００の最も密な部分）に対応するように設定することができる。したがって、プロセス２１１０００を実行する外科用ハブ２１１８０１が、外科医の手首角度αが第１及び第２の閾値２１１７０８ａ、２１１７０８ｂによって画定される経験的に決定されたベースラインから逸脱していると判定するとき、外科用ハブ２１１８０１は、上述のように、手術スタッフに通知を提供するか、又は他のアクションを取ることができる。
一態様では、外科用ハブ２１１８０１によって追跡される身体特性は、製品タイプに従って区別することができる。したがって、外科用ハブ２１１８０１は、追跡されている特定の身体特性が異なる製品タイプに対応するときに、手術スタッフ員に通知するように構成することができる。例えば、外科用ハブ２１１８０１は、外科医の腕及び／又は手首の姿勢が現在利用されている特定の外科用器具のベースラインから逸脱し、したがって、異なる外科用器具がより適切であることを示すときに外科医に通知するように構成することができる。
一態様では、外科用ハブ２１１８０１は、外科用器具２１１８１０の外部向きを、そのエンドエフェクタの内部アクセス向きと比較するように構成することができる。外科用器具２１１８１０の外部向きは、上述のカメラ２１１８０２及び光学システムを介して判定することができる。外科用器具２１１８１０のエンドエフェクタの内部向きは、手術部位を可視化するために利用される内視鏡又は別のスコープを介して判定することができる。外科用器具２１１８１０の外部及び内部向きを比較することによって、外科用ハブ２１１８０１は、異なるタイプの外科用器具２１１８１０がより適切であるかどうかを判定することができる。例えば、外科用ハブ２１１８０１は、外科用器具２１１８１０の外部向きが、外科用器具２１１８１０のエンドエフェクタの内部向きから閾値度を超えて逸脱する場合、手術スタッフに通知を提供するように構成することができる。
要するに、外科用ハブ２１１８０１などのコンピュータシステムは、手術スタッフ員の技術が最良の又は一般的な実践からドリフトし始めると、手術スタッフ員（例えば、外科医）に推奨を提供するように構成することができる。いくつかの態様では、コンピュータシステムは、個人が、所与の外科処置の過程中に準最適な挙動を繰り返し示したときに通知又はフィードバックを提供するようにのみ構成することができる。コンピュータシステムによって提供される通知は、例えば、手術スタッフ員が、処置タイプの最適な技術と一致するように彼らの技術を調整し、より適切な器具を利用することなどを提案することができる。
一態様では、コンピュータシステム（例えば、外科用ハブ２１１８０１）は、サンプリングされた集団によって確立された、又はコンピュータシステムに予めプログラムされたベースラインではなく、手術スタッフ員が彼らの技術を彼ら自身と比較することを可能にするように構成される場合がある。換言すれば、コンピュータシステムが手術スタッフ員を比較するベースラインは、特定の外科処置タイプにおける手術スタッフ員の以前のパフォーマンス、又は特定のタイプの外科用器具を利用する以前のインスタンスであり得る。そのような態様は、外科医が、新しい外科用製品の外科技術又は文献試験期間における改善を追跡することを可能にするために有用であり得る。したがって、外科用ハブ２１１８０１は、試験期間中に製品を評価し、所与の期間中に製品の使用のハイライトを提供するように構成することができる。一態様では、外科用ハブ２１１８０１は、手術スタッフ員の能力と対応するベースラインとの間の逸脱に対して特に敏感であるようにプログラムされ得、それにより、外科用ハブ２１１８０１は、試験期間が進行中のとき、外科用装置を使用するための適切な技術を補強することができる。一態様では、外科用ハブ２１１８０１は、新しい外科用製品の使用を記録し、新しい製品と以前のベースライン製品の使用とを比較かつ対比するように構成することができる。外科用ハブ２１１８０１は、２つの異なる製品を利用するときに、外科医の追跡された身体特性の間に認められる類似性及び差異をハイライトするために、分析後レビューを更に提供することができる。更に、外科用ハブ２１１８０１は、外科医が、新しい外科用製品と古い外科用製品との間の手順の集団を比較することを可能にし得る。外科用ハブ２１１８０１によって提供される推奨は、例えば、新しい製品の使用を実証する比較ビデオを含むことができる。
一態様では、コンピュータシステム（例えば、外科用ハブ２１１８０１）は、サンプリングされた集団によって確立された、又はコンピュータシステムに予めプログラムされたベースラインではなく、手術スタッフ員が彼らの技術を他の外科医と直接比較することを可能にするように構成することができる。
一態様では、コンピュータシステム（例えば、外科用ハブ２１１８０１）は、外科医が特定の外科処置を実行する（又は一般的に外科処置を実行する）、又は新しい外科用器具を使用することにおいて、外科医がより経験する際の外科用装置使用における傾向を分析するように構成することができる。例えば、コンピュータシステムは、外科医がより経験するにつれて劇的に変化する動き、挙動、及び他の身体特性を識別することができる。したがって、コンピュータシステムは、外科医の学習曲線の初期に外科医が準最適な技術を示しているときを認識することができ、準最適な技術が外科医に深入りする前に、最適なアプローチについての推奨を提供することができる。
図６５Ａは、本開示の少なくとも１つの態様による、外科用装置を制御するためのプロセス２１１６００の論理フロー図である。プロセス２１１６００は、図６に示される外科用ハブ２０６のプロセッサ２４４などの、コンピュータシステムのプロセッサ又は制御回路によって実行され得る。したがって、プロセス２１１６００は、メモリ２４９内に記憶されたコンピュータ実行可能命令セットとして具現化され得、命令セットは、プロセッサ２４４によって実行されると、コンピュータシステム（例えば、外科用ハブ２１１８０１）に、説明される工程を実施させる。
したがって、プロセス２１１６００を実行するプロセッサ２４４は、ＯＲ２１１８００の画像（静止画像又はビデオを含むことができる）を、そのＯＲ内に位置するカメラ２１１８０２の組立体を介してキャプチャする（２１１６０２）。手術スタッフ員２１１８０３及び／又は外科用装置を含む任意のキャプチャされた画像は、外科用装置を制御するための手術スタッフ員２１１８０３及び／又は外科用装置に関する情報を確認するために、プロセス２１１６００によって分析することができる。追跡又は監視される標的（すなわち、手術スタッフ員２１１８０３及び外科用装置）は、外観及び特徴に基づく技術を含む、様々な画像又は物体認識技術を利用して、カメラ２１１８０２の組立体によってキャプチャされた画像から認識することができる。例えば、キャプチャされた画像は、エッジ検出アルゴリズム（例えば、Ｃａｎｎｙエッジ検出アルゴリズム）を利用して、それぞれの画像内の様々な物体の輪郭を生成するように処理される。次いで、あるアルゴリズムは、標的物体のテンプレートを、輪郭生成された物体を含む画像と比較して、標的物体のいずれかが画像内に位置するかどうかを判定することができる。別の例として、アルゴリズムは、キャプチャされた画像から特徴を抽出することができる。次いで、抽出された特徴は、特徴ベクトルを標的に相関させるために教師あり学習技術又は教師なし学習技術を介して訓練された機械学習モデル（例えば、人工ニューラルネットワーク又はサポートベクターマシン）に供給することができる。特徴は、（例えば、Ｃａｎｎｙエッジ検出アルゴリズムを介して抽出された）エッジ、曲率、（例えば、Ｈａｒｒｉｓ＆Ｓｔｅｐｈｅｎｓコーナー検出アルゴリズムを介して抽出された）コーナーなどを含むことができる。
したがって、プロセッサ２４４は、画像によりキャプチャされた手術スタッフ及び／又は外科用装置の特質又は状態を判定する（２１１６０４）。このような特質又は条件は、物理的特性、動作、他の物体又は個人との相互作用などを含むことができる。より具体的には、手術スタッフ員２１１８０３の特性又は状態は、手術スタッフ員２１１８０３が（図５９に示されるように）ジェスチャ２１１８０４を行っているかどうか、手術スタッフ員２１１８０３が所与の外科用器具２１１８１０を保持しているかどうか、手術スタッフ員２１１８０３の位置が特定されるかどうか、ＯＲ内の手術スタッフ員２１１８０３の人数、手術スタッフ員２１１８０３が外科用装置と相互作用しているかどうか（及びどの外科用装置と相互作用しているか）、手術スタッフ員２１１８０３が外科用器具２１１８１０又は別の外科用装置を別の手術スタッフ員２１１８０３に渡しているかどうか、手術スタッフ員２１１８０３に関連した身体特性（例えば、姿勢、腕位置、手首角度）など、を含み得る。外科用装置の特質又は状態は、それらの姿勢、それらが能動的に使用されているかどうか（例えば、発生器が、接続された外科用器具２１１８１０にエネルギーを能動的に供給しているかどうか）、外科用器具２１１８１０がトロカールに通して挿入されているかどうか（及びそのトロカールの位置又は同一性）などを含むことができる。
したがって、プロセッサ２４４は、特定の判定された特質又は状態に依存する様式で、外科用ハブ２１１８０１とペアリングされている外科用装置を制御する（２１１６０６）。例えば、手術スタッフ員２１１８０３が「器具モードを変更する」ジェスチャを行っているとプロセッサ２４４が判定した場合（２１１６０４）、プロセッサ２４４は、外科用器具２１１８１０の動作モードを変更する（例えば、電気外科用器具を封止モードから切断モードに変更する）ために、外科用ハブ２１１８０１に接続された特定の外科用器具２１１８１０（又はその関連する発生器）に信号を送信するか、又は別の方法でその外科用器具を制御する（２１１６０６）ことができる。これにより、手術スタッフは、外科用器具２１１８１０自体と直接相互作用しなくても、外科用器具２１１８１０を制御することが可能になる。別の例として、外科用器具２１１８１０が１人の手術スタッフ員２１１８０３（例えば、看護師）から別の手術スタッフ員２１１８０３（例えば、外科医）に渡されている（又は渡される準備がされている）とプロセッサ２４４が判定した場合（２１１６０４）、プロセッサ２４４は、接続された外科用器具２１１８１０へのエネルギーの供給を有効化及び開始するために、エネルギー発生器に信号を送信するか、又は別の方法でエネルギー発生器を制御する（２１１６０６）ことができる。これにより、外科用ハブ２１１８０１は、外科医が積極的な動作を行わなくても外科用器具の使用準備が整うように、外科用器具２１１８１０を予備的に作動させることが可能になる。更に別の例として、外科用器具２１１８１０が発射されるとき（又は発射されようとしているとき）にその外科用器具が特定の配向にあるとプロセッサ２４４が判定した場合（２１１６０４）、プロセッサ２４４は、それに応じて外科用器具２１１８１０の動作パラメータ（例えば、発射する力又は最大許容関節運動角度）を修正するために、外科用器具２１１８１０に信号を送信するか、又は別の方法でその外科用器具を制御する（２１１６０６）ことができる。これにより、外科用ハブ２１１８０１は、外科用器具２１１８１０の配置及び配向の違いを考慮するために、外科用器具２１１８１０の機能を制御することが可能になる。
別の態様では、外科用ハブ２１１８０１は、後述するジェスチャ認識システム２１１５００に加えて、又はその代わりに、音声認識システムを含むことができる。この態様では、外科用ハブ２１１８０１は、様々な音声コマンドを識別し、それらに応答し、それに応じて任意の接続された外科用装置の機能を制御するように、プログラムすることができる。
別の態様では、図６５Ｂは、本開示の少なくとも１つの態様による、手術メタデータを生成するためのプロセス２１１６２０の論理フロー図である。図６５Ａに関連して上述したように、プロセス２１１６２０は、プロセッサ２４４によって実行することができる。したがって、プロセス２１１６２０を実行するプロセッサ２４４は、図６５Ａに関連して上述したように、画像／ビデオデータをキャプチャし（２１１６２２）、手術スタッフ部材２１１８０３及び／又は外科用器具２１１８１０の特性を決定することができる（２１１６２４）。しかしながら、この態様では、プロセッサ２４４は、外科処置の過程で外科用装置によって生成された手術前後データに関連付けられている、又はそれにリンクされているメタデータとして、特質又は状態を保存する（２１１６２６）。上述のように、メタデータとして保存（２１１６２６）される特質又は状態は、ＯＲ２１１８００内の手術スタッフ員２１１８０３及び外科用器具２１１８１０の多様な物理的特性、それらによる動作、及びそれらの間の相互作用を含むことができる。
図６１Ａ及び６１Ｂに関連して説明されるプロセス２１１６００、２１１６２０の一実施態様では、外科用ハブ２１１８０１は、ＯＲ２１１８００内の個人によって行われるジェスチャを認識し、それに応答するように構成され得る。例えば、図６６は、本開示の少なくとも１つの態様による、ジェスチャ認識システム２１１５００のブロック図である。図６６の以下の説明では、図１０及び図１６も参照されたい。ジェスチャ認識システム２１１５００は、図６に示す外科用ハブ２０６のプロセッサ２４４など、コンピュータシステムのプロセッサ又は制御回路によって実行されることができるジェスチャ認識モジュール２１１５０４を含む。したがって、ジェスチャ認識モジュール２１１５０４は、メモリ２４９に記憶されたコンピュータ実行可能命令のセットとして具現化されることができ、この命令のセットは、プロセッサ２４４によって実行されると、コンピュータシステム（例えば、外科用ハブ２１１８０１）に、記載されている工程を実行させる。
ジェスチャ認識システム２１１５００は、画像認識ハードウェア（例えば、カメラ２１１８０２）から画像又はビデオデータを受信し、手術スタッフ員２１１８０３によって実施され得る様々なジェスチャ２１１８０４を認識し（すなわち、図６５Ａ及び６５に関連して説明されるプロセス２１１６００、２１１６２０においてジェスチャが実施されているかどうかを判定（２１１６０４、２１１６２４）する）、対応するアクションを取るか、又は別様に特定の検出されたジェスチャ２１１８０４に応答する（すなわち、図６５Ａ及び６５Ｂに関連して説明されるプロセス２１１６００、２１１６２０において、外科用装置を制御（２１１６０６）するか、又はデータをメタデータとして保存（２１１６２６）する）ようにプログラムされる。一態様では、ジェスチャ認識モジュール２１１５０４は、特徴抽出モジュール２１１５０６及びジェスチャ分類モジュール２１１５０８を含むことができる。特徴抽出モジュール２１１５０６は、画像／ビデオデータから測定可能かつ弁別的な特性又は特質（すなわち、特徴）を抽出するようにプログラムされる。特徴は、（例えば、Ｃａｎｎｙエッジ検出アルゴリズムを介して抽出された）エッジ、曲率、（例えば、Ｈａｒｒｉｓ＆Ｓｔｅｐｈｅｎｓコーナー検出アルゴリズムを介して抽出された）コーナーなどを含むことができる。ジェスチャ分類モジュール２１１５０８は、抽出された特徴がジェスチャセットからのジェスチャと一致するかどうかを判定する。一態様では、ジェスチャ分類モジュール２１１５０８は、抽出された特徴の特徴ベクトルを１つ又は２つ以上の出力ジェスチャに相関させるために教師あり又は教師なし学習技術を介して訓練された機械学習モデル（例えば、人工ニューラルネットワーク又はサポートベクターマシン）を含むことができる。別の態様では、ジェスチャ分類モジュール２１１５０８は、ジェスチャを分類するために、Ｈｕ不変モーメントに基づくアルゴリズム又はｋ－曲率アルゴリズムを含むことができる。更に別の態様では、ジェスチャ分類モジュール２１１５０８は、特徴化された画像／ビデオデータ（又はその一部）を所定のジェスチャに対応するテンプレートに照合するようにプログラムされたテンプレートマッチングアルゴリズムを含むことができる。他の態様は、前述の技術とジェスチャを分類するための他の技術との様々な組み合わせを含むことができる。
ジェスチャ認識モジュール２１１５０４を介してジェスチャを認識したとき、ジェスチャ認識システム２１１５００は、識別されたジェスチャに対応する動作２１１５１０又は応答を行うことができる。一態様では、コンピュータシステムによって行われるアクション２１１５１０は、図６５Ａに関連して上述したように、ＯＲ２１１８００内の外科用装置を制御することを含む。例えば、ジェスチャ認識モジュール２１１５０４を実行する外科用ハブ２１１８０１は、「輝度制御」ジェスチャを認識し、次いで、それに対応して、外科用ハブ２１１８０１とペアリングされているオーバーハードライト２１１８０８を暗く又は明るくすることができる。別の例として、ジェスチャ認識モジュール２１１５０４を実行する外科用ハブ２１１８０１は、「発生器オン」ジェスチャを認識し、次いで、外科用ハブ２１１８０１とペアリングされているエネルギー発生器を作動させることができ、これにより、発生器に接続されている超音波外科用器具又は電気外科用器具に電力を供給することができる。ジェスチャはまた、ディスプレイ２１１８０６上に示されている情報を変更する（例えば、外科用器具２１１８１０に関連付けられたメニューをスクロールする、又は表示されているビデオフィード間で交互する）ことと、外科用器具２１１８１０のモード、機能、又は動作パラメータを変更すること（例えば、電気外科用器具を封止モードから横切開モードに変更すること）と、スコープにビデオの記録を開始又は停止させることと、エネルギー発生器の電力レベルを変更することと、などのために利用され得る。ジェスチャは、滅菌障壁の外側にある外科用装置を滅菌障壁の内側から汚染の危険性を生じさせることなく制御すること、外科用装置を直接操作していないか、又はＯＲ内の外科用装置の近くにいない個人が、外科用装置の機能を制御することを可能にすることなどに有益であり得る。
別の態様では、コンピュータシステムによって行われるアクション２１１５１０は、図６５Ｂに関連して上記で議論されるように、外科処置の過程の間に外科用装置によって生成される手術前後データに関連付けられる、又はそれにリンクされるメタデータとして、手術スタッフによって行われるジェスチャを保存することを含む。このようなメタデータは、手術スタッフが外科用装置を手動で制御しているか、又はジェスチャを介して外科用装置を制御しているかどうかを判定するのに有用であり得、ジェスチャは、手術スタッフのパフォーマンス、処置時間、及び他のそのような測定基準と相関させることができる。様々な他の態様では、コンピュータシステムは、１つ又は２つ以上の外科用装置を制御することと、ジェスチャデータをメタデータとして保存することとの両方を行うことができる。
別の態様では、ジェスチャ認識システム２１１５００は、ジェスチャを視覚的に識別するために、カメラ２１１８０２に加えて、又はその代わりに、ユーザからの非接触入力を受信するための磁気感知システムを利用する。この態様では、ジェスチャ認識システム２１１５００は、例えば、ＯＲ２１１８００内に位置付けられ得る磁気感知アレイを含むことができる。磁気感知アレイは、手術スタッフ員２１１８０３によって制御され得る磁気要素の位置を監視するように構成されることができる。一態様では、磁気要素は、外科用グローブ又は別のそのような衣類の物品に組み込むことができる。別の態様では、磁気要素は、手術スタッフ員２１１８０３によって操作可能である物体又はトークン内に位置することができる。したがって、磁気感知アレイは、磁気感知要素の位置を経時的に検出し、磁気要素を制御している個人によって行われる任意のジェスチャを識別するように、構成されることができる。ジェスチャ認識システム２１１５００の場合と同様に、ユーザは、ＯＲ２１１８００内のディスプレイ２１１８０６上に表示されたメニュー若しくはメニューから選択された項目をスクロールさせるか、又はＯＲ２１１８００内の様々な外科用装置の機能を制御する他のジェスチャを行うことができる。したがって、磁気要素の位置、動き、及び／又は配向は、磁気要素が滅菌野の内部又は外側に位置するかどうかに関わらず、ディスプレイ２１１８０６、又は外科用ハブ２１１８０１によって接続される他の外科用装置を制御するための追跡マーカーとして利用することができる。
図６５Ａ及び図６５Ｂに関連して記載されたプロセス２１１６００、２１１６２０の予測的な一実施態様では、コンピュータシステム（例えば、外科用ハブ２１１８０１）は、図６３に示されるように、外科用器具２１１６５４の姿勢を判定し、それに応じて外科用器具２１１６５４を制御する（２１１６０６）か、又は手首角度を分析用のメタデータとして保存する（２１１６２６）ように、構成され得る。この特定の実施態様では、個人の手首２１１６５０の角度は、外科医によって保持されている外科用器具２１１６５４の長手方向軸２１１６５６と個人の手の長手方向軸２１１６５２（すなわち、近位から遠位への軸）との間の角度αとして定義される。他の実施態様では、手首角度は、例えば、個人の手と前腕との間の角度として定義され得る。外科用ハブ２１１８０１は、外科医によって操作されている外科用器具２１１６５４及び外科医の手を、例えば、上記の物体認識技術を使用して、視覚的に識別することにより、手首角度αを判定することができる。
図６５Ｂで説明されるプロセス２１１６２０の一態様では、手首角度αは、メタデータとして保存され（２１１６２６）、推奨される外科的技術に関する分析を行うために利用され得る。例えば、図６４の散布図２１１７００は、手首角度αと外科処置の結果との関係に対する１つのそのような予測的分析を表す。散布図２１１７００では、縦軸２１１７０２は手首角度αを表し、横軸２１１７０４は処置結果を表す。縦軸２１１７０２の右側及び左側の横軸２１１７０４の部分は、例えば、それぞれ、肯定的及び否定的な処置結果に対応することができる。外科用器具２１１６５４の特定の処置工程又は発射が過剰な出血をもたらしたかどうか、外科処置のための再動作の発生率など、様々な異なる処置結果を、外科医の手首角度αと比較することができる。更に、処置結果は、外科医の手首角度αと比較される特定のタイプの処置結果に応じて、様々な異なる様式で定量化することができる。例えば、処置結果が、外科用器具２１１６５４の特定の発射後に発生した出血である場合、横軸２１１７０４は、外科用器具２１１６５４の発射からの切開線に沿った血液の程度又は量を表すことができる。更に、散布図２１１７００内のプロットされた各点の手首角度αは、外科処置の特定の瞬間における手首角度α、外科処置の特定の工程中の平均手首角度α、外科処置中の全体的な平均手首角度などを表すことができる。更に、手首角度αが平均手首角度αに対応するか、又は特定の瞬間の手首角度αに対応するかは、手首角度αの比較対象である処置結果のタイプと対応し得る。例えば、横軸２１１７０４によって表される処置結果が、外科用器具２１１６５４の発射からの出血量である場合、縦軸２１１７０２は、外科用器具２１１６５４が発射された瞬間の手首角度αを表すことができる。別の例として、横軸２１１７０４によって表される処置結果が、特定の処置タイプのための再動作の発生率である場合、縦軸２１１７０２は、外科処置中の平均手首角度αを表すことができる。
更に、このデータは、次いで、２０１８年１１月６日に出願された「ＵＳＡＧＥ ＡＮＤ ＴＥＣＨＮＩＱＵＥ ＡＮＡＬＹＳＩＳ ＯＦ ＳＵＲＧＥＯＮ／ＳＴＡＦＦ ＰＥＲＦＯＲＭＡＮＣＥ ＡＧＡＩＮＳＴ Ａ ＢＡＳＥＬＩＮＥ ＴＯ ＯＰＴＩＭＩＺＥ ＤＥＶＩＣＥ ＵＴＩＬＩＺＡＴＩＯＮ ＡＮＤ ＰＥＲＦＯＲＭＡＮＣＥ ＦＯＲ ＢＯＴＨ ＣＵＲＲＥＮＴ ＡＮＤ ＦＵＴＵＲＥ ＰＲＯＣＥＤＵＲＥＳ」と題する米国特許出願第１６／１８２，２５５号に記載されているように、閾値又はベースラインを確立するために利用され得、閾値又はベースラインは、次いで、外科処置中又は外科処置の完了後に手術スタッフ員２１１８０３に推奨を提供するために利用され得る。例えば、図６３に示すように、コンピュータシステムは、肯定的な処置結果と最も高度に相関する手首角度αの範囲を画定する第１の閾値２１１７０８ａ及び第２の閾値２１１７０８ｂを計算することができる。したがって、第１及び第２の閾値２１１７０８ａ、２１１７０８ｂは、第１の又は好ましい動作範囲を定義することができる。外科用器具２１１６５４を利用するときに外科医の手首角度αがこの範囲内にある場合、コンピュータシステムは、例えば、いかなるアクションも取ることができない。更に、コンピュータシステムは、肯定的な処置結果と少なくとも適度に相関する手首角度αの範囲を示す第３の閾値２１１７０６ａ及び第４の閾値２１１７０６ｂを計算することができる。したがって、第３及び第４の閾値２１１７０６ａ、２１１７０６ｂは、第１及び第２の閾値２１１７０８ａ、２１１７０８ｂと併せて第２の又は警戒作動範囲を画定することができ、警戒範囲は、第１及び第２の閾値２１１７０８ａ、２１１７０８ｂ並びに第３及び第４の閾値２１１７０６ａ、２１１７０６ｂのそれぞれの対の間の領域として画定される。外科用器具２１１６５４を利用するときに外科医の手首角度αが警戒範囲内にある場合、コンピュータシステムは、例えば、外科医が自身の技術を調整するための第１の推奨を提供し得る。第３及び第４の閾値２１１７０６ａ、２１１７０６ｂの外側の範囲は、否定的な処置結果と高度に相関する第３の又は危険な動作範囲を定義することができる。外科用器具２１１６５４を利用するときに外科医の手首角度αが危険な範囲内にある場合、コンピュータシステムは、例えば、外科医が自身の技術を調整するか、又は外科用器具２１１６５４を停止させるための第２の推奨を提供し得る。
図６５Ａに記載されるプロセス２１１６００の一態様では、外科用器具２１１８１０は、決定された手首角度αに従って制御され得る（２１１６０６）。例えば、外科用ハブ２１１８０１は、外科用器具２１１８１０の配向を補償するために、発射する力、閉鎖する力、又は最大許容関節運動角度など、外科用器具２１１８１０の制御プログラムパラメータを調整することができる。このような補償は、例えば、外科用器具２１１８１０がより適切に配向されていた場合に適用されるのと同じ力を外科用器具２１１８１０のエンドエフェクタが適用することを確実にすることができる。
一態様では、コンピュータシステムは、外科用器具２１１８１０の姿勢を所定の又は正規化された参照フレームに関して定義する配向指数を作成するようにプログラムすることができる。これにより、異なる寸法のＯＲ内でキャプチャされたデータをシームレスに比較することが可能になる。配向指数は、例えば、「外科用ハブ」の項で説明したように、外科用ハブ２０６が非接触センサモジュール２４２を利用して自身の周囲をスキャンするときに、定義されることができる。したがって、コンピュータシステムは、外科用器具２１１８１０の姿勢を検出し、所定の参照フレームの関数として保存することができる。
他の実施態様では、コンピュータシステムは、特定の外科処置タイプに利用されるトロカールの位置及び配向を追跡することができ、その後、このデータは、メタデータとして保存すること、及び／又はディスプレイ２１１８０６若しくは他の外科用装置を制御して手術スタッフに推奨事項を提示するために利用することができる。トロカール位置を分析すると、どの範囲の位置（又は複数のトロカールを利用した外科処置の場合は位置の組み合わせ）が、肯定的な処置結果と最も高度に相関するかを判定することができる。したがって、その後、コンピュータシステムは、将来の外科処置においてトロカール配置に関する推奨事項を提示することができる。
他の実施態様では、コンピュータシステムは、周囲の物体（手術台又は他の機器）に対するハンドルの位置を追跡することができ、その後、このデータは、メタデータとして保存すること、及び／又はディスプレイ２１１８０６若しくは他の外科用装置を制御して手術スタッフに推奨事項を提示するために利用することができる。例えば、コンピュータシステムは、トロカールの配置に関する推奨事項を提示することで、特定の配置が、それらのトロカールを通って挿入された外科用器具２１１８１０に、様々な物体による妨害を引き起こし、より困難な処置（例えば、より悪い手術結果又はより長い処置時間と相関し得る）をもたらすことになった、以前の処置における問題を回避することができる。
他の実施態様では、コンピュータシステムは、術前のバックテーブル上に位置するセットアップ内の外科用器具２１１８１０及び他の外科用装置を識別して、外科処置データ及び／又は、「状況認識」の項で説明したように、状況認識システムによって行われた推定に、追加のコンテキストを提供することができる。どの外科用装置が手術前セットアップ内にあるか（又はないか）を識別することは、状況認識システムによって行われるその後の推定に影響し得る。
他の実施態様では、コンピュータシステムは、外科処置の次の工程となり得るものを通知する助けとなるように、手術スタッフ員２１１８０３から外回り看護師及び／又は器械出し看護師を識別し、その位置及び活動を追跡することができる。器械出し看護師は、次に必要になると予想される外科用器具２１１８１０を回収し、その後、必要に応じてその外科用器具２１１８１０を外科医に渡すことから、器械出し看護師の活動には情報価値があり得る。更に、いくつかの外科用器具２１１８１０又は他の装置は、それらが使用される前に準備が必要である（例えば、組織状態によっては、外科用ステープラ上にバットレスが配置され得る）。したがって、器械出し看護師が外科用器具２１１８１０を保持しているとき、どの外科用器具２１１８１０が器械出し看護師によって保持されているか、及びどのような準備が器械出し看護師によって実施されているかは、外科処置のどの工程が実施されているか、又は実施されることになるかの推定を支援することができる。また更に、外回り看護師から器械出し看護師に渡される新しい機器は、一般に、処置がどのように進行するかに影響し、どの処置工程が実施されるかを通知し、合併症の可能性を示し得る。例えば、追加の補助的な止血剤が器械出し看護師に渡されると、そのことは、最初に予想されたよりも出血が多いため、外科処置が良好に進行していないことを示し得る。また更に、外回り看護師は、ＯＲ内に物質を持ち込むこと、滅菌野の外側にある外科用装置の設定を調整することなどを行う。したがって、これらの活動は監視され、更に、外科処置のどの工程が実施されているかを通知するために使用され得る。
構成可能な協働ディスプレイが提供され得る。例えば、一次ディスプレイと、二次ディスプレイなどの１つ又は２つ以上の結合されたディスプレイとの間の構成可能な協働ディスプレイが提供されてもよい。手術部位で使用中の器具の状況認識に基づく、１つ又は２つ以上の機能的にリンクされたディスプレイの適応が提供され得る。ステープラ器具命令及び／又は以前の命令の状況認識に基づく、１つ又は２つ以上の機能的にリンクされた表示の適応が、提供されてもよい。外科医の視覚的焦点位置の監視に基づく表示情報（例えば、キー表示情報）の再配置が提供されてもよい。表示情報を別のディスプレイ上に移動させるためのユーザ命令から生じる画像の重ね合わせ、置換、サイズ変更が提供されてもよい。滅菌野内から、又は二次ディスプレイを通して、選択可能な手術室ディスプレイのズーム及び／又は拡大の制御が提供されてもよい。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブは、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、医療器具、及び手術室内の位置を決定することができる。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、医療器具、及び手術室内の位置に基づいて決定され得る。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し得る表示命令が、ディスプレイに送信され得る。ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザ、医療器具、及び手術室内の位置が決定され得る。医療器具に関連するコンテキストデータ（例えば、コンテキスト情報）は、第１のユーザ、医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、医療器具が、その場所の閾値距離内で、又はその場所の閾値距離において、第２のユーザから第１のユーザに移動されていることを判定することができる。外科用ハブは、その位置が患者の近くであると判定することができる。外科用ハブは、第１のユーザが医療器具を制御していること、及び医療器具が外科処置のタスクを実行するために使用されることを示すように表示命令を設定してもよい。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し得る表示命令が、ディスプレイに送信され得る。一次ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブは、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、第１の医療器具、及び手術室内の位置が決定され得る。第１の医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、第１の医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、第１の医療器具、第２の医療器具、及びユーザがその位置の閾値距離内にあると判定することができる。外科用ハブは、ユーザが第２の医療器具を第１の医療器具と交換していると判定することができる。外科用ハブは、第２の医療器具が第１の医療器具と交換されていることを示すように表示命令を設定することができる。一例では、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令することができる表示命令をディスプレイに送信することができる。ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブは、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、第１の医療器具、及び手術室内の位置が決定され得る。第１の医療器具に関連付けられた第１のコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、第１の医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、第１の医療器具、第２の医療器具、及びユーザがその位置の閾値距離内にあると判定することができる。外科用ハブは、ユーザが第２の医療器具を第１の医療器具と交換していると判定することができる。外科用ハブは、ユーザ、第２の医療器具、及び手術室内の位置に基づいて、第２の医療器具に関連付けられた第２のコンテキストデータ（例えば、コンテキスト情報）を判定することができる。外科用ハブは、第２の医療器具が第１の医療器具と交換されていることを示すように第１の表示命令を設定することができる。器具データ又は第１の医療器具を使用するための命令を表示することによって、第１の医療器具に関連付けられた第１のコンテキストデータ（例えば、コンテキスト情報）に従って構成されるように第１のディスプレイに命令し得る表示命令が、第１のディスプレイに送信され得る。外科用ハブは、第２のディスプレイをオフにするか、又は第２の医療器具のリロード命令、第２の医療器具の洗浄命令、若しくは第２の医療器具の器具命令のうちの１つ若しくは２つ以上を表示することによって、第２のコンテキストデータ（例えば、コンテキスト情報）に従って構成されるように第２のディスプレイに命令する第２の表示命令を第２のディスプレイに送信する。第１のディスプレイ及び第２のディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置が決定され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、第１の外科作業及びコンテキストデータに基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。メッセージは、第１のメッセージであってもよく、第２のメッセージは、第２の外科作業に従って構成されるように医療器具に命令するために、医療器具に送信されてもよい。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。器具データは、医療器具から受信することができ、第１の外科作業に関連付けることができる。医療器具を使用する第２の外科作業は、第１の外科作業、器具データ、及び外科処置に基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。器具データは、医療器具から受信することができ、第１の外科作業に関連付けることができる。エラーは、コンテキストデータを使用して医療器具からの器具データを分析することによって決定され得る。医療器具を使用する第２の外科作業は、第１の外科作業、器具データ、及び外科処置に基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。表示データは、エラーを示すことができる。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する第１の外科作業が決定され得る。外科処置中に発生したエラーは、コンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、エラー、コンテキストデータ、及び外科処置に基づいて決定され得る。エラーの指示を表示するように第１のディスプレイに命令し得る第１のメッセージが送信され得る。第２の外科作業に関連するデータを表示するように第２のディスプレイに命令することができる第２のメッセージを送信することができる。第１のディスプレイは、一次ディスプレイであってもよく、第２のディスプレイは、医療器具に関連付けられた二次ディスプレイであってもよい。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。医療器具は、ディスプレイ及びメモリを備え得る。コンテキストデータが決定され得る。外科処置が決定され得る。外科処置中に医療器具を使用する外科作業は、コンテキストデータに基づいて決定され得る。表示データが決定され得る。表示データは、外科作業に関連付けられてもよく、医療器具を使用する外科作業を実施し得るユーザに関連してもよい。メッセージが送信され得る。メッセージは、外科作業に関連する表示データを優先するようにディスプレイに命令することができる。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。医療器具は、ディスプレイ及びメモリを備え得る。第１のコンテキストデータが決定され得る。外科処置が決定され得る。外科処置中に医療器具を使用する外科作業は、コンテキストデータに基づいて決定され得る。第１の表示データが決定され得る。第１の表示データは、外科作業に関連付けられてもよく、医療器具を使用する外科作業を実施し得るユーザに関連してもよい。第１のメッセージが送信され得る。第１のメッセージは、外科作業に関連付けられた第１の表示データを優先するようにディスプレイに命令することができる。外科処置中に発生した可能性があるエラーは、第２のコンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、エラーに基づいて決定され得る。第２の表示データが決定され得る。第２の表示データは、第２の外科作業に関連付けられてもよく、医療器具を使用する第２の外科作業を実施するユーザに関連してもよい。第２のメッセージが送信され得る。第２のメッセージは、第１の表示データよりも第２の表示データを再度優先するようにディスプレイに命令することができる。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザの視覚的焦点内にあるディスプレイが決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいてユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザの視覚的焦点内にあるディスプレイが決定され得る。画像又はビデオは、カメラから受信され得る。幾何学的三次元データセットは、画像又はビデオから生成され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上は、幾何学的三次元データセットを使用して決定され得る。ユーザの視覚的焦点は、ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいてユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザの視覚的焦点内にあるディスプレイが決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいて第１のユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ディスプレイが第１のユーザの第１の焦点及び第２のユーザの第２の焦点内にあり得ることが判定され得る。ディスプレイのための表示データは、第１のユーザのための第１の外科作業及び第２のユーザのための第２の外科作業に基づいて決定され得る。ディスプレイに表示データを表示するように命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザの第１の焦点及び第２のユーザの第２の焦点内にあり得る第１のディスプレイ及び第２のディスプレイが決定され得る。第１のユーザに関連付けられた第１の外科作業は、第２のユーザに関連付けられた第２の外科作業よりも高い優先度を有すると判定され得る。第１のコンテキストデータは、第１の外科作業に基づいて決定されてもよく、第２のコンテキストデータは、第２の外科作業に基づいて決定されてもよい。第１のコンテキストデータを表示するように第１のディスプレイに命令する第１のメッセージが送信されてよく、第２のコンテキストデータを表示するように第２のディスプレイに命令する第２のメッセージが送信されてよい。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。外科作業に基づく第１のデータが決定され得る。第２のデータに対する選好を示すユーザからのコマンドが決定され得る。コマンドは、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上であり得る。表示データが決定され得る。表示データは、第１のデータ及び第２のデータを含み得、第１のデータより第２のデータを優先させることができる。ディスプレイが表示データを表示する命令を含むメッセージが送信され得る。メッセージは、ディスプレイに送信され得る。ディスプレイ及び／又はディスプレイの識別情報は、第２のデータに対する選好を示すユーザからのコマンドに基づいて決定され得る。第１のデータは第１のコンテキストデータであってもよく、第２のデータは第２のコンテキストデータであってもよい。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。ユーザの視覚的焦点が決定され得る。第２のディスプレイがユーザの視覚的焦点内にあることが判定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。画像又はビデオは、カメラから受信され得る。幾何学的三次元データは、画像又はビデオから生成され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上は、幾何学的三次元データを使用して決定され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点が決定され得る。第２のディスプレイは、視覚的焦点を使用して決定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。第２のディスプレイが第２のユーザに関連付けられた第３のコンテキストデータを表示していると判定され得る。メッセージは、第２のディスプレイに、第３のコンテキストデータを削除し、第２のコンテキストデータを表示するように命令することができる。
滅菌野の外側のディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。滅菌野内に位置する第１のディスプレイに、第１のコンテキストデータを表示するように命令する第１のメッセージが送信され得る。ユーザジェスチャは、第１のディスプレイに関連付けられた装置から決定され得る。ユーザジェスチャは、第２のコンテキストデータが滅菌野の外側の第２のディスプレイ上に表示されることを示し得る。第２のコンテキストデータを示すように第２のディスプレイに命令する第２のメッセージが送信され得る。
外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザジェスチャが決定され得る。ユーザジェスチャは、滅菌野の外側にあるディスプレイ上の焦点に適用される視覚効果を示し得る。焦点が決定され得る。例えば、ディスプレイ上の焦点は、ユーザが見ている、又は焦点を合わせているディスプレイ上の場所であってもよい。ディスプレイ上の焦点は、ディスプレイ上に表示され得るコンテキストデータに関連付けられてもよい。第２のメッセージが送信され得る。滅菌野の外側にあるディスプレイ上の焦点においてコンテキストデータに視覚効果を適用するようにディスプレイに命令し得る第２のメッセージが、ディスプレイに送信され得る。
滅菌野の外側のディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。ユーザジェスチャが提供され得る。ユーザジェスチャは、滅菌野の外側にあるディスプレイ上の焦点に視覚効果が適用されるべきであることを示し得る。ディスプレイ上の焦点が決定され得る。ディスプレイ上の焦点は、第１の表示データに関連付けられてもよく、コンテキストデータに基づいて決定されてもよい。第１の表示データに視覚効果を適用することによって、第２の表示データが生成され得る。第２のメッセージが送信され得る。第２のメッセージは、第２の表示データを表示するようにディスプレイに命令することができる。
協調ディスプレイが提供されてもよく、例えば、協調ディスプレイは、互いに協調して機能し得るディスプレイであってもよい。一態様では、ディスプレイを有する医療器具は、どのユーザが医療器具を扱っている可能性があるかを知ることができる。医療器具は、処置においてどの外科作業が実行されているかを知ることができる。医療器具は、外科処置に関連する１つ又は２つ以上のデータを表示することができる。例えば、医療器具は、患者データ、医療器具データ、別の医療器具に関連するデータ、ＥＭＲデータなどを表示してもよい。
一態様では、外科用ハブは、ディスプレイを制御することができ、どのユーザがディスプレイを扱っているかを知ることができる。外科用ハブは、処置のどの外科作業が実行されているかを知ることができる。外科用ハブは、外科処置に関連する１つ又は２つ以上のデータを表示するようにディスプレイに命令してもよい。例えば、外科用ハブは、患者データ、医療器具データ、別の医療器具に関連付けられたデータ、ＥＭＲデータなどを表示するようにディスプレイに命令してもよい。
医療器具及び／又は外科用ハブは、処置においてどの外科作業が実行され得るかを知ることができる。外科作業は、リロードタスク、洗浄タスク、患者に対して実行されるタスクなどであり得る。例えば、医療器具がリロードされるプロセスにあり得、それをどのようにリロードするかについての命令をユーザに提供し得ることが判定されてもよい。別の例として、医療器具が外科医に手渡されていること、医療器具がトロカール内にあることなどが決定され得る。医療器具に関連付けられたディスプレイは、ステープルラインの長さ及び速度を示すように命令され得る。ディスプレイは、ユーザが医療器具とどのように相互作用しているか、ステープルラインの長さ、及び／又は速度を示すように命令され得る。
医療器具及び／又は外科用ハブは、エラーを決定することが可能であり得る。エラーが決定されると、エラーを解決することが可能であり得るユーザを判定することができる。ディスプレイは、エラーに関連するデータを表示するように命令され得る。
医療器具及び／又は外科用ハブは、例えば、同時に、いくつかの外科作業に関連するデータを表示することが可能であり得る。ディスプレイは、優先度に基づいてデータを表示するように命令され得る。医療器具及び／又は外科用データは、優先度を決定することができ、データを優先順位付けすることができる。例えば、データは、外科作業の数のうちのどれが優先度及び／又は重要性においてより高い可能性があるかに基づいて優先順位付けされてもよい。
医療器具及び／又は外科用ハブは、データを表示するようにディスプレイに命令することが可能であり得る。医療器具のディスプレイなどのディスプレイは、状況認識に基づいてデータを表示することが可能であり得る。例えば、二次ディスプレイであり得るディスプレイは、外科作業及び／又は外科処置中に進行中であるという理解に基づいて、データを表示することが可能であり得る。別の例として、二次ディスプレイであり得るディスプレイは、医療器具の位置に基づいてデータを表示することが可能であり得る。ディスプレイは、医療器具に属してもよい。ディスプレイは、外科用ハブに関連付けられてもよい。
医療器具及び／又は外科用ハブは、外科処置を分析することが可能であり得、外科処置に関連する１つ又は２つ以上の外科作業を決定することが可能であり得る。例えば、現在の外科作業が決定されてもよく、以前の外科作業が決定されてもよい。以前の外科作業は、例えば、エラーが発生した可能性があるかどうかを判定するために分析されてもよい。エラーが発生したとき、二次ディスプレイであり得る医療器具のディスプレイは、エラーモードを表示するように命令され得る。医療器具は、動作モードから故障モードに変化することができる。医療器具は、動作モードから故障モードに変更するように命令され得る。
例えば、医療器具は、ステープラであってもよく、手術中に使用されてもよい。現在の外科作業は、外科医に長い発射を行うことを要求する場合がある。発射力は、不規則に高いと判定される場合がある。医療器具のディスプレイは、発射力が不規則に高いことを外科医に通知するために、発射力を表示するように命令され得る。医療器具のディスプレイは、警告メッセージ、エラーメッセージなどを表示するように命令され得る。これは、医療器具及び／又は外科用ハブがフィードバックを提供することを可能にし得る。例えば、これは、医療器具及び／又は外科用ハブが外科医にフィードバックを提供することを可能にすることができ、その結果、外科医は、エンドエフェクタがどれくらい硬いかを理解することができる。
機械的医療器具は、外科医に、機械的医療器具を作動させるためにより多くの手動力を使用させることによって、外科医にフィードバックを提供することができる。例えば、機械的ステープラは、ステープル留めするときに機械的ステープラがより大きな力を発揮するために、外科医がより強く握ることを引き起こし得る。電子医療器具は、電気モータを使用することができ、外科医が医療器具から何らかのフィードバックを受信することを防止することができる。本明細書に開示されるように、医療器具は、医療器具によって使用される力に関するフィードバックを外科医に提供するためのディスプレイを含み得る。例えば、医療器具のディスプレイは、外科医が、ステープラが発射するために使用された力の量を理解し得るように、発射力を表示してもよい。
ロボット工学を使用すると、外科医は、医療器具で何が起こっているかを感じ、かつ／又は直接見ることができない場合がある。例えば、ロボットは触覚フィードバックを防止してもよい。本明細書に記載されるように、実施形態は、外科医が手術において何が起こっているかを理解するのを支援し得るフィードバックを提供し得る。フィードバックは、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得るデータを含み得る。フィードバックは、コンテキストデータを含み得る。例えば、フィードバックは、強制発射のグラフ、速度に関するデータ、組織インピーダンスに関するデータ、カートリッジの色、カートリッジのデータ、グリップ負荷に関するデータなどを含んでもよい。
外科用ハブ及び／又は医療器具は、タブレット（例えば、ｉＰａｄ）であり得る二次ディスプレイを制御することが可能であり得る。二次ディスプレイは、外科医の近く又は隣に位置し得る。二次ディスプレイは、滅菌野内に位置し得る。二次ディスプレイ、医療器具、及び／又は外科用ハブは、滅菌野の外側にあり得る、一次ディスプレイ及び／又は二次ディスプレイを含み得る、１つ又は２つ以上のディスプレイを制御するために使用され得る。例えば、外科医は、二次ディスプレイを使用して、マルチスペクトル画像から通常照明画像に変化させることが可能であり得る。別の例として、外科医は、二次ディスプレイを使用して、ディスプレイ上に表示されている画像のコントラストを変更してもよい。例えば、二次ディスプレイは、外科医が滅菌野の外側にあるディスプレイ上のズームを変更することを可能にし得るインターフェースを外科医に提供してもよい。一実施形態では、外科医は、自分の指を使用してディスプレイ上のズームを操作することができ、自分の声を使用してディスプレイ上のズームを操作することができるコマンドを発行することができ、及び／又はディスプレイ上のズームを操作することができるジェスチャを使用することができる。これは、滅菌環境内の外科医が、外科処置の間、滅菌野の外側の物体に接触することができないであろうため、滅菌を侵害することなく、外科医が滅菌野の外側のディスプレイを制御する（例えば、直接制御する）ことを可能にし得る。
手術中に、滅菌領域と非滅菌領域とを区別するために、患者の周囲に人工的なバリアを形成することができる。これは、例えば、患者を感染から保護するために行うことができる。手術の準備中に、医療提供者は、手術中に患者に感染する可能性がある患者の外側の細菌を排除及び／又は最小化するために、患者を洗浄する（例えば、患者をスクラブ洗浄する）ことができる。次いで、患者を滅菌野内に配置することができる。滅菌野内の医療器具も滅菌されていてもよく、滅菌されていない物品は、滅菌野から除外されてもよい。
外科医又は看護師は、滅菌野に入る前にスクラブ洗浄することできる。滅菌野内の外科医又は看護師は、滅菌野の外側を循環している場合がある医療介護提供者とは異なるレベルでスクラブ洗浄することができる。滅菌野に進入し得る医療器具は、滅菌野内になくてもよいが、手術室内にあり得る医療器具と異なるレベルで洗浄されてもよい。
滅菌野内の外科医は、非滅菌物体又は物品と接触することを回避し得る。例えば、外科医は、非滅菌野内の人と接触することができない場合がある。別の例として、外科医が非滅菌野内外で人と接触した場合、外科医は、非滅菌野内の医療器具及び／又はディスプレイと接触することができない場合がある。外科医は、非滅菌野内の人又は非滅菌野からの人と接触すると、滅菌野を離れて、再スクラブ洗浄しなければならない場合がある。外科医が非滅菌野内の医療器具及び／又はディスプレイと接触する場合、外科医は、滅菌野を離れて、再スクラブ洗浄しなければならない場合がある。例えば、外科医がディスプレイを制御するために非滅菌野内のディスプレイに触れた場合、外科医は滅菌状態に違反し、再スクラブ洗浄しなければならない。
外科用ハブ及び／又は二次ディスプレイが、医療器具を構成するために使用され得る。例えば、エンドカッタなどの第１の医療器具は、故障する場合があり、新しい医療器具であり得る第２の医療器具と交換されてもよい。外科用ハブ及び／又は医療器具は、故障した第１の医療器具からの構成及び設定を使用し、それを第２の医療器具に適用するために、外科医などのユーザから命令を受信してもよい。次いで、外科用ハブ及び／又は二次ディスプレイは、１つ又は２つ以上の命令を第２の医療器具に送信して、第１の医療器具からの構成及び設定を医療器具に提供することができる。
外科用ハブは、医療器具を構成するために使用され得る。例えば、外科用ハブは、どのようにそれ自体を構成し得るかに関して器具に命令する命令を医療器具に送信してもよい。外科用ハブは、ユーザ選好を使用して、高度撮像が１つ又は２つ以上のディスプレイ上に提供されることを可能にし得る。例えば、外科用ハブは、画像に適用され得るパラメータの確立されたセットを示す、ユーザ選好を読み出すことができる。外科用ハブは、確立されたパラメータのセットを画像に適用され得る。外科用ハブは、確立されたパラメータのセットが適用された画像を表示するように、１つ又は２つ以上のディスプレイに命令を送信し得る。別の例として、外科用ハブは、外科医が赤外線血流撮像とオーバーレイされた通常の光撮像を見ることを選好し得ると判定することができる。
外科用ハブは、ユーザ選好を自動的に決定し、ロードする（例えば、起動する）ことが可能であり得る。一実施形態では、外科用ハブ能力は、階層ベースで提供され得る。例えば、より低い層の外科用ハブは、上位層の外科用ハブよりも少ない能力を有してもよい。第３の層などの上位層内の外科用ハブは、ユーザ選好を自動的に決定し、ロードすることができる。第１の層及び／又は第２の層などの下位層にあり得る外科用ハブは、ユーザ選好を自動的に決定及びロードすることが可能ではない場合がある。第３の層などの上位層における外科用ハブは、１つ又は２つ以上のディスプレイ及び／又は医療器具との双方向通信を提供することが可能であり得る。第１の階層及び／又は第２の階層などの下位層内の外科用ハブは、１つ又は２つ以上のディスプレイ及び／又は医療器具との双方向通信を提供することができない場合がある。
二次ディスプレイは、少なくとも３つの異なる動作構成で構成され得る。外科用ハブは、外科用ハブの階層に基づいて、異なる動作構成で二次ディスプレイを構成し得る。例えば、外科用ハブは、それがどの層であり得るかを判定してもよく、適切な動作構成を用いて二次ディスプレイを構成してもよい。
外科用ハブは、ＯＲ内の１つ又は２つ以上の装置を制御することが可能であり得る。１つ又は２つ以上の装置は、一次ディスプレイ及び／又は二次ディスプレイを含み得る。１つ又は２つ以上の装置は、医療器具及び／又は医療器具に関連するディスプレイを含み得る。例えば、医療器具は、二次ディスプレイであり得る、いくつかのディスプレイを含んでもよい。１つ又は２つ以上の装置は、ウェアラブルデバイス及び／又はウェアラブルデバイスに関連付けられ得るディスプレイを含み得る。ウェアラブルデバイスは、患者、看護師、外科医などのユーザに関連付けられ得る。１つ又は２つ以上の装置は、拡張現実眼鏡を含み得る。
外科用ハブは、ユーザを識別するために使用されてもよく、どのタスクがＯＲ内の異なるユーザによって行われているかを理解することが可能であってもよく、異なるユーザによって行われているタスクのための医療器具を構成することが可能であってもよい。例えば、外科用ハブは、ユーザがどこを見ているかを追跡してもよく、ユーザが行っている可能性があるあらゆる仕事に関連する情報を提示することが可能であってもよい。例えば、外科用ハブは、ユーザを識別し、ユーザが何の仕事をしているかを判定してもよく、ユーザがどこを見ているかを判定してもよく、ユーザが見ている場所のディスプレイに、ユーザが行っている仕事に関連する情報を表示するように命令してもよい。外科用ハブは、外科医に提示される無関係なデータを低減することによって、外科医が外科作業に集中するのを支援することができる。外科用ハブは、高い優先度を有するデータ（例えば、重大なデータ）を外科医に提示することができる。例えば、外科用ハブは、手術の異常、手術のエラー、医療器具のエラー、患者の問題を検出してもよく、それらを外科医に通知してもよい。
外科用ハブは、データがパラメータ（例えば、正常パラメータ）内にあることを確実にするためにデータを監視してもよく、データに関する問題が検出されたときに外科医に通知してもよい。例えば、外科用ハブは、心拍数、薬物送達、鎮静レベル、及び酸素付加レベルを監視してもよく、監視されたデータがパラメータ外であるときに外科医に通知してもよい。
外科用ハブは、ユーザを追跡して、ユーザがどのような情報を要求し得るかを予測し、情報が要求される前に情報をユーザに送達することができる。
外科用ハブは、ヘッドセットに搭載され得るカメラを使用して、ユーザの瞳孔を追跡することが可能であり得る。外科用ハブは、ＯＲ内及び／又はヘッドセット上に配置され得るカメラを使用して、ユーザの手を追跡することが可能であり得る。例えば、カメラは、ユーザのヘッドセット上に配置されてもよく、ユーザの手に方向付けられてもよい。外科用ハブは、ヘッドセットから画像を受信してもよく、ユーザの手を追跡するために画像を使用してもよい。ヘッドセットは、カメラを使用してユーザの手を追跡することができ、追跡データを外科用ハブに提供することができる。
ＯＲは、１つ又は２つ以上のディスプレイを有する。外科用ハブは、ディスプレイを使用して、医療器具上のカメラなどの内部カメラからの撮像を示すことができる。外科用ハブは、１つ又は２つ以上の医療器具からのデータを使用して画像を拡張するために使用され得る。
ＯＲでは、滅菌バリアと見なされる患者の周囲の領域があり、滅菌バリア内の物は、その領域が滅菌のままであることを確実にするために、滅菌バリアの外側の物と相互作用することができない場合がある。例えば、滅菌領域内のユーザが滅菌領域の外側のディスプレイに触れた場合、その接触は滅菌状態を破るので、ユーザはもはや滅菌状態であるとは見なされない。
場合によっては、医療器具は、滅菌ラインを通過しなければならないことがある。例えば、医療器具は、バックテーブルに渡され、滅菌ラインを横切ってリロードされ、洗浄されてもよい。外科用ハブは、医療器具がその位置及び配向を反映することができるように、医療器具のディスプレイを制御することができる。
外科用ハブは、医療器具の位置及び配向を決定することができる。外科用ハブは、医療器具の位置及び配向を別の医療器具に報告することができる。外科用ハブは、医療器具の位置及び配向を反映するように、医療器具に関連付けられたディスプレイを構成することができる。外科用ハブは、別の医療器具の位置及び配向を反映するように、医療器具に関連付けられたディスプレイを構成することができる。例えば、外科用ハブは、別の医療器具がトロカール内にあると判定されたときに、第１の医療器具のディスプレイを更新してもよい。
外科用ハブは、１つ又は２つ以上のカメラを使用して、ユーザによって見られているディスプレイを決定し、そのディスプレイに視覚効果を適用することができる。滅菌野内のユーザは、滅菌野の外側にあり得るディスプレイを見ることができる。ユーザは、画像のズームイン、画像のズームアウト、画像のハイライト、画像へのオーバーレイの適用、画像の回転などの視覚効果をディスプレイに適用することを望む場合がある。ユーザは滅菌野内にいるので、ユーザはディスプレイに物理的に触れることができない。外科用ハブは、カメラを使用して、ユーザの凝視及び／又はユーザの視線を判定することができる。例えば、外科用ハブは、カメラを使用して、ユーザの凝視及び／又はユーザの視線を判定するために使用される３Ｄ幾何学的データを判定してもよい。外科用ハブは、ユーザ凝視内にあるディスプレイを決定することができる。外科用ハブは、適用される視覚効果を示すことができるユーザからのジェスチャを決定することができる。ジェスチャは、手のジェスチャ、指のジェスチャ、頭部の移動、言葉によるコマンド、瞳孔の移動、及び光であり得る。例えば、外科用ハブは、ユーザが、彼らが見ているディスプレイ上に画像を重ね合わせ、置き換え、及び／又はサイズ変更することを望むと判定してもよい。
外科用ハブは、ユーザがディスプレイ上にデータを表示することを望み得ることを示し得る、ユーザからのジェスチャを決定してもよい。例えば、ユーザは、画像及び／又はデータを見ることを望む場合がある。ステープルラインの画像、ステープルライン進行、発生器電力レベル、組織インピーダンスなどである。ユーザからのジェスチャは、可聴であり得る。
外科用ハブは、ユーザからのジェスチャから、カメラがスコープ内のエンドエフェクタ上に再合焦される必要があり得ると判定することができる。例えば、ユーザは、頭部の運動、手の運動、指の運動、医療器具を用いた運動、医療器具上のタッチ、二次ディスプレイ上のタッチなどのジェスチャを提供してもよい。外科用ハブは、ジェスチャを、カメラがスコープ内のエンドエフェクタの端部に再合焦される必要があり得るという指示として解釈してもよく、外科用ハブは、カメラに再合焦するように命令するメッセージをカメラに送信してもよい。
外科用ハブは、ユーザからのジェスチャから、画像がズームイン又はズームアウトされる必要がある割合を判定することができる。例えば、外科用ハブは、ユーザが表示されている画像を５０％だけズームすることを望むことをユーザジェスチャが示すと判定してもよい。別の例として、外科用ハブは、ユーザが画像を２５％だけズームアウトすることを望むことをユーザジェスチャが示すと判定してもよい。外科用ハブは、ユーザからのジェスチャから、カメラが再合焦される必要があり得ると判定してもよい。
外科用ハブは、ユーザジェスチャが、カメラが再合焦する必要があることを示すと判定してもよい。カメラは、ＯＲ内のカメラ、又はスコープカメラなどの外科処置のために使用され得るカメラであり得る。例えば、外科用ハブは、ユーザジェスチャが、スコープカメラが医療器具上に再合焦されるべきであることを示すと判定してもよい。
外科用ハブは、二次ディスプレイが別の二次ディスプレイ及び／又は一次ディスプレイを制御することを可能にし得る。外科用ハブは、二次ディスプレイが、滅菌されることが不可能であり得る別の装置のディスプレイを制御することを可能にし得る。例えば、いくつかの電子機器は、電子機器が化学物質に敏感であり得、オートクレーブからの熱に耐えることができず、及び／又はガンマ放射線に適合し得ないため、滅菌されることができない場合がある。これらの電子機器は、外科処置に有用であり得るが、滅菌野内では許可されない場合がある。本明細書に記載されるように、外科用ハブは、二次ディスプレイが、滅菌野の外側にあり得るこれらの電子機器を制御することを可能にし得る。
外科用ハブは、スコープカメラの制御（例えば、正確な制御）を可能にし得る。例えば、外科用ハブは、滅菌野内の外科医が、スコープカメラのズーム、スコープカメラからの画像のサイズ変更、スコープカメラからの画像の置換、他の画像とスコープカメラからの画像との重ね合わせなどを制御することを可能にし得る。
手術部位で使用中の器具の状況認識に基づく、１つ又は２つ以上の機能的にリンクされたディスプレイの適応が提供され得る。例えば、器具位置の状況認識及びユーザの個別化を使用して、ディスプレイを制御してもよい。外科用ハブは、ＯＲ内のユーザ及びユーザの位置を決定する能力を有し得る。外科用ハブは、医療器具を決定する能力を有してもよく、器具は、ＯＲ内のどこに位置してもよい。外科用ハブは、ユーザの識別情報及び医療器具の位置を使用して、一次ディスプレイと使用中のシステムとの間に結合されたディスプレイユニットなどの１つ又は２つ以上のディスプレイを再構成することができる。この再構成は、一次ルームディスプレイとのデータの共有又は一次ルームディスプレイからの共有データの削除であり得る。例えば、データは、一次ディスプレイ及び二次ディスプレイ上に表示されてもよい。
二次ディスプレイ上に表示され得る、ローカルに表示される情報は、使用中の制御とステータス表示との間で、１つ又は２つ以上のタスク、使用のための工程にシフトし得、又は更に、ユーザの利き手及び反転のレベルに基づいて、配向を再構成することができる。例えば、二次ディスプレイであり得る医療器具上のディスプレイは、医療器具が使用されており、左利きのユーザによって使用されていることを外科用ハブが決定するとき、左利きのユーザのために再構成されてもよい。別の例として、外科用ハブは、医療器具が洗浄及び／又はリロードのために１人のユーザから別のユーザに移送されていることを判定してもよく、外科用ハブは、医療器具のディスプレイに洗浄命令及び／又はリロード命令を提示するように命令してもよい。
別の例として、外科用ハブは、医療器具が外科処置のタスクを行うために反転されなければならない場合があると判定してもよい。外科用ハブは、医療器具が反転されている間にユーザが命令を読むことができるように、医療器具のディスプレイ（例えば、二次ディスプレイ）に、タスクの実行のための命令を再配向するように命令することができる。
接続された（例えば、デジタル接続された）器具を有するＯＲでは、２つ以上の器具が２つ以上のディスプレイ上に情報を表示し得ることが可能であり得る。利用可能な情報を制御し、ユーザにとって有用であり得るものに単純化する能力を提供することが望ましい場合がある。外科用ハブは、ユーザのための情報を制御及び／又は単に制御し得る。外科用ハブは、ユーザ（例えば、一次ユーザ）の制御下にある装置を識別してもよく、その装置からの情報が最も有用である場所に表示されることを確実にしてもよい。例えば、外科用ハブは、１つ又は２つ以上の一次及び／又は二次ディスプレイに情報を表示してもよい。
本明細書に開示されるように、ＯＲ内のカメラは、ユーザの運動／アクションが監視及び追跡され得るように使用されてもよい。ユーザ上の、又はユーザに関連付けられたセンサも、識別に役立ち得る。カメラは、ユーザを識別するために使用され得る。カメラは、ユーザによって制御されている器具を識別するために使用され得る。存在する場合、患者内のカメラ（例えば、腹腔鏡など）が、付加的確認を提供するために使用され得る。二次ディスプレイであり得る、器具上のディスプレイ又は器具を通して制御されるディスプレイは、処置の状況認識（例えば、装置の動作モード、装置のステータスなど）に基づいて、外科医と共有される情報を優先順位付けすることができる。外科用ハブは、二次ディスプレイであり得る、器具上のディスプレイ又は器具を通して制御されるディスプレイに命令することができ、その情報は、処置の状況認識に基づいて、外科医と共有するために優先される。電力を節約し、使用を単純化し、及び／又は関連情報が共有されることを確実にするために、装置がもはやユーザによって使用されていないとき、装置は、ディスプレイへの情報の共有を停止し、電源を切断し、ステータスを提供し、二次ユーザ（例えば、器械出し看護師）のための情報を提供することができる。一例では、装置は、情報を共有することをいつ停止すべきかを決定することができる。別の例では、装置は、情報の共有を停止するように外科用ハブによって命令されてもよい。
ディスプレイは、手術部位、ＯＲなどの位置で使用中の１つ又は２つ以上の器具の状況認識に基づいて適合し得る。現場器具の中の１つ又は２つ以上の装置が、識別され得る。１つ又は２つ以上の装置を使用している可能性がある１人又は２人以上のユーザを識別することができる。現場の１つ又は２つ以上の装置は、例えば、スコープを使用して識別されてもよい。１人又は２人以上のユーザは、例えば、ＯＲ内のカメラを使用して識別されてもよい。ユーザが第１の現場器具を第２の現場器具と交換したと判定する。第１の器具及び／又は第２の現場器具は、装置の現場での存在に基づいてそのディスプレイを再構成するように命令され得る。例えば、バックテーブルに行く器具のディスプレイは、オフにすること、リロード命令を示すこと、洗浄命令を示すこと、再構成命令を示すことなどによって、そのディスプレイを変更してもよい。別の例として、現場で使用される器具のディスプレイは、以前の器具がそうするように命令され得るように、外科用ハブと器具パラメータとの間の二次ディスプレイなどの共有ディスプレイとしてそれ自体を構成してもよい。別の例として、器具のディスプレイは、１つ又は２つ以上の制御部のユーザによる作動に基づいて変化してもよく、ディスプレイは、現在の制御アクチュエータの使用に関連し得るデータを表示してもよい。
医療器具の状況認識を使用してディスプレイを制御するための外科用ハブが提供され得る。外科用ハブは、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、医療器具、及び手術室内の位置を決定することができる。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、医療器具、及び手術室内の位置に基づいて決定され得る。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し得る表示命令が、ディスプレイに送信され得る。ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
一例では、コンテキストデータ（例えば、コンテキスト情報）は、ユーザが医療器具を制御していることを示すことができる。表示命令は、ディスプレイに、器具データ、医療器具命令、及び外科処置命令のうちの１つ又は２つ以上を示させる命令を含み得る。
一例では、コンテキストデータ（例えば、コンテキスト情報）は、ユーザが医療器具を制御していることを示すことができる。表示命令は、医療器具の配向、ユーザの利き手、及び医療器具の反転のレベルのうちの１つ又は２つ以上に基づいて、ディスプレイに器具データを示させる命令を含み得る。
外科用ハブは、カメラ、手術室内のセンサ、ユーザに関連付けられたセンサ、医療器具に関連付けられたセンサ、及びウェアラブルデバイスのうちの１つ又は２つ以上を使用して、ユーザ、医療器具、及び手術室内の位置を決定するように構成され得る。
外科用ハブ（例えば、プロセッサ）は、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に関連し得る表示コンテンツを決定することができる。外科用ハブは、表示コンテンツを表示するためにディスプレイに表示命令を送信し得る。外科用ハブは、表示命令内に表示コンテンツを含み得る。例えば、表示命令は、表示コンテンツを含んでもよい。
外科用ハブは、ユーザを判定することができる。ユーザは、患者、医療提供者、医師、看護師、器械出し看護師、及び医療技術者のうちの１つ又は２つ以上であり得る。一例では、外科用ハブは、ユーザを識別するために、ＯＲ内に位置し得るカメラを使用してもよい。別の例では、外科用ハブは、医療器具、一次ディスプレイ、二次ディスプレイ、及びウェアラブルデバイスなどの、ユーザに関連付けられ得る装置を検出してもよい。外科用ハブは、装置の検出を使用して、ユーザ及び／又はユーザ識別を判定することができる。外科用ハブは、ユーザがＯＲ内のどこに立っているかに基づいて、ユーザを判定することができる。例えば、外科用ハブは、患者の隣に立っているユーザが外科医であり得ると判定してもよい。外科用ハブは、ユーザの音声に基づいてユーザを判定することができる。例えば、外科用ハブは、マイクロフォンを使用して音声を検出し、音声認識ソフトウェア及び／又はモジュールを使用して音声に関連付けられたユーザを識別してもよい。外科用ハブは、ＲＦＩＤを使用してユーザを判定することができる。例えば、外科用ハブは、ＲＦＩＤがＯＲ内に存在することを判定してもよく、ＲＦＩＤがユーザに関連付けられていることを判定してもよい。
外科用ハブは、手術室内の位置を決定することができる。例えば、外科用ハブは、空間認識を有してもよく、手術室をマッピングするために空間認識を使用してもよい。外科用ハブは、手術室の空間認識及び／又はマップを使用して、手術室内の１つ又は２つ以上の場所を決定することができる。外科用ハブは、空間認識を使用して、１つ又は２つ以上の潜在的な構成要素のための手術室をマッピングすることができ、これは、外科用ハブが、そのような潜在的な構成要素を外科システム及び／又は外科処置の一部として含めるか又は除外するかに関する自律的な決定を行うことを可能にし得る。外科用ハブはまた、外科処置の実行前、実行中、及び／又は実行後に収集された情報に基づいて、手術室で実行される外科処置のタイプを作成するように構成され得る。収集された情報の例としては、手術室内に持ち込まれる装置の種類、手術室内へのそのような装置の導入時間、及び／又は装置起動シーケンスが挙げられる。外科用ハブの空間認識はまた、手術室内の１つ又は２つ以上のディスプレイを更新するために使用され得る。例えば、外科用ハブの空間認識は、器具の検出、手術室のマッピング、ユーザの検出、外科用ハブの場所の変化、器具の切断などのうちの少なくとも１つに基づいて、一次ディスプレイ上にデータを表示してもよく、二次ディスプレイ上にデータを表示してもよく、かつ／又は一次ディスプレイと二次ディスプレイとの間でデータを移動させてもよい。
手術室内の決定された場所は、滅菌野内の場所であってもよく、又は非滅菌野内の場所であってもよい。外科用ハブは、位置を使用して、ユーザが滅菌野内にいるか、又は非滅菌野内にいるかを判定することができる。
一例では、外科用ハブは、ユーザ、医療器具、及び手術室内の位置に基づいて、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）を決定するように構成されてもよい。例えば、外科用ハブは、医療器具がその位置にあると判定してもよい。外科用ハブは、ユーザがその位置から閾値距離以上離れていることを判定することができる。外科用ハブは、医療器具が電源オフされることを位置が示すと判定することができる。例えば、位置は、保管領域、準備領域、患者から離れた領域、手術台、洗浄ステーションなどであってもよい。外科用ハブは、医療器具が電源オフされるべきであることを示すように表示命令を設定することができる。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令する、ディスプレイへの表示命令は、ディスプレイに、器具データをオフにさせるか、又は削除させ得る。
一例では、外科用ハブは、ユーザ、医療器具、及び手術室内の位置に基づいて、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）を決定するように構成されてもよい。例えば、外科用ハブは、医療器具及び／又はユーザがその場所の閾値距離にあるか、又はその範囲内にあることを判定してもよい。外科用ハブは、医療器具が洗浄されるべきであることを位置が示すと判定することができる。外科用ハブは、医療器具が洗浄モードにあるべきであることを示すように表示命令を設定することができる。
ディスプレイへの表示命令は、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し、ディスプレイに、ユーザに医療器具のための洗浄命令を提供させ得る。
医療器具の状況認識を使用してディスプレイを制御するための外科用ハブが提供され得る。第１のユーザ、医療器具、及び手術室内の位置が決定され得る。医療器具に関連するコンテキストデータ（例えば、コンテキスト情報）は、第１のユーザ、医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、医療器具が、その場所の閾値距離内で、又はその場所の閾値距離において、第２のユーザから第１のユーザに移動されていることを判定することができる。外科用ハブは、その位置が患者の近くであると判定することができる。外科用ハブは、第１のユーザが医療器具を制御していること、及び医療器具が外科処置のタスクを実行するために使用されることを示すように表示命令を設定してもよい。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し得る表示命令が、ディスプレイに送信され得る。一次ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
医療器具の状況認識を使用してディスプレイを制御するための外科用ハブが提供され得る。ユーザ、第１の医療器具、及び手術室内の位置が決定され得る。第１の医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、第１の医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、第１の医療器具、第２の医療器具、及びユーザがその位置の閾値距離内にあると判定することができる。外科用ハブは、ユーザが第２の医療器具を第１の医療器具と交換していると判定することができる。外科用ハブは、第２の医療器具が第１の医療器具と交換されていることを示すように表示命令を設定することができる。一例では、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令することができる表示命令をディスプレイに送信することができる。ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
一例では、第１の医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令することができるディスプレイへの表示命令は、ディスプレイに、第１の医療器具に関連付けられた第１の器具データを追加させ、第２の医療器具に関連付けられた第２の器具データを削除させる。
医療器具の状況認識を使用して１つ又は２つ以上のディスプレイを制御するための外科用ハブが提供され得る。ユーザ、第１の医療器具、及び手術室内の位置が決定され得る。第１の医療器具に関連付けられた第１のコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、第１の医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、第１の医療器具、第２の医療器具、及びユーザがその位置の閾値距離内にあると判定することができる。外科用ハブは、ユーザが第２の医療器具を第１の医療器具と交換していると判定することができる。外科用ハブは、ユーザ、第２の医療器具、及び手術室内の位置に基づいて、第２の医療器具に関連付けられた第２のコンテキストデータ（例えば、コンテキスト情報）を判定することができる。外科用ハブは、第２の医療器具が第１の医療器具と交換されていることを示すように第１の表示命令を設定することができる。器具データ又は第１の医療器具を使用するための命令を表示することによって、第１の医療器具に関連付けられた第１のコンテキストデータ（例えば、コンテキスト情報）に従って構成されるように第１のディスプレイに命令し得る表示命令が、第１のディスプレイに送信され得る。外科用ハブは、第２のディスプレイをオフにするか、又は第２の医療器具のリロード命令、第２の医療器具の洗浄命令、若しくは第２の医療器具の器具命令のうちの１つ若しくは２つ以上を表示することによって、第２のコンテキストデータ（例えば、コンテキスト情報）に従って構成されるように第２のディスプレイに命令する第２の表示命令を第２のディスプレイに送信する。第１のディスプレイ及び第２のディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
図６７は、医療器具の状況認識を使用してディスプレイを制御するためのプロセスの論理フロー図である。
３０１００において、１つ又は２つ以上の装置が、現場器具において識別され得る。１つ又は２つ以上の装置を使用する１人又は２人以上のユーザが決定され得る。例えば、外科用ハブは、手術中に使用され得る医療器具などの１つ又は２つ以上の装置を識別してもよい。医療器具は、手術室内に配置することができる。
外科用ハブは、本明細書に記載される方法のうちのいずれかを使用して、１つ又は２つ以上の装置を検出することができる。例えば、外科用ハブは、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉなどを介して外科用ハブへの接続を検出することによって、１つ又は２つ以上の装置を検出してもよい。別の例として、外科用ハブは、ＲＦＩＤなどの１つ又は２つ以上の装置に関連付けられたセンサを検出してもよい。
外科用ハブは、カメラを使用して、１つ又は２つ以上の装置を識別することができる。外科用ハブは、１つ又は２つ以上のカメラに接続され得る。１つ又は２つ以上のカメラは、ＯＲ内に位置してもよく、スコープカメラなどの手術に使用されるカメラであってもよく、安全眼鏡に属するカメラなどであってもよい。カメラは、画像又はビデオを外科用ハブに送信することができる。外科用ハブは、ビデオ又は画像を分析することによって医療器具を検出することができる。例えば、外科用ハブは、ビデオ又は画像内の医療器具を識別するために人工知能を使用してもよい。次いで、外科用ハブは、データベースにアクセスして、識別された医療器具に関する更なる情報を決定してもよく、識別された医療器具に接続することを試みてもよく、新しい医療器具に関する情報をユーザに促してもよい。
外科用ハブは、カメラを使用して医療器具の位置及び配向を決定するように作製される。外科用ハブは、カメラからの画像又はビデオを使用して、医療器具がどの位置にあり得るか、医療器具がどのように使用され得るか、医療器具が使用され得る状況、器具が医療器具内のどこに位置し得るかなどを判定することができる。例えば、外科用ハブは、画像又はビデオをコンテキストデータとともに使用して、外科医が医療器具を使用して患者に対して外科作業を実施している間に医療器具を逆さまに保持していると判定してもよい。外科用ハブは、医療器具の配向に従ってデータの表示を回転させるように医療器具のディスプレイに命令するメッセージを送信することができる。
外科用ハブは、ＯＲ内の１人又は２人以上のユーザを判定することができる。手術室は、ＯＲ内に位置する１つ又は２つ以上の装置を使用している場合がある１人又は２人以上のユーザを判定することができる。外科用ハブは、カメラ、ユーザに関連付けられたセンサ、ユーザに関連付けられ得る医療器具、超音波センサ、ＲＦＩＤ（従業員タグ内に埋め込まれ得る）などを使用して、ユーザを判定及び／又は識別することができる。
外科用ハブは、カメラからキャプチャされた画像とともに人工知能を使用して、ユーザ及びユーザの識別情報を識別することができる。例えば、外科用ハブは、手術室内のカメラからキャプチャされた画像から外科医の身元を認識するために、画像処理、画像認識、人工知能などを使用することによって、患者に行われている外科処置の先頭外科医であり得る外科医を識別してもよい。
３０２００において、医療器具などの１つ又は２つ以上の装置が、現場で識別され得る。例えば、外科用ハブは、スコープからのカメラを使用して、患者に使用され得る１つ又は２つ以上の医療器具を決定してもよい。手術中に、スコープを患者に使用することができる。外科用ハブは、スコープへの接続を有し得る。外科用ハブは、スコープから画像及び／又はビデオを受信することが可能であり得る。外科用ハブは、スコープからの画像及び／又はビデオから医療器具を識別及び／又は検出するために人工知能を使用することができる。例えば、外科用ハブは、スコープから受信した画像及び／又はビデオ内のステープラを識別してもよい。
外科用ハブは、医療器具に関連付けられたセンサ及び／又は別の医療器具に関連付けられたセンサを使用して、医療器具を現場で識別してもよい。例えば、外科用ハブは、医療器具と関連付けられたセンサを検出してもよく、医療器具を識別してもよい。別の例では、別の医療器具からのセンサが、医療器具を検出させ、外科用ハブが医療器具を識別し得るように、医療器具を外科用ハブに報告してもよい。
外科用ハブは、１人又は２人以上のユーザを識別することができる。外科用ハブは、１人又は２人以上のユーザが検出された医療器具に関連付けられているかどうかを判定することができる。例えば、外科用ハブは、医療器具を現場で検出してもよく、医療器具を使用している可能性がある外科医を識別してもよい。別の例として、外科用ハブは、患者上で使用され得る医療器具を検出してもよく、ＯＲ内のカメラを使用して、医療器具を使用しているユーザを判定してもよい。
３０３００において、外科用ハブは、医療提供者が１つの医療器具を別の医療器具と交換している可能性があると判定することができる。手術中、外科医は、いくつかの医療器具を使用する必要があり得る。外科医は、１つの医療器具を別の医療器具と交換することができる。手術室内のカメラは、手術を視認してもよく、医療器具の交換を視認してもよい。カメラに接続された外科用ハブは、手術室内のカメラからの画像及び／又はビデオを使用して交換を検出することができる。例えば、外科用ハブは、外科医が使用している医療器具が別のユーザに渡されたことを検出してもよい。
外科用ハブは、スコープからのカメラを使用して、外科医などの医療提供者が１つの医療器具を別の医療器具と交換している可能性があると判定することができる。外科用ハブは、スコープカメラからビデオ及び／又は画像を受信することができる。スコープカメラからのビデオ及び／又は画像は、第１の医療器具が除去されていることを判定するように分析され得る。スコープカメラからのビデオ及び／又は画像は、第２の医療器具が導入されていると判定するために分析され得る。例えば、外科医が第１の医療器具を除去するにつれて、外科医は、第２の医療器具を現場で導入してもよく、スコープカメラからの画像／ビデオは、第２の医療器具の導入を示してもよい。人工知能を使用して、外科用ハブは、スコープカメラ画像／ビデオから第２の医療器具の導入を検出することができる。
３０４００において、外科用ハブは、１つ又は２つ以上のディスプレイと通信して、ユーザの選好に基づいてディスプレイを構成することができる。１つ又は２つ以上のディスプレイは、医療器具に対してローカルである小型医療器具ディスプレイなどの医療器具ディスプレイであってもよく、１つ又は２つ以上のディスプレイは、二次ディスプレイを含んでもよい。外科用ハブは、１つ又は２つ以上の医療器具の識別情報の判定に基づいて、ディスプレイを構成することができる。例えば、外科用ハブは、ステープラが現場に導入されたことを判定してもよく、次いで、ステープラのディスプレイに、ステープラを使用して行われる外科作業に関する命令及び／又はデータを提供するように命令してもよい。別の例として、外科用ハブは、エンドカッタが現場で導入されたことを判定してもよい。外科用ハブは、コンテキストデータ、ユーザ選好などを使用して、エンドカッタのための構成を読み出してもよく、外科用ハブは、メッセージをエンドカッタに送信し、エンドカッタ及び／又はエンドカッタのディスプレイに、構成に従って構成されるように命令してもよい。
二次ディスプレイであり得る、医療器具のディスプレイは、外科医などのユーザによって好まれ得るデータを表示するように、外科用ハブによって構成されてもよい。例えば、外科医は、患者に対して外科作業を実施している間、組織インピーダンスに関連するデータを見ることを好む場合がある。外科用ハブは、外科作業が患者に対して実施されようとしていることを検出し得、外科用ハブは、医療器具のディスプレイ上に組織インピーダンスを表示するように医療器具に命令し得る。別の例として、外科医は、患者に対して行われる外科的作業のために、ステープラを特定の強制発射に設定することを好む場合がある。外科用ハブは、当該外科作業が現在の外科作業であり得ると判定し得、外科医のために発射するための好ましい力にステープラを構成するように、医療器具にメッセージを送信することができる。
医療器具の選好は、データベースに記憶されてもよく、外科用ハブ及び／又は医療器具によって読み出されてもよい。医療器具の選好は、例えば、外科用ハブ及び／又は医療器具において人工知能を使用することによって予測されてもよい。医療器具の選好は、１人又は２人以上のユーザによる医療器具の以前の使用を分析することによって予測され得る。
３０５００において、医療器具がバックテーブルに送信されて、リロードされる、洗浄される、再構成されるなどの外科作業に使用され得ることが判定され得る。外科用ハブ及び／又は医療器具は、外科作業に従って医療器具のディスプレイを命令することができる。医療器具のディスプレイは、外科作業のための又は外科作業に関連するデータ及び／又は命令を表示するように命令されてもよい。例えば、医療器具がリロードされる必要があり得ることが判定されてもよく、医療器具がバックテーブルにあることが判定されてもよい、医療器具のディスプレイは、医療器具をリロードする命令を表示するように命令されてもよい。医療器具は、リロードモードに入るように命令され得る。別の例として、医療器具が洗浄される必要があり得ることが判定されてもよく、医療器具がバックテーブルにあることが判定されてもよく、医療器具のディスプレイは、医療器具を洗浄する命令を表示するように命令されてもよい。医療器具は、洗浄モードに入るように命令され得る。別の例として、医療器具が外科処置中に更なる外科作業のために使用され得ないことが判定されてもよく、医療器具がバックテーブルにあり得ることが判定されてもよく、医療器具のディスプレイがオフになるように命令されてもよい。医療器具は、電源オフモードに入るように命令され得る。
バックテーブルにおいて、ユーザは、医療器具のための外科作業（例えば、現在の外科作業）を実行するために表示されている命令を見ることができる。例えば、医療器具は、洗浄及び／又はリロードされる必要があり得、ユーザは、表示された命令を使用して、医療器具を洗浄及び／又はリロードしてもよい。
３０６００において、現場で使用され得る医療器具のディスプレイは、共有ディスプレイとして使用されるように構成されてもよく、かつ／又は以前の器具のパラメータで構成されてもよい。いくつかの医療器具が現場で使用され得る。例えば、カメラを有するスコープは、エンドカッタ及び／又はステープラとともに使用されてもよい。外科用ハブは、外科医によって使用され得る第１の医療器具及び第２の医療器具を検出し得る。
外科用ハブは、第２の医療器具からのデータを表示するようにそのディスプレイを再構成するように第１の医療器具に命令することができる。外科用ハブは、第１の医療器具が第２の医療器具とともに現場で使用されていると判定することができる。第１の医療器具は、第２の医療器具からのビデオ及び／又は画像を示すように、そのディスプレイを再構成するように命令され得る。例えば、第１の医療器具は、第２の医療器具のカメラから撮影された手術部位のビデオを示すように、そのディスプレイを再構成するように命令されてもよい。別の例として、第１の医療器具は、追加のデータと重ね合わされ得る手術部位の画像を示すように、そのディスプレイを再構成するように命令されてもよい。手術部位の画像及び／又は追加のデータは、第２の医療器具に由来してもよい。
外科用ハブは、第１の医療器具が第２の医療器具とともに現場で使用されていると判定することができる。外科用ハブは、第１の医療器具に、第２の医療器具からのデータを示すように、及び／又は第２の医療器具を使用する際にユーザを支援し得るデータを示すように、そのディスプレイを再構成するように命令することができる。例えば、外科用ハブは、第１の医療器具に、そのディスプレイを再構成し、第２の医療器具のための強制発射を示すように命令してもよい。別の例として、外科用ハブは、第２の医療器具が使用される外科作業を決定することができ、第２の医療器具の外科作業に関連するコンテキストデータを決定することができ、そのコンテキストデータを表示するように第１の医療器具に命令することができる。
第１の医療器具は、第２の医療器具からのデータを表示するようにそのディスプレイを再構成することができる。第１の医療器具は、それが第２の医療器具とともに現場で使用されていると判定してもよい。第１の医療器具は、第２の医療器具からのビデオ及び／又は画像を示すようにそのディスプレイを再構成することができる。例えば、第１の医療器具は、第２の医療器具のカメラから撮影された手術部位のビデオを示すように、そのディスプレイを再構成してもよい。別の例として、第１の医療器具は、追加のデータとオーバーレイすることができる手術部位の画像を示すように、そのディスプレイを再構成することができる。手術部位の画像及び／又は追加のデータは、第２の医療器具に由来してもよい。
第１の医療器具は、それが第２の医療器具とともに現場で使用されていると判定してもよい。第１の医療器具は、第２の医療器具からのデータを示すようにそのディスプレイを再構成することができ、及び／又は第２の医療器具を使用する際にユーザを支援することができるデータを示すことができる。例えば、第１の医療器具は、そのディスプレイを描画して、第２の医療器具に対して強制的に発射することを示してもよい。別の例として、第１の医療器具は、第２の医療器具が使用される外科作業を決定することができ、第２の医療器具の外科作業に関連するコンテキストデータを決定することができ、そのコンテキストデータを表示することができる。
３０７００において、１つ又は２つ以上のディスプレイは、表示データを変更し得る。表示データは、ユーザによる１つ又は２つ以上の制御部の作動に基づいて変更されてもよく、コントローラ作動に関連するコンテンツを表示してもよい。ディスプレイは、二次ディスプレイの下の一次ディスプレイであり得る。ディスプレイは、医療器具のディスプレイであり得る。医療器具ディスプレイは、ユーザに情報を表示し得る。ユーザへの情報は、外科作業に関連し得る。例えば、外科作業に関連するコンテキストデータがユーザに表示されてもよい。
ユーザは、医療器具の１つ又は２つ以上の制御部を作動させることができる。制御部の作動は、医療器具にその表示を変更させることができる。医療器具は、第１のコンテキストデータを表示していてもよく、ユーザが医療器具の制御を作動させると、医療器具は、第２のコンテキストデータを表示してもよい。第２のコンテキストデータは。
図６８は、外科処置の過程の間、１つ又は２つ以上の医療器具の状況認識を使用して制御され得る、１つ又は２つ以上のディスプレイを示す図である。ＯＲは、１つ又は２つ以上のディスプレイを含み得る。１つ又は２つ以上のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイを含み得る。例えば、１つ又は２つ以上のディスプレイは、第１の二次ディスプレイであり得る、医療器具３１９００のディスプレイと、第２の二次ディスプレイであり得る、医療器具３１９１０のディスプレイとを含んでもよい。
カメラ３１６００は、ＯＲ内にあり得る。カメラ３１６００は、外科医３１９００及び看護師３１８５０などの１人又は２人以上のユーザを追跡するために使用され得る。カメラ３１６００は、１つ又は２つ以上の器具を追跡するために使用され得る。例えば、カメラ３１６００は、医療器具３１９００及び医療器具３１９１０を追跡するために使用されてもよく、カメラ３１６００は、外科用ハブに送信され得るＯＲの画像及び／又はビデオをキャプチャするために使用されてもよく、Ｒの画像及び／又はビデオは、ユーザ、医療器具、ユーザと医療器具との間の対話などを識別するために、外科用ハブ及び／又は医療器具によって使用されてもよい。
ＯＲは、滅菌境界３１７１０によって分離され得る。滅菌境界３１７１０は、滅菌野３１７２０及び非滅菌野３１７００を指定するために使用され得る。滅菌野３１７２０は、患者３１９２０などの患者を含み得る。滅菌野３１７２０は、外科処置のために滅菌され得る、ＯＲの一部であり得る。滅菌性は、患者３１９２０に感染が起こるのを防止するために使用され得る。非滅菌野３１７００は、外科処置のために滅菌ではない場合がある、ＯＲの一部であり得る。非滅菌野３１７００は、外科処置のための準備が行われ得る領域であってもよい。例えば、看護師３１８５０は、非滅菌野３１７００内にいてもよく、医療器具３１９１０及び医療器具３１９００などの１つ又は２つ以上の医療器具を準備してもよい。
外科処置中、滅菌野３１７２０の滅菌性が侵害されないことを確実にするように注意が払われてもよく、例えば、外科用ハブは、医療器具が非滅菌野３１７００２を離れて滅菌野３１７００に入るとき、又は医療器具が滅菌野３１７２０を離れて滅菌野３１７２０に入るときなどに、医療器具が滅菌境界３１７１０を越えて通過し得るかどうかを追跡してもよい。別の例として、医療器具は、それ又は別の医療器具が滅菌境界３１７１０を通過し得るかどうかを追跡することができる。医療器具の場所を追跡することは、カメラ３１６００、又は医療器具３１９００上に位置するセンサ若しくは医療器具３１９１０上に位置するセンサなどの医療器具上に位置するセンサを使用して行われてもよい。
医療器具３１９００が滅菌野３１７２０内にあることが判定され得る。医療器具３１９００が外科医３１８００によって保持されていることが判定され得る。また、医療器具３１９００で判定されてもよく、患者３１９２０に対して外科作業を実施するために使用されてもよい。例えば、外科用ハブは、カメラ３１６００を使用して、医療器具３１９００が外科医３１８００の手の中にあり、外科作業のために使用され得ると判定してもよい。別の例として、医療器具３１９００は、医療器具３１９００又はカメラ３１６００に対する内部センサを使用して、それが滅菌野３１７２０内にあることを判定してもよい。医療器具３１９００は、外科作業を決定し、医療手術のためにそれ自体を構成させることができる。
医療ハブは、医療器具３１９００のコンテキストデータ及び決定された外科作業を使用して、医療器具３１９００の表示を構成することができる。例えば、外科用ハブは、医療器具３１９００が、ステープルを発射するために外科医３１８００によって使用されるステープラであると判定してもよい。外科用ハブは、医療器具３１９００にメッセージを送信して、医療器具３１９００がステープル留めのためにそれ自体を構成するように命令することができる。外科用ハブは、データディスプレイ３１１６０上に示されるような医療タスクのためのデータを表示するように医療器具３１９００に命令するために、医療器具３１９００にメッセージを送信してもよい。
データディスプレイ３１１６０は、医療器具３１９００のディスプレイ上に表示されるデータであってもよく、医療器具３１９００のディスプレイは、二次ディスプレイであってもよく、表示３１１６０の日付は、外科処置の外科作業に関連し得るデータで構成されてもよい。外科処置の外科作業は、外科医３１５００が患者３１９２０に対して実施している可能性がある現在の外科作業とすることができ、データディスプレイ３１１６０は、外科用ハブ及び／又は医療器具３１９００によって決定され得る。医療タスクは、外科医３１８００が医療器具３１９００を使用して組織をステープル留めすることであると判定され得る。医療器具３１９００のディスプレイは、データディスプレイ３１１６０を表示するように命令され得る。データディスプレイ３１１６０は、ステープリングタスクのための、ステープラであり得る医療器具３１９００の構成を示し得る。例えば、データディスプレイ３１１６０は、ステープラの速度、ステープラの発射の強制、及び残りのステープルの数を示してもよい。
医療器具３１９００は、外科医３１８００２から看護師３１８５０に移送され得る。医療器具３１９００は、滅菌野３１７２０２から非滅菌野３１７００に移送され得る。医療器具３９１００は、ステープラであってもよく、リロードされる必要があり得る。例えば、医療器具３９１００は、ステープルが切れている場合があり、リロードされなければならない場合がある。
医療器具３１９００がリロードされる必要があり得ることが判定され得る。例えば、外科用ハブは、医療器具３１９００が将来の外科作業を実施するためにリロードされる必要があり得ると判定してもよい。別の例として、医療器具３１９００は、ステープルが切れている場合があり、リロードされる必要があると判定し得る。
医療器具３１９００が非滅菌野３１７００内のバックテーブルに位置し得ることが判定され得る。医療器具３１９００が看護師３１８５０によって保持され得ることが判定され得る。例えば、外科用ハブは、カメラ３１６００からの画像又はビデオを使用して、医療器具３１９００が、滅菌野３１７２０内の外科医３１８００の手から、非滅菌野３１７００内にいる看護師３１８５０の手に移送された可能性があると判定してもよい。別の例として、医療器具３１９００は、１つ又は２つ以上のセンサを使用して、それが滅菌野３１７２０内の外科医３１８００から非滅菌野３１７００内にある看護師３１８５０に移送された可能性があると判定してもよい。別の例として、医療器具３１９１０は、そのセンサのうちの１つを使用して、医療器具３１９００がその近傍に位置することを判定し、医療器具３１９００がリロードされる必要があり得ると判定してもよい。
非滅菌野３１７００内に位置し得る医療器具３１９００のための外科作業が、判定され得る。例えば、外科作業は、洗浄タスク、リロードタスクなどであってもよい。看護師３１８５０が医療器具３１９００を使用して外科作業を実施し得ることが判定され得る。医療器具３１９００のディスプレイは、データディスプレイ３１１２０を表示するように命令されてもよく、これは、医療タスクを行うように看護師３１８５０に命令を提供してもよい。例えば、医療器具３１９００がリロードされる必要があり得ると判定されてもよく、医療器具３１９００をリロードする命令がデータディスプレイ３１１２０に含まれてもよい。
データディスプレイ３１１２０は、リロード、洗浄、電源オフ、エラー修正などの外科作業のための１つ又は２つ以上の命令を含み得る。例えば、タイトル表示３１１２０は、医療器具３１９００のためのリロード命令を含み得る。データディスプレイ３１１２０は、命令３１１３０、命令３１１４０、及び命令３１１５０を含み得る。命令３１１３０は、カートリッジを挿入するようにユーザに命令することができる。命令３１１４０は、ユーザに、ステープル保持具をしっかりと押して嵌め込むように命令してもよく、命令３１１５０は、ユーザに、ステープル保持具を取り外すように命令してもよい。
ステープラ器具命令及び／又は以前の命令の状況認識に基づく、１つ又は２つ以上の機能的にリンクされた表示の適応が、提供されてもよい。例えば、表示された情報の態様を優先順位付けするために、装置アクチュエータ活動の共有された状況認識が提供されてもよい。アクチュエータ動作、器具ステータス、及び処置タスクの順序は、医療器具データの異なる態様の優先度を決定し、医療器具の軌道の関連情報（例えば、最も関連する情報）を一次ディスプレイ及び／又は二次ディスプレイ上に表示する（例えば、器具に属する二次ディスプレイ上でハイライトされる）ために、外科用ハブと医療器具との間で共有され得る。情報の位置及びハイライトはまた、医療器具の二次ディスプレイ又は他の二次ディスプレイ上のその情報の再度優先を決定してもよい。医療器具データは、重大な又は危険なジョブを実行するプロセスにおいて使用されているときに、一次ディスプレイのある量（例えば、相当の量）を占めることができる。
例えば、患者ＥＭＲなどの１つ又は２つ以上の外部データソースからのコンテキストを伴う外科用ハブは、行われている処置を判定してもよい。ＯＲ／患者内のカメラ、装置利用及びステータス、手術スタッフの活動などからなど、様々なデータソースから、処置における現在のタスクが識別され得る。処置の知識を用いて、処置における後続又は次のタスクも決定され得る。この情報に基づいて、外科用ハブは、必要な情報をスマート器具に供給して、（可能であれば）装置上に、及び／又はＯＲ内の適切なスクリーン上に表示することができる。適切な情報は、ユーザ（例えば、外科医、器械出し看護師など）によって取り扱われている装置（例えば、各装置）、並びに次に使用されることが予期され得る装置（例えば、装填されるべき装置、又はバックテーブルから外科医に移送される準備ができている装置）上に表示することができる。適切な情報は、器具のステータス及び設定、推奨される使用情報（例えば、待機時間）、エラー解決などを含み得る。
外科用ハブは、処置、現在の外科作業、及び次の外科作業を識別することができる。外科用ハブは、現在の外科作業及び／又は次の外科作業に関する情報を医療器具（例えば、スマート医療器具）に供給することができる。医療器具は、ディスプレイを有することができ、現在の外科作業及び／又は次の外科作業に関する情報を表示することができる。医療器具は、処置の状況認識、外科的な現在の外科的工程、次の外科的工程、装置ステータス、サブシステムのステータス、構成要素のステータス（例えば、モータ、リロード、エンドエフェクタ配向など）、ユーザ作動情報などのデータを組み合わせることができる。組み合わされたデータは、何が表示されるべきかを判定するために使用され得る。器具は、現在の外科作業及び／又は次の外科作業に関連する１つ又は２つ以上の重要な（例えば、重大な）データソースを識別することができる。医療器具及び／又は外科用ハブは、識別されたデータソースを監視することができる。医療器具及び／又は外科用ハブは、ユーザ（例えば、外科医）によって調整及び／又は修正され得る１つ又は２つ以上の器具パラメータ（例えば、待機時間、発射力、クランプ圧縮）を監視することができる。調整されたパラメータは、調整されたパラメータが、一次ディスプレイ及び／又は二次ディスプレイなどのディスプレイ上に以前の外科作業からの表示されたデータを表示するように、表示されてもよい。ローカルディスプレイは、現在の外科作業のためのシステムステータス追跡又はエラー解決（例えば、装填されたカートリッジ色、使用済みの新しいカートリッジステータス、有効にされた制御、無効にされた制御、電池電力レベル、禁止された制御など）を更新することができる。
外科用ハブ及び／又は医療器具は、エラーが発生した可能性があると判定することができる。一次ディスプレイは、エラーが発生した可能性があることを示すように変化することができる。例えば、一次ディスプレイは、ステープラ動作でエラーが発生したことを示してもよい。医療器具に対してローカルであり得る二次ディスプレイは、発生したエラーの詳細を提供するように更新され得る。二次ディスプレイは、エラーの解決を支援するために、１つ又は２つ以上のエラー解決命令及び／又はオプションを表示することができる。
医療器具の状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置が決定され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、第１の外科作業及びコンテキストデータに基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。メッセージは、第１のメッセージであってもよく、第２のメッセージは、第２の外科作業に従って構成されるように医療器具に命令するために、医療器具に送信されてもよい。
一例では、表示データは、医療器具を使用する第２の外科作業に関連してもよく、ユーザの識別情報及びコンテキストデータに基づいて決定されてもよい。表示データは、医療器具を使用する第２の外科作業を実施し得るユーザに関連し得る。第２の外科作業は、外科処置の第１の外科作業の完了後に実施されてもよい。医療器具を使用する第２の外科作業は、重要なタスク、重大なタスク、危険なタスク、又はエラー修正タスクのうちの１つ又は２つ以上であり得る。
一例では、コンテキストデータは、医療器具から受信されたデータ、医療器具のステータス、医療器具のサブシステムのステータス、医療器具の構成要素のステータス、医療器具のモータのステータス、エンドエフェクタ配向、リロードステータス、医療器具の構成、及び作動情報のうちの１つ又は２つ以上のうちの１つ又は２つ以上を含み得る。
医療器具の状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。器具データは、医療器具から受信されてもよく、第１の外科作業に関連付けられてもよい。医療器具を使用する第２の外科作業は、第１の外科作業、器具データ、及び外科処置に基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。
一例では、器具データは、ユーザフィードバック、ユーザによって調整された医療器具のためのパラメータ、待機時間、発射力パラメータ（ＦＴＦ）、クランプ圧縮パラメータ、カートリッジが装填されたという指示、カートリッジステータス、有効にされた制御の指示、無効にされた医療器具制御の指示、電池電力レベル、及び医療器具のステータスのうちの１つ又は２つ以上を含み得る。
医療器具の状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。器具データは、医療器具から受信されてもよく、第１の外科作業に関連付けられてもよい。エラーは、コンテキストデータを使用して医療器具からの器具データを分析することによって決定され得る。医療器具を使用する第２の外科作業は、第１の外科作業、器具データ、及び外科処置に基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。表示データは、エラーを示すことができる。
一例では、エラーを解決するための１つ又は２つ以上の命令が決定され得る。表示データは、エラーを解決するための１つ又は２つ以上の命令を含み得る。
一例では、コンテキストデータは第１のコンテキストデータであり得る。第２のコンテキストデータが受信され得る。外科処置中に発生したエラーは、第２のコンテキストデータに基づいて決定され得る。
一例では、第２の外科作業は、外科処置中に発生したエラーを修正するための修正外科作業であり得る。修正外科作業を実施する際にユーザを支援するための１つ又は２つ以上の命令が決定され得る。表示データは、ユーザが修正外科作業を実施するのを支援するための１つ又は２つ以上の命令を含み得る。
医療器具の状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する第１の外科作業が決定され得る。外科処置中に発生したエラーは、コンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、エラー、コンテキストデータ、及び外科処置に基づいて決定され得る。エラーの指示を表示するように第１のディスプレイに命令し得る第１のメッセージが送信され得る。第２の外科作業に関連するデータを表示するように第２のディスプレイに命令することができる第２のメッセージを送信することができる。第１のディスプレイは、一次ディスプレイであってもよく、第２のディスプレイは、医療器具に関連付けられた二次ディスプレイであってもよい。
一例では、エラーに対する解像度が決定され得る。表示データは、エラーに対する解像度を含み得る。
一例では、第２の外科作業は、エラーを修正するための修正外科作業であり得る。修正外科作業を実施する際にユーザを支援するための１つ又は２つ以上の命令が決定され得る。表示データは、ユーザが修正外科作業を実施するのを支援するための１つ又は２つ以上の命令を含み得る。
一例では、第２のメッセージは、エラーを解決する際にユーザを支援するためのユーザへの命令を表示するようにディスプレイに命令し得る。一例では、第２のメッセージは、ユーザに修正命令を表示するようにディスプレイに命令することができる。修正命令は、医療器具の洗浄命令、医療器具のリロード命令、及び医療器具の修理命令のうちの１つ又は２つ以上を含み得る。
状況認識を使用してディスプレイ上のデータを優先順位付けするための医療器具が提供され得る。医療器具は、ディスプレイ及びメモリを備え得る。コンテキストデータが決定され得る。外科処置が決定され得る。外科処置中に医療器具を使用する外科作業は、コンテキストデータに基づいて決定され得る。表示データが決定され得る。表示データは、外科作業に関連付けられてもよく、医療器具を使用する外科作業を実施し得るユーザに関連してもよい。メッセージが送信され得る。メッセージは、外科作業に関連する表示データを優先するようにディスプレイに命令することができる。
外科作業は、医療器具をリロードするためのタスク、医療器具を準備するためのタスク、医療器具を洗浄するためのタスク、医療器具を試験するためのタスク、医療器具を別のユーザに引き渡すためのタスク、医療器具を修理するためのタスク、医療器具エラーを判定するためのタスク、及び医療器具を使用して患者に処置を行うためのタスクのうちの１つ又は２つ以上であり得る。外科作業は、重要なタスク、重大なタスク、危険なタスク、又はエラー修正タスクのうちの１つ又は２つ以上であり得る。
表示データは、ユーザによって調整された医療器具のためのパラメータ、待機時間、発射力パラメータ（ＦＴＦ）、クランプ圧縮パラメータ、カートリッジが装填されたという指示、カートリッジステータス、有効にされた制御の指示、無効にされた医療器具制御の指示、電池電力レベル、及び医療器具のステータスのうちの１つ又は２つ以上を含み得る。表示データは、医療器具を使用する外科作業を実施することをユーザに命令するか、又はそれを支援する命令のうちの１つ又は２つ以上を含み得る。
一例では、外科作業は、第１の外科作業であり得る。医療器具を使用する第２の外科作業が決定され得る。
一例では、コンテキストデータは第１のコンテキストデータであり得る。外科作業は、第１の外科作業であり得る。医療器具を使用する第２の外科作業は、第２のコンテキストデータに基づいて外科処置中に決定され得る。
一例では、メッセージは第１のメッセージであり得る。表示データは第１の表示データであり得る。第２の表示データが決定され得る。第２の表示データは、第２の外科作業に関連付けることができ、医療器具を使用する第２の外科作業を実施することができるユーザに関連することができる。第２の表示データは、ユーザの識別情報及び第２のコンテキストデータに基づいて決定され得る。第１の表示データよりも第２の表示データを優先するようにディスプレイに命令する第２のメッセージが送信され得る。
一例では、コンテキストデータは第１のコンテキストデータであり得る。外科作業は、第１の外科作業であり得る。外科処置中に医療器具を使用する第２の外科作業は、第１の外科作業、第２のコンテキストデータ、及び外科処置に基づいて決定され得る。
状況認識を使用してディスプレイ上のデータを優先順位付けするための医療器具が提供され得る。医療器具は、ディスプレイ及びメモリを備え得る。第１のコンテキストデータが決定され得る。外科処置が決定され得る。外科処置中に医療器具を使用する外科作業は、コンテキストデータに基づいて決定され得る。第１の表示データが決定され得る。第１の表示データは、外科作業に関連付けられてもよく、医療器具を使用する外科作業を実施し得るユーザに関連してもよい。第１のメッセージが送信され得る。第１のメッセージは、外科作業に関連付けられた第１の表示データを優先するようにディスプレイに命令することができる。外科処置中に発生した可能性があるエラーは、第２のコンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、エラーに基づいて決定され得る。第２の表示データが決定され得る。第２の表示データは、第２の外科作業に関連付けられてもよく、医療器具を使用する第２の外科作業を実施するユーザに関連してもよい。第２のメッセージが送信され得る。第２のメッセージは、第１の表示データよりも第２の表示データを再度優先するようにディスプレイに命令することができる。
一例では、第２の外科作業は、エラーを修正するための修正外科作業であり得る。修正外科作業を実施する際にユーザを支援するための１つ又は２つ以上の命令が決定され得る。第２の表示データは、ユーザが修正外科作業を実施するのを支援するための１つ又は２つ以上の命令を含み得る。
図６９は、ユーザに表示されるデータを優先順位付けするために状況認識を使用してディスプレイを制御するためのプロセスの論理フロー図である。３２０００において、外科用ハブは、処置、外科作業、及び／又は次の外科作業を識別することができる。処置は、患者に対して行われ得る外科処置であり得る。例えば、外科医は、患者に対して外科処置を行ってもよい。外科作業は、外科処置中に実行されるべきタスクであり得る。次の外科作業は、別の外科作業に続く外科処置の間に行われるべきタスクであり得る。
外科用ハブは、コンテキストデータを使用して、外科処置、外科作業、次の外科作業などを決定することができる。コンテキストデータは、外科用ハブが状況を認識することを可能にし得る。例えば、外科用ハブは、コンテキストデータを使用して、外科処置、及び外科処置中に何が起こっている可能性があるかを外科的に認識させてもよい。図１０は、本開示の少なくとも１つの態様による、例示的な外科処置のタイムライン、及び外科処置における各工程又はタスクで検出されたデータから外科用ハブが行うことができる推論を示す。
例えば、ＥＭＲデータベースからの患者データを利用して、実施される外科処置のタイプを推測してもよい。図１０に示されるタイムライン５２００の第１の工程５２０２に示されるように、患者データはまた、状況認識外科用ハブ５１０４によって利用され、ペアリングされたモジュール式装置５１０２のための制御調整を生成することができる。別の例として、外科用ハブ１０６は、操作者の要求又は状況的及び／又は空間的認識に基づいて、外科システム１０２の構成要素間のペアリングを確立及び切断するように構成されてもよい。ハブ状況認識は、図１０に関して本明細書でより詳細に説明される。別の例として、外科用ハブ１０６は、実施されている外科処置のタイプに基づいて、又は装置が接続又は切断されることを必要とする外科処置の次のタスクの決定に基づいて、手術室内の外科システム１０２の装置を選択的に接続又は切断することができる。ハブ状況認識は、例えば図１０に関して本明細書に記載されている。
再び図６９を参照すると、３２２００において、外科用ハブは、保存医療器具にデータを供給することができる。データは、外科作業、現在の外科作業、及び／又は次の外科作業に関連付けられ得るか、又はそれらに関するものであり得る。外科用ハブは、コンテキストデータを読み出すことができ、医療器具を使用して実施され得る現在の外科作業にテキストデータが関連すると判定することができる。外科用ハブは、コンテキストデータを医療器具に送信することができる。外科用ハブベイは、コンテキストデータを使用して、医療器具に提供され得るデータディスプレイを決定した。外科用ハブは、コンテキストデータを使用して、データディスプレイを表示するように医療器具に命令し得るメッセージを生成し得る。外科用ハブは、コンテキストデータを使用して、一次ディスプレイ及び／又は二次ディスプレイなどの医療器具の外部にあるディスプレイに送信され得る、医療器具のためのデータディスプレイを生成し得る。
一態様では、医療器具は、コンテキストデータを読み出すことができ、又はコンテキストデータを供給され得る。医療器具は、コンテキストデータを使用して、外科処置、外科作業、現在の外科作業、及び／又は次の外科作業を決定することができる。医療器具は、コンテキストデータを使用して、外科作業、現在の外科作業、及び／又は次の外科作業に関係付けられるか又は関連付けられ得るデータディスプレイを決定することができる。
例えば、医療器具は、コンテキストデータを使用して、外科医が医療器具を使用してステープルを発射することができる外科作業を決定してもよい。医療器具は、外科医がステープルを発射するために医療器具を使用している間、外科医に関連し得るデータを示すようにディスプレイに命令し得る。
３２３００において、外科用ハブ及び／又は医療器具は、次の外科作業に有用であり得る、コンテキストデータなどの１つ又は２つ以上のデータを識別することができ、外科医が第１の外科作業を実施していると判定することができる。外科医が外科処置に基づいて第２の外科作業を実施することが予測され得る。第２の外科作業を実施する外科医に有用であり得るコンテキストデータが決定され得る。コンテキストデータは、手術前後データ、器具データ、画像データ、医療器具データ、バイオメトリックデータ、患者データ、ＥＭＲデータ、ビデオデータなどを含み得る。コンテキストデータは、患者に関するデータ、医療器具のステータス、医療器具のパラメータ、手術部位の画像、手術部位のビデオ、外科作業を実施する命令などを含み得る。
３２４００において、医療器具に関連するデータ、外科作業に関連するデータ、コンテキストデータ、及び星のようなものが、ユーザフィードバックのために監視され得る。例えば、医療器具の１つ又は２つ以上のパラメータが監視され、ユーザがパラメータのうちの１つを変更した可能性があるかどうかを判定してもよい。パラメータのうちの１つがユーザによって変更されたものとして検出された場合、それはユーザフィードバックと見なされ得る。ユーザフィードバックは、医療器具が、医療器具及び／又は外科用ハブによって示唆され得るものとは異なる方法で構成され得ることを示し得る。パラメータは、待機時間、発射力、クランプ圧縮、速度などを含み得る。
医療器具のディスプレイは、ユーザフィードバックが検出された可能性があることを示すように再構成され得る。医療器具のディスプレイは、医療器具のパラメータがユーザによって変更された可能性があることを示すように再構成され得る。医療器具のディスプレイは、ユーザフィードバックが受信されたことを示すように再構成され得る。例えば、医療装置のディスプレイは、パラメータが変更された可能性があることをユーザに示すために、ユーザによって変更された可能性があるパラメータをハイライトしてもよい。別の例として、医療器具のディスプレイは、ユーザによって変更された可能性があるが、外科的エラーをもたらす可能性があるパラメータをハイライトして、外科的エラーが発生する可能性があることをユーザに警告することができる。別の例として、医療器具のディスプレイは、ユーザからのフィードバックが、ユーザが異なるデータを見ることを好む可能性があることを示し得るので、表示され得るデータを変更することができる。
３２５００で、コンテキストデータを使用してディスプレイを更新することができる。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。医療器具及び／又は外科用ハブは、ディスプレイを更新させることができる。ディスプレイは、外科処置の間、ユーザに関連し得るコンテキストデータを示すように更新され得る。例えば、外科用ハブは、患者が増加した心拍数を経験している可能性があることを検出してもよく、医療器具に属し得る二次ディスプレイに、増加した心拍数を外科医に表示するように命令してもよい。別の例として、外科用ハブは、医療器具でエラーが発生した可能性があることを検出することができ、医療器具のディスプレイに、エラーが発生した可能性があることを示すように命令することができる。
ディスプレイを更新するために使用され得るコンテキストデータは、医療器具のステータス、医療器具によって使用されるリソースのステータス、患者ステータス、ＥＭＲデータ、装填されたカートリッジの色、使用済みの新しいカートリッジのステータス、どの制御が医療器具上で有効にされ得るか、どの制御が医療ハブ上で有効にされ得るか、どの制御が医療器具上で使用されることを禁止され得るか、どの制御が外科用ハブ上で使用されることを禁止され得るか、電池電力レベルなどを含み得る。
３２６００において、エラーが発生した可能性があると判定することができる。外科用ハブ及び／又は医療器具がエラーを検出した可能性がある。エラーは、外科的エラー、医療器具エラー、外科用ハブエラー、装置エラーなどであり得る。エラーは、患者の重大なステータス、範囲外であり得るバイオメトリックデータなどであり得る。エラーは、１つ又は２つ以上の装置が、影響をもたらし得る近接の範囲内にあることの指示であり得る。
エラーは、外科処置にとっておそらく問題となり得る事象が発生した可能性があることを示し得る。例えば、エラーは、出血事象が発生した可能性があることを示してもよい。これらのエラーは、１つ又は２つ以上の修正処置が行われない限り、外科処置が成功しない可能性があるという外科用ハブによる判定を反映し得る。
３２７００において、一次ディスプレイ及び／又は二次ディスプレイは、エラーを表示するために使用され得る。例えば、一次ディスプレイは、エラーに関する情報を表示するように命令されてもよい。一次ディスプレイは、滅菌野の外側にあってもよく、一次ディスプレイは、医療器具の外部にあってもよい。別の例として、二次ディスプレイは、エラーに関する情報を表示するように命令されてもよい。二次ディスプレイは、滅菌野内にあり得る。二次ディスプレイは、医療器具に属するディスプレイであり得る。別の例として、一次ディスプレイ及び二次ディスプレイは、エラーに関する情報を表示するために使用され得る。
一態様では、一次ディスプレイは、エラーを説明し得る情報を表示するために使用されてもよく、二次ディスプレイは、エラーが医療器具上で発生したことを示すために使用されてもよい。例えば、医療器具に属し得る二次ディスプレイは、ステープリングエラーが発生したことを示すために使用されてもよい。
一次ディスプレイは、どのようにエラーが手術に影響を及ぼし得るか、どこでエラーが発生した可能性があるか、及びどの器具がエラー器具を経験した可能性があるかを外科医に示すために使用され得る。一次ディスプレイは、エラーを修正する際に外科医に関連し得るデータを表示し得る。一次ディスプレイは、エラーを理解するために外科医に関連し得るデータを表示し得る。
二次ディスプレイは、二次ディスプレイを含む医療器具にエラーを示し得る。二次ディスプレイは、ステープリングエラーなどの、医療器具に発生した可能性があるエラーのタイプを示し得る。
３２８００において、ディスプレイは、発生した可能性があるエラーをどのように修正するかに関する命令をユーザに提供することができる。命令は、コンテキストデータ及び外科作業の理解を用いて、外科用ハブ及び／又は医療器具によって決定され得る。例えば、外科用ハブは、外科作業が外科処置にどのように影響を及ぼし得たかを判定してもよく、次いで、どの一連のアクションがエラーを修正するために使用され得るかを判定してもよい。別の例として、外科用ハブは、医療器具がエラーを経験したと判定することができ、医療器具上のエラーをどのように修正するかに関する命令を決定することができる。
一態様では、外科用ハブは、１つ又は２つ以上のエラー解決オプションを一次ディスプレイに送信することができる。手術オプションは、エラーを修正するいくつかの方法をユーザに提示することができる。一態様では、外科用ハブは、外科的エラーをどのように修正するかに関する命令を外科医に提供することができる。命令は、外科医を誘導及び／又は支援し、外科作業を実施し、外科的エラーを修正することができる。
外科用ハブは、医療器具エラーをどのように修正するかに関する命令をユーザに提供することができる。外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイに命令を送信してもよく、ユーザは、医療器具を用いてエラーを修正するために命令に従う。例えば、外科用ハブは、ステープラが誤発射を経験した可能性があり、そして詰まりが生じたと判定してよい。外科用ハブは、ユーザがステープラからステープルを除去するのを補助し得る命令をディスプレイ上に提供し得る。別の例として、医療器具は、故障が生じたと判定することができ、医療器具が適切に機能することができるように、医療器具の構成要素をどのように修理するかに関する命令を医療提供者に提供することができる。
外科医の視覚的焦点位置の監視に基づく表示情報（例えば、キー表示情報）の再配置が提供されてもよい。１つ又は２つ以上の装置が、現場器具内で識別され得る。装置を使用し得る１人又は２人以上のユーザが識別され得る。装置は、例えば、スコープ及び／又はカメラを使用して、現場で識別されてもよい。ユーザは、例えば、カメラを使用して識別され得る。
外科医を監視することができる。外科医は、例えば、手術が特定の装置を使用しているときに監視されてもよい。外科医によって使用され得る器具が識別され得る。外科医などのユーザの視覚的焦点が、識別されてもよい。例えば、外科医がどこを見ているかを判定してもよい。別の例として、装置、一次ディスプレイ、二次ディスプレイ、医療器具などの識別情報は、ユーザの視覚的焦点を使用して識別されてもよい。
一次スクリーン、二次スクリーン、及び／又は外科用ハブの間の通信が行われ得る。この通信は、一次データなどのデータがどこに表示され得るかを判定するのを支援し得る。例えば、外科用ハブは、ユーザの視覚的焦点が、ユーザが一次ディスプレイを見ていることを示すことを判定してもよい。外科用ハブは、次いで、第１の命令を一次ディスプレイに送信して、データを表示することができる。外科用ハブは、次いで、第２の命令を二次ディスプレイに送信し、データを表示することを中止するか、データを削除するか、又は別のデータを表示することができる。外科用ハブは、１つ又は２つ以上のメッセージを送信して、一次ディスプレイ上に表示されているデータを二次ディスプレイ上に表示させることができる。外科用ハブは、１つ又は２つ以上のメッセージを送信して、二次ディスプレイ上に表示されているデータを一次ディスプレイ上に表示させることができる。
一次データ、コンテキストデータ、手術前後データ、器具データ、画像データ、医療器具データ、バイオメトリックデータ、特許データ、ＥＭＲデータ、ビデオデータなどのデータは、一次ディスプレイ及び／又は二次ディスプレイ上に表示されてもよい。一次データは、医療器具データ、キー医療器具データ、エラー、別の装置のエラー、影響をもたらし得る１つ又は２つ以上の装置の近接の指示、バイオメトリックデータ、画像データ、カメラデータなどを含み得る。
一例では、出血事象などの手術事象が決定され得る。ライブビデオ画像、バイオメトリクスなどの出血事象に関連付けられた又は関連する表示データが決定され得る。外科医などのユーザの視覚的焦点が決定され得る。ディスプレイは、ユーザの視覚的焦点に基づいて決定され得る。表示データは、ディスプレイに送信され得る。表示データは、一次ディスプレイ及び／又は二次ディスプレイに送信され得る。表示データはまた、二次ディスプレイに送信され得る。
一例では、出血事象を検出すると、ユーザの視覚的焦点が、一次ディスプレイ及び二次ディスプレイを決定するために使用されてもよい。患者のバイオメトリクスを表示するように一次ディスプレイに命令する第１のメッセージが送信され得る。出血が生じている可能性がある手術領域のビデオを表示するように二次ディスプレイに命令する第２のメッセージが送信され得る。
二次制御アレイなどの１つ又は２つ以上の制御装置が、ディスプレイ及び／又はディスプレイ上に示されるものを制御するために使用され得る。制御装置は、タブレット、ｉＰａｄ、スマートフォン、カメラ、ウェアラブルデバイス、ＲＦＩＤなどのスマート装置であり得る。制御装置は、ＯＲの内側又は外側で使用され得る。制御装置は、滅菌野内、又は非滅菌野内で使用され得る。
制御装置はカメラであり得る。カメラは、１人又は２人以上のユーザを追跡することができる。例えば、カメラは、手術室内の１人又は２人以上のスタッフを追跡してもよい。カメラは、ユーザの頭部配向及び／又は視線を決定するために分析され得る、幾何学的３Ｄ情報を生成するために使用されてもよい。例えば、カメラは、外科医などのユーザに関連する３Ｄ情報を生成するために使用されてもよい。幾何学的３Ｄ情報は、ユーザの視覚的焦点を決定するために使用されてもよく、カメラは、１人又は２人以上のユーザを識別するために使用されてもよい。例えば、カメラは外科医を識別してもよい。
ＲＦＩＤ及び／又はウェアラブルデバイスは、ユーザを識別するために使用され得る。例えば、外科用ハブは、ユーザに関連付けられたウェアラブルデバイスの存在を検出することによって、ユーザを識別してもよい。別の例として、外科用ハブは、ユーザに関連付けられたＲＦＩＤの存在を検出することによって、ユーザを識別してもよい。ＲＦＩＤは、ユーザによって着用され得る従業員ＩＤタグの一部であってもよい。
１つ又は２つ以上のディスプレイが、ユーザに関連し得るデータを示すために使用され得る。例えば、ディスプレイは、ディスプレイを見るユーザに基づいて、モニタがユーザに関連情報を表示し得るように制御されてもよい。関連情報は、ユーザ、外科処置、医療器具、外科作業、患者バイオメトリック、ユーザバイオメトリック、コンテキストデータなどに基づき得る。
カメラは、１人又は２人以上のユーザの視線又は視覚的焦点を監視することができる。例えば、カメラは、ＯＲ内の各ユーザの視線を監視してもよい。ユーザのための視線は、一次ディスプレイ及び／又は二次ディスプレイ上に表示され得る情報を制御するために使用され得る。
ディスプレイの位置を使用して、ディスプレイを見ている可能性があるユーザにどの情報が関連する可能性があるかを判定することができる。例えば、二次ディスプレイであり得る、スマート装置ディスプレイなどのディスプレイが、患者の近傍に位置してもよい。外科用ハブが、第１のユーザがスマート装置ディスプレイを見ていることを検出すると、スマートハブは、患者情報を示すようにスマート装置ディスプレイに命令することができる。スマートハブが、外科医などの第２のユーザがスマート装置ディスプレイを見ていることを検出すると、スマートハブは、外科作業に関連する１つ又は２つ以上の命令を示すようにスマート装置ディスプレイに命令することができる。
別の例として、ハンドヘルド装置ディスプレイ及び／又はウェアラブルデバイスディスプレイであり得る、ディスプレイが、外科医上に位置してもよい。外科医がウェアラブルディスプレイを見ていることを外科用ハブが検出すると、外科用ハブは、ディスプレイに、外科作業に関連するデータを示すように命令してもよく、別のユーザが外科医に属するウェアラブルディスプレイを見ていることを手術ヘルプが検出すると、外科用ハブは、ディスプレイに、外科医に関連付けられ得るバイオメトリックデータを示すように命令してもよい。
別の例として、表示された情報は、関連情報をハイライトするために、滅菌野と非滅菌野との間で共有されてもよい。例えば、第１のユーザは、非滅菌野において第１のディスプレイを見ていてもよい。第１のディスプレイは、第１のユーザに関連し得るデータを示すことができる。第２のユーザは、滅菌野内の第２のディスプレイを見ることができる。第２のディスプレイは、第２のユーザに関連し得るデータを示すことができる。第１のユーザが第２のディスプレイを見始めると、外科用ハブは、第１のユーザに関連し得るデータ及び第２のユーザに関連し得るデータの両方を示すように第２のディスプレイに命令し得る。第２のユーザが第１のディスプレイを見始めると、外科用ハブは、第１のユーザに関連し得るデータ及び第２のユーザに関連し得るデータの両方を示すように第２のディスプレイに命令し得る。
２人以上のユーザがディスプレイを見ていると判定された場合、ディスプレイは、いくつかのデータを強調するように命令され得る。例えば、１人又は２人以上のユーザが類似のデータに関心があり得ると判定されてもよく、ディスプレイは、類似のデータを強調するように命令されてもよい。ディスプレイは、他のデータを強調しないように命令され得る。
２人以上のユーザがディスプレイを見ていると判定された場合、ディスプレイは、より高い優先度を有し得るデータを示すように命令され得る。例えば、１人又は２人以上のユーザが識別されてもよい。１人又は２人以上のユーザの識別情報及びコンテキストデータを使用して、外科処置及び現在の医療タスクを決定することができる。次いで、現在の医療タスクに関連するデータは、ディスプレイが現在の医療タスクに関連するデータを示すように命令されるように、優先度を与えられ得る。
ユーザ視覚的焦点の監視は、例えば、どのディスプレイ及び／又はディスプレイシステムが情報（例えば、一次情報）を示し得るかを制御するために提供されてもよい。１つ又は２つ以上のカメラが、外科医などのユーザの凝視の場所を決定するために使用され得る。ユーザの凝視は、ディスプレイを識別し、高い優先度を有し得るデータをディスプレイに投入するために使用され得る。
ＯＲ内の１つ又は２つ以上のカメラを使用して、スタッフの活動を監視するのを助けることができる。これらのカメラは、どの装置がどのユーザによって使用されているかを判定するために使用され得る。一次ユーザは、カメラによって識別され、かつ／又はユーザによって着用されるセンサに基づいて感知され得る。これらのカメラは、ＯＲ内のディスプレイに対するユーザの頭部（又は情報が有益であり得るユーザ）の相対的配向を監視し得、この配向が情報の場所を制御することを可能にし得る。情報は、ユーザによって制御され得る器具に基づいてユーザのために調整されてもよく、処置の状況認識に基づいて、処置におけるその瞬間にユーザのために装置からの関連情報を優先順位付けするのを助けることができる。表示される情報は、患者情報、安全情報、装置情報、医療器具情報、その時点で使用中の他の装置に関する情報などを含み得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザの視覚的焦点内にあるディスプレイが決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいてユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点は、ウェアラブルデバイスデータ、ユーザに関連付けられたセンサデータ、手術室内のカメラからの画像、及び手術室内のカメラからのビデオのうちの１つ又は２つ以上を使用して決定されてもよい。表示データは、器具データ、装置エラー、衝撃をもたらす可能性が高い装置近接、バイオメトリックデータ、画像、ビデオ、及びカメラディスプレイのうちの１つ又は２つ以上を含み得る。
一例では、ディスプレイは第１のディスプレイであってもよく、表示データは第１の表示データであってもよく、メッセージは第１のメッセージであってもよい。ディスプレイが第２の表示データを表示していると判定され得る。ユーザの識別情報、外科作業、及びコンテキストデータに基づいて、第１の表示データが第２の表示データよりも高い優先度を有することが判定され得る。第２の表示データを表示するように第２のディスプレイに命令する第２のメッセージが送信され得る。
一例では、ディスプレイは第１のディスプレイであってもよく、表示データは第１の表示データであってもよく、メッセージは第１のメッセージであってもよい。ユーザの視覚的焦点内にあり得る第２のディスプレイが決定され得る。コンテキストデータからの第２の表示データは、外科作業に基づいて決定され得る。第２の表示データは、第１の表示データよりもユーザに対する優先度が低くてもよい。第２の表示データを表示するように第２のディスプレイに命令する第２のメッセージが送信され得る。
一例では、コンテキストデータ及び外科作業に基づいて、ユーザに関連し得る表示データを決定することが実行され得る。ランク付けされたデータセットは、外科作業中にユーザによって要求される可能性に基づいてコンテキストデータをランク付けすることによって決定され得る。ディスプレイのための表示空間の量が決定され得る。ランク付けされたデータのサブセットは、ディスプレイのための表示空間の量に基づいて表示データとして割り当てることができる。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザの視覚的焦点内にあるディスプレイが決定され得る。画像又はビデオは、カメラから受信され得る。幾何学的三次元データセットは、画像又はビデオから生成され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上は、幾何学的三次元データセットを使用して決定され得る。ユーザの視覚的焦点は、ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいてユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザの視覚的焦点内にあるディスプレイが決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいて第１のユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
一例では、ディスプレイは第１のディスプレイであってもよく、表示データは第１の表示データであってもよい。ディスプレイが第２のユーザに関連付けられ得る第２の表示データを表示していることが判定され得る。メッセージは、ディスプレイに送信され得る。メッセージは、第１の表示を表示するためのディスプレイへの命令を含むことができ、第２の表示データとともに第１の表示データを表示する命令を含み得る。
一例では、コンテキストデータ及び外科作業に基づいて、第１のユーザに関連し得る表示データを決定することが実行され得る。第２のユーザがディスプレイを見ていることが判定され得る。ディスプレイのための利用可能な表示空間の量が決定され得る。コンテキストデータのデータ優先度は、外科作業及び第１のユーザと第２のユーザとの間の関係に基づいて決定され得る。コンテキストデータのサブセットは、第１のデータ優先度及び第２のデータ優先度に基づいて、表示データとして割り当てることができる。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ディスプレイが第１のユーザの第１の焦点及び第２のユーザの第２の焦点内にあり得ることが判定され得る。ディスプレイのための表示データは、第１のユーザのための第１の外科作業及び第２のユーザのための第２の外科作業に基づいて決定され得る。ディスプレイに表示データを表示するように命令するメッセージが送信され得る。
表示データは、器具データ、デバイスエラー、衝撃をもたらす可能性が高い装置近接、バイオメトリックデータ、画像、ビデオ、及びカメラディスプレイのうちの１つ又は２つ以上を含み得る。
一例では、第１の外科作業は、第１の医療器具が外科処置中に第１のユーザによって使用されていることを示すことができる。第２の外科作業は、第２の医療器具が外科処置中に第２のユーザによって使用されていることを示すことができる。
一例では、第１のユーザのための第１の外科作業及び第２のユーザのための第２の外科作業に基づく表示のための表示データが決定され得る。第１の外科作業と第２の外科作業との間の優先度が決定され得る。表示データは、優先度、第１の外科作業、及び第２の外科作業を使用して、コンテキストデータから決定され得る。
一例では、ディスプレイのための表示データは、第１のユーザのための第１の外科作業及び第２のユーザのための第２の外科作業に基づいて決定され得る。第１のユーザと第２のユーザとの間の優先度が決定され得る。表示データは、優先度、第１の外科作業、及び第２の外科作業を使用して、コンテキストデータから決定され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブが提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザの第１の焦点及び第２のユーザの第２の焦点内にあり得る第１のディスプレイ及び第２のディスプレイが決定され得る。第１のユーザに関連付けられた第１の外科作業は、第２のユーザに関連付けられた第２の外科作業よりも高い優先度を有すると判定され得る。第１のコンテキストデータは、第１の外科作業に基づいて決定されてもよく、第２のコンテキストデータは、第２の外科作業に基づいて決定されてもよい。第１のコンテキストデータを表示するように第１のディスプレイに命令する第１のメッセージが送信されてよく、第２のコンテキストデータを表示するように第２のディスプレイに命令する第２のメッセージが送信されてよい。
一例では、第１の外科作業は、第１の医療器具が外科処置中に第１のユーザによって使用されていることを示すことができる。第２の外科作業は、第２の医療器具が外科処置中に第２のユーザによって使用されていることを示すことができる。
一例では、第１のメッセージは、第２のユーザに関連付けられた表示データを削除するように第１のディスプレイに命令する（例えば、更に命令する）ことができる。
一例では、第１のユーザに関連付けられた第１の外科作業が、第２のユーザに関連付けられた第２の外科作業よりも高い優先度を有し得ると判定され得る。第１の医療器具が患者に対して使用されていることを第１の外科作業が示すことが判定され得る。第２の医療器具が洗浄されている、リロードされている、又は準備されていることを第２の外科作業が示すと判定され得る。第１の外科作業が第２の外科作業よりも高い優先度を与えられるように、第１の外科作業に優先度が割り当てられ得る。
一例では、第１のユーザに関連付けられた第１の外科作業が、第２のユーザに関連付けられた第２の外科作業よりも高い優先度を有すると判定され得る。外科処置が決定され得る。外科処置に基づく第１の外科作業に対する第１の優先度。外科処置に基づく第２の外科作業に対する第２の優先度。第１の外科作業に対する第１の優先度は、第２の外科作業に対する第２の優先度よりも高いと判定され得る。
一例では、第１の外科作業が第２の外科作業よりも高い危険レベルに関連付けられていると判定することによって、第１のユーザに関連付けられた第１の外科作業が第２のユーザに関連付けられた第２の外科作業よりも高い優先度を有し得ると判定することができる。
図７０は、ユーザの視覚的焦点に基づいて、ディスプレイ上に情報を表示するためのプロセスの論理フロー図である。外科用ハブは、ユーザの視覚的焦点を決定して、ユーザがどのディスプレイを見ている可能性があるかを判定することができる。外科用ハブは、ユーザの視覚的焦点の判定を使用して、ユーザが見ている場合がある情報をディスプレイに表示することができる。外科用ハブは、ユーザが手術中に実行し得るタスクに関連し得る情報を、ユーザが見ることができるディスプレイにおいてユーザに提示し得る。
ユーザの視覚的焦点を決定するために、外科用ハブは、センサ及び／又はカメラを使用して、ユーザの視線を決定することができる。例えば、ユーザは、外科用ハブが３Ｄ幾何学的データを生成してもよく、３Ｄ幾何学的データを使用して視線を決定し得るように、外科用ハブによって検出され得る１つ又は２つ以上のセンサを装備してもよい。別の例では、ユーザは、ユーザの視覚的焦点を追跡することが可能であり得る、又は頭部運動、頭部傾斜などのユーザの視覚的焦点に関するデータを提供することが可能であり得る、安全眼鏡を着用していてもよい。スマート安全眼鏡と称され得る安全眼鏡が、本明細書で説明される。安全眼鏡は、ユーザの移動を監視するための１つ又は２つ以上のセンサ及び／又は電子機器を含み得る。安全眼鏡はまた、ユーザの瞳孔の移動を監視するために使用され得るカメラを含み得る。安全眼鏡はまた、コンテキストデータなどの情報をユーザに提示するために使用され得るスクリーンを含み得る。
３３０００において、１つ又は２つ以上の医療器具が識別され得る。１つ又は２つ以上の医療器具は、ＯＲ内にあり得る。１つ又は２つ以上の医療器具は、現場にあり得る。１つ又は２つ以上の医療器具は、カメラ、センサ、超音波検出、ＲＦＩＤ追跡、Ｂｌｕｅｔｏｏｔｈ追跡、Ｗｉ－Ｆｉ追跡などを使用して識別され得る。
ＯＲ内のカメラは、１つ又は２つ以上の医療器具を追跡及び／又は識別するために使用され得る。カメラは、ＯＲの画像及び／又はビデオを記録することができる。ＯＲのビデオ及び／又は画像は、外科用ハブに送信され得る。外科用ハブは、画像及びビデオを分析することができる。例えば、外科用ハブは、１つ又は２つ以上の医療器具を識別するために、人工知能を使用して画像及び／又はビデオを分析してもよい。
外科用ハブは、カメラからのデータを使用して、ＯＲの周囲の医療器具の移動を追跡することができる。例えば、外科用ハブは、カメラを使用して、滅菌野から非滅菌野に、又は滅菌野から非滅菌野に移動し得る医療器具を追跡してもよい。外科用ハブは、医療器具の追跡情報を使用して、使用モード、電源オフモード、洗浄モード、リロードモードなどのいくつかのモードのうちの１つに入るように医療器具に命令することができる。
スコープに属し得るカメラは、１つ又は２つ以上の医療器具を追跡及び／又は識別するために使用され得る。スコープカメラは、医療器具が手術領域に入る及び／又は手術領域から出るときに医療器具を追跡するために使用され得る。外科用ハブは、スコープからのカメラを使用して、外科医などの医療提供者が１つの医療器具を別の医療器具と交換している可能性があると判定することができる。外科用ハブは、スコープカメラからビデオ及び／又は画像を受信することができる。スコープカメラからのビデオ及び／又は画像は、第１の医療器具が除去されていることを判定するように分析され得る。スコープカメラからのビデオ及び／又は画像は、第２の医療器具が導入されていると判定するために分析され得る。例えば、外科医が第１の医療器具を除去するにつれて、外科医は、第２の医療器具を現場で導入してもよく、スコープカメラからの画像／ビデオは、第２の医療器具の導入を示してもよい。人工知能を使用して、外科用ハブは、スコープカメラ画像／ビデオから第２の医療器具の導入を検出することができる。
３３１００において、外科用ハブは、１つ又は２つ以上のカメラからのデータを使用して、１人又は２人以上のユーザを識別することができる。画像及び／又はビデオデータなどのカメラデータは、カメラによってキャプチャされ得る。カメラデータは、外科用ハブに送信され得る。外科用ハブは、カメラデータを受信することができ、カメラデータを分析してユーザを識別することができる。外科用ハブは、例えば、人工知能を使用して、カメラデータからユーザを識別してもよい。
外科用ハブは、ユーザに関連付けられ得る装置を検出することによって、ユーザの識別情報を判定することが可能であり得る。例えば、外科用ハブは、ユーザに関連付けられ得る従業員タグに埋め込まれ得るＲＦＩＤを検出してもよい。別の例として、外科用ハブは、ユーザに関連付けられ得るウェアラブルデバイスを検出してもよい。別の例として、外科用ハブは、ユーザに関連付けられた医療器具が手術室内に存在することを検出してもよい。別の例として、外科用ハブは、コンテキストデータを使用して、ユーザの識別情報を判定してもよい。
外科用ハブは、カメラデータを使用して、ユーザがＯＲ内のどこに位置するかを判定することができる。外科用ハブは、カメラデータを受信してもよく、ＯＲのマップを生成するためにカメラデータを使用してもよい。外科用ハブは、ユーザを含み得るカメラデータを受信することができる。外科用ハブは、ユーザの位置を決定するために、ユーザを含むカメラデータをＯＲのマップと比較することができる。外科用ハブは、外科処置を決定することができ、ＯＲ内のユーザの位置を外科処置と相関させて、ユーザが実行している可能性がある、又は実行しようとしている可能性があるタスクを決定することができる。外科用ハブは、コンテキストデータを使用して、ユーザによって実行される外科作業を決定することができる。
外科用ハブは、ユーザに関連付けられ得る装置を使用して、ユーザがＯＲ内のどこに位置するかを判定することが可能であり得る。外科用ハブは、ＯＲ内の場所内のＲＦＩＤを検出してもよく、又はその場所をＲＦＩＤに関連付けられたユーザと関連付けてもよい。外科用ハブは、ユーザに関連付けられたウェアラブルデバイスがＯＲ内の位置にあることを検出してもよく、その位置をウェアラブルデバイスに関連付けられたユーザに関連付けてもよい。外科用ハブは、超音波センサ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、レーダー、ライダーなどを使用して、ユーザの移動を追跡することができる。
手術室は、非滅菌野内の滅菌野に分離され得る。外科用ハブは、ユーザの位置が、ユーザが滅菌野内にいることを示し得ると判定してもよい。外科用ハブは、ユーザの位置が、ユーザが非滅菌野内にいることを示し得ると判定してもよい。外科用ハブは、ユーザが滅菌野から非滅菌野に通過した可能性があると判定してもよい。外科用ハブは、ユーザが非滅菌野から滅菌野に通過した可能性があると判定してもよい。
例えば、外科用ハブは、ユーザがどこを見ているかを追跡してもよく、ユーザが行っている可能性があるあらゆる仕事に関連する情報を提示することが可能であってもよい。例えば、外科用ハブは、ユーザを識別し、ユーザが何の仕事をしているかを判定してもよく、ユーザがどこを見ているかを判定してもよく、ユーザが見ている場所のディスプレイに、ユーザが行っている仕事に関連する情報を表示するように命令してもよい。外科用ハブは、外科医に提示される無関係なデータを低減することによって、外科医が外科作業に集中するのを支援することができる。外科用ハブは、高い優先度を有するデータ（例えば、重大なデータ）を外科医に提示することができる。例えば、外科用ハブは、手術の異常、手術のエラー、医療器具のエラー、患者の問題を検出してもよく、それらを外科医に通知してもよい。
３３２００において、ユーザがどこを見ているかを判定するために、ユーザを監視することができる。外科用ハブは、ユーザによって着用され得る安全眼鏡からデータを受信し得る。安全眼鏡（図２９参照）は、１つ又は２つ以上のセンサを使用して、ユーザの頭部移動を追跡し、ユーザが見ている（例えば、外科医がモニタを見ている）場所を決定することができる。一態様では、安全眼鏡は、ユーザがどこを見ているかを安全眼鏡が決定した後に、ユーザがどこを見ているかについて外科用ハブに通知することができる。一態様では、安全眼鏡は、ユーザがどこを見ているかを外科用ハブが決定することを可能にするために、そのセンサからデータを取得し得る。
外科用ハブは、カメラを使用して、ユーザの頭部移動を追跡し、ユーザの視線又は凝視を判定することができる。カメラは、ユーザの１つ又は２つ以上の画像をキャプチャすることができる。画像は、キャプチャされた画像からユーザの身体特性を決定するために分析され得る。例えば、身体特性は、図６１～図６２に関連して議論されるような姿勢、又は図６３～図６４に関連して議論されるような手首角度を含んでもよい。別の例として、身体特性は、個人の頭、肩、胴、肘、脚、臀部などの位置、配向、角度、又は回転を含み得る。身体特性は、様々なマシンビジョン、画像処理、物体認識、及び光学追跡技術を利用して判定することができる。一態様では、身体特性は、キャプチャされた画像を処理して画像内の物体のエッジを検出し、検出された画像を評価されている身体部分のテンプレートと比較することによって決定され得る。評価されている身体部分が認識されると、追跡された身体部分の移動をカメラの既知の位置と比較することによって、その位置、配向、及び他の特性を追跡することができる。別の態様では、身体特性は、マーカーベースの光学システム（例えば、外科用ハブに接続されるカメラ又は他のセンサによって受信され得る、電磁放射又は他の信号を放出する、手術スタッフ員のユニフォーム内に埋め込まれるアクティブマーカー）を利用して判定され得る。カメラに対するマーカーの移動を追跡することによって、プロセッサは、ユーザの頭部位置を決定して、ユーザがどこを見ているかを判定することができる。
外科用ハブは、ユーザがどこを見ているかを判定することができる。外科用ハブは、ユーザがどこを見ているかを判定して、１つ又は２つ以上のディスプレイを決定する。外科用ハブは、カメラを使用してユーザを監視し、ユーザの視線を決定することができる。視線は、カメラからのデータを使用して生成され得る幾何学的データを使用して決定され得る。例えば、ユーザの視線は、カメラから撮影された１つ又は２つ以上の画像から生成された幾何学的データを使用して決定されてもよい。外科用ハブは、ユーザが見ることができるＯＲ内の領域又は位置を決定するために、ユーザのための視線又は視覚的焦点を使用することができる。外科用ハブは、ユーザが見ている方向又はベクトルを決定するために、ユーザのための視線又は視覚的焦点を使用することができる。外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイを含み得る１つ又は２つ以上のディスプレイに関連付けられ得るＯＲ内の領域又は場所を決定するために、視線又は視覚的焦点を使用することができる。
外科用ハブは、ユーザが視線を使用してディスプレイを見ていることを判定することができる。ディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。例えば、外科用ハブは、ユーザが、外科医が滅菌野内にあり得る一次ディスプレイを見ている可能性があると判定するために、視線又は視覚的焦点を使用してもよい。別の例として、外科用ハブは、外科医が非滅菌野内にあり得る一次ディスプレイを見ている可能性があると判定するために、ユーザのための視覚的焦点を使用してもよい。外科用ハブは、ユーザが視線を使用して二次ディスプレイを見ていることを判定することができる。例えば、外科用ハブは、ユーザのための視覚的焦点又はラインアサイドを判定してもよく、ユーザが、ウェアラブルデバイスのディスプレイ、タブレット装置のディスプレイ、コンピューティング装置のディスプレイ、医療器具のディスプレイなどの二次ディスプレイを見ていることを判定してもよい。
外科用ハブは、第１のディスプレイ及び第２のディスプレイがユーザの視覚的焦点又は視線内にあり得ると判定し得る。外科用ハブは、より高い優先度のデータが第１のディスプレイ上に表示され得、より低い優先度のデータが第２のディスプレイ上に表示され得るように、データを優先順位付けし得る。第１のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。第２のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。例えば、外科用ハブは、二次ディスプレイ内の一次ディスプレイがユーザの視覚的焦点内にあり得ると判定してもよい。外科用ハブは、外科医が両方を見ることが可能であり得るように、より高い優先度のデータを一次ディスプレイに送信してもよく、より低い優先度のデータを二次ディスプレイに送信してもよい。
外科用ハブは、第１のユーザ及び第２のユーザがディスプレイを見ている可能性があると判定することができる。例えば、外科用ハブは、第１のユーザに対する第１の視覚的焦点が、第１のユーザがディスプレイを見ていることを示し得ると判定してもよい。外科用ハブは、第２の視覚的ユーザのための第２の視覚的焦点が、第２のユーザがディスプレイを見ていることを示し得ると判定してもよい。一例では、外科用ハブは、第１のユーザが第２のユーザよりも優先すると判定してもよく、ディスプレイ上に第１のユーザのためのデータを示してもよい。一例では、外科用ハブは、第１のユーザが第２のユーザより低い優先度を有することを判定してもよく、ディスプレイ上に第２のユーザのためのデータを示してもよい。一例では、外科用ハブは、第１のユーザのための第１のデータ及び第２のユーザのための第２のデータをディスプレイ上に表示してもよい。一例では、外科用ハブは、第１のユーザが第２のユーザより高い優先度を有することを判定してもよく、第１のユーザに関する第１のデータを第２のユーザに関する第２のデータより目立つようにディスプレイ上に表示してもよい。
外科用ハブは、第１のユーザのための第１の視覚的焦点及び第２のユーザのための第２の視覚的焦点を決定してもよい。外科用ハブは、第１のユーザ及び第２のユーザが第１のモニタ及び第２のモニタを見ている可能性があると判定してもよい。外科用ハブは、第１のユーザ及び第２のユーザが第１の視覚的焦点及び第２の視覚的焦点を使用して第１のモニタ及び第２のモニタを見ている可能性があると判定してもよい。第１のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。第２のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。一例では、外科用ハブは、第１のユーザが第２のユーザより高い優先度を有することを判定してもよく、第１のユーザのためのデータを第１のディスプレイ上に表示してもよく、第２のユーザのためのデータを第２のディスプレイ上に表示してもよい。一例では、外科用ハブは、第１のユーザが第２のユーザより高い優先度を有することを判定してもよく、第１のユーザのためのデータを第１のディスプレイ上に表示してもよく、第１のユーザのためのデータを第２のディスプレイ上に表示してもよい。一例では、外科用ハブは、第１のユーザ及び第２のユーザの優先度を考慮せずに、優先度データが表示されるべきであると判定してもよく、優先度データは、第１のディスプレイ、第２のディスプレイ、又は第１のディスプレイ及び第２のディスプレイ上に表示されてもよい。一例では、外科用ハブは、第１のディスプレイ上に第１のユーザのための第１のデータ、第２のディスプレイ上に第２のユーザのための第２のデータ、第２のディスプレイ上に第１のユーザのための第３のデータ、第２のディスプレイ上に第２のユーザのための第４のデータ、又はそれらの任意の組み合わせを示してもよい。
３３３０００において、外科用ハブは、一次ディスプレイ及び／又は二次ディスプレイであり得るディスプレイにメッセージを送信してもよい。メッセージは、表示データを示すようにディスプレイに命令し得る。表示データは、コンテキストデータ、データを示すためのフォーマット、エラーメッセージ、命令、医療器具関連データ、１つ又は２つ以上の装置の近接度、１つ又は２つ以上の装置が互いに影響を及ぼし得るという警告、バイオメトリックデータ、カメラディスプレイ、画像、ビデオなどを含み得る。
一例では、ユーザによって実施されている外科作業に関連し得るデータを示すために、メッセージがディスプレイに送信され得る。データは、ユーザによって使用されている医療器具のデータであり得る。メッセージは、ユーザによって見られているディスプレイに、ユーザによって使用されている医療器具に関するデータを示すように命令することができる。
一例では、メッセージをディスプレイに送信して、コンテキストデータからの関連データをユーザに示すことができる。コンテキストデータは、ユーザによって実施され得る外科作業に関するものであり得る。ディスプレイは、ユーザがどこを見ているかに従って決定され得る。メッセージは、関連データが、ユーザが外科作業を実施している間にユーザが見ているディスプレイ上でユーザに提示されることを可能にするように、ディスプレイに送信され得る。
図７１は、ユーザの視覚的焦点に基づいて情報を表示し得る、１つ又は２つ以上のディスプレイを図示する図を示す。手術中、滅菌野３４５５０などの滅菌野と、非滅菌野３４６５０などの非滅菌野とを区別するために、患者の周囲に人工障壁が作成され得る。このバリアは、滅菌バリア３４６００などの滅菌バリアと称されることがある。これは、例えば、患者を感染から保護するために行うことができる。手術の準備中に、医療提供者は、手術中に患者に感染する可能性がある患者の外側の細菌を排除及び／又は最小化するために、患者を洗浄する（例えば、患者をスクラブ洗浄する）ことができる。患者３４５５０は、滅菌野３４５５０内に配置され得る。滅菌野３４５５０内の医療器具もまた滅菌され得る。非滅菌である物品は、滅菌野から除外され得る。例えば、非滅菌物品は、非滅菌野３４６５０内に見出されてもよい。
外科医３４２００は、滅菌野３４５５０の中に入る前にスクラブ洗浄することができる。滅菌野３４５５０内の外科医３４５５０は、非滅菌野３４６５０内に位置し得る手術スタッフ員３４３５０とは異なるレベルでスクラブ洗浄することができる。滅菌野に進入し得る医療器具は、滅菌野内になくてもよいが、手術室内にあり得る医療器具と異なるレベルで洗浄されてもよく、例えば、二次ディスプレイ３４５００を含み得る医療器具は、滅菌野３４５５０内にあってもよく、滅菌野内にない場合がある医療器具と異なるレベルで洗浄されてもよい。
滅菌野３４５５０内の外科医３４２００は、非滅菌物体又は物品と接触することを回避し得る。例えば、外科医３４２００は、非滅菌野３４６５０内の手術スタッフ員３４３５０と接触することができない場合がある。外科医３４２００が、非滅菌野３４５５０内に位置する一次ディスプレイ３４４００などの非滅菌物品に接触する場合、外科医３４２００は、滅菌野３４６５０を離れて再スクラブ洗浄しなければならない場合がある。
外科医３４２００の頭部移動は、外科医３４２００がどこを見ているかを判定するために追跡され得る。これは、例えば、外科医３４２２０がどこを見ている可能性があるかを判定する、外科医３４２２０が見ている可能性がある１つ又は２つ以上のディスプレイを決定する、外科医３４２２０の視線又は視覚的焦点に近接した範囲内の１つ又は２つ以上のディスプレイを決定するなどのために行われ得る。外科医３４２００の頭部移動は、安全眼鏡３４２５０を使用して追跡することができる。安全眼鏡３４２５０は、幾何学的３Ｄデータを生成するために使用され得る、１つ又は２つ以上のセンサを含んでもよく、これは、外科医３４２００のための視線及び／又は外科医３４２００の視覚的焦点を決定するために使用されてもよい。安全眼鏡３４２５０は、図２９に関して参照される安全眼鏡６９９１であり得る。
手術スタッフ員３４３５０の頭部移動は、手術スタッフ員３４３５０がどこを見ているかを判定するために追跡され得る。これは、例えば、手術スタッフ員３４３５０がどこを見ているかを判定し、手術スタッフ員３４３５０が見ている１つ又は２つ以上のディスプレイを決定し、手術スタッフ員３４３５０の視線又は視覚的焦点の近傍内の１つ又は２つ以上のディスプレイを決定するなどのために行われ得る。スタッフ員３４３５０の頭部移動は、安全眼鏡３４３００を使用して追跡され得る。安全眼鏡３４３００は、幾何学的３Ｄデータを生成するために使用され得る１つ又は２つ以上のセンサを含み得、幾何学的３Ｄデータは、手術スタッフ部材３４３５０のための視線及び／又は外科用部材３４３５０の視覚的焦点を決定するために使用され得る。安全眼鏡３４３５０は、図２９に関する安全眼鏡６９９１であり得る。
再び図７１を参照すると、ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブが提供され得る。ユーザは、外科医３４２００、手術スタッフ員３４３５０、及び／又は手術スタッフ員３４１５０であり得る。
外科用ハブは、安全眼鏡３４２５０からのデータを使用して、１つ又は２つ以上のディスプレイがユーザの視覚的焦点内にあることを判定することができる。１つ又は２つ以上のディスプレイは、一次ディスプレイ３４４５０、一次ディスプレイ３４４００、ウェアラブルデバイスの一部であり得る二次ディスプレイ３４０５０、医療器具の一部であり得る二次ディスプレイ３４５００、又はタブレットコンピューティング装置の一部であり得る二次ディスプレイ３４１００であり得る。
外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点が、外科医３４２００が一次ディスプレイ３４４５０を見ている可能性があると示し得ることを判定してもよい。外科用ハブは、外科医３４２００によって行われている外科作業を決定することができる。外科用ハブは、外科作業に関連付けられたコンテキストデータを決定することができ、外科用ハブは、プライマリディスプレイ３４４５０にコンテキストデータを表示するように命令し得るメッセージをプライマリディスプレイ３４４５０に送信することができる。
一例では、外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００が一次ディスプレイ３４４５０を表示する前に二次ディスプレイ３４５００を見ていた可能性があると判定してもよい。外科用ハブは、外科作業に関連し得るコンテキストデータが外科医の視覚的焦点内にあるように、コンテキストデータを二次ディスプレイ３４５００から一次ディスプレイ３４４５０に移動させることができる。
外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点が、外科医３４２００が一次ディスプレイ３４４００を見ている可能性があることを示し得ると判定してもよい。外科用ハブは、外科医によって行われ得る外科作業に関連するコンテキストデータを決定し得、コンテキストデータを一次ディスプレイ３４４００に表示し得る。
外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点が、外科医３４２００が二次ディスプレイ３４０５０を見ている場合があることを示し得ると判定してもよい。外科用ハブは、二次ディスプレイ３４０５０が外科医上にあるウェアラブルデバイスに属し得ると判定し得る。外科用ハブは、ウェアラブルデバイスを見るときに外科医に関連し得るコンテキストデータを決定し得る。例えば、外科用ハブは、時間、手術の経過時間、メッセージ、患者のバイオメトリックデータなどを含み得る外科医データを示してもよい。
外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点が、外科医３４２００が二次ディスプレイ３４１０００を見ている場合があることを示し得ると判定してもよい。二次ディスプレイ３４１０００は、タブレットコンピューティング装置であり得る。外科用ハブは、外科医によって実行される外科作業に関連するコンテキストデータを表示することができる。例えば、３４０００に示すように、外科用ハブは、外科作業のチェックリスト及び／又は外科医３４２００が外科作業を実施するのを支援する命令を表示するように二次ディスプレイ３４２００に命令してもよい。別の例では、外科用ハブは、非滅菌野３４６５０内にある一次ディスプレイ３４４００上の画像を外科医３４２０００が制御することを可能にするように、一次ディスプレイ３４４００上にも表示され得る画像を二次ディスプレイ３４１００上に表示してもよい。
外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点が、外科医３４２００が二次ディスプレイ３４５００を見ている場合があることを示し得ると判定してもよい。二次ディスプレイ３４５００は、医療器具の一部であり得る。外科用ハブは、医療器具を使用して実施される外科作業に関連付けられたコンテキストデータを表示するように二次ディスプレイ３４５００に命令することができる。例えば、外科用ホットは、医療器具のステータスを表示するように医療器具に命令してもよい。
外科用ハブは、少なくとも２人のユーザがディスプレイを見ている可能性があると判定してもよく、第１のユーザのためのデータ及び第２のユーザのためのデータを表示するようにディスプレイに命令することによって、ディスプレイが共有されることを可能にしてもよい。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００のための第１の視覚的焦点を決定することができる。外科用ハブは、安全眼鏡３４３００を使用して医療スタッフ員３４３５０のための第２の視覚的焦点を決定することができる。外科用ハブは、外科医３４２００に対する第１の視覚的焦点及び医療スタッフ員３４３５０に対する第２の視覚的焦点が、外科医３４２００及び手術スタッフ員３４３５０の両方が一次ディスプレイ３４４５０を見ていることを示すことができると判定することができる。外科用ハブは、外科医３４２００によって実行される第１の外科作業を決定することができる。外科用ハブは、手術スタッフ員３４３５０によって実行されるべき第２の外科作業を決定することができる。外科用ハブは、一次ディスプレイ３４４５０に、外科医３４２００のための第１のコンテキストデータ及び外科医３４３５０のための第２のコンテキストデータを表示するように命令することができる。
外科用ハブは、少なくとも２人のユーザがディスプレイを見ている可能性があると判定してもよく、第１のユーザに対するデータを優先させながら、第１のユーザに対するデータ及び第２のユーザに対するデータを表示するようにディスプレイに命令することによって、ディスプレイが共有されることを可能にしてもよい。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００のための第１の視覚的焦点を決定することができる。外科用ハブは、安全眼鏡３４３００を使用して医療スタッフ員３４３５０のための第２の視覚的焦点を決定することができる。外科用ハブは、外科医３４２００に対する第１の視覚的焦点及び医療スタッフ員３４５００に対する第２の視覚的焦点が、外科医３４２００及び手術スタッフ員３４３５０の両方が一次ディスプレイ３４４５０を見ていることを示すことができると判定することができる。外科用ハブは、要求されたデータの優先度、実施されている外科作業の優先度、ユーザの階層に基づく優先度などのうちの少なくとも１つに基づいて、外科医３４２００が手術スタッフ員３４３５０よりも優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを優先させながら、外科医３４２００のための第１のコンテキストデータ及び外科医３４３５０のための第２のコンテキストデータを表示するように一次ディスプレイ３４４５０に命令することができる。例えば、第１のコンテキストデータは、第２のコンテキストデータよりもディスプレイ３４４５０のより多くの空間を占めることを可能にされてもよい。別の例として、第１のコンテキストデータは、第２のコンテキストデータよりも目立つように表示されてもよい。
外科用ハブは、第１のユーザがディスプレイを見ていること、及び第２のユーザがディスプレイを見始めたことを判定することができる。外科用ハブは、手術スタッフ員３４１５０が二次ディスプレイ３４１００を見ている可能性があること、及び二次ディスプレイが手術スタッフ員３４１５０のための第１のコンテキストデータを表示している可能性があると判定することができる。外科用ハブは、外科医３４２００が二次ディスプレイ３４１００を見ている可能性があると判定することができる。外科用ハブは、外科医３４２００が手術スタッフ員３４１５０に対して優先度を有し得ると判定することができる。外科用ハブは、要求されたデータの優先度、実施されている外科作業の優先度、ユーザの階層に基づく優先度などのうちの少なくとも１つに基づいて、外科医３４２００が手術スタッフ員３４１５０よりも優先度を有し得ると判定することができる。外科用ハブは、外科医３４２００のための第２のコンテキストデータが第１のコンテキストデータに対して優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを削除するように、及び／又は第１のコンテキストデータの表示を停止するように、二次ディスプレイ３４１００に命令することができる。外科用ハブは、第２のコンテキストデータを表示するように二次ディスプレイ３４１００に命令することができる。
外科用ハブは、第１のユーザがディスプレイを見ていること、及び第２のユーザがディスプレイを見始めたことを判定することができる。外科用ハブは、手術スタッフ員３４１５０が二次ディスプレイ３４１００を見ている可能性があること、及び二次ディスプレイが手術スタッフ員３４１５０のコンテキストデータを表示している可能性があると判定することができる。外科用ハブは、外科医３４２００が二次ディスプレイ３４１００を見ている可能性があると判定することができる。外科用ハブは、コンテキストデータが表示され続けるべきであると判定し、外科医３４２００がコンテキストデータを見ることを望み得ると判定し、外科医３４２００がコンテキストデータをレビューしている可能性があると判定し、外科医３４２００が実行している可能性がある外科作業に基づいて、コンテキストデータが外科医３４２００に関連し得ると判定し、又はユーザがコンテキストデータを二次ディスプレイ３４１００上に保持することを要求したと判定してもよい。外科用ハブは、コンテキストデータを表示するように二次ディスプレイ３４１００に命令するメッセージを送信してもよく、又は外科用ハブは、二次ディスプレイ３４１００にコンテキストデータを表示することを停止させ得るメッセージを二次ディスプレイ３４１００に送信することを防止してもよい。
外科用ハブは、第１のユーザ及び第２のユーザがディスプレイを見ていることを判定してもよく、第１のユーザのデータの優先度に基づいて、第１のユーザに優先度を与えてもよい。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００のための第１の視覚的焦点を決定することができる。外科用ハブは、安全眼鏡３４３００を使用して医療スタッフ員３４３５０のための第２の視覚的焦点を決定することができる。外科用ハブは、第１の視覚的焦点が、外科医３４２００が一次ディスプレイ３４４００を見ている可能性があると示し得ることを判定してもよい。外科用ハブは、第２の視覚的焦点が、手術スタッフ員３４３５０が一次ディスプレイ３４４００を見ている可能性があることを示すと判定することができる。外科用ハブは、外科医３４２００によって実行される外科作業に基づいて、外科医３４２００のための第１のコンテキストデータを決定することができる。外科用ハブは、手術スタッフ員３４３５０によって実行される外科作業に基づいて、手術スタッフ員３４３５０のための第２のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータ、実施された外科作業、データの重要性、エラー検出などのうちの少なくとも１つに基づいて、第１のコンテキストデータが第２の外科用データよりも高い優先度を有すると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３４４００に命令することができる。
外科用ハブは、ユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、安全装置３４２５０からのデータを使用して外科医３４２００の視覚的焦点を決定することができる。外科用ハブは、二次ディスプレイ３４５００及び二次ディスプレイ３４１００が外科医３４２００の視覚的焦点内にあり得ると判定することができる。一例では、外科用ハブは、外科医３４２００によって実施される外科作業に基づいて、外科医３４２００のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータを表示するように二次ディスプレイ３４５００に命令するメッセージを送信してもよく、かつ／又はコンテキストデータを表示するように二次ディスプレイ３４１００に命令するメッセージを送信してもよい。別の例では、外科用ハブは、外科作業に基づいて第１のコンテキストデータを決定し、外科作業に基づいて第２のコンテキストデータを決定することができる。外科用ハブは、第１のコンテキストデータを表示するように二次ディスプレイ３４５００に命令する第１のメッセージを送信してもよく、第２のコンテキストデータを表示するように二次ディスプレイ３４１００に命令する第２のメッセージを送信してもよい。
外科用ハブは、ユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点を決定することができる。外科用ハブは、一次ディスプレイ３４４５０及び一次ディスプレイ３４４００が外科医３４２００の視覚的焦点内にあり得ると判定することができる。一例では、外科用ハブは、外科医３４２００によって実施される外科作業に基づいて、外科医３４２００のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータを表示するように一次ディスプレイ３４４５０に命令するメッセージを送信してもよく、かつ／又はコンテキストデータを表示するように一次ディスプレイ３４４００に命令するメッセージを送信してもよい。別の例では、外科用ハブは、外科作業に基づいて第１のコンテキストコンテキストデータを決定し、外科作業に基づいて第２のコンテキストデータを決定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３４４５００に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３４３５０に命令する第２のメッセージを送信することができる。
外科用ハブは、ユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点を決定することができる。外科用ハブは、一次ディスプレイ３４４５０及び二次ディスプレイ３４０５０が外科医３４２００の視覚的焦点内にあり得ると判定することができる。一例では、外科用ハブは、外科医３４２００によって実施される外科作業に基づいて、外科医３４２００のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータを表示するように一次ディスプレイ３４４５０に命令するメッセージを送信してもよく、かつ／又はコンテキストデータを表示するように二次ディスプレイ３４０５０に命令するメッセージを送信してもよい。別の例では、外科用ハブは、外科作業に基づいて第１のコンテキストデータを決定し、外科作業に基づいて第２のコンテキストデータを決定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３４４５００に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように二次ディスプレイ３４０５０に命令する第２のメッセージを送信することができる。
外科用ハブは、少なくとも２人のユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点を決定することができる。外科用ハブは、安全眼鏡３４３００からの手術スタッフ員３４３５０の視覚的焦点を決定することができる。外科用ハブは、一次ディスプレイ３４４５０及び一次ディスプレイ３４４００が外科医３４２００の視覚的焦点内にあり得ると判定してもよく、外科用ハブは、一次ディスプレイ３４４５０及び一次ディスプレイ３４４００が手術スタッフ員３４３５０の視覚的焦点内にあり得ると判定してもよい。外科用ハブは、外科医３４２００によって実行される外科作業に基づいて、外科医３４２００のための第１のコンテキストデータを決定することができる。外科用ハブは、手術スタッフ員３４３５０によって実行される外科作業に基づいて、手術スタッフ員３４３５０のための第２のコンテキストデータを決定することができる。
一例では、外科用ハブは、外科医３４２００が一次ディスプレイ３４４５０により近い可能性がある位置にいる可能性があると判定することができる。外科用ハブは、手術スタッフ員３４２００が一次ディスプレイ３４４００により近い可能性がある位置にいる可能性があると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３４４５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３４４００に命令する第２のメッセージを送信することができる。
一例では、外科用ハブは、外科医３４２００が手術スタッフ員３４３５０よりも優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３４４５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３４４００に命令する第２のメッセージを送信することができる。
一例では、外科用ハブは、第１のコンテキストデータが第２のコンテキストデータに対して優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３４４５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３４４００に命令する第２のメッセージを送信することができる。
外科用ハブは、少なくとも２人のユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、安全眼鏡３４２５０からのデータを使用して、外科医３４２００の視覚的焦点を決定することができる。外科用ハブは、安全眼鏡からの手術スタッフ員３４３５０の視覚的焦点を決定することができる。外科用ハブは、二次ディスプレイ３４５００及び二次ディスプレイ３４１００が外科医３４２００の視覚的焦点内にあり得ると判定することができる。外科用ハブは、二次ディスプレイ３４５００及び二次ディスプレイ３４１００が手術スタッフ員３４１５０の視覚的焦点内にあり得ると判定することができる。外科用ハブは、外科医３４２００によって実行される外科作業に基づいて、外科医３４２００のための第１のコンテキストデータを決定することができる。外科用ハブは、手術スタッフ員３４１５０によって実行される外科作業に基づいて、手術スタッフ員３４１５０のための第２のコンテキストデータを決定することができる。外科用ハブは、外科医３４２００が二次ディスプレイ３４５００に関連付けられた医療器具を使用している可能性があると判定することができる。医療ハブは、外科医療スタッフ員３４１００が二次ディスプレイ３４１００に関連付けられた装置を使用している可能性があると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように二次ディスプレイ３４５００に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように二次ディスプレイ３４１００に命令する第２のメッセージを送信することができる。
図７２は、１人又は２人以上のユーザの視覚的焦点に基づいて情報を表示し得る、１つ又は２つ以上のディスプレイを図示する図を示す。手術中、滅菌野３６５５０などの滅菌野と、非滅菌野３６６５０などの非滅菌野とを区別するために、患者の周囲に人工障壁が作成され得る。このバリアは、滅菌バリア３６６００などの滅菌バリアと称されることがある。これは、例えば、患者を感染から保護するために行うことができる。手術の準備において、医療提供者は、手術中に患者に感染する可能性がある患者の外側の細菌を排除及び／又は最小化するために、患者を洗浄する（例えば、患者をスクラブ洗浄する）ことができる。患者３６４００は、滅菌野３６５５０内に配置され得る。滅菌野３６５５０内の医療器具もまた滅菌され得る。非滅菌である物品は、滅菌野から除外され得る。例えば、非滅菌物品は、非滅菌野３６６５０内に見出されてもよい。
ＯＲ内のユーザが識別されてもよく、例えば、外科用ハブは、ウェアラブルデバイス３６７５０などのウェアラブルデバイス、従業員識別情報内に埋め込まれ得るＲＦＩＤ３６７００などのＲＦＩＤからのデータ、カメラからの画像及び／又はビデオ、安全眼鏡からのデータ、医療器具からのデータなどからのデータを使用して、ＯＲを有するユーザを識別してもよい。
カメラは、ＯＲ内のユーザを識別するために、外科用ハブによって使用され得る。カメラは、カメラ３６１００、カメラ３６０５０、及び／又は安全眼鏡内のカメラであり得る。画像及び／又はビデオなどのデータは、カメラから受信され得る。データは、１人又は２人以上のユーザを識別するために、外科用ハブによって分析され得る。例えば、外科用ハブは、外科医３６３００などの１人又は２人以上のユーザを識別するために、人工知能及び／又は画像処理アルゴリズムを使用してもよい。図７２に示されるように、外科用ハブは、カメラ３６１００を使用して、ユーザを識別及び追跡することができる。例えば、「Ａ」によって示されるように、外科用ハブは、カメラ３６１００を使用して外科医３６００を識別してもよい。別の例として、「Ｂ」によって示されるように、外科用ハブは、カメラ３６１００を使用して手術スタッフ員３６７５０を識別してもよい。別の例として、「Ｃ」によって示されるように、外科用ハブは、手術スタッフ員３６１５０を識別してもよい。
外科医３６３００の頭部移動は、外科医３６３００がどこを見ているかを判定するために追跡され得る。これは、例えば、外科医３６３００がどこを見ている可能性があるかを判定する、外科医３６３００が見ている可能性がある１つ又は２つ以上のディスプレイを決定する、外科医３６３００の視線又は視覚的焦点に近接した範囲内の１つ又は２つ以上のディスプレイを決定するなどのために行われ得る。
外科医３６３００の頭部移動は、安全眼鏡３６３００を使用して追跡することができる。安全眼鏡３４２５０は、幾何学的３Ｄデータを生成するために使用され得る、１つ又は２つ以上のセンサを含んでもよく、これは、外科医３６３００のための視線及び／又は外科医３４２００の視覚的焦点を決定するために使用されてもよい。安全眼鏡３６５００は、図２９に関して参照される安全眼鏡６９９１であり得る。再び図７２を参照すると、安全眼鏡３６５００は、カメラを含み得る。安全眼鏡３６５００は、カメラを使用して、外科医３６３００がどこを見ているかを判定してもよく、安全眼鏡３６５００に含まれるカメラからのデータは、外科医３６３００の視覚的焦点を決定するために使用されてもよい。安全眼鏡３６５００と同様の安全眼鏡を使用して、医療スタッフ員３６７５０及び／又は医療スタッフ員３６１５０の頭部移動を追跡することができる。
外科医３６３００の頭部運動は、カメラ３６１００、カメラ３６０５０、及び／又は外科医３６３００によって着用されている安全眼鏡内のカメラを含み得る、１つ又は２つ以上のカメラを使用して追跡することができる。カメラベイは、図５９のカメラ２１１８０２である。再び図７２を参照すると、カメラは、手術スタッフ員３６１５９、外科医３６３００、及び手術スタッフ員３６７５０などのＯＲ内のユーザの画像及び／又はビデオをキャプチャするように配向され得る。カメラは、外科処置の間、ユーザの技術又は身体特性を視覚的に分析するために使用され得る。カメラは、ＯＲ内のユーザを視覚的に識別する、ＯＲ内のユーザを視覚的に追跡する、ＯＲ内の医療器具を視覚的に識別する、及び／又はＯＲ内の医療器具を視覚的に追跡するために使用され得る。例えば、「Ａ」によって示されるように、外科用ハブは、カメラ３６１００を使用して、外科医３６００を識別及び追跡してもよい。別の例として、「Ｂ」によって示されるように、外科用ハブは、カメラ３６１００を使用して手術スタッフ員３６７５０を識別及び追跡してもよい。別の例として、「Ｃ」によって示されるように、外科用ハブは、手術スタッフ員３６１５０を識別及び追跡してもよい。
外科用ハブは、カメラ及び／又は安全眼鏡からのデータを判定してもよく、１つ又は２つ以上のディスプレイは、ユーザの視覚的焦点内にある。１つ又は２つ以上のディスプレイは、一次ディスプレイ３６４５０、一次ディスプレイ３６８００、ウェアラブルデバイスの一部であり得る二次ディスプレイ３６３５０、医療器具の一部であり得る二次ディスプレイ３６２５０、又はタブレットコンピューティング装置の一部であり得る二次ディスプレイ３６２００であり得る。
外科用ハブは、カメラ及び／又は安全眼鏡からのデータを使用して、外科医３６３００の視覚的焦点が、外科医３６３００が一次ディスプレイ３６４５０を見ることができることを示し得ると判定してもよい。例えば、外科用ハブは、カメラから１つ又は２つ以上の画像を受信してもよく、１つ又は２つ以上の画像を分析して外科医３６３００の視覚的焦点を決定してもよい。外科用ハブは、外科医３６３００によって行われている外科作業を決定することができる。外科用ハブは、外科作業に関連付けられたコンテキストデータを決定することができ、外科用ハブは、プライマリディスプレイ３６４５０にコンテキストデータを表示するように命令し得るメッセージをプライマリディスプレイ３６４５０に送信することができる。
一例では、外科用ハブは、カメラ及び／又は安全眼鏡からのデータを使用して、外科医３６３００が一次ディスプレイ３６４５０を表示する前に二次ディスプレイ３６２５０を見ていた可能性があると判定してもよい。外科用ハブは、外科作業に関連し得るコンテキストデータが外科医の視覚的焦点内にあるように、コンテキストデータを二次ディスプレイ３６２５０から一次ディスプレイ３６４５０に移動させることができる。
外科用ハブは、カメラ及び／又は安全眼鏡からのデータを使用して、外科医３６３００の視覚的焦点が、外科医３６３００が一次ディスプレイ３６８００を見ることができることを示し得ると判定してもよい。外科用ハブは、カメラ３６１００から１つ又は２つ以上の画像を受信してもよく、１つ又は２つ以上の画像を分析して外科医３６３００の視覚的焦点を決定してもよい。外科用ハブは、外科医によって行われ得る外科作業に関連するコンテキストデータを決定し得、コンテキストデータを一次ディスプレイ３６８００に表示し得る。
外科用ハブは、カメラ及び／又は安全眼鏡からのデータを使用して、外科医３６３００の視覚的焦点が、外科医３６３００が二次ディスプレイ３６３５０を見ることができることを示し得ると判定してもよい。外科用ハブは、カメラ３６１００から１つ又は２つ以上の画像を受信してもよく、１つ又は２つ以上の画像を分析して外科医３６３００の視覚的焦点を決定してもよい。外科用ハブは、外科医３６３００の視覚的焦点が、外科医３６３００が二次ディスプレイ３６３５０を見ることができることを示すことを判定してもよい。外科用ハブは、二次ディスプレイ３６３５０が外科医上にあるウェアラブルデバイスに属し得ると判定し得る。外科用ハブは、ウェアラブルデバイスを見るときに外科医に関連し得るコンテキストデータを決定し得る。例えば、外科用ハブは、時間、手術の経過時間、メッセージ、患者のバイオメトリックデータなどを含み得る外科医データを示してもよい。
外科用ハブは、カメラ及び／又は安全眼鏡からのデータを使用して、外科医３６３００の視覚的焦点が、外科医３６３００が二次ディスプレイ３６２００を見ることができることを示し得ると判定してもよい。外科用ハブは、カメラ３６１００から１つ又は２つ以上の画像を受信してもよく、１つ又は２つ以上の画像を分析して外科医３６３００の視覚的焦点を決定してもよい。外科医３６３００の視覚的焦点は、外科医が二次ディスプレイ３６２０００を見ていることを示し得る。二次ディスプレイ３６２０００は、タブレットコンピューティング装置であり得る。外科用ハブは、外科医によって実行される外科作業に関連するコンテキストデータを表示することができる。例えば、３６０００に示すように、外科用ハブは、外科作業のチェックリスト及び／又は外科医３６３００が外科作業を実施するのを支援する命令を表示するように二次ディスプレイ３６８００に命令することができる。別の例では、外科用ハブは、非滅菌野３６６５０内にある一次ディスプレイ３６８００上の画像を外科医３６３０００が制御することを可能にするように、一次ディスプレイ３６８００上にも表示され得る画像を二次ディスプレイ３６２００上に表示してもよい。
外科用ハブは、カメラ及び／又は安全眼鏡からのデータを使用して、外科医３６３００の視覚的焦点が、外科医３６３００が二次ディスプレイ３６２５０を見ることができることを示し得ると判定してもよい。外科用ハブは、カメラ３６１００から１つ又は２つ以上の画像を受信してもよく、１つ又は２つ以上の画像を分析して外科医３６３００の視覚的焦点を決定してもよい。外科医３６３００の視覚的焦点は、外科医３６３００が二次ディスプレイ３６２５０を見ることができることを示してもよい。二次ディスプレイ３６２５０は、医療器具の一部であり得る。外科用ハブは、医療器具を使用して実施される外科作業に関連付けられたコンテキストデータを表示するように二次ディスプレイ３６２５０に命令することができる。例えば、外科用ホットは、医療器具のステータスを表示するように医療器具に命令してもよい。
外科用ハブは、少なくとも２人のユーザがディスプレイを見ている可能性があると判定してもよく、第１のユーザのためのデータ及び第２のユーザのためのデータを表示するようにディスプレイに命令することによって、ディスプレイが共有されることを可能にしてもよい。外科用ハブは、カメラ３６１００及び／又は安全眼鏡からのカメラからのデータを使用して、外科医３６３００のための第１の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡からのカメラを使用して、医療スタッフ員３６７５０のための第２の視覚的焦点を決定することができる。外科用ハブは、外科医３６３００に対する第１の視覚的焦点及び医療スタッフ員３６７５０に対する第２の視覚的焦点が、外科医３６３００及び手術スタッフ員３６７５０の両方が一次ディスプレイ３６４５０を見ていることを示すことができると判定することができる。外科用ハブは、外科医３６３００によって実行される第１の外科作業を決定することができる。外科用ハブは、手術スタッフ員３６７５０によって実行されるべき第２の外科作業を決定することができる。外科用ハブは、一次ディスプレイ３６４５０に、外科医３６３００のための第１のコンテキストデータ及び外科医３６７５０のための第２のコンテキストデータを表示するように命令することができる。
外科用ハブは、少なくとも２人のユーザがディスプレイを見ている可能性があると判定してもよく、第１のユーザに対するデータを優先させながら、第１のユーザに対するデータ及び第２のユーザに対するデータを表示するようにディスプレイに命令することによって、ディスプレイが共有されることを可能にしてもよい。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００のための第１の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、医療スタッフ員３６７５０のための第２の視覚的焦点を決定することができる。外科用ハブは、外科医３６３００に対する第１の視覚的焦点及び医療スタッフ員３６２５０に対する第２の視覚的焦点が、外科医３６３００及び手術スタッフ員３６７５０の両方が一次ディスプレイ３６４５０を見ていることを示すことができると判定することができる。外科用ハブは、要求されたデータの優先度、実施されている外科作業の優先度、ユーザの階層に基づく優先度などのうちの少なくとも１つに基づいて、外科医３６３００が手術スタッフ員３６７５０よりも優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを優先させながら、外科医３６３００のための第１のコンテキストデータ及び外科医３６７５０のための第２のコンテキストデータを表示するように一次ディスプレイ３６４５０に命令することができる。例えば、第１のコンテキストデータは、第２のコンテキストデータよりもディスプレイ３６４５０のより多くの空間を占めることを可能にされてもよい。別の例として、第１のコンテキストデータは、第２のコンテキストデータよりも目立つように表示されてもよい。
外科用ハブは、第１のユーザがディスプレイを見ていること、及び第２のユーザがディスプレイを見始めたことを判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、手術スタッフ員３６１５０のための第１の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡からのデータを使用して、外科医３６１５０のための第２の視覚的焦点を決定することができる。外科用ハブは、第１の視覚的焦点を使用して、手術スタッフ員３６１５０が二次ディスプレイ３６２００を見ている可能性があると判定することができる。外科用ハブは、二次ディスプレイが手術スタッフ員３６１５０のための第１のコンテキストデータを表示している可能性があると判定することができる。外科用ハブは、第２の視覚的焦点を使用して、外科医３６３００が二次ディスプレイ３６２００を見ている可能性があると判定することができる。外科用ハブは、外科医３６３００が手術スタッフ員３６１５０に対して優先度を有し得ると判定することができる。外科用ハブは、要求されたデータの優先度、実施されている外科作業の優先度、ユーザの階層に基づく優先度などのうちの少なくとも１つに基づいて、外科医３６３００が手術スタッフ員３６１５０よりも優先度を有し得ると判定することができる。外科用ハブは、外科医３６３００のための第２のコンテキストデータが第１のコンテキストデータに対して優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを削除するように、及び／又は第１のコンテキストデータの表示を停止するように、二次ディスプレイ３６２００に命令することができる。外科用ハブは、第２のコンテキストデータを表示するように二次ディスプレイ３６２００に命令することができる。
外科用ハブは、第１のユーザがディスプレイを見ていること、及び第２のユーザがディスプレイを見始めたことを判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、手術スタッフ員３６１５０のための第１の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡からのデータを使用して、外科医３６１５０のための第２の視覚的焦点を決定することができる。外科用ハブは、第１の視覚的焦点を使用して、手術スタッフ員３６１５０が二次ディスプレイ３６２００を見ている可能性があると判定することができる。外科用ハブは、二次ディスプレイ３６２００が手術スタッフ員３６１５０のためのコンテキストデータを表示している可能性があると判定することができる。外科用ハブは、第２の視覚的焦点を使用して、外科医３６３００が二次ディスプレイ３６２００を見ている可能性があると判定することができる。外科用ハブは、コンテキストデータが表示され続けるべきであると判定し、外科医３６３００がコンテキストデータを見ることを望み得ると判定し、外科医３６３００がコンテキストデータをレビューしている可能性があると判定し、外科医３４２００が実行している可能性がある外科作業に基づいて、コンテキストデータが外科医３６３００に関連し得ると判定し、又はユーザがコンテキストデータを二次ディスプレイ３６２００上に保持することを要求したと判定してもよい。外科用ハブは、コンテキストデータを表示するように二次ディスプレイ３６２００に命令するメッセージを送信してもよく、又は外科用ハブは、二次ディスプレイ３６２００にコンテキストデータを表示することを停止させ得るメッセージを二次ディスプレイ３６２００に送信することを防止してもよい。
外科用ハブは、第１のユーザ及び第２のユーザがディスプレイを見ていることを判定してもよく、第１のユーザのデータの優先度に基づいて、第１のユーザに優先度を与えてもよい。外科用ハブは、カメラ３６１１０及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００のための第１の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、医療スタッフ員３６７５０のための第２の視覚的焦点を決定することができる。外科用ハブは、第１の視覚的焦点が、外科医３６３００が一次ディスプレイ３６８００を見ている可能性があると示し得ることを判定してもよい。外科用ハブは、第２の視覚的焦点が、手術スタッフ員３６７５０が一次ディスプレイ３６８００を見ている可能性があることを示すと判定することができる。外科用ハブは、外科医３６３００によって実行される外科作業に基づいて、外科医３６３００のための第１のコンテキストデータを決定することができる。外科用ハブは、手術スタッフ員３６７５０によって実行される外科作業に基づいて、手術スタッフ員３６７５０のための第２のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータ、実施された外科作業、データの重要性、エラー検出などのうちの少なくとも１つに基づいて、第１のコンテキストデータが第２の外科用データよりも高い優先度を有すると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３６８００に命令することができる。
外科用ハブは、ユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００の視覚的焦点を決定することができる。外科用ハブは、二次ディスプレイ３６２５０及び二次ディスプレイ３６２００が外科医３６３００の視覚的焦点内にあり得ると判定することができる。一例では、外科用ハブは、外科医３６３００によって実施される外科作業に基づいて、外科医３６３００のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータを表示するように二次ディスプレイ３６２５０に命令するメッセージを送信してもよく、かつ／又はコンテキストデータを表示するように二次ディスプレイ３６２００に命令するメッセージを送信してもよい。別の例では、外科用ハブは、外科作業に基づいて第１のコンテキストデータを決定し、外科作業に基づいて第２のコンテキストデータを決定することができる。外科用ハブは、第１のコンテキストデータを表示するように二次ディスプレイ３６２５０に命令する第１のメッセージを送信してもよく、第２のコンテキストデータを表示するように二次ディスプレイ３６２００に命令する第２のメッセージを送信してもよい。
外科用ハブは、ユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００の視覚的焦点を決定することができる。外科用ハブは、一次ディスプレイ３６４５０及び一次ディスプレイ３６８００が外科医３６３００の視覚的焦点内にあり得ると判定することができる。一例では、外科用ハブは、外科医３６３００によって実施される外科作業に基づいて、外科医３６３００のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータを表示するように一次ディスプレイ３６４５０に命令するメッセージを送信してもよく、かつ／又はコンテキストデータを表示するように一次ディスプレイ３６８００に命令するメッセージを送信してもよい。別の例では、外科用ハブは、外科作業に基づいて第１のコンテキストコンテキストデータを決定し、外科作業に基づいて第２のコンテキストデータを決定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３６４５００に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３６７５０に命令する第２のメッセージを送信することができる。
外科用ハブは、ユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００の視覚的焦点を決定することができる。外科用ハブは、一次ディスプレイ３６４５０及び二次ディスプレイ３６３５０が外科医３６３００の視覚的焦点内にあり得ると判定することができる。一例では、外科用ハブは、外科医３６３００によって実施される外科作業に基づいて、外科医３６３００のコンテキストデータを決定することができる。外科用ハブは、コンテキストデータを表示するように一次ディスプレイ３６４５０に命令するメッセージを送信してもよく、かつ／又はコンテキストデータを表示するように二次ディスプレイ３６３５０に命令するメッセージを送信してもよい。別の例では、外科用ハブは、外科作業に基づいて第１のコンテキストデータを決定し、外科作業に基づいて第２のコンテキストデータを決定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３６４５００に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように二次ディスプレイ３６３５０に命令する第２のメッセージを送信することができる。
外科用ハブは、少なくとも２人のユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、手術スタッフ員３６７５０の視覚的焦点を決定することができる。外科用ハブは、一次ディスプレイ３６４５０及び一次ディスプレイ３６８００が外科医３６３００の視覚的焦点内にあり得ると判定することができる。外科用ハブは、プライマリディスプレイ３６４５０及びプライマリディスプレイ３６８００が手術スタッフメンバ３６７５０の視覚的焦点内にあり得ると判定することができる。外科用ハブは、外科医３６３００によって実行される外科作業に基づいて、外科医３６３００のための第１のコンテキストデータを決定することができる。外科用ハブは、手術スタッフ員３６７５０によって実行される外科作業に基づいて、手術スタッフ員３６７５０のための第２のコンテキストデータを決定することができる。
一例では、外科用ハブは、外科医３６３００が一次ディスプレイ３６４５０により近い可能性がある位置にいる可能性があると判定することができる。外科用ハブは、手術スタッフ員３６３００が一次ディスプレイ３６８００により近い可能性がある位置にいる可能性があると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３６４５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３６８００に命令する第２のメッセージを送信することができる。
一例では、外科用ハブは、外科医３６３００が手術スタッフ員３６７５０よりも優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３６４５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３６８００に命令する第２のメッセージを送信することができる。
一例では、外科用ハブは、第１のコンテキストデータが第２のコンテキストデータに対して優先度を有し得ると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように一次ディスプレイ３６４５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように一次ディスプレイ３６８００に命令する第２のメッセージを送信することができる。
外科用ハブは、少なくとも２人のユーザが１つ又は２つ以上のディスプレイを見ている可能性があると判定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、外科医３６３００の視覚的焦点を決定することができる。外科用ハブは、カメラ３６１００及び／又は安全眼鏡カメラからのデータを使用して、手術スタッフ員３６７５０の視覚的焦点を決定することができる。外科用ハブは、二次ディスプレイ３６２５０及び二次ディスプレイ３６２００が外科医３６３００の視覚的焦点内にあり得ると判定することができる。外科用ハブは、二次ディスプレイ３６２５０及び二次ディスプレイ３６２００が手術スタッフ員３６１５０の視覚的焦点内にあり得ると判定することができる。外科用ハブは、外科医３６３００によって実行される外科作業に基づいて、外科医３６３００のための第１のコンテキストデータを決定することができる。外科用ハブは、手術スタッフ員３６１５０によって実行される外科作業に基づいて、手術スタッフ員３６１５０のための第２のコンテキストデータを決定することができる。外科用ハブは、外科医３６３００が二次ディスプレイ３６２５０に関連付けられた医療器具を使用している可能性があると判定することができる。医療ハブは、外科医療スタッフ員３６２００が二次ディスプレイ３６２００に関連付けられた装置を使用している可能性があると判定することができる。外科用ハブは、第１のコンテキストデータを表示するように二次ディスプレイ３６２５０に命令する第１のメッセージを送信することができる。外科用ハブは、第２のコンテキストデータを表示するように二次ディスプレイ３６２００に命令する第２のメッセージを送信することができる。
表示情報を別のディスプレイ上に移動させるためのユーザ命令から生じる画像の重ね合わせ、置換、サイズ変更が提供されてもよい。医療器具は、器具パラメータを含み得る１つ又は２つ以上の器具データを監視することができる。医療器具は、二次ディスプレイであり得る、ディスプレイを含み得る。医療器具は、１つ又は２つ以上の器具データを示すためにディスプレイを使用することができる。二次ディスプレイは、１つ又は２つ以上の被監視器具データのうちの少なくとも１つを目立つように示すことができる。例えば、二次ディスプレイは、１つ又は２つ以上の器具データのうちの少なくとも１つを、別の器具データよりも目立つように示してもよい。別の例として、医療器具は、１つ又は２つ以上の器具データのうちの少なくとも１つの表示を優先順位付けすることができる。別の例として、医療器具は、１つ又は２つ以上の器具データのうちの少なくとも１つをハイライトすることができる。二次ディスプレイは、器具構成（例えば、現在の器具構成）、コンテキストデータ、外科処置、外科作業（例えば、外科処置中に行われ得る外科作業）のうちの１つ又は２つ以上に基づいて、器具データをより目立つように示してもよい。
ユーザは、医療器具に、ディスプレイ上のデータをハイライト、優先順位付け、及び／又は目立つように表示しないように命令することができる。ユーザは、医療器具に、ディスプレイ上のデータをハイライト、優先順位付け、及び／又は目立つように表示するように命令することができる。
ユーザが、医療器具に対して、ディスプレイ上でデータをハイライト、優先順位付け、及び／又は目立つように表示するように命令することができるとき、データは、ハイライトされ、優先順位付けされ、かつ／又は目立つように表示されたデータとすることができる。例えば、ユーザは、医療器具ディスプレイ上に表示されているデータを選択してもよい。選択されたデータは、より大きくされてもよく、ハイライトされてもよく、色が変化してもよく、ディスプレイのより目立つ部分に移動されてもよい、などである。ユーザによって選択されなかったデータは、半透明になってもよく、色が変化してもよく、より小さくされてもよく、ディスプレイのより目立たない部分に移動されてもよい、などである。
ユーザは、データが、医療器具ディスプレイであり得る二次ディスプレイから、一次ディスプレイ及び／又は別の二次ディスプレイに移動されることを要求してもよい。外科用ハブ及び／又は医療命令などの装置は、ユーザからの音声コマンド、ユーザによって行われるジェスチャ、インターフェースを介した命令などのうちの少なくとも１つを使用して、データが一次及び／又は別の二次ディスプレイに移動されることをユーザが要求したことを判定することができる。例えば、ユーザは、ＯＲ内に位置するディスプレイに向かってデータをスワイプするなどのジェスチャを行ってもよく、外科用ハブ及び／又は医療器具は、ジェスチャを検出してもよく、メッセージが、データを表示するためにＯＲ内に位置するディスプレイに送信されてもよい。
ハイライト、優先順位付け、及び／又は目立つように表示され得る、ユーザによって選択されたデータは、二次ディスプレイから、一次ディスプレイ及び／又は二次ディスプレイであり得る別のディスプレイに移動され得る。例えば、ユーザは、二次ディスプレイであり得る、医療器具のディスプレイ上でデータを選択してもよく、データが別のディスプレイに移動されるべきであることを示してもよい。医療器具及び／又は外科用ハブは、別のディスプレイの識別情報を判定してもよく、選択されたデータを表示するために別のディスプレイにメッセージを送信してもよい。選択されたデータは、表示されてもよく、ハイライト、優先順位付け、及び／又は目立つように表示されてもされなくてもよい。例えば、選択されたデータは、より大きくされてもよく、ハイライトされてもよく、色が変化してもよく、ディスプレイのより目立つ部分に移動されてもよい、などである。別の例として、選択されたデータは、半透明になってもよく、色が変化してもよく、より小さくされてもよく、ディスプレイのあまり目立たない部分に移動されてもよい、などである。
ユーザは、医療器具の制御部を作動させることができる。例えば、医療器具は、ステープラであってもよく、ユーザは、ステープラを発射させ得るステープラの制御部を作動させてもよい。別の例として、ユーザは、医療器具に属するディスプレイにタッチしてもよく、ディスプレイは、オンになり、データを表示し、及び／又はユーザタッチに反応してもよい。
ユーザが医療器具の制御部を作動させると、医療器具のディスプレイは、第１のフォーマットでデータを表示しながら、第２のフォーマットで他のデータを表示することができる。第１のフォーマットは、第２のフォーマットを使用して表示されるデータよりも目立つようにデータを表示させることができる。
医療器具及び／又は外科用ハブは、制御部の作動、ユーザジェスチャ、ユーザ音声コマンドなどに基づいて、ディスプレイの再構成及び／又はディスプレイ共有を提供する。ユーザは、関心のあるデータを選択したディスプレイ上に表示する能力を提供され得る。一実施形態では、医療器具及び／又は外科用ハブは、ディスプレイにコンテキストデータからの提案されたデータを表示させることができ、ユーザには、提案されたデータをオーバーライドし、及び／又は提案されたデータをユーザが好むデータと置き換える能力を提供することができる。本明細書に開示されるように、音声コマンド、ジェスチャ、又は触覚制御を使用して、現在使用されている器具のデータ／ステータスをどのスクリーンに表示するかを示すことができる。
ＯＲ内の１つ又は２つ以上のカメラを使用して、スタッフの活動を監視するのを助けることができる。これらのカメラは、どの装置がどのユーザによって使用されているかを判定するために使用され得る。一次ユーザは、カメラによって識別され、かつ／又はユーザによって着用されるセンサに基づいて感知され得る。処置の状況認識、装置ステータス、予想される次の工程などに基づいて、外科用ハブ及び／又は装置は、有用である（例えば、最も有用である）と予想され得る情報を表示し、それをスクリーン上に表示する。ユーザは、追加の又は異なる情報を見ることができ、器具に異なる情報をスクリーン上に表示させることができる。例えば、これは、ジェスチャを用いて達成されてもよい。ＯＲ内のカメラを使用して、リードユーザからの運動を使用して、スワイプ運動、選択、スクロールなどを解釈し、情報フローを制御することができる。別の例として、音声起動制御を使用して同じタスクを達成することができる。別の例として、二次ディスプレイ（例えば、ｉＰａｄ）などの滅菌器具又は滅菌ディスプレイ上の制御が、本制御のために使用されてもよい。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。外科作業に基づく第１のデータが決定され得る。第２のデータに対する選好を示すユーザからのコマンドが決定され得る。コマンドは、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上であり得る。表示データが決定され得る。表示データは、第１のデータ及び第２のデータを含み得、第１のデータより第２のデータを優先させることができる。ディスプレイが表示データを表示する命令を含むメッセージが送信され得る。メッセージは、ディスプレイに送信され得る。ディスプレイ及び／又はディスプレイの識別情報は、第２のデータに対する選好を示すユーザからのコマンドに基づいて決定され得る。第１のデータは第１のコンテキストデータであってもよく、第２のデータは第２のコンテキストデータであってもよい。
第１のデータ及び第２のデータを含み、第１のデータよりも第２のデータに優先度を与える表示データを決定することは、いくつかのアクションを含み得る。例えば、第２のデータを第１のデータの上に重ね合わせること、第１のデータの少なくとも一部を第２のデータの少なくとも一部で置き換えること、及び第１のデータ又は第２のデータに関連付けられた画像のサイズを変更することのうちの１つ又は２つ以上が実行されてもよい。一例では、第１のデータと第２のデータとを含み、第１のデータよりも第２のデータに優先度を与える表示データを決定することは、表示されたときに第２のデータが第１のデータよりも目立つことを確実にすることを含み得る。
一例では、メッセージは、表示データを表示するときに第２のデータを強調する命令、表示データを表示するときに第２のデータをハイライトする命令、表示データを表示するときに第１のデータの第１のフォントサイズを縮小させる命令、表示データを表示するときに第２のデータの第２のフォントサイズを拡大させる命令、表示データを表示するときに色を使用して第２のデータを表示する命令、データを表示するときに第１のデータを半透明に表示する命令、表示データを表示するときにディスプレイの目立つ位置に第２のデータを表示する命令、ディスプレイの第２の位置より目立たないディスプレイの第１の場所に第１のデータを表示する命令のうちの１つ又は２つ以上を含み得る。一例では、メッセージは、表示データを表示するときに第１のデータよりも高い優先度で第２のデータを表示する命令を含み得る。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。
一例では、第１のコンテキストデータを表示するように第１のディスプレイに命令する第１のメッセージが送信され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令する第２のメッセージが送信され得る。
一例では、第２の表示がコマンドから決定され得る。第２のコンテキストデータが第１のディスプレイ上に表示されていることが判定され得る。第１のメッセージを第１のディスプレイに送信して、第２のコンテキストデータを第１のディスプレイから削除することができる。第２のメッセージは、第２のコンテキストデータを表示するために第２のディスプレイに送信され得る。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。ユーザの視覚的焦点が決定され得る。第２のディスプレイがユーザの視覚的焦点内にあることが判定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。
一例では、ユーザの視覚的焦点は、ウェアラブルデバイスデータ、ユーザに関連付けられたセンサデータ、手術室内のカメラからの画像、及び手術室内のカメラからのビデオのうちの１つ又は２つ以上を使用して決定される。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。画像又はビデオは、カメラから受信され得る。幾何学的三次元データは、画像又はビデオから生成され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上は、幾何学的三次元データを使用して決定され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点が決定され得る。第２のディスプレイは、視覚的焦点を使用して決定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。第２のディスプレイが第２のユーザに関連付けられた第３のコンテキストデータを表示していると判定され得る。メッセージは、第２のディスプレイに、第３のコンテキストデータを削除し、第２のコンテキストデータを表示するように命令することができる。
図７３は、ディスプレイ上に表示されているデータを構成するためのプロセスの論理フロー図である。
３７０００において、二次ディスプレイであってもよい器具ディスプレイは、１つ又は２つ以上の器具パラメータを表示することができる。器具パラメータは、医療器具パラメータであり得る。器具パラメータは、監視される器具パラメータであり得る。例えば、ユーザは、外科用ハブ及び／又は医療器具によって監視され得る１つ又は２つ以上のパラメータを識別してもよい。例えば、ユーザは、ステープラの発射力が外科用ハブによって監視されることを要求してもよく、外科用ハブは、発射力が範囲外であり得るときにユーザに通知してもよい。
３７０００において、医療器具パラメータは、器具構成及び／又は手術命令に基づいてより目立つように表示されてもよく、外科用ハブは、コンテキストデータを使用して、外科作業中にユーザにとって関心があり得る医療器具の１つ又は２つ以上のパラメータを決定してもよい。外科作業は、外科処置の間、ユーザによって実施され得る。外科作業は、外科処置の間、医療器具を使用して、ユーザによって実施され得る。
外科用ハブは、コンテキストデータを分析して、この外科作業の前又は間にユーザに関連し得るデータを決定することができる。外科用ハブは、データをユーザに提示することができる。例えば、外科用ハブは、ユーザがコンテキストデータを見ることができるように、コンテキストデータを一次ディスプレイ及び／又は二次ディスプレイに送信してもよい。外科用ハブは、コンテキストデータをハイライト、強調、又は優先順位付けすることを選択することができる。例えば、外科用ハブは、コンテキストデータが、外科医が実施している外科作業に非常に関連し得ることを判定してもよく、コンテキストデータが一次ディスプレイ上で容易に視認可能であり得るように、コンテキストデータをハイライトすることを選択してもよい。コンテキストデータは、発射強制、速度、ステープルの数の指示などの、医療装置に関連するパラメータであり得る。コンテキストデータは、バイオメトリックデータ、ＥＭＲからの患者データなどの患者に関連するパラメータであり得る。コンテキストデータは、医療画像、Ｘ線、カメラスコープからのビデオなどの画像及び／又はビデオを含み得る。
３７１００で、ユーザは、１つ又は２つ以上の監視データを選択することができる。モニタデータは、一次ディスプレイ及び／又は二次ディスプレイ上でユーザに提示され得る。モニタデータは、一次及び／又は二次ディスプレイ上でハイライトされず、目立たず、及び／又は優先されなくてもよい。例えば、外科用ハブ及び／又は医療器具は、コンテキストデータを分析し、モニタデータがユーザにとって優先事項ではない可能性があると判定してもよい。ユーザは、依然としてモニタデータに関心がある場合があり、モニタデータが優先されるべきであることを示すことを望む場合がある。ユーザは、監視されるデータを選択してもよく、選択された監視されるデータが優先されるべきであることを外科用ハブ及び／又は医療装置に示してもよい。
３７２００において、一次ディスプレイエンド又は二次ディスプレイ上に表示され得るデータは、半透明になるか、より小さくなるか、あまり目立たなくなるか、又はあまり優先されなくなり得る。モニタ上でユーザに提示され得るデータは、ユーザにとって優先度ではない可能性があると判定され得る。例えば、ユーザは、優先されなかったデータが優先されるべきであるという指示を提供してもよい。一例では、ユーザは、データが優先されるべきであることを示すために、優先されなかった可能性があるデータを選択することができる。ユーザは、二次ディスプレイ、ジェスチャ、音声コマンド、医療器具上の制御、視覚的焦点などを使用して、データを選択することができる。
外科用ハブ及び／又は医療装置は、ユーザがデータを選択したと判定し得る。選択されたデータは、一次ディスプレイ及び／又は二次ディスプレイ上で優先され得る。例えば、外科用ハブは、メッセージを一次ディスプレイに送信して、選択されたデータをハイライトするように、選択されたデータを優先順位付けするように、又は選択されたデータをより目立つようにするように、一次ディスプレイに命令してもよい。一例として、医療器具は、選択されたデータを優先順位付けするために、又は選択されたデータをより目立つようにするために、選択されたデータをハイライトするように二次ディスプレイに命令するためのメッセージを二次ディスプレイに送信することができる。
外科用ハブ及び／又は医療装置は、選択されたデータに適用され得るフォーマットを決定し得る。フォーマットは、選択されたデータがディスプレイスクリーン上により目立って現れることを可能にし得る。
３７３００では、ユーザは、ディスプレイが一次ディスプレイ及び／又は二次ディスプレイであり得る手術室期間内に位置し得るディスプレイに向かって、選択されたデータをジェスチャ及び／又はスワイプすることができる。データが１つのディスプレイから第２のディスプレイに移動されるべきであることをジェスチャが示すことが判定され得る。例えば、それらは、ユーザジェスチャが、二次ディスプレイ上で選択されたデータが一次ディスプレイに移動されるべきであることを示し得ると判定されてもよい。
ジェスチャは、第１のディスプレイ及び第２のディスプレイを決定するために分析され得る。第１のディスプレイは一次ディスプレイであってもよく、第２のディスプレイは二次ディスプレイであってもよい。例えば、データは、滅菌野の外側のディスプレイから滅菌野の内側の医療器具のディスプレイに移動されてもよい。ジェスチャは、一次ディスプレイ上に表示されているコンテキストデータを決定するために分析され得る。ジェスチャは、第２のディスプレイを決定するために分析され得る。例えば、ジェスチャは、第２のディスプレイが位置し得る方向を示してもよく、方向は、第２のスクリーンディスプレイが１つ又は２つ以上の命令を送信され得るように、第２のディスプレイの識別情報を決定するために分析されてもよい。コンテキストデータは、一次スクリーンから削除され、１つ又は２つ以上のメッセージを使用して二次スクリーンに送信され得る。例えば、第１のメッセージは、一次ディスプレイにデータを削除するように命令するために一次ディスプレイに送信されてもよく、第２のメッセージは、二次ディスプレイにデータを表示するように命令するために二次ディスプレイに送信されてもよい。一例として、第１のメッセージは、滅菌野の外側のディスプレイに、スコープからビデオを除去するように命令してもよく、第２のメッセージは、滅菌野の内側で使用されているスコープのディスプレイに、ビデオを表示するように命令してもよい。
ジェスチャは、第１の表示及び第２のディスプレイを決定するために分析され得る。第１のディスプレイは、第１の二次ディスプレイであってもよく、第２のディスプレイは、第２の二次ディスプレイであってもよい。例えば、データは、ウェアラブルデバイスからタブレットコンピューティング装置に移動されてもよい。ジェスチャは、第１の二次ディスプレイ上に表示されているコンテキストデータを決定するために分析され得る。ジェスチャは、第２の二次ディスプレイの識別情報を決定するために分析され得る。例えば、ジェスチャは、外科医のための視線を示してもよく、第２の二次ディスプレイの識別情報は、第２の二次ディスプレイが１つ又は２つ以上の命令を送信され得るように、視線を使用して決定されてもよい。コンテキストデータは、第１の二次ディスプレイから削除されてもよく、１つ又は２つ以上のメッセージを使用して、第２の二次ディスプレイに送信されてもよい。例えば、第１のメッセージは、第１の二次ディスプレイにデータを削除するように命令するために第１の二次ディスプレイに送信されてもよく、第２のメッセージは、第２の二次ディスプレイにデータを表示するように命令するために第２の二次ディスプレイに送信されてもよい。一例として、第１のメッセージは、ウェアラブルデバイス上に表示されている心拍数を削除するようにウェアラブルデバイスに命令することができ、第２のメッセージは、心拍数を表示するようにタブレットコンピューティング装置に命令することができる。
ジェスチャは、第１の表示及び第２のディスプレイを決定するために分析され得る。第１のディスプレイは、二次ディスプレイであってもよく、第２のディスプレイは、一次ディスプレイであり得る。例えば、データは、二次ディスプレイからタブレットコンピューティング装置に移動されてもよい。ジェスチャは、二次ディスプレイ上に表示されているコンテキストデータを決定するために分析され得る。ジェスチャは、一次ディスプレイの識別情報を決定するために分析され得る。例えば、ジェスチャは、二次ディスプレイ上のアイコンに向かうタッチジェスチャであってもよく、ジェスチャは、データがアイコンに関連付けられた一次ディスプレイに送信されるべきであることを示してもよい。コンテキストデータは、二次ディスプレイから削除され得、１つ又は２つ以上のメッセージを使用して一次ディスプレイに送信され得る。例えば、第１のメッセージは、データを削除するように二次ディスプレイに命令するために二次ディスプレイに送信されてもよく、第２のメッセージは、データを表示するように一次ディスプレイに命令するために一次ディスプレイに送信されてもよい。一例として、第１のメッセージは、表示されている医療画像を削除するようにタブレットコンピューティング装置に命令することができ、第２のメッセージは、医療画像を表示するように滅菌野の外側のディスプレイに命令することができる。
３７４００において、選択されたデータは、第１のディスプレイと第２のディスプレイとの間で移動され得る。第１のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。第２のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイであり得る。選択されたディスプレイは、データを強調することができる一次フォーマット、データを強調しないことができる二次フォーマット、及びデータを強調又は強調しないことができる標準フォーマットとすることができるデータフォーマットを使用して表示することができる。
ユーザは、第１のディスプレイに表示されているデータを選択することができる。ユーザは、第１のディスプレイ上に表示されたデータが第２のディスプレイ上にも表示されることを要求することができる。データは、コンテキストデータであり得る。選択されたデータを表示するように第２のディスプレイに命令するために、メッセージが第２のディスプレイに送信され得る。選択されたデータは、第１のディスプレイ上に表示されてもよく、第２のディスプレイ上に表示されてもよい。一例では、選択されたデータは、データを強調しないために二次フォーマットを使用して第１のディスプレイ上に表示されてもよく、データを強調するために一次フォーマットを使用して第２のディスプレイ上に表示されてもよい。選択されたデータは、第１のディスプレイから削除され得、第２のディスプレイ上に表示され得る。
ユーザは、第２のディスプレイに表示されているデータを選択することができる。ユーザは、第２のディスプレイに表示されたデータが第１のディスプレイにも表示されることを要求することができる。データは、コンテキストデータであり得る。選択されたデータを表示するように第１のディスプレイに命令するために、メッセージが第１のディスプレイに送信され得る。選択されたデータは、第１のディスプレイ上に表示されてもよく、第２のディスプレイ上に表示されてもよい。一例では、選択されたデータは、データを強調しないために二次フォーマットを使用して第２のディスプレイ上に表示されてもよく、データを強調するために一次フォーマットを使用して第１のディスプレイ上に表示されてもよい。選択されたデータは、第２のディスプレイから削除することができ、一次ディスプレイに表示することができる。
３７５００において、ユーザは、医療器具の使用を開始することができる。外科用ハブは、医療器具の制御部がユーザによって作動されたことを判定することによって、ユーザが医療器具を使用していると判定することができる。外科用ハブは、医療器具からデータを受信してもよく、医療器具の使用を示すデータを１つ又は２つ以上のディスプレイに送信してもよい。
医療器具は、医療器具の制御部がユーザによって作動されたと判定することによって、ユーザが医療器具を使用していると判定し得る。医療器具は、使用に関するデータを、医療器具に属する二次ディスプレイに送信することができる。例えば、医療器具は、医療器具のディスプレイにデータを送信してもよい。
医療器具の使用は、別の医療器具によって検出され得る。外科作業の間、外科医は、第２の医療器具において第１の医療器具を使用することができる。第２の医療器具は、外科医が第１の医療器具を使用していることを検出することができる。例えば、第２の医療器具は、第１の医療器具が近くにあること及び／又は使用中であることを検出するためにセンサを使用してもよい。別の例として、第２の医療器具は、第２の医療器具に状況を認識させ得るコンテキストデータを受信し得、状況を認識した第２の医療器具は、第１の医療器具が使用され得ることを認識し得る。別の例として、第２の医療器具は、カメラを有し得、第１の医療器具の画像を決定し得、第１の医療器具が外科医によって使用され得ると判定し得る。別の例として、第２の医療器具は、第１の医療器具が使用され得ることを示すデータを外科用ハブから受信することができる。
医療器具の使用は、例えば、カメラを使用して、外科用ハブによって検出されてもよい。外科用ハブは、ＯＲ内に位置するカメラであり得る、カメラから１つ又は２つ以上の画像を受信することができる。外科用ハブは、１つ又は２つ以上の画像から、外科医が外科作業を実施していると判定することができる。手術ヘルプは、１つ又は２つ以上の画像から、医療器具が外科作業のために使用されていると判定することができる。例えば、外科用ハブは、外科医が医療器具を保持しており、約２つであり得るか、又は外科作業を実施している可能性があると判定してもよい。
医療器具の使用は、医療器具上のセンサを使用して、医療器具によって検出され得る。医療器具は、実施され得る外科作業を決定することができる。医療器具は、外科医によって保持されていることを検出し得る、運動センサなどのセンサを有してもよい。
医療器具の使用は、医療器具の制御を使用して医療器具によって検出することができる。医療器具は、外科作業が実行され得ると判定し得る。医療器具は、その制御部のうちの１つがユーザによって作動され得ることを検出し得る。例えば、医療器具は、外科医が制御装置を作動させたことを検出してもよく、一例として、医療器具は、ステープラであってもよく、外科医が制御装置を作動させたことを検出してもよく、ステープルを発射してもよい。別の例として、医療器具は、エンドカッタであってもよく、外科医が制御部を起動させたことを検出してもよく、切断を開始してもよい。医療器具は、医療器具が使用されていることを示すために、外科用ハブ及び／又は別の医療器具にデータを送信することができる。
３７６００において、二次ディスプレイは、ハイライトされた及び／又は目立つ形態でデータを表示し、他のデータはそれほど目立たない形態で表示され得る。例えば、データは、データを強調することができる一次フォーマット、データを強調しないことができる二次フォーマット、及びデータを強調又は強調しないことができる標準フォーマットとすることができるデータフォーマットを使用して表示してもよい。
医療器具の使用が検出されると、医療器具及び／又は外科用ハブは、１つ又は２つ以上のディスプレイに、医療器具の使用に基づいて表示されているデータを変更するように命令することができる。１つ又は２つ以上のディスプレイは、一次ディスプレイ及び／又は二次ディスプレイを含み得る。
一例では、医療器具の使用が検出されてもよく、医療器具の二次ディスプレイは、外科作業に関連し得るデータを表示するように再構成されるように命令されてもよい。二次ディスプレイは、ユーザによって選択され得るデータなどのデータを表示していてもよい。データは、外科作業に関連していても、関連していなくてもよい。表示されているデータは、医療器具が使用されているときにコンテキストデータによって置き換えられ得る。例えば、医療器具トレイは、医療器具が外科作業を実施するために外科医によって使用されているときに、表示されているデータをコンテキストデータで置き換えた。
一例では、医療器具の使用を検出することができ、一次ディスプレイからのデータを二次ディスプレイに移動させることができる。二次ディスプレイは、医療器具に属してもよい。二次ディスプレイは、外科作業を実施するために外科医によって使用され得る医療器具に属してもよい。一次ディスプレイ上に表示され得るデータが外科医に関連し得ることが判定され得る。データは、例えば、外科医にとってより有用であるように、一次ディスプレイよりも二次ディスプレイ上により良好に表示されるであろうことが判定されてもよい。一次ディスプレイからデータを削除するために、メッセージが一次ディスプレイに送信され得る。メッセージは、データを表示するように二次ディスプレイに命令するために、二次ディスプレイに送信され得る。
一例では、医療器具の使用を検出することができ、二次ディスプレイからのデータを一次ディスプレイに移動させることができる。一次ディスプレイは、滅菌野の外側にあり得る。二次ディスプレイは、外科作業を実施するために外科医によって使用され得る医療器具に属してもよい。二次ディスプレイは、滅菌野内にあり得る。二次ディスプレイ上に表示され得るデータが外科医に関連し得ることが判定され得る。データは、例えば、外科医にとってより有用であるように、二次ディスプレイよりも一次ディスプレイ上により良好に表示されるであろうことが判定されてもよい。メッセージは、二次ディスプレイからデータを削除するために二次ディスプレイに送信されてもよく、メッセージは、データを表示するよう一次ディスプレイに命令するために一次ディスプレイに送信されてもよい。一例では、医療器具の使用を検出することができ、二次ディスプレイからのデータを一次ディスプレイに鏡映することができる。
一例では、医療器具の使用を検出することができ、データをディスプレイ上で強調することができる。例えば、ディスプレイは、一次フォーマットを使用してデータを表示するように命令されてもよい。ディスプレイは、二次フォーマットを使用して他のデータを表示するように命令され得る。
一例では、医療器具の使用を検出することができ、一次ディスプレイ及び／又は二次ディスプレイなどのディスプレイ上でデータを共有することができ、外科医の視覚的焦点内にあるディスプレイがデータを示している可能性があると判定することができる。ディスプレイからデータを削除する代わりに、医療器具の使用に関する既存のデータ及び新しいデータが表示され得るように、ディスプレイを分割することが有用であり得ることが判定されてもよい。
滅菌野内から、又は二次ディスプレイを通して、選択可能な手術室ディスプレイのズーム及び／又は拡大の制御が提供されてもよい。医療器具に属し得る二次ディスプレイは、器具のステータスを示し得、アイコンを示し得る。アイコンは、一次ディスプレイ、二次ディスプレイであり得る、１つ又は２つ以上のディスプレイにリンクされ得る。アイコンは、ユーザが別のディスプレイに接続することを可能にし得る。例えば、ユーザがアイコンにタッチすると、ユーザは、他のディスプレイに接続することが可能であってもよく、他のディスプレイに属する更なる制御を操作することが可能であってもよい。別の例として、ユーザがアイコンにタッチするとき、ユーザは、他のディスプレイに１つ又は２つ以上のコマンドを発行することが可能であり得る。
ユーザは、どのディスプレイを制御したいかを示すことができ、例えば、ユーザは、どのディスプレイをズームインしたいかを示すことができる。これは、例えば、二次ディスプレイを使用して行われてもよい。二次ディスプレイは、滅菌野内にあり得る。ユーザは、二次ディスプレイを使用して、滅菌野の外側（例えば、非滅菌野内）にあってもよく、一次及び／又は二次ディスプレイであり得る、別のディスプレイ上に表示されているデータにズームインしてもよい。
ユーザは、ハイライトしたいディスプレイ上の焦点を示すことができる。例えば、ユーザは、二次ディスプレイを使用して、ハイライトしたい一次及び／又は二次ディスプレイなどの別のディスプレイの焦点を示してもよい。別の例として、ユーザは、二次ディスプレイを使用して、一次ディスプレイ上に表示されているデータがハイライトされる、優先される、ズームインされる、ズームアウトされる、及び／又は同等物が行われるべきであることを示してもよい。別の例として、ユーザは、二次ディスプレイを使用して、視覚効果が、一次及び／又は二次ディスプレイであり得る別のディスプレイ上の焦点に適用され得ることを示してもよい。
指の運動の追跡は、二次ディスプレイを使用して実行されてもよく、ハイライトされた部分のサイズをハイライト又はズームするために使用されてもよい。例えば、指の運動のジェスチャなど、ユーザからの１つ又は２つ以上のジェスチャを使用して、二次ディスプレイ上に表示されているデータ及び／又は一次ディスプレイ上に表示されているデータを操作してもよい。ユーザからのジェスチャは、視覚効果が、滅菌野の外側にあり得る、一次ディスプレイの一部に適用され得ることを示し得、ユーザからのジェスチャは、二次ディスプレイから判定され得、ジェスチャは、視覚効果が一次ディスプレイの一部に適用され得ることを示し得る。視覚効果は、表示効果と称されることもある。
ユーザがハイライトされた領域にもはや関心がないときを決定するために、指の運動の追跡又はジェスチャの追跡が使用され得る。ユーザがハイライトされた領域にもはや関心がない場合、ディスプレイは通常モードに戻ることができる。例えば、ユーザがハイライトされた領域にもはや関心がない場合、医療器具に属し得る二次ディスプレイは、医療器具のステータスを反映するデータを表示してもよい。ユーザがハイライトされた領域にもはや関心がないときを決定することは、ジェスチャを決定すること、指の運動を決定すること、タイマーが満了したと判定すること、医療器具が起動されたと判定すること、医療器具アクチュエータが操作されたと判定すること、医療器具が使用されたと判定すること、医療器具が使用され得ると判定すること、ユーザの視覚的焦点がハイライトされた領域にもはや向けられていないと判定することなどを含み得る。
ユーザは、元のサイズなどのサイズに戻るようにディスプレイに命令することができる。ディスプレイは、医療器具に属し得る二次ディスプレイであり得る。ユーザがディスプレイにサイズに戻るように命令すると、ディスプレイは通常モードに戻ることができる。例えば、ユーザがディスプレイにサイズに戻るように命令すると、ディスプレイは、医療器具のステータスを反映するデータを表示してもよい。
滅菌コントローラは、滅菌野内に常駐してもよく、滅菌野内の１人又は２人以上のユーザによって操作され得る、二次ディスプレイであり得る、タッチスクリーンを有してもよい。この滅菌コントローラは、外科用ハブ、１つ又は２つ以上の医療器具、１つ又は２つ以上の一次スクリーン、及び１つ又は２つ以上の二次スクリーンと通信することができる。コントローラは、手術室内の非滅菌ディスプレイを制御するために使用され得る。例えば、ｉＰａｄのように、アイコンは、医療器具及び／又はディスプレイにアクセスするために使用されてもよい。例えば、非滅菌野内の一次ディスプレイへの情報の制御及びフローは、滅菌野内から駆動されてもよい。画像のズームイン、トピックの選択、特定の事象の記録のマーキングなどの操作は、このインターフェースから制御することができる。ＯＲの外部の人々との通信もまた、コントローラによって制御されてもよい。手術室の外部からの通信は、コントローラによって制御され得る。滅菌野内の人々への通信は、コントローラによって制御され得る。
滅菌野内の装置からの滅菌野の外側のディスプレイの表示態様の制御が提供され得る。ディスプレイを有する医療器具は、外科用ハブ、一次ディスプレイ、及び／又は二次ディスプレイと通信することができ、ユーザが器具ディスプレイの一部をズームインすることを可能にし得る。例えば、ユーザは、結合された指の運動でズームするように器具に指示してもよい。別の例として、ユーザは、表示されるデータの一部を選択することができる。指ジェスチャは、二次ディスプレイであり得る、医療器具ディスプレイではなく、一次ディスプレイ上にデータが表示されることを可能にするために使用され得る。ジェスチャコマンドはまた、医療器具表示をその多要素データディスプレイに戻す方法をユーザに提供する。ジェスチャはまた、ユーザに対して器具ディスプレイを回転させるために使用され得る。
滅菌野の外側のディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。滅菌野内に位置する第１のディスプレイに、第１のコンテキストデータを表示するように命令する第１のメッセージが送信され得る。ユーザジェスチャは、第１のディスプレイに関連付けられた装置から決定され得る。ユーザジェスチャは、第２のコンテキストデータが滅菌野の外側の第２のディスプレイ上に表示されることを示し得る。第２のコンテキストデータを示すように第２のディスプレイに命令する第２のメッセージが送信され得る。
一例では、第２のコンテキストデータに適用される視覚効果は、ユーザジェスチャに基づいて決定され得る。第２のメッセージは、視覚効果を第２のコンテキストデータに適用するように第２のディスプレイに命令する（例えば、更に命令する）ことができる。視覚効果は、第２のコンテキストデータに適用されるハイライト効果、第２のコンテキストデータに適用されるズームイン効果、及び第２のコンテキストデータに適用されるズームアウト効果のうちの１つ又は２つ以上であり得る。
一例では、焦点表示が決定され得る。焦点は、ユーザによって見られている第２のディスプレイ上の焦点であり得る。
一例では、ユーザの視覚的焦点が決定され得る。第２のディスプレイがユーザの視覚的焦点内にあることを表示することができる。ユーザの視覚的焦点は、ウェアラブルデバイスデータ、ユーザに関連付けられたセンサデータ、手術室内のカメラからの画像、及び手術室内のカメラからのビデオのうちの１つ又は２つ以上を使用して決定されてもよい。
一例では、第２のメッセージは、焦点における視覚効果を使用して第２のコンテキストデータを示すように第２のディスプレイに更に命令することができる。ユーザジェスチャは、第１のユーザジェスチャであり得る。第２のユーザジェスチャが決定され得る。第２のユーザジェスチャは、第２のコンテキストデータが視覚効果なしに第２のディスプレイ上に表示されるべきであることを示し得る。第３のメッセージが送信され得る。第３のメッセージは、視覚効果なしに第２のコンテキストデータを示すように第２のディスプレイに命令し得る。
一例では、第２のユーザジェスチャが決定され得る。第２のユーザジェスチャは、第２のコンテキストデータが第２のディスプレイから削除されることを示し得る。第３のメッセージが送信され得る。第３のメッセージは、第２のコンテキストデータを表示することを停止するように第２のディスプレイに命令し得る。
一例では、第２のユーザジェスチャが決定され得る。第２のユーザジェスチャは、第２のディスプレイ上の第２のコンテキストデータが回転されるべきであることを示し得る。第３のメッセージが送信され得る。第３のメッセージは、第２のコンテキストデータを回転させるように第２のディスプレイに命令し得る。
一例では、第１のディスプレイは、二次ディスプレイであり得る。第２のディスプレイは、一次ディスプレイであり得る。
外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザジェスチャが決定され得る。ユーザジェスチャは、滅菌野の外側にあるディスプレイ上の焦点に適用される視覚効果を示し得る。焦点が決定され得る。例えば、ディスプレイ上の焦点は、ユーザが見ている、又は焦点を合わせているディスプレイ上の場所であってもよい。ディスプレイ上の焦点は、ディスプレイ上に表示され得るコンテキストデータに関連付けられてもよい。第２のメッセージが送信され得る。滅菌野の外側にあるディスプレイ上の焦点においてコンテキストデータに視覚効果を適用するようにディスプレイに命令し得る第２のメッセージが、ディスプレイに送信され得る。
一例では、視覚効果は、コンテキストデータに適用されるハイライト効果、コンテキストデータに適用されるズームイン効果、及びコンテキストデータに適用されるズームアウト効果のうちの１つ又は２つ以上を示すことができる。
一例では、ディスプレイ上の焦点が決定され得る。焦点は、滅菌野の外側にあるディスプレイ上にあり得る。
一例では、ユーザジェスチャは、カメラによって検出されるジェスチャ、運動センサによって検出されるジェスチャ、タッチスクリーンによって検出されるジェスチャ、マイクロフォンによって検出されるジェスチャ（例えば、音声コマンド）などであり得る。ユーザジェスチャは、ピンチズームインジェスチャ（例えば、ピンチオープンジェスチャ）であってもよく、視覚効果は、ズームイン効果であってもよい。ユーザジェスチャは、ピンチズームアウトジェスチャ（例えば、ピンチクローズジェスチャ）であってもよく、視覚効果は、ズームアウト効果であってもよい。
滅菌野の外側のディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。ユーザジェスチャが提供され得る。ユーザジェスチャは、滅菌野の外側にあるディスプレイ上の焦点に視覚効果が適用されるべきであることを示し得る。ディスプレイ上の焦点が決定され得る。ディスプレイ上の焦点は、第１の表示データに関連付けられてもよく、コンテキストデータに基づいて決定されてもよい。第１の表示データに視覚効果を適用することによって、第２の表示データが生成され得る。第２のメッセージが送信され得る。第２のメッセージは、第２の表示データを表示するようにディスプレイに命令することができる。
一例では、視覚効果は、第２の表示データに適用されるハイライト効果、第２の表示データに適用されるズームイン効果、及び第２の表示データに適用されるズームアウト効果のうちの１つ又は２つ以上であり得る。
一例では、ユーザの視覚的焦点が決定され得る。焦点がユーザの視覚的焦点内にあることが判定され得る。
一例では、第１の表示データは画像又はビデオであってもよく、ユーザジェスチャはピンチズームインジェスチャであってもよい。第２の表示データは、視覚効果がズームイン効果であると判定し、画像又はビデオをズームインすることによって第２の表示データを生成することによって、視覚効果を第１の表示データに適用することによって生成され得る。
一例では、第１の表示データは画像又はビデオであってよく、ユーザジェスチャはピンチズームアウトジェスチャであってよい。第２の表示データは、視覚効果がズームアウト効果であると判定し、画像又はビデオをズームアウトすることによって第２の表示データを生成することによって、視覚効果を第１の表示データに適用することによって生成され得る。
一例では、第１の表示データは画像又はビデオであってよく、ユーザジェスチャは回転ジェスチャであってよい。第２の表示データは、視覚効果が回転効果であると判定し、画像又はビデオを回転させることによって第２の表示データを生成することによって、第１の表示データに視覚効果を適用することによって生成され得る。
図７４は、滅菌野の外側にあり得るディスプレイを制御するためのプロセスの論理フロー図である。手術中に、滅菌領域と非滅菌領域とを区別するために、患者の周囲に人工的なバリアを形成することができる。これは、例えば、患者を感染から保護するために行うことができる。手術の準備において、医療提供者は、手術中に患者に感染する可能性がある患者の外側の細菌を排除及び／又は最小化するために、患者を洗浄する（例えば、患者をスクラブ洗浄する）ことができる。次いで、患者を滅菌野内に配置することができる。滅菌野内の医療器具も滅菌されていてもよく、滅菌されていない物品は、滅菌野から除外されてもよい。
外科医又は看護師は、滅菌野に入る前にスクラブ洗浄することできる。滅菌野内の外科医又は看護師は、滅菌野の外側にあり得る医療介護提供者とは異なるレベルでスクラブ洗浄することができる。滅菌野に進入し得る医療器具は、滅菌野内になくてもよいが、手術室内にあり得る医療器具と異なるレベルで洗浄されてもよい。
滅菌野内の外科医は、非滅菌物体又は物品と接触することを回避し得る。例えば、外科医は、非滅菌野内の人と接触することができない場合がある。別の例として、外科医が非滅菌野内外で人と接触した場合、外科医は、非滅菌野内の医療器具及び／又はディスプレイと接触することができない場合がある。外科医は、非滅菌野内の人又は非滅菌野からの人と接触すると、滅菌野を離れて、再スクラブ洗浄しなければならない場合がある。外科医が非滅菌野内の医療器具及び／又はディスプレイと接触する場合、外科医は、滅菌野を離れて、再スクラブ洗浄しなければならない場合がある。例えば、外科医がディスプレイを制御するために非滅菌野内のディスプレイに触れた場合、外科医は滅菌状態に違反し、再スクラブ洗浄しなければならない。滅菌野の外側にあり得る１つ又は２つ以上のディスプレイを制御する能力を、滅菌野の外科医に提供することが望ましい場合がある。
３８０００では、医療器具に属するディスプレイであってもよく、滅菌野内にあってもよい、二次ディスプレイが、コンテキストデータを示してもよい。コンテキストデータは、器具ステータスを含んでもよく、二次ディスプレイは、器具ステータスを示してもよい。コンテキストデータは、実施され得る外科作業に関連し得る。
ユーザは、滅菌野の外側にあり得る一次ディスプレイにコンテキストデータを送信することを望む場合がある。これは、例えば、二次ディスプレイより大きくてもよいディスプレイ上にデータを表示するために行われてもよい。
３８１００において、ユーザは、滅菌野内の二次ディスプレイ上に表示されているデータが、滅菌野の外側のディスプレイ上に表示され得ることを示し得る。ディスプレイは、一次ディスプレイ又は別の二次ディスプレイであり得る。データは、コンテキストデータであり得る。ユーザは、二次ディスプレイと対話してデータを選択することができる。例えば、ユーザは、二次ディスプレイにタッチして、ユーザが一次ディスプレイに送信したいデータを選択してもよい。これは、二次ディスプレイが、滅菌を侵害することなく滅菌野内で許可されるため、滅菌野内で可能であり得る。
ユーザが、二次ディスプレイ上のデータが一次ディスプレイ上で変位され得ることを示すとき、二次ディスプレイ又は二次ディスプレイに関連付けられた装置は、メッセージを外科用ハブに送信することができる。装置及び／又は二次ディスプレイは、タブレットコンピューティング装置、医療器具などであり得る。メッセージは、ユーザが別のディスプレイ上に表示されるべきデータを選択したことを示し得る。メッセージは、選択されたデータを表示するために使用されるディスプレイの識別情報を示し得る。
一態様では、外科用ハブは、滅菌野内の二次ディスプレイ上に表示されているデータが、滅菌野の外側のディスプレイ上に表示され得ることを示し得るコマンドを受信し得る。例えば、外科用ハブは、ＯＲ内のカメラを使用して手のジェスチャを検出し、データが一次ディスプレイに送信されるべきであると判定してもよい。別の例では、外科用ハブは、音声コマンドを検出し、データが一次ディスプレイに送信されるべきであると判定してもよい。
一態様では、医療器具は、滅菌野内の二次ディスプレイ上に表示されたデータが滅菌野の外側のディスプレイ上に表示され得ることをユーザが示していると判定することができる。例えば、医療器具は、二次ディスプレイ医療ディスプレイを含んでもよい。医療器具は、一次ディスプレイにデータを送信するために、ユーザからコマンド／又はジェスチャを受信し得る。医療器具は、選択されたデータが一次ディスプレイ上に表示されるべきであることを示すために、メッセージを外科用ハブに送信してもよく、又はメッセージを一次ディスプレイに送信してもよい。
３８２００において、ユーザは、データを表示するため及び／又は視覚効果を適用するために、滅菌野の外側のディスプレイの焦点を示すことができる。ユーザは、滅菌野の外側にあるディスプレイ上の焦点に示されるデータを有することを望む場合がある。ユーザは、滅菌野の外側のディスプレイの焦点を示すために、コマンドを発行し、二次ディスプレイにタッチし、又はジェスチャを行うことができる。例えば、ユーザは、二次スクリーンにタッチし、データが滅菌野の外側のディスプレイの焦点に表示されるべきであることを示してもよい。別の例として、ユーザは、ディスプレイを見てもよく、外科用ハブは、カメラを使用して、ユーザがデータをディスプレイ上の焦点に表示させることを所望すると判定してもよい。
ディスプレイの焦点は、ユーザが関心を持つ可能性がある一次ディスプレイの位置であり得る。例えば、第１のディスプレイ上の焦点は、一次ディスプレイ上に表示されているデータに相関してもよく、二次ディスプレイ上のデータに相関してもよい。ユーザは、二次ディスプレイを使用して、例えば、視覚効果をデータに適用することによって、一次ディスプレイ上の焦点におけるデータを操作してもよい。
３８２００において、ユーザは、視覚効果が滅菌野の外側のディスプレイの焦点に適用され得ることを示し得る。一次ディスプレイ上の視聴データは、二次ディスプレイを使用して、一次ディスプレイの焦点における視覚効果が適用され得ることを示し得る。例えば、外科医は、視覚効果が一次ディスプレイの焦点に適用され得ることを示すために、二次ディスプレイを使用してもよい。
二次ディスプレイは、一次ディスプレイ上に表示されている画像を鏡映し得る。二次ディスプレイは、外科医が、一次ディスプレイ上に表示されている画像を操作するために１つ又は２つ以上のジェスチャを使用することを可能にし得る。二次ディスプレイは、視覚効果が適用され得る焦点を外科医が示すことを可能にし得る。例えば、外科医は、二次ディスプレイを使用して、一次ディスプレイ上の画像を回転させてもよい。別の例として、外科医は、一次ディスプレイ上の画像がズームアウトされるように、ピンチジェスチャを使用して、一次ディスプレイ上に表示されている画像をズームアウトすることができる。別の例として、外科医は、一次ディスプレイ上の画像がズームインされるように、ピンチジェスチャを使用して、一次ディスプレイ上に表示されている画像をズームインすることができる。別の例として、外科医は、二次ディスプレイを使用して、一次ディスプレイに表示されている画像にオーバーレイされるべきデータを選択することができる。
３８３００では、視覚効果が、ユーザジェスチャから判定されてもよく、滅菌野の外側のディスプレイの焦点に適用されてもよい。ジェスチャ追跡は、焦点において画像に適用される視覚効果を決定するために使用され得る。ジェスチャ追跡は、ユーザによって行われたジェスチャを決定するために使用され得る。ジェスチャは、ユーザの運動、ユーザジェスチャ、音声コマンドなどであり得る。ジェスチャは、タッチスクリーンを使用して行われ得る。ジェスチャは、ＯＲ内のカメラなどのカメラからの１つ又は２つ以上の画像を使用して検出され得る。
ジェスチャは、ディスプレイの焦点に適用され得る視覚効果を決定するために使用され得る。例えば、ジェスチャは、ユーザが一次ディスプレイ上の焦点にある画像にズームインすることを望む可能性があると判定するために使用されてもよい。視覚効果は、ズームイン効果、ズームアウト効果、回転、ハイライト、データのオーバーレイなどであり得る。例えば、ジェスチャは、オーバーレイされた画像、強調画像などを生成するために１つ又は２つ以上の画像が組み合わせられ得ることを示してもよい。
ユーザは、一次ディスプレイの一部がズームイン及び／又はハイライトされ得ることを示し得る。手術中、外科医は、滅菌野にいる場合があり、非滅菌野にある場合がある一次ディスプレイに触れることができない場合がある。外科医は、一次ディスプレイを制御するために滅菌野にあり得る二次ディスプレイを使用した。一次ディスプレイは、画像を表示することができる。外科医は、視覚効果が、画像の一部に相関し得る、一次ディスプレイ上の焦点に適用されるべきであることを示し得る。例えば、外科医は、画像の一部がズームインされるべきであることを示すジェスチャを二次ディスプレイ上で行ってもよい。視覚効果は、ジェスチャから決定することができ、画像に適用することができる。
一例では、外科用ハブは、視覚効果が画像に適用され得ることを判定してもよく、視覚効果を伴う画像を表示するためのメッセージを一次ディスプレイに送信してもよい。一例では、外科用ハブは、視覚効果を画像に適用することによって強調画像を生成することができ、強調画像を一次ディスプレイに送信して画像を表示することができる。一例では、外科用ハブは、画像の一部に視覚効果を適用するようにディスプレイに命令することができる。
一例では、医療器具は、視覚効果が画像に適用され得ると判定することができ、視覚効果を有する画像を表示するためのメッセージを一次ディスプレイに送信することができる。一例では、医療器具は、視覚効果を画像に適用することによって強調画像を生成することができ、強調画像を一次ディスプレイに送信して画像を表示することができる。一例では、医療器具は、画像の一部に視覚効果を適用するようにディスプレイに命令することができる。
３８４００において、ユーザは、一次スクリーン上の画像に適用された視覚効果を用いて、画像などのデータを見ることができる。ユーザは、視覚効果が画像に適用されたままであり得ることを示すことができる。例えば、ユーザは、二次ディスプレイを使用して、画像が一次スクリーン上に表示されている間、画像に適用された視覚効果が画像に適用され続けるべきであることを外科用ハブに示してもよい。例えば、これは、ユーザが画像の領域にズームインすることを可能にし、画像がズームインされたままであることを可能にしてもよい。これは、外科用ハブからのコンテキストデータ及び／又は画像提案が、ユーザ選択によってオーバーライドされることを可能にし得る。別の例として、外科医は、二次ディスプレイを使用して、２つの画像を相互にオーバーレイしてもよく、オーバーレイされた画像をそのままにすることを要求してもよい。
３８５００において、ユーザは、一次スクリーン上に適用された視覚効果を用いて、画像などのデータを見ることができる。ユーザは、視覚効果がデータから削除されるべきであることを示し得る。例えば、ユーザは、二次ディスプレイを使用して、画像に適用された視覚効果が削除されるべきであることを外科用ハブに示してもよい。外科用ハブは、画像を通常サイズに戻し得る、及び／又は視覚効果なしに画像を表示し得る、メッセージを一次ディスプレイに送信することができる。
３８６００において、一次ディスプレイは、コンテキストデータの表示に戻ることができる。コンテキストデータは、医療器具からのデータ、医療器具からのステータスなどを含み得る。一次ディスプレイは、ユーザが医療器具を使用していると判定された場合、コンテキストデータを表示するように命令され得る。例えば、ユーザは、医療画像を見ていてもよく、医療画像にズームインしてもよく、外科用ステープラの使用を開始してもよく、一次ディスプレイは、医療画像を削除し、外科用画像に関連するコンテキストデータを表示するように命令されてもよい。
一態様では、一次ディスプレイは、ユーザ入力、所定の時間、時間閾値、タイマー、器具作動、及びユーザジェスチャのうちの１つ又は２つ以上に応答して、コンテキストデータを表示することに戻り得る。例えば、医療器具及び／又は外科用ハブは、タイマーを設定してもよく、タイマーの満了時に、医療器具及び／又は外科用ハブは、コンテキストデータを表示することに戻るように一次ディスプレイに命令してもよい。
実施形態の以下のリストは、説明の一部を形成する。
１．ディスプレイ上に表示されるデータを構成するための外科用ハブであって、外科用ハブが、
メモリと、
プロセッサと、を備え、プロセッサが、
医療処置中に医療器具を使用する外科作業を決定することと、
外科作業に基づいて、第１のデータを決定することと、
第２のデータに対する選好を示すユーザからのコマンドを決定することと、
第１のデータ及び第２のデータを含み、かつ第１のデータよりも第２のデータに優先度を提供する、表示データを決定することと、
ディスプレイが表示データを表示するための命令を含むメッセージを送信することと、を行うように構成されている、外科用ハブ。
２．コマンドは、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施形態１に記載の外科用ハブ。
３．メッセージが、ディスプレイに送信され、プロセッサが、第２のデータに対する選好を示すユーザからのコマンドに基づいて、表示ディスプレイを決定するように更に構成されている、実施形態１に記載の外科用ハブ。
４．プロセッサが、第１のデータの上に第２のデータを重ね合わせることと、第１のデータの少なくとも一部分を第２のデータの少なくとも一部分で置き換えることと、第１のデータ又は第２のデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、第１のデータ及び第２のデータを含み、かつ第１のデータよりも第２のデータに優先度を提供する、表示データを決定するように構成されている、実施形態１に記載の外科用ハブ。
５．プロセッサが、表示されるときに第２のデータが第１のデータよりも顕著であることを確実にすることによって、第１のデータ及び第２のデータを含み、かつ第１のデータよりも第２のデータに優先度を提供する、表示データを決定するように構成されている、実施形態１に記載の外科用ハブ。
６．メッセージが、表示データを表示するときに第１のデータよりも高い優先度を伴って第２のデータを表示するための命令を更に含む、実施形態１に記載の外科用ハブ。
７．メッセージが、表示データを表示するときに第２のデータを強調する命令、表示データを表示するときに第２のデータをハイライトする命令、表示データを表示するときに第１のデータの第１のフォントサイズを縮小させる命令、表示データを表示するときに第２のデータの第２のフォントサイズを拡大させる命令、表示データを表示するときに色を使用して第２のデータを表示する命令、データを表示するときに第１のデータを半透明に表示する命令、表示データを表示するときにディスプレイの目立つ場所に第２のデータを表示する命令、ディスプレイの第２の場所よりも目立たないディスプレイの第１の場所に第１のデータを表示する命令のうちの１つ又は２つ以上を更に含む、実施形態１に記載の外科用ハブ。
８．ディスプレイ上に表示されるデータを構成するための外科用ハブであって、外科用ハブが、
メモリと、
プロセッサと、を備え、プロセッサが、
医療処置中に医療器具を使用する外科作業を決定することと、
第１のディスプレイ上に表示される第１のコンテキストデータを決定することと、
第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、を行うように構成されている、外科用ハブ。
９．プロセッサが、
第１のコンテキストデータを表示するように第１のディスプレイに命令する第１のメッセージを送信することと、
第２のコンテキストデータを表示するように第２のディスプレイに命令する第２のメッセージを送信することと、を行うように更に構成されている、実施形態８に記載の外科用ハブ。
１０．コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施形態８に記載の外科用ハブ。
１１．プロセッサが、
コマンドから第２のディスプレイを決定することと、
第２のコンテキストデータが第１のディスプレイ上に表示されていると判定することと、
第１のディスプレイから第２のコンテキストデータを削除するように、第１のメッセージを第１のディスプレイに送信することと、
第２のコンテキストデータを表示するように、第２のディスプレイに第２のメッセージを送信することと、を行うように更に構成されている、実施形態８に記載の外科用ハブ。
１２．プロセッサが、
ユーザの視覚的焦点を決定することと、
第２のディスプレイがユーザの視覚的焦点内にあると判定することと、
第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージを送信することと、を行うように更に構成されている、実施形態８に記載の外科用ハブ。
１３．プロセッサが、ウェアラブルデバイスデータ、ユーザと関連付けられたセンサデータ、手術室内のカメラからの画像、及び手術室内のカメラからのビデオのうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点を決定するように構成されている、実施形態１２に記載の外科用ハブ。
１４．プロセッサが、
カメラから画像又はビデオを受信することと、
画像又はビデオから幾何学的三次元データを生成することと、
幾何学的三次元データを使用して、ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を決定することと、
ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点を決定することと、を行うように更に構成されている、実施形態１２に記載の外科用ハブ。
１５．プロセッサが、第２のディスプレイが第２のユーザと関連付けられた第３のコンテキストデータを表示していると判定するように更に構成されており、プロセッサが、第３のコンテキストデータを削除し、第２のコンテキストデータを表示するように、第２のディスプレイに命令するメッセージを送信するように更に構成されている、実施形態８に記載の外科用ハブ。
１６．ディスプレイ上に表示されるデータを構成するために医療器具によって実行される方法であって、方法が、
医療器具によって、医療処置中に医療器具を使用する外科作業を決定することと、
医療器具によって、外科作業に基づいて第１のコンテキストデータを決定することと、
医療器具によって、第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、
医療器具によって、第１のコンテキストデータ及び第２のコンテキストデータを含み、かつ第１のコンテキストデータよりも第２のコンテキストデータに優先度を提供する、表示データを決定することと、
医療器具によって、ディスプレイが表示データを表示するための命令を含むメッセージを送信することと、を含む、方法。
１７．コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施形態１６に記載の方法。
１８．メッセージが、ディスプレイに送信され、方法が、第２のコンテキストデータに対する選好を示すユーザからのコマンドに基づいて、ディスプレイを決定することを更に含む、実施形態１６に記載の方法。
１９．第１のコンテキストデータの上に第２のコンテキストデータを重ね合わせることと、第１のコンテキストデータの少なくとも一部分を第２のコンテキストデータの少なくとも一部分で置き換えることと、第１のコンテキストデータ又は第２のコンテキストデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、第１のコンテキストデータ及び第２のコンテキストデータを含み、かつ第１のコンテキストデータよりも第２のコンテキストデータに優先度を提供する、表示データを決定する、実施形態１６に記載の方法。
２０．メッセージが、表示データを表示するときに第１のコンテキストデータよりも高い優先度を伴って第２のコンテキストデータを表示するための命令を更に含む、実施形態１６に記載の方法。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、医療器具、及び手術室内の位置を決定することができる。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、医療器具、及び手術室内の位置に基づいて決定され得る。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し得る表示命令が、ディスプレイに送信され得る。ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザ、医療器具、及び手術室内の位置が決定され得る。医療器具に関連するコンテキストデータ（例えば、コンテキスト情報）は、第１のユーザ、医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、医療器具が、その場所の閾値距離内で、又はその場所の閾値距離において、第２のユーザから第１のユーザに移動されていることを判定することができる。外科用ハブは、その位置が患者の近くであると判定することができる。外科用ハブは、第１のユーザが医療器具を制御していること、及び医療器具が外科処置のタスクを実行するために使用されることを示すように表示命令を設定してもよい。医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令し得る表示命令が、ディスプレイに送信され得る。一次ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブは、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、第１の医療器具、及び手術室内の位置が決定され得る。第１の医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、第１の医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、第１の医療器具、第２の医療器具、及びユーザがその位置の閾値距離内にあると判定することができる。外科用ハブは、ユーザが第２の医療器具を第１の医療器具と交換していると判定することができる。外科用ハブは、第２の医療器具が第１の医療器具と交換されていることを示すように表示命令を設定することができる。一例では、医療器具と関連付けられたコンテキストデータ（例えば、コンテキスト情報）に従って構成されるようにディスプレイに命令することができる表示命令をディスプレイに送信することができる。ディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブは、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザ、第１の医療器具、及び手術室内の位置が決定され得る。第１の医療器具に関連付けられた第１のコンテキストデータ（例えば、コンテキスト情報）は、ユーザ、第１の医療器具、及び手術室内の位置に基づいて決定され得る。外科用ハブは、第１の医療器具、第２の医療器具、及びユーザがその位置の閾値距離内にあると判定することができる。外科用ハブは、ユーザが第２の医療器具を第１の医療器具と交換していると判定することができる。外科用ハブは、ユーザ、第２の医療器具、及び手術室内の位置に基づいて、第２の医療器具に関連付けられた第２のコンテキストデータ（例えば、コンテキスト情報）を判定することができる。外科用ハブは、第２の医療器具が第１の医療器具と交換されていることを示すように第１の表示命令を設定することができる。器具データ又は第１の医療器具を使用するための命令を表示することによって、第１の医療器具に関連付けられた第１のコンテキストデータ（例えば、コンテキスト情報）に従って構成されるように第１のディスプレイに命令し得る表示命令が、第１のディスプレイに送信され得る。外科用ハブは、第２のディスプレイをオフにするか、又は第２の医療器具のリロード命令、第２の医療器具の洗浄命令、若しくは第２の医療器具の器具命令のうちの１つ若しくは２つ以上を表示することによって、第２のコンテキストデータ（例えば、コンテキスト情報）に従って構成されるように第２のディスプレイに命令する第２の表示命令を第２のディスプレイに送信する。第１のディスプレイ及び第２のディスプレイは、一次ディスプレイ又は二次ディスプレイであり得る。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置が決定され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、第１の外科作業及びコンテキストデータに基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。メッセージは、第１のメッセージであってもよく、第２のメッセージは、第２の外科作業に従って構成されるように医療器具に命令するために、医療器具に送信されてもよい。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。器具データは、医療器具から受信されてもよく、第１の外科作業に関連付けられてもよい。医療器具を使用する第２の外科作業は、第１の外科作業、器具データ、及び外科処置に基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。外科処置中に医療器具を使用する第１の外科作業は、コンテキストデータに基づいて決定され得る。器具データは、医療器具から受信されてもよく、第１の外科作業に関連付けられてもよい。エラーは、コンテキストデータを使用して医療器具からの器具データを分析することによって決定され得る。医療器具を使用する第２の外科作業は、第１の外科作業、器具データ、及び外科処置に基づいて決定することができる。第２の外科作業に関連付けられた表示データを優先するようにディスプレイに命令することができるメッセージを送信することができる。表示データは、エラーを示すことができる。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する第１の外科作業が決定され得る。外科処置中に発生したエラーは、コンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、エラー、コンテキストデータ、及び外科処置に基づいて決定され得る。エラーの指示を表示するように第１のディスプレイに命令し得る第１のメッセージが送信され得る。第２の外科作業に関連するデータを表示するように第２のディスプレイに命令することができる第２のメッセージを送信することができる。第１のディスプレイは、一次ディスプレイであってもよく、第２のディスプレイは、医療器具に関連付けられた二次ディスプレイであってもよい。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。医療器具は、ディスプレイ及びメモリを備え得る。コンテキストデータが決定され得る。外科処置が決定され得る。外科処置中に医療器具を使用する外科作業は、コンテキストデータに基づいて決定され得る。表示データが決定され得る。表示データは、外科作業に関連付けられてもよく、医療器具を使用する外科作業を実施し得るユーザに関連してもよい。メッセージが送信され得る。メッセージは、外科作業に関連する表示データを優先するようにディスプレイに命令することができる。
状況認識を使用してディスプレイ上のデータを優先順位付けするための外科用ハブ及び／又は医療器具が提供され得る。医療器具は、ディスプレイ及びメモリを備え得る。第１のコンテキストデータが決定され得る。外科処置が決定され得る。外科処置中に医療器具を使用する外科作業は、コンテキストデータに基づいて決定され得る。第１の表示データが決定され得る。第１の表示データは、外科作業に関連付けられてもよく、医療器具を使用する外科作業を実施し得るユーザに関連してもよい。第１のメッセージが送信され得る。第１のメッセージは、外科作業に関連付けられた第１の表示データを優先するようにディスプレイに命令することができる。外科処置中に発生した可能性があるエラーは、第２のコンテキストデータに基づいて決定され得る。医療器具を使用する第２の外科作業は、エラーに基づいて決定され得る。第２の表示データが決定され得る。第２の表示データは、第２の外科作業に関連付けられてもよく、医療器具を使用する第２の外科作業を実施するユーザに関連してもよい。第２のメッセージが送信され得る。第２のメッセージは、第１の表示データよりも第２の表示データを再度優先するようにディスプレイに命令することができる。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザの視覚的焦点内にあるディスプレイが決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいてユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザの視覚的焦点内にあるディスプレイが決定され得る。画像又はビデオは、カメラから受信され得る。幾何学的三次元データセットは、画像又はビデオから生成され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上は、幾何学的三次元データセットを使用して決定され得る。ユーザの視覚的焦点は、ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいてユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザの視覚的焦点内にあるディスプレイが決定され得る。外科処置中に医療器具を使用する外科作業が決定され得る。表示データが決定され得る。表示データは、コンテキストデータ及び外科作業に基づいて第１のユーザに関連してもよい。表示データを表示するようにディスプレイに命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ディスプレイが第１のユーザの第１の焦点及び第２のユーザの第２の焦点内にあり得ることが判定され得る。ディスプレイのための表示データは、第１のユーザのための第１の外科作業及び第２のユーザのための第２の外科作業に基づいて決定され得る。ディスプレイに表示データを表示するように命令するメッセージが送信され得る。
ユーザの視覚的焦点に基づいてディスプレイ上に情報を表示するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。第１のユーザの第１の焦点及び第２のユーザの第２の焦点内にあり得る第１のディスプレイ及び第２のディスプレイが決定され得る。第１のユーザに関連付けられた第１の外科作業は、第２のユーザに関連付けられた第２の外科作業よりも高い優先度を有すると判定され得る。第１のコンテキストデータは、第１の外科作業に基づいて決定されてもよく、第２のコンテキストデータは、第２の外科作業に基づいて決定されてもよい。第１のコンテキストデータを表示するように第１のディスプレイに命令する第１のメッセージが送信されてよく、第２のコンテキストデータを表示するように第２のディスプレイに命令する第２のメッセージが送信されてよい。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。画像又はビデオは、カメラから受信され得る。幾何学的三次元データは、画像又はビデオから生成され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上は、幾何学的三次元データを使用して決定され得る。ユーザの頭部配向及びユーザの視線のうちの１つ又は２つ以上を使用することによって、ユーザの視覚的焦点が決定され得る。第２のディスプレイは、視覚的焦点を使用して決定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。第２のディスプレイが第２のユーザに関連付けられた第３のコンテキストデータを表示していると判定され得る。メッセージは、第２のディスプレイに、第３のコンテキストデータを削除し、第２のコンテキストデータを表示するように命令することができる。
滅菌野の外側のディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。滅菌野内に位置する第１のディスプレイに、第１のコンテキストデータを表示するように命令する第１のメッセージが送信され得る。ユーザジェスチャは、第１のディスプレイに関連付けられた装置から決定され得る。ユーザジェスチャは、第２のコンテキストデータが滅菌野の外側の第２のディスプレイ上に表示されることを示し得る。第２のコンテキストデータを示すように第２のディスプレイに命令する第２のメッセージが送信され得る。
外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。プロセッサは、いくつかのアクションを実行するように構成され得る。ユーザジェスチャが決定され得る。ユーザジェスチャは、滅菌野の外側にあるディスプレイ上の焦点に適用される視覚効果を示し得る。焦点が決定され得る。例えば、ディスプレイ上の焦点は、ユーザが見ている、又は焦点を合わせているディスプレイ上の場所であってもよい。ディスプレイ上の焦点は、ディスプレイ上に表示され得るコンテキストデータに関連付けられてもよい。第２のメッセージが送信され得る。滅菌野の外側にあるディスプレイ上の焦点においてコンテキストデータに視覚効果を適用するようにディスプレイに命令し得る第２のメッセージが、ディスプレイに送信され得る。
滅菌野の外側のディスプレイを制御するための外科用ハブ及び／又は医療器具が提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。ユーザジェスチャが提供され得る。ユーザジェスチャは、滅菌野の外側にあるディスプレイ上の焦点に視覚効果が適用されるべきであることを示し得る。ディスプレイ上の焦点が決定され得る。ディスプレイ上の焦点は、第１の表示データに関連付けられてもよく、コンテキストデータに基づいて決定されてもよい。第１の表示データに視覚効果を適用することによって、第２の表示データが生成され得る。第２のメッセージが送信され得る。第２のメッセージは、第２の表示データを表示するようにディスプレイに命令することができる。
外科用ハブ及び／又は医療器具は、ディスプレイ上に表示されるデータを構成するために提供され得る。外科用ハブ及び／又は医療器具は、メモリ及びプロセッサを備え得る。外科処置中に医療器具を使用する外科作業が決定され得る。第１のディスプレイ上に表示される第１のコンテキストデータが決定され得る。ユーザからのコマンドが決定され得る。コマンドは、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である。コマンドは、第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示し得る。ユーザの視覚的焦点が決定され得る。第２のディスプレイがユーザの視覚的焦点内にあることが判定され得る。第２のコンテキストデータを表示するように第２のディスプレイに命令するメッセージが送信され得る。
〔実施の態様〕
（１） ディスプレイ上に表示されるデータを構成するための外科用ハブであって、前記外科用ハブが、
プロセッサを備え、前記プロセッサが、
医療処置中に医療器具を使用する外科作業を決定することと、
前記外科作業に基づいて、第１のデータを決定することと、
第２のデータに対する選好を示すユーザからのコマンドを決定することと、
前記第１のデータ及び前記第２のデータを含み、かつ前記第１のデータよりも前記第２のデータに優先度を提供する、表示データを決定することと、
ディスプレイが前記表示データを表示するための命令を含むメッセージを送信することと、を行うように構成されている、外科用ハブ。
（２） 前記コマンドが、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施態様１に記載の外科用ハブ。
（３） 前記メッセージが、前記ディスプレイに送信され、前記プロセッサが、前記第２のデータに対する前記選好を示す前記ユーザからの前記コマンドに基づいて、前記表示データを決定するように更に構成されている、実施態様１又は２に記載の外科用ハブ。
（４） 前記プロセッサが、前記第１のデータの上に前記第２のデータを重ね合わせることと、第１のデータの少なくとも一部分を前記第２のデータの少なくとも一部分で置き換えることと、前記第１のデータ又は前記第２のデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、前記第１のデータ及び前記第２のデータを含み、かつ前記第１のデータよりも前記第２のデータに優先度を提供する、前記表示データを決定するように構成されている、実施態様１～３のいずれかに記載の外科用ハブ。
（５） 前記プロセッサが、表示されるときに前記第２のデータが前記第１のデータよりも顕著であることを確実にすることによって、前記第１のデータ及び前記第２のデータを含み、かつ前記第１のデータよりも前記第２のデータに優先度を提供する、前記表示データを決定するように構成されている、実施態様１～４のいずれかに記載の外科用ハブ。
（６） 前記メッセージが、前記表示データを表示するときに前記第１のデータよりも高い優先度を伴って前記第２のデータを表示する命令を更に含む、実施態様１～５のいずれかに記載の外科用ハブ。
（７） 前記メッセージが、前記表示データを表示するときに前記第２のデータを強調する命令、前記表示データを表示するときに前記第２のデータを強調表示する命令、前記表示データを表示するときに前記第１のデータの第１のフォントサイズを縮小させる命令、前記表示データを表示するときに前記第２のデータの第２のフォントサイズを拡大させる命令、前記表示データを表示するときに色を使用して前記第２のデータを表示する命令、前記データを表示するときに前記第１のデータを半透明に表示する命令、前記表示データを表示するときに前記ディスプレイの目立つ場所に前記第２のデータを表示する命令、前記ディスプレイの第２の場所よりも目立たない前記ディスプレイの第１の場所に前記第１のデータを表示する命令のうちの１つ又は２つ以上を更に含む、実施態様１～６のいずれかに記載の外科用ハブ。
（８） ディスプレイ上に表示されるデータを構成するための外科用ハブであって、前記外科用ハブが、
プロセッサを備え、前記プロセッサが、
医療処置中に医療器具を使用する外科作業を決定することと、
第１のディスプレイ上に表示される第１のコンテキストデータを決定することと、
第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、を行うように構成されている、外科用ハブ。
（９） 前記プロセッサが、
前記第１のコンテキストデータを表示するように前記第１のディスプレイに命令する第１のメッセージを送信することと、
前記第２のコンテキストデータを表示するように前記第２のディスプレイに命令する第２のメッセージを送信することと、を行うように更に構成されている、実施態様８に記載の外科用ハブ。
（１０） 前記コマンドが、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施態様８又は９に記載の外科用ハブ。
（１１） 前記プロセッサが、
前記コマンドから前記第２のディスプレイを決定することと、
前記第２のコンテキストデータが前記第１のディスプレイ上に表示されていると判定することと、
前記第１のディスプレイから前記第２のコンテキストデータを削除するように、前記第１のディスプレイに第１のメッセージを送信することと、
前記第２のコンテキストデータを表示するように、前記第２のディスプレイに第２のメッセージを送信することと、を行うように更に構成されている、実施態様８～１０のいずれかに記載の外科用ハブ。
（１２） 前記プロセッサが、
前記ユーザの視覚的焦点を決定することと、
前記第２のディスプレイが前記ユーザの前記視覚的焦点内にあると判定することと、
前記第２のコンテキストデータを表示するように前記第２のディスプレイに命令するメッセージを送信することと、を行うように更に構成されている、実施態様８～１１のいずれかに記載の外科用ハブ。
（１３） 前記プロセッサが、ウェアラブルデバイスデータ、前記ユーザと関連付けられたセンサデータ、手術室内のカメラからの画像、及び前記手術室内の前記カメラからのビデオのうちの１つ又は２つ以上を使用することによって、前記ユーザの前記視覚的焦点を決定するように構成されている、実施態様１２に記載の外科用ハブ。
（１４） 前記プロセッサが、
カメラから画像又はビデオを受信することと、
前記画像又は前記ビデオから幾何学的三次元データを生成することと、
前記幾何学的三次元データを使用して、前記ユーザの頭部配向及び前記ユーザの視線のうちの１つ又は２つ以上を決定することと、
前記ユーザの前記頭部配向及び前記ユーザの前記視線のうちの１つ又は２つ以上を使用することによって、前記ユーザの前記視覚的焦点を決定することと、を行うように更に構成されている、実施態様１２又は１３に記載の外科用ハブ。
（１５） 前記プロセッサが、前記第２のディスプレイが第２のユーザと関連付けられた第３のコンテキストデータを表示していると判定するように更に構成されており、前記プロセッサが、前記第３のコンテキストデータを削除し、前記第２のコンテキストデータを表示するように、前記第２のディスプレイに命令するメッセージを送信するように更に構成されている、実施態様８～１４のいずれかに記載の外科用ハブ。
（１６） ディスプレイ上に表示されるデータを構成するために医療器具によって実行される方法であって、前記方法が、
前記医療器具によって、医療処置中に前記医療器具を使用する外科作業を決定することと、
前記医療器具によって、前記外科作業に基づいて第１のコンテキストデータを決定することと、
前記医療器具によって、第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、
前記医療器具によって、前記第１のコンテキストデータ及び前記第２のコンテキストデータを含み、かつ前記第１のコンテキストデータよりも前記第２のコンテキストデータに優先度を提供する、表示データを決定することと、
前記医療器具によって、ディスプレイが前記表示データを表示するための命令を含むメッセージを送信することと、を含む、方法。
（１７） ディスプレイ上に表示されるデータを構成するための医療器具であって、前記医療器具が、実施態様１に記載のプロセッサを備え、第１のデータが、第１のコンテキストデータであり、前記第２のデータが、第２のコンテキストデータである、医療器具。
（１８） 前記コマンドが、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、実施態様１６に記載の方法又は実施態様１７に記載の医療器具。
（１９） 前記メッセージが、前記ディスプレイに送信され、前記方法が、前記第２のコンテキストデータに対する前記選好を示す前記ユーザからの前記コマンドに基づいて、前記表示データを決定することを更に含む、実施態様１６及び１８のいずれかに記載の方法。
（２０） 前記プロセッサが、前記第２のコンテキストデータに対する前記選好を示す前記ユーザからの前記コマンドに基づいて、前記表示データを決定するように更に構成されている、実施態様１７又は１８に記載の医療器具。
（２１） 前記第１のコンテキストデータの上に前記第２のコンテキストデータを重ね合わせることと、第１のコンテキストデータの少なくとも一部分を前記第２のコンテキストデータの少なくとも一部分で置き換えることと、前記第１のコンテキストデータ又は前記第２のコンテキストデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、前記第１のコンテキストデータ及び前記第２のコンテキストデータを含み、かつ前記第１のコンテキストデータよりも前記第２のコンテキストデータに優先度を提供する、前記表示データを決定する、実施態様１６、１８、及び１９のいずれかに記載の方法、又は実施態様１７、１８、若しくは２０のいずれかに記載の医療器具。
（２２） 前記メッセージが、前記表示データを表示するときに前記第１のコンテキストデータよりも高い優先度を伴って前記第２のコンテキストデータを表示する命令を更に含む、実施態様１６、１８、１９、若しくは２１のいずれかに記載の方法、又は実施態様１７、１８、２０、若しくは２１のいずれかに記載の医療器具。

Claims (22)

  1. ディスプレイ上に表示されるデータを構成するための外科用ハブであって、前記外科用ハブが、
    プロセッサを備え、前記プロセッサが、
    医療処置中に医療器具を使用する外科作業を決定することと、
    前記外科作業に基づいて、第１のデータを決定することと、
    第２のデータに対する選好を示すユーザからのコマンドを決定することと、
    前記第１のデータ及び前記第２のデータを含み、かつ前記第１のデータよりも前記第２のデータに優先度を提供する、表示データを決定することと、
    ディスプレイが前記表示データを表示するための命令を含むメッセージを送信することと、を行うように構成されている、外科用ハブ。
  2. 前記コマンドが、音声コマンド、ジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、請求項１に記載の外科用ハブ。
  3. 前記メッセージが、前記ディスプレイに送信され、前記プロセッサが、前記第２のデータに対する前記選好を示す前記ユーザからの前記コマンドに基づいて、前記表示データを決定するように更に構成されている、請求項１又は２に記載の外科用ハブ。
  4. 前記プロセッサが、前記第１のデータの上に前記第２のデータを重ね合わせることと、第１のデータの少なくとも一部分を前記第２のデータの少なくとも一部分で置き換えることと、前記第１のデータ又は前記第２のデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、前記第１のデータ及び前記第２のデータを含み、かつ前記第１のデータよりも前記第２のデータに優先度を提供する、前記表示データを決定するように構成されている、請求項１～３のいずれか一項に記載の外科用ハブ。
  5. 前記プロセッサが、表示されるときに前記第２のデータが前記第１のデータよりも顕著であることを確実にすることによって、前記第１のデータ及び前記第２のデータを含み、かつ前記第１のデータよりも前記第２のデータに優先度を提供する、前記表示データを決定するように構成されている、請求項１～４のいずれか一項に記載の外科用ハブ。
  6. 前記メッセージが、前記表示データを表示するときに前記第１のデータよりも高い優先度を伴って前記第２のデータを表示する命令を更に含む、請求項１～５のいずれか一項に記載の外科用ハブ。
  7. 前記メッセージが、前記表示データを表示するときに前記第２のデータを強調する命令、前記表示データを表示するときに前記第２のデータを強調表示する命令、前記表示データを表示するときに前記第１のデータの第１のフォントサイズを縮小させる命令、前記表示データを表示するときに前記第２のデータの第２のフォントサイズを拡大させる命令、前記表示データを表示するときに色を使用して前記第２のデータを表示する命令、前記データを表示するときに前記第１のデータを半透明に表示する命令、前記表示データを表示するときに前記ディスプレイの目立つ場所に前記第２のデータを表示する命令、前記ディスプレイの第２の場所よりも目立たない前記ディスプレイの第１の場所に前記第１のデータを表示する命令のうちの１つ又は２つ以上を更に含む、請求項１～６のいずれか一項に記載の外科用ハブ。
  8. ディスプレイ上に表示されるデータを構成するための外科用ハブであって、前記外科用ハブが、
    プロセッサを備え、前記プロセッサが、
    医療処置中に医療器具を使用する外科作業を決定することと、
    第１のディスプレイ上に表示される第１のコンテキストデータを決定することと、
    第２のディスプレイ上に表示される第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、を行うように構成されている、外科用ハブ。
  9. 前記プロセッサが、
    前記第１のコンテキストデータを表示するように前記第１のディスプレイに命令する第１のメッセージを送信することと、
    前記第２のコンテキストデータを表示するように前記第２のディスプレイに命令する第２のメッセージを送信することと、を行うように更に構成されている、請求項８に記載の外科用ハブ。
  10. 前記コマンドが、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、請求項８又は９に記載の外科用ハブ。
  11. 前記プロセッサが、
    前記コマンドから前記第２のディスプレイを決定することと、
    前記第２のコンテキストデータが前記第１のディスプレイ上に表示されていると判定することと、
    前記第１のディスプレイから前記第２のコンテキストデータを削除するように、前記第１のディスプレイに第１のメッセージを送信することと、
    前記第２のコンテキストデータを表示するように、前記第２のディスプレイに第２のメッセージを送信することと、を行うように更に構成されている、請求項８～１０のいずれか一項に記載の外科用ハブ。
  12. 前記プロセッサが、
    前記ユーザの視覚的焦点を決定することと、
    前記第２のディスプレイが前記ユーザの前記視覚的焦点内にあると判定することと、
    前記第２のコンテキストデータを表示するように前記第２のディスプレイに命令するメッセージを送信することと、を行うように更に構成されている、請求項８～１１のいずれか一項に記載の外科用ハブ。
  13. 前記プロセッサが、ウェアラブルデバイスデータ、前記ユーザと関連付けられたセンサデータ、手術室内のカメラからの画像、及び前記手術室内の前記カメラからのビデオのうちの１つ又は２つ以上を使用することによって、前記ユーザの前記視覚的焦点を決定するように構成されている、請求項１２に記載の外科用ハブ。
  14. 前記プロセッサが、
    カメラから画像又はビデオを受信することと、
    前記画像又は前記ビデオから幾何学的三次元データを生成することと、
    前記幾何学的三次元データを使用して、前記ユーザの頭部配向及び前記ユーザの視線のうちの１つ又は２つ以上を決定することと、
    前記ユーザの前記頭部配向及び前記ユーザの前記視線のうちの１つ又は２つ以上を使用することによって、前記ユーザの前記視覚的焦点を決定することと、を行うように更に構成されている、請求項１２又は１３に記載の外科用ハブ。
  15. 前記プロセッサが、前記第２のディスプレイが第２のユーザと関連付けられた第３のコンテキストデータを表示していると判定するように更に構成されており、前記プロセッサが、前記第３のコンテキストデータを削除し、前記第２のコンテキストデータを表示するように、前記第２のディスプレイに命令するメッセージを送信するように更に構成されている、請求項８～１４のいずれか一項に記載の外科用ハブ。
  16. ディスプレイ上に表示されるデータを構成するために医療器具によって実行される方法であって、前記方法が、
    前記医療器具によって、医療処置中に前記医療器具を使用する外科作業を決定することと、
    前記医療器具によって、前記外科作業に基づいて第１のコンテキストデータを決定することと、
    前記医療器具によって、第２のコンテキストデータに対する選好を示すユーザからのコマンドを決定することと、
    前記医療器具によって、前記第１のコンテキストデータ及び前記第２のコンテキストデータを含み、かつ前記第１のコンテキストデータよりも前記第２のコンテキストデータに優先度を提供する、表示データを決定することと、
    前記医療器具によって、ディスプレイが前記表示データを表示するための命令を含むメッセージを送信することと、を含む、方法。
  17. ディスプレイ上に表示されるデータを構成するための医療器具であって、前記医療器具が、請求項１に記載のプロセッサを備え、第１のデータが、第１のコンテキストデータであり、前記第２のデータが、第２のコンテキストデータである、医療器具。
  18. 前記コマンドが、音声コマンド、コマンドジェスチャ、及び触覚制御コマンドのうちの１つ又は２つ以上である、請求項１６に記載の方法又は請求項１７に記載の医療器具。
  19. 前記メッセージが、前記ディスプレイに送信され、前記方法が、前記第２のコンテキストデータに対する前記選好を示す前記ユーザからの前記コマンドに基づいて、前記表示データを決定することを更に含む、請求項１６及び１８のいずれか一項に記載の方法。
  20. 前記プロセッサが、前記第２のコンテキストデータに対する前記選好を示す前記ユーザからの前記コマンドに基づいて、前記表示データを決定するように更に構成されている、請求項１７又は１８に記載の医療器具。
  21. 前記第１のコンテキストデータの上に前記第２のコンテキストデータを重ね合わせることと、第１のコンテキストデータの少なくとも一部分を前記第２のコンテキストデータの少なくとも一部分で置き換えることと、前記第１のコンテキストデータ又は前記第２のコンテキストデータと関連付けられた画像のサイズを変更することと、のうちの１つ又は２つ以上を実行することによって、前記第１のコンテキストデータ及び前記第２のコンテキストデータを含み、かつ前記第１のコンテキストデータよりも前記第２のコンテキストデータに優先度を提供する、前記表示データを決定する、請求項１６、１８、及び１９のいずれか一項に記載の方法、又は請求項１７、１８、若しくは２０のいずれか一項に記載の医療器具。
  22. 前記メッセージが、前記表示データを表示するときに前記第１のコンテキストデータよりも高い優先度を伴って前記第２のコンテキストデータを表示する命令を更に含む、請求項１６、１８、１９、若しくは２１のいずれか一項に記載の方法、又は請求項１７、１８、２０、若しくは２１のいずれか一項に記載の医療器具。
JP2023520137A 2020-10-02 2021-09-29 表示共有の再構成 Pending JP2023544356A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/062,519 US20220108788A1 (en) 2020-10-02 2020-10-02 Reconfiguration of display sharing
US17/062,519 2020-10-02
PCT/IB2021/058914 WO2022070076A1 (en) 2020-10-02 2021-09-29 Reconfiguration of display sharing

Publications (1)

Publication Number Publication Date
JP2023544356A true JP2023544356A (ja) 2023-10-23

Family

ID=78820177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023520137A Pending JP2023544356A (ja) 2020-10-02 2021-09-29 表示共有の再構成

Country Status (5)

Country Link
US (1) US20220108788A1 (ja)
EP (1) EP4062419A1 (ja)
JP (1) JP2023544356A (ja)
CN (1) CN116711021A (ja)
WO (1) WO2022070076A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
EP4099142A4 (en) * 2021-04-19 2023-07-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD OF OPERATION
US20240073663A1 (en) * 2022-08-31 2024-02-29 Zebra Technologies Corporation Automatic Proximity-Based Device-to-Device User Interface Porting

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
WO2008157813A1 (en) * 2007-06-20 2008-12-24 Surgmatix, Inc. Surgical data monitoring and display system
US20090046146A1 (en) 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
US9072523B2 (en) 2010-11-05 2015-07-07 Ethicon Endo-Surgery, Inc. Medical device with feature for sterile acceptance of non-sterile reusable component
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US11871901B2 (en) * 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20140263552A1 (en) 2013-03-13 2014-09-18 Ethicon Endo-Surgery, Inc. Staple cartridge tissue thickness sensor system
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US9775609B2 (en) 2013-08-23 2017-10-03 Ethicon Llc Tamper proof circuit for surgical instrument battery pack
JP2016004375A (ja) * 2014-06-16 2016-01-12 ソニー株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
EP3613057A4 (en) * 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11576677B2 (en) * 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
EP3836832A4 (en) * 2018-08-17 2022-09-28 Smith & Nephew, Inc. PATIENT-SPECIFIC SURGICAL PROCEDURE AND SYSTEM
US20220246287A1 (en) * 2019-06-24 2022-08-04 Dignity Health System and method for dynamically managing surgical preferences

Also Published As

Publication number Publication date
EP4062419A1 (en) 2022-09-28
US20220108788A1 (en) 2022-04-07
WO2022070076A1 (en) 2022-04-07
CN116711021A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US20220104910A1 (en) Monitoring of user visual gaze to control which display system displays the primary information
US11883022B2 (en) Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11877897B2 (en) Situational awareness of instruments location and individualization of users to control displays
US20220104694A1 (en) Control of a display outside the sterile field from a device within the sterile field
JP2023544356A (ja) 表示共有の再構成
US20220104911A1 (en) Cooperative surgical displays
US11748924B2 (en) Tiered system display control based on capacity and user operation
US20220104896A1 (en) Interactive information overlay on multiple surgical displays
US11510743B2 (en) Communication control for a surgeon controlled secondary display and primary display
US20220108783A1 (en) Surgical hub having variable interconnectivity capabilities
CN116547588A (zh) 具有动态散射光吸收器的用于交通工具的基于波导的投影显示装置