JP2024054349A - 手術ビデオの解析のためのシステム及び方法 - Google Patents

手術ビデオの解析のためのシステム及び方法 Download PDF

Info

Publication number
JP2024054349A
JP2024054349A JP2024021319A JP2024021319A JP2024054349A JP 2024054349 A JP2024054349 A JP 2024054349A JP 2024021319 A JP2024021319 A JP 2024021319A JP 2024021319 A JP2024021319 A JP 2024021319A JP 2024054349 A JP2024054349 A JP 2024054349A
Authority
JP
Japan
Prior art keywords
surgical
video
frames
event
surgical procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024021319A
Other languages
English (en)
Inventor
ウルフ，タミール
アッセルマン，ドタン
Original Assignee
シアター・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シアター・インコーポレイテッド filed Critical シアター・インコーポレイテッド
Publication of JP2024054349A publication Critical patent/JP2024054349A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
    • A61B2017/0011—Sensing or detecting at the treatment site ultrasonic piezoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

【課題】手術ビデオの解析及び見直しのためのシステム及び方法を提供する。【解決手段】方法は、特徴付けられた外科的術中事象をインデックス付けするステップ、複雑度に基づいて手術映像を解析して分類整理するステップ、術中手術事象概要を生成するステップ、手術ビデオ上にタイムラインをオーバーレイするステップ及び／又は手術事象映像のコンパイルを生成するステップを含む。方法は、手術圧力を推定するため、流体漏れの発生源及び程度を推定するため、省略された手術事象を検出するため、患者の退院後リスクを予測するため、予測転帰を更新するため、外科医にリアルタイムの推奨を与えるため、保険払い戻しを決定するため、手術室スケジュールを調整するため及び／又は術後報告を作成するための手術ビデオの解析を更に含んでもよい。【選択図】図８Ｂ

Description

関連出願の相互参照
この出願は、２０１９年２月２１日に出願された米国仮特許出願第６２／８０８，５０
０号、２０１９年２月２１日に出願された米国仮特許出願第６２／８０８，５１２号、２
０１９年４月２４日に出願された米国仮特許出願第６２／８３８，０６６号、２０２０年
１月１３日に出願された米国仮特許出願第６２／９６０，４６６号、及び、２０２０年１
月２９日に出願された米国仮特許出願第６２／９６７，２８３号の優先権の利益に基づい
ており、その利益を主張する。前述の出願の内容は、それらの全体が参照により本願に組
み入れられる。
開示された実施形態は、一般に、外科的処置のビデオの解析のためのシステム及び方法
に関する。
外科的処置の準備を行う際、外科医が、特定の特性を有し得る事象を含む特定の手術事
象を描写するビデオ映像を見ることは有益となり得る。更に、外科的処置中に、ビデオを
捕捉して解析し、外科医に様々なタイプの決定支援を与えることが有用となり得る。更に
、手術ビデオを解析して術後行動を容易にすることが有用となり得る。
したがって、外科医が手術事象を見ることができるようにし、決定支援を与え、及び／
又は、術後行動を容易にするために、手術ビデオを効率的且つ効果的に解析する非従来型
の手法が必要である。
本開示と整合する実施形態は、手術ビデオを解析するためのシステム及び方法を提供す
る。開示されたシステム及び方法は、従来のハードウェア及びソフトウェア並びに開示さ
れた方法ステップに関連する機能を果たすために特に構築及び／又はプログラムされた機
械などの専用のハードウェア及びソフトウェアの組み合わせを使用して実施されてもよい
。他の開示された実施形態と整合して、持続性コンピュータ可読記憶媒体は、少なくとも
１つの処理デバイスによって実行可能であるとともに本明細書中に記載されるステップ及
び／又は方法のいずれかを実行するプログラム命令を記憶してもよい。
開示された実施形態と整合して、手術ビデオの見直しに関連するシステム、方法、及び
、コンピュータ可読媒体が開示される。実施形態は、外科的処置の少なくとも１つのビデ
オにアクセスするステップと、少なくとも１つのビデオを表示のために出力させるステッ
プとを含んでもよい。実施形態は、表示のために出力される少なくとも１つのビデオ上に
手術タイムラインをオーバーレイするステップを更に含んでもよい。手術タイムラインは
、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識
別するマーカを含んでもよい。手術タイムラインは、外科医が少なくとも１つのビデオの
再生を見ながら手術タイムライン上の１つ以上のマーカを選択できるようにし、それによ
り、ビデオの表示を選択されたマーカと関連付けられる位置にスキップさせてもよい。
一実施形態において、１つ以上のマーカは、外科的処置の意思決定ジャンクションに対
応する意思決定ジャンクションマーカを含んでもよい。意思決定ジャンクションマーカの
選択は、外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリッ
プを見ることができるようにしてもよい。更に、２つ以上のビデオクリップが異なる行為
を提示してもよい。他の実施形態において、意思決定ジャンクションマーカの選択は、選
択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示
を引き起こしてもよい。
開示された実施形態と整合して、ビデオインデックス付けに関連するシステム、方法、
及び、コンピュータ可読媒体が開示される。ビデオインデックス付けは、特定の外科的処
置の映像を含むインデックス付けされるべきビデオ映像にアクセスするステップを含んで
もよく、該映像は、特定の外科的処置の手術段階と関連付けられるビデオ映像位置を識別
するために解析されてもよい。段階タグが生成されてもよく、該段階タグがビデオ映像位
置と関連付けられてもよい。ビデオインデックス付けは、ビデオ映像を解析して、手術段
階内の特定の術中手術事象の事象位置を識別するとともに、事象タグを特定の術中手術事
象の事象位置と関連付けるステップを含んでもよい。更に、特定の術中手術事象と関連付
けられる事象特性が記憶されてもよい。
ビデオインデックス付けは、特定の外科的処置のビデオ映像の少なくとも一部を、他の
外科的処置の更なるビデオ映像を含むデータ構造における段階タグ、事象タグ、及び、事
象特性と関連付けるステップを更に含んでもよい。また、データ構造は、他の外科的処置
のうちの１つ以上と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、そ
れぞれの事象特性を含んでもよい。ユーザは、表示のためのビデオ映像の選択された段階
タグ、選択された事象タグ、及び、選択された事象特性の選択によってデータ構造にアク
セスすることができる。その後、記憶されたビデオ映像の一致するサブセットを識別する
ために、少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された
事象特性と一致する手術ビデオ映像のデータ構造におけるルックアップが実行されてもよ
い。記憶されたビデオ映像の一致するサブセットがユーザに対して表示されてもよく、そ
れにより、ユーザは、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択さ
れた事象特性を共有する少なくとも１つの術中手術事象の手術映像を見ることができる。
開示された実施形態と整合して、手術概要映像の生成に関連するシステム、方法、及び
、コンピュータ可読媒体が開示される。実施形態は、少なくとも１つの術中手術事象と関
連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２の
グループとを含む特定の手術映像にアクセスするステップを含んでもよい。実施形態は、
以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスするステッ
プであって、履歴データが、履歴的な手術映像の一部を術中手術事象と関連付けられるフ
レームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップを更に
含んでもよい。履歴データの情報に基づき、特定の手術映像において、フレームの第１の
グループがフレームの第２のグループから区別されてもよい。ユーザの要求に基づいて、
特定の手術映像のフレームの第１のグループの集約がユーザに提示されてもよいのに対し
、フレームの第２のグループはユーザへの提示が省かれてもよい。
幾つかの実施形態において、開示される実施形態は、特定の手術映像を解析して、手術
転帰及び手術転帰のそれぞれの原因を識別するステップを更に含んでもよい。識別は、履
歴的な転帰データ及びそれぞれの履歴的な原因データに基づいてもよい。解析に基づいて
、特定の手術映像内のフレームの転帰セットが検出されてもよい。フレームの転帰セット
は、外科的処置の転帰段階内にあってもよい。更に、解析に基づいて、特定の手術映像内
のフレームの原因セットが検出されてもよい。フレームの原因セットは、転帰段階から時
間的に離れた外科的処置の原因段階内にあってもよく、一方、フレームの中間セットは、
フレームの原因セットとフレームの転帰セットとの間に介挿される中間段階内にあっても
よい。その後、手術映像の因果関係概要が生成されてもよく、この場合、因果関係概要は
、フレームの原因セット及びフレームの転帰セットを含むとともに、フレームの中間セッ
トを省く。ユーザに提示されるフレームの第１のグループの集約が因果関係概要を含んで
もよい。
開示された実施形態と整合して、手術準備に関連するシステム、方法、及び、コンピュ
ータ可読媒体が開示される。実施形態は、異なる患者に対して実行される複数の外科的処
置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術
事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップを含
んでもよい。方法は、企図された外科的処置を準備している外科医が、企図された外科的
処置に対応する症例特有の情報を入力できるようにするステップを更に含んでもよい。企
図された外科的処置中に直面する可能性が高い術中事象のグループを識別するために、症
例特有の情報が手術ビデオ映像の複数のセットと関連付けられるデータと比較されてもよ
い。更に、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットのう
ちの特定のセット内の特定のフレームを識別するために、症例特有の情報及び直面する可
能性が高い術中事象の識別されたグループが使用されてもよい。識別された特定のフレー
ムは、異なる患者に対して実行される複数の外科的処置からのフレームを含んでもよい。
実施形態は、異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特
性を共有する術中事象と関連付けられるフレームを含むと決定するステップと、外科医に
提示されるべきコンパイルから第２のセットを含めることを省くとともに外科医に提示さ
れるべきコンパイルに第１のセットを含めるステップとを更に含むことができる。最後に
、実施形態は、異なる患者に対して行われる異なる外科的処置からのフレームを含むコン
パイルを含む提示を外科医が見ることができるようにするステップを含んでもよい。
開示された実施形態と整合して、手術映像の複雑度の解析に関連するシステム、方法、
及び、コンピュータ可読媒体が開示される。実施形態は、手術映像のフレームを解析して
、フレームの第１のセットにおいて解剖学的構造を識別するステップを含んでもよい。開
示された実施形態は、第１の履歴データにアクセスするステップを更に含んでもよい。第
１の履歴データは、以前の外科的処置の第１のグループから捕捉される第１のフレームデ
ータの解析に基づいてもよい。フレームの第１のセットと関連付けられる第１の手術複雑
度レベルを決定するために、第１の履歴データを使用して及び識別された解剖学的構造を
使用してフレームの第１のセットが解析されてもよい。
幾つかの実施形態は、手術映像のフレームを解析して、フレームの第２のセットにおい
て、医療器具、解剖学的構造、及び、医療器具と解剖学的構造との間の相互作用を識別す
るステップを更に含んでもよい。開示された実施形態は、第２の履歴データにアクセスす
るステップであって、第２の履歴データが、以前の外科的処置の第２のグループから捕捉
される第２のフレームデータの解析に基づく、ステップを含んでもよい。フレームの第２
のセットと関連付けられる第２の手術複雑度レベルを決定するために、第２の履歴データ
を使用して及び識別された相互作用を使用してフレームの第２のセットが解析されてもよ
い。
実施形態は、フレームの第１のセットを第１の手術複雑度レベルでタグ付けするステッ
プと、フレームの第２のセットを第２の手術複雑度レベルでタグ付けするステップと、第
１のタグを伴うフレームの第１のセット及び第２のタグを伴うフレームの第２のセットを
含むデータ構造を生成するステップとを更に含んでもよい。生成されたデータ構造は、外
科医が第２の手術複雑度レベルを選択できるようにし、それにより、フレームの第１のセ
ットの表示を省略しつつフレームの第２のセットを表示させる。
開示された実施形態と整合して、手術室スケジュールの調整を可能にするためのシステ
ム、方法、及び、コンピュータ可読媒体が開示される。手術室スケジュールを調整するス
テップは、外科用手術室内に位置される画像センサから、進行中の外科的処置を追跡する
視覚データを受信するステップと、履歴的な手術データを含むデータ構造にアクセスする
ステップと、進行中の外科的処置の視覚データ及び履歴的な手術データを解析して、進行
中の外科的処置の推定完了時間を決定するステップとを含んでもよい。手術室スケジュー
ルを調整するステップは、外科用手術室に関するスケジュールにアクセスするステップを
更に含んでもよい。スケジュールは、進行中の外科的処置の完了と関連付けられるスケジ
ュールされた時間を含んでもよい。更に、手術室スケジュールを調整するステップは、進
行中の外科的処置の推定完了時間に基づいて、予測完了時間が完了と関連付けられるスケ
ジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップと、
分散の計算時に通知を出力することによって外科用手術室の後続のユーザが自分のスケジ
ュールをそれに応じて調整できるようにするステップとを含んでもよい。
開示された実施形態と整合して、保険払い戻しを決定するために手術画像を解析するた
めのシステム、方法、及び、コンピュータ可読媒体が開示される。保険払い戻しを決定す
るために手術画像を解析するための動作は、患者に対する外科的処置中に捕捉されるビデ
オフレームにアクセスするステップと、少なくとも１つの医療機器、少なくとも１つの解
剖学的構造、及び、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の
少なくとも１つの相互作用をビデオフレーム内で識別するために外科的処置中に捕捉され
るビデオフレームを解析するステップと、医療機器、解剖学的構造、及び、医療機器と解
剖学的構造との間の相互作用に相関する払い戻しコードのデータベースにアクセスするス
テップとを含んでもよい。動作は、少なくとも１つの医療機器と少なくとも１つの解剖学
的構造との間の識別された少なくとも１つの相互作用を払い戻しコードのデータベース内
の情報と比較して、外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定
するステップを更に含んでもよい。
開示された実施形態と整合して、外科的処置の術後報告を作成するためのシステム、方
法、及び、コンピュータ可読媒体が開示される。外科的処置の術後報告を作成するための
動作は、患者識別子の入力を受信するステップと、ヘルスケア提供者の識別子の入力を受
信するステップと、ヘルスケア提供者によって患者に対して行われる外科的処置の手術映
像の入力を受信するステップとを含んでもよい。動作は、手術映像の複数のフレームを解
析して外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップと、
導き出された画像ベースの情報が外科的処置の術後報告を作成するようにするステップと
を更に含んでもよい。
開示された実施形態と整合して、外科的処置において省かれる事象の決定及び通知を可
能にするためのシステム、方法、及び、コンピュータ可読媒体が開示される。省かれる事
象の決定及び通知を可能にするための動作は、特定の外科的処置中に捕捉されるビデオの
フレームにアクセスするステップと、外科的処置に関して推奨される一連の事象を識別す
る記憶されたデータにアクセスするステップと、アクセスされたフレームを推奨された一
連の事象と比較して、特定の外科的処置と外科的処置に関して推奨される一連の事象との
間の逸脱の表示を識別するステップと、逸脱と関連付けられる術中手術事象の名前を決定
するステップと、逸脱と関連付けられる術中手術事象の名前を含む逸脱の通知を与えるス
テップとを含んでもよい。
この開示の幾つかの実施形態は、外科的処置のためのリアルタイムの決定支援を行うた
めのシステム、方法、及び、コンピュータ可読媒体を含む。そのような実施形態の幾つか
は、少なくとも１つのプロセッサを伴ってもよい。そのような実施形態は、手術室内の患
者に対して外科医により実行される外科的処置のビデオ映像を受信するステップと、外科
的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするス
テップとを伴ってもよい。外科的意思決定ジャンクションの存在をリアルタイムに決定す
るために画像関連データを使用して受けられたビデオ映像が解析されてもよい。少なくと
も１つのデータ構造において、転帰と意思決定ジャンクションで講じられる特定の動作と
の間の相関関係がアクセスされてもよい。意思決定ジャンクションの決定された存在とア
クセスされた相関関係とに基づいて、特定の動作を行うように又は特定の動作を回避する
ように外科医に推奨が出力されてもよい。
この開示の実施形態は、開示された外科的処置中に解剖学的構造に作用する接触力を推
定するためのシステム、方法、及び、コンピュータ可読媒体を含む。実施形態は、手術室
内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップと、
受信された画像データを解析して解剖学的構造の識別情報を決定するとともに画像データ
に反映された解剖学的構造の状態を決定するステップを伴ってもよい。解剖学的構造の決
定された状態に基づいて、解剖学的構造と関連付けられる接触力閾値が選択されてもよい
。解剖学的構造に作用する実際の接触力が、決定されるとともに、選択された接触力閾値
と比較されてもよい。その後、実際の接触力の表示が選択された接触力閾値を超えるとい
う決定に基づいて通知が出力されてもよい。
この開示の幾つかの実施形態は、外科的処置中に予測転帰を更新するためのシステム、
方法、及び、コンピュータ可読媒体を伴う。これらの実施形態は、外科的処置の画像を捕
捉するように配置される少なくとも１つの画像センサから、外科的処置中に第１の事象と
関連付けられる画像データを受信するステップを伴ってもよい。実施形態は、第１の事象
と関連付けられる受信された画像データに基づいて、外科的処置と関連付けられる予測転
帰を決定してもよく、また、外科的処置の画像を捕捉するように配置される少なくとも１
つの画像センサから、外科的処置中に第２の事象と関連付けられる画像データを受信して
もよい。実施形態は、第２の事象と関連付けられる受信された画像データに基づいて、予
測転帰の変化を決定し、それにより、予測転帰を閾値未満に低下させてもよい。推奨され
る是正措置は、データ構造に含まれる以前の外科的処置に関する画像関連データに基づい
て識別されて推奨されてもよい。
この開示の幾つかの実施形態は、手術中に流体漏れ検出を可能にするためのシステム、
方法、及び、コンピュータ可読媒体を伴う。実施形態は、外科的処置の腔内ビデオをリア
ルタイムで受けるステップを伴う。プロセッサは、腔内ビデオのフレームを解析して腔内
ビデオ内の異常な流体漏れ状況を決定するように構成されてもよい。実施形態は、異常な
流体漏れ状況が決定されるときに是正措置を策定してもよい。
開示された実施形態と整合して、退院後リスクを予測するためのシステム、方法、及び
、コンピュータ可読媒体が開示される。退院後リスクを予測するための動作は、患者に対
する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、術中
事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと、アク
セスされたフレームを解析するとともに、履歴データから取得される情報に基づいて、ア
クセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップと、
履歴データから取得される情報と識別された少なくとも１つの術中事象とに基づいて、特
定の外科的処置と関連付けられる予測転帰を決定するステップと、予測転帰を患者と関連
付ける態様で予測転帰を出力するステップとを含んでもよい。
前述の概要は、この開示の趣旨を与えるために開示された実施形態のほんの数例を提供
するとともに、開示された実施形態の全ての態様を要約することを意図するものではない
。更に、以下の詳細な説明は、単に典型的で且つ説明的なものにすぎず、特許請求の範囲
を限定するものではない。
この開示に組み入れられてこの開示の一部を構成する添付図面は、様々な開示された実
施形態を例示する。
開示される実施形態と整合する手術室の一例の斜視図である。 開示される実施形態と整合するカメラの斜視図である。 開示される実施形態と整合する外科用器具の一例の斜視図である。 開示される実施形態と整合する、外科的処置のビデオにオーバーレイされたタイムラインの一例を示す。 開示される実施形態と整合する、手術ビデオを見直すためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合するデータ構造の一例の概略図である。 開示される実施形態と整合する表示のためにインデックス付けされたビデオ映像を選択するためのユーザインタフェースの一例の概略図である。 開示される実施形態と整合するビデオインデックス付けのためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合するビデオインデックス付けのためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、フレームの第１のグループをフレームの第２のグループから区別するためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、因果関係概要を生成するためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、手術概要映像を生成するためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、手術準備のためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、手術映像の複雑度を解析するためのプロセスの一例を示すフローチャートである。 外科的処置中に収集される様々なデータを管理するとともに開示される実施形態と整合する様々なセンサを制御するための典型的なシステムの概略図である。 開示される実施形態と整合する典型的なスケジュールである。 開示される実施形態と整合するスケジュールに関する情報を入力するための典型的な形態である。 開示される実施形態と整合する典型的なデータ構造を示す。 開示される実施形態と整合する履歴的な完了時間のデータの典型的なプロットを示す。 開示される実施形態と整合する機械学習モデルの一例を示す。 開示される実施形態と整合する手術室スケジュールを調整するための典型的なプロセスを示す。 開示される実施形態と整合する、払い戻しコードと手術映像から取得される情報との間の相関関係を記憶するための典型的なデータ構造である。 開示される実施形態と整合する典型的な機械学習方法のブロック図である。 開示される実施形態と整合する、保険払い戻しを決定するために手術画像を解析するための典型的なプロセスのフローチャートである。 開示される実施形態と整合するフィールドを含む例示的な術後報告である。 開示される実施形態と整合する、術後報告を作成するための構造を含むプロセスの一例である。 開示される実施形態と整合する、術後報告を作成するための構造を含むプロセスの他の例である。 開示される実施形態と整合する、術後報告を作成するための典型的なプロセスのフロー図である。 開示される実施形態と整合する典型的な一連の事象の概略図である。 開示される実施形態と整合する一連の事象の典型的な比較を示す。 開示される実施形態と整合する、省略された事象の決定及び通知を可能にする典型的なプロセスを示す。 開示される実施形態と整合する、外科的処置に関する決定支援のための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、外科的処置中の解剖学的構造に作用する接触力を推定するための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、外科的処置中の予測転帰を更新するための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、手術中に流体漏れ検出を可能にするための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、術中事象と転帰との間の関係を示す典型的なグラフである。 開示される実施形態と整合する、術中事象の存在を伴う及び伴わない異なる事象に関する典型的な確率分布グラフである。 開示される実施形態と整合する、異なる事象に関する典型的な確率分布グラフを示す。 開示される実施形態と整合する、事象特性の関数としての、異なる事象に関する典型的な確率分布グラフを示す。 開示される実施形態と整合する典型的な機械学習モデルを示す。 開示される実施形態と整合する、機械学習モデルに関する典型的な入力を示す。 開示される実施形態と整合する、退院後リスクを予測するための典型的なプロセスを示す。
特に特段明記しない限り、以下の説明から明らかなように、明細書の全体にわたって、
「処理」、「計算」、「コンピューティング」、「決定」、「生成」、「設定」、「構成
」、「選択」、「規定」、「適用」、「取得」、「監視」、「提供」、「特定」、「セグ
メント化」、「分類」、「解析」、「関連付け」、「抽出」、「記憶」、「受信」、「送
信」などの用語を利用する議論は、データ、例えば電子量などの物理量として表されるデ
ータ、及び／又は、物理的物体を表すデータを操作する及び／又は他のデータに変換する
コンピュータの動作及び／又はプロセスを含む。「コンピュータ」、「プロセッサ」、「
コントローラ」、「処理ユニット」、「演算ユニット」、及び、「処理モジュール」とい
う用語は、非限定的な例として、パーソナルコンピュータ、ウェアラブルコンピュータ、
スマートグラス、タブレット、スマートフォン、サーバ、コンピューティングシステム、
クラウドコンピューティングプラットフォーム、通信デバイス、場合によっては内蔵メモ
リを有するプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ）、画像信号プロ
セッサ（ＩＳＲ）、マイクロコントローラ、フィールドプログラマブルゲートアレイ（Ｆ
ＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、中央処理装置（ＣＰＡ）、グラフィック
ス処理装置（ＧＰＵ）、視覚処理装置（ＶＰＵ）などである。）、シングルコアプロセッ
サ、マルチコアプロセッサ、プロセッサ内のコア、任意の他の電子コンピューティングデ
バイス、又は、上記の任意の組み合わせを含む、データ処理能力を有する任意の種類の電
子デバイス、コンポーネント、又は、ユニットを網羅するように拡張的に解釈されるべき
である。
本明細書中の教示に係る動作は、記載された機能を果たすように特別に構築又はプログ
ラムされるコンピュータによって実行されてもよい。
本明細書中で使用される「例えば」、「～など」、「例として」という語句及びそれら
の変形は、ここに開示される主題の非限定的な実施形態を説明する。本明細書中において
、「１つのケース」、「場合によっては」、「その他の場合」、又は、それらの変形の特
徴への言及は、記載された特定の特徴、構造、又は、特性がここに開示される主題の少な
くとも１つの実施形態に含まれ得ることを意味する。したがって、そのような用語の出現
は、必ずしも同じ（１又は複数の）実施形態を指すとは限らない。本明細書中で使用され
る「及び／又は」という用語は、関連する列挙された項目のうちの１つ以上のありとあら
ゆる組み合わせを含む。
ここに開示される主題の特徴は、簡潔にするために、特定の実施形態との関連で説明さ
れる。しかしながら、１つの実施形態に関連して説明される特徴は、他の実施形態にも適
用可能であることが理解されるべきである。同様に、特定の組み合わせとの関連で説明さ
れる特徴は、単独で又は特定の組み合わせ以外との関連で、別個の実施形態と見なされて
もよい。
ここに開示される主題の実施形態では、図に示される１つ以上の段階が異なる順序で実
行されてもよく、及び／又は、段階の１つ以上のグループが同時に実行されてもよく、逆
もまた同様である。図は、ここに開示される主題の実施形態に係るシステムアーキテクチ
ャの一般的な概略図を示す。図中の各モジュールは、本明細書中で規定されて説明される
ような機能を果たすソフトウェア、ハードウェア、及び／又は、ファームウェアの任意の
組み合わせから構成され得る。図中のモジュールは、１つの場所に集中されてもよく、或
いは、２つ以上の場所にわたって分散されてもよい。
ここに開示される主題の例は、以下の説明で記載される又は図面に示される構成要素の
構成及び配置の詳細への適用において限定されない。主題は、様々な方法で実施又は実行
されてもよい。また、本明細書中で使用される表現及び用語は、説明のためのものであり
、限定するものと見なされるべきではないことが理解されるべきである。
この文書において、図面の範囲内で記載されず前の図面に記載された数字でラベル付け
される図面の要素は、前の図面における場合と同じ使途及び説明を有し得る。
この文書における図面は、いかなる縮尺であってもよい。異なる図は異なるスケールを
使用する場合があり、また、同じ図面内であっても、異なるスケール、例えば同じ物体の
異なる視野に関する異なるスケール或いは２つの隣り合う物体に関する異なるスケールを
使用することができる。
開示された実施形態と整合して、「少なくとも１つのプロセッサ」は、入力又は複数の
入力に対して論理演算を実行する電気回路を有する任意の物理デバイス又はデバイスのグ
ループを構成してもよい。例えば、少なくとも１つのプロセッサは、特定用途向け集積回
路（ＡＳＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処
理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ
）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、サーバ、仮想サーバ、又は、
命令の実行もしくは論理演算の実行に適した他の回路の全部又は一部を含む１つ以上の集
積回路（ＩＣ）を含んでもよい。少なくとも１つのプロセッサによって実行される命令は
、例えば、コントローラと一体化される又はコントローラに組み込まれるメモリに予めロ
ードされてもよく、或いは、別個のメモリに記憶されてもよい。メモリとしては、ランダ
ムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、光ディ
スク、磁気媒体、フラッシュメモリ、他の永続的、固定的又は揮発性のメモリ、或いは、
命令を記憶することができる任意の他の機構を挙げることができる。幾つかの実施形態に
おいて、少なくとも１つのプロセッサは、２つ以上のプロセッサを含んでもよい。各プロ
セッサが同様の構造を有してもよく、或いは、プロセッサが互いに電気的に接続又は切断
される異なる構造を成してもよい。例えば、プロセッサは、別個の回路であってもよく或
いは単一の回路に集積されてもよい。複数のプロセッサが使用される場合、プロセッサは
、独立して又は協働して動作するように構成されてもよい。プロセッサは、電気的、磁気
的、光学的、音響的、機械的に、或いは、それらが相互作用できるようにする他の手段に
よって結合されてもよい。
開示される実施形態は、データ構造を含んでもよく及び／又はデータ構造にアクセスし
てもよい。本開示と整合するデータ構造は、任意の一群のデータ値及びそれらの間の関係
を含んでもよい。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単
次元的に、多次元的に、動作的に、順序付けられた態様で、順序付けられない態様で、オ
ブジェクト指向的な態様で、集中的態様で、非集中的態様で、分散的態様で、カスタム態
様で、又は、データアクセスを可能にする任意の態様で記憶されてもよい。非限定的な例
として、データ構造は、配列、連想配列、リンクされたリスト、二分木、平衡木、塊、ス
タック、キュー、セット、ハッシュテーブル、記録、タグ付き結合体、ＥＲモデル、及び
、グラフを含んでもよい。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ
、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａ
ｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ
ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、及び、Ｎｅｏ４Ｊなどの、データスト
レージ／検索のためのＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベー
ス、又は、ＮｏＳＱＬ代替物を含んでもよい。データ構造は、開示されたシステムのコン
ポーネント又はリモートコンピューティングコンポーネント（例えば、クラウドベースの
データ構造）であってもよい。データ構造内のデータは、連続又は不連続メモリに記憶さ
れてもよい。更に、本明細書中で使用されるデータ構造は、情報が同じ場所に配置される
ことを必要としない。データ構造は、例えば、同じ又は異なるエンティティによって所有
又は動作され得る複数のサーバにわたって分散され得る。したがって、単数形で本明細書
において使用される「データ構造」という用語は、複数のデータ構造を含む。
幾つかの実施形態において、機械学習アルゴリズム（本開示では機械学習モデルとも称
される）は、例えば以下に説明する場合には、トレーニング例を使用してトレーニングさ
れてもよい。そのような機械学習アルゴリズムの幾つかの非限定的な例としては、分類ア
ルゴリズム、データ回帰アルゴリズム、画像セグメント化アルゴリズム、視覚検出アルゴ
リズム（例えば、物体検出器、顔検出器、人物検出器、動き検出器、エッジ検出器など）
、視覚認識アルゴリズム（例えば、顔認識、人物認識、物体認識など）、音声認識アルゴ
リズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクターマ
シン、ランダムフォレスト、最近傍アルゴリズム、深層学習アルゴリズム、人工ニューラ
ルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、再帰的ニ
ューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アン
サンブルアルゴリズムなどを挙げることができる。例えば、トレーニングされた機械学習
アルゴリズムは、予測モデル、分類モデル、回帰モデル、クラスタリングモデル、セグメ
ント化モデル、人工ニューラルネットワーク（例えば、深層ニューラルネットワーク、畳
み込みニューラルネットワーク、再帰ニューラルネットワークなど）、ランダムフォレス
ト、サポートベクターマシンなどの推論モデルを含んでもよい。幾つかの例において、ト
レーニング例は、入力例と、入力例に対応する所望の出力とを含んでもよい。更に、幾つ
かの例において、トレーニング例を使用して機械学習アルゴリズムをトレーニングするこ
とにより、トレーニングされた機械学習アルゴリズムがもたらされ、また、トレーニング
された機械学習アルゴリズムは、トレーニング例に含まれない入力に関する出力を推定す
るために使用されてもよい。幾つかの例において、機械学習アルゴリズムをトレーニング
するエンジニア、科学者、プロセス、及び、機械は、検証例及び／又は検査例を更に使用
してもよい。例えば、検証例及び／又は検査例は、入力例に対応する所望の出力と共に入
力例を含んでもよく、トレーニングされた機械学習アルゴリズム及び／又は中間的にトレ
ーニングされた機械学習アルゴリズムは、検証例及び／又は検査例の入力例に関する出力
を推定するために使用されてもよく、推定された出力が対応する所望の出力と比較されて
もよく、及び、比較の結果に基づいてトレーニングされた機械学習アルゴリズム及び／又
は中間的にトレーニングされた機械学習アルゴリズムが評価されてもよい。幾つかの例で
は、機械学習アルゴリズムがパラメータ及びハイパーパラメータを有してもよく、この場
合、ハイパーパラメータは、人によって手動で又は機械学習アルゴリズムの外部のプロセ
ス（ハイパーパラメータ検索アルゴリズムなど）によって自動的に設定され、及び、機械
学習アルゴリズムのパラメータは、トレーニング例に従って機械学習アルゴリズムにより
設定される。幾つかの実装形態では、ハイパーパラメータがトレーニング例及び検証例に
従って設定され、また、パラメータがトレーニング例及び選択されたハイパーパラメータ
に従って設定される。
幾つかの実施形態では、例えば以下に説明されるケースにおいて、トレーニングされた
機械学習アルゴリズム（本開示ではトレーニングされた機械学習モデルとも称される）を
使用して、入力を解析し、出力を生成してもよい。幾つかの例において、トレーニングさ
れた機械学習アルゴリズムは、入力が与えられると推論された出力を生成する推論モデル
として使用されてもよい。例えば、トレーニングされた機械学習アルゴリズムが分類アル
ゴリズムを含んでもよく、入力がサンプルを含んでもよく、推論された出力がサンプルの
分類（例えば、推論されたラベル、推論されたタグなど）を含んでもよい。他の例では、
トレーニングされた機械学習アルゴリズムが回帰モデルを含んでもよく、入力がサンプル
を含んでもよく、及び、推論された出力がサンプルの推論された値を含んでもよい。更に
他の例では、トレーニングされた機械学習アルゴリズムがクラスタリングモデルを含んで
もよく、入力がサンプルを含んでもよく、及び、推論された出力が少なくとも１つのクラ
スタへのサンプルの割り当てを含んでもよい。更なる例では、トレーニングされた機械学
習アルゴリズムが分類アルゴリズムを含んでもよく、入力が画像を含んでもよく、また、
推論された出力は、画像中に描写された項目の分類を含んでもよい。更に他の例では、ト
レーニングされた機械学習アルゴリズムが回帰モデルを含んでもよく、入力が画像を含ん
でもよく、また、推論された出力は、画像中に描写された項目の推論値（例えば、画像中
に描写された人のサイズ、体積、年齢、画像中に描写された製品のコストなどの項目の推
定された特性など）を含んでもよい。更なる例では、トレーニングされた機械学習アルゴ
リズムが画像セグメント化モデルを含んでもよく、入力が画像を含んでもよく、及び、推
論された出力が画像のセグメント化を含んでもよい。更なる他の例では、トレーニングさ
れた機械学習アルゴリズムが物体検出器を含んでもよく、入力が画像を含んでもよく、ま
た、推論された出力は、画像内の１つ以上の検出された物体及び／又は画像内の物体の１
つ以上の位置を含んでもよい。幾つかの例において、トレーニングされた機械学習アルゴ
リズムは、１つ以上の式及び／又は１つ以上の関数及び／又は１つ以上の規則及び／又は
１つ以上の処置を含んでもよく、入力は、式及び／又は関数及び／又は規則及び／又は処
置への入力として使用されてもよく、及び、推論された出力は、式及び／又は関数及び／
又は規則及び／又は処置の出力に基づいてもよい（例えば、式及び／又は関数及び／又は
規則及び／又は処置の出力のうちの１つを選択する、式及び／又は関数及び／又は規則及
び／又は処置の出力の統計的指標を使用するなど）。
幾つかの実施形態において、人工ニューラルネットワークは、入力を解析して、対応す
る出力を生成するように構成されてもよい。そのような人工ニューラルネットワークの幾
つかの非限定的な例は、浅い人工ニューラルネットワーク、深い人工ニューラルネットワ
ーク、フィードバック人工ニューラルネットワーク、フィードフォワード人工ニューラル
ネットワーク、自己符号器人工ニューラルネットワーク、確率的人工ニューラルネットワ
ーク、時間遅延人工ニューラルネットワーク、畳み込み人工ニューラルネットワーク、リ
カレント人工ニューラルネットワーク、長期短期記憶人工ニューラルネットワークなどを
含んでもよい。幾つかの例では、人工ニューラルネットワークが手動で構成されてもよい
。例えば、人工ニューラルネットワークの構造が手動で選択されてもよく、人工ニューラ
ルネットワークの人工ニューロンのタイプが手動で選択されてもよく、人工ニューラルネ
ットワークのパラメータ（人工ニューラルネットワークの人工ニューロンのパラメータな
ど）が手動で選択されてもよく、以下同様である。幾つかの例において、人工ニューラル
ネットワークは、機械学習アルゴリズムを使用して構成されてもよい。例えば、ユーザは
、人工ニューラルネットワーク及び／又は機械学習アルゴリズムに関するハイパーパラメ
ータを選択してもよく、また、機械学習アルゴリズムは、例えば、バックプロパゲーショ
ンを使用する、勾配降下を使用する、確率的勾配降下を使用する、ミニバッチ勾配降下を
使用するなどして、人工ニューラルネットワークのパラメータを決定するために、ハイパ
ーパラメータ及びトレーニング例を使用してもよい。幾つかの例では、２つ以上の他の人
工ニューラルネットワークを単一の人工ニューラルネットワークに組み合わせることによ
って、２つ以上の他の人工ニューラルネットワークから人工ニューラルネットワークが作
成されてもよい。
幾つかの実施形態において、画像データを（例えば、本明細書中に記載の方法、ステッ
プ、及び、モジュールによって）解析することは、画像データを解析して前処理された画
像データを取得すること、及び、その後に画像データ及び／又は前処理された画像データ
を解析して所望の転帰を取得することを含んでもよい。そのような画像データの幾つかの
非限定的な例としては、１つ以上の画像、ビデオ、フレーム、映像、２Ｄ画像データ、３
Ｄ画像データなどを挙げることができる。当業者であれば分かるように、以下は例であり
、画像データが他の種類の前処理方法を使用して前処理されてもよい。幾つかの例では、
変換関数を使用して画像データを変換して変換画像データを取得することによって画像デ
ータが前処理されてもよく、また、前処理された画像データが変換画像データを含んでも
よい。例えば、変換画像データは、画像データの１つ以上の畳み込みを含んでもよい。例
えば、変換関数は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、オール
パスフィルタなどの１つ以上の画像フィルタを含んでもよい。幾つかの例では、変換関数
が非線形関数を含んでもよい。幾つかの例において、画像データは、例えばガウス畳み込
みを使用する、メディアンフィルタを使用するなどして、画像データの少なくとも一部を
平滑化することによって前処理されてもよい。幾つかの例において、画像データは、画像
データの異なる表示を取得するために前処理されてもよい。例えば、前処理された画像デ
ータは、周波数領域における画像データの少なくとも一部の表示、画像データの少なくと
も一部の離散フーリエ変換、画像データの少なくとも一部の離散ウェーブレット変換、画
像データの少なくとも一部の時間／周波数表示、低次元における画像データの少なくとも
一部の表示、画像データの少なくとも一部の損失表示、画像データの少なくとも一部の無
損失表示、上記のいずれかの順序付けられた時系列、上記の任意の組み合わせなどを含ん
でもよい。幾つかの例では、エッジを抽出するために画像データが前処理されてもよく、
また、前処理された画像データは、抽出されたエッジに基づく及び／又は関連する情報を
含んでもよい。幾つかの例では、画像データから画像特徴を抽出するために画像データが
前処理されてもよい。そのような画像特徴の幾つかの非限定的な例は、エッジに基づく及
び／又はエッジに関連する情報、コーナー、ブロブ、リッジ、スケール不変特徴変換（Ｓ
ＩＦＴ）特徴、時間的特徴などを含んでもよい。
幾つかの実施形態において、画像データを（例えば、本明細書中に記載の方法、ステッ
プ、及び、モジュールによって、）解析することは、１つ以上の規則、機能、処置、人工
ニューラルネットワーク、物体検出アルゴリズム、顔検出アルゴリズム、視覚事象検出ア
ルゴリズム、行動検出アルゴリズム、動き検出アルゴリズム、背景減算アルゴリズム、推
論モデルなどを使用して画像データ及び／又は前処理された画像データを解析することを
含んでもよい。そのような推論モデルの幾つかの非限定的な例としては、手動で事前にプ
ログラムされた推論モデル、分類モデル、回帰モデル、トレーニング例に対する機械学習
アルゴリズム及び深層学習アルゴリズムなどのトレーニングアルゴリズムの結果などを挙
げることができ、この場合、トレーニング例はデータインスタンスの例を含んでもよく、
また、場合によっては、データインスタンスには対応する所望のラベル及び／又は結果が
ラベル付けされる。
幾つかの実施形態において、画像データを（例えば、本明細書中に記載の方法、ステッ
プ、及び、モジュールによって）解析することは、画像データに含まれるピクセル、ボク
セル、点群、距離データなどを解析することを含んでもよい。
図１は、開示された実施形態と整合する、例示的な手術室１０１を示す。患者１４３は
、手術台１４１に示されている。手術室１０１は、音声センサ、ビデオ／画像センサ、化
学センサ、及び他のセンサ、並びに外科的処置中にビデオ及び音声データ、並びに他のセ
ンサからのデータの捕捉を容易にするための様々な光源（例えば、光源１１９が図１に示
されている）を含むことができる。例えば、手術室１０１は、手術中にビデオ／画像デー
タを捕捉するための１つ以上のマイクロフォン（例えば、図１に示すような音声センサ１
１１）、幾つかのカメラ（例えば、俯瞰カメラ１１５，１２１、１２３、及びテーブルサ
イドカメラ１２５）を含むことができる。また、一部のカメラ（例えば、カメラ１１５，
１２３及び１２５）で手術台１４１（例えば、カメラは、外科的処置が行われる患者１４
３の身体の位置１２７でビデオ／画像データを捕捉することができる）のビデオ／画像デ
ータを捕捉しているが、カメラ１２１で手術室１０１の他の部位のビデオ／画像データを
捕捉してもよい。例えば、カメラ１２１は、手術を行う外科医１３１のビデオ／画像デー
タを捕捉することができる。場合によっては、カメラは、手術室１０１に配置された麻酔
科医、看護師、外科技術などの外科チームの人員に関連するビデオ／画像データを捕捉す
ることができる。更に、手術室カメラは、室内に配置された医療機器に関連するビデオ／
画像データを捕捉することができる。
様々な実施形態では、カメラ１１５，１２１，１２３及び１２５のうちの１つ以上は移
動可能であってもよい。例えば、図１に示すように、カメラ１１５は、ピッチ方向を示す
矢印１３５Ａ、及びカメラ１１５のヨー方向を示す矢印１３５Ｂで示すように回転するこ
とができる。様々な実施形態では、カメラ（例えば、カメラ１１５）のピッチ角及びヨー
角は、カメラ１１５が関心領域（ＲＯＩ）に向くように電子的に制御することができ、関
心領域（ＲＯＩ）のビデオ／画像データを捕捉する必要がある。例えば、カメラ１１５は
、位置１２７内の外科用器具（手術器具とも呼ばれる）、解剖学的構造、外科医１３１の
手、切開、解剖学的構造の動きなどを追跡するように構成されてもよい。様々な実施形態
において、カメラ１１５は、正確な追跡のためにレーザ１３７（例えば、赤外線レーザ）
を装備することができる。場合によっては、カメラ１１５は、ＲＯＩのビデオ／画像デー
タを捕捉するためにカメラを位置決めするための画像認識アルゴリズムを使用するコンピ
ュータベースのカメラ制御アプリケーションを介して自動的に追跡され得る。例えば、カ
メラ制御アプリケーションは、解剖学的構造を識別し、解剖学的構造内の特定の位置で手
術器具、外科医の手、出血、動きなどを識別し、カメラ１１５を適切なヨー角及びピッチ
角だけ回転させることによってその位置をカメラ１１５で追跡することができる。幾つか
の実施形態では、カメラ制御アプリケーションは、様々なカメラ１１５，１２１，１２３
及び１２５の位置（すなわち、ヨー角及びピッチ角）を制御して、外科的処置中に異なる
ＲＯＩからビデオ／画像データを捕捉することができる。これに加えて又は代えて、人間
の術者は、様々なカメラ１１５，１２１，１２３及び１２５の位置を制御することができ
、及び／又は人間の術者は、カメラの位置を制御する際にカメラ制御アプリケーションを
監督することができる。
カメラ１１５，１２１，１２３及び１２５は、１つ以上のＲＯＩに焦点を合わせて拡大
するためのズームレンズを更に含むことができる。例示的な実施形態では、カメラ１１５
は、ＲＯＩ（例えば、解剖学的構造の近くにある手術器具）に近接してズームするための
ズームレンズ１３８を含むことができる。カメラ１２１は、ＲＯＩの周りのより大きな領
域からビデオ／画像データを捕捉するためのズームレンズ１３９を含むことができる。例
えば、カメラ１２１は、場所１２７全体のビデオ／画像データを捕捉することができる。
幾つかの実施形態では、カメラ１２１から取得されたビデオ／画像データは、外科的処置
中にＲＯＩを識別するために解析されてもよく、カメラ制御アプリケーションは、カメラ
１１５に、カメラ１２１によって識別されたＲＯＩに向かってズームさせるように構成さ
れ得る。
様々な実施形態では、カメラ制御アプリケーションは、外科的処置中に様々なカメラの
位置、焦点、及び倍率を調整するように構成されてもよい。例えば、カメラ制御アプリケ
ーションは、解剖学的構造を追跡するようにカメラ１１５に指示することができ、外科用
器具を追跡するようにカメラ１２１及び１２５に指示することができる。カメラ１２１及
び１２５は、異なる視野角から同じＲＯＩ（例えば、外科用器具）を追跡することができ
る。例えば、異なる視野角から得られたビデオ／画像データを使用して、解剖学的構造の
表面に対する外科用器具の位置を決定し、解剖学的構造の状態を決定し、解剖学的構造に
加えられる圧力を決定し、又は複数の視野角が有益であり得る任意の他の情報を決定する
ことができる。別の例として、出血は１つのカメラによって検出することができ、１つ以
上の他のカメラを使用して出血源を識別することができる。
様々な実施形態では、カメラ１１５，１２１，１２３及び１２５の位置、向き、設定、
及び／又はズームの制御は、規則ベースであり、所定の外科的処置のために開発されたア
ルゴリズムに従うことができる。例えば、カメラ制御アプリケーションは、外科用器具を
追跡するようにカメラ１１５に指示し、位置１２７にカメラ１２１を向け、外科医の手の
動きを追跡するようにカメラ１２３に指示し、解剖学的構造にカメラ１２５を向けるよう
に構成され得る。アルゴリズムは、外科的処置中の様々な事象に応じて、カメラ１１５，
１２１，１２３及び１２５の位置、向き、設定及び／又はズームを決定する任意の適切な
論理的記述を含むことができる。例えば、アルゴリズムは、処置中に出血を発生させる解
剖学的構造の領域に少なくとも１つのカメラを向けることができる。（例えば、カメラ制
御アプリケーションによって）制御することができるカメラ１１５，１２１，１２３及び
１２５の設定の幾つかの非限定的な例としては、画像ピクセル解像度、フレームレート、
画像及び／又は色補正及び／又は強調アルゴリズム、ズーム、位置、向き、アスペクト比
、シャッター速度、絞り、焦点などを挙げることができる。
様々な場合において、カメラ（例えば、カメラ１１５）が移動又は変形物体（例えば、
カメラ１１５が移動する外科用器具、又は移動／脈動する解剖学的構造を追跡する場合）
を追跡するとき、カメラ制御アプリケーションは、移動又は変形物体がカメラの視野から
脱出しないように、カメラ１１５の最大許容ズームを決定することができる。例示的な実
施形態では、カメラ制御アプリケーションは、カメラ１１５の第１のズームを最初に選択
し、移動又は変形物体がカメラの視野から逃げるかどうかを評価し、移動又は変形物体が
カメラの視野から逃げるのを防止するために必要に応じてカメラのズームを調整すること
ができる。様々な実施形態では、カメラズームは、移動又は変形する物体の方向及び速度
に基づいて再調整することができる。
様々な実施形態では、１つ以上の画像センサは、移動カメラ１１５，１２１，１２３及
び１２５を含むことができる。カメラ１１５，１２１，１２３及び１２５は、例えば三角
測量を使用して、解剖学的構造のサイズを決定し、異なるＲＯＩ間の距離を決定するため
に使用され得る。例えば、図２は、図２に示すように、２つのカメラ間の距離がＤ１にな
るように可動要素によって支持された例示的なカメラ１１５（図２に示す１１５ビュー１
）及び１２１を示す。両方のカメラはＲＯＩ ２２３に向く。カメラ１１５及び１２１の
位置及びカメラに対する物体の方向（例えば、図２に示すように、角度Ａ１及びＡ２を知
ることによって、例えば、１１５及び１２１によって捕捉された画像内の同じ物体又は同
じ現実世界の点を描写するピクセル間の対応に基づいて）を知ることによって、距離Ｄ２
及びＤ３は、例えば、正弦の法則及び２つのカメラＤ１間の既知の距離を使用して計算す
ることができる。例示的な実施形態では、カメラ１１５（１１５、ビュー２）が（ラジア
ンで測定された）小さい角度Ａ３だけ回転してＲＯＩ ２２５を向く場合、ＲＯＩ ２２
３とＲＯＩ ２２５との間の距離は、（小さい角度Ａ３について）Ａ３Ｄ２によって近似
され得る。別の三角測量プロセスを使用して、より高い精度を得ることができる。ＲＯＩ
２２３と２２５との間の距離を知ることにより、解剖学的構造の長さスケールを決定す
ることが可能になる。更に、解剖学的構造の様々な点間の距離、及び様々な点から１つ以
上のカメラまでの距離を測定して、解剖学的構造の表面を表す点群を決定することができ
る。そのような点群は、解剖学的構造の３次元モデルを再構築するために使用することが
できる。更に、１つ以上の外科用器具と解剖学的構造の異なる点との間の距離を測定して
、解剖学的構造の近くの１つ以上の外科用器具の適切な位置を決定することができる。幾
つかの他の例では、カメラ１１５，１２１，１２３及び１２５のうちの１つ以上は、３Ｄ
カメラ（例えば、ステレオカメラ、アクティブステレオカメラ、飛行時間型カメラ、光検
出器及び測距カメラなど）を含むことができ、手術室１０１内の物体の実際の及び／又は
相対的な位置及び／又はサイズ、及び／又は物体間の実際の距離は、３Ｄカメラによって
捕捉された３Ｄ情報に基づいて決定することができる。
また、図１に戻ると、光源（例えば、光源１１９）は、１つ以上のＲＯＩを追跡するよ
うに移動可能であってもよい。例示的な実施形態では、光源１１９は、ヨー角及びピッチ
角だけ回転することができ、場合によっては、ＲＯＩ（例えば、位置１２７）に向かって
、又はＲＯＩから離れて延びることができる。場合によっては、光源１１９は、ＲＯＩに
光を集束させるための１つ以上の光学素子（例えば、レンズ、平面又は曲面ミラーなど）
を含んでもよい。場合によっては、光源１１９は、光の色（例えば、光の色は、異なるタ
イプの白色光、選択されたスペクトルを有する光などを含むことができる）を制御するよ
うに構成されてもよい。例示的な実施形態では、光１１９は、光のスペクトル及び強度が
光によって照射される解剖学的構造の表面にわたって変化し得るように構成され得る。例
えば、場合によっては、光１１９は、解剖学的構造の表面の少なくとも幾つかの部分の加
温をもたらし得る赤外線波長を含むことができる。
幾つかの実施形態では、手術室は、図１に図示又は図示しない様々な構成要素に埋め込
まれたセンサを含むことができる。そのようなセンサの例としては、音声センサ、画像セ
ンサ、モーションセンサ、測位センサ、化学センサ、温度センサ、気圧計、圧力センサ、
近接センサ、電気インピーダンスセンサ、電圧センサ、電流センサ、又は、例えば、患者
１４３を監視するように構成された任意の種類の医療又は生理学的センサを含む、環境又
は外科的処置に関するフィードバックを提供することができる任意の他の検出器を挙げる
ことができる。
幾つかの実施形態では、音声センサ１１１は、音声をデジタル情報（例えば、音声セン
サ１２１）に変換することによって音声を捕捉するように構成された１つ以上の音声セン
サを含んでもよい。
様々な実施形態では、温度センサは、赤外線撮像のための赤外線カメラ（例えば、赤外
線カメラ１１７が図１に示されている）を含むことができる。赤外線カメラ１１７は、構
造の異なる点における解剖学的構造の表面温度の測定を可能にすることができる。可視カ
メラＤ１１５、１２１，１２３及び１２５と同様に、赤外線カメラ１１７は、ヨー角又は
ピッチ角を使用して回転させることができる。これに加えて又は代えて、カメラ１１７は
、任意の光スペクトルから画像を捕捉するように構成された画像センサを含むことができ
、赤外線画像センサ、ハイパースペクトル画像センサなどを含むことができる。
図１は、異なるカメラ１１５，１２１，１２３及び１２５からのビュー、並びに他の情
報を示すことができる表示画面１１３を含む。例えば、表示画面１１３は、外科用器具の
先端部及び外科用器具に近接する解剖学的構造の周囲組織のズームイン画像を示すことが
できる。
図３は、複数のセンサ及び発光源を含むことができる外科用器具３０１の例示的な実施
形態を示す。本実施形態と整合して、外科用器具は、医療デバイス、医療機器、電気的又
は機械的器具、手術器具、診断器具、及び／又は手術中に使用され得る任意の他の手段を
指すことができる。図示のように、器具３０１は、カメラ３１１Ａ及び３１１Ｂ、光源３
１３Ａ及び３１３Ｂ、並びに組織３３１に接触するための先端部３２３Ａ及び３２３Ｂを
含むことができる。カメラ３１１Ａ及び３１１Ｂは、データ接続３１９Ａ及び３１９Ｂを
介してデータ送信デバイス３２１に接続することができる。例示的な実施形態では、デバ
イス３２１は、無線通信を使用して、又は有線通信を使用してデータをデータ受信デバイ
スに送信することができる。例示的な実施形態では、デバイス３２１は、ＷｉＦｉ、Ｂｌ
ｕｅｔｏｏｔｈ、ＮＦＣ通信、誘導通信、又はデータ受信デバイスにデータを送信するた
めの任意の他の適切な無線通信を使用することができる。データ受信デバイスは、データ
送信を受信することができる任意の形態の受信機を含むことができる。これに加えて又は
代えて、デバイス３２１は、光信号を使用してデータ受信装置にデータを送信することが
できる（例えば、デバイス３２１は、空気又は光ファイバを介して伝送される光信号を使
用することができる）。幾つかの実施形態では、デバイス３０１は、センサ３１１Ａ及び
３１１Ｂから受信したデータの少なくとも一部を記憶するためのローカルメモリを含むこ
とができる。更に、デバイス３０１は、データ受信装置にデータを送信する前にビデオ／
画像データを圧縮するためのプロセッサを含むことができる。
様々な実施形態では、例えば、デバイス３０１が無線である場合、デバイスは、内部電
源（例えば、バッテリ、充電式バッテリなど）及び／又はバッテリを再充電するためのポ
ート、電源のために残っている電力量を示すための指標、及びデバイス３０１の動作を制
御するための１つ以上の入力コントロール（例えば、ボタン）を含むことができる。幾つ
かの実施形態では、デバイス３０１の制御は、任意の適切な接続（例えば、ＷｉＦｉ、Ｂ
ｌｕｅｔｏｏｔｈなど）を介してデバイス３０１と通信する外部デバイス（例えば、スマ
ートフォン、タブレット、スマートグラス）を使用して達成され得る。例示的な実施形態
では、デバイス３０１の入力制御部を使用して、センサ又は光源の様々なパラメータを制
御することができる。例えば、入力コントロールを使用して、光源３１３Ａ及び３１３Ｂ
を暗くする／明るくする、光源を移動させることができる場合（例えば、光源は、ヨー角
及びピッチ角を使用して回転することができる）に光源を移動させる、光源の色を制御す
る、光源の焦点を制御する、カメラを移動させることができる場合（例えば、カメラは、
ヨー角及びピッチ角を使用して回転させることができる）にカメラ３１１Ａ及び３１１Ｂ
の動きを制御する、カメラ３１１Ａ及び３１１Ｂのズーム及び／又は捕捉パラメータを制
御する、又はカメラ３１１Ａ～３１１Ｂ及び光源３１３Ａ～３１３Ｂの任意の他の適切な
パラメータを変更することができる。カメラ３１１Ａは第１のパラメータセットを有して
もよく、カメラ３１１Ｂは第１のパラメータセットとは異なる第２のパラメータセットを
有してもよく、これらのパラメータは適切な入力コントロールを使用して選択されてもよ
いことに留意すべきである。同様に、光源３１３Ａは、第１のパラメータセットを有して
もよく、光源３１３Ｂは、第１のパラメータセットとは異なる第２のパラメータセットを
有してもよく、これらのパラメータは、適切な入力コントロールを使用して選択されても
よい。
更に、器具３０１は、先端部３２３Ａ及び３２３Ｂを介して組織３３１の様々な特性に
関するデータを測定し、測定されたデータをデバイス３２１に送信するように構成されて
もよい。例えば、先端部３２３Ａ及び３２３Ｂを使用して、組織３３１の電気抵抗及び／
又はインピーダンス、組織３３１の温度、組織３３１の機械的特性などを測定することが
できる。組織３３１の弾性特性を決定するために、例えば、先端部３２３Ａ及び３２３Ｂ
は、最初に角度３１７で分離され、組織３３１に適用されてもよい。先端部は、角度３１
７を減少させるように移動するように構成されてもよく、先端部の動きは、組織３３１に
圧力をもたらし得る。そのような圧力を測定することができ（例えば、器具３０１の第１
の枝部３１２Ａと第２の枝部３１２Ｂとの間に位置してもよい圧電素子３２７を介して）
、角度の変化３１７（すなわち、歪み）及び測定された圧力（すなわち、応力）に基づい
て、組織３３１の弾性特性を測定することができる。更に、角度３１７に基づいて、先端
部３２３Ａと３２３Ｂとの間の距離を測定することができ、この距離をデバイス３２１に
送信することができる。そのような距離測定値は、図１に示すように、様々なカメラ１１
５，１２１，１２３及び１２５によって捕捉され得る様々なビデオ／画像データの長さス
ケールとして使用することができる。
器具３０１は、可能な外科用器具の一例にすぎず、メス、把持具（例えば、鉗子）、ク
ランプ及び咬合器、針、リトラクタ、カッター、拡張器、吸引チップ及びチューブ、シー
リングデバイス、灌注及び注射針、スコープ及びプローブなどの他の外科用器具は、任意
の適切なセンサ及び発光源を含むことができる。様々な場合において、センサ及び発光源
のタイプは、外科的処置に使用される外科用器具のタイプに依存し得る。様々な場合にお
いて、これらの他の外科用器具は、図３に示すように、データを収集して任意の適切なデ
ータ受信デバイスに送信するためのデバイス３０１と同様のデバイスを含むことができる
。
外科的処置の準備をするとき、外科医が同様の手術事象を有する外科的処置のビデオ映
像を見直しすることは有益であり得る。しかしながら、外科医がビデオ全体を見るには時
間がかかりすぎるか、又はスキップして手術映像の関連部分を見つけるには時間がかかり
すぎる場合がある。したがって、他の無関係な映像を省略しながら関連する手術事象の映
像を集約する手術ビデオ概要を外科医が効率的且つ効果的に見ることができるようにする
非従来的な手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む、手術
ビデオの見直しに関するものとなり得る。インタフェースは、外科医が手術タイムライン
を同時に表示して手術ビデオ（自身の手術、他者の手術、又はコンパイル）を見直しする
ことを可能にすることができる。タイムラインは、外科的処置中に発生する行動又は事象
にキー設定されたマーカを含むことができる。これらのマーカは、外科医が特定の行動に
スキップすることを可能にし、それによって外科的処置の見直しを合理化することができ
る。幾つかの実施形態では、重要な意思決定ジャンクションポイントをマークすることが
でき、外科医は、それらの意思決定ジャンクションポイントで講じられた別の動作を見る
ことができる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒
体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法
の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得
る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意
味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの
異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、外科的処置の少なくとも１つのビデオにアク
セスすることを含むことができる。上記でより詳細に説明したように、ビデオは、記録さ
れた画像及び／又は音声を含む任意の形態の記録された視覚媒体を含むことができる。ビ
デオは、例えば上述したように、音声・ビデオ・インターリーブ（ＡＶＩ）ファイル、フ
ラッシュ・ビデオ・フォーマット（ＦＬＶ）ファイル、クイックタイム・ファイル・フォ
ーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅ
ｄｉａ Ｖｉｄｅｏ（ＷＭＶ）ファイル、マテリアル・エクスチェンジ・フォーマット（
ＭＸＦ）ファイル、又は任意の他の適切なビデオ・ファイル・フォーマットなどのビデオ
ファイルとして記憶され得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意
の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び器官の物理
的変化を伴う他の技術を含み得る。そのような外科的処置の例は、上に提供されている。
外科的処置のビデオは、外科的処置中に捕捉され、外科的処置に関連付けられた任意の一
連の静止画像を含むことができる。幾つかの実施形態では、外科的処置の少なくとも一部
は、ビデオに含まれる静止画像のうちの１つ以上に描写され得る。例えば、外科的処置の
ビデオは、手術室又は患者の腔において、カメラなどの画像捕捉装置によって記録されて
もよい。外科的処置のビデオにアクセスすることは、記憶装置（１つ以上のメモリユニッ
ト、ビデオサーバ、クラウドストレージプラットフォーム、又は任意の他のストレージプ
ラットフォームなど）からビデオを取り出すこと、通信装置を介して別の装置からビデオ
を受信すること、画像センサを使用してビデオを捕捉すること、又はデータもしくはファ
イルに電子的にアクセスするための任意の他の手段を含むことができる。
本開示の幾つかの態様は、少なくとも１つのビデオを表示のために出力させることを含
み得る。少なくとも１つのビデオを出力することは、ビデオがコンピュータ又は少なくと
も１つのプロセッサを使用して生成、配信、又は供給される任意のプロセスを含むことが
できる。本明細書で使用される場合、「ディスプレイ」は、ビデオを再生のためにユーザ
に提示することができる任意の方法を指すことができる。幾つかの実施形態では、ビデオ
を出力することは、スクリーン（例えば、ＯＬＥＤ、ＱＬＥＤ ＬＣＤ、プラズマ、ＣＲ
Ｔ、ＤＬＰＴ、電子ペーパー、又は同様のディスプレイ技術）、光プロジェクタ（例えば
、ムービープロジェクタ、スライドプロジェクタ）、３Ｄディスプレイ、モバイルデバイ
スのスクリーン、電子眼鏡、又は任意の他の形態の視覚及び／又は音声提示などのディス
プレイデバイスを使用してビデオを提示することを含むことができる。他の実施形態では
、表示用のビデオを出力することは、１つ以上の他のコンピューティングデバイスによっ
てアクセス可能な場所にビデオを記憶することを含むことができる。そのような記憶場所
としては、ローカル記憶装置（フラッシュメモリのハードドライブなど）、ネットワーク
位置（サーバ又はデータベースなど）、クラウドコンピューティングプラットフォーム、
又は任意の他のアクセス可能な記憶場所を挙げることができる。ビデオは、別個のコンピ
ューティングデバイス上に表示するために別個のコンピューティングデバイスからアクセ
スされてもよい。幾つかの実施形態では、ビデオを出力することは、ビデオを外部デバイ
スに送信することを含むことができる。例えば、表示用のビデオを出力することは、ユー
ザ装置上で再生するためにネットワークを介してユーザ装置にビデオを送信することを含
むことができる。
本開示の実施形態は、手術タイムラインを表示するために出力された少なくとも１つの
ビデオにオーバーレイすることを更に含むことができる。本明細書で使用される場合、「
タイムライン」は、一連の事象が追跡又は画定され得る任意の描写を指すことができる。
幾つかの実施形態では、タイムラインは、例えば、バーに沿った事象のマーカ又は他の指
標を有する時間を表す細長いバー又は線を使用して、事象のグラフィカル表示であっても
よい。また、タイムラインは、時系列順に配置された事象のテキストベースのリストであ
ってもよい。手術タイムラインは、手術に関連する事象を表すタイムラインであってもよ
い。一例として、手術タイムラインは、上記で詳細に説明したように、外科的処置中に発
生する事象又は動作のタイムラインであってもよい。幾つかの実施形態では、手術タイム
ラインは、外科的処置の部分を識別するテキスト情報を含むことができる。例えば、手術
タイムラインは、外科的処置内の術中手術事象又は手術段階の記述のリストであってもよ
い。他の実施形態では、タイムライン上のグラフィックマーカをホバーするか、又は他の
方法で作動させることによって、マーカに関連付けられた記述子が表示され得る。
手術タイムラインを少なくとも１つのビデオにオーバーレイすることは、少なくとも１
つのビデオと同時に見ることができるように手術タイムラインを表示する任意の方法を含
むことができる。幾つかの実施形態では、ビデオをオーバーレイすることは、ビデオに少
なくとも部分的に重なるように手術タイムラインを表示することを含むことができる。例
えば、手術タイムラインは、ビデオの上部又は下部に沿った水平バー、又はビデオの側面
に沿った垂直バーとして提示されてもよい。他の実施形態では、オーバーレイすることは
、ビデオと共に手術タイムラインを提示することを含むことができる。例えば、ビデオは
、ビデオの上、下、及び／又は側面に提示された手術タイムラインと共にディスプレイに
提示されてもよい。手術タイムラインは、ビデオが再生されている間にビデオ上にオーバ
ーレイされてもよい。したがって、本明細書で使用される「オーバーレイ」は、より一般
的には同時表示を指す。同時表示は、一定であってもなくてもよい。例えば、オーバーレ
イは、表示されたビデオに描写された外科的処置の終了前にビデオ出力と共に現れること
ができる。或いは、オーバーレイは、ビデオ処置の実質的に全ての間に現れることができ
る。
図４は、開示された実施形態と整合する外科的処置のビデオにオーバーレイされた例示
的なタイムライン４２０を示す。ビデオは、ビデオの１つ以上のフレームを順次表示する
ことができるビデオ再生領域４１０に提示することができる。図４に示す例では、タイム
ライン４２０は、時間を表す水平バーとして表示されてもよく、バーの左端部分はビデオ
の開始時間を表し、バーの右端部分は終了時間を表す。タイムライン４２０は、タイムラ
インに対するビデオの現在の再生位置を示す位置指標４２４を含むことができる。タイム
ライン４２０の色付き領域４２２は、タイムライン４２０内の進捗を表すことができる（
例えば、ユーザによって既に視聴されたビデオ、又は現在提示されているフレームの前に
来るビデオに対応する）。幾つかの実施形態では、位置指標４２４は、ユーザが位置指標
４２４を移動させることによってビデオ内の異なる位置に移動することができるように、
インタラクティブであってもよい。幾つかの実施形態では、手術タイムラインは、手術段
階、術中手術事象、及び意思決定ジャンクションのうちの少なくとも１つを識別するマー
カを含むことができる。例えば、タイムライン４２０は、１つ以上のマーカ４３２，４３
４、及び／又は４３６を更に含むことができる。そのようなマーカは、以下により詳細に
記載される。
図４に示す例では、タイムライン４２０は、物理的に、時間的に、又はその両方でビデ
オ再生領域４１０に重なるように表示されてもよい。幾つかの実施形態では、タイムライ
ン４２０は、常に表示されなくてもよい。一例として、タイムライン４２０は、ユーザが
ビデオを視聴している間に折り畳まれた又は隠されたビューに自動的に切り替わることが
でき、ユーザがタイムライン４２０と相互作用するための動作を取ると、図４に示す拡張
ビューに戻ることができる。例えば、ユーザは、ビデオを見ながらマウスポインタを移動
し、折り畳まれたタイムライン上でマウスポインタを移動し、マウスポインタを特定の領
域に移動し、ビデオ再生領域をクリック又はタップし、又はタイムライン４２０と相互作
用する意図を示すことができる他の任意の動作を実行することができる。上述したように
、タイムライン４２０は、ビデオ再生領域４１０の上部、ビデオ再生領域４１０の上もし
くは下、又は制御バー６１２内を含む、ビデオ再生領域４１０に対して様々な他の位置に
表示されることができる。幾つかの実施形態では、タイムライン４２０は、ビデオ進行バ
ーとは別に表示されてもよい。例えば、位置指標４２４及び色付き領域４２２を含む別個
のビデオ進行バーが制御バー４１２に表示されてもよく、タイムライン４２０は、外科的
処置に関連する事象の別個のタイムラインであってもよい。そのような実施形態では、タ
イムライン４２０は、ビデオ又はビデオ進行バーと同じスケール又は時間範囲を有さなく
てもよい。例えば、ビデオ進行バーは、ビデオのタイムスケール及び範囲を表すことがで
きるが、タイムライン４２０は、外科的処置の時間枠を表すことができ、これは同じでな
くてもよい（例えば、上で詳細に説明したように、ビデオが手術概要を含む場合）。幾つ
かの実施形態では、ビデオ再生領域４１０は、例えば、図７を参照して上述したように、
ユーザがユーザインタフェース７００を介してビデオ映像を検索することを可能にするこ
とができる検索アイコン４４０を含むことができる。図４に示す手術タイムラインは、例
としてのみ提供されており、当業者は、使用され得る様々な他の構成を理解し得る。
本開示の実施形態は、外科医が少なくとも１つのビデオの再生を見ながら手術タイムラ
イン上の１つ以上のマーカを選択できるようにし、それにより、ビデオの表示を選択され
たマーカと関連付けられる位置にスキップさせることを更に含んでもよい。本明細書で使
用される場合、「再生」は、ビデオの１つ以上のフレームがユーザに表示されるビデオの
任意の提示を含むことができる。通常、再生は動画及び／又は音声を再生するために画像
を順次表示することを含むが、再生は個々のフレームの表示も含むことができる。
開示された実施形態と整合して、「マーカ」は、手術タイムライン内の位置に関連付け
られた任意の視覚指標を含むことができる。上述したように、位置は、ビデオ内の任意の
特定の位置を指すことができる。例えば、位置は、ビデオ内の特定のフレーム又はフレー
ムの範囲、特定のタイムスタンプ、又はビデオ内の位置の任意の他の指標であってもよい
。マーカは、様々な方法でタイムライン上に表され得る。幾つかの実施形態では、マーカ
は、様々な位置でタイムラインに沿って表示されるアイコン又は他のグラフィック表示で
あってもよい。マーカは、線、バンド、ドット、幾何学的形状（例えば、ひし形、正方形
、三角形、又は任意の他の形状）、バブル、又は任意の他のグラフィック又は視覚的表示
として表示されてもよい。幾つかの実施形態では、マーカはテキストベースであってもよ
い。例えば、マーカは、名前、説明、コード、タイムスタンプなどのテキスト情報を含む
ことができる。別の例では、上述したように、手術タイムラインはリストとして表示され
てもよい。したがって、マーカは、ビデオの特定の位置を参照するテキストベースのタイ
トル又は説明を含むことができる。マーカ４３２，４３４及び４３６は、図４に例として
示されている。マーカは、位置に関連するマーカのタイプを示すアイコンを含むコールア
ウトバブルとして表されてもよい。マーカは、ビデオ内の位置を示すタイムライン４２０
に沿った特定の点を指すことができる。
マーカの選択は、特定のマーカに向けられたユーザによる任意の動作を含むことができ
る。幾つかの実施形態では、マーカを選択することは、ユーザインタフェースを介してマ
ーカをクリック又はタップすること、タッチセンシティブスクリーン上のマーカに触れる
こと、スマートグラスを介してマーカを一瞥すること、音声インタフェースを介してマー
カを示すこと、ジェスチャでマーカを示すこと、又はマーカを選択させる任意の他の動作
を実行することを含むことができる。これにより、マーカを選択すると、ビデオの表示が
選択されたマーカに関連付けられた位置にスキップされる。本明細書で使用する場合、ス
キップは、ビデオ内の特定のフレームを選択的に表示することを含むことができる。これ
は、ビデオ内の現在位置でのフレームの表示を停止すること（例えば、ビデオが現在再生
中である場合）、及び選択されたマーカに関連付けられた位置にフレームを表示すること
を含むことができる。例えば、図４に示すように、ユーザがマーカ４３２をクリック又は
選択すると、マーカ４３２に関連付けられた位置のフレームがビデオ再生領域４１０に表
示され得る。幾つかの実施形態では、ビデオはその場所から再生し続けることができる。
位置指標４２４は、マーカ４３２に関連付けられたタイムライン４２０内の位置に移動す
ることができ、それに応じて着色領域４２２を更新することができる。本実施形態は、外
科医が１つ以上のマーカを選択することを可能にするものとして説明されているが、これ
は一例にすぎず、本開示はいかなる形態のユーザにも限定されないことが理解される。手
術技師、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家、並び
に患者、保険会社、医学生などを含む様々な他のユーザが、オーバーレイされたタイムラ
インを見て相互作用することができる。ユーザの他の例は、本明細書で提供される。
本開示の実施形態によれば、マーカは、所定の位置におけるビデオ内の情報に基づいて
自動的に生成され、タイムラインに含まれ得る。幾つかの実施形態では、コンピュータ解
析を使用してビデオ映像のフレームを解析し、タイムラインの様々な位置に含めるマーカ
を識別することができる。コンピュータ解析は、コンピューティングデバイスを使用する
任意の形態の電子解析を含むことができる。幾つかの実施形態では、コンピュータ解析は
、ビデオ映像の１つ以上のフレームの特徴を識別するために１つ以上の画像認識アルゴリ
ズムを使用することを含み得る。コンピュータ解析は、個々のフレームに対して実行され
てもよく、例えば、フレーム間の動き又は他の変化を検出するために、複数のフレームに
わたって実行されてもよい。幾つかの実施形態において、コンピュータ解析としては、Ｖ
ｉｏｌａ－Ｊｏｎｅｓ物体検出、スケール不変特徴変換（ＳＩＦＴ）、配向勾配ヒストグ
ラム（ＨＯＧ）特徴、畳み込みニューラルネットワーク（ＣＮＮ）、又は任意の他の形態
の物体検出アルゴリズムなどの物体検出アルゴリズムを挙げることができる。他の例示的
なアルゴリズムとしては、ビデオ追跡アルゴリズム、動き検出アルゴリズム、特徴検出ア
ルゴリズム、カラーベースの検出アルゴリズム、テクスチャベースの検出アルゴリズム、
形状ベースの検出アルゴリズム、ブースティングベースの検出アルゴリズム、顔検出アル
ゴリズム、又はビデオフレームを解析するための任意の他の適切なアルゴリズムを挙げる
ことができる。一例では、機械学習モデルは、ビデオのマーカを生成するためにトレーニ
ング例を使用してトレーニングされてもよく、トレーニングされた機械学習モデルは、ビ
デオを解析し、そのビデオのマーカを生成するために使用されてもよい。そのように生成
されたマーカは、マーカのビデオ内の位置、マーカのタイプ、マーカの特性などを含むこ
とができる。そのようなトレーニング例の一例は、生成される所望のマーカのリストと共
に、場合によってはマーカのビデオ内の位置、マーカのタイプ、マーカの特性などの各所
望のマーカの情報と共に、外科的処置の少なくとも一部を示すビデオクリップを含むこと
ができる。
このコンピュータ解析は、手術段階、術中事象、事象特性、及び／又はビデオ映像に現
れる他の特徴を識別するために使用され得る。例えば、幾つかの実施形態では、コンピュ
ータ解析を使用して、例えば上述のように、外科的処置で使用される１つ以上の医療機器
を識別することができる。医療器具の識別に基づいて、医療機器に関連するビデオ映像内
の位置で特定の術中事象を識別することができる。例えば、メス又は他の器具は、切開が
行われていることを示すことができ、切開を識別するマーカがこの位置でタイムラインに
含まれ得る。幾つかの実施形態では、例えば上述したように、コンピュータ解析を使用し
てビデオ映像内で解剖学的構造を識別することができる。例えば、開示された方法は、患
者の臓器、組織、流体又は他の構造を識別して、タイムライン及びそれらのそれぞれの位
置に含めるマーカを決定することを含み得る。幾つかの実施形態では、ビデオマーカの位
置は、医療機器と解剖学的構造との間の相互作用に基づいて決定することができ、特定の
術中事象、外科的処置のタイプ、事象特性、又はマーカ位置を識別するのに有用な他の情
報を示すことができる。例えば、視覚的行動認識アルゴリズムを使用して、ビデオを解析
し、医療機器と解剖学的構造との間の相互作用を検出することができる。マーカを配置す
るためにビデオ映像内で検出され得る特徴の他の例としては、外科医又は他の医療専門家
の動き、患者の特性、外科医の特性又は他の医療専門家の特性、実行されている動作のシ
ーケンス、動作又は事象のタイミング、解剖学的構造の特性、医学的状態、又は特定の外
科的処置、手術段階、術中事象、及び／又はビデオ映像に現れる事象特性を識別するため
に使用され得る任意の他の情報を挙げることがでできる。
幾つかの実施形態では、マーカ位置は、トレーニングされた機械学習モデルを使用して
識別することができる。例えば、機械学習モデルは、トレーニング例を使用してトレーニ
ングすることができ、各トレーニング例は、ビデオ映像内の位置を示すラベルと共に、外
科的処置、手術段階、術中事象、及び／又は事象特性に関連することが知られているビデ
オ映像を含むことができる。トレーニングされた機械学習モデルを使用して、マーカ位置
を決定するための他のビデオ映像において同様の段階及び事象を識別することができる。
ロジスティック回帰モデル、線形回帰モデル、回帰モデル、ランダムフォレストモデル、
ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル
、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティン
グアルゴリズム、人工ニューラルネットワーク（例えば、ディープニューラルネットワー
ク、畳み込みニューラルネットワークなど）、又は任意の他の形態の機械学習モデルもし
くはアルゴリズムを含む、様々な機械学習モデルを使用することができる。
幾つかの実施形態では、ビデオマーカは、上述したビデオインデックス付け技術と併せ
て識別することができる。上述したように、ビデオ映像は、ビデオ映像内で識別された手
術段階、術中事象、及び／又は事象特性に基づいてインデックス付けされ得る。この情報
は、図６を参照して説明したように、データ構造６００などのデータ構造に記憶すること
ができる。データ構造は、ビデオ映像内の段階及び事象に関連付けられた映像位置及び／
又は事象位置を含み得る。幾つかの実施形態では、タイムラインに表示されるマーカは、
ビデオ内のこれらの位置に対応することができる。したがって、ビデオ映像をインデック
ス付けするための上記の技術又はプロセスのいずれも、タイムラインに提示するためのマ
ーカ位置を決定することに同様に適用することができる。
本開示の様々な例示的な実施形態によれば、マーカは、色又は臨界レベルの少なくとも
１つによってコード化されてもよい。マーカのコーディングは、マーカのタイプ、特性、
又は特性の任意の指標であり得る。コーディングは、ビデオのどの位置が対象のものであ
り得るかを視覚的に決定する際にユーザにとって有用であり得る。マーカが色によってコ
ード化される場合、手術タイムラインに表示されるマーカの色は、所定のカラースキーム
に基づいてマーカの特性又は特性を示すことができる。例えば、マーカは、マーカが表す
術中手術事象のタイプに応じて異なる色を有することができる。幾つかの例示的な実施形
態では、切開、切除、切除、結紮、移植片、又は様々な他の事象に関連するマーカは、そ
れぞれ異なる色で表示されてもよい。他の実施形態では、術中有害事象は１つの色（例え
ば、赤色）に関連付けられてもよく、計画された事象は別の色（例えば、緑色）に関連付
けられてもよい。幾つかの実施形態では、カラースケールを使用することができる。例え
ば、有害事象の重症度は、黄色～赤色の範囲のカラースケール、又は他の適切なカラース
ケールで表すことができる。
幾つかの実施形態では、マーカの位置及び／又はサイズは、臨界レベルに関連付けられ
得る。臨界レベルは、マーカによって識別された事象、動作、技法、段階、又は他の発生
の相対的な重要性を表すことができる。したがって、本明細書で使用される場合、「臨界
レベル」という用語は、外科的処置内の危険な結果を防止するための動作の即時必要性の
任意の指標を指す。例えば、臨界レベルは、例えば特定の値の範囲内の数値指標（例えば
、「１．１２」、「３．８４」、「７」、「－４．０１」などである）を含むことができ
る。別の例では、臨界レベルは、有限数の離散的レベル（例えば、「レベル０」、「レベ
ル１」、「レベル２」、「高臨界」、「低臨界」、「非臨界」などである）を含むことが
できる。
情報を表すためにマーカの外観を区別するための一例として色が提供されているが、様
々な他の技術が使用されてもよい。例えば、マーカは、様々なサイズ、形状、位置、向き
、フォントサイズ、フォントタイプ、フォント色、マーカアニメーション、又は他の視覚
的特性を有することができる。幾つかの実施形態では、マーカは、それらが関連付けられ
ている事象、動作、又は段階のタイプに応じて異なるアイコンに関連付けられ得る。例え
ば、図４に示すように、決定ジャンクションに関連付けられ得るマーカ４３２は、合併症
などの別のタイプの事象に関連付けられ得るマーカ４３４とは異なるアイコンを有し得る
。アイコンは、その位置に関連付けられた術中事象のタイプを表すことができる。例えば
、マーカ４３６は、ビデオ内のこの位置で切開が行われたことを示すことができる。アイ
コン（又は他の視覚特性）は、計画されていない事象と計画された事象との間、エラーの
タイプ（例えば、誤通信エラー、判断エラー、又は他の形態のエラー）、発生した特定の
有害事象、実行されている技術のタイプ、実行されている手術段階、術中手術事象の位置
（例えば、腹壁における位置など）、処置を実行している外科医、外科的処置の転帰、又
は様々な他の情報を区別するために使用され得る。
幾つかの例示的な実施形態では、１つ以上のマーカは、外科的処置の意思決定ジャンク
ションに対応する意思決定ジャンクションマーカを含むことができる。幾つかの実施形態
では、そのような意思決定ジャンクションマーカは、他の形態又はタイプのマーカと視覚
的に区別することができる。例示的な例として、意思決定ジャンクションマーカは、マー
カ４３２によって図４に示されるように、位置が意思決定ジャンクションに関連付けられ
ていることを示すアイコンを有することができる。本明細書で使用される場合、意思決定
ジャンクションは、決定が行われる処置、又は選択されたタイプの決定もしくは複数の選
択されたタイプの決定の決定が行われる処置の任意の部分を指すことができる。例えば、
意思決定ジャンクションマーカは、複数の動作コースが可能であり、外科医が１つのコー
スを別のコースを辿ることを選択する外科的処置を描写するビデオの位置を示すことがで
きる。例えば、外科医は、計画された外科的処置から離れるか、予防措置をとるか、器官
又は組織を除去するか、特定の器具を使用するか、特定の外科的手技を使用するかどうか
、又は外科医が直面し得る任意の他の術中決定を決定することができる。一例では、意思
決定ジャンクションは、処置の転帰に大きな影響を及ぼす決定が行われる処置の一部を指
すことができる。別の例では、意思決定ジャンクションは、明確な意思決定指針を持たな
い決定を行わなければならない処置の一部を指すことができる。更に別の例では、意思決
定ジャンクションは、外科医が２つ以上の実行可能な代替案に直面し、２つ以上の実行可
能な代替案のうちのより良い代替案（例えば、特定のリスクを低減すると予測される代替
案、転帰を改善すると予測される代替案、コストを低減すると予測される代替案などであ
る）を選択することが少なくとも特定の数の要因（例えば、少なくとも２つの要因、少な
くとも５つの要因、少なくとも１０の要因、少なくとも１００の要因などに基づく）に基
づく処置の一部を指すことができる。更なる例では、意思決定ジャンクションは、外科医
が特定のタイプの決定に直面し、特定のタイプが選択された決定タイプのグループに含ま
れる処置の一部を指すことができる。
意思決定ジャンクションは、上述のコンピュータ解析を使用して検出することができる
。幾つかの実施形態では、ビデオ映像を解析して、決定がなされたことを示すことができ
る外科医によって実行された特定の動作又は動作のシーケンスを識別することができる。
例えば、外科医が処置中に一時停止した場合、異なる医療デバイスの使用を開始した場合
、又は異なる一連の動作に変更した場合、これは決定がなされたことを示し得る。幾つか
の実施形態では、意思決定ジャンクションは、その場所のビデオ映像で識別された手術段
階又は術中事象に基づいて識別することができる。例えば、出血などの有害事象を検出す
ることができ、これは有害事象に対処する方法について決定を行わなければならないこと
を示し得る。別の例として、外科的処置の特定の段階は、複数の可能な行動の経過と関連
付けられてもよい。したがって、ビデオ映像内のこの手術段階を検出することは、意思決
定ジャンクションを示すことができる。幾つかの実施形態では、トレーニングされた機械
学習モデルを使用して、意思決定ジャンクションを識別することができる。例えば、ビデ
オ内の意思決定ジャンクションを検出するためにトレーニング例を使用して機械学習モデ
ルをトレーニングすることができ、トレーニングされた機械学習モデルを使用してビデオ
を解析し、意思決定ジャンクションを検出することができる。そのようなトレーニング例
の一例は、ビデオクリップ内の意思決定ジャンクションの位置を示すラベルと共に、又は
ビデオクリップ内の意思決定ジャンクションの欠如を示すラベルと共に、ビデオクリップ
を含むことができる。
意思決定ジャンクションマーカの選択は、外科医が２つ以上の対応する他の外科的処置
からの２つ以上の別のビデオクリップを見ることを可能にすることができ、それによって
観察者が別の手法を比較することを可能にする。別のビデオクリップは、現在ユーザに表
示されているもの以外の処置を示す任意のビデオクリップであってもよい。そのような代
替案は、表示のために出力されている現在のビデオに含まれていない他のビデオ映像から
描画されてもよい。或いは、現在のビデオ映像が異なる処置のコンパイルを含む場合、代
替映像は、表示されている現在のビデオ映像の異なる位置から描画されてもよい。他の外
科的処置は、表示のために出力されている現在のビデオに示されている特定の処置以外の
任意の外科的処置であってもよい。幾つかの実施形態では、他の外科的処置は、表示のた
めに出力されているビデオに示されているのと同じタイプの外科的処置であってもよいが
、異なる時間に、異なる患者で、及び／又は異なる外科医によって行われる。幾つかの実
施形態では、他の外科的処置は、同じタイプの処置でなくてもよく、意思決定ジャンクシ
ョンマーカによって識別されたものと同じ又は同様の意思決定ジャンクションを共有して
もよい。幾つかの実施形態では、２つ以上のビデオクリップは、異なる行為を提示するこ
とができる。例えば、２つ以上のビデオクリップは、意思決定ジャンクションマーカによ
って表されるように、現在のビデオで取られたものとは別の動作の選択を表すことができ
る。
別のビデオクリップは、様々な方法で提示することができる。幾つかの実施形態では、
意思決定ジャンクションマーカを選択すると、２つ以上の別のビデオクリップが自動的に
表示され得る。例えば、別のビデオクリップのうちの１つ以上をビデオ再生領域４１０に
表示することができる。幾つかの実施形態では、ビデオ再生領域は、別のビデオクリップ
及び／又は現在のビデオのうちの１つ以上を示すために分割又は分割されてもよい。幾つ
かの実施形態では、別のビデオクリップは、ビデオ再生領域４１０の上、下、又は横など
の別の領域に表示されてもよい。幾つかの実施形態では、別のビデオクリップは、第２の
ウィンドウ、別の画面、又は再生領域４１０以外の任意の他の空間に表示されてもよい。
他の実施形態によれば、決定マーカを選択することは、別のビデオクリップを見るための
メニューを開くか、そうでなければオプションを表示することができる。例えば、決定命
名マーカを選択すると、関連する別のビデオクリップ内の行動の描写を含む別のビデオメ
ニューがポップアップ表示され得る。別のビデオクリップは、サムネイル、テキストベー
スの記述、ビデオ見直し（例えば、より小さい解像度のバージョン又は短縮クリップを再
生する）などとして提示されてもよい。メニューは、ビデオにオーバーレイされてもよく
、ビデオと併せて表示されてもよく、別の領域に表示されてもよい。
本開示の実施形態によれば、意思決定ジャンクションマーカの選択は、選択された意思
決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示を引き起こす
ことができる。別のビデオと同様に、別の想定し得る決定は、タイムライン及び／又はビ
デオにオーバーレイされてもよく、又はビデオの上、下及び／又は側面などの別個の領域
に、別個のウィンドウに、別個の画面に、又は任意の他の適切な方法で表示されてもよい
。別の想定し得る決定は、外科医が意思決定ジャンクションで行うことができた別の決定
のリストであってもよい。また、リストは、画像（例えば、代替動作を示す）、フロー図
、統計（例えば、成功率、失敗率、使用率、又は他の統計情報）、詳細な説明、ハイパー
リンク、又は、再生を見る外科医に関連し得る別の想定し得る決定と関連付けられる他の
情報を含んでもよい。そのようなリストはインタラクティブであり、視聴者がリストから
別の行動方針を選択することを可能にし、それによって別の行動方針のビデオ映像を表示
させることができる。
更に、幾つかの実施形態では、１つ以上の別の想定し得る決定と関連付けられる１つ以
上の推定される転帰を、１つ以上の別の想定し得る決定の表示と併せて表示することがで
きる。例えば、別の想定し得る決定のリストは、別の想定し得る決定のそれぞれの推定転
帰を含むことができる。推定転帰は、外科医が別の想定し得る決定を行った場合に発生す
ると予測される転帰を含むことができる。そのような情報は、トレーニング目的に役立つ
場合がある。例えば、外科医は、ビデオよりも適切な動作をとることができたと決定する
ことができ、それに応じて将来の処置を計画することができる。幾つかの実施形態では、
別の想定し得る決定のそれぞれは、複数の推定転帰と関連付けられてもよく、それぞれの
確率が提供されてもよい。１つ以上の推定転帰は、様々な方法で決定することができる。
幾つかの実施形態では、推定転帰は、別の想定し得る決定に関連する既知の確率に基づく
ことができる。例えば、同様の意思決定ジャンクションを有する以前の外科的処置からの
集約データを使用して、マーカに関連する別の想定し得る決定の転帰を予測することがで
きる。幾つかの実施形態では、確率及び／又はデータは、現在の外科的処置の１つ以上の
特性又は特性に合わせて調整することができる。例えば、推定転帰を決定する際に、患者
の特性（患者の病状、年齢、体重、病歴、又は他の特性など）、外科医のスキルレベル、
処置の困難さ、処置のタイプ、又は他の要因を考慮することができる。ビデオインデック
ス付けに関して上述した事象特性を含む他の特性も解析することができる。
本開示によれば、外科的処置の意思決定ジャンクションは、第１の患者に関連付けられ
てもよく、それぞれの同様の意思決定ジャンクションは、第１の患者と同様の特性を有す
る患者に関連付けられた過去の外科的処置から選択されてもよい。過去の外科的処置は、
それぞれの同様の意思決定ジャンクションと同様の推定転帰に基づいて、又は現在のビデ
オの患者と過去の外科的処置の患者との間の類似性のために、事前に選択又は自動的に選
択することができる。これらの類似性又は特性としては、患者の性別、年齢、体重、身長
、体力、心拍数、血圧、体温、患者が特定の医学的状態又は疾患を示すかどうか、医学的
治療歴、又は関連し得る任意の他の形質又は状態を挙げることができる。
同様に、幾つかの実施形態では、外科的処置の意思決定ジャンクションは、第１の医療
専門家に関連付けられてもよく、それぞれの同様の過去の意思決定ジャンクションは、第
１の医療専門家と同様の特性を有する医療専門家に関連付けられた過去の外科的処置から
選択されてもよい。これらの特性としては、医療専門家の年齢、医学的背景、経験レベル
（例えば、外科医がこの又は同様の外科的処置を行った回数、外科医が行った外科的処置
の総数などで）、スキルレベル、トレーニング履歴、この又は他の外科的処置の成功率、
又は関連し得る他の特性を挙げることができるが、これらに限定されない。
幾つかの例示的な実施形態では、外科的処置の意思決定ジャンクションは、外科的処置
における第１の事前事象に関連付けられ、同様の過去の意思決定ジャンクションは、第１
の事前事象に類似する事前事象を含む過去の外科的処置から選択される。一例では、事前
事象は、例えば、事前事象のタイプ、事前事象の特性などに基づいて、第１の事前事象に
類似していると決定され得る。例えば、２つの間の類似性指標が選択された閾値を上回る
場合、事前事象は、第１の事前事象と同様であると決定され得る。そのような類似性指標
の幾つかの非限定的な例が上記に記載されている。事前事象の発生及び／又は特性は、別
の想定し得る決定の推定転帰を決定するのに関連し得る。例えば、外科医が患者との合併
症に直面した場合、合併症は少なくとも部分的に最も適切な転帰を決定することができる
が、合併症がない場合は異なる転帰が適切であり得る。第１の事前事象は、上記で詳細に
説明した術中事象のいずれかを含むことができるが、これに限定されない。第１の事前事
象の幾つかの非限定的な特性は、上述した事象特性のいずれかを含むことができる。例え
ば、第１の事前事象としては、出血、腸間膜気腫、損傷、計画されていない開放への転換
、計画されているよりも有意に大きい切開、高血圧、低血圧、徐脈、低酸素血症、癒着、
ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などの有害事象又は合併
症を挙げることができる。また、第１の事前事象としては、成功した切開、薬物の投与、
外科用器具の使用、切除、切除、結紮、移植片、縫合、縫合、又は任意の他の事象などの
正の又は計画された事象を挙げることもできる。
本開示によれば、外科的処置の意思決定ジャンクションは、医学的状態に関連付けられ
てもよく、それぞれの同様の意思決定ジャンクションは、同様の医学的状態を有する患者
に関連付けられた過去の外科的処置から選択されてもよい。医学的状態は、患者の健康又
は幸福に関連する患者の任意の状態を含むことができる。幾つかの実施形態では、医学的
状態は、外科的処置によって治療されている状態であり得る。他の実施形態では、医学的
状態は別個の医学的状態であり得る。医学的状態は、様々な方法で決定することができる
。幾つかの実施形態では、医学的状態は、複数の映像と関連付けられたデータに基づいて
決定することができる。例えば、ビデオは、医学的状態を含む情報でタグ付けされてもよ
い。他の実施形態では、医学的状態は、少なくとも１つのビデオの解析によって決定する
ことができ、少なくとも１つのビデオに現れる解剖学的構造の外観に基づくことができる
。例えば、組織の色、別の組織の色に対する１つの組織の相対的な色、器官のサイズ、別
の器官のサイズに対する１つの器官の相対的なサイズ、胆嚢又は他の器官の外観、裂傷又
は他のマークの存在、又は解剖学的構造に関連する任意の他の視覚的指標を解析して、病
状を決定することができる。一例では、機械学習モデルは、ビデオから医学的状態を決定
するためにトレーニング例を使用してトレーニングされてもよく、トレーニングされた機
械学習モデルは、少なくとも１つのビデオ映像を解析し、医学的状態を決定するために使
用されてもよい。そのようなトレーニング例の一例は、１つ以上の医学的状態を示すラベ
ルと共に、外科的処置のビデオクリップを含むことができる。
本開示の幾つかの態様では、それぞれの同様の過去の意思決定ジャンクションにおいて
行われた過去の意思決定の分布に関する情報が、別の想定し得る意思決定の表示と併せて
表示され得る。例えば、上述したように、特定の意思決定ジャンクションは、一連の動作
に関する複数の想定し得る決定に関連付けられ得る。過去の決定は、同じ又は同様の意思
決定ジャンクションに直面したときに以前の外科的処置において外科医によって行われた
決定を含むことができる。例えば、過去の決定のそれぞれは、上述した別の想定し得る決
定のうちの１つに対応することができる。したがって、本明細書で使用される場合、それ
ぞれの同様の過去の意思決定ジャンクションは、過去の決定が行われたときに過去の外科
的処置で発生した意思決定ジャンクションを指す。幾つかの実施形態では、それぞれの同
様の過去の意思決定ジャンクションは、マーカによって識別された意思決定ジャンクショ
ンと同じであってもよい。例えば、意思決定ジャンクションが出血などの有害事象である
場合、過去の決定は、他の外科医が以前の外科的処置で出血にどのように対処したかに対
応することができる。他の実施形態では、意思決定ジャンクションは同一でなくてもよい
が、同様であってもよい。例えば、硬膜裂傷に直面した外科医によって行われる想定し得
る決定は、他の形態の裂傷と同様であってもよく、したがって、硬膜裂傷に関連する過去
の決定の分布は、他の形態の裂傷に関連し得る。過去の決定は、例えば、上述のコンピュ
ータ解析技術を使用してビデオ映像を解析することによって識別することができる。幾つ
かの実施形態では、過去の決定は、過去の決定の分布を表示するためにそれらに容易にア
クセスすることができるように、上述したビデオインデックス付け技術を使用してインデ
ックス付けされることができる。一例では、分布は、例えば、共通の特性を有するそれぞ
れの同様の過去の意思決定ジャンクションで行われた過去の意思決定の分布を提示する条
件付き分布を含むことができる。別の例では、分布は、例えば、全ての同様の過去の意思
決定ジャンクションで行われた過去の意思決定の分布を提示する、無条件の分布を含むこ
とができる。
表示された分布は、想定し得る決定のそれぞれが、それぞれの同様の過去の意思決定ジ
ャンクションに関連付けられた他の別の想定し得る決定の中でどれだけ共通していたかを
示すことができる。幾つかの実施形態では、表示された分布は、各決定が行われた回数を
含むことができる。例えば、特定の意思決定ジャンクションは、決定Ａ、決定Ｂ、及び決
定Ｃの３つの別の想定し得る決定を有することができる。同様の意思決定ジャンクション
で行われた過去の決定に基づいて、これらの別の想定し得る決定のそれぞれが実行された
回数を決定することができる。例えば、決定Ａが１６７回行われ、決定Ｂが４７回行われ
、決定Ｃが１３回行われてもよい。分布は、別の想定し得る決定のそれぞれのリストとし
て、それらが実行された回数と共に表示されてもよい。また、表示された分布は、例えば
、比率、パーセンテージ、又は他の統計情報を表示することによって、決定のそれぞれの
相対頻度を示すことができる。例えば、分布は、決定Ａ、Ｂ、及びＣがそれぞれ過去の決
定の７３．６％、２０．７％、及び５．７％で行われたことを示すことができる。幾つか
の実施形態では、分布は、棒グラフ、ヒストグラム、円グラフ、分布曲線、又は分布を示
すために使用され得る任意の他のグラフィカル表示などの分布のグラフィカル表示として
表示され得る。
幾つかの実施形態では、決定のサブセットのみが表示されてもよい。例えば、最も一般
的な決定のみが、決定がなされた回数に基づいて表示され得る（例えば、閾値回数を超え
るなど）。同様の病状、患者の特性、医療専門家の特性、及び／又は事前事象に関連する
外科的処置を識別することを含む、同様の過去の意思決定ジャンクションを識別するため
の上記の様々な方法を使用することができる。
幾つかの実施形態では、１つ以上の推定転帰は、それぞれの同様の意思決定ジャンクシ
ョンを含む過去の外科的処置の複数のビデオの解析の結果であり得る。例えば、ビデオ映
像のリポジトリは、上述した物体及び／又は動き検出アルゴリズムなどの様々なコンピュ
ータ解析技術を使用して解析され、それにより、マーカによって識別された意思決定ジャ
ンクションと同じ又は同様の特性を共有する意思決定ジャンクションを含むビデオを識別
することができる。これは、タイムラインに提示されたビデオ内の意思決定ジャンクショ
ンを識別するために使用されたものと同じ又は同様の手術段階、術中手術事象、及び／又
は事象特性を有する他のビデオ映像を識別することを含むことができる。別の想定し得る
決定の転帰は、過去の外科的処置の転帰に基づいて推定することができる。例えば、縫合
を実行する特定の方法が一貫して患者による完全な回復をもたらす場合、この転帰は、こ
の可能な決定のために推定されてもよく、タイムライン上に表示されてもよい。
幾つかの例示的な実施形態では、解析は、コンピュータビジョンアルゴリズムの実装の
使用を含み得る。コンピュータビジョンアルゴリズムは、上述のコンピュータビジョンア
ルゴリズムのいずれかと同じ又は同様であってもよい。そのようなコンピュータアルゴリ
ズムの一例は、上述の物体検出及び追跡アルゴリズムを含むことができる。そのようなコ
ンピュータビジョンアルゴリズムの別の例は、トレーニングされた機械学習モデルの使用
を含むことができる。そのようなコンピュータビジョンアルゴリズムの他の非限定的な例
は、上述されている。例えば、意思決定ジャンクションマーカがビデオで発生した特定の
有害事象に基づいて識別された場合、同じ又は同様の有害事象を有する他のビデオ映像を
識別することができる。ビデオ映像は、過去の手術ビデオで行われた決定の転帰を決定す
るために更に解析されてもよい。これは、上述したのと同じ又は同様のコンピュータ解析
技術を含むことができる。幾つかの実施形態では、これは、決定の結果を識別するために
ビデオを解析することを含むことができる。例えば、意思決定ジャンクションが涙などの
解剖学的構造に関連する有害事象に関連する場合、解剖学的構造は、有害事象が回復した
かどうか、どれだけ迅速に回復したか、更なる有害事象が発生したかどうか、患者が生存
したかどうか、又は転帰の他の指標を決定するために、決定後の様々なフレームで評価さ
れ得る。
幾つかの実施形態では、転帰を決定するために更なる情報も使用され得る。例えば、解
析は、過去の外科的処置の複数のビデオに関連付けられた１つ以上の電子医療記録に基づ
くことができる。例えば、転帰を決定することは、患者が回復したかどうか、患者が回復
した速さ、更なる合併症があったかどうかなどを決定するために特定の決定がなされたビ
デオに関連する電子医療記録を参照することを含むことができる。そのような情報は、ビ
デオ映像の範囲外で、後の時間に生じる可能性がある転帰を予測するのに有用であり得る
。例えば、転帰は、外科的処置の数日後、数週間後、又は数ヶ月後であり得る。幾つかの
実施形態では、追加情報を使用して、解析にどのビデオを含めるかを解析に知らせること
ができる。例えば、医療記録から収集された情報を使用して、同様の患者の病歴、疾患の
タイプ、診断のタイプ、治療歴（過去の外科的処置を含む）、ヘルスケア専門家の識別情
報、ヘルスケア専門家のスキルレベル、又は任意の他の関連データを共有するビデオを識
別することができる。これら又は他の特性を共有するビデオは、それぞれの別の想定し得
る決定に対してどのような転帰が予測され得るかについてのより正確な考えを提供するこ
とができる。
同様の意思決定ジャンクションは、それらが現在の意思決定ジャンクションとどの程度
密接に相関するかに基づいて識別することができる。幾つかの実施形態では、それぞれの
同様の意思決定ジャンクションは、類似性メトリックに従う外科的処置の意思決定ジャン
クションと同様であり得る。メトリックは、意思決定ジャンクションがどの程度密接に関
連しているかの任意の値、分類、又は他の指標であってもよい。そのようなメトリックは
、処置又は技術がどれだけ適合するかを決定するために、コンピュータビジョン解析に基
づいて決定されてもよい。また、メトリックは、意思決定ジャンクションが共通に有する
特性の数及び特性が一致する程度に基づいて決定されてもよい。例えば、同様の医学的状
態及び身体的特性を有する患者との２つの意思決定ジャンクションには、２人のより特徴
的な患者よりも類似性メトリックに基づいてより高い類似性が割り当てられ得る。様々な
他の特性及び／又は考慮事項も使用することができる。これに加えて又は代えて、類似性
メトリックは、上述の類似性指標などの任意の類似性指標に基づくことができる。例えば
、類似性メトリックは、類似性指標と同一であってもよく、類似性指標の関数であっても
よく、以下同様である。
意思決定ジャンクションマーカに加えて、又はその代わりに、様々な他のマーカタイプ
を使用することができる。幾つかの実施形態では、マーカは、術中の手術事象の発生に関
連するビデオ内の位置に関連付けることができる術中の手術事象マーカを含むことができ
る。マーカによって識別され得る様々な術中手術事象の例は、上述したビデオインデック
ス付けに関連するものを含めて、本開示全体を通して提供される。幾つかの実施形態では
、術中手術事象マーカは、その位置で術中手術事象が発生したことを示す汎用マーカであ
ってもよい。他の実施形態では、術中手術事象マーカは、事象のタイプ、事象が有害事象
であったかどうか、又は任意の他の特性を含む術中手術事象の特性を識別することができ
る。例示的なマーカを図４に示す。例示的な例として、マーカ４３４について示されてい
るアイコンは、一般的な術中手術事象マーカを表すために使用され得る。一方、マーカ４
３６は、その位置で切開が発生したことを識別するなど、より具体的な術中手術事象マー
カを表すことができる。図４に示すマーカは例として提供されており、様々な他の形態の
マーカを使用することができる。
これらの術中手術事象マーカは、上述したように、自動的に識別することができる。上
述したコンピュータ解析方法を使用して、医療機器、解剖学的構造、外科医の特性、患者
の特性、事象特性、又は他の特徴をビデオ映像内で識別することができる。例えば、識別
された医療機器と解剖学的構造との間の相互作用は、切開、縫合、又は他の術中事象が実
行されていることを示すことができる。幾つかの実施形態では、術中手術事象マーカは、
図６を参照して上述したデータ構造６００などのデータ構造で提供される情報に基づいて
識別することができる。
開示された実施形態と整合して、術中手術事象マーカの選択は、外科医が異なる外科的
処置からの別のビデオクリップを見ることができるようにし得る。幾つかの実施形態では
、別のビデオクリップは、選択された術中手術事象が処理された異なる方法を提示するこ
とができる。例えば、現在のビデオでは、外科医は、１つの技術に従って切開又は他の動
作を実行することができる。術中手術事象マーカを選択することにより、外科医は、切開
又は他の動作を実行するために使用され得る代替技術を見ることができる。別の例では、
術中手術事象が出血などの有害事象であってもよく、別のビデオクリップは、外科医が有
害事象に対処した他の方法を描写してもよい。幾つかの実施形態では、マーカが術中手術
事象に関連する場合、術中手術事象マーカの選択は、外科医が異なる外科的処置からの別
のビデオクリップを見ることを可能にすることができる。例えば、異なる外科的処置は、
異なるタイプ（腹腔鏡手術対胸腔鏡手術など）であってもよいが、同じ又は同様の術中手
術事象を依然として含み得る。また、外科的処置は、異なる医学的状態、異なる患者特性
、異なる医療専門家、又は他の区別を含む他の方法でも異なり得る。術中手術事象マーカ
を選択することにより、外科医は異なる外科的処置からの別のビデオクリップを見ること
ができる。
別のビデオクリップは、本明細書に記載の他の実施形態と同様に、様々な方法で表示さ
れてもよい。例えば、術中手術事象マーカを選択すると、メニューが表示され、そこから
外科医が別のビデオクリップを選択することができる。メニューは、選択された術中手術
事象が処理された異なる方法の説明、ビデオクリップのサムネイル、ビデオクリップの見
直し、及び／又はビデオクリップに関連付けられた他の情報、例えばそれらが記録された
日付、外科的処置のタイプ、外科的処置を実行する外科医の名前又は識別情報、又は任意
の他の関連情報を含むことができる。
本開示の幾つかの実施形態によれば、少なくとも１つのビデオは、手続き時系列順に配
置された複数の外科的処置からの映像のコンパイルを含むことができる。手続き時系列順
は、外科的処置に対して発生する順序事象を指すことができる。したがって、映像のコン
パイルを手続き時系列順に配置することは、異なる患者からの異なる事象を、処置が単一
の患者に対して行われた場合に発生したであろう順序で配置することを含むことができる
。言い換えれば、異なる患者の様々な手術からコンパイルされたが、コンパイルの再生は
、映像が外科的処置内に現れる順序で映像を表示する。幾つかの実施形態では、映像のコ
ンパイルは、複数の外科的処置からの合併症を描写することができる。そのような実施形
態では、１つ以上のマーカは、複数の外科的処置に関連付けられてもよく、共通のタイム
ライン上に表示されてもよい。したがって、視聴者は単一のタイムラインと相互作用する
が、タイムラインに沿って提示されるビデオ映像は、異なる処置及び／又は異なる患者か
ら導き出され得る。表示され得る例示的な合併症は、ビデオインデックス付けに関して上
述されている。
図５は、開示された実施形態と整合する、手術ビデオを見直しするための例示的なプロ
セス５００を示すフローチャートである。プロセス５００は、１つ以上のマイクロプロセ
ッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つかの実施形態では
、プロセス５００は、必ずしも図示されたステップに限定されず、本明細書に記載された
様々な実施形態のいずれかがプロセス５００に含まれてもよい。ステップ５１０において
、プロセス５００は、例えば上述のように、外科的処置の少なくとも１つのビデオにアク
セスすることを含んでもよい。少なくとも１つのビデオは、前述したように、単一の外科
的処置からのビデオ映像を含んでもよく、又は複数の手術からの映像のコンパイルであっ
てもよい。プロセス５００は、ステップ５２０において、少なくとも１つのビデオを表示
のために出力させることを含むことができる。上述したように、少なくとも１つのビデオ
を表示用に出力させることは、少なくとも１つのビデオを画面又は他の表示デバイスに表
示させるための信号を送信すること、少なくとも１つのビデオを別のコンピューティング
デバイスにアクセス可能な場所に記憶すること、少なくとも１つのビデオを送信すること
、又はビデオを表示させることができる任意の他のプロセスもしくはステップを含むこと
ができる。
ステップ５３０において、プロセス５００は、手術タイムラインを表示するために出力
された少なくとも１つのビデオにオーバーレイすることを含むことができ、手術タイムラ
インは、手術段階、術中手術事象、及び意思決定ジャンクションのうちの少なくとも１つ
を識別するマーカを含む。幾つかの実施形態では、手術タイムラインは、ビデオと共に表
示される水平バーとして表されてもよい。マーカは、タイムラインに沿った形状、アイコ
ン、又は他のグラフィカル表示として表すことができる。図４は、そのような実施形態の
例を提供する。他の実施形態では、タイムラインは、時系列順の段階、事象、及び／又は
意思決定ジャンクションのテキストベースのリストであってもよい。マーカは、同様にテ
キストベースであってもよく、リストに含まれてもよい。
ステップ５４０は、外科医が少なくとも１つのビデオの再生を見ながら手術タイムライ
ン上の１つ以上のマーカを選択できるようにし、それにより、ビデオの表示を選択された
マーカと関連付けられる位置にスキップさせることを含むことができる。幾つかの実施形
態では、外科医は、過去の外科的処置からの情報を含むことができる、マーカに関連する
事象又は発生に関する追加情報を見ることができる。例えば、マーカは、術中手術事象に
関連付けられてもよく、マーカを選択することにより、外科医は、術中手術事象に関連付
けられた過去の外科的処置の別のビデオクリップを見ることができる。例えば、外科医は
、同様の術中手術事象が異なる方法で処理された、異なる技術が使用された、又は転帰が
変化した他の手術からのクリップを見ることができる。幾つかの実施形態では、マーカは
、外科的処置中に行われた決定を表す意思決定ジャンクションマーカであってもよい。意
思決定ジャンクションマーカを選択することにより、外科医は、別の決定を含む決定に関
する情報を見ることができる。そのような情報は、同様の意思決定ジャンクション、別の
想定し得る決定のリスト又は分布、別の想定し得る決定の推定転帰、又は任意の他の関連
情報を含む過去の外科的処置のビデオを含むことができる。プロセス５００に記載された
ステップに基づいて、外科医又は他のユーザは、タイムラインインタフェースを使用して
手術ビデオをより効果的且つより効率的に見直しすることができる。
外科的処置の準備において、外科医は、実行された同様の外科的処置のビデオを見直し
することが有益であることが多い。しかしながら、外科医が外科的処置の準備において関
連する映像又は映像の一部を識別することは、面倒で時間がかかりすぎる可能性がある。
したがって、映像の内容に基づいて手術ビデオ映像を効率的且つ効果的にインデックス付
けして、外科医又は他の医療専門家が容易にアクセス及び見直しできるようにする、従来
にない手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む、ビデ
オインデックス付けに関するものとなり得る。例えば、手術段階内の手術事象は、手術映
像内で自動的に検出され得る。視聴者は、事象に直接にスキップし、指定された特性を有
する事象のみを見るなどすることができる。幾つかの実施形態では、ユーザは、手術段階
（例えば、切開）内で、特性（例えば、特定の合併症）を有する事象（例えば、器官への
不注意な損傷）を指定することができ、その特性を共有する１つ以上の事象のビデオクリ
ップをユーザに提示することができる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒
体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法
の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得
る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意
味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの
異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、インデックス付けされるビデオ映像にアクセ
スすることを含むことができ、インデックス付けされるべきビデオ映像は、特定の外科的
処置の映像を含む。本明細書で使用される場合、ビデオは、記録された画像及び／又は音
声を含む任意の形態の記録された視覚媒体を含むことができる。例えば、ビデオは、図１
に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像
捕捉デバイスによって捕捉された１つ以上の画像のシーケンスを含むことができる。画像
は、個々のファイルとして記憶されてもよく、対応する音声データを含むことができるビ
デオファイルなどの結合フォーマットで記憶されてもよい。幾つかの実施形態では、ビデ
オは、画像捕捉デバイスから出力される生データ及び／又は画像として記憶することがで
きる。他の実施形態では、ビデオを処理することができる。例えば、ビデオファイルとし
ては、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（
ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、Ｍ
Ｐ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）、材料交換フ
ォーマット（ＭＸＦ）、非圧縮フォーマット、非可逆圧縮フォーマット、可逆圧縮フォー
マット、又は任意の他の適切なビデオ・ファイル・フォーマットを挙げることができる。
ビデオ映像は、画像捕捉デバイスによって捕捉されたビデオの長さを指すことができる
。幾つかの実施形態では、ビデオ映像は、それらが最初に捕捉された順序の画像のシーケ
ンスを含むビデオの長さを指すことができる。例えば、ビデオ映像は、ビデオコンパイル
を形成するためにコンパイルされていないビデオを含むことができる。他の実施形態では
、ビデオ映像は、不動性に関連するフレームを除去するため、又は最初に連続して捕捉さ
れないフレームをコンパイルするためなど、１つ以上の方法でコンパイルされてもよい。
ビデオ映像にアクセスすることは、メモリデバイスなどの記憶場所からビデオ映像を読み
出すことを含み得る。ビデオ映像は、ローカルハードドライブなどのローカルメモリから
アクセスされてもよく、例えばネットワーク接続を介してリモートソースからアクセスさ
れてもよい。本開示と整合して、インデックス付けは、より効率的及び／又は効果的に検
索され得るようにデータを記憶するためのプロセスを指すことができる。ビデオ映像をイ
ンデックス付けすることは、ビデオ映像が特性又は指標に基づいて識別され得るように、
１つ以上の特性又は指標をビデオ映像に関連付けることを含み得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意
の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び器官の物理
的変化を伴う他の技術を含み得る。そのような外科的処置の幾つかの例としては、腹腔鏡
手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫垂切除、頸
動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例えば、部分
的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デブリードマ
ン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節置換術、子
宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳房切除術（
例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立腺切除術、
前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、椎間孔切開
術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人工内耳手術
、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術、経カテー
テル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態の切除を伴
う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して説明されて
いるが、他の形態の医療処置、又は一般的な処置にも適用できることが理解されるべきで
ある。
幾つかの例示的な実施形態では、アクセスされたビデオ映像は、手術台の上方、患者の
手術体腔内、患者の臓器内、又は患者の脈管構造内の位置のうちの少なくとも１つに位置
される少なくとも１つの画像センサを介して捕捉されるビデオ映像を含むことができる。
画像センサは、映像を記録可能なセンサであればよい。手術台の上方の位置に配置された
画像センサは、患者の上方から画像を捕捉するように構成された患者の外部に配置された
任意の画像センサを含むことができる。例えば、画像センサは、図１に示すように、カメ
ラ１１５及び／又は１２１を含むことができる。他の実施形態では、画像センサは、例え
ば体腔内など、患者の体内に配置されてもよい。本明細書で使用される場合、体腔は、物
体内の任意の比較的空いた空間を含むことができる。したがって、手術体腔は、外科的処
置又は手術が行われている患者の体内の空間、又は手術器具が存在及び／又は使用される
空間を指すことができる。手術体腔は、完全に空でなくてもよく、体内に存在する組織、
臓器、血液又は他の流体を含んでもよいことが理解される。器官は、生物の任意の自己完
結型領域又は部分を指し得る。ヒト患者の器官の幾つかの例には、心臓又は肝臓が含まれ
得る。脈管構造は、生物内の血管の系又はグループを指すことができる。手術体腔、臓器
、及び／又は脈管構造に配置された画像センサは、患者に挿入された手術器具に含まれる
カメラを含むことができる。
本開示の態様は、ビデオ映像を解析して、特定の外科的処置の手術段階に関連するビデ
オ映像の位置を識別することを含むことができる。ビデオ映像に関して本明細書で使用さ
れる場合、位置は、ビデオ映像内の任意の特定の位置又は範囲を指すことができる。幾つ
かの実施形態では、位置は、ビデオの特定のフレーム又はフレームの範囲を含むことがで
きる。したがって、ビデオ映像位置は、ビデオ映像ファイルの１つ以上のフレーム番号又
は他の識別子として表すことができる。他の実施形態では、位置は、ビデオ映像に関連付
けられた特定の時間を指すことができる。例えば、ビデオ映像の位置は、時間インデック
ス又はタイムスタンプ、時間範囲、特定の開始時間及び／又は終了時間、又はビデオ映像
内の位置の任意の他の指標を指すことができる。他の実施形態では、位置は、少なくとも
１つのフレーム内の少なくとも１つの特定の位置を指すことができる。したがって、ビデ
オ映像の位置は、１つ以上のピクセル、ボクセル、バウンディングボックス、バウンディ
ングポリゴン、バウンディングシェイプ、座標などとして表され得る。
本開示の目的のために、段階は、プロセス又は一連の事象の特定の期間又は段階を指す
ことができる。したがって、手術段階は、上述したように、外科的処置の特定の期間又は
段階を指すことができる。例えば、腹腔鏡下胆嚢切除術の手術段階としては、トロッカ配
置、準備、カロー三角切開、胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢包
装、肝床の清浄化及び凝固、胆嚢収縮などを挙げることができる。別の例では、白内障手
術の手術段階としては、準備、ポビドンヨード注射、角膜切開、水晶体嚢切開、水晶体超
音波乳化吸引、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷封止などを挙げること
ができる。更に別の例では、下垂体手術の手術段階としては、準備、鼻切開、鼻開創器の
設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻圧迫の設置などを挙げることが
できる。手術段階の幾つかの他の例としては、準備、切開、腹腔鏡位置決め、縫合などを
挙げることができる。
幾つかの実施形態では、ビデオ映像の位置を識別することは、ユーザ入力に基づくこと
ができる。ユーザ入力は、ユーザによって提供される任意の情報を含むことができる。ビ
デオインデックス付けに関して使用される場合、ユーザ入力は、ビデオ映像の位置の識別
に関連する情報を含むことができる。例えば、ユーザは、特定のフレーム番号、タイムス
タンプ、時間範囲、開始時間及び／又は停止時間、又はビデオ映像の位置を識別すること
ができる任意の他の情報を入力することができる。或いは、ユーザ入力は、使用される段
階、事象、処置、又はデバイスの入力又は選択を含むことができ、その入力は、特定のビ
デオ映像に（例えば、例えば、ルックアップテーブル又は他のデータ構造を介して）関連
付けることができる。ユーザ入力は、デスクトップコンピュータ、ラップトップ、テーブ
ル、携帯電話、ウェアラブルデバイス、モノのインターネット（ＩｏＴ）デバイス、又は
ユーザからの入力を受信するための任意の他の手段などのユーザデバイスのユーザインタ
フェースを介して受信することができる。インタフェースとしては、例えば、段階名の１
つ以上の選択リストを有する１つ以上のドロップダウンメニュー、ユーザが段階名を入力
できるようにする及び／又は数文字が入力された時点で段階名を示唆するデータ入力フィ
ールド、そこから段階名を選択することができる選択リスト、それぞれが異なる段階に関
連付けられた選択可能なアイコンのグループ、又は、ユーザが段階を識別又は選択できる
ようにする任意の他のメカニズムを挙げることができる。例えば、ユーザは、図７に関し
て以下でより詳細に説明するように、ユーザインタフェース７００と同様のユーザインタ
フェースを介して段階名を入力することができる。別の例では、ユーザ入力は、音声コマ
ンド及び／又は音声入力を介して受信されてもよく、ユーザ入力は、音声認識アルゴリズ
ムを使用して処理されてもよい。更に別の例では、ユーザ入力はジェスチャ（ハンドジェ
スチャなど）を介して受信されてもよく、ユーザ入力はジェスチャ認識アルゴリズムを使
用して処理されてもよい。
幾つかの実施形態では、ビデオ映像の位置を識別することは、コンピュータ解析を使用
してビデオ映像のフレームを解析することを含み得る。コンピュータ解析は、コンピュー
ティングデバイスを使用する任意の形態の電子解析を含むことができる。幾つかの実施形
態では、コンピュータ解析は、ビデオ映像の１つ以上のフレームの特徴を識別するために
１つ以上の画像認識アルゴリズムを使用することを含み得る。コンピュータ解析は、個々
のフレームに対して実行されてもよく、例えば、フレーム間の動き又は他の変化を検出す
るために、複数のフレームにわたって実行されてもよい。幾つかの実施形態において、コ
ンピュータ解析としては、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、スケール不変特徴変換（Ｓ
ＩＦＴ）、配向勾配ヒストグラム（ＨＯＧ）特徴、畳み込みニューラルネットワーク（Ｃ
ＮＮ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出アルゴリズムを挙げ
ることができる。他の例示的なアルゴリズムとしては、ビデオ追跡アルゴリズム、動き検
出アルゴリズム、特徴検出アルゴリズム、カラーベースの検出アルゴリズム、テクスチャ
ベースの検出アルゴリズム、形状ベースの検出アルゴリズム、ブースティングベースの検
出アルゴリズム、顔検出アルゴリズム、又はビデオフレームを解析するための任意の他の
適切なアルゴリズムを挙げることができる。一例では、ビデオ内の特定の位置を識別する
ためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、トレー
ニングされた機械学習モデルを使用してビデオ映像を解析し、ビデオ映像の位置を識別す
ることができる。そのようなトレーニング例の一例は、ビデオクリップ内の位置を示すラ
ベルと共に、又はビデオクリップ内に対応する位置が含まれていないことを示すラベルと
共に、ビデオクリップを含むことができる。
幾つかの実施形態では、コンピュータ画像解析は、以前に識別された手術段階を含むビ
デオフレーム例を使用してトレーニングされたニューラルネットワークモデルを使用する
ことによってビデオ映像位置又は段階タグのうちの少なくとも１つを識別することを含む
ことができる。言い換えれば、特定の手術段階に関連することが知られている１つ以上の
ビデオのフレームを使用して、例えば機械学習アルゴリズムを使用して、逆伝播を使用し
て、勾配降下最適化を使用するなどして、ニューラルネットワークモデルをトレーニング
することができる。したがって、トレーニングされたニューラルネットワークモデルを使
用して、１つ以上のビデオフレームが手術段階にも関連付けられているかどうかを識別す
ることができる。そのような人工ニューラルネットワークの幾つかの非限定的な例は、浅
い人工ニューラルネットワーク、深い人工ニューラルネットワーク、フィードバック人工
ニューラルネットワーク、フィードフォワード人工ニューラルネットワーク、自己符号器
人工ニューラルネットワーク、確率的人工ニューラルネットワーク、時間遅延人工ニュー
ラルネットワーク、畳み込み人工ニューラルネットワーク、リカレント人工ニューラルネ
ットワーク、長期短期記憶人工ニューラルネットワークなどを含んでもよい。幾つかの実
施形態では、開示された方法は、解析されたフレームのうちの少なくとも１つに基づいて
トレーニングされたニューラルネットワークモデルを更新することを更に含むことができ
る。
本開示の幾つかの態様では、ビデオ映像を解析して手術事象又は手術段階のうちの少な
くとも一方と関連付けられるビデオ映像位置を識別することは、再生のための手術段階の
開始位置又は再生のための手術事象の開始のうちの少なくとも一方を識別するためにビデ
オ映像に対してコンピュータ画像解析を実行することを含むことができる。換言すれば、
上述したコンピュータ解析技術を使用して、開示された方法は、手術段階又は事象が始ま
るビデオ映像内の位置を識別することを含むことができる。例えば、切開などの手術事象
の開始は、上述した物体及び／又は動き検出アルゴリズムを使用して検出することができ
る。他の実施形態では、切開の開始は、機械学習技術に基づいて検出することができる。
例えば、機械学習モデルは、ビデオ映像と、切開又は他の手術事象及び／又は処置の既知
の開始点を示す対応するラベルとを使用してトレーニングすることができる。トレーニン
グされたモデルを使用して、他の手術ビデオ映像内の同様の処置及び／又は事象開始位置
を識別することができる。
本開示の幾つかの態様は、手術段階に関連する段階タグを生成することを含み得る。本
明細書で使用される場合、「タグ」は、情報がデータセットに関連付けられる又はリンク
される任意のプロセス又はマーカを指すことができる。幾つかの実施形態では、タグは、
ビデオファイルなどのデータファイルの特性であってもよい。したがって、タグを生成す
ることは、ビデオファイル内の特性を書き込むこと又は上書きすることを含むことができ
る。幾つかの実施形態では、タグを生成することは、例えば、ビデオファイルを別個のデ
ータベース内のタグと関連付けることによって、ビデオファイル自体以外のファイルに情
報を書き込むことを含むことができる。タグは、テキスト情報、数値識別子、又はタグ付
けのための任意の他の適切な手段として表現され得る。段階タグは、上述したように、手
術段階の段階を識別するタグであってもよい。一実施形態では、段階タグは、手術段階が
始まるビデオ内の位置を示すマーカ、手術段階が終了するビデオ内の位置を示すマーカ、
手術段階の中間のビデオ内の位置を示すマーカ、又は手術段階を包含するビデオの範囲を
示すマーカであってもよい。タグは、ビデオデータ自体のポインタであってもよく、又は
段階位置の検索を可能にするためにデータ構造に配置されてもよい。段階タグは、段階の
表示を引き起こすためのコンピュータ可読情報を含むことができ、ユーザに段階を識別す
るための人間可読情報も含むことができる。例えば、手術段階に関連付けられた段階タグ
を生成することは、タグ付けされたデータが外科的処置のその段階に関連付けられている
ことを示すために、「腹腔鏡位置決め」などのテキストを含むタグを生成することを含む
ことができる。別の例では、手術段階に関連付けられた段階タグを生成することは、手術
段階識別子のバイナリ符号化を含むタグを生成することを含み得る。幾つかの実施形態で
は、段階タグを生成することは、手術段階を描写するビデオ映像のコンピュータ解析に基
づくことができる。例えば、開示された方法は、段階タグを決定するために、上述した物
体及び動き検出解析方法を使用して手術段階の映像を解析することを含むことができる。
例えば、固有の方法又は固有の順序で使用される特定のタイプの医療デバイス又は他の手
段を使用して段階が開始又は終了することが分かっている場合、特定の段階を識別するた
めの手段の固有の使用を識別するために実行される画像認識を介して、ビデオ映像に対し
て画像認識を実行して特定の段階を識別することができる。また、段階タグを生成するこ
とは、１つ以上のビデオフレームを１つ以上の段階タグに関連付けるようにトレーニング
することができるトレーニングされた機械学習モデル又はニューラルネットワークモデル
（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワークなどであ
る）を使用することを含むことができる。例えば、トレーニング例を機械学習アルゴリズ
ムに供給して、他のビデオ映像データを１つ以上の段階タグに関連付けるように構成され
たモデルを開発することができる。そのようなトレーニング例の一例は、ビデオ映像と、
ビデオ映像に対応する所望のタグ又は所望のタグの欠如を示すラベルとを含むことができ
る。そのようなラベルは、手術段階に対応するビデオ映像内の１つ以上の位置の指示、手
術段階のタイプの指示、手術段階の特性の指示などを含むことができる。
本開示による方法は、段階タグをビデオ映像位置に関連付けるステップを含むことがで
きる。任意の適切な手段を使用して、段階タグをビデオ映像位置に関連付けることができ
る。そのようなタグは、手術段階に対応するビデオ映像内の１つ以上の位置の指示、手術
段階のタイプの指示、手術段階の特性の指示などを含むことができる。幾つかの実施形態
では、ビデオ映像の場所はタグに含まれてもよい。例えば、タグは、タイムスタンプ、時
間範囲、フレーム番号、又は段階タグをビデオ映像の位置に関連付けるための他の手段を
含み得る。他の実施形態では、タグは、データベース内のビデオ映像の場所に関連付けら
れてもよい。例えば、データベースは、段階タグをビデオ映像及び特定のビデオ映像位置
にリンクする情報を含み得る。データベースは、以下で更に詳細に説明するように、デー
タ構造を含むことができる。
本開示の実施形態は、手術段階内の特定の術中手術事象の事象位置を識別するためにビ
デオ映像を解析することを更に含むことができる。術中手術事象は、外科的処置又は段階
中に発生する任意の事象又は動作であり得る。幾つかの実施形態では、術中手術事象とし
ては、外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘル
スケア専門家によって実行される動作など、外科的処置の一部として実行される動作を挙
げることができる。術中手術事象は、切開、薬物の投与、外科用器具の使用、切除、切開
除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もしくは段階に関連する任意の
他の計画された事象などの計画された事象であり得る。幾つかの実施形態では、術中手術
事象は、有害事象又は合併症を含み得る。術中有害事象の幾つかの例としては、出血、腸
間膜気腫、傷害、計画されていない開放手術（例えば、腹壁切開）への転換、計画された
よりも有意に大きい切開などを挙げることができる。術中合併症の幾つかの例としては、
高血圧、低血圧、徐脈、低酸素血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、
腹膜損傷、動脈閉塞などを挙げることができる。術中事象としては、技術的エラー、通信
エラー、管理エラー、判断エラー、意思決定エラー、医療機器利用に関連するエラー、誤
通信などを含む他のエラーを挙げることができる。
事象位置は、術中手術事象に関連付けられたビデオ映像内の位置又は範囲であってもよ
い。上述した段階位置と同様に、事象位置は、ビデオ映像の特定のフレーム（例えば、フ
レーム番号又はフレーム番号の範囲）に関して、又は時間情報（例えば、タイムスタンプ
、時間範囲、又は開始時間及び終了時間）、又はビデオ映像内の位置を識別するための任
意の他の手段に基づいて表現することができる。幾つかの実施形態では、事象位置を識別
するためにビデオ映像を解析することは、ビデオ映像のフレームを解析するためにコンピ
ュータ解析を使用することを含むことができる。コンピュータ解析は、上述の技法又はア
ルゴリズムのいずれかを含むことができる。段階識別と同様に、事象識別は、事象を一意
に識別する方法で使用される動作及び手段の検出に基づくことができる。例えば、画像認
識は、特定の器官がいつ切開されたかを識別して、その切開事象のマーキングを可能にす
ることができる。別の例では、画像認識を使用して血管又は神経の切断に注目し、その有
害事象のマーキングを可能にすることができる。画像認識を使用して、出血又は他の流体
損失の検出によって事象をマークすることもできる。幾つかの実施形態では、事象位置を
識別するためにビデオ映像を解析することは、以前に識別された手術事象を含む例示的な
ビデオフレームを使用してトレーニングされたニューラルネットワークモデル（例えば、
深層ニューラルネットワーク、畳み込みニューラルネットワークなど）を用いて、事象位
置を識別することを含むことができる。一例では、ビデオの部分における術中手術事象の
位置を識別するためにトレーニング例を使用して機械学習モデルをトレーニングすること
ができ、トレーニングされた機械学習モデルを使用して、ビデオ映像（又は手術段階に対
応するビデオ映像の一部）を解析し、手術段階内の特定の術中手術事象の事象位置を識別
することができる。そのようなトレーニング例の一例は、ビデオクリップ内の特定の事象
の位置、又はそのような事象がないことを示すラベルと共にビデオクリップを含むことが
できる。
本開示の幾つかの態様は、事象タグを特定の術中手術事象の事象位置と関連付けること
を含み得る。上述したように、タグは、情報をデータ又はデータの一部と関連付けるため
の任意の手段を含むことができる。事象タグを使用して、データ又はデータの一部を術中
手術事象などの事象と関連付けることができる。段階タグと同様に、事象タグを事象位置
と関連付けることは、ビデオファイルに、例えばビデオファイルの特性にデータを書き込
むことを含むことができる。他の実施形態では、事象タグを事象位置と関連付けることは
、事象タグをビデオ映像及び／又は事象位置に関連付けるファイル又はデータベースにデ
ータを書き込むことを含み得る。或いは、事象タグを事象位置と関連付けることは、デー
タ構造にマーカを記録することを含むことができ、データ構造は、タグをビデオ映像内の
特定の位置又は位置の範囲と相関させる。幾つかの実施形態では、同じファイル又はデー
タベースを使用して、段階タグを事象タグとしてビデオ映像に関連付けることができる。
他の実施形態では、別個のファイル又はデータベースが使用されてもよい。
本開示と整合して、開示された方法は、特定の術中手術事象に関連する事象特性を記憶
することを含むことができる。事象特性は、事象の任意の特性又は特徴であってもよい。
例えば、事象特性は、患者又は外科医の特性、手術事象又は手術段階の特性もしくは特性
、又は様々な他の特性を含むことができる。特徴の例としては、過剰な脂肪組織、拡大し
た器官、組織崩壊、骨折、椎間板変位、又は事象に関連する任意の他の身体的特性を挙げ
ることができる。幾つかの特性は、コンピュータビジョンによって識別可能であってもよ
く、他の特性は、人間の入力によって識別可能であってもよい。後者の例では、患者の年
齢又は年齢範囲を事象特性として記憶することができる。同様に、患者の以前の病歴の態
様は、事象特性（例えば、糖尿病患者）として記憶することができる。幾つかの実施形態
では、記憶された事象特性を使用して、術中手術事象を他の同様の事象から区別すること
ができる。例えば、医療従事者は、ビデオ映像を検索して、不整脈を有する７０歳以上の
男性に対して行われた１つ以上の冠動脈バイパス手術を識別することができる。使用され
得る記憶された事象特性の様々な他の例が以下に提供される。
記憶された事象特性は、様々な方法で決定されてもよい。開示された方法の幾つかの態
様は、ユーザ入力に基づいて記憶された事象特性を決定することを含むことができる。例
えば、ユーザは、段階又は事象の選択に関連して上述したものと同様のユーザインタフェ
ースを介して、記憶されるべき事象特性を入力することができる。別の例では、ユーザは
、音声コマンドを介して記憶されるべき事象特性を入力してもよい。そのような使用の様
々な例が以下に提供される。開示された方法の他の態様は、特定の術中手術事象を描写す
るビデオ映像のコンピュータ解析に基づいて記憶された事象特性を決定することを含むこ
とができる。例えば、開示された方法は、ビデオ映像に基づいて事象特性を認識するため
に、上述したような様々な画像及び／又はビデオ解析技術を使用することを含むことがで
きる。例示的な例として、ビデオ映像は、患者の１つ以上の解剖学的構造の表示を含むこ
とができ、解剖学的構造を識別する事象特性は、ビデオ映像内の解剖学的構造の検出に基
づいて、又は医療機器と解剖学的構造との間の相互作用の検出に基づいて決定することが
できる。別の例では、ビデオから事象特性を決定するためにトレーニング例を使用して機
械学習モデルをトレーニングすることができ、トレーニングされた機械学習モデルを使用
してビデオ映像を解析し、記憶された事象特性を決定することができる。そのようなトレ
ーニング例の一例は、術中手術事象を、その事象の特性を示すラベルと共に描写するビデ
オクリップを含むことができる。
本開示の幾つかの態様は、特定の外科的処置のビデオ映像の少なくとも一部を、他の外
科的処置の更なるビデオ映像を含むデータ構造内の段階タグ、事象タグ、及び事象特性に
関連付けることを含むことができ、また、データ構造は、他の外科的処置の１つ以上に関
連付けられたそれぞれの段階タグ、それぞれの事象タグ、及びそれぞれの事象特性も含む
。本開示と整合するデータ構造は、データ値及びそれらの間の関係の任意の集合を含むこ
とができる。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元
的に、多次元的に、動作的に、順序付けられた態様で、順序付けられない態様で、オブジ
ェクト指向的な態様で、集中的態様で、非集中的態様で、分散的態様で、カスタム態様で
、検索可能なリポジトリで、ソートされたリポジトリで、インデックス付けされたリポジ
トリで、又はデータアクセスを可能にする任意の態様で記憶することができる。非限定的
な例として、データ構造は、配列、連想配列、リンクされたリスト、二分木、平衡木、塊
、スタック、キュー、セット、ハッシュテーブル、記録、タグ付き結合体、ＥＲモデル、
及び、グラフを含んでもよい。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄ
ｉｓ、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅ
ｌａｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚ
ｏｎ ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、及び、Ｎｅｏ４Ｊなどの、データ
ストレージ／検索のためのＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータ
ベース、又は、ＮｏＳＱＬ代替物を含んでもよい。データ構造は、開示されたシステムの
コンポーネント又はリモートコンピューティングコンポーネント（例えば、クラウドベー
スのデータ構造）であってもよい。データ構造内のデータは、連続又は不連続メモリに記
憶されてもよい。更に、本明細書中で使用されるデータ構造は、情報が同じ場所に配置さ
れることを必要としない。データ構造は、例えば、同じ又は異なるエンティティによって
所有又は動作され得る複数のサーバにわたって分散され得る。したがって、例えば、デー
タ構造は、ビデオ映像を段階タグ、事象タグ、及び／又は事象特性に関連付けるために使
用され得る任意のデータフォーマットを含み得る。
図６は、開示された実施形態と整合例示的なデータ構造６００を示す。図６に示すよう
に、データ構造６００は、異なる外科的処置に関するビデオ映像６１０及びビデオ映像６
２０を含むテーブルを備えることができる。例えば、ビデオ映像６１０は腹腔鏡下胆嚢摘
出術の映像を含むことができ、ビデオ映像６２０は白内障手術の映像を含むことができる
。ビデオ映像６２０は、白内障手術の特定の手術段階に対応することができる映像位置６
２１に関連付けることができる。段階タグ６２２は、上述したように、映像位置６２１に
関連付けられた段階（この例では角膜切開）を識別することができる。また、ビデオ映像
６２０は、事象タグ６２４に関連付けることができ、事象タグは、事象位置６２３で発生
している手術段階内の術中手術事象（この例では切開）を識別することができる。ビデオ
映像６２０は、上記で詳細に説明したように、外科医のスキルレベルなどの術中手術事象
の１つ以上の特性を記述することができる事象特性６２５に更に関連付けることができる
。データ構造で識別された各ビデオ映像は、２つ以上の映像位置、段階タグ、事象位置、
事象タグ及び／又は事象特性に関連付けられ得る。例えば、ビデオ映像６１０は、複数の
手術段階（例えば、「カロー三角切開」及び「嚢胞管の切断」）に対応する段階タグに関
連付けられてもよい。更に、特定のビデオ映像の各手術段階は、複数の事象に関連付けら
れてもよく、したがって、複数の事象位置、事象タグ、及び／又は事象特性に関連付けら
れてもよい。しかしながら、幾つかの実施形態では、特定のビデオ映像は、単一の手術段
階及び／又は事象に関連付けられ得ることが理解される。幾つかの実施形態では、事象は
、事象特性なし、単一の事象特性、２つの事象特性、３つ以上の事象特性などを含む任意
の数の事象特性に関連付けられ得ることも理解される。そのような事象特性の幾つかの非
限定的な例としては、事象に関連するスキルレベル（例えば、必要最小限のスキルレベル
、実証されたスキルレベル、事象に関与する医療提供者のスキルレベルなど）、事象に関
連する時間（例えば、開始時間、終了時間など）、事象のタイプ、事象に関連する医療機
器に関連する情報、事象に関連する解剖学的構造に関連する情報、事象に関連する医療転
帰に関連する情報、１つ以上の量（例えば、漏れの量、薬剤の量、流体の量など）、１つ
以上の寸法（例えば、解剖学的構造の寸法、切開の寸法など）などを挙げることができる
。更に、データ構造６００が一例として提供され、様々な他のデータ構造が使用されても
よいことが理解されるべきである。
本開示の実施形態は、選択された段階タグ、選択された事象タグ、及び表示のためのビ
デオ映像の選択された事象特性の選択によってユーザがデータ構造にアクセスできるよう
にすることを更に含み得る。ユーザは、データ構造に記憶されたデータへのアクセスを提
供され得る任意の個人又はエンティティであってもよい。幾つかの実施形態では、ユーザ
は、外科医又は他のヘルスケア専門家であってもよい。例えば、外科医は、見直し又はト
レーニング目的のために、データ構造及び／又はデータ構造に関連付けられたビデオ映像
にアクセスすることができる。幾つかの実施形態では、ユーザは、病院管理者、管理者、
執刀医、又はビデオ映像へのアクセスを必要とし得る他の個人などの管理者であってもよ
い。幾つかの実施形態では、ユーザは患者であってもよく、患者は自分の手術のビデオ映
像へのアクセスを提供されてもよい。同様に、ユーザは、患者の親戚、保護者、プライマ
リケア医、保険代理店、又は別の代表者であってもよい。ユーザは、限定はしないが、保
険会社、規制当局、警察もしくは捜査当局、医療団体、又はビデオ映像へのアクセスを提
供され得る任意の他のエンティティを含み得る、様々な他のエンティティを含んでもよい
。ユーザによる選択は、特定の段階タグ、事象タグ、及び／又は事象特性を識別するため
の任意の手段を含むことができる。幾つかの実施形態では、ユーザによる選択は、コンピ
ューティングデバイスのディスプレイ上などのグラフィカルユーザインタフェースを介し
て行われてもよい。別の例では、ユーザによる選択は、タッチスクリーンを介して行われ
てもよい。更なる例では、ユーザによる選択は音声入力を介して行われてもよく、音声入
力は音声認識アルゴリズムを使用して処理されてもよい。更に別の例では、ユーザによる
選択は、ジェスチャ（ハンドジェスチャなど）を介して行われてもよく、ジェスチャは、
ジェスチャ認識アルゴリズムを使用して解析されてもよい。幾つかの実施形態では、ユー
ザは、選択された段階タグ、選択された事象タグ、又は選択された事象特性の３つ全てを
選択するのではなく、これらのサブセットを選択することができる。例えば、ユーザは事
象特性を選択するだけでよく、ユーザは選択された事象特性に基づいてデータ構造と関連
付けられた情報へのアクセスを許可されてよい。
図７は、開示された実施形態と整合する、表示のためにインデックス付けされたビデオ
映像を選択するための例示的なユーザインタフェース７００の図である。ユーザインタフ
ェース７００は、ビデオ映像を選択するための１つ以上の検索ボックス７１０，７２０及
び７３０を含むことができる。検索ボックス７１０は、表示されるべき１つ以上の手術段
階をユーザが選択できるようにし得る。幾つかの実施形態では、ユーザインタフェース７
００は、データ構造６００に含まれる段階タグに基づいて提案された手術段階を提供する
ことができる。例えば、ユーザが検索ボックス７１０に入力を開始すると、ユーザインタ
フェース７００は、ユーザが入力した文字に基づいて検索すべき段階タグ記述を提案する
ことができる。他の実施形態では、ユーザは、ラジオボタン、チェックボックス、ドロッ
プダウンリスト、タッチインタフェース、又は任意の他の適切なユーザインタフェース機
能を使用して段階タグを選択することができる。段階タグと同様に、ユーザは、検索ボッ
クス７２０及び７３０をそれぞれ使用して、事象タグ及び事象特性に基づいてビデオ映像
を選択することができる。また、ユーザインタフェース７００は、ドロップダウンリスト
にアクセスして結果を更にフィルタリングするためのドロップダウンボタン７２２及び７
３２を含むことができる。図７に示すように、ドロップダウンボタン７３２を選択するこ
とにより、ユーザは、事象特性のサブカテゴリに基づいて事象特性を選択することができ
る。例えば、ユーザは、ドロップダウンボタン７３２に関連付けられたドロップダウンリ
ストで「外科医スキルレベル」を選択することができ、これにより、ユーザは、検索ボッ
クス７３０内の外科医のスキルレベルに基づいて検索することができる。「外科医のスキ
ルレベル」及び様々な他の事象特性サブカテゴリが例として提供されているが、ユーザは
外科的処置の任意の特性又は特性を選択することができることが理解される。例えば、ユ
ーザは、以下でより詳細に説明するように、外科医、資格、経験年数、及び／又は外科技
術レベルの任意の指示に基づいて外科医の技術レベルを精緻化することができる。ユーザ
は、検索ボタン７４０をクリック、タップ、又は他の方法で選択することによって、デー
タ構造にアクセスすることができる。
ビデオ映像の表示は、ビデオ映像の１つ以上のフレーム又はその一部をユーザに提示す
る任意のプロセスを含むことができる。幾つかの実施形態では、表示することは、ユーザ
が見るためにビデオ映像の少なくとも一部を電子的に送信することを含み得る。例えば、
ビデオ映像を表示することは、ビデオ映像の少なくとも一部をネットワークを介して送信
することを含み得る。他の実施形態では、ビデオ映像を表示することは、ユーザ又はユー
ザが使用しているデバイスがアクセス可能な場所にビデオ映像を記憶することによって、
ビデオ映像をユーザが利用できるようにすることを含むことができる。幾つかの実施形態
では、ビデオ映像を表示することは、ビデオ映像をコンピュータ又はビデオ画面などのビ
ジュアルディスプレイデバイス上で再生させることを含むことができる。例えば、表示す
ることは、ビデオ映像に関連付けられたフレームを順次提示することを含むことができ、
ビデオ映像に関連付けられた音声を提示することを更に含むことができる。
本開示の幾つかの態様は、記憶されたビデオ映像の一致するサブセットを識別するため
に、少なくとも１つの選択された段階タグ、選択された事象タグ、及び選択された事象特
性と一致する手術ビデオ映像のデータ構造においてルックアップを実行することを含み得
る。ルックアップを実行することは、データ構造からデータを読み出すための任意のプロ
セスを含むことができる。例えば、少なくとも１つの選択された段階タグ、事象タグ、及
び選択された事象特性に基づいて、対応するビデオ映像又はビデオ映像の一部をデータ構
造から識別することができる。記憶されたビデオ映像のサブセットは、単一の識別された
ビデオ映像又はユーザの選択に関連する複数の識別されたビデオ映像を含むことができる
。例えば、記憶されたビデオ映像のサブセットは、選択された段階タグと完全に同一の段
階タグ、選択された事象タグと完全に同一の事象タグ、及び選択された事象特性と完全に
同一の事象特性のうちの少なくとも１つを有する手術ビデオ映像を含み得る。別の例では
、記憶されたビデオ映像のサブセットは、選択された段階タグに（例えば、選択された類
似性指標に従って）類似した段階タグ、選択された事象タグに（例えば、選択された類似
性指標に従って）類似した事象タグ、及び／又は選択された事象特性に（例えば、選択さ
れた類似性指標に従って）類似した事象特性のうちの少なくとも１つを有する手術ビデオ
映像を含んでもよい。幾つかの実施形態では、図７に示すように、検索ボタン７４０の選
択によって検索を実行することをトリガすることができる。
幾つかの例示的な実施形態では、記憶されたビデオ映像の一致するサブセットを識別す
ることは、コンピュータ解析を使用して、記憶されたビデオの一致するサブセットと選択
された事象特性との間の類似性の度合いを決定することを含む。したがって、「一致」は
、正確な一致を指すことができ、又は近似もしくは最も近い一致を指すことができる。一
例では、事象特性は数値（例えば、上述したように、量、寸法、長さ、面積、体積など）
を含むことができ、類似性の度合いは、選択された事象特性に含まれる数値と記憶された
ビデオの対応する数値との比較に基づくことができる。一例では、任意の類似性関数（こ
れらに限られるわけではないが、親和性関数、相関関数、多項式類似度関数、指数類似度
関数、距離に基づく類似度関数、線形関数、非線形関数などを含む）を使用して類似性の
度合いを計算することができる。一例では、グラフマッチングアルゴリズム又はハイパー
グラフマッチングアルゴリズム（例えば、完全一致アルゴリズム、不正確一致アルゴリズ
ム）を使用して、類似性の度合いを決定することができる。別の例示的な例として、「準
備」段階タグに関連付けられたビデオ映像は、用語「準備（ｐｒｅｐ）」、「準備（ｐｒ
ｅｐａｒｉｎｇ）」、「事前処理」、「事前処置」を含む段階タグ、或いは、他の類似す
るが「準備」を指す正確な一致ではない段階タグに関しても検索され得る。類似性の度合
いは、記憶されたビデオのサブセットが選択された事象特性にどれだけ近く一致するかの
任意の指標を指すことができる。類似性の度合いは、類似性ランキング（例えば、１～１
０、１～１００などのスケールで）として、一致率として、又は一致がどれだけ近いかを
表す任意の他の手段によって表すことができる。コンピュータ解析を使用することは、選
択された事象特性とデータ構造に含まれる１つ以上の外科的処置の事象特性との間の類似
性の度合いを決定するためにコンピュータアルゴリズムを使用することを含むことができ
る。一例では、ｋ近傍法アルゴリズムを使用して、データ構造内の最も類似したエントリ
を識別することができる。一例では、データ構造のエントリ、並びにユーザ入力事象特性
は、数学的空間（例えば、任意の次元削減アルゴリズム又はデータ埋め込みアルゴリズム
を使用すること）に埋め込まれてもよく、エントリの埋め込みとユーザ入力特性との間の
距離は、２つの間の類似性の度合いを計算するために使用されてもよい。更に、幾つかの
例では、埋め込まれた数学空間内のユーザ入力特性に最も近いエントリは、データ構造内
のユーザ入力データに最も類似したエントリとして選択されてもよい。
本発明の幾つかの態様は、記憶されたビデオ映像の一致するサブセットをユーザに表示
させ、それにより、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択され
た事象特性を共有する少なくとも１つの術中手術事象の手術映像をユーザが見ることがで
きるようにすることを含むことができる。手術映像は、上記でより詳細に説明したように
、外科的処置を捕捉する任意のビデオ又はビデオ映像を指すことができる。幾つかの実施
形態では、記憶されたビデオ映像の一致するサブセットを表示させることは、ビデオを再
生するための命令を実行することを含み得る。例えば、本明細書に記載の方法を実行する
処理装置は、ビデオ映像の一致するサブセットにアクセスしてもよく、記憶されたビデオ
映像を画面又は他のディスプレイ上でユーザに提示するように構成されてもよい。例えば
、記憶されたビデオ映像は、図４に関して以下で更に詳細に説明するように、ビデオ再生
領域４１０などのビデオプレーヤユーザインタフェースに表示されてもよい。幾つかの実
施形態では、上述したように、記憶されたビデオ映像の一致するサブセットをユーザに表
示させることは、表示のために記憶されたビデオ映像を送信することを含み得る。例えば
、ビデオ映像の一致するサブセットは、ネットワークを介して、デスクトップコンピュー
タ、ラップトップコンピュータ、携帯電話、タブレット、スマートグラス、ヘッドアップ
ディスプレイ、トレーニング装置、又はビデオ映像を表示することができる任意の他の装
置などの、ユーザに関連付けられたコンピューティングデバイスに送信することができる
。
再生を省略することは、選択された事象特性を欠くビデオがユーザに提示されることを
もたらす任意のプロセスを含むことができる。例えば、再生を省略することは、映像を表
示しないように指定し、その映像を表示しないことを含み得る。ビデオ映像の一致するサ
ブセットが送信される実施形態では、再生を省略することは、選択された事象特性を欠く
ビデオ映像の送信を防止することを含むことができる。これは、一致するサブセットに関
連する映像の部分のみを選択的に送信することによって、一致するサブセットに関連する
映像の部分に関連付けられたマーカを選択的に送信することによって、及び／又は、一致
するサブセットとは無関係な映像の部分をスキップすることによって行われ得る。他の実
施形態では、選択された事象特性を欠くビデオ映像が、送信されてもよいが、選択された
事象特性を欠くビデオ映像を提示しない１つ以上の命令に関連付けられてもよい。
本開示の様々な例示的な実施形態によれば、選択された事象特性を欠く選択された手術
事象の部分の再生を省略しつつ、選択された事象特性を有する少なくとも１つの術中手術
事象の手術映像をユーザが見ることができるようにすることは、選択された事象特性を欠
く選択された手術事象の部分の再生を省略しつつ、前記選択された事象特性を共有する複
数の術中手術事象の手術映像の部分をユーザに順次に提示することを含んでもよい。言い
換えれば、ビデオ映像の１つ以上の部分は、例えば、データ構造内のルックアップ機能を
介して、選択された事象特性に関連付けられていると識別され得る。選択された事象特性
を有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにす
ることは、識別された部分のうちの１つ以上をユーザに順次に提示することを含むことが
できる。ビデオ映像の識別されていない部分は提示されなくてもよい。幾つかの実施形態
では、ビデオ映像は、選択された事象タグ及び選択された段階タグに基づいて選択されて
もよい。したがって、本開示と一致する実施形態では、選択された事象特性を欠く選択さ
れた手術事象の部分の再生を省略しつつ、選択された事象特性を有する少なくとも１つの
術中手術事象の手術映像をユーザが見ることができるようにすることは、選択された事象
特性を欠く又は選択された事象タグ及び選択された段階タグと関連付けられない選択され
た手術事象の部分の再生を省略しつつ、選択された事象特性を共有して選択された事象タ
グ及び選択された段階タグと関連付けられる複数の術中手術事象の手術映像の部分をユー
ザに順次に提示することを含んでもよい。
上述したように、記憶された事象特性は、外科的処置に関する多種多様な特性を含むこ
とができる。幾つかの例示的な実施形態では、記憶された事象特性は、手術事象の有害転
帰を含むことができる。例えば、記憶された事象特性は、事象が有害事象であるかどうか
、又は上記でより詳細に説明した例を含む、合併症に関連していたかどうかを識別するこ
とができる。したがって、一致するサブセットを表示させること、選択された有害転帰を
欠く手術事象の再生を省略しつつ、選択された有害転帰の手術映像をユーザが見ることが
できるようにすることを含んでもよい。例えば、外科医が腹腔鏡手術中にどのように血管
損傷に対処したかを確認したいというユーザの要望に応じて、手術全体をユーザに表示す
るのではなく、ユーザは血管損傷事象を選択することができ、その後、システムは事象が
発生したビデオ映像の一部のみを表示することができる。記憶された事象特性は、所望の
及び／又は予測転帰を含む転帰を同様に識別することができる。そのような転帰の例とし
ては、患者による完全な回復、漏れが発生したかどうか、発生した漏れの量、漏れの量が
選択された範囲内であったかどうか、患者が退院後に再入院したかどうか、手術後の入院
期間、又は外科的処置に関連し得る他の任意の転帰を挙げることができる。このようにし
て、ユーザは、視聴時に特定の技術の長期的な影響を確認することができる。したがって
、幾つかの実施形態では、記憶された事象特性は、これら又は他の転帰を含むことができ
、また、一致するサブセットを表示させることは、選択された転帰を欠く手術事象の再生
を省略しながら、選択された転帰の手術映像をユーザが見ることができるようにすること
を含むことができる。
幾つかの実施形態では、記憶された事象特性は、外科的手技を含むことができる。した
がって、記憶された事象特性は、特定の技法が実行されるかどうかを識別することができ
る。例えば、手術の特定の段階で適用され得る複数の技術が存在してもよく、また、事象
特性は、どの技術が適用されているかを識別し得る。このようにして、特定の技法の学習
に興味があるユーザは、指定された技法を使用する処置のみが表示されるようにビデオ結
果をフィルタリングすることができる場合がある。一致するサブセットを表示させること
は、選択された外科的手技と関連付けられない手術映像の再生を省略しつつ、選択された
外科的手技の手術映像をユーザが見ることができるようにすることを含んでもよい。例え
ば、ユーザは、同じ手術又は異なる手術のいずれかから捕捉されたビデオの不連続な部分
を順番に見ることができる。幾つかの実施形態では、記憶された事象特性は、特定の外科
医の識別情報を含むことができる。例えば、事象特性は、外科的処置を実行する特定の外
科医の識別情報を含むことができる。外科医は、自分の名前、識別番号（例えば、従業員
番号、医療登録番号など）、又は任意の他の形態の識別情報に基づいて識別することがで
きる。幾つかの実施形態では、外科医は、捕捉されたビデオ内の外科医の表示を認識する
ことに基づいて識別することができる。例えば、上述したように、様々な顔及び／又は音
声認識技術を使用することができる。このようにして、ユーザが特定の外科医の技術を研
究したい場合、ユーザはそのようにすることができる。例えば、一致するサブセットを表
示させることは、選択された外科医による行動を欠く映像の再生を省略しつつ、選択され
た外科医による行動を示す映像をユーザが見ることができるようにすることを含んでもよ
い。したがって、例えば、複数の外科医が同じ外科的処置に参加する場合、ユーザは、チ
ームのサブセットの行動のみを見ることを選択することができる。
幾つかの実施形態では、事象特性は、手術に関与し得る他のヘルスケア提供者又はヘル
スケア専門家にも関連付けられ得る。幾つかの例では、ヘルスケア提供者に関連する特性
は、外科的処置に関与するヘルスケア提供者の任意の特性を含むことができる。そのよう
なヘルスケア提供者の幾つかの非限定的な例としては、外科医、麻酔専門医、看護師、認
定看護師麻酔医（ＣＲＮＡ）、外科技術者、居住者、医学生、医師助手などの外科チーム
の任意のメンバーの肩書を挙げることができる。そのような特性の更なる非限定的な例と
しては、認定、経験レベル（例えば、長年の経験、同様の外科的処置における過去の経験
、同様の外科的処置における過去の成功率など）、人口統計学的特性（年齢など）などを
挙げることができる。
他の実施形態では、記憶された事象特性は、特定の外科的処置、手術段階、又はその一
部に関連する時間を含むことができる。例えば、記憶された事象特性は、事象の持続時間
を含むことができる。一致するサブセットを表示させることは、異なる持続時間の事象の
映像の再生を省略しながら、選択された持続時間の事象を示す映像をユーザが見ることが
できるようにすることを含んでもよい。このようにして、例えば、標準よりも速く完了し
た特定の処置を見たいかもしれないユーザは、その閾値内で完了した指定された処置を見
るための時間閾値を設定することができる。別の例では、より複雑な事象を見たいユーザ
は、時間閾値を設定して、選択された閾値よりも長く続く事象を含む処置、又は選択され
た事象グループの中で最も長く続く事象を含む処置を見ることができる。他の実施形態で
は、記憶された事象特性は、事象の開始時間、事象の終了時間、又は任意の他の時間指標
を含むことができる。一致するサブセットを表示させることは、異なる時間に関連付けら
れた事象の映像の再生を省略しながら、特定の外科的処置内、事象に関連付けられた段階
内、又は特定の外科的処置の選択された部分内の選択された時間からの事象を示す映像を
ユーザが見ることができるようにすることを含んでもよい。
別の例では、記憶された事象特性は、患者特性を含むことができる。「患者特性」とい
う用語は、患者の任意の身体的、社会学的、経済的、人口統計学的又は行動的特性、及び
患者の病歴の特性を指す。そのような患者の特性の幾つかの非限定的な例としては、年齢
、性別、体重、身長、ボディーマス指数（ＢＭＩ）、更年期状態、典型的な血圧、患者ゲ
ノムの特性、教育状態、教育レベル、社会経済状態、収入レベル、職業、保険のタイプ、
健康状態、自己評価による健康、機能状態、機能障害、疾患の持続期間、疾患の重症度、
病気の数、病気の特性（例えば、病気のタイプ、腫瘍の大きさ、組織学的悪性度、浸潤リ
ンパ節の数など）、医療の利用、医療訪問の回数、医療訪問間隔、医療の定期的な供給源
、家族の状況、結婚歴の状態、子供の数、家族の支援、民族性、人種、宗教、宗教のタイ
プ、母国語、患者に対して行われた過去の医療検査の特性（例えば、試験のタイプ、試験
の時間、試験の結果など）、患者に対して行われた過去の医学的治療の特性（治療のタイ
プ、治療時間、治療結果など）などを挙げることができる。そのような医療検査の幾つか
の非限定的な例としては、血液検査、尿検査、便検査、医学的画像検査（例えば、超音波
検査、血管造影、磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、Ｘ
線、筋電図検査、ポジトロン放出断層撮影（ＰＥＴ）など）、理学的検査、心電図検査、
羊水穿刺、パップ検査、皮膚アレルギー検査、内視鏡検査、生検、病理、血圧測定、酸素
飽和度検査、肺機能検査などを挙げることができる。そのような医学的処置の幾つかの非
限定的な例としては、薬物療法、食事療法、手術、放射線療法、化学療法、理学療法、心
理療法、輸血、注入などが挙げられ得る。したがって、一致するサブセットを表示させる
ことは、選択された患者特性を欠く患者の映像の再生を省略しつつ、選択された患者特性
を示す患者の映像をユーザが見ることができるようにすることを含んでもよい。
幾つかの実施形態では、選択された身体的患者特性は、ある種の解剖学的構造を含むこ
とができる。本明細書で使用される場合、解剖学的構造は、生物の任意の特定の部分であ
り得る。例えば、解剖学的構造は、患者の任意の特定の器官、組織、細胞、又は他の構造
を含むことができる。このようにして、例えば、ユーザが肺の胸膜嚢の手術に関するビデ
オを観察したい場合、映像のその部分を提示することができ、一方、他の関連のない部分
は省略することができる。記憶された事象特性は、患者の人口統計、病状、病歴、以前の
治療、又は任意の他の関連する患者記述子などの様々な他の患者特性を含むことができる
。これにより、観察者は、非常に特定の特性（例えば、７０～７５歳の白人、以前にバイ
パス手術を受けたことがある冠動脈心疾患）に一致する患者の外科的処置を見ることがで
きる。このようにして、それらの特定の基準に一致する１人又は複数の患者の映像を選択
的にユーザに提示することができる。
更に別の例では、記憶された事象特性は、生理的応答を含むことができる。本明細書で
使用される場合、「生理的応答」という用語は、外科的処置内の事象に反応して起こり得
る任意の生理学的変化を指す。そのような生理学的変化の幾つかの非限定的な例としては
、血圧の変化、酸素飽和度の変化、肺機能の変化、呼吸数の変化、血液組成（計数化学等
）の変化、出血、漏出、組織への血流の変化、組織の状態の変化（例えば、色、形状、構
造的状態、機能的状態の変化など）、体温の変化、脳行動の変化、発汗の変化、又は外科
的処置に応答した任意の他の物理的変化を挙げることができる。このようにして、ユーザ
は、外科的処置中に起こり得る事象（一致しない事象の再生を省略する）を選択的に見る
ことによって、それらの事象に備えることができる。
幾つかの例では、事象特性は、外科医のスキルレベルを含むことができる。スキルレベ
ルは、外科医の相対的能力の任意の表示を含むことができる。幾つかの実施形態では、ス
キルレベルは、外科的処置又は外科的処置内の特定の技術を実行する際の外科医の経験又
は熟練度を反映するスコアを含み得る。このようにして、ユーザは、異なるスキルレベル
を選択することによって、様々な経験の外科医が同じ処置をどのように扱うかを比較する
ことができる。幾つかの実施形態では、スキルレベルは、データ入力（外科医のＩＤを手
動で入力する）又はマシンビジョンのいずれかを介して決定される外科医の識別情報に基
づいて決定されてもよい。例えば、開示された方法は、バイオメトリック解析（例えば、
顔、声など）を介して外科医の識別情報を決定し、その外科医に関連する所定のスキルレ
ベルを識別するためのビデオ映像の解析を含むことができる。所定のスキルレベルは、特
定の外科医に関連するスキルレベルを記憶するデータベースにアクセスすることによって
取得されてもよい。スキルレベルは、外科医の過去のパフォーマンス、外科医のトレーニ
ング又は教育のタイプ及び／又はレベル、外科医が行った手術の数、外科医が行った手術
のタイプ、外科医の資格、外科医の経験のレベル、患者又は他のヘルスケア専門家からの
外科医の評価、過去の手術転帰、過去の手術転帰及び合併症、又はヘルスケア専門家のス
キルレベルの評価に関連する任意の他の情報に基づくことができる。幾つかの実施形態で
は、スキルレベルは、ビデオ映像のコンピュータ解析に基づいて自動的に決定されてもよ
い。例えば、開示された実施形態は、処置の実行、特定の技術の実行、外科医によって行
われた決定、又は同様の事象を捕捉するビデオ映像を解析することを含むことができる。
このとき、外科医のスキルレベルは、外科医が事象中にどれだけ良好に機能するかに基づ
いて決定されてもよく、これは、適時性、有効性、好ましい技術への順守、損傷又は有害
作用の欠如、又は映像の解析から収集され得る任意の他のスキルの指標に基づいてもよい
。
幾つかの実施形態では、スキルレベルは、各外科医に割り当てられたグローバルなスキ
ルレベルであってもよく、又は特定の事象に関連していてもよい。例えば、外科医は、第
１の技術又は処置に関して第１のスキルレベルを有してもよく、異なる技術又は処置に関
して第２のスキルレベルを有してもよい。また、外科医のスキルレベルは、事象、技術、
及び／又は処置全体にわたって変化し得る。例えば、外科医は、映像の第１の一部内で第
１のスキルレベルで動作してもよいが、映像の第２の一部において第２のスキルレベルで
動作してもよい。したがって、スキルレベルは、映像の特定の位置に関連付けられたスキ
ルレベルであってもよい。また、スキルレベルは、事象中の複数のスキルレベルであって
もよく、又は平均値、ローリング平均、又は他の形態の集約など、事象中の複数のスキル
レベルの集約であってもよい。幾つかの実施形態では、スキルレベルは、外科的処置、手
術段階、及び／又は術中手術事象を実行するために一般的に必要とされるスキルレベルで
あってもよく、特定の外科医又は他のヘルスケア専門家に紐づけされなくてもよい。スキ
ルレベルは、数値スケール（例えば、１－１０、１－１００など）、パーセンテージ、テ
キストベースの指標（例えば、「高度に熟練している」、「適度に熟練している」、「熟
練していない」など）のスケール、又は外科医のスキルを表示するための任意の他の適切
なフォーマットを含む様々な方法で表現することができる。スキルレベルは、本明細書で
は外科医のスキルレベルとして説明されているが、幾つかの実施形態では、スキルレベル
は、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門
家などの別のヘルスケア専門家に関連付けられてもよい。
本開示の実施形態は、特定の外科的処置と同様の複数の外科的処置に関する集約データ
にアクセスすることを更に含むことができる。集約データは、複数のソースから収集及び
／又は結合されたデータを指すことができる。集約データは、特定の外科的処置と何らか
の関係を有する複数の外科的処置からコンパイルすることができる。例えば、外科的処置
は、同じもしくは同様の手術段階を含む、同じもしくは同様の術中事象を含む、又は同じ
もしくは同様のタグもしくは特性（例えば、事象タグ、段階タグ、事象特性、又は他のタ
グである）に関連付けられている場合、特定の外科的処置と類似していると見なされ得る
。
本開示は、選択された事象特性に関連する統計情報をユーザに提示することを更に含む
ことができる。統計情報は、複数の外科的処置を一緒に解析するのに有用であり得る任意
の情報を指すことができる。統計情報としては、平均値、データの傾向、標準逸脱、分散
、相関、因果関係、検定統計量（ｔ統計、カイ二乗統計、ｆ統計、又は他の形式の検査統
計を含む）、順序統計量（サンプルの最大値及び最小値を含む）、グラフィカル表示（例
えば、チャート、グラフ、プロット、又は他の視覚的又はグラフィカル表示）、又は同様
のデータを挙げることができるが、これらに限定されない。例示的な例として、ユーザが
特定の外科医の識別情報を含む事象特性を選択する実施形態では、統計情報は、外科医が
外科手術を行う平均期間（又は外科手術の段階もしくは事象）、外科医の有害もしくは他
の転帰の割合、外科医が術中事象を行う平均スキルレベル、又は同様の統計情報を含むこ
とができる。当業者は、開示された実施形態に従って提示され得る他の形態の統計情報を
理解し得る。
図８Ａ及び図８Ｂは、開示された実施形態と整合するビデオインデックス付けのための
例示的なプロセス８００を示すフローチャートである。プロセス８００は、少なくとも１
つのプロセッサなどの処理デバイスによって実行されてもよい。例えば、少なくとも１つ
のプロセッサは、特定用途向け集積回路（ＡＳＩＣ）、マイクロチップ、マイクロコント
ローラ、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ
）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰ
ＧＡ）、サーバ、仮想サーバ、又は、命令の実行もしくは論理演算の実行に適した他の回
路の全部又は一部を含む１つ以上の集積回路（ＩＣ）を含んでもよい。少なくとも１つの
プロセッサによって実行される命令は、例えば、コントローラと一体化される又はコント
ローラに組み込まれるメモリに予めロードされてもよく、或いは、別個のメモリに記憶さ
れてもよい。メモリとしては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ
（ＲＯＭ）、ハードディスク、光ディスク、磁気媒体、フラッシュメモリ、他の永続的、
固定的又は揮発性のメモリ、或いは、命令を記憶することができる任意の他の機構を挙げ
ることができる。幾つかの実施形態において、少なくとも１つのプロセッサは、２つ以上
のプロセッサを含んでもよい。各プロセッサが同様の構造を有してもよく、或いは、プロ
セッサが互いに電気的に接続又は切断される異なる構造を成してもよい。例えば、プロセ
ッサは、別個の回路であってもよく或いは単一の回路に集積されてもよい。複数のプロセ
ッサが使用される場合、プロセッサは、独立して又は協働して動作するように構成されて
もよい。プロセッサは、電気的、磁気的、光学的、音響的、機械的に、或いは、それらが
相互作用できるようにする他の手段によって結合されてもよい。
幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッサによって実行され
るときにプロセッサにプロセス８００を実行させる命令を含むことができる。ステップ８
０２において、プロセス８００は、インデックス付けされるビデオ映像にアクセスするこ
とを含むことができ、インデックス付けされるビデオ映像は、特定の外科的処置の映像を
含む。ビデオ映像は、ローカルハードドライブなどのローカルメモリからアクセスされて
もよく、例えばネットワーク接続を介してリモートソースからアクセスされてもよい。別
の例では、ビデオ映像は、１つ以上の画像センサを使用して捕捉される又は別のプロセス
によって生成され得る。ステップ８０４において、プロセス８００は、ビデオ映像を解析
して、特定の外科的処置の手術段階に関連するビデオ映像の位置を識別することを含むこ
とができる。上述したように、位置は、特定のフレーム、フレームの範囲、時間インデッ
クス、時間範囲、又は任意の他の位置識別子に関連付けられ得る。
プロセス８００は、ステップ８０６に示すように、手術段階に関連する段階タグを生成
することを含むことができる。これは、例えば、映像動き検出、映像追跡、形状認識、物
体検出、流体流検出、機器識別、挙動解析、又は他の形態のコンピュータ支援状況認識の
うちの１つ以上などの技術を使用して、映像コンテンツ解析（ＶＣＡ）によって行われ得
る。段階に関連する学習された特性が映像内で識別されると、その段階を画定するタグが
生成され得る。タグは、例えば、段階に関する所定の名前を含むことができる。ステップ
８０８において、プロセス８００は、段階タグをビデオ映像の位置に関連付けることを含
み得る。段階タグは、例えば、識別されたビデオ映像の位置が特定の外科的処置の手術段
階に関連付けられていることを示すことができる。ステップ８１０において、プロセス８
００は、手術段階内の特定の術中手術事象の事象位置を識別するために、上述したＶＣＡ
技術のうちの１つ以上を使用してビデオ映像を解析することを含むことができる。プロセ
ス８００は、ステップ８１２に示すように、事象タグを特定の術中手術事象の事象位置に
関連付けることを含むことができる。事象タグは、例えば、ビデオ映像が事象位置で手術
事象に関連付けられていることを示すことができる。段階タグと同様に、事象タグは、事
象に関する所定の名前を含むことができる。ステップ８１４では、図８Ｂにおいて、プロ
セス８００は、特定の術中手術事象に関連する事象特性を記憶することを含むことができ
る。より詳細に上述したように、事象特性は、手術事象の有害転帰、外科的手技、外科医
のスキルレベル、患者の特性、特定の外科医の識別情報、生理的応答、事象の持続時間、
又は事象に関連する任意の他の特性もしくは特性を含むことができる。事象特性は、手動
で決定されてもよく（例えば、視聴者によって入力される）、例えば上述したように、マ
シンビジョンに適用された人工知能によって自動的に決定されてもよい。一例では、事象
特性はスキルレベル（例えば、必要最小限のスキルレベル、事象中に実証されたスキルレ
ベルなど）を含むことができ、ビデオからそのようなスキルレベルを決定するためにトレ
ーニング例を使用して機械学習モデルをトレーニングすることができ、また、トレーニン
グされた機械学習モデルを使用してビデオ映像を解析してスキルレベルを決定することが
できる。そのようなトレーニング例の例は、対応するスキルレベルを示すラベルと共に事
象を描写するビデオクリップを含むことができる。別の例では、事象特性は、事象の時間
関連特性（例えば、開始時間、終了時間、持続時間など）を含んでもよく、そのような時
間関連特性は、事象に対応するビデオ映像内の間隔を解析することによって計算され得る
。更に別の例では、事象特性は事象タイプを含むことができ、ビデオから事象タイプを決
定するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、
また、トレーニングされた機械学習モデルを使用してビデオ映像を解析し、事象タイプを
決定することができる。そのようなトレーニング例の一例は、事象タイプを示すラベルと
共に事象を描写するビデオクリップを含むことができる。更なる例では、事象特性は、事
象に関与する医療機器に関連する情報（例えば、医療機器のタイプ、医療機器の使用法な
ど）を含むことができ、機械学習モデルは、ビデオから医療機器に関連するそのような情
報を識別するためにトレーニング例を使用してトレーニングされることができ、また、ト
レーニングされた機械学習モデルは、ビデオ映像を解析し、事象に関与する医療機器に関
連する情報を決定するために使用され得る。そのようなトレーニング例の一例は、医療機
器に関連する情報を示すラベルと共に、医療機器の使用を含む事象を描写するビデオクリ
ップを含むことができる。更に別の例では、事象特性は、事象に関与する解剖学的構造に
関連する情報（例えば、解剖学的構造のタイプ、解剖学的構造の状態、事象に関連して解
剖学的構造に生じた変化など）を含むことができ、機械学習モデルは、ビデオから解剖学
的構造に関連するそのような情報を識別するためにトレーニング例を使用してトレーニン
グされることができ、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し
、事象に関与する解剖学的構造に関連する情報を決定するために使用され得る。そのよう
なトレーニング例の一例は、解剖学的構造に関連する情報を示すラベルと共に、解剖学的
構造を含む事象を描写するビデオクリップを含むことができる。更なる例では、事象特性
は、事象に関連する医療転帰に関連する情報を含むことができ、機械学習モデルは、ビデ
オから医療転帰に関連するそのような情報を識別するためにトレーニング例を使用してト
レーニングすることができ、また、トレーニングされた機械学習モデルは、ビデオ映像を
解析し、事象に関連する医療転帰に関連する情報を決定するために使用することができる
。そのようなトレーニング例の一例は、医療転帰を示すラベルと共に、医療転帰を示すビ
デオクリップを含むことができる。
ステップ８１６において、プロセス８００は、特定の外科的処置のビデオ映像の少なく
とも一部を、データ構造内の段階タグ、事象タグ、及び事象特性の少なくともいずれかに
関連付けることを含むことができる。このステップでは、タグが映像にアクセスするため
に使用されることを可能にするために、様々なタグがビデオ映像に関連付けられる。前述
のように、様々なデータ構造を使用して、関連するデータを関連付けられた態様で記憶す
ることができる。
ステップ８１８において、プロセス８００は、選択された段階タグ、選択された事象タ
グ、及び表示のためのビデオ映像の選択された事象特性のうちの少なくとも１つの選択に
よってユーザがデータ構造にアクセスできるようにすることを含んでもよい。幾つかの実
施形態では、ユーザは、図７に示すユーザインタフェース７００などのコンピューティン
グデバイスのユーザインタフェースを介して、選択された段階タグ、選択された事象タグ
、及び選択された事象特性を選択することができる。例えば、データ入力フィールド、ド
ロップダウンメニュー、アイコン、又は他の選択可能な項目を提供して、外科的処置、処
置の段階、処置内の事象、並びに処置及び患者の特性をユーザが選択できるようにしても
よい。ステップ８２０において、プロセス８００は、記憶されたビデオ映像の一致するサ
ブセットを識別するために、少なくとも１つの選択された段階タグ、選択された事象タグ
、及び選択された事象特性と一致する手術ビデオ映像のデータ構造においてルックアップ
を実行することを含むことができる。ステップ８２２において、プロセス８００は、記憶
されたビデオ映像の一致するサブセットをユーザに表示させ、それにより、選択された事
象特性を欠くビデオ映像の再生を省略しつつ、選択された事象特性を共有する少なくとも
１つの術中手術事象の手術映像をユーザが見ることができるようにすることを含んでもよ
い。このフィルタリングにより、ユーザは、ユーザの関心に関連しない大量のビデオデー
タの再生を省略しながら、ユーザの関心に対応するビデオセグメントのみを迅速に見るこ
とができる。
外科的処置の準備をするとき、外科医が同様の手術事象を有する外科的処置のビデオ映
像を見直しすることは有益であり得る。しかしながら、外科医がビデオ全体を見るには時
間がかかりすぎるか、又はスキップして手術映像の関連部分を見つけるには時間がかかり
すぎる場合がある。したがって、他の無関係な映像を省略しながら関連する手術事象の映
像を集約する手術ビデオ概要を外科医が効率的且つ効果的に見ることができるようにする
非従来的な手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む、手術
概要映像の生成に関するものとなり得る。例えば、１つの外科的処置の映像を以前に解析
された手術の映像と比較して、関連する術中手術事象を識別してタグ付けすることができ
る。外科医は、他の無関係な映像の多くを省略しながら、術中手術事象を集約する手術の
概要を見ることができる。説明を容易にするために、方法の態様がシステム、デバイス、
及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。
例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを
介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行わ
れてもよい。最も広い意味では、本方法は、特定の物理的手段及び／又は電子的手段に限
定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、少なくとも１つの術中手術事象に関連付けら
れたフレームの第１のグループを含む特定の手術映像にアクセスすることを含むことがで
きる。手術映像は、任意のビデオ、ビデオフレームのグループ、又は外科的処置の表示を
含むビデオ映像を指すことができる。例えば、手術映像は、手術中に捕捉された１つ以上
のビデオフレームを含むことができる。手術映像にアクセスすることは、メモリデバイス
などの記憶場所からビデオを取得することを含むことができる。手術映像は、ローカルハ
ードドライブなどのローカルメモリからアクセスされてもよく、又は例えばネットワーク
接続を介してリモートソースからアクセスされてもよい。上記でより詳細に説明したよう
に、ビデオは、記録された画像及び／又は音声を含む任意の形態の記録された視覚媒体を
含むことができる。ビデオは、音声・ビデオ・インターリーブ（ＡＶＩ）ファイル、フラ
ッシュ・ビデオ・フォーマット（ＦＬＶ）ファイル、クイックタイム・ファイル・フォー
マット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄ
ｉａ Ｖｉｄｅｏ（ＷＭＶ）ファイル、マテリアル・エクスチェンジ・フォーマット（Ｍ
ＸＦ）ファイル、又はその他任意の適切なビデオ・ファイル・フォーマット等のビデオフ
ァイルとして記憶され得る。これに加えて又は代えて、幾つかの例では、特定の手術映像
にアクセスすることは、１つ以上の画像センサを使用して特定の手術映像を捕捉すること
を含み得る。
上述したように、術中手術事象は、外科的処置又は段階に関連する任意の事象又は動作
であり得る。フレームは、ビデオを構成する複数の静止画像のうちの１つを指すことがで
きる。フレームの第１のグループは、術中手術事象中に捕捉されたフレームを含むことが
できる。例えば、特定の手術映像は、患者に対して実行されて手術室内の少なくとも１つ
の画像センサによって捕捉される外科的処置を描写することができる。画像センサは、例
えば、手術室１０１に配置されたカメラ１１５，１２１、１２３、及び／又は１２５を含
むことができる。幾つかの実施形態では、少なくとも１つの画像センサは、手術室内の手
術台の上方又は患者内のうちの少なくとも１つである。例えば、画像センサは、上述した
ように、患者の上方に配置されてもよく、又は患者の手術体腔、器官、もしくは脈管構造
内に配置されてもよい。フレームの第１のグループは、解剖学的構造、手術器具、術中手
術事象を実行するヘルスケア専門家、又は術中手術事象の他の視覚的表示を含む、術中手
術事象の表示を含んでもよい。しかしながら、幾つかの実施形態では、フレームの一部又
は全ては、術中手術事象の表示を含まなくてもよいが、そうでなければ事象に関連付けら
れてもよい（例えば、事象が実行されている間に捕捉されるなど）。
本開示と整合して、特定の手術映像は、手術行動に関連しないフレームの第２のグルー
プを含むことができる。例えば、外科的処置は、著しい手術行動が行われておらず、映像
を見直しするための重要な理由がない長時間のダウンタイムを伴うことがある。手術行動
は、外科的処置に関連して行われる任意の行動を指すことができる。幾つかの実施形態で
は、手術行動は、術前行動、周術期行動、術中行動、及び／又は術後行動を含む、外科的
処置に関連する任意の行動を広く指すことができる。したがって、フレームの第２のグル
ープは、そのような行動に関連付けられていないフレームを含むことができる。他の実施
形態では、手術行動は、外科医によって行われる患者の臓器又は組織の物理的操作などの
より狭い一連の行動を指すことができる。したがって、フレームの第２のグループは、準
備、麻酔の提供、バイタルサインの監視、手術器具の収集又は準備、ヘルスケア専門家間
の議論、又は手術行動と見なされない可能性がある他の行動に関連する様々な行動を含む
ことができる。
本開示によれば、本方法は、以前の外科的処置の履歴手術映像に基づいて履歴データに
アクセスするステップを含むことができる。履歴データは、以前に記録及び／又は記憶さ
れた任意のフォーマットのデータを指すことができる。幾つかの実施形態では、履歴デー
タは、履歴手術映像を含む１つ以上のビデオファイルであってもよい。例えば、履歴デー
タは、以前の外科的処置中に捕捉された一連のフレームを含むことができる。しかしなが
ら、この履歴データは、ビデオファイルに限定されない。例えば、履歴データは、履歴手
術映像の少なくとも１つの態様を表すテキストとして記憶された情報を含むことができる
。例えば、履歴データは、履歴手術映像を要約又は参照する情報のデータベースを含むこ
とができる。別の例では、履歴データは、履歴手術映像の少なくとも１つの態様を表す数
値として記憶された情報を含むことができる。更なる例では、履歴データは、履歴手術映
像の解析に基づく統計情報及び／又は統計モデルを含むことができる。更に別の例では、
履歴データは、トレーニング例を使用してトレーニングされた機械学習モデルを含むこと
ができ、トレーニング例は、履歴手術映像に基づくことができる。履歴データにアクセス
することは、電子送信を介して履歴データを受信すること、記憶装置（例えば、メモリデ
バイス）から履歴データを読み出すこと、又はデータにアクセスするための任意の他のプ
ロセスを含むことができる。幾つかの実施形態では、履歴データは、上述した特定の手術
映像と同じリソースからアクセスすることができる。他の実施形態では、履歴データは、
別個のリソースからアクセスされてもよい。これに加えて又は代えて、履歴データにアク
セスすることは、例えば、以前の外科的処置の履歴手術映像を解析することによって、又
は以前の外科的処置の履歴手術映像に基づいてデータを解析することによって、履歴デー
タを生成することを含むことができる。
本開示の実施形態によれば、履歴データは、手術映像の部分を術中手術事象に関連する
フレームと手術行動に関連しないフレームとに区別する情報を含むことができる。情報は
、様々な方法で手術映像の部分を区別することができる。例えば、履歴的な手術映像に関
連して、手術行動及び非手術行動に関連付けられたフレームが既に区別されてしまっても
よい。これは、例えば、手術行動の手動フラグ付けによって、又は手術行動と非手術行動
とを区別するための人工知能エンジンのトレーニングによって既に行われてしまってもよ
い。履歴情報は、例えば、手術映像のフレームのセットを（例えば、開始フレーム番号、
フレーム数、終了フレーム番号などを使用して）識別することができる。また、情報は、
開始タイムスタンプ、終了タイムスタンプ、持続時間、タイムスタンプ範囲、又は手術映
像のタイミングに関する他の情報などの時間情報を含むことができる。一例では、履歴デ
ータは、手術行動を非手術行動から区別する様々な指標及び／又は規則を含むことができ
る。そのような指標及び／又は規則の幾つかの非限定的な例を以下に説明する。別の例で
は、履歴データは、例えば履歴手術映像に基づいて、手術行動に対応する映像の部分及び
／又は非手術行動に対応する映像の部分を識別するようにトレーニングされた機械学習モ
デルを含むことができる。
様々な指標を使用して、手動、半手動、又は自動（例えば、機械学習を介して）のいず
れかの非手術行動から手術行動を区別することができる。例えば、幾つかの実施形態では
、履歴的な手術映像の一部を術中手術事象に関連するフレームに区別する情報は、手術器
具の存在又は動きのうちの少なくとも一方の指標を含むことができる。手術器具は、外科
的処置中に使用され得る任意の器具又はデバイスであってもよく、そのような器具又はデ
バイスとしては、切断器具（例えば、メス、ハサミ、ノコギリなど）、把持及び／又は保
持器具（例えば、ビルロート鉗子、止血「蚊」鉗子、非外傷性止血鉗子、デシャンプ針、
ホップナー止血鉗子など）、リトラクタ（例えば、ファラベフのＣ字型層状フック、平滑
歯付きフック、鋭利歯付きフック、溝付きプローブ、タンプ鉗子など）、組織一体化器具
及び／又は材料（例えば、針ホルダ、手術針、ステープラ、クリップ、接着テープ、メッ
シュなど）、保護機器（例えば、顔用及び／又は呼吸用保護具、帽子、履物、手袋など）
、腹腔鏡、内視鏡、患者監視デバイスなどを挙げることができるが、これらに限定されな
い。ビデオインデックス付けに関して上述したような映像又は画像解析アルゴリズムを使
用して、映像内の手術器具の存在及び／又は動きを検出することができる。幾つかの例で
は、手術器具の動きの指標を計算することができ、計算された動きの指標を選択された閾
値と比較して、手術行動を非手術行動から区別することができる。例えば、閾値は、外科
的処置のタイプに基づいて、外科的処置の時間又は外科的処置内に基づいて、外科的処置
の段階に基づいて、外科的処置のビデオ映像を解析することによって決定されたパラメー
タに基づいて、履歴データを解析することによって決定されたパラメータに基づくなどし
て、選択することができる。幾つかの例では、信号処理アルゴリズムを使用して、外科的
処置のビデオ映像内の様々な時間の計算された動きの測定値を解析し、手術行動を非手術
行動から区別することができる。そのような信号処理アルゴリズムの幾つかの非限定的な
例としては、手術行動を非手術行動から区別するためにトレーニング例を使用してトレー
ニングされた機械学習ベースの信号処理アルゴリズム、手術行動を非手術行動から区別す
るように構成された人工ニューラルネットワーク（例えば、再帰ニューラルネットワーク
、長期短期記憶ニューラルネットワーク、深層ニューラルネットワークなど）、マルコフ
モデル、ビタビモデルなどを挙げることができる。
幾つかの例示的な実施形態では、履歴的な手術映像の一部を術中手術事象に関連するフ
レームに区別する情報は、関連するフレーム内の検出された器具及び解剖学的特徴を含む
ことができる。例えば、開示された方法は、画像及び／又はビデオ解析アルゴリズムを使
用して器具及び解剖学的特徴を検出することを含むことができる。器具は、上述のような
手術器具、又は他の非手術器具を含むことができる。解剖学的特徴は、生体の解剖学的構
造（上記でより詳細に定義される）又は他の部分を含み得る。手術行動は、一般に解剖学
的構造と相互作用する手術器具を含むため、１つ以上の関連するフレームで検出された手
術器具及び解剖学的構造の両方の存在は、手術行動の指標として役立ち得る。例えば、フ
レームのグループ内の第１の器具の検出に応じて、フレームのグループは、術中手術事象
に関連付けられていると決定されてもよく、一方、フレームのグループ内の第１の器具の
検出がないことに応じて、フレームのグループは、術中手術事象に関連付けられていない
と識別されてもよい。別の例では、フレームのグループ内の第１の解剖学的特徴の検出に
応じて、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく
、一方、フレームのグループ内の第１の解剖学的特徴の検出がないことに応じて、フレー
ムのグループは、術中手術事象に関連付けられていないと識別されてもよい。幾つかの例
では、ビデオ映像を更に解析して、検出された器具と解剖学的特徴との間の相互作用を検
出することができ、また、手術行動を非手術行動から区別することは、検出された相互作
用に基づくことができる。例えば、フレームのグループ内の第１の相互作用の検出に応じ
て、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく、一
方、フレームのグループ内の第１の相互作用の検出がないことに応じて、フレームのグル
ープは、術中手術事象に関連付けられていないと識別されてもよい。幾つかの例では、ビ
デオ映像を更に解析して、検出された器具によって実行された動作を検出することができ
、また、手術行動を非手術行動から区別することは、検出された動作に基づくことができ
る。例えば、フレームのグループ内の第１の動作の検出に応じて、フレームのグループは
、術中手術事象に関連付けられていると決定されてもよく、一方、フレームのグループ内
の第１の動作の検出がないことに応じて、フレームのグループは、術中手術事象に関連付
けられていないと識別されてもよい。幾つかの例では、ビデオ映像を更に解析して解剖学
的特徴の状態の変化を検出し、検出された変化に基づいて手術行動を非手術行動から区別
することができる。例えば、フレームのグループの第１の変化の検出に応じて、フレーム
のグループは、術中手術事象に関連付けられていると決定されてもよく、一方、フレーム
のグループの第１の変化の検出がないことに応じて、フレームのグループは、術中手術事
象に関連付けられていないと識別されてもよい。
本発明の幾つかの態様は、履歴データの情報に基づいて、特定の手術映像においてフレ
ームの第１のグループをフレームの第２のグループから区別することを含むことができる
。例えば、情報は、特定の手術映像のどのフレームが術中事象及び／又は手術行動に関連
付けられているかを決定するのに有用なコンテキストを提供することができる。幾つかの
実施形態では、特定の手術映像において、フレームの第１のグループをフレームの第２の
グループから区別することは、機械学習アルゴリズムの使用を含み得る。例えば、機械学
習モデルは、履歴データの情報に基づいてトレーニング例を使用して術中事象及び／又は
手術行動を識別するようにトレーニングすることができる。
本開示によれば、フレームの第１及び第２のグループは、手術映像を解析して履歴デー
タの情報と同様の情報を識別することによって区別され得る。図９は、フレームの第１の
グループをフレームの第２のグループから区別するための例示的なプロセス９００を示す
フローチャートである。プロセス９００が一例として提供されることが理解されるべきで
ある。当業者であれば、本開示と整合して、フレームの第１のグループを第２のグループ
から区別するための様々な他のプロセスを理解し得る。ステップ９１０において、プロセ
ス９００は、特定の手術映像を解析して医療機器を検出することを含むことができる。医
療機器は、上述したように、手術器具を含む、患者の治療に使用される任意の器具又はデ
バイスを指すことができる。上記の手術器具に加えて、医療機器としては、聴診器、ガー
ゼスポンジ、カテーテル、カニューレ、除細動器、針、トレイ、照明、温度計、ピペット
又は滴下器、酸素マスク及びチューブ、又は任意の他の医療器具を挙げることができるが
、これらに限定されない。例えば、機械学習モデルは、画像及び／又はビデオ内の医療機
器を検出するためにトレーニング例を使用してトレーニングされてもよく、また、トレー
ニングされた機械学習モデルは、特定の手術映像を解析し、医療機器を検出するために使
用されてもよい。そのようなトレーニング例の一例は、ビデオ及び／又は画像内の１つ以
上の特定の医療機器の存在を示すラベルと共に、又はビデオ及び／又は画像内の特定の医
療機器の不在を示すラベルと共に、外科的処置のビデオ及び／又は画像を含むことができ
る。
ステップ９２０において、プロセス９００は、特定の手術映像を解析して解剖学的構造
を検出することを含むことができる。解剖学的構造は、上述したように、任意の器官、器
官の一部、又は生体の他の部分であってもよい。上述したように、１つ以上のビデオ及び
／又は画像認識アルゴリズムを使用して、医療機器及び／又は解剖学的構造を検出するこ
とができる。例えば、機械学習モデルは、画像及び／又はビデオ内の解剖学的構造を検出
するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングさ
れた機械学習モデルは、特定の手術映像を解析し、解剖学的構造を検出するために使用さ
れてもよい。そのようなトレーニング例の一例は、ビデオ及び／又は画像内の１つ以上の
特定の解剖学的構造の存在を示すラベルと共に、又はビデオ及び／又は画像内の特定の解
剖学的構造の不在を示すラベルと共に、外科的処置のビデオ及び／又は画像を含むことが
できる。
ステップ９３０において、プロセス９００は、検出された医療機器と検出された解剖学
的構造との間の相対動作を検出するためにビデオを解析することを含むことができる。相
対動作は、例えば、フレーム間のピクセルの変化、オプティカルフロー、又は他の形態の
動き検出アルゴリズムに基づいて、動き検出アルゴリズムを使用して検出することができ
る。例えば、動き検出アルゴリズムを使用して、ビデオ内の医療機器の動きを推定し、ビ
デオ内の解剖学的構造の動きを推定することができ、また、医療機器の推定された動きを
解剖学的構造の推定された動きと比較して、相対動作を決定することができる。ステップ
９４０において、プロセス９００は、相対動作に基づいてフレームの第１のグループをフ
レームの第２のグループから区別することを含むことができ、この場合、フレームの第１
のグループは手術行動フレームを含み、フレームの第２のグループは非手術行動フレーム
を含む。例えば、フレームのグループ内の第１の相対動作パターンに応じて、フレームの
グループは、手術行動を含むと決定されてもよく、また、フレームのグループ内の第２の
相対動作パターンの検出に応じて、フレームのグループは、非手術行動フレームを含まな
いと識別されてもよい。したがって、フレームの第１のグループの集約を提示することに
より、手術の準備をしている外科医は、要約された提示のビデオ見直し中に非手術行動フ
レームを省略することができる。幾つかの実施形態では、非手術行動フレームを省略する
ことは、非手術行動を捕捉するフレームの大部分を省略することを含み得る。例えば、術
中手術事象の直前又は直後のフレーム、術中手術事象にコンテキストを与える非手術行動
を捕捉するフレーム、又はユーザに関連し得る任意の他のフレームなど、非手術行動を捕
捉する全てのフレームが省略されるとは限らない場合がある。
本開示の幾つかの例示的な実施形態では、フレームの第１のグループをフレームの第２
のグループから区別することは、医療機器と解剖学的構造との間の検出された相対位置に
更に基づくことができる。相対位置は、医療機器と解剖学的構造との間の距離、解剖学的
構造に対する医療機器の向き、又は解剖学的構造に対する医療機器の位置を指すことがで
きる。例えば、相対位置は、手術映像の１つ以上のフレーム内の検出された医療機器及び
解剖学的構造の相対位置に基づいて推定され得る。例えば、相対位置は、距離（例えば、
ピクセル、実世界の測定値などでの）、方向、ベクトルなどを含むことができる。一例で
は、物体検出アルゴリズムを使用して、医療機器の位置を決定し、解剖学的構造の位置を
決定することができ、また、２つの決定された位置を比較して相対位置を決定することが
できる。一例では、フレームのグループ内の第１の相対位置に応じて、フレームのグルー
プは、手術行動を含むと決定されてもよく、一方、フレームのグループ内の第２の相対位
置の検出に応じて、フレームのグループは、非手術行動フレームとして識別されてもよい
。別の例では、医療機器と解剖学的構造との間の距離は、選択された閾値と比較されても
よく、また、フレームの第１のグループをフレームの第２のグループから区別することは
、比較の結果に更に基づいてもよい。例えば、閾値は、医療機器のタイプ、解剖学的構造
のタイプ、外科的処置のタイプなどに基づいて選択されてもよい。他の実施形態では、フ
レームの第１のグループをフレームの第２のグループから区別することは、医療機器と解
剖学的構造との間の検出された相互作用に更に基づくことができる。相互作用は、解剖学
的構造に影響を及ぼし得る医療機器による任意の動作を含むことができ、或いは、その逆
もまた同様である。例えば、相互作用は、医療機器と解剖学的構造との間の接触、解剖学
的構造に対する医療機器による作用（例えば、切断、クランプ、圧力の印加、掻き取りな
ど）、解剖学的構造による反応（反射作用など）、又は任意の他の形態の相互作用を含む
ことができる。例えば、機械学習モデルは、ビデオから医療機器と解剖学的構造との間の
相互作用を検出するためにトレーニング例を使用してトレーニングされてもよく、また、
トレーニングされた機械学習モデルは、ビデオ映像を解析し、医療機器と解剖学的構造と
の間の相互作用を検出するために使用され得る。そのようなトレーニング例の一例は、ビ
デオクリップ内の医療機器と解剖学的構造との間の特定の相互作用の存在を示すラベルと
共に、又はビデオクリップ内の医療機器と解剖学的構造との間の特定の相互作用の不在を
示すラベルと共に、外科的処置のビデオクリップを含むことができる。
本開示の幾つかの態様は、ユーザの要求に応じて、フレームの第２のグループのユーザ
への提示を省略しつつ、特定の手術映像のフレームの第１のグループの集約をユーザに提
示することを伴ってもよい。フレームの第１のグループの集約は、様々な形態で提示され
てもよい。幾つかの実施形態では、フレームの第１のグループの集約は、ビデオファイル
を含むことができる。ビデオファイルは、フレームの第１のグループを含むビデオクリッ
プのコンパイルであってもよい。幾つかの実施形態では、ユーザは、ビデオクリップのそ
れぞれを別々に提示されてもよく、又は単一のコンパイルされたビデオを提示されてもよ
い。幾つかの実施形態では、フレームの第１のグループの集約に関して別個のビデオファ
イルを生成することができる。他の実施形態では、フレームの第１のグループの集約は、
提示のために含まれるべきフレーム及び省略されるべきフレームを識別するための命令を
含むことができる。命令の実行は、あたかも連続ビデオが生成されたかのようにユーザに
見え得る。フレームの第１のグループを静止画像として提示することを含む、様々な他の
フォーマットも使用することができる。
提示は、集約をユーザに供給するための任意のプロセスを含み得る。幾つかの実施形態
では、これは、コンピュータ画面もしくはモニタ、プロジェクタ、携帯電話ディスプレイ
、タブレット、スマートデバイス、又は画像及び／もしくは音声を表示することができる
任意のデバイスなどのディスプレイ上で集約を再生させることを含むことができる。また
、提示することは、フレームの第１のグループの集約をユーザに送信すること、又はそう
でなければユーザがアクセスできるようにすることを含むことができる。例えば、フレー
ムの第１のグループの集約は、ネットワークを介してユーザのコンピューティングデバイ
スに送信されてもよい。別の例として、フレームの第１のグループの集約の位置は、ユー
ザと共有されてもよい。フレームの第２のグループは、フレームの第２のグループを集約
に含まないことによって省略されてもよい。例えば、集約がビデオとして提示される場合
、フレームの第２のグループを備えるビデオクリップは、ビデオファイルに含まれなくて
もよい。フレームの第１のグループは、時系列順を含む任意の順序で提示されてもよい。
場合によっては、フレームの第１のグループの少なくとも幾つかを非時系列順で提示する
ことが論理的であり得る。幾つかの実施形態では、フレームの第１のグループの集約は、
２つ以上の術中手術事象に関連付けられ得る。例えば、ユーザは、特定の手術映像内の複
数の術中手術事象の視聴を要求することができる。第１のフレームグループの集約をユー
ザに提示することは、第２のグループの時系列フレームを省略して時系列順に第１のグル
ープフレームを表示することを含むことができる。
ユーザは、手術概要映像へのアクセスを必要とし得る任意の個人又はエンティティであ
り得る。幾つかの実施形態では、ユーザは、外科医又は他のヘルスケア専門家であっても
よい。例えば、外科医は、見直し又はトレーニング目的で手術概要映像を要求することが
できる。幾つかの実施形態では、ユーザは、管理者、管理者、執刀医、保険会社職員、規
制当局、警察もしくは調査当局、又は手術映像へのアクセスを必要とし得る他の任意のエ
ンティティであり得る。ビデオインデックス付け技術に関連して、ユーザの様々な他の例
が上記で与えられる。ユーザは、ラップトップ、デスクトップコンピュータ、携帯電話、
タブレット、スマートグラス、又は要求を提出することができる任意の他の形態のコンピ
ューティングデバイスなどのコンピューティングデバイスを介して要求を提出することが
できる。幾つかの実施形態では、要求は、ネットワークを介して電子的に受信されてもよ
く、また、集約は、要求の受信に基づいて提示されてもよい。
幾つかの典型的な実施形態では、ユーザの要求は、対象の少なくとも１つのタイプの術
中手術事象の表示を含み、また、フレームの第１のグループは、少なくとも１つのタイプ
の対象の術中手術事象のうちの少なくとも１つの術中手術事象を描写し得る。術中手術事
象のタイプは、術中手術事象が分類され得る任意のカテゴリであり得る。例えば、タイプ
としては、実行されている処置のタイプ、処置の段階、術中手術事象が有害であるか否か
、術中手術事象が計画された処置の一部であるか否か、術中手術事象を実行する外科医の
識別情報、術中手術事象の目的、術中手術事象に関連する医学的状態、又は任意の他のカ
テゴリ又は分類を挙げることができる。
本開示の実施形態は、患者の医療記録に記憶するためにフレームの第１のグループをエ
クスポートすることを更に含むことができる。上述したように、特定の手術映像は、患者
に対して行われる外科的処置を描写することができる。開示された方法を使用して、少な
くとも１つの手術中の手術事象に関連付けられたフレームの第１のグループは、患者の医
療記録に関連付けられ得る。本明細書で使用される場合、医療記録は、診断、治療、及び
／又はケアを含む、患者の健康に関する情報の任意の形態の文書化を含むことができる。
医療記録は、電子医療記録（ＥＭＲ）などのデジタル形式で記憶することができる。フレ
ームの第１のグループをエクスポートすることは、第１のフレームグループを送信する又
はそうでなければ医療記録に記憶するために利用可能にすること、又はそうでなければフ
レームの第１のグループを医療記録に関連付けることを含むことができる。これは、例え
ば、フレームの第１のグループ（又はフレームの第１のグループのコピー）をデータベー
スなどの外部デバイスに送信することを含むことができる。幾つかの実施形態では、開示
された方法は、フレームの第１のグループを固有の患者識別子に関連付けることと、及び
、固有の患者識別子を含む医療記録を更新することとを含むことができる。固有の患者識
別子は、患者を一意的に識別する英数字文字列などの任意の指標であってもよい。英数字
文字列は、プライバシーの目的のために必要とされ得る患者を匿名化することができる。
プライバシーが問題とならない場合、固有の患者識別子は、患者の名前及び／又は社会保
障番号を含むことができる。
幾つかの例示的な実施形態では、開示された方法は、少なくとも１つの術中手術事象の
指標を生成することを更に含むことができる。上述したように、インデックスは、関連す
るビデオフレームの検索を可能にするデータストレージの形態を指すことができる。イン
デックス付けは、インデックス付けされていない場合よりも効率的及び／又は効果的な態
様で検索を促進することができる。インデックスは、フレームの第１のグループに示され
る或いはそうでなければ関連付けられる術中手術事象のリスト又は他の箇条書きを含むこ
とができる。フレームの第１のグループをエクスポートすることは、フレームの第１のグ
ループのコンパイルを生成することを含むことができ、コンパイルはインデックスを含み
、１つ以上のインデックス項目の選択に基づいて少なくとも１つの術中手術事象の視聴を
可能にするように構成される。例えば、インデックスを通じて「切開」を選択することに
より、切開を描写する手術映像のコンパイルをユーザに提示することができる。様々な他
の術中手術事象が指標に含まれ得る。幾つかの実施形態では、コンパイルは、連続ビデオ
として記憶される異なる術中事象の一連のフレームを含むことができる。例えば、ユーザ
は、インデックスを介して複数の術中事象を選択することができ、選択された術中事象に
関連するフレームを単一のビデオにコンパイルすることができる。
本開示の実施形態は、因果関係概要を生成することを更に含むことができる。因果関係
概要は、中間のクリップ又は画像を見る必要なく、外科的処置の原因段階に関連するクリ
ップ又は画像及び関連する転帰段階のクリップ又は画像をユーザが見ることができるよう
にしてもよい。本明細書で使用される「原因」は、特定の結果、現象又は状態を引き起こ
すトリガ又は作用を指す。「転帰」とは、原因に起因し得る現象又は状態を指す。幾つか
の態様では、転帰が有害転帰であってもよい。例えば、転帰としては、出血、腸間膜気腫
、損傷、計画されていない開放手術（例えば、腹壁切開）への転換、計画されたよりもか
なり大きい切開などを挙げることができる。原因は、外科医によるエラーなどの、有害転
帰をもたらす又は有害転帰に起因し得る動作であってもよい。例えば、エラーは、技術的
エラー、通信エラー、管理エラー、判断エラー、意思決定エラー、医療機器の利用に関す
るエラー、又は発生し得る他の形態のエラーを含み得る。また、転帰は、成功した手術、
処置、又は段階などの正の又は予測される転帰を含み得る。
因果関係概要が生成される実施形態では、履歴データは、履歴的な手術転帰データ及び
それぞれの履歴的な原因データを更に含むことができる。履歴的な手術転帰データは、転
帰に関連付けられた履歴的な手術映像の部分を示すことができ、履歴的な原因データは、
転帰のそれぞれの原因に関連付けられた履歴的な手術映像の部分を示すことができる。そ
のような実施形態では、フレームの第１のグループは、フレームの原因セット及びフレー
ムの転帰セットを含むことができ、フレームの第２のグループは、フレームの中間セット
を含むことができる。
図１０は、開示された実施形態と整合する、因果関係概要を生成するための例示的なプ
ロセス１０００を示すフローチャートである。プロセス１０００は一例として与えられ、
また、当業者は、この開示と整合する因果関係概要を生成するための様々な他のプロセス
を理解し得る。ステップ１０１０において、プロセス１０００は、特定の手術映像を解析
して、手術転帰及び手術転帰のそれぞれの原因を識別することを含むことができ、識別は
、履歴的な転帰データ及びそれぞれの履歴的な原因データに基づく。解析は、上述したよ
うに、画像及び／又はビデオ処理アルゴリズムを使用して実行することができる。幾つか
の実施形態では、ステップ１０１０は、特定の手術映像を解析するために履歴データを使
用して手術転帰及び手術転帰のそれぞれの原因を識別するようにトレーニングされた機械
学習モデルを使用することを含むことができる。例えば、機械学習モデルは、既知又は所
定の手術転帰及びそれぞれの原因を有する履歴データに基づいてトレーニングすることが
できる。その後、トレーニングされたモデルを使用して、特定の手術映像などの他の映像
内の手術転帰及びそれぞれの原因を識別することができる。そのような機械学習モデルを
トレーニングするために使用されるトレーニング例の一例は、ビデオクリップに対応する
手術転帰、及び場合によっては手術転帰のそれぞれの原因を示すラベルと共に、外科的処
置のビデオクリップを含むことができる。そのようなトレーニング例は、例えば、履歴デ
ータに基づいて決定された転帰などを含む、履歴データからのビデオクリップを含む履歴
データに基づくことができる。
ステップ１０２０において、プロセス１０００は、解析に基づいて、特定の手術映像内
のフレームの転帰セットを検出することを含むことができ、フレームの転帰セットは外科
的処置の転帰段階内にある。転帰段階は、上記のような転帰に関連する外科的処置の時間
帯又は部分であり得る。ステップ１０３０において、プロセス１０００は、解析に基づい
て、特定の手術映像内のフレームの原因セットを検出することを含むことができ、フレー
ムの原因セットは、転帰段階から時間的に離れた外科的処置の原因段階内にある。幾つか
の実施形態において、転帰段階は、転帰が観察可能である手術段階を含んでもよく、また
、フレームの転帰セットは、転帰段階におけるフレームのサブセットであり得る。原因段
階は、転帰段階における転帰の原因に関連する外科的処置の時間帯又は部分であり得る。
幾つかの実施形態では、原因段階は、原因が発生した手術段階を含むことができ、フレー
ムの原因セットは、原因段階におけるフレームのサブセットであり得る。フレームの中間
セットは、フレームの原因セットとフレームの転帰セットとの間に介挿される中間段階内
にあり得る。ステップ１０４０において、プロセス１０００は、手術映像の因果関係概要
を生成することを含むことができ、因果関係概要は、フレームの原因セット及びフレーム
の転帰セットを含み、フレームの中間セットを省略する。幾つかの実施形態では、因果関
係概要は、上述したように、フレームの第１のグループの集約と同様であり得る。したが
って、因果関係概要は、フレームの原因セット及びフレームの転帰セットに関連付けられ
たビデオクリップのコンパイルを含み得る。上述したように、ユーザに提示されるフレー
ムの第１のグループの集約は、因果関係概要を含むことができる。
図１１は、開示された実施形態と整合する、手術概要映像を生成するための例示的なプ
ロセス１１００を示すフローチャートである。プロセス１１００は、処理デバイスによっ
て実行されてもよい。幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッ
サによって実行されるときにプロセッサにプロセス１１００を実行させる命令を含むこと
ができる。ステップ１１１０において、プロセス１１００は、少なくとも１つの術中手術
事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレーム
の第２のグループとを含む特定の手術映像にアクセスすることを含んでもよい。上記で更
に詳細に説明したように、フレームの第１のグループは、複数の術中手術事象に関連付け
られてもよく、必ずしも連続したフレームでなくてもよい。更に、幾つかの実施形態では
、プロセス１０００に関して上述したように、フレームの第１のグループは、フレームの
原因セット及びフレームの転帰セットを含むことができ、また、フレームの第２のグルー
プは、フレームの中間セットを含むことができる。
ステップ１１２０において、プロセス１１００は、以前の外科的処置の履歴的な手術映
像に基づいて履歴データにアクセスすることを含んでもよく、この場合、手術映像の一部
を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区
別する情報を含む。幾つかの実施形態では、履歴的な手術映像の一部を術中手術事象に関
連するフレームに区別する情報は、手術器具の存在又は動き及び／又は解剖学的特徴のう
ちの少なくとも一方の指標を含むことができる。ステップ１１３０において、プロセス１
１００は、履歴データの情報に基づき、特定の手術映像において、フレームの第１のグル
ープをフレームの第２のグループから区別することを含んでもよい。
ステップ１１４０において、プロセス１１００は、ユーザの要求に基づいて、フレーム
の第２のグループのユーザへの提示を省略しつつ、特定の手術映像のフレームの第１のグ
ループの集約をユーザに提示することを含んでもよい。ユーザの要求は、ユーザが要求を
行うことができるようにするユーザインタフェースを含むことができるコンピューティン
グデバイスから受信されてもよい。幾つかの実施形態では、ユーザは、術中事象の特定の
タイプ又はカテゴリに関連付けられたフレームを更に要求することができる。プロセス１
１００に記載されたステップに基づいて、ユーザは、術中事象に関連するフレームを含む
とともに手術行動に関連しないフレームを省く概要を提示されてもよい。概要は、例えば
、他の無関係な映像の多くを省略しながら、術中手術事象を集約するトレーニングビデオ
として外科医によって使用され得る。
外科的処置の準備をするとき、外科医が同様の手術事象を有する幾つかの外科的処置の
ビデオ映像を見直しすることは有益であり得る。従来の手法では、外科医が同様の手術事
象を有する外科的処置のビデオ映像に容易にアクセスすることができない場合がある。更
に、映像がアクセスされたとしても、ビデオ全体を視聴したりビデオの関連部分を見つけ
たりするには時間がかかりすぎる可能性がある。したがって、外科医が異なる患者に対し
て行われた手術からの手術事象のビデオコンパイル映像を見ることを効率的且つ効果的に
可能にする非従来的な手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む手術準
備に関するものとなり得る。特に、異なる患者に対して行われた手術における異なる事象
のコンパイルビデオが、外科医又は他のユーザに提示されてもよい。コンパイルは、複合
形式で自動的に集約され得る、同様の外科的処置からの異なる術中事象の手術ビデオの抜
粋を含み得る。外科医は、異なる患者の同様の手術から選択されたビデオセグメントのコ
ンパイルを検索するために、症例特有の情報を入力することができる。コンパイルは、１
つの手術からの１つの術中事象及び１つ以上の第２の手術からの他の異なる術中事象を含
むことができる。例えば、異なる患者に対して手術するときに発生する異なる合併症は全
て、１つの合併症ビデオに含まれ得る。複数の外科的処置のビデオが共有特性（例えば、
使用される同様の技術）を有する同じ事象を含む状況では、システムは、冗長性を回避す
るために１つ以上の外科的処置から映像を省略することができる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒
体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法
の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得
る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意
味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの
異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、複数セットの手術ビデオ映像のリポジトリに
アクセスすることを伴うことができる。本明細書で使用される場合、リポジトリは、ビデ
オ映像を電子的に記憶することができる任意の記憶場所又は記憶場所のセットを指すこと
ができる。例えば、リポジトリは、ハードドライブ及び／又はフラッシュドライブなどの
メモリデバイスを含むことができる。幾つかの実施形態では、リポジトリは、サーバ、ク
ラウドストレージロケーション、共有ネットワークドライブ、又はネットワークを介して
アクセス可能な任意の他の形態のストレージなどのネットワーク位置であってもよい。リ
ポジトリは、様々な時間及び／又は場所で捕捉された手術ビデオ映像のデータベースを含
むことができる。幾つかの実施形態では、リポジトリは、手術ビデオ映像以外の更なるデ
ータを記憶することができる。
上述したように、手術ビデオ映像は、任意のビデオ、ビデオフレームのグループ、又は
外科的処置の表示を含むビデオ映像を指すことができる。例えば、手術映像は、手術中に
捕捉された１つ以上のビデオフレームを含むことができる。手術ビデオ映像のセットは、
１つ以上の手術ビデオ又は手術ビデオクリップのグループ化を指すことができる。ビデオ
映像は、同じ場所に記憶されてもよく、或いは、複数の記憶場所から選択されてもよい。
必ずしもそうとは限らないが、セット内の映像は何らかの方法で関連していてもよい。例
えば、セット内のビデオ映像としては、同じ捕捉デバイスによって記録された、同じ施設
で記録された、同時に又は同じ時間枠内で記録された、同じ患者又は患者のグループに対
して行われた外科的処置を描写する、同じ又は同様の外科的処置を描写する、共通の特性
（例えば、同様の医療機器などの使用を含む同様の技術の使用を含む同様の事象を含む同
様の複雑度レベルなど）を共有する又は任意の他の特性又は特性を共有する外科的処置を
描写する、ビデオを含むことができる。
複数の手術ビデオ映像セットは、異なる患者に対して行われた複数の外科的処置を反映
することができる。例えば、同じ又は同様の外科的処置を受けた、又は同様の技術が使用
された外科的処置を受けた多数の異なる個体が、共通のセット又は複数のセット内に含ま
れ得る。これに代えて又は加えて、１つ以上のセットは、異なる時間に単一の患者から捕
捉された手術映像を含むことができる。複数の外科的処置は、例えば全てが虫垂切除術を
含む同じタイプのものであってもよく、又は異なるタイプのものであってもよい。幾つか
の実施形態では、複数の外科的処置は、同じ又は同様の段階又は術中事象などの共通の特
性を共有することができる。
複数の手術ビデオ映像セットは、術中手術事象、手術転帰、患者特性、外科医特性、及
び術中手術事象特性を更に含むことができる。そのような事象、転帰、及び特性の例は、
本開示の全体にわたって記載される。手術転帰は、外科的処置全体の転帰（例えば、患者
が回復したか又は完全に回復したかどうか、患者が退院後に再入院したかどうか、手術が
成功したかどうか）、又は外科的処置内の個々の段階又は事象の転帰（例えば、合併症が
発生したかどうか、又は技術が成功したかどうか）を含み得る。
本開示の幾つかの態様は、企図された外科的処置の準備をしている外科医が、企図され
た外科的処置に対応する症例特有の情報を入力できるようにすることを含み得る。企図さ
れた外科的処置は、まだ行われていない任意の外科的処置を含み得る。幾つかの実施形態
では、外科的処置は、外科医が患者に対して実行しようとする計画された外科的処置であ
ってもよい。他の実施形態では、企図された外科的処置は、仮想的な処置であってもよく
、必ずしも特定の患者に関連付けられなくてもよい。幾つかの実施形態では、企図された
外科的処置は、実験的であってもよく、広く実施されていなくてもよい。症例特有の情報
は、企図された外科的処置又は企図されたもしくは仮想的な患者の任意の特性又は特性を
含み得る。例えば、症例特有の情報としては、処置が実行される患者の特性、処置を実行
する外科医の特性、処置に関与する他のヘルスケア専門家の特性、実行されている処置の
タイプ、処置の固有の詳細又は態様、関与する機器又は器具のタイプ、関与する技術のタ
イプ、処置の複雑な要因、処置の位置、処置されている医学的状態のタイプ又はその特定
の態様、手術転帰、術中事象転帰、又は企図された外科的処置を定義又は説明し得る任意
の他の情報を挙げることができるが、これらに限定されない。例えば、症例特有の情報と
しては、患者の年齢、体重、病状、バイタルサイン、他の身体的特性、過去の病歴、家族
の病歴、又は潜在的な転帰に何らかの直接的又は間接的な関係を有し得る任意の他のタイ
プの患者関連情報を挙げることができる。また、症例特有の情報としては、実行している
外科医のスキルレベル、使用された外科的手技、直面した合併症、又は外科医、処置、使
用された器具、もしくは施設に関する任意の他の情報の指標も挙げることができる。
症例特有の情報は、様々な方法で入力され得る。幾つかの実施形態では、外科医は、グ
ラフィカルユーザインタフェースを介して症例特有の情報を入力することができる。ユー
ザインタフェースは、情報を入力するための１つ以上のテキストフィールド、プロンプト
、ドロップダウンリスト、チェックボックス、又は他のフィールドもしくは機構を含むこ
とができる。幾つかの実施形態では、グラフィカルユーザインタフェースは、開示された
方法を実行するコンピューティングデバイス又はプロセッサに関連付けられてもよい。他
の実施形態では、グラフィカルユーザインタフェースは、携帯電話、タブレット、ラップ
トップ、デスクトップコンピュータ、コンピュータ端末、ウェアラブルデバイス（スマー
トウォッチ、スマートグラス、スマート宝飾品、ヘッドマウントディスプレイなどを含む
）、又はユーザ入力を受信することができる任意の他の電子デバイスなどの外部コンピュ
ーティングデバイスに関連付けることができる。幾つかの実施形態では、症例特有の情報
は、より早い時点又は一定期間（例えば、数日、数ヶ月、数年、又はそれ以上）にわたっ
て入力され得る。症例特有の情報の一部又は全部は、病院もしくは他の医療施設データベ
ース、電子医療記録、又は患者データ及び／又は他の医療データを記憶し得る任意の他の
場所から抽出され得る。幾つかの実施形態では、企図された外科的処置に対応する症例特
有の情報は、外部デバイスから受信され得る。例えば、症例特有の情報は、外部コンピュ
ーティングデバイス、サーバ、クラウドコンピューティングサービス、ネットワークデバ
イス、又は開示された方法を実行するシステムの外部の任意の他のデバイスから検索又は
さもなければ受信され得る。一例では、企図された外科的処置に対応する症例特有の情報
の少なくとも一部は、電子カルテ（ＥＭＲ）から、又はＥＭＲを扱うシステム（例えば、
処置が実行される特定の患者のＥＭＲ、企図された外科的処置に関連するＥＭＲなど）か
ら、スケジューリングシステムから、企図された外科的処置に関連する医療専門家に対応
する電子記録から、又は電子記録を扱うシステムなどから受信され得る。
幾つかの典型的な実施形態では、症例特有の情報は、企図された処置に関連する患者の
特性を含み得る。例えば、先に述べたように、症例特有の情報は、企図された患者の特性
を含み得る。患者の特性としては、患者の性別、年齢、体重、身長、体力、心拍数、血圧
、体温、病状又は疾患、病歴、以前の治療、又は任意の他の関連する特性を挙げることが
できるが、これらに限定されない。他の例示的な患者の特性は、本開示の全体にわたって
記載される。幾つかの実施形態では、患者の特性は、外科医によって直接に入力されても
よい。例えば、上述したように、グラフィカルユーザインタフェースを介して患者特性を
入力することができる。他の実施形態では、患者の特性は、データベース又は他の電子記
憶場所から検索されてもよい。幾つかの実施形態では、患者の特性は、患者の医療記録か
ら受信することができる。例えば、患者特性は、外科医によって入力された識別子又は他
の情報に基づいて、医療記録又は他の情報源から検索することができる。例えば、外科医
は、患者識別子を入力することができ、また、患者の医療記録及び／又は患者特性は、患
者識別子を使用して検索することができる。本明細書で説明するように、患者識別子は匿
名であってもよく（例えば、英数字コード又は機械可読コード）、又は識別可能な方法で
患者を識別してもよい（例えば、患者名又は社会保障番号）。幾つかの例では、症例特有
の情報は、企図された処置に関連する２人以上の患者の特性（例えば、２人以上の患者を
含む企図された外科的処置、例えば移植）を含み得る。
本開示によれば、症例特有の情報は、手術器具に関する情報を含み得る。手術器具は、
手術の一部として使用される任意のデバイス又は機器であり得る。幾つかの典型的な手術
器具は、本開示の全体にわたって記載される。幾つかの実施形態では、手術器具に関する
情報は、器具タイプ又は器具モデルのうちの少なくとも１つを含むことができる。器具タ
イプは、器具の任意の分類を指すことができる。例えば、器具タイプは、使用されている
器具のタイプ（例えば、「メス」、「ハサミ」、「鉗子」、「レトラクタ」、又は他の種
類の器具）を指すことができる。器具タイプは、器具が電子的であるかどうか、器具が低
侵襲手術に使用されるかどうか、器具が構成される材料、器具のサイズ、又は任意の他の
識別特性など、様々な他の分類を含むことができる。器具モデルは、器具の特定の製造元
及び／又は製造業者（例えば、「１５９２１ホールステッドモスキート鉗子」）を指すこ
とができる。
本開示の実施形態は、症例特有の情報を複数の手術ビデオ映像セットに関連するデータ
と比較して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別
することを更に含むことができる。複数の手術ビデオのセットに関連付けられたデータは
、手術ビデオ映像に関する任意の記憶された情報を含むことができる。データは、手術ビ
デオ映像に描写又は関連付けられた術中手術事象、手術段階、又は手術事象特性を識別す
る情報を含むことができる。データは、患者又は外科医の特性、ビデオの特性（例えば、
撮影日、ファイルサイズ、撮影装置に関する情報、撮影場所など）、又は手術ビデオ映像
に関する任意の他の情報などの他の情報を含むことができる。データは、タグ又はビデオ
ファイル内の他のデータとして記憶することができる。他の実施形態では、データが別個
のファイルに記憶されてもよい。幾つかの実施形態では、手術ビデオ映像は、データをビ
デオ映像に関連付けるためにインデックス付けされてもよい。したがって、データは、上
述のデータ構造６００などのデータ構造に記憶することができる。一例では、症例特有の
情報を１つ以上の手術ビデオ映像に関連付けられたデータと（例えば、複数のセットの手
術ビデオ映像と）比較することは、例えば１つ以上の類似性関数を使用して、症例特有の
情報と１つ以上の手術ビデオ映像に関連付けられたデータとの間の１つ以上の類似性指標
計算することを含むことができる。更に、一例では、ｋ個の最も類似した手術ビデオ映像
で一般的に発生する事象が企図された手術中に直面する可能性が高いことを予測するべく
、例えばｋ近傍法アルゴリズムを使用して、１つ以上の手術ビデオ映像で発生した事象が
企図された外科的処置で発生する可能性が高いかどうかを決定するために、計算された類
似性指標を選択された閾値と比較することができる。幾つかの例では、機械学習モデルは
、特定の外科的処置に関連する情報から特定の外科的処置中に直面する可能性が高い術中
事象を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレ
ーニングされた機械学習モデルは、企図された外科的処置の症例特有の情報を解析し、企
図された外科的処置中に直面する可能性が高い術中事象のグループを識別するために使用
されてもよい。そのようなトレーニング例の一例は、特定の外科的処置中に直面する可能
性が高い術中事象を示すラベルと共に、特定の外科的処置に関する情報を含むことができ
る。
企図された外科的処置中に直面する可能性が高い術中事象のグループは、データに基づ
いて決定され得る。例えば、症例特有の情報は、複数の手術ビデオ映像のセットに関連付
けられたデータと比較されてもよい。これは、企図された外科的処置の特性（症例特有の
情報に表される）を比較して、同じ又は同様の特性を有する外科的処置に関連付けられた
手術ビデオ映像を識別することを含み得る。例えば、症例特有の情報が、企図された処置
に関連する患者の病状を含む場合、同じ又は同様の病状を有する患者の外科的処置に関連
する手術ビデオ映像のセットを識別することができる。別の例として、糖尿病、高コレス
テロール、高血圧、及び心疾患の家族歴を有する７３歳の男性に対してカテーテル検査を
実施する準備をしている外科医は、同様の特性を共有する患者（又は特定の患者と同様に
提示すると予測される患者）の見直しのためのビデオ映像を描くために、その症例特有の
情報を入力することができる。企図された外科的処置中に直面する可能性が高い術中事象
のグループは、識別された手術ビデオ映像に関連する外科的処置中に直面した術中手術事
象を含むことができる。幾つかの実施形態では、手術ビデオ映像及び／又は直面する可能
性が高い術中事象のグループを識別する際に、複数の要因を考慮することができる。
術中事象が企図された外科的処置中に直面する可能性が高いと考えられるかどうかは、
術中事象が企図された外科的処置と同様の外科的処置において発生する頻度に依存し得る
。例えば、術中事象は、同様の処置で発生した回数、同様の処置で発生した回数の割合、
又は複数の手術ビデオ映像セットに基づく他の統計情報に基づいて識別され得る。幾つか
の実施形態では、術中事象は、尤度を閾値と比較することに基づいて識別され得る。例え
ば、術中事象は、同様の外科的処置の５０％超、又は任意の他の割合で発生する場合に識
別され得る。幾つかの実施形態では、術中事象のグループは、発生の可能性に基づいて術
中事象の階層を含むことができる。例えば、グループは、発生の可能性が高い術中事象の
階層と、発生の可能性が低い術中事象の１つ以上の階層とを含むことができる。
本開示の幾つかの実施形態によれば、機械学習又は他の人工知能技術を使用して、術中
事象のグループを識別することができる。したがって、症例特有の情報を手術ビデオ映像
の複数のセットと関連付けられるデータと比較することは、人工ニューラルネットワーク
を使用して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別
することを含んでもよい。一例では、人工ニューラルネットワークは、手動で構成されて
もよく、２つ以上の他の人工ニューラルネットワークの組み合わせなどから生成されても
よい。一例では、人工ニューラルネットワークは、様々な症例特有の情報を直面する可能
性が高い術中事象と相関させるトレーニングデータを供給され得る。幾つかの実施形態で
は、トレーニングデータは、リポジトリに含まれる手術ビデオ及び手術映像に関連付けら
れたデータの１つ以上のセットを含むことができる。また、トレーニングデータは、患者
の特性又は過去の病歴などの非映像関連データを含むことができる。人工ニューラルネッ
トワークを使用して、トレーニングデータに基づいてトレーニングされたモデルを生成す
ることができる。したがって、人工ニューラルネットワークを使用することは、入力とし
て症例特有の情報を人工ニューラルネットワークに提供することを含むことができる。モ
デルの出力として、企図された外科的処置中に直面する可能性が高い術中事象のグループ
を識別することができる。ロジスティック回帰、線形回帰、回帰、ランダムフォレスト、
ｋ近傍法（ＫＮＮ）モデル（例えば、上記のようなモデル）、ｋ平均法モデル、決定木、
コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（Ｓ
ＶＭ）モデル、勾配ブースティングアルゴリズム、又は任意の他の形態の機械学習モデル
もしくはアルゴリズムを含む、様々な他の機械学習アルゴリズムが使用されてもよい。
本開示の幾つかの態様は、症例特有の情報及び直面する可能性が高い術中事象の識別さ
れたグループを使用して、術中事象の識別されたグループに対応する手術ビデオ映像の複
数のセットのうちの特定のセット内の特定のフレームを識別することを更に含んでもよい
。複数の手術ビデオ映像の特定のセット内の特定のフレームは、術中事象が発生するビデ
オ映像内の位置であってもよい。例えば、術中事象のグループが合併症を含む場合、特定
のフレームは、合併症を描写する又は合併症に関連付けられたビデオ映像を含んでもよい
。幾つかの実施形態では、特定のフレームは、例えば、術中事象のコンテキストを提供す
るために、術中事象の発生前又は発生後の幾つかの手術ビデオ映像を含むことができる。
また、特定のフレームは、必ずしも連続していなくてもよい。例えば、術中事象が有害事
象又は転帰である場合、特定のフレームは、有害転帰及び有害転帰の原因に対応するフレ
ームを含むことができ、これらのフレームは連続していなくてもよい。特定のフレームは
、フレーム番号（例えば、フレーム番号、開始フレーム番号及び終了フレーム番号、開始
フレーム番号及び後続フレームの数など）に基づいて、時間情報（例えば、開始時間及び
停止時間、持続時間など）に基づいて、又はビデオ映像の特定のフレームを識別するため
の任意の他の態様に基づいて識別することができる。
幾つかの実施形態では、特定のフレームは、複数の手術ビデオ映像のインデックス付け
に基づいて識別されてもよい。例えば、上述したように、ビデオ映像は、映像位置を段階
タグ、事象タグ、及び／又は事象特性に関連付けるためにインデックス付けされてもよい
。したがって、複数の手術ビデオ映像の特定のセット内の特定のフレームを識別すること
は、図６に関連して説明したようなデータ構造６００などのデータ構造を使用して術中事
象に関してルックアップ又は検索を実行することを含むことができる。
本開示によれば、識別された特定のフレームは、異なる患者に対して実行される複数の
外科的処置からのフレームを含むことができる。したがって、識別された特定のフレーム
は、手術準備に使用され得る、異なる患者に対して行われた外科的処置からの術中事象に
関連する映像のコンパイルを形成することができる。例えば、最良のビデオクリップの例
（ビデオ品質、明瞭性、代表性、企図された外科的処置との適合性などに関して）は、異
なる患者に対して実行された異なる処置から選択され、互いに関連付けられてもよく、そ
れにより、例えば、準備外科医は、それぞれの場合のビデオを１つずつ別々に見直す必要
なく、ビデオクリップのグループの最良のものを見ることができる。
本開示の実施形態は、例えば、冗長性を回避するために、結果として生じるコンパイル
を短縮するために、関連性の低い又は情報量の少ない部分を除去するなどのために、識別
された特定のフレームの部分を省略することを更に含むことができる。したがって、幾つ
かの実施形態は、異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の
特性を共有する術中事象に関連するフレームを含むと決定することを含むことができる。
ビデオ映像の第１のセット及び第２のセットは、術中事象の識別されたグループに対応す
る識別された特定のフレームのうちのフレームを含むことができる。共通の特性は、第１
のセット及び第２のセットからのフレームの両方が含まれるべきかどうかを決定すること
に関連する術中事象の任意の特性であり得る。共通の特性は、第１のセット及び第２のセ
ットが冗長であるかどうかを決定するために使用され得る。例えば、術中事象は、外科的
処置中に生じる合併症であってもよく、共通の特性は、一種の合併症であってもよい。フ
レームの第１のセット及びフレームの第２のセットにおける合併症が同じタイプである場
合、手術の準備をしている外科医がフレームの第１のセット及びフレームの第２のセット
の両方を見ることは効率的又は有益でない場合がある。したがって、外科医に提示するた
めに１つのセットのみを選択することができ、他のセットは省略される。本開示の幾つか
の実施形態では、共通の特性は、異なる患者の特性を含み得る。例えば、共通の特性は、
患者の年齢、体重、身長、又は他の人口統計を含むことができ、患者の状態などを含むこ
とができる。本開示の全体にわたって記載される様々な他の患者特性もまた共有され得る
。他の実施形態では、共通の特性は、企図された外科的処置の術中手術事象特性を含み得
る。術中手術事象特性は、術中事象の任意の特質又は特性を含むことができる。例えば、
手術事象の有害転帰、外科的手技、外科医のスキルレベル、特定の外科医の識別情報、生
理的応答、事象の持続時間、又は事象に関連する任意の他の特性もしくは特性。
本開示の様々な例示的な実施形態によれば、異なる患者からのビデオ映像の第１のセッ
ト及び第２のセットが、共通の特性を共有する術中事象に関連するフレームを含むと決定
することは、機械学習モデルの実装を使用して共通の特性を識別することを含むことがで
きる。一例では、特定の特性を有するビデオ映像のフレームを識別するためにトレーニン
グ例を使用して機械学習モデルをトレーニングすることができ、また、トレーニングされ
た機械学習モデルを使用して、異なる患者からのビデオ映像の第１のセット及び第２のセ
ットを解析して、共通の特性を共有する術中事象に関連するフレームを識別することがで
きる。そのようなトレーニング例の一例は、ビデオクリップの特定のフレームの特定の特
性を示すラベルと共にビデオクリップを含むことができる。様々な機械学習モデルが上述
されており、そのような機械学習モデルとしては、ロジスティック回帰モデル、線形回帰
モデル、回帰モデル、ランダムフォレストモデル、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法
モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベ
クターマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、深層学習モデル、又
は任意の他の形態の機械学習モデルもしくはアルゴリズムを挙げることができる。本開示
の幾つかの実施形態は、ビデオ映像の２つのセットが共通の特性を共有するかどうかを決
定するべく機械学習モデルをトレーニングするためにビデオ映像例を使用することを更に
含んでもよく、この場合、機械学習モデルを実装することは、トレーニングされた機械学
習モデルを実装することを含む。一例では、例示的なビデオ映像は、共通の特性を共有す
ることが知られているビデオ映像のセットの対を含むことができるトレーニング映像であ
ってもよい。トレーニングされた機械学習モデルは、２つのビデオ映像セットが共通の特
性を共有するかどうかを決定するように構成され得る。
開示された実施形態は、外科医に提示されるコンパイルから第２のセットの包含を省略
することと、外科医に提示されるコンパイルに第１のセットを含めることとを更に含むこ
とができる。本明細書で使用されるように、コンパイルは、連続再生及び／又は連続再生
のために提示され得る一連のフレームを含み得る。幾つかの実施形態では、コンパイルは
別個のビデオファイルとして記憶されてもよい。他の実施形態では、コンパイルは、例え
ばリポジトリに記憶された、それぞれの手術ビデオ映像からの一連のフレームを提示する
ための命令として記憶されてもよい。コンパイルは、識別された特定のフレームからの他
のフレームを含む、第１のセットに含まれるフレーム以外の更なるフレームを含むことが
できる。
本開示の幾つかの態様は、異なる患者に対して行われた異なる外科的処置からのフレー
ムを含むコンパイルを含む提示を外科医が見ることができるようにすることを更に含むこ
とができる。提示は、フレームのコンパイルを含む任意の形態の視覚的表示であってもよ
い。幾つかの実施形態において、提示は、コンパイルビデオであってもよい。提示は、コ
ンパイルに加えて、メニュー、コントロール、インデックス、タイムライン、又は他のコ
ンテンツなどの他の要素を含むことができる。幾つかの実施形態では、外科医が提示を見
ることができるようにすることは、音声提示を伴って又は伴わずに、スクリーン（例えば
、ＯＬＥＤ、ＱＬＥＤ ＬＣＤ、プラズマ、ＣＲＴ、ＤＬＰＴ、電子ペーパー、又は同様
のディスプレイ技術）、光プロジェクタ（例えば、ムービープロジェクタ、スライドプロ
ジェクタ）、３Ｄディスプレイ、スマートグラス、又は任意の他の視覚的提示機構などの
表示デバイスを使用して提示を表示するためのデータを出力することを含むことができる
。他の実施形態では、外科医が提示を見ることができるようにすることは、１つ以上の他
のコンピューティングデバイスによってアクセス可能な場所に提示を記憶することを含む
ことができる。そのような記憶場所としては、ローカル記憶装置（フラッシュメモリのハ
ードドライブなど）、ネットワーク位置（サーバ又はデータベースなど）、クラウドコン
ピューティングプラットフォーム、又は任意の他のアクセス可能な記憶場所を挙げること
ができる。したがって、提示は、外部デバイスからアクセスされ、外部デバイスに表示さ
れてもよい。幾つかの実施形態では、ビデオを出力することは、ビデオを外部デバイスに
送信することを含むことができる。例えば、外科医が提示を見ることができるようにする
ことは、外部デバイス上で再生するために、ネットワークを介してユーザデバイス又は他
の外部デバイスに提示を送信することを含むことができる。
提示は、異なる処置からの異なるクリップを互いに縫い合わせ、それらをそれらが手術
中に起こり得る時系列順に外科医に提示することができる。クリップは、連続的に再生す
るように提示されてもよく、又は外科医が後続のクリップを再生するために積極的に動作
することを要するように提示されてもよい。外科医が複数の代替技術を見ること、又は有
害事象に対する異なる応答を見ることが有益であり得る幾つかの例では、異なる外科的処
置からの複数の別のクリップが順次提示され得る。
本開示の幾つかの実施形態は、提示に沿った識別された特定のフレームのうちの１つ以
上に対応する１つ以上の時系列マーカを含む共通の手術タイムラインの表示を可能にする
ことを更に含むことができる。例えば、上述したように、共通の手術タイムラインは、提
示にオーバーレイされてもよい。時系列マーカを含む例示的な手術タイムライン４２０が
図４に示されている。時系列マーカは、マーカ４３２，４３４、及び／又は４３６に対応
することができる。したがって、時系列マーカは、手術段階、術中手術事象、意思決定ジ
ャンクション、又は提示に沿った識別された特定のフレームの他の顕著な発生に対応する
ことができる。マーカは、上記で更に詳細に説明したように、タイムラインに沿った形状
、アイコン、又は他のグラフィカル表示として表すことができる。タイムラインは、単一
の患者に対して行われた手術に関連するフレームと共に提示されてもよく、又は複数の患
者に対して行われた手術からのビデオクリップのコンパイルと共に提示されてもよい。
本開示の幾つかの実施形態によれば、外科医が提示を見ることができるようにすること
は、異なる患者に対して実行される異なる外科的処置のビデオ映像の別個のセットを順次
に表示することを含むことができる。ビデオ映像のそれぞれの別個のセットは、異なる患
者に対して行われる異なる外科的処置に対応することができる。幾つかの実施形態では、
ビデオ映像の別個のセットを順次に表示することは、外科医又は他のユーザに連続ビデオ
として現れ得る。他の実施形態では、ビデオ映像の別個のセット間で再生を停止又は一時
停止することができる。外科医又は他のユーザは、シーケンス内のビデオ映像の次のセッ
トを手動で開始することができる。
本開示の幾つかの実施形態によれば、提示は、直面する可能性が高い術中事象の識別さ
れたグループ及び／又は術中事象の識別されたグループに対応する手術ビデオ映像の複数
のセットの特定のセット内の識別された特定のフレームに基づくシミュレートされた外科
的処置の表示を含むことができる。例えば、機械学習アルゴリズム（敵対的生成ネットワ
ークなど）を用いて、トレーニング例を使用して機械学習モデル（例えば、人工ニューラ
ルネットワーク、深層学習モデル、畳み込みニューラルネットワークなど）をトレーニン
グすることにより、術中事象のグループ及び／又は手術ビデオ映像のフレームに基づいて
外科的処置のシミュレーションを生成することができ、また、トレーニングされた機械学
習モデルを使用して、直面する可能性が高い術中事象の識別されたグループ及び／又は識
別された術中事象のグループに対応する複数の手術ビデオ映像の特定のセット内の識別さ
れた特定のフレームを解析し、シミュレートされた外科的処置を生成することができる。
幾つかの実施形態では、ビデオ映像の別個のセットを順次に表示することは、ビデオ映
像の別個のセットのうちの１つ以上を外科医又は他のユーザが選択できるようにするビデ
オ映像の別個のセットのインデックスを表示することを含むことができる。インデックス
は、例えば、術中事象、手術段階、又はビデオ映像の異なる別個のセットの他の指標をリ
ストアップするテキストベースのインデックスであってもよい。他の実施形態では、イン
デックスは、上述のタイムラインなどのグラフィック表示、又はグラフィック情報とテキ
スト情報との組み合わせであってもよい。例えば、インデックスは、別個のセットを対応
する手術段階及びテキスト段階指標へと構文解析するタイムラインを含むことができる。
そのような実施形態では、別個のセットは、外科的処置の異なる手術段階に対応し得る。
別個のセットは、異なる色、異なる陰影、境界ボックスもしくはセパレータ、又は別個の
セットを区別するための他の視覚的指標を使用して表示することができる。テキスト段階
指標は、対応する手術段階を記述又は識別することができる。テキスト段階指標は、それ
らが別個のセットを識別するように、タイムライン内、タイムラインの上、タイムライン
の下、又は任意の位置に表示され得る。幾つかの実施形態では、タイムラインはリスト形
式で表示されてもよく、テキスト段階指標はリスト内に含まれてもよい。
本開示によれば、タイムラインは、術中手術事象に対応する術中手術事象マーカを含む
ことができる。術中手術事象マーカは、手術ビデオ映像内の位置に関連付けられた術中手
術事象に対応することができる。外科医は、術中手術事象マーカをクリックして、対応す
る術中手術事象を描写する少なくとも１つのフレームを表示できるようにされてもよい。
例えば、術中手術事象をクリックすると、コンパイルビデオの表示が選択されたマーカに
関連付けられた位置にスキップすることができる。幾つかの実施形態では、外科医は、上
記でより詳細に説明したように、処置の態様を要約する情報又は過去の外科的処置から導
き出された情報を含むことができる、マーカに関連する事象又は発生に関する追加情報を
見ることができる。手術ビデオ上のタイムラインオーバーレイに関して上述した特徴又は
機能のいずれかは、本明細書に記載のコンパイル映像にも適用することができる。
本開示の実施形態は、術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術
事象特性に基づいてリポジトリのインデックスを生成するべく機械学習モデルをトレーニ
ングすること、及び、リポジトリのインデックスを生成することを更に含むことができる
。症例特有の情報を複数のセットと関連付けられるデータと比較することは、インデック
スを検索することを含み得る。ロジスティック回帰モデル、線形回帰モデル、回帰モデル
、ランダムフォレストモデル、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コ
ックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶ
Ｍ）モデル、勾配ブースティングアルゴリズム、深層学習モデル、又は任意の他の形態の
機械学習モデルもしくはアルゴリズムを含む、上述した様々な機械学習モデルを使用する
ことができる。既知の術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術事
象特性を有する手術ビデオ映像のトレーニングデータセットを使用して、モデルをトレー
ニングすることができる。トレーニングされたモデルは、トレーニングセットに含まれて
いない更なる手術ビデオ映像に基づいて、術中手術事象、手術転帰、患者特性、外科医特
性、及び術中手術事象特性を決定するように構成することができる。リポジトリ内の手術
ビデオ映像に適用される場合、ビデオ映像は、識別された特性に基づいてタグ付けされ得
る。例えば、ビデオ映像は、ビデオインデックス付けに関して上述したように、映像位置
、段階タグ、事象位置、及び／又は事象タグに関連付けることができる。したがって、リ
ポジトリは、上述したデータ構造６００などのデータ構造として記憶することができる。
図１２は、開示された実施形態と整合する、手術準備のための例示的なプロセス１２０
０を示すフローチャートである。プロセス１２００は、本明細書に記載されたような１つ
以上の並置された又は分散されたプロセッサなどの処理デバイスによって実行されてもよ
い。幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッサによって実行さ
れるときにプロセッサにプロセス１２００を実行させる命令を含むことができる。プロセ
ス１２００は、必ずしも図１２００に示されるステップに限定されず、本開示の全体にわ
たって記載される様々な実施形態の任意のステップ又はプロセスもプロセス１２００に含
まれ得る。ステップ１２１０において、プロセス１２００は、異なる患者に対して行われ
た複数の外科的処置を反映する複数の手術ビデオ映像セットのリポジトリにアクセスする
ことを含むことができる。複数のセットの手術ビデオ映像は、術中手術事象、手術転帰、
患者特性、外科医特性、及び術中手術事象特性を含むことができる。幾つかの実施形態で
は、リポジトリは、例えばプロセス８００を使用してインデックス付けされ、複数の手術
ビデオ映像セットの検索及び識別を容易にすることができる。
ステップ１２２０において、プロセス１２００は、企図された外科的処置の準備をして
いる外科医が、企図された外科的処置に対応する症例特有の情報を入力できるようにする
ことを含み得る。上述したように、企図された外科的処置は、計画された処置、仮想的な
処置、実験的処置、又はまだ行われていない別の処置であり得る。症例特有の情報は、例
えばユーザインタフェースを介して、外科医によって手動で入力され得る。幾つかの実施
形態では、症例特有の情報の一部又は全部は、患者の医療記録から受信され得る。症例特
有の情報は、企図された処置に関連する患者の特性を含むことができ、情報は、手術器具
に関する情報（例えば、器具タイプ、器具モデル、器具製造業者など）、又は関連する手
術ビデオ映像を識別するために使用され得る任意の他の情報を含むことができる。
ステップ１２３０において、プロセス１２００は、症例特有の情報を手術ビデオ映像の
複数のセットと関連付けられるデータと比較して、企図された外科的処置中に直面する可
能性が高い術中事象のグループを識別することを含むことができる。直面する可能性が高
い術中事象のグループは、例えば、履歴的なビデオ映像、ビデオデータ以外の履歴的なデ
ータ、又は予測を導き出すことができる任意の他の形式のデータに対して実行された機械
学習解析に基づいて決定することができる。ステップ１２４０において、プロセス１２０
０は、症例特有の情報及び直面する可能性が高い識別された術中事象のグループを使用し
て、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットの特定のセ
ット内の特定のフレームを識別することを含むことができる。識別された特定のフレーム
は、前述したように、異なる患者に対して実行される複数の外科的処置からのフレームを
含むことができる。
ステップ１２５０において、プロセス１２００は、前述したように、異なる患者からの
ビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象に関連付け
られたフレームを含むと決定することを含むことができる。ステップ１２６０において、
プロセス１２００は、前述したように、外科医に提示されるコンパイルから第２のセット
の包含を省略することと、外科医に提示されるコンパイルに第１のセットを含めることと
を含むことができる。
ステップ１２７０において、プロセス１２００は、異なる患者に対して行われる異なる
外科的処置からのフレームを含むコンパイルを含む提示を外科医が見ることができるよう
にすることを含むことができる。上述したように、提示を外科医が見ることができるよう
にすることは、提示を画面又は他の表示デバイス上に表示することを可能にするためのデ
ータを出力すること、提示を別のコンピューティングデバイスにアクセス可能な場所に記
憶すること、提示を送信すること、又は提示及び／又はコンパイルを見ることを可能にす
ることを引き起こすことができる任意の他のプロセス又は方法を含むことができる。
外科的処置の準備をするとき、外科医が過去の外科的処置のビデオ映像を見直しするこ
とは有益であり得る。しかしながら、場合によっては、外科的処置の特に複雑な部分のみ
が外科医に関連し得る。従来の手法を使用すると、外科医が処置の複雑度に基づいて手術
ビデオの一部を識別することは、困難で時間がかかりすぎる可能性がある。したがって、
手術映像の複雑度を効率的且つ効果的に解析し、外科医が手術ビデオの関連部分を迅速に
見直すことができるようにするための非従来型の手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む手術準
備に関するものとなり得る。特に、外科的処置の準備をするとき、外科医は、特定の複雑
度レベルを有する手術ビデオの部分を見たい場合がある。例えば、一般的に日常的な手術
ビデオ内で、高度に熟練した外科医は、非常に複雑な単一の事象のみを見たい場合がある
。しかしながら、適切なビデオ及びビデオ内の適切な位置を見つけることは、外科医にと
って時間がかかる可能性がある。したがって、幾つかの実施形態では、手術映像の複雑度
を解析するための方法及びシステムが提供される。例えば、複雑度に基づいて手術ビデオ
クリップを見るプロセスは、手術ビデオの一部分に複雑度スコアを自動的にタグ付けする
ことによって加速され、それにより、外科医が複雑度に基づいて対象のフレームを迅速に
見つけることが可能になる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒
体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法
の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得
る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意
味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの
異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、手術映像のフレームを解析して、フレームの
第１のセットにおいて解剖学的構造を識別することを含むことができる。上述したように
、手術映像は、任意のビデオ、ビデオフレームのグループ、又は外科的処置の表示を含む
ビデオ映像を指すことができる。例えば、手術映像は、手術中に捕捉された１つ以上のビ
デオフレームを含むことができる。フレームの第１のセットは、手術映像内に含まれる１
つ以上のフレームのグループであってもよい。幾つかの実施形態では、フレームの第１の
セットは連続フレームであってもよいが、これは必ずしも当てはまるとは限らない。例え
ば、フレームの第１のセットは、連続するフレームの複数のグループを含むことができる
。
上述したように、解剖学的構造は、例えば器官、組織、管、動脈、細胞、又は他の解剖
学的部分を含む、生体の任意の特定の部分であってもよい。フレームの第１のセットは、
例えば上述したように、様々な技術を使用して解剖学的構造を識別するために解析するこ
とができる。幾つかの実施形態では、上述したように、手術映像のフレームは、物体検出
アルゴリズムを使用して解析され得る。例えば、物体検出アルゴリズムは、外観、画像特
徴、テンプレートなどのうちの１つ以上に基づいて検出された物体であってもよい。幾つ
かの実施形態では、フレームの第１のセット内の解剖学的構造を識別することは、例えば
上述したように、解剖学的構造を検出するようにトレーニングされた機械学習モデルを使
用することを含む。例えば、画像及び／又はビデオは、画像及び／又はビデオに描写され
ることが知られている解剖学的構造の識別とともに、トレーニングデータとして機械学習
モデルに入力されてもよい。結果として、トレーニングされたモデルは、フレームの第１
のセットにおいて解剖学的構造を識別するべく手術映像を解析するために使用され得る。
例えば、画像及び／又はビデオ内の解剖学的構造を識別するように構成された人工ニュー
ラルネットワークを使用して、手術映像を解析し、フレームの第１のセット内で解剖学的
構造を識別することができる。ロジスティック回帰、線形回帰、回帰、ランダムフォレス
ト、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モ
デル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブーステ
ィングアルゴリズム、深層学習モデル、又は任意の他の形態の機械学習モデルもしくはア
ルゴリズムを含む、様々な他の機械学習アルゴリズムが使用されてもよい。
本開示の幾つかの態様は、第１の履歴データにアクセスすることを更に含むことができ
、第１の履歴データは、以前の外科的処置の第１のグループから捕捉される第１のフレー
ムデータの解析に基づく。一般に、フレームデータは、本明細書に記載の外科的処置を描
写する任意の画像又はビデオデータを含むことができる。第１の履歴データ及び／又は第
１のフレームデータは、１つ以上の記憶場所に記憶することができる。したがって、第１
の履歴データにアクセスすることは、記憶場所から履歴データを読み出すことを含むこと
ができる。他の実施形態では、第１の履歴データにアクセスすることは、例えば、画像捕
捉デバイス又はコンピューティングデバイスから第１の履歴データ及び／又は第１のフレ
ームデータを受信することを含むことができる。本開示の実施形態と整合して、第１の履
歴データにアクセスすることは、第１のフレームデータを検索又は受信すること、及び、
第１のフレームデータを解析して第１の履歴データを識別することを含むことができる。
履歴データは、以前の外科的処置に関する任意の情報であり得る。そのような履歴デー
タの幾つかの非限定的な例が上記に記載されている。幾つかの実施形態では、第１の履歴
データは、以前の外科的処置の第１のグループに関連する複雑度情報を含むことができる
。複雑度情報は、以下で更に説明するように、手術の複雑度レベルを示す任意のデータを
含むことができる。第１の履歴データは、第１のフレームデータから収集することができ
る外科的処置の第１のグループに関する任意の他の情報を含むことができる。例えば、第
１のフレームデータは、関与する解剖学的構造、使用される医療器具、行われた外科的処
置のタイプ、処置中に発生する術中事象（有害事象を含む）、患者によって示される医学
的状態、患者の特性、外科医の特性、関与する外科医又は他のヘルスケア専門家の熟練度
、タイミング情報（例えば、医療器具と解剖学的構造との間の相互作用の持続時間、手術
段階又は術中事象の持続時間、医療器具の外観と医療器具と解剖学的構造との間の最初の
相互作用との間の時間、又は他の関連する持続時間又はタイミング情報）、解剖学的構造
の状態、関与する外科医又は他のヘルスケア専門家の数、又は以前の外科的処置に関連す
る任意の他の情報を含む、以前の外科的処置に関連する情報を含む又は示すことができる
。
第１の履歴データが複雑度情報を含む実施形態では、そのような情報は、外科的処置又
はその一部の複雑度を示すか、又はそれに関連付けられ得る。例えば、第１の履歴データ
は、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的関係の表示を含むこと
ができる。統計的関係は、特定の手術複雑度レベルと特定の解剖学的構造との間の何らか
の相関関係を示すことができる任意の情報であってもよい。例えば、特定の血管が外科的
処置において露出されるとき、器官の特定の部分が裂けるとき、又は特定の量の血液が検
出されるとき、そのような事象は、手術複雑度レベルと統計的に相関し得る。同様に、大
量の脂肪又は臓器の不良状態の検出も複雑度レベルに相関し得る。これらは単なる一例で
あり、手術の複雑度に相関する任意の状態又は事象は、手術の複雑度の指標として役立ち
得る。
幾つかの実施形態では、第１の履歴データは、物体検出アルゴリズム及び／又は動き検
出アルゴリズムを含む１つ以上の画像又はビデオ解析アルゴリズムを使用して第１のフレ
ームデータから識別することができる。他の実施形態では、フレームデータに基づいて履
歴データを識別するようにトレーニングされた機械学習モデルを使用して、第１のフレー
ムデータから第１の履歴データを識別することができる。例えば、機械学習モデルは、フ
レームデータから（上述のように）履歴データを識別するためにトレーニング例を使用し
てトレーニングされてもよく、トレーニングされた機械学習モデルは、第１の履歴データ
を決定するために第１のフレームデータを解析するために使用されてもよい。そのような
トレーニング例の一例は、外科的処置又は外科的処置の一部の複雑度レベルを示すラベル
と共に、外科的処置又は外科的処置の一部を示す画像及び／又はビデオを含むことができ
る。例えば、そのようなラベルは、手動で生成されてもよく、異なるプロセスによって生
成されてもよく、メモリから読み出されるなどしてもよい。
本開示の実施形態は、第１の履歴データを使用して及び識別された解剖学的構造を使用
してフレームの第１のセットを解析し、フレームの第１のセットと関連付けられる第１の
手術複雑度レベルを決定することを伴うことができる。本明細書で使用される場合、複雑
度レベルは、外科的処置又は外科的処置の一部の相対的な複雑度を示す値又は他の分類子
であり得る。例えば、複雑度は、他の外科的処置に対する外科的処置の難易度に基づいて
もよい。難易度は、外科的処置に関与する１つ以上の技術を実行するために必要とされる
外科医のスキルレベル、有害事象（例えば、涙、出血、傷害、又は他の有害事象など）の
発生の可能性、外科的処置の成功率、又は手技の難易度の任意の他の指標に基づいてもよ
い。より高い相対的難易度レベルを有する外科的処置は、より高い複雑度レベルに関連付
けられ得る。
別の例示的な例として、複雑度レベルは、外科的処置又はその一部を完了するための持
続時間又は時間要件に基づくことができる。例えば、より長い実行時間を必要とする処置
又は技術は、より複雑であると考えることができ、より高い複雑度レベルに関連付けられ
得る。別の例として、複雑度レベルは、外科的処置又はその一部を実行するために必要な
ステップの数に基づいてもよい。例えば、より多くのステップを必要とする処置又は技術
は、より複雑であると考えることができ、より高い複雑度レベルに関連付けられ得る。幾
つかの実施形態では、複雑度レベルは、実行されている外科的手技又は処置のタイプに基
づいてもよい。特定の技術又は処置は、所定の複雑度を有することができ、複雑度レベル
は、関与する技術又は処置の複雑度に基づくことができる。例えば、胆嚢切除術は、全摘
出術よりも複雑であると考えることができ、したがって、胆嚢切除術を含む外科的処置に
は、より高い複雑度レベルを割り当てられ得る。複雑度レベルに関連し得る他の要因とし
ては、疾患重症度、複雑化要因、関与する解剖学的構造、使用される医療器具のタイプ、
実行された外科的処置のタイプ、処置で発生する術中事象（有害事象を含む）、患者の生
理的応答、患者によって示される医学的状態、患者の特性、外科医の特性、関与する外科
医もしくは他のヘルスケア提供者のスキルレベル、タイミング情報（例えば、医療器具と
解剖学的構造との間の相互作用の持続時間、手術段階又は術中事象の持続時間、医療器具
の出現と医療器具と解剖学的構造との間の最初の相互作用との間の時間、又は他の関連す
る持続時間又はタイミング情報）、解剖学的構造の状態、関与する外科医もしくは他のヘ
ルスケア専門家の数、又は以前の手術に関連する任意の他の情報に関連する情報を挙げる
ことができる。手術複雑度レベルは、上記の例のいずれにも限定されず、上記の例を含む
要因の組み合わせに基づいてもよい。
手術複雑度レベルは、様々な態様で表すことができる。幾つかの実施形態では、複雑度
レベルが値として表されてもよい。例えば、手術複雑度レベルは、複雑度のスケール（例
えば、０～５、０～１０、０～１００、又は任意の他の適切なスケール）に対応する値の
範囲内の１つの値であってもよい。パーセンテージ又は他のスコアも使用することができ
る。一般に、より高い値はより高い複雑度レベルを示すことができるが、幾つかの実施形
態では、手術複雑度は値の逆数であり得る。例えば、１の複雑度レベルは、７の複雑度レ
ベルよりも高い複雑度を示すことができる。他の実施形態では、複雑度レベルは、複雑度
のテキストベースの指標として表されてもよい。例えば、フレームの第１のセットには、
「高い複雑度」、「中程度の複雑度」、「低い複雑度」、又は様々な他の分類子の複雑度
レベルを割り当てられ得る。幾つかの実施形態では、手術複雑度レベルは、手術複雑度を
表すために使用される標準化されたスケール又は指数に対応し得る。手術複雑度レベルは
、特定のタイプの外科的処置（又は外科的処置タイプのサブセット）に固有であってもよ
く、又は任意の外科的処置に適用可能な汎用複雑度レベルであってもよい。
上述したように、第１の手術複雑度レベルは、履歴データを使用してフレームの第１の
セットを解析することによって決定され得る。フレームの第１のセットを解析することは
、フレームの第１のセットに含まれる情報に基づいて複雑度レベルを決定するための任意
のプロセスを含むことができる。手術複雑度レベルを決定するための解析の例は、以下に
より詳細に与えられる。
更に、第１の手術複雑度レベルは、識別された解剖学的構造を使用して決定されてもよ
い。幾つかの実施形態では、処置に関与する解剖学的構造のタイプは、手術複雑度レベル
を少なくとも部分的に示すことができる。例えば、特定の解剖学的構造（例えば、患者の
脳又は心臓に関連する解剖学的構造）に対して行われる処置は、より複雑であると考えら
れ得る。幾つかの実施形態では、解剖学的構造の状態は、以下でより詳細に説明するよう
に、複雑度レベルの決定にも関連し得る。
本開示の幾つかの態様は、手術映像のフレームを解析して、フレームの第２のセットに
おいて医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を識別す
ることを含むことができる。例えば、フレームの第２のセットは、解剖学的構造に対して
外科的処置が行われている手術映像の一部を示すことができる。医療器具は、医療処置の
一部として使用される任意の装置又は機器を含むことができる。幾つかの実施形態では、
上述したように、医療器具が手術器具であってもよい。例えば、医療器具としては、切断
器具、把持及び／又は保持器具、リトラクタ、組織一体化器具及び／又は材料、保護器具
、腹腔鏡、内視鏡、患者監視装置、患者撮像装置、又は同様の器具を挙げることができる
が、これらに限定されない。上述したように、相互作用は、解剖学的構造に影響を及ぼし
得る医療機器による任意の動作を含むことができ、或いは、その逆もまた同様である。例
えば、相互作用としては、医療機器と解剖学的構造との間の接触、解剖学的構造に対する
医療機器による作用（例えば、切断、クランプ、把持、圧力の印加、掻き取りなど）、解
剖学的構造による生理的応答、又は任意の他の形態の相互作用を挙げることができる。
フレームの第１のセットと同様に、フレームの第２のセットは、手術映像内に含まれる
１つ以上のフレームのグループ化であってもよい。フレームの第２のセットは、連続した
フレームであってもよく、又は連続したフレームの複数のグループを含んでもよい。幾つ
かの実施形態では、フレームの第１のセット及びフレームの第２のセットは、完全に異な
っていてもよい。他の実施形態では、フレームの第１のセット及びフレームの第２のセッ
トは、フレームの第１のセット及びフレームの第２のセットの両方に現れる少なくとも１
つの共通フレームを含むことができる。フレームの第１のセットと同様に、フレームの第
２のセットを解析し、様々な技術を使用して医療器具、解剖学的構造、及び医療器具と解
剖学的構造との間の相互作用を識別することができる。幾つかの実施形態では、手術映像
のフレームは、物体検出アルゴリズム（例えば、外観ベースの検出アルゴリズム、画像特
徴ベースの検出アルゴリズム、テンプレートベースの検出アルゴリズムなど）及び／又は
動き検出アルゴリズムを使用して解析され得る。幾つかの実施形態では、フレームの第２
のセット内の医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を
識別することは、医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作
用を検出するようにトレーニングされた機械学習モデルを使用することを含むことができ
る。例えば、機械学習モデルは、画像及び／又はビデオから医療器具及び／又は解剖学的
構造及び／又は医療器具と解剖学的構造との間の相互作用を検出するためにトレーニング
例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、
医療器具及び／又は解剖学的構造及び／又は医療器具と解剖学的構造との間の相互作用を
検出するためにフレームの第２のセットを解析するために使用され得る。そのようなトレ
ーニング例の一例としては、画像及び／又はビデオクリップに描写された医療器具、画像
及び／又はビデオクリップに描写された解剖学的構造、並びに画像及び／又はビデオクリ
ップに描写された医療器具と解剖学的構造との間の相互作用のうちの少なくとも１つを示
すラベルと共に、外科的処置の画像及び／又はビデオクリップを含み得る。
幾つかの例示的な実施形態では、フレームの第１のセットにおいて解剖学的構造を識別
することは、医療器具の識別、及び医療器具と解剖学的構造との間の第１の相互作用に基
づくことができる。幾つかの実施形態では、フレームの第１のセットにおいて識別された
医療器具は、フレームの第２のセットにおいて識別された医療器具と同じ器具であっても
よい。したがって、フレームの第２のセットにおける医療器具と解剖学的構造との間の相
互作用は、医療器具と解剖学的構造との間の後の相互作用であり得る。これは、例えば、
手術複雑度レベルを少なくとも部分的に示すことができる、第１の相互作用と後の相互作
用との間の時間を決定するのに役立つことができる。
本開示の実施形態は、第２の履歴データにアクセスすることを更に含むことができ、第
２の履歴データは、以前の外科的処置の第２のグループから捕捉された第２のフレームデ
ータの解析に基づく。幾つかの実施形態では、以前の外科的処置の第１のグループ及び以
前の外科的処置の第２のグループは、同じタイプであってもよい。例えば、第１の履歴デ
ータ及び第２の履歴データは、虫垂切除術の第１のグループ及び虫垂切除術の第２のグル
ープに関連し得る。第１のグループ及び第２のグループは、特性に応じて異なり得る。１
つの非限定的な例として、第１のグループは、腹膜炎を示す患者を伴ってもよく、第２の
グループは、腹膜炎を示さなかった患者を含み得る。
幾つかの実施形態では、第１のフレームデータ及び第２のフレームデータは同一であっ
てもよい（すなわち、第１の履歴データ及び第２の履歴データは、同じフレームデータに
基づくことができる）。例えば、第１の履歴データ及び第２の履歴データは、同じフレー
ムデータの異なる解析に基づくことができる。例示的な例として、第１のフレームデータ
は、本実施形態と整合して、第２のフレームデータに含まれていない手術接触力の推定値
を含むことができる。幾つかの実施形態では、第１の履歴データ及び第２の履歴データは
、同じフレームデータの異なるサブセット（例えば、異なる手術段階及び／又は異なる外
科的処置）に基づくことができる。
幾つかの実施形態では、第１のフレームデータと第２のフレームデータとは異なり得る
（すなわち、異なるデータ構造にアクセス又は記憶される）。例えば、同じ外科的処置の
異なるフレームを解析して、第２の履歴データとは異なる第１の履歴データを生成するこ
とができる。
他の実施形態では、以前の外科的処置の第１のグループと以前の外科的処置の第２のグ
ループとは、少なくとも１つの態様において異なり得る。例えば、第１及び第２のグルー
プは、虫垂切除術を含むことができるが、第１のグループが異常な流体漏れ事象を検出し
た虫垂切除術を含むが第２のグループでは異常な流体漏れ事象が検出されなかったという
点で異なり得る。幾つかの実施形態では、以前の外科的処置の第１のグループ及び以前の
外科的処置の第２のグループは、共通の少なくとも１つの外科的処置（例えば、両方のグ
ループが切開を含んでもよい）を有することができる。しかしながら、他の実施形態では
、従来の外科的処置の第１のグループ及び従来の外科的処置の第２のグループは、共通の
外科的処置を有さなくてもよい。
幾つかの実施形態では、方法は、フレームの第１のセットを第１の手術複雑度レベルで
タグ付けすること、フレームの第２のセットを第２の手術複雑度レベルでタグ付けするこ
と、第１のタグを伴うフレームの第１のセット及び第２のタグを伴うフレームの第２のセ
ットをデータ構造に記憶することとを更に含んでもよい。これにより、外科医は第２の複
雑度レベルを選択することができ、それによってフレームの第１のセットの表示を省略し
ながらフレームの第２のセットを表示させることができる。幾つかの実施形態では、方法
は、複雑度レベルの選択を受信すること（例えば、インタフェースへのユーザ入力に基づ
いて選択を受信すること）を含むことができる。更に、方法は、選択されたフレームを読
み出すためにデータ構造にアクセスすることを含むことができる。方法は、選択された複
雑度レベルを伴わずにタグ付けされたフレームを省略しながら、選択された複雑度レベル
でタグ付けされたフレームを表示することを含むことができる。
第１の履歴データ及びフレームデータと同様に、第２の履歴データ及びフレームデータ
は、１つ以上の記憶場所に記憶することができる。幾つかの実施形態では、第２の履歴デ
ータは、第１の履歴データと同じ記憶場所に記憶されてもよい。他の実施形態では、第１
及び第２の履歴データは、別々の場所に記憶されてもよい。他の実施形態と整合して、第
１の履歴データにアクセスすることは、例えば画像捕捉デバイス又はコンピューティング
デバイスから第２の履歴データ及び／又は第２のフレームデータを受信することを含むこ
とができる。更に、第１の履歴データと同様に、第２の履歴データにアクセスすることは
、第２のフレームデータを検索又は受信すること、及び、第２のフレームデータを解析し
て第２の履歴データを識別することを含むことができる。幾つかの実施形態では、第１の
履歴データ及び第２の履歴データは同一であってもよい。他の実施形態では、第１の履歴
データ及び第２の履歴データは異なっていてもよい。第２の履歴データは、上述したよう
に、第１の履歴データと同様に、第２のフレームデータに関する情報を含むことができる
。第２の履歴データは、医療器具情報、解剖学的構造情報、及び／又は関連する複雑度情
報など、第１の履歴データに関して上述した情報のいずれかを含むことができる。第２の
履歴データが複雑度情報を含む実施形態では、そのような情報は、複雑度情報を示すか又
はそれに関連付けられてもよい。例えば、第２の履歴データは、特定の解剖学的構造と特
定の手術複雑度レベルとの間の統計的関係の表示を含むことができる。
本開示の幾つかの態様は、第２の履歴データを使用して及び識別された相互作用を使用
してフレームの第２のセットを解析し、フレームの第２のセットと関連付けられる第２の
手術複雑度レベルを決定することを伴ってもよい。第２の手術複雑度レベルは、第１の手
術複雑度レベルと同様であってもよく、したがって、第１の手術複雑度レベルに関して上
記で提供された例示的な要因のうちの１つ以上に基づいてもよい。幾つかの実施形態では
、第２の手術複雑度レベルは、第１の手術複雑度レベルと（例えば、同じスケール内の値
などと）同じ形式で表されてもよいが、幾つかの実施形態では異なる表示形式が使用され
てもよい。
本開示の実施形態と整合して、第１及び第２の手術複雑度レベルは、様々な方法に従っ
て決定することができる。幾つかの実施形態では、開示された実施形態は、第１の手術複
雑度レベル又は第２の手術複雑度レベルの少なくとも一方を決定するために、以前の外科
的処置から捕捉されるフレームデータを使用して手術複雑度レベルを識別するようにトレ
ーニングされる機械学習モデルを使用することを含むことができる。例えば、機械学習ア
ルゴリズムを使用して機械学習モデルを開発することができる。トレーニングデータは、
以前の外科的処置から捕捉されたフレームデータと、フレームデータに対応することが知
られている手術複雑度レベルを示すラベルとを含むことができ、トレーニングモデルを開
発するために機械学習アルゴリズムに供給することができる。機械学習アルゴリズムとし
ては、ロジスティック回帰、線形回帰、回帰、ランダムフォレスト、ｋ近傍法（ＫＮＮ）
モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモ
デル、サポートベクターマシン（ＳＶＭ）モデル、人工ニューラルネットワーク、勾配ブ
ースティングアルゴリズム、又は任意の他の形態の機械学習モデルもしくはアルゴリズム
を挙げることができる。したがって、第１の履歴データは、以前の外科的処置の第１のグ
ループから捕捉された第１のフレームデータを使用してトレーニングされた機械学習モデ
ルを含むことができる。同様に、第２の履歴データは、以前の外科的処置の第２のグルー
プから捕捉された第２のフレームデータを使用してトレーニングされた機械学習モデルを
含むことができる。結果として、トレーニングされたモデルは、フレームの第１のセット
及びフレームの第２のセットが提供されると、第１及び第２の手術複雑度レベルをそれぞ
れ決定するように構成され得る。
幾つかの例示的な実施形態では、第１の複雑度レベル又は第２の複雑度レベルを決定す
ることのうちの少なくとも一方は、生理的応答に基づくことができる。上述のように、生
理的応答は、外科的処置から直接的又は間接的に生じる患者の任意の物理的又は解剖学的
状態又は反応を含み得る。例えば、生理的応答としては、心拍数の変化、身体運動、１つ
以上の器官の機能の不全又は減少、体温の変化、患者の音声反応、脳行動の変化、呼吸数
の変化、発汗の変化、血中酸素レベルの変化、心機能の変化、交感神経系の活性化、内分
泌応答、サイトカイン産生、急性期反応、好中球白血球増加症、リンパ球増殖、又は外科
的処置に応答した他の任意の身体的変化を挙げることができる。幾つかの実施形態では、
生理的応答は、手術複雑度レベルを示すことができる。例えば、特定の生理的応答を引き
起こす外科的処置は、より複雑であると考えることができ、したがって、より高い複雑度
レベルの評価を有し得る。例えば、機械学習モデルは、画像及び／又はビデオから生理的
応答を識別するためにトレーニング例を使用してトレーニングされてもよく、トレーニン
グされた機械学習モデルは、第１の生理的応答を識別するべくフレームの第１のセットを
解析するために、及び／又は第２の生理的応答を識別するべくフレームの第２のセットを
解析するために使用されてもよく、また、第１の手術複雑度レベルは、識別された第１の
生理的応答に基づいて決定されてもよく、及び／又は第２の手術複雑度レベルは、識別さ
れた第２の生理的応答に基づいて決定されてもよい。そのようなトレーニング例の一例は
、画像及び／又はビデオクリップに描かれた生理的応答を示すラベルと共に、外科的処置
の画像及び／又はビデオクリップを含むことができる。
幾つかの例示的な実施形態では、第１の手術複雑度レベル又は第２の手術複雑度レベル
のうちの少なくとも一方を決定することは、上述したように、解剖学的構造の状態に基づ
いてもよい。一例として、状態は、解剖学的構造の検出された劣化、裂傷、出血、腫脹、
変色、歪み、又はその現在の状態を反映した解剖学的構造の任意の特性を含み得る。幾つ
かの実施形態では、解剖学的構造の状態は、解剖学的構造に影響を及ぼす医学的状態を含
み得る。この医学的状態は、実行されている外科的処置の目的又はタイプを示すことがで
き、したがって、関連する複雑度レベルを示すことができる。例えば、胆嚢が大きなポリ
ープを有する場合、これは、胆嚢切除術が外科的処置に関与していることを示すことがで
き、このことは複雑度レベルを決定するのに有用であり得る。他の実施形態では、医学的
状態は、外科的処置に関連する１つ以上の複雑な要因を示すことができる。例えば、解剖
学的構造に生じる出血は、外科的処置中に生じた合併症を示すことができ、これは手術複
雑度レベルに影響を及ぼし得る。これに代えて又は加えて、医学的状態自体は、特定の複
雑度レベルに関連付けられてもよい。幾つかの実施形態では、解剖学的構造の状態は、外
科的処置の現在の段階又は段階に基づく解剖学的構造の状態であり得る。例えば、解剖学
的構造に行われた切開は、解剖学的構造の状態に影響を及ぼし、したがって、切開前の複
雑度レベルと比較して複雑度レベルを変化させることができる。例えば、機械学習モデル
は、画像及び／又はビデオから解剖学的構造の状態を識別するためにトレーニング例を使
用してトレーニングされてもよく、トレーニングされた機械学習モデルは、第１の解剖学
的構造の第１の状態を識別するべくフレームの第１のセットを解析するために、及び／又
は第２の解剖学的構造の第２の状態を識別するべくフレームの第２のセットを解析するた
めに使用されてもよく（一方、第１の解剖学的構造と同じであっても、異なる解剖学的構
造であってもよい）、第１の手術複雑度レベルは、識別された第１の状態に基づいて決定
されてもよく、及び／又は第２の手術複雑度レベルは、識別された第２の状態に基づいて
決定されてもよい。そのようなトレーニング例の一例は、解剖学的構造の状態を示すラベ
ルと共に、解剖学的構造の画像及び／又はビデオクリップを含むことができる。
本開示の幾つかの実施形態では、第１の手術複雑度レベル又は第２の手術複雑度レベル
のうちの少なくとも一方を決定することは、患者特性に基づくことができる。患者の特性
としては、年齢、性別、体重、身長、ボディーマス指数（ＢＭＩ）、更年期状態、典型的
な血圧、患者のゲノムの特性、教育状態、教育レベル、経済状態、収入レベル、職業レベ
ル、保険のタイプ、健康状態、自己評価による健康、機能状態、機能障害、疾患の持続期
間、疾患の重症度、病気の数、病気の特性（例えば、病気のタイプ、腫瘍の大きさ、組織
学的悪性度、浸潤リンパ節の数など）、医療の利用、医療訪問の回数、医療訪問間隔、定
期的な医療の供給源、家族の状況、結婚歴の状態、子供の数、家族の支え、民族性、人種
、宗教、宗教のタイプ、母国語、患者に対して行われた過去の医療検査の特性（例えば、
試験のタイプ、試験の時間、試験の結果など）、患者に対して行われた過去の医学的治療
の特性（治療のタイプ、治療時間、治療結果など）、又は任意の他の関連する特性を挙げ
ることができるが、これらに限定されない。他の例示的な患者の特性は、本開示の全体に
わたって記載される。これらの特性は、特定のレベルの手術複雑度と相関し得る。例えば
、高齢及び／又は過体重の患者は、若齢又はより良好な身体形状の患者よりも複雑度が高
い外科的処置に関連し得る。
幾つかの実施形態によれば、第１の手術複雑度レベル又は第２の手術複雑度レベルのう
ちの少なくとも一方を決定することは、手術映像に関連する外科医のスキルレベルに基づ
くことができる。例えば、手術映像に描写された外科医が低いスキルレベルを有する場合
、通常は複雑度が低いと考えられる処置は、パフォーマンススキルが低下した結果として
より複雑になる可能性がある。したがって、上述したように、スキルレベルは、外科的処
置又は外科的処置内の特定の技術を実行する外科医の能力の表示となり得る。幾つかの実
施形態では、スキルレベルは、外科医の過去の成績、外科医が受けたトレーニング又は教
育のタイプ及び／又はレベル、外科医が行った手術の回数、外科医が行った手術のタイプ
、外科医の資格、外科医の経験年数、患者又は他のヘルスケア専門家からの外科医の評価
、過去の手術転帰、過去の手術合併症、又は外科医のスキルレベルの評価に関連する任意
の他の情報に関連してもよい。これに代えて又は加えて、外科医のスキルレベルは、ビデ
オ映像のコンピュータ解析によって決定されてもよい。例えば、以下でより詳細に説明す
るように、人工知能を使用して外科医のスキルレベルを分類することができる。スキルレ
ベルは、本明細書では外科医のスキルレベルとして説明されているが、幾つかの実施形態
では、スキルレベルは、麻酔専門医、看護師、認定看護師麻酔専門医（ＣＲＮＡ）、外科
技術者、居住者、医学生、医師助手、又は任意の他のヘルスケア専門家などの別のヘルス
ケア専門家に関連付けられてもよい。したがって、本開示の全体にわたって使用される外
科医への言及は、任意の関連する医療専門家の省略表示である。
本開示の幾つかの実施形態は、手術映像においてヘルスケア提供者によって実証された
スキルのレベルを決定することを更に含むことができる。第１の複雑度レベル又は第２の
複雑度レベルを決定することのうちの少なくとも一方は、ヘルスケア提供者によって実証
される決定されたスキルレベルに基づくことができる。ヘルスケア提供者のスキルレベル
は、物体及び／又は動き検出アルゴリズムなどの画像及び／又はビデオ解析アルゴリズム
を使用して、フレームの第１のセット又は第２のセットの解析に基づいて決定することが
できる。例えば、ヘルスケア提供者は、特定レベルのスキルを実証する態様で１つ以上の
技術を実行することができる。一例では、機械学習モデルは、画像及び／又はビデオから
ヘルスケア提供者のスキルレベルを決定するためにトレーニング例を使用してトレーニン
グされてもよく、また、トレーニングされた機械学習モデルは、手術映像を解析し、手術
映像に提供されるヘルスケアによって実証されるスキルレベルを決定するために使用され
てもよい。そのようなトレーニング例の一例は、ビデオクリップで実証された熟練度を示
すラベルと共に、外科的処置の一部を示すビデオクリップを含むことができる。他の実施
形態では、スキルレベルは、手術映像内のヘルスケア提供者の識別情報に基づいて決定さ
れてもよい。例えば、外科医の識別情報に基づいて、様々な外科医に関するスキルレベル
情報を含むデータベースなどの外部ソースから関連するスキルレベルを決定することがで
きる。したがって、１つ以上の顔認識アルゴリズムを使用してヘルスケア提供者を識別す
ることができ、また、ヘルスケア提供者の識別情報を使用してヘルスケア提供者のスキル
レベルを決定することができる。
幾つかの例示的な実施形態では、第１の手術複雑度レベル又は第２の手術複雑度レベル
のうちの少なくとも一方を決定することは、電子医療記録の解析に基づくことができる。
幾つかの実施形態では、電子医療記録に含まれ得る患者の病歴に関する情報は、患者に対
して実行されている外科的処置の複雑度レベルに関連し得る。例えば、電子医療記録とし
ては、手術歴（患者に対して行われた手術のリスト、手術報告など）、産科歴（例えば、
妊娠のリスト、場合によっては合併症、転帰などの妊娠に関連する詳細と共に）、アレル
ギー、過去及び現在の薬剤、免疫履歴、成長チャート及び／又は発達履歴、過去の医療的
直面からのノート（例えば、そのような注記は、愁訴、身体検査、医学的評価、診断など
に関する詳細を含むことができる）、検査結果、医療画像（例えば、Ｘ線画像、コンピュ
ータ断層撮影画像、磁気共鳴画像画像、ポジトロン放出断層撮影画像、単光子放出コンピ
ュータ断層撮影画像、超音波画像、心電図画像、脳電図画像、筋電図画像、脳磁図画像な
ど）及び／又は医療画像に基づく情報、医療ビデオ、及び／又は、医療ビデオに基づく情
報、順序、処方箋、患者の家族の病歴などを挙げることができる。
本開示の実施形態によれば、第１の手術複雑度レベルを決定することは、フレームの第
１のセットにおいて医療器具を識別することを更に含むことができる。幾つかの実施形態
では、フレームの第１のセットにおいて識別された医療器具は、フレームの第２のセット
において識別された医療器具に対応することができる。例えば、フレームの両方のセット
で同じ器具を識別することができる。他の実施形態では、フレームの第１のセットで識別
された医療器具は、フレームの第２のセットで識別された医療器具とは異なり得る。第１
の手術複雑度レベルを決定することは、医療器具のタイプに基づくことができる。フレー
ムの第１のセットに現れる器具のタイプは、実行されている処置のタイプ及び／又は複雑
度を示すことができる。例えば、医療器具が特定の処置又は処置のタイプにのみ使用され
る特殊な器具である場合、複雑度レベルは、それらの処置又は処置のタイプに関連する複
雑度に少なくとも部分的に基づいて決定され得る。
幾つかの例示的な実施形態では、第１の手術複雑度レベルを決定することは、フレーム
の第１のセットの後に生じる事象に基づくことができる。例えば、縫合を描写するフレー
ムの第１のセットの後のフレームで発生する漏れなどの手術事象は、フレームの第１のセ
ットに関連する複雑度レベルを知らせることができる（例えば、そうでなければフレーム
の第１のセットのみに基づいてより低い複雑度レベルに関連付けられ得る縫合処置は、映
像から不適切な縫合の結果として漏れが発生した可能性が高いと決定された場合により高
い複雑度レベルに上げられ得る）。後の事象は、本開示の全体にわたって記載される術中
手術事象の様々な例を含む、映像の手術複雑度に影響を及ぼす外科的処置に関連する任意
の事象を含むことができる。別の例として、フレームの第１のセットの後に発生した事象
は、フレームの第１のセットの後に発生する出血などの有害事象であり得る。事象の発生
は、第１の手術複雑度レベルを決定するためのコンテキストを提供することができる。幾
つかの実施形態では、フレームの第１のセットの後に発生する事象は、更なるフレームの
解析に基づいて識別することができる。例えば、事象は、フレームの第２のセットの前に
発生してもよく、第１のフレームセットと第２のフレームセットとの間のフレームを解析
することに基づいて識別されてもよい。他の実施形態では、第１のフレームセットと第２
のフレームセットとの間の事象の発生は、更なるフレームを解析することなく、第２のフ
レームセットに基づいて推測することができる。更に、幾つかの実施形態では、事象は、
第２のフレームセットの後に発生することができる。
同様に、幾つかの実施形態では、第２の手術複雑度レベルを決定することは、フレーム
の第１のセットとフレームの第２のセットとの間で生じる事象に基づくことができる。事
象は、第１のフレームセット、第１のフレームセットの前、又は第２のフレームセットの
後を含む他の時間に発生することができる。幾つかの実施形態では、第１及び／又は第２
の手術複雑度レベルは、事象及び／又は事象タイミングを様々な複雑度レベルと相関させ
るようにトレーニングされた機械学習モデルに基づく事象の発生に基づいて決定すること
ができる。例示的な例として、第２の手術複雑度レベルを決定することは、フレームの第
１のセットの後に更なる外科医が呼び出されたという表示に基づいてもよい。更なる外科
医が呼び出されたという表示は、例えば、フレームの第２のセット内であるがフレームの
第１のセット内の外科医の存在を含むことができる。更なる外科医の呼び出しは、手術を
行う外科医が、手術複雑度レベルを決定することに関連し得る支援及び／又は指針を必要
としたことを示すことができる。別の例では、第２の手術複雑度レベルを決定することは
、特定の薬剤がフレームの第１のセットの後に投与されたという表示に基づいてもよい。
例えば、薬剤としては、麻酔薬（例えば、局所麻酔、局所麻酔、及び／又は全身麻酔）、
バルビツレート、ベンゾジアゼピン、鎮静薬、凝固薬、又は外科的処置中に投与され得る
様々な他の薬物を挙げることができる。薬剤の投与は、手術複雑度レベルの決定に関連し
得る。幾つかの実施形態では、薬剤の投与は、発生した可能性がある１つ以上の合併症を
示すことができ、これも手術複雑度レベルを決定することに関連し得る。
本開示の実施形態によれば、第２の手術複雑度レベルを決定することは、フレームの第
１のセットからフレームの第２のセットまでの経過時間に基づくことができる。例えば、
フレームの第１のセットからフレームの第２のセットまでの経過時間は、解剖学的構造が
最初に手術映像に現れるときと、医療器具が解剖学的構造と相互作用する最初のときとの
間の時間を表すことができる。別の例として、経過時間は、２つの手術段階間の時間及び
／又は術中手術事象を示すことができる。例えば、第１の手術複雑度レベルを決定するこ
とがフレームの第１のセットにおいて医療器具を識別することを更に含む実施形態では、
フレームの第１のセットは、切開などの１つの手術段階を示すことができ、フレームの第
２のセットは、縫合などの第２の手術段階を示すことができる。２つの段階又は事象間の
経過時間は、手術複雑度レベルを少なくとも部分的に示すことができる。（例えば、特定
の処置に関して正常よりも長い経過時間は、その処置が正常よりも複雑であったことを示
し得る。）また、外科的処置内の他の時間長は、動作の持続時間、事象の持続時間、手術
段階の持続時間、動作と対応する生理的応答との間の持続時間など、手術複雑度レベルを
示すことができる。手術映像は、そのような持続時間を測定するために解析されてもよく
、また、手術複雑度レベルの決定は、決定された持続時間に基づいてもよい。
本開示の実施形態は、第１及び／又は第２の手術複雑度レベルを選択された閾値と比較
することを更に含むことができる。幾つかの実施形態では、選択された閾値を使用して、
表示及び／又はデータ構造への包含のためにどのフレームを選択すべきかを選択すること
ができる。例えば、開示された方法は、第１の手術複雑度レベルが選択された閾値未満で
あると決定すること、及び、第２の手術複雑度レベルが選択された閾値を超えると決定す
ることを含むことができる。これは、フレームの第２のセットが最小複雑度レベルを満た
す複雑度レベルに関連付けられているが、フレームの第１のセットがそうではないことを
示し得る。したがって、開示された方法は、第１の手術複雑度レベルが選択された閾値未
満であるという決定及び第２の手術複雑度レベルが選択された閾値を超えるという決定に
応じて、データ構造からフレームの第１のセットを省略しながら、フレームの第２のセッ
トをデータ構造に記憶することを更に含むことができる。データ構造は、最小複雑度レベ
ル要件を満たす表示用のビデオを選択するために外科医又は他のユーザによって使用され
てもよい。
本開示の幾つかの実施形態は、フレームの第１のセットを第１の手術複雑度レベルでタ
グ付けすること、フレームの第２のセットを第２の手術複雑度レベルでタグ付けすること
、及び、第１のタグを伴うフレームの第１のセット及び第２のタグを伴うフレームの第２
のセットを含むデータ構造を生成することを更に含んでもよい。データ構造は、第１及び
第２のフレームセット、並びに手術ビデオ映像の他のフレームを、容易な検索のためにイ
ンデックス付けされるように、対応する複雑度レベルと関連付けることができる。そのよ
うなインデックス付けは、上記で詳細に説明したビデオインデックス付けに対応すること
ができる。例えば、手術複雑度レベルは、上述したような、及び図６に示すデータ構造６
００に示すような事象特性であってもよい。したがって、データ構造を生成することは、
外科医が第２の手術複雑度レベルを選択できるようにし、それにより、フレームの第１の
セットの表示を省略しつつフレームの第２のセットを表示させることができる。例えば、
ビデオは、図８Ａ及び図８Ｂに関して上述したプロセス８００に基づいて再生のために選
択することができる。
図１３は、開示された実施形態と整合する、手術映像の複雑度を解析するための例示的
なプロセス１３００を示すフローチャートである。プロセス１３００は、本明細書で説明
されるように、プロセッサなどの少なくとも１つの処理デバイスによって実行されてもよ
い。一例として、プロセッサは、図１４に示すようにプロセッサ１４１２を含むことがで
きる。本開示の全体にわたって、「プロセッサ」という用語は、「少なくとも１つのプロ
セッサ」の省略表示として使用される。言い換えれば、プロセッサは、そのような構造が
並置されるか、接続されるか、又は分散されるかにかかわらず、論理演算を実行する１つ
以上の構造を含むことができる。幾つかの実施形態では、持続性コンピュータ可読媒体は
、プロセッサによって実行されるときにプロセッサにプロセス１３００を実行させる命令
を含むことができる。プロセス１３００は、必ずしも図１３００に示されるステップに限
定されず、本開示の全体にわたって記載される様々な実施形態の任意のステップ又はプロ
セスもプロセス１３００に含まれ得る。ステップ１３１０において、プロセス１３００は
、前述したように、手術映像のフレームを解析して、フレームの第１のセットにおいて解
剖学的構造を識別することを含むことができる。幾つかの実施形態では、解剖学的構造は
、前述のように、物体又は動き検出アルゴリズムなどの画像及び／又はビデオ解析アルゴ
リズムを使用して識別することができる。他の実施形態では、解剖学的構造は、前述のよ
うに、解剖学的構造を検出するようにトレーニングされた機械学習モデルを使用して識別
することができる。
ステップ１３２０において、プロセス１３００は、第１の履歴データにアクセスするこ
とを含んでもよく、第１の履歴データが、以前の外科的処置の第１のグループから捕捉さ
れる第１のフレームデータの解析に基づく。幾つかの実施形態では、第１の履歴データは
、前述のように、以前の外科的処置の第１のグループから捕捉された第１のフレームデー
タを使用してトレーニングされた機械学習モデルを含むことができる。ステップ１３３０
において、プロセス１３００は、第１の履歴データを使用して及び識別された解剖学的構
造を使用してフレームの第１のセットを解析し、フレームの第１のセットと関連付けられ
る第１の手術複雑度レベルを決定することを含んでもよい。例えば、機械学習モデルは、
フレームのセットに関連する手術複雑度レベルを識別するために、トレーニングデータ（
例えば、以前の外科的処置から捕捉されたフレームデータの解析に基づく履歴データに基
づくトレーニングデータ）を使用してトレーニングされてもよく、また、トレーニングさ
れた機械学習モデルは、フレームの第１のセットを解析して、フレームの第１のセットに
関連する第１の手術の複雑度レベルを決定するために使用され得る。
ステップ１３４０において、プロセス１３００は、より詳細に前述したように、手術映
像のフレームを解析して、フレームの第２のセットにおいて医療器具、解剖学的構造、及
び医療器具と解剖学的構造との間の相互作用を識別することを含むことができる。例えば
、物体検出アルゴリズム及び／又は動作検出アルゴリズムを使用して、フレームの第２の
セットを解析して、医療器具及び／又は解剖学的構造及び／又は医療器具と解剖学的構造
との間の相互作用を検出することができる。別の例では、トレーニング例を用いてトレー
ニングされた機械学習モデルを使用して、医療器具及び／又は解剖学的構造、及び／又は
画像及び／又はビデオ内の医療器具と解剖学的構造との間の相互作用を検出することがで
きる。ステップ１３５０において、プロセス１３００は、第２の履歴データにアクセスす
ることを含むことができ、第２の履歴データは、以前の外科的処置の第２のグループから
捕捉された第２のフレームデータの解析に基づく。幾つかの実施形態では、第１の履歴デ
ータ及び第２の履歴データは同一であってもよい。他の実施形態では、第１の履歴データ
及び第２の履歴データは異なっていてもよい。ステップ１３６０において、プロセス１３
００は、前述したように、第２の履歴データを使用して及び識別された相互作用を使用し
てフレームの第２のセットを解析し、フレームの第２のセットと関連付けられる第２の手
術複雑度レベルを決定することを含んでもよい。
手術室スケジュールは、外科的に開示されたシステム及び方法に関連する遅延に基づい
て調整する必要がある場合があり、また、方法は、手術映像を解析して手術の特徴、患者
の状態、及び他の特徴を識別し、手術室スケジュール、手術室で行われる処置に対する調
整を決定することを伴うことができる。逆に、外科的処置がスケジュールされた時間より
も前に完了した場合、スケジュールを調整する必要があり得る。したがって、外科的処置
中の手術映像から得られた情報を使用して効果的且つ効率的に手術室スケジュールを調整
する必要がある。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む手術室
スケジュールの調整に関するものとなり得る。手術室スケジュールは、進行中の外科的処
置の完了に関連するスケジュールされた時間、並びに将来の外科的処置を開始及び終了す
るスケジュールされた時間を含むことができる。
方法又はシステムの態様が有線、無線、又はその両方のネットワークを介して電子的に
行われ得ることを理解して、手術室スケジュールの調整を可能にするための方法及びシス
テムの両方を以下に説明する。そのような方法又はシステムの他の態様は、非電子的手段
を使用して行われてもよい。最も広い意味では、方法又はシステムは、特定の物理的及び
／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。説明
を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等
しく適用されることを理解して、方法を以下で最初に説明する。
開示された実施形態は、手術室内に位置される画像センサから、進行中の外科的処置を
追跡する視覚データを受信することを伴うことができる。本明細書で使用される場合、視
覚データは、記録画像、１つ以上のフレーム又は画像又はクリップ、及び／又は上記から
直接的又は間接的に導き出されたデータを含む、任意の形態の記録された視覚媒体を含む
ことができる。また、映像データは、音声を含んでもよい。例えば、視覚データは、図１
に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像
センサによって捕捉された１つ以上の画像のシーケンスを含むことができる。一部のカメ
ラ（例えば、カメラ１１５，１２１及び１２５）は、手術台１４１の映像／画像データを
捕捉することができ、カメラ１２１は、手術を実行する外科医１３１の映像／画像データ
を捕捉することができる。場合によっては、カメラは、麻酔専門医、看護師、外科技術者
、又は手術室１０１に配置された他のヘルスケア専門家などの外科チームの人員に関連す
るビデオ／画像データを捕捉することができる。
様々な実施形態では、画像センサは、可視光、Ｘ線光（例えば、蛍光透視法による）、
赤外光、又は紫外光を画像、一連の画像、ビデオ、及び任意の他の表示形式に変換するこ
とによって視覚データを捕捉するように構成され得る。画像／ビデオデータは、ＪＰＥＧ
、ＰＮＧ、ＴＩＦＦ、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・
フォーマット（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥ
Ｇ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ
）、マテリアル・エクスチェンジ・フォーマット（ＭＸＦ）、非圧縮フォーマット、可逆
圧縮フォーマット、非可逆圧縮フォーマット、又は他の音声又はビデオフォーマット等の
任意の適切なフォーマットを用いてコンピュータファイルとして記憶されてもよい。
画像センサは、画像又はビデオデータを捕捉することができる任意のセンサであっても
よい。単一のセンサが使用されてもよく、又は複数の画像センサが手術室に配置されても
よい（例えば、センサは、手術室全体に配置されてもよい）。例示的な実施形態では、例
示的な画像センサは、患者の上方に配置されてもよい。例示的な画像センサは、手術台の
上、手術台の隣、手術室に配置された装置の隣、又は手術に関する情報を検出することが
できる他の場所にあってもよい。図１に示すように、画像センサは、カメラ１１５～１２
５を含むことができる。場合によっては、画像センサはウェアラブルデバイス（例えば、
頭部装着型カメラ、身体装着型カメラ、又は人と関連付けることができる任意のセンサ）
であってもよい。これに加えて又は代えて、例示的な画像センサは、手術器具（すなわち
、外科用器具の一部である）上に配置されてもよい。例えば、画像センサは、気管支鏡チ
ューブ、腹腔鏡、内視鏡、又は患者の内側又は外側に配置するように構成された任意の他
の医療機器（例えば、胃鏡検査、大腸内視鏡検査、子宮鏡検査、膀胱鏡検査、軟性Ｓ状結
腸鏡検査、無線カプセル内視鏡検査などの処置のため）の一部であってもよい。
画像センサは、特に外科用器具の一部である場合、可視光、赤外光、及び／又は紫外光
などの適切な波長の光を放射するための１つ以上の発光源を含むことができる。発光源は
、任意の適切な源（例えば、可視光を発する発光ダイオード（ＬＥＤ）、蛍光光源、白熱
光源、赤外線ＬＥＤ、紫外線ＬＥＤ、及び／又は他のタイプの光源）を含むことができる
。画像センサは、光を捕捉することに限定されず、捕捉された信号に関連する視覚データ
を生成するために他の信号を処理するように構成されてもよい。例えば、画像センサは、
捕捉された信号に関連する視覚データを生成するために、超音波、電磁場の変化、又は任
意の他の適切な信号（例えば、表面上の力の分布）などを捕捉するように構成され得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意
の医療処置を含み得る。外科的処置は、切断、研磨、縫合、及び／又は身体組織及び／又
は器官の測定、処置、又は物理的変化を含む他の技術を含み得る。そのような外科的処置
の幾つかの非限定的な例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術
、開放手術、ロボット手術、虫垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王
切開、胆嚢切除、結腸切除（例えば、部分的結腸切除術、全結腸切除術など）、冠動脈血
管形成術、冠動脈バイパス、デブリードマン（例えば、創傷、火傷、感染症など）、遊離
皮膚移植、痔核切除術、股関節置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝
関節鏡検査、膝関節置換術、乳房切除術（例えば、部分的乳房切除術、全乳房切除術、非
定型的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例え
ば、脊椎固定術、椎弓切除術、椎間孔切開術、椎間板切除術、椎間板置換術、層間インプ
ラントなど）、扁桃摘出術、人工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経
管冠動脈形成術などの介入手術、経カテーテル大動脈弁置換術、脳内出血排出のための低
侵襲手術、又は、何らかの形態の切除を伴う任意の他の医療処置を挙げることができる。
本開示は外科的処置に関連して説明されているが、一般に他の形態の医療処置又は処置に
も適用され得ることが理解されるべきである。
手術室は、外科的処置が無菌環境で行われる任意の適切な施設（例えば、病院内の部屋
）であってもよい。手術室は、良好に照明され、頭上手術照明を有するように構成され得
る。手術室は、制御された温度及び湿度を特徴とすることができ、窓なしであってもよい
。例示的な実施形態では、手術室は、空気を濾過し、汚染を防止するために手術室内のわ
ずかに高い圧力を維持することができる空調装置を含むことができる。手術室は、停電の
場合に電気バックアップシステムを含むことができ、酸素及び麻酔ガスの供給を含むこと
ができる。手術室は、一般的な外科用品、使い捨て用品用の容器、麻酔カート、手術台、
カメラ、モニタ、及び／又は手術用の他の物品のための貯蔵空間を含むことができる。手
術前に外科医、麻酔医、術部開業医（ＯＤＰ）、及び看護師によって使用される専用の洗
浄領域が、手術室の一部であってもよい。更に、手術室に含まれるマップは、端末清掃員
が清掃中に手術台及び機器を所望のレイアウトに再調整できるようにしてもよい。様々な
実施形態では、１つ以上の手術室は、ヘルスケア施設内に別個のセクションを形成するこ
とができる手術室の一部であってもよい。手術室は、１つ以上の洗面室、準備室及び回収
室、貯蔵施設及び清掃施設、オフィス、専用廊下、並びに場合によっては他の支援ユニッ
トを含むことができる。様々な実施形態では、手術室は、気候及び空気制御され、他の部
門から分離されてもよい。
様々な実施形態では、画像センサによって捕捉された視覚データは、進行中の外科的処
置を追跡することができる。場合によっては、視覚データを使用して、手術が行われる患
者の身体の領域（例えば、図１に示すように、領域１２７）などの関心領域（ＲＯＩ）を
追跡することができる。例示的な実施形態では、カメラ１１５～１２５は、カメラ動き、
カメラ回転を介してＲＯＩを追跡することによって、又はＲＯＩに向かってズームするこ
とによって視覚データを捕捉することができる。例えば、カメラ１１５は、移動可能であ
り、ＲＯＩに向くことができ、そのＲＯＩでは、外科的処置中、外科的処置前、又は、外
科的処置後にビデオ／画像データを捕捉する必要がある。例えば、図１に示すように、カ
メラ１１５は、ピッチ方向を示す矢印１３５Ａ、及びカメラ１１５のヨー方向を示す矢印
１３５Ｂで示すように回転することができる。様々な実施形態では、カメラ（例えば、カ
メラ１１５）のピッチ角及びヨー角を制御してＲＯＩを追跡することができる。
例示的な実施形態では、カメラ１１５は、位置１２７内の外科用器具（手術器具、医療
機器などとも呼ばれる）、解剖学的構造、外科医１３１の手、切開、解剖学的構造の動き
、及び／又は任意の他の物体を追跡するように構成され得る。様々な実施形態において、
カメラ１１５は、正確な追跡のためにレーザ１３７（例えば、赤外線レーザ）を装備する
ことができる。場合によっては、カメラ１１５は、ＲＯＩのビデオ／画像データを捕捉す
るべくカメラを位置決めするための画像認識アルゴリズムを使用するコンピュータベース
の制御アプリケーションを介して自動的に追跡され得る。例えば、制御アプリケーション
は、解剖学的構造を識別し、解剖学的構造内の特定の位置で手術器具、外科医の手、出血
、動きなどを識別し、カメラ１１５を適切なヨー角及びピッチ角だけ回転させることによ
ってその位置をカメラ１１５で追跡することができる。幾つかの実施形態では、制御アプ
リケーションは、外科的処置中に複数のＲＯＩからビデオ／画像データを捕捉するために
、様々なカメラ１１５～１２５の位置（すなわち、ヨー角及びピッチ角）を制御すること
ができる。これに加えて又は代えて、人間の術者は、様々なカメラ１１５～１２５の位置
を制御することができ、及び／又は人間の術者は、カメラの位置を制御する際に制御アプ
リケーションを監督することができる。
本明細書で使用される場合、「解剖学的構造」という用語は、例えば、１つ以上の器官
、組織、管、動脈、細胞、又は任意の他の解剖学的部分を含む、生体の任意の特定の部分
を含み得る。場合によっては、補綴物、人工器官などが解剖学的構造と見なされ得る。
カメラ１１５～１２５は、１つ以上のＲＯＩを拡大するためのズームレンズを更に含む
ことができる。例示的な実施形態では、カメラ１１５は、ＲＯＩ（例えば、解剖学的構造
の近くにある手術器具）を拡大するためのズームレンズ１３８を含むことができる。カメ
ラ１２１は、ＲＯＩの周りのより大きな領域からビデオ／画像データを捕捉するためのズ
ームレンズ１３９を含むことができる。例えば、カメラ１２１は、場所１２７全体のビデ
オ／画像データを捕捉することができる。幾つかの実施形態では、カメラ１２１から取得
されたビデオ／画像データは、外科的処置中にＲＯＩを識別するために解析されてもよく
、制御アプリケーションは、カメラ１１５に、カメラ１２１によって識別されたＲＯＩに
向かってズームさせるように構成され得る。
様々な実施形態では、制御アプリケーションは、外科的処置中に様々なカメラの位置及
びズームを調整するように構成されてもよい。例えば、制御アプリケーションは、解剖学
的構造を視覚的に追跡するようにカメラ１１５に指示することができ、外科用器具を追跡
するようにカメラ１２１及び１２５に指示することができる。カメラ１２１及び１２５は
、異なる視野角から同じＲＯＩ（例えば、外科用器具）を追跡することができる。例えば
、異なる視野角から得られたビデオ／画像データを使用して、解剖学的構造の表面に対す
る外科用器具の位置を決定することができる。
様々な実施形態では、カメラ１１５～１２５の位置及びズームの制御は、規則ベースで
あり、所定の外科的処置のために開発されたアルゴリズムに従うことができる。例えば、
制御アプリケーションは、外科用器具を追跡するようにカメラ１１５に指示し、位置１２
７にカメラ１２１を向け、外科医の手の動きを追跡するようにカメラ１２３に指示し、解
剖学的構造にカメラ１２５を向けるように構成され得る。アルゴリズムは、外科的処置中
の様々な事象に応じて、カメラ１１５～１２５の位置及びズーム（倍率）を決定する任意
の適切な論理的記述を含むことができる。例えば、アルゴリズムは、処置中に出血を発生
させる解剖学的構造の領域に少なくとも１つのカメラを向けることができる。
様々な場合において、カメラ（例えば、カメラ１１５）が移動又は変形物体（例えば、
カメラ１１５が移動する外科用器具、又は移動／脈動する解剖学的構造を追跡する場合）
を追跡するとき、制御アプリケーションは、移動又は変形物体がカメラの視野から脱出し
ないように、カメラ１１５の最大許容ズームを決定することができる。例示的な実施形態
では、制御アプリケーションは、カメラ１１５の第１のズームを最初に選択し、移動又は
変形物体がカメラの視野から逃げるかどうかを評価し、移動又は変形物体がカメラの視野
から逃げるのを防止するために必要に応じてカメラのズームを調整することができる。様
々な実施形態では、カメラズームは、移動又は変形する物体の方向及び速度に基づいて再
調整することができる。場合によっては、制御アプリケーションは、外科医の手の動き、
外科用器具の動き、外科医の身体の動き、可能性のある次のステップを反映する履歴デー
タ、又は将来の動きが導き出され得る他の任意のデータに基づいて、カメラ１１５～１２
５の将来の位置及び向きを予測するように構成され得る。
画像センサによって捕捉された視覚データは、更なる解析及び記憶のためにネットワー
クを介してコンピュータシステムに通信することができる。例えば、図１４は、コンピュ
ータシステム１４１０、ネットワーク１４１８、並びにネットワーク１４１８を介してコ
ンピュータシステム１４０１に接続された画像センサ１４２１（例えば、手術室内に配置
されたカメラ）、及び１４２３（例えば、外科用器具の一部である画像センサ）を含むこ
とができる例示的なシステム１４０１を示す。システム１４０１は、以前に行われた手術
（すなわち、履歴的な画像、ビデオ又は音声データ、テキストデータ、医師のノート、履
歴的な手術データを解析することによって得られたデータ、及び履歴的な手術に関する他
のデータを含むことができる履歴的な手術データ）に関連する様々なタイプのデータを記
憶するためのデータベース１４１１を含むことができる。様々な実施形態において、履歴
的な手術データは、以前に行われた外科的処置に関連する任意の手術データであってもよ
い。更に、システム１４０１は、１つ以上の音声センサ１４２５、発光素子１４２７、及
びスケジュール１４３０を含むことができる。
コンピュータシステム１４１０は、画像センサによって収集された視覚データを解析す
るための１つ以上のプロセッサ１４１２と、視覚データ及び／又は他のタイプの情報を記
憶するためのデータ記憶装置１４１３と、コンピュータシステム１４１０のための任意の
適切な入力を入力するための入力モジュール１４１４と、コンピュータシステム１４１０
の動作の様々な態様を制御するためのソフトウェア命令１４１６とを含むことができる。
システム１４１０の１つ以上のプロセッサ１４１２は、複数の動作及び／又はストリー
ムを同時に処理する複数のコアプロセッサを含むことができる。例えば、プロセッサ１４
１２は、異なる画像センサ１４２１及び１４２３からの視覚データを同時に処理するため
の並列処理ユニットであってもよい。幾つかの実施形態では、プロセッサ１４１２は、こ
れらに限定されないが、Ｉｎｔｅｌ（商標）製のＰｅｎｔｉｕｍ（商標）もしくはＸｅｏ
ｎ（商標）ファミリー、ＡＭＤ（商標）製のＴｕｒｉｏｎ（商標）ファミリー、又は他の
製造業者からの様々なプロセッサのいずれかからのマイクロプロセッサなどの、１つ以上
の処理デバイスを含むことができる。プロセッサ１４１２は、それぞれが浮動小数点演算
、グラフィック、信号処理、ストリング処理、又はＩ／Ｏインタフェースなどの特定の動
作を実行するように構成された複数のコプロセッサを含むことができる。幾つかの実施形
態では、プロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、中央処理
装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などを含むことができる。
データベース１４１１は、システム１４１０にコンテンツを提供するための動作を実行
するための適切なソフトウェアで構成された１つ以上のコンピューティングデバイスを含
むことができる。データベース１４１１は、例えば、Ｏｒａｃｌｅ（商標）データベース
、Ｓｙｂａｓｅ（商標）データベース、及び／又は他のリレーショナルデータベースもし
くはＨａｄｏｏｐ（商標）シーケンスファイル、ＨＢａｓｅ（商標）もしくはＣａｓｓａ
ｎｄｒａ（商標）などの非リレーショナルデータベースを含むことができる。例示的な実
施形態では、データベース１４１１は、データベースのメモリデバイスに記憶されたデー
タの要求を受信及び処理し、データベースからデータを提供するように構成されたコンピ
ューティング構成要素（例えば、データベース管理システム、データベースサーバなど）
を含むことができる。前述のように、データベース１４１１は、外科的処置に関連するデ
ータを収集及び／又は維持するように構成することができる。データベース１４１１は、
例えばオンラインリソースを含む様々なソースからデータを収集することができる。
ネットワーク１４１８は、様々なコンピューティング構成要素間の任意のタイプの接続
を含むことができる。例えば、ネットワーク１４１８は、インターネット接続、ローカル
エリアネットワーク接続、近距離無線通信（ＮＦＣ）、及び／又はシステム１４０１の構
成要素間の情報の送受信を可能にする他の適切な（１又は複数の）接続を含むことができ
るネットワーク接続を介して情報の交換を容易にすることができる。幾つかの実施形態で
は、システム１４０１の１つ以上の構成要素は、１つ以上の専用通信リンクを介して直接
通信することができる。
システム１４０１の様々な例示的な実施形態は、コンピュータ実装方法、有形の持続性
コンピュータ可読媒体、及びシステムを含むことができる。コンピュータ実装方法は、例
えば、図１４に示すように、媒体１４１３などの持続性コンピュータ可読記憶媒体から命
令を受信する少なくとも１つのプロセッサによって実行されてもよい。同様に、本開示と
整合するシステム及びデバイスは、少なくとも１つのプロセッサ及びメモリを含むことが
でき、また、メモリは、持続性コンピュータ可読記憶媒体となり得る。本明細書で使用さ
れる場合、持続性コンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって読
み取り可能な情報又はデータを記憶することができる任意のタイプの物理メモリを指す。
例としては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、揮発
性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライ
ブ、ディスク、及び任意の他の既知の物理記憶媒体を、それらの一部又は全部が手術室内
又は手術室の近く、同じ施設の別の部屋内、遠隔キャプティブサイト内、又はクラウドベ
ースのサーバファーム内に物理的に配置されているかどうかにかかわらず、挙げることが
できる。「メモリ」及び「コンピュータ可読記憶媒体、」などの単数形の用語は、複数の
メモリ又はコンピュータ可読記憶媒体などの複数の構造を更に指すことができる。本明細
書で言及されるように、「メモリ」は、特に明記しない限り、任意のタイプのコンピュー
タ可読記憶媒体を含むことができる。コンピュータ可読記憶媒体は、本明細書の実施形態
と整合するステップ又は段階をプロセッサに実行させるための命令を含む、少なくとも１
つのプロセッサによる実行のための命令を記憶することができる。更に、１つ以上のコン
ピュータ可読記憶媒体を、コンピュータ実装方法を実施する際に利用することができる。
「コンピュータ可読記憶媒体」という用語は、有形の項目を含み、搬送波及び過渡信号を
除外すると理解されるべきである。
入力モジュール１４１４は、１つ以上のプロセッサ１４１２に入力を提供するための任
意の適切な入力インタフェースであってもよい。例示的な実施形態では、入力インタフェ
ースは、英数字を入力するためのキーボード、マウス、ジョイスティック、タッチスクリ
ーン、オンスクリーンキーボード、スマートフォン、音声捕捉デバイス（例えば、マイク
ロフォン）、ジェスチャ捕捉デバイス（例えば、カメラ）、及びデータを入力するための
他のデバイスであってもよい。ユーザが情報を入力している間、情報は、入力の正確さを
確保するためにモニタに表示されてもよい。様々な実施形態において、入力は、システム
１４１０に提出される前に検証又は変更されて解析されてもよい。
ソフトウェア命令１４１６は、画像センサからの視覚データの受信及び解析、画像セン
サの様々な態様の制御（例えば、動画センサ、回転画像センサ、例示的なＲＯＩに向かっ
てズームするための画像センサのズームレンズの動作、及び／又は他の動き）、手術室内
の他の装置の様々な態様の制御（例えば、音声センサ、化学センサ、発光素子、及び／又
は他のデバイスの動作を制御すること）を含むことができるシステム１４１０の動作の様
々な態様を制御するように構成することができる。
前述のように、画像センサ１４２１は、画像又はビデオデータを捕捉することができる
任意の適切なセンサであってもよい。例えば、そのようなセンサは、カメラ１１５～１２
５であってもよい。
音声センサ１４２５は、音声データを捕捉するための任意の適切なセンサであってもよ
い。音声センサ１４２５は、音声をデジタル情報に変換することによって音声を捕捉する
ように構成されてもよい。音声センサ１４２５の幾つかの例としては、マイクロフォン、
一方向マイクロフォン、双方向マイクロフォン、カージオイドマイクロフォン、全方向マ
イクロフォン、オンボードマイクロフォン、有線マイクロフォン、無線マイクロフォン、
上記の任意の組み合わせ、及び任意の他の音声捕捉デバイスを挙げることができる。
発光素子１４２７は、例えば、画像センサ１４２１によるより良好な画像捕捉を可能に
するために、光を放射するように構成されてもよい。幾つかの実施形態では、光の放射は
、画像センサ１４２１の捕捉動作と調整することができる。これに加えて又は代えて、光
の放射は連続的であってもよい。場合によっては、光の放射は選択された時間に実行され
てもよい。放射光は、可視光、赤外光、紫外光、深紫外光、Ｘ線、ガンマ線、及び／又は
光スペクトルの任意の他の部分であってもよい。
以下に説明するように、スケジュール１４３０は、進行中の外科的処置の完了に関連す
るスケジュールされた時間、並びに将来の外科的処置を開始及び終了するスケジュールさ
れた時間を表示するためのインタフェースを含むことができる。スケジュール１４３０は
、任意の適切な手法（例えば、スタンドアロンのソフトウェアアプリケーションとして、
ウェブサイトとして、スプレッドシートとして、又は任意の他の適切なコンピュータベー
スのアプリケーションもしくは紙ベースの文書として）を使用して実施することができる
。例示的なスケジュール１４３０は、処置のリスト、並びに特定の処置に関連する開始時
間及び終了時間のリストを含むことができる。これに加えて又は代えて、スケジュール１
４３０は、進行中の外科的処置の完了に関連するスケジュールされた時間、並びに将来の
外科的処置を開始及び終了するスケジュールされた時間などの、少なくとも１つの手術室
のスケジュールに関連する、及び／又は少なくとも１つの外科的処置のスケジュールに関
連する情報を表すように構成されたデータ構造を含むことができる。
図１５は、処置Ａ～Ｃ（例えば、外科的処置、又はスケジュール１４３０が使用される
手術室で実行され得る任意の他の適切な医療処置）などの処置のリストを含むことができ
る例示的なスケジュール１４３０を示す。各処置Ａ～Ｃについて、対応する開始時間及び
終了時間を決定することができる。例えば、過去の処置Ａの場合、開始時間１５２１Ａ及
び終了時間１５２１Ｂは実際の開始時間及び終了時間であってもよい。（処置Ａが完了し
たので、スケジュール１４３０は、実際の時間を反映するように自動的に更新されてもよ
い）。図１５は、現在の処置Ｂに関して、開始時間１５２３Ａが実際の時間であってもよ
く、終了時間１５２３Ｂが推定され得る（推定時間として記録され得る）ことを示す。更
に、将来実行されるようにスケジュールされている処置Ｃについて、開始時間１５２５Ａ
及び終了時間１５２５Ｂを推定して記録することができる。スケジュール１４３０は、処
置のリスト及び処置の開始／終了時間を表示及び／又は保持することに限定されず、例示
的な外科的処置に関連する様々な他のデータを含むことができることに留意すべきである
。例えば、スケジュール１４３０は、スケジュール１４３０のユーザがスケジュール１４
３０の様々な要素と相互作用できるようにするべく構成されてもよい（スケジュール１４
３０が、ウェブページ、ソフトウェアアプリケーション、及び／又は別のインタフェース
などのコンピュータベースのインタフェースによって表される場合について）。例えば、
ユーザは、処置Ａ、Ｂ又はＣの詳細をそれぞれ取得するために、領域１５１３、１５１５
又は１５１７をクリック又は選択することができる。そのような詳細は、患者情報（例え
ば、患者の名前、年齢、病歴など）、外科的処置情報（例えば、手術のタイプ、手術に使
用される器具のタイプ、手術に使用される麻酔のタイプ、及び／又は手術の他の特性）、
及びヘルスケア提供者情報（例えば、外科医の名前、麻酔専門医の名前、外科医の経験、
外科医の成功率、外科医の手術転帰に基づく外科医の評価、及び／又は外科医に関する他
のデータ）を含むことができる。前述の情報の一部又は全ては、更なるドリルダウンを必
要とせずに、領域１５１３、１５１５、及び１５１７に既に表示されてもよい。
様々な実施形態において、外科的処置に関する情報は、図１６に示すように、例示的な
フォーム１６０１を介してヘルスケア提供者（例えば、看護師、手術助手、外科医、及び
／又は他のヘルスケア専門家）によって入力されてもよい。例えば、フォーム１６０１は
、ヘルスケア提供者がスケジュールされた外科的処置の緊急度を指定することができる「
ＵＲＧＥＮＣＹ」フィールドと、ヘルスケア提供者が外科的処置のタイプ（又は外科的処
置の名前）を指定することができる「手術タイプ」フィールドと、ヘルスケア提供者が外
科的処置中に合併症を引き起こす可能性がある患者についての医療履歴事象を指定するこ
とができる「合併症」フィールドと、ヘルスケア提供者が患者に関する対応する情報を指
定することができる「氏名」、「住所」、「誕生日」、「接触」、及び「緊急連絡先」な
どの「患者プロファイル」フィールドとを有することができる。更に、フォーム１６０１
は、患者の病歴を記述するために使用することができる「病歴」フィールドを含むことが
でき（例えば、「病歴」フィールドは、プルダウンリスト、ヘルスケア提供者が患者の病
歴を記述するテキストを入力することができる空間、又は患者の病歴の記述に使用するこ
とができる任意の他の適切なグラフィカルユーザインタフェース要素とすることができる
）。更に、フォーム１６０１は、患者のための外科的処置を提供するようにスケジュール
されている医療従事者の名前及び責任を指定することができる「外科チーム」関連フィー
ルドを含むことができる。複数のヘルスケア提供者に関する情報は、図１６に示すように
、「次のメンバーを追加」ボタンによって追加することができる。フォーム１６０１は、
外科的処置に関する情報をスケジュール１４３０に入力するために使用することができる
幾つかの例示的なフィールドを有するフォームの一例にすぎず、スケジュール１４３０の
関連情報を入力することを可能にする任意の他の適切なフォームを使用することができる
。フォームに関する情報のフィールドの数及び捕捉のために識別された情報のタイプは、
管理者の好みの問題であり得る。これに加えて又は代えて、外科的処置のための情報は、
病院情報システム（ＨＩＳ）、電子医療記録（ＥＭＲ）、計画された手術室スケジュール
、デジタルカレンダー、外部システムなどの他のソースから受信されてもよい。
手術室スケジュールの調整を可能にするための実施形態の態様は、履歴的な手術データ
に基づく情報を含むデータ構造にアクセスすること、及び、進行中の外科的処置の視覚デ
ータ及び履歴的な手術データを解析して、進行中の外科的処置の推定完了時間を決定する
ことを含むことができる。様々な実施形態において、本方法の任意のステップは、ソフト
ウェア命令１４１６を実行するシステム１４１０の１つ以上のプロセッサによって実行さ
れてもよい。
データ構造は、データベース１４１１に記憶されてもよく、ネットワーク１４１８を介
してアクセスされてもよく、又はシステム１４１０のメモリに局所的に記憶されてもよい
。履歴的な手術データを含むデータ構造としては、任意の適切なデータ（例えば、画像デ
ータ、ビデオデータ、テキストデータ、数値データ、スプレッドシート、公式、ソフトウ
ェアコード、コンピュータモデル、及び／又は他のデータオブジェクト）、並びに様々な
データ値（又はデータ値の組み合わせ）間の任意の適切な関係を挙げることができる。デ
ータは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元的に、多次元的
に、動作的に、順序付けられた態様で、順序付けられない態様で、オブジェクト指向的な
態様で、集中的態様で、非集中的態様で、分散的態様で、カスタム態様で、又は、データ
アクセスを可能にする任意の態様で記憶されてもよい。非限定的な例として、データ構造
は、配列、連想配列、リンクされたリスト、二分木、平衡木、塊、スタック、キュー、セ
ット、ハッシュテーブル、記録、タグ付き結合体、ＥＲモデル、及び、グラフを含んでも
よい。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ、Ｃｏｕｃｈｂａｓ
ｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａｓｔｉｃ Ｓｅａｒ
ｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ
、Ｓｃｙｌｌａ、ＨＢａｓｅ、及びＮｅｏ４Ｊなどの、データストレージ／検索のための
ＸＭＬコード、ＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベース又は
ＮｏＳＱＬ代替物を含むことができる。データ構造は、開示されたシステムのコンポーネ
ント又はリモートコンピューティングコンポーネント（例えば、クラウドベースのデータ
構造）であってもよい。データ構造内のデータは、連続したメモリ又は不連続なメモリに
記憶されてもよい。更に、本明細書中で使用されるデータ構造は、情報が同じ場所に配置
されることを必要としない。データ構造は、例えば、同じ又は異なるエンティティによっ
て所有又は動作され得る複数のサーバにわたって分散され得る。したがって、単数形で本
明細書で使用される「データ構造」という用語は、複数のデータ構造を含む。
例示的な実施形態では、データ構造は、処置のタイプ（例えば、バイパス手術、気管支
鏡検査、又は上述の任意の他の外科的処置）、患者の１つ以上の特性（例えば、年齢、性
別、処置に影響を及ぼし得る医学的考察、過去の病歴、及び／又は他の患者情報）、外科
医及び／又は麻酔科医の（１又は複数の）名前及び／又は特性、並びに処置を完了するの
にかかった時間を含むことができる。場合によっては、処置の完了のための時間は、手術
室を準備するための時間、外科的処置のために患者を準備するための時間、医療従事者（
すなわち、看護師、外科医、麻酔専門医など）に必要な時間、患者が麻酔されるか又は眠
りにつくために必要な時間、手術室を洗浄するために必要な時間、又は手術室を次の外科
的処置のための状態にするために必要な任意の他の手術関連時間を含むことができる。
例示的な実施形態では、データ構造は、１つ以上のデータベーステーブルを有するリレ
ーショナルデータベースであってもよい。例えば、図１７Ａは、データテーブル１７１１
及び１７１３を含むことができるデータ構造１７０１の例を示す。例示的な実施形態では
、データ構造１７０１は、リレーショナルデータベースの一部であってもよく、メモリな
どに記憶されてもよい。テーブル１７１１及びテーブル１７１３は、複数の記録（例えば
、図１７Ａに示すように、記録１及び２）を含むことができ、フィールド「記録番号」、
「処置」、「年齢」、「性別」、「医学的考察」、「時間」、及び「その他データ」など
の様々なフィールドを有することができる。例えば、フィールド「記録番号」は、整数で
あり得る記録のラベルを含むことができ、フィールド「処置」は、外科的処置の名前を含
むことができ、フィールド「年齢」は、患者の年齢を含むことができ、フィールド「性別
」は、患者の性別を含むことができ、フィールド「医学的考察」は、フィールド「処置」
に示される名前を有する外科的処置に関連し得る患者の病歴に関する情報を含むことがで
き、フィールド「時間」は、外科的処置にかかった時間を含むことができ、フィールド「
その他データ」は、外科的処置に関連する任意の他の適切なデータへのリンクを含むこと
ができる。例えば、図１７Ａに示すように、１７１１は、画像データに対応し得るデータ
１７１２Ａ、ビデオデータに対応し得るデータ１７１２Ｂ、テキストデータ（例えば、外
科的処置中又は外科的処置後に記録されたノート、患者記録、術後報告など）に対応し得
るデータ１７１２Ｃ、及び音声データに対応し得るデータ１７１２Ｄへのリンクを含み得
る。様々な実施形態では、画像、ビデオ、又は音声データは、外科的処置中に捕捉されて
もよい。場合によっては、ビデオデータは音声データも含むことができる。画像、ビデオ
、テキスト又は音声データ１７１２Ａ～１７１２Ｄは、外科的処置中に収集され得るデー
タの一部にすぎない。他のデータは、心拍数データ、血圧データ、血液試験データ、酸素
レベル、又は外科的処置中に記録された任意の他の患者関連データなどの患者のバイタル
サインデータを含むことができる。データの幾つかの更なる例は、室温、使用される外科
用器具のタイプ、又は外科的処置に関連し、外科的処置の前、最中、又は後に記録された
任意の他のデータを含むことができる。
図１７Ａに示すように、テーブル１７１１及び１７１３は、外科的処置のための記録を
含むことができる。例えば、テーブル１７１１の記録１には、腎疾患を有する６５歳の男
性に対してバイパス外科的処置を行い、バイパス手術を４時間で終了したことが示されて
いる。テーブル１７１１の記録２には、外科的処置を複雑化させるような背景的な病状を
有さない７８歳女性に対してバイパス手術を行い、バイパス手術を３時間で終了したこと
が示されている。テーブル１７１３は、６５歳の男性に対するバイパス手術がＭａｃ医師
によって行われたこと、及び、７８歳の女性のためのバイパス手術がＤｏｅ医師によって
行われたことを示す。テーブル１７１１に列挙された年齢、性別、及び医学的考慮事項な
どの患者特性は、例示的な患者特性の一部にすぎず、任意の他の適切な特性を使用して、
ある外科的処置を別の外科的処置と区別することができる。例えば、患者特性は、患者の
アレルギー、麻酔薬に対する患者の耐性、患者の様々な詳細（例えば、バイパス手術中に
治療する必要がある動脈の数）、患者の体重、患者のサイズ、患者の解剖学的構造の詳細
、又は外科的処置の期間（及び成功）に影響を及ぼし得る任意の他の患者関連特性を更に
含み得る。
データ構造１７０１は、外科的処置の任意の適切な態様を特徴付けることができる任意
の他の数の適切なテーブルを有することができる。例えば、１７０１は、関連する麻酔医
の識別情報、外科的処置の時間、外科的処置が外科医によって行われた第１、第２、第３
などの処置であったかどうか（例えば、外科医の生涯、特定の日内など）、関連する麻酔
医のナースアシスタント、外科的処置中に合併症があったかどうか、及び処置に関連する
任意の他の情報を示すテーブルを含むことができる。
データ構造にアクセスすることは、データ構造への情報の読み出し及び／又は書き込み
を含むことができる。例えば、データ構造から／データ構造への読み出し及び／又は書き
込みは、履歴視覚データ、履歴音声データ、履歴テキストデータ（例えば、例示的な過去
の外科的処置の間の注記）、及び／又は他の履歴データフォーマットなどの任意の適切な
履歴的な手術データの読み出し及び／又は書き込みを含むことができる。例示的な実施形
態では、データ構造にアクセスすることは、データベース１１１又は任意の他の適切な電
子ストレージリポジトリから／データベース１１１又は任意の他の適切な電子ストレージ
リポジトリへのデータの読み取り及び／又は書き込みを含むことができる。場合によって
は、データの書き込みは、印刷データ（例えば、紙の履歴データを含む報告の印刷）を含
むことができる。
開示された実施形態は、進行中の外科的処置の推定完了時間を決定するために、データ
構造を使用して進行中の外科的処置の視覚データを解析することを更に含むことができる
。推定完了時間は、例えば、外科的処置が完了すると予測される時間、完了までの残り時
間、外科的処置の推定全体期間、外科的処置の完了の確率分布時間値などを含む、外科的
処置の推定完了の任意の適切な指標であり得る。更に、完了時間は、履歴的な手術データ
（例えば、履歴的な完了時間に関連する標準逸脱、平均履歴的な完了時間、履歴的な完了
時間の平均、及び／又は完了時間の他の統計的メトリック）に基づいて、完了の可能性を
示す更なる統計情報を含むことができる。幾つかの例では、機械学習モデルは、画像及び
／又はビデオから手術の完了時間を推定するためにトレーニング例を使用してトレーニン
グされてもよく、また、トレーニングされた機械学習モデルは、視覚データを解析し、進
行中の外科的処置の推定完了時間を決定するために使用されてもよい。そのようなトレー
ニング例の一例は、外科的処置の推定完了時間を示すラベルと共に、外科的処置の画像及
び／又はビデオを含むことができる。例えば、トレーニング例のラベルは、履歴的な手術
データ、履歴的なデータ、ユーザ入力などに基づく情報を含むデータ構造のうちの少なく
とも１つに基づくことができる。例えば、トレーニング例は、履歴的な手術データ、履歴
的なデータなどに基づく情報を含むデータ構造のうちの少なくとも１つからの画像及び／
又はビデオを含むことができる。
一例では、外科的処置を開始する前に、履歴的な手術データを解析して、進行中の外科
的処置の初期推定完了時間（本明細書では完了時間とも呼ばれる）を決定することができ
、又は進行中の外科的処置の初期推定完了時間は、他の方法で、例えばユーザ、スケジュ
ーリングシステム、外部システムなどから受信することができる。
幾つかの実施形態では、平均履歴完了時間を使用して、推定完了時間を決定することが
できる。例えば、平均履歴完了時間は、進行中の外科的処置と同じタイプの履歴的な外科
的処置について計算されてもよく、平均履歴完了時間は推定完了時間として使用されても
よい。別の例では、同様の履歴的な外科的処置が選択されてもよく（例えば、ｋ近傍法ア
ルゴリズムを使用すること、外科的処置間の類似性指標を使用することなど）、選択され
た同様の履歴的な外科的処置について平均履歴完了時間が計算されてもよい。
履歴データの解析は、確率分布関数が様々な患者／外科医の特性（例えば、患者の年齢
）、線形回帰、及び／又は統計的関係を定量化する他の方法によってどのように影響を受
けるかを決定するために、ベイズ干渉を使用して確率分布関数に基づいて予測完了時間値
を決定するなど、任意の適切な統計データ解析を含むことができる。例えば、図１７Ｂは
、異なる年齢の患者に対する特定の外科的処置（例えば、バイパス手術）の完了時間の分
布を表す点１７１５の例示的なグラフ１７０３を示す。例えば、点１７１５Ａは、特定の
場合において、年齢Ａ０の患者について、外科的処置を完了するのに時間Ｔ０がかかった
ことを示している。点１７１５のデータを使用して線形回帰モデル１７１７を構築するこ
とができ、回帰モデル１７１７を使用して、線形回帰モデル上の点１７１８に従って年齢
Ａ１の患者の予測完了時間Ｔ１を決定することができる。グラフ１７０３は、患者の一特
性パラメータ（例えば、患者の年齢）に対する完了時間の依存性を示しているが、完了時
間は、前述のように、複数の特性パラメータ（例えば、患者の体重、外科的処置を行うヘ
ルスケア専門家の特性、麻酔専門医の特性、及び患者又は処置を記述する他のデータ）に
依存してもよく、点１７１５は、多次元デカルト座標系にプロットされてもよく、回帰モ
デル１７１７は、多変量回帰モデルを含んでもよい。他の例では、回帰モデル１７１７は
、非線形回帰モデルを含み得る。
例示的な実施形態では、推定完了時間を決定することは、進行中の外科的処置を行うヘ
ルスケア専門家に関連付けられた１つ以上の記憶された特性に基づくことができる。その
ような特性は、例えば上述したように、年齢、名前、経験年数、ヘルスケア専門家の場所
、過去のパフォーマンス、及び／又はヘルスケア専門家を記述する他の情報を含むことが
できる。特性は、任意の適切な電子（又は場合によっては紙）記憶装置を使用して任意の
適切なデータ構造を使用して記憶することができる。例示的な実施形態では、特性は、デ
ータベース（例えば、図１４に示すように、データベース１４１１）に記憶されてもよい
。例えば、所定のタイプの手術についての所定のヘルスケア専門家の履歴データの解析に
基づいて、予測完了時間を推定することができる（例えば、予測完了時間は、所定のタイ
プの手術についての所定のヘルスケア専門家の履歴データから決定された平均完了時間で
あってもよい）。更に、所定のタイプの手術について所定のヘルスケア専門家の履歴デー
タを使用して、他の統計（例えば、予測完了時間からの標準逸脱、患者の年齢又は手術が
行われた日の時間などの外科的処置の他の特性との予測完了時間の相関、及び／又は履歴
的な完了時間から生成された他の統計）を決定することができる。
図１８は、機械学習モデル１８１３を使用して完了時間１８１５を取得する典型的な実
施形態を示す。モデル１８１３は、入力パラメータ１８１１として、患者の様々な特性、
医療従事者の様々な特性、並びに患者に投与される外科的処置のタイプをとることができ
る。例えば、パラメータＰ１は、図１８に示すように、外科的処置のタイプを示すことが
でき、パラメータＰ２は、患者の年齢を示すことができ、パラメータＰＮは、患者の体重
を示すことができるなどである。使用されている外科用器具のタイプ、手術されている解
剖学的構造のサイズなど、様々な他のパラメータが使用されてもよい。
様々な実施形態では、完了時間１８１５は、例えば上述したように、ニューラルネット
ワーク、決定木、アンサンブル法に基づくモデル（ランダムフォレストなど）、又は任意
の他の機械学習モデルなどの機械学習モデルを含むことができるモデル１８１３を使用し
て計算することができる。場合によっては、モデル１８１３は、完了時間に関連する単一
の数字を返すように構成されてもよく、幾つかの実施形態では、モデル１８１３は、完了
時間の確率分布を返すように構成されてもよい。
様々な実施形態では、モデル１８１３は、所定の外科的処置を受けている様々な患者の
履歴的な完了時間を含むことができる履歴的な手術データに対応する適切なパラメータ１
８１１を含むデータセットを使用してトレーニングすることができる。
本開示の実施形態は、進行中の外科的処置の推定完了時間を決定するために、進行中の
外科的処置の視覚データ及び履歴的な手術データを解析することを更に含むことができる
。そのような解析は、推定完了時間を決定するために機械学習及び／又は本明細書に記載
の他の技術によって行うことができる。例示的な一実施形態では、手術の完了時間を決定
するために、方法は、入力情報（例えば、外科的処置のタイプ、手術の画像又は手術のビ
デオデータなどの進行中の外科的処置の１つ以上の視覚データ、患者及び／又は医療従事
者の特性）として取り込み且つ出力として完了時間の推定値を返す機械学習モデルを利用
することができる。幾つかの例では、進行中の外科的処置の履歴的な手術データ及び視覚
データは、例えば視覚的類似性関数を使用して、視覚データを表すグラフ上の不正確なグ
ラフマッチングアルゴリズムを使用して、ｋ近傍法アルゴリズムを使用するなどして、進
行中の外科的処置と同様の履歴的な手術データ内の識別された記録を解析することができ
る。更に、幾つかの例では、識別された記録を使用して、進行中の外科的処置の推定完了
時間を決定することができる。例えば、識別された記録からの完了時間の関数（例えば、
平均、中央値、最頻値、統計関数、線形関数、非線形関数など）を計算することができ、
進行中の外科的処置の推定完了時間は、計算された関数に基づくことができる。例示的な
実施形態では、進行中の外科的処置の視覚データは、所定の時間間隔で分離された時間に
収集されてもよい（例えば、視覚データは、１秒ごと、数秒ごと、数十秒ごと、１分ごと
、又は任意の他の適切な間隔で収集されてもよい）。これに加えて又は代えて、視覚デー
タは、医療従事者によって要求されたときに収集されてもよい（例えば、視覚データは、
外科医及び／又は麻酔医及び／又は看護師、又は任意の他の指定された個人によって要求
された時間に収集されてもよい）。例えば、外科医は、１つ以上の画像センサ／音声セン
サによって捕捉されて視覚データを収集するためのトリガとして認識され得る視覚／音声
信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源
によって生成された視覚信号、話し言葉、又は任意の他のトリガ）を生成することができ
る。これに加えて又は代えて、視覚データは、以下で更に説明するように、外科的処置中
に検出された特性事象に基づいて収集されてもよい。
様々な実施形態では、手術室スケジュールを調整することは、完了時間を推定するべく
機械学習モデルをトレーニングするために履歴視覚データを使用することを含むことがで
き、推定完了時間を計算することは、トレーニングされた機械学習モデルを実装すること
を含む。機械学習モデルの入力データの例としては、複数の視覚的データ記録及びパラメ
ータを挙げることができる。視覚データの記録は、外科的処置中の特定の時間間隔の間に
画像センサによって捕捉された画像のセット及び／又はビデオの複数のフレームであり得
る。例えば、視覚的データ記録は、外科的処置の最初の数分間のビデオデータであっても
よく、視覚的データ記録は、外科的処置の次の数分間のビデオデータであってもよく、視
覚的データ記録は、外科的処置の次の数分間のビデオデータであってもよい。幾つかの例
では、機械学習モデルは、上述のようにトレーニングされ及び／又は使用されてもよい。
開示された実施形態の態様は、進行中の外科的処置の完了と関連付けられるスケジュー
ルされた時間を含む手術室に関するスケジュールにアクセスすることを含むことができる
。例示的な実施形態では、アクセスは、スケジュールに対する情報の読み取り及び／又は
書き込みを含むことができる。そのようなスケジュールの一例は、スケジュール１４３０
、又はスケジュール１４３０に関連して説明した情報と同様の情報を含むデータ構造を含
むことができる。例えば、スケジュール１４３０から／スケジュール１４３０への読み取
り及び／又は書き込みは、対応して以前に実行された、又は手術室で実行中もしくは実行
予定の過去、現在もしくは将来の外科的処置に関連する任意の適切なデータの読み取り及
び／又は書き込みを含むことができる。そのようなデータは、処置の名前、処置を実行す
る外科医、患者の名前、患者又は／及び医療従事者に関連する任意の特性パラメータ、処
置の開始時間（又は推定開始時間）及び処置の終了時間（又は推定終了時間）を含むこと
ができる。様々な実施形態において、システム１４１０は、スケジュール１４３０を読み
取る及び／又は書き込むために使用されてもよい。
様々な実施形態は、進行中の外科的処置の推定完了時間に基づいて、予測完了時間が完
了に関連するスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算
すること、及び、分散の計算時に通知を出力することによって手術室の後続のユーザが自
分のスケジュールをそれに応じて調整できるようにすることを更に含んでもよい。例えば
、進行中の外科的処置の推定（予測とも呼ばれる）完了時間は、上述の手法のいずれかを
使用して取得することができる（例えば、上記の機械学習モデル及び／又は履歴的な手術
データの線形回帰モデルを使用する）。予測完了時間は、例示的な医療処置の推定終了時
間と比較されてもよく（例えば、図１５に示すように、推定終了時間１５２３Ｂ）、また
、予測完了時間が時間１５２３Ｂと実質的に一致しない場合（例えば、予測完了時間が時
間１５２３Ｂより後又は前である）、方法は、予測完了時間と時間１５２３Ｂとの差を計
算するように構成されてもよい。差が所定の閾値よりも小さい場合（例えば、閾値は、分
、数分、５分、１０分、１５分、及び／又は他の時間値であってもよい）、方法は、予測
完了時間が時間１５２３Ｂと実質的に同じであると決定することができる。或いは、差が
十分に大きい（すなわち、所定の閾値よりも大きい）場合、方法は、進行中の外科的処置
の推定完了時間に基づいて、予測完了時間が完了に関連するスケジュールされた時間から
の変動をもたらす可能性が高いと計算する（すなわち、決定する）ことができる。様々な
実施形態において、推定完了時間は、外科的処置を完了するための持続時間であってもよ
く、予測完了時間は、外科的処置が完了する予測時間であってもよい。
様々な実施形態では、分散が検出された場合、分散を決定する際に通知を出力すること
ができる（例えば、分散は、予測完了時間と時間１５２３Ｂとの間の差を計算することに
よって決定されてもよい）。例示的な実施形態では、通知は、更新された手術室スケジュ
ールを含むことができる。例えば、スケジュール１４３０に対する更新は、テキスト更新
、グラフィック更新、又は任意の他の適切な更新（例えば、ビデオデータ、アニメーショ
ン、又は音声データ）を含むことができる。これに加えて又は代えて、通知は警告信号（
例えば、光信号、音声信号、及び／又は他のタイプの送信信号）として実施されてもよい
。場合によっては、通知は、様々なユーザ（例えば、様々な医療関係者、管理者、患者、
患者の血縁者又は友人、及び他の対象の個人）の所有する任意の適切なデバイス（例えば
、スマートフォン、ラップトップ、ページャ、デスクトップ、ＴＶ、及び前述の他のもの
）に配信されるＳＭＳメッセージ、電子メール、及び／又は他のタイプの通信であっても
よい。例えば、通知は、手術室の後続のスケジュールされたユーザ（例えば、外科医、麻
酔専門医、及び／又は他のヘルスケア専門家）に関連付けられた（前述したような）デバ
イスに送信された電子メッセージであってもよい。そのような通知は、様々なユーザ（例
えば、手術室のユーザ）がスケジュールの更新に従って自分のスケジュールを調整できる
ようにする。様々な実施形態において、更新された手術室スケジュールは、待機中のヘル
スケア専門家が後続の外科的処置に備えることを可能にすることができる。例えば、外科
的処置の予測完了時間が推定終了時間（例えば、時間１５２３Ｂ）を過ぎている場合、待
機中のヘルスケア専門家（例えば、外科医、麻酔医、看護師など）は、外科的処置の準備
を遅らせることができる。或いは、外科的処置の予測完了時間が時間１５２３Ｂ）の前で
ある場合、待機中のヘルスケア専門家（例えば、外科医、麻酔医、看護師など）は、以前
にスケジュールされたよりも早い時間に外科的処置の準備を開始することができる。
開示された実施形態の態様は、完了に関連するスケジューリングされた時間からの分散
の範囲を決定すること、第１の決定された範囲に応じて、通知を出力すること、及び、第
２の決定された範囲に応じて、通知を出力しないで済ませることを更に含むことができる
。例えば、第１の決定された範囲が所定の閾値（例えば、数分超、数十分、及び／又は他
の時間指標）を上回る場合、幾つかの実施形態は、そのような第１の決定された範囲が他
の外科的処置のスケジューリング時間に影響を及ぼし得ると決定することができる。その
ような場合、分散の通知は、任意の適切な受信側に（例えば、以下の外科的処置を施すヘ
ルスケア提供者に）送信され得る。或いは、第２の決定された範囲が十分に小さい（例え
ば、所定の閾値よりも小さい）と決定された場合、実施形態は、通知を送信しないように
構成されてもよい。
開示された実施形態の態様は、予測完了時間が、完了に関連するスケジューリングされ
た時間からの少なくとも選択された閾値時間の遅延をもたらす可能性が高いかどうかを決
定することを更に含むことができる。幾つかの実施形態では、そのような決定は、上述の
モデル１８１３などの適切な機械学習モデルを使用して行うことができる。選択された閾
値量は、任意の適切な所定量（例えば、数分、数十分、３０分、１時間、及び／又は他の
時間の指標）であってもよい。例えば、選択された閾値量は、手術室の手術に基づいても
よい。これに加えて又は代えて、選択された閾値量は、手術室のスケジュールにおける将
来の事象に基づくことができる。例えば、第１の外科的処置の完了後３０分後にスケジュ
ールされている第２の外科的処置がある場合、第１の外科的処置の選択された閾値量は３
０分を超えなくてもよい。これに加えて又は代えて、選択された閾値時間量は、手術室の
後続のユーザに基づいて選択されてもよい。例えば、後続のユーザのための外科的処置が
実質的に高度な準備を必要とし得る場合、選択された閾値量は十分に小さくてもよい（例
えば、数分）。或いは、後続のユーザのための外科的処置が実質的に高度な準備を必要と
せず、容易に遅延又は再スケジュールされ得る場合、選択された閾値量は十分に大きくて
もよい（例えば、３０分、１時間、及び／又は他の時間の指標である）。場合によっては
、後続のユーザのための外科的処置の緊急性又は重要性が、選択された閾値量を決定する
ことができる。例えば、緊急のその後の外科的処置のために、早期の通知が必要とされる
場合があり、したがって、短い選択された閾値量を必要とする。
予測完了時間が少なくとも選択された閾値時間の遅延をもたらす可能性が高いという決
定に応じて、開示された実施形態は、通知を出力することを含むことができる。前述した
ように、通知は、完了時間を解析するために（例えば、図１４に示すように、システム１
４１０によって）出力され得る任意のタイプの電子データ又は紙データであり得る。例示
的な実施形態では、システム１４１０は、開示された実施形態と整合して、ヘルスケア提
供者のデバイスに電子メッセージとして通知を出力するように構成することができる。予
測完了時間が少なくとも選択された閾値時間の遅延をもたらしそうにないという決定に応
じて、方法は、通知を出力しないで済ませるように構成され得る。
場合によっては、開示された実施形態は、外科的処置が時間の前に終了する可能性が高
いかどうかを決定すること（すなわち、外科的処置の予測完了時間は、外科的処置の計画
時間よりも短い）を更に含むことができる。予測完了時間が外科的処置の計画時間よりも
少なくとも選択された閾値時間だけ短い可能性が高いという決定に応じて、実施形態は、
通知を出力する及び／又は通知を出力しないで済ませるように構成され得る。
図１９は、開示された実施形態と整合する手術室スケジュールを調整するための例示的
なプロセス１９０１を示す。ステップ１９１１において、プロセスは、画像センサから視
覚データを受信することを含むことができる。視覚データは、進行中の外科的処置を追跡
する画像／ビデオデータを含むことができる。例示的な実施形態では、視覚データは、様
々な画像センサによって収集されてもよい。場合によっては、２つ以上の画像センサ（例
えば、カメラ）は、異なる視点から外科的処置の同じ領域（例えば、ＲＯＩ）の視覚デー
タを捕捉することができる。これに加えて又は代えて、２つ以上の画像センサは、異なる
倍率を使用してＲＯＩの視覚データを捕捉することができる。例えば、第１の画像センサ
は、ＲＯＩの概要を捕捉することができ、第２の画像センサは、ＲＯＩ内に位置する手術
器具の近傍の直近領域を捕捉することができる。
ステップ１９１３において、プロセス１９０１は、上述したような履歴的な手術データ
を含むデータ構造にアクセスすることを含むことができる。ステップ１９１５において、
プロセス１９０１は、進行中の外科的処置の推定完了時間を決定するために、進行中の外
科的処置の視覚データ及び履歴的な手術データを解析することを含むことができる。前述
のように、解析は、第１の履歴的な手術データを解析する（例えば、進行中の外科的処置
と同じタイプであり、進行中の外科的処置と同様の特性を有する外科的処置の平均推定完
了時間を計算する）ための統計的手法を使用することができる。これに加えて又は代えて
、解析は、進行中の外科的処置の推定完了時間を決定するための機械学習方法をトレーニ
ング及び使用することを伴ってもよい。場合によっては、幾つかの異なる解析手法を使用
してもよく、また、推定完了時間は、異なる解析手法を使用して得られた完了時間の平均
時間として決定されてもよい。
ステップ１９１７において、プロセス１９０１は、任意の適切な手段を使用して手術室
のスケジュールにアクセスすることを含むことができる。例えば、アクセスすることは、
入力装置（例えば、キーボード、マウスなど）を介して、又はスケジュールから／スケジ
ュールへのデータの読み出し及び／又は書き込みを可能にするための任意の他の手段を介
して、有線又は無線ネットワークを介してアクセスすることを含むことができる。
ステップ１９１９において、プロセス１９０１は、上述したように、予測完了時間が外
科的処置の完了に関連するスケジュールされた時間からの分散をもたらし得るかどうかを
計算することを含むことができる。分散が予測される場合（ステップ１９２１，Ｙｅｓ）
、プロセス１９０１は、上述したように、ステップ１９２３で通知を出力することを含む
ことができる。ステップ１９２３に続いて、プロセス１９０１を完了することができる。
分散が予測されない場合（ステップ１９２１，Ｎｏ）、プロセス１９０１は完了すること
ができる。
手術室スケジュールの調整を可能にするための開示された実施形態の態様は、視覚デー
タを解析することを含むことができ、この場合、解析するプロセスは、受信された視覚デ
ータ内の特性事象を検出すること、履歴的な手術データに基づいて情報を評価して、履歴
的な手術データ内の特性事象の発生後に外科的処置を完了する予測時間を決定すること、
決定された完了予測時間に基づいて推定完了時間を決定することを含むことができる。例
えば、上述したように、受信した視覚データにおいて特性事象を検出することができる。
幾つかの例では、履歴的な手術データは、外科的処置を完了するための予測時間と特性事
象とを結び付けるデータ構造を含むことができる。例えば、履歴的な手術データは、第１
の事象から外科的処置を完了するための第１の時間、及び第２の事象から外科的処置を完
了するための第２の時間を指定するデータ構造を含むことができ、第２の時間は第１の時
間とは異なり得る。更に、検出された特性事象を使用してデータ構造にアクセスし、特性
事象の発生から外科的処置を完了する時間を決定することができる。
様々な実施形態において、受信した視覚データ内の検出された特性事象は、医療専門家
によって（例えば、外科医、麻酔専門医、看護師、及び／又は他の医療専門家によって）
実行される特定の処置又は動作を指すことができる。例えば、腹腔鏡下胆嚢切除術の特性
事象としては、トロッカ配置、カロー三角切開、胆嚢管及び動脈のクリッピング及び切断
、胆嚢切開、胆嚢包装、肝床の清浄化及び凝固、胆嚢収縮などを挙げることができる。別
の例では、白内障手術の外科的な特性事象としては、ポビドンヨード注射、角膜切開、水
晶体嚢切開、水晶体超音波乳化吸引、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷
封止などを挙げることができる。更に別の例では、下垂体手術の外科的な特性事象として
は、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻
圧搾機の設置などを挙げることができる。外科的な特性事象の幾つかの他の例は、切開、
腹腔鏡位置決め、縫合などを含むことができる。これに関連して、特性事象としては、外
科的処置の特定の段階内で一般的に発生する任意の事象、外科的処置内の特定の合併症を
一般的に示唆する任意の事象、又は外科的処置内の特定の合併症に応じて一般的に発生す
る任意の事象を挙げることができる。そのような特性事象の幾つかの非限定的な例として
は、特定の医療器具の使用、特定の動作の実行、特定の物質の注入、特定の専門家への連
絡、特定の装置、器具、機器の薬剤、血液、血液製剤、又は供給品の注文、特定の生理的
応答などを挙げることができる。
特性事象（術中手術事象とも呼ばれる）は、外科的処置又は段階中に発生する任意の事
象又は動作であり得る。幾つかの実施形態では、術中手術事象は、外科医、外科技術者、
看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家によって実行さ
れる動作など、外科的処置の一部として実行される動作を含むことができる。術中手術事
象は、切開、薬物の投与、外科用器具の使用、切除、切開除去、結紮、移植片、縫い合わ
せ、縫合、又は外科的処置もしくは段階に関連する任意の他の計画された事象などの計画
された事象であり得る。幾つかの実施形態では、術中手術事象は、有害事象又は合併症を
含み得る。術中有害事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されてい
ない開放手術（例えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを
挙げることができる。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素
血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げ
ることができる。術中事象は、技術的エラー、通信エラー、管理エラー、判断エラー、意
思決定エラー、医療機器の利用に関連するエラー、誤通信、又は他の任意の誤りを含む他
のエラーを含むことができる。
様々な実施形態では、事象は短時間であってもよく、持続時間にわたって持続してもよ
い。例えば、短い事象（例えば、切開）は、外科的処置中の特定の時間に発生すると決定
されてもよく、また、長い事象（例えば、出血）は、ある期間にわたって発生すると決定
されてもよい。場合によっては、長い事象は、明確な開始事象及び明確な終了事象（例え
ば、縫合の開始及び縫合の終了）を含むことができ、縫合は長い事象である。場合によっ
ては、長い事象は、外科的処置中の段階とも呼ばれる。
履歴的な手術データに基づいて情報を評価して、履歴的な手術データ内の特性事象の発
生後に外科的処置を完了する予測時間を決定するプロセスは、特性事象の発生を含む履歴
的な外科的処置の完了時間を解析するための適切な統計的手法を使用することを含み得る
。例えば、完了時間は、そのような処置の平均完了時間を決定するために解析されてもよ
く、また、平均完了時間は、外科的処置を完了するための予測時間として使用されてもよ
い。幾つかの実施形態では、決定された予測完了時間（すなわち、外科的処置を完了する
のに必要な持続時間）に基づいて推定完了時間（すなわち、特性事象を含む例示的な外科
的処置が完了する時点）を決定することを含むことができる。
手術室スケジュールを調整するための実施形態は、特性事象を検出するべく機械学習モ
デルをトレーニングするために履歴視覚データを使用することを更に含むことができる。
様々な実施形態では、特徴（又は複数の特徴）を認識するための機械学習モデルは、例え
ば教師あり学習手法などの任意の適切な手法を介してトレーニングすることができる。例
えば、特性事象に対応する特徴を含む履歴視覚データを機械学習モデルの入力データとし
て提示することができ、また、機械学習モデルは、履歴視覚データ内の特徴に対応する特
性事象の名前を出力することができる。
様々な実施形態では、特性事象を検出することは、トレーニングされた機械学習モデル
を実装することを含む。トレーニングされた機械学習モデルは、特性事象のためのトリガ
（又は複数のトリガ）として使用され得る視覚データ内の特性（又は複数の特性）を認識
するための画像認識モデルであり得る。機械学習モデルは、１つ以上の画像内又はビデオ
内の特徴を認識することができる。例えば、ビデオのフレーム間の動き及び／又は他の変
化を検出するために、ビデオ内の特徴を認識することができる。幾つかの実施形態では、
画像解析は、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、畳み込みニューラルネットワーク（ＣＮ
Ｎ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出アルゴリズムを含むこ
とができる。他の例示的なアルゴリズムとしては、ビデオ追跡アルゴリズム、動き検出ア
ルゴリズム、特徴検出アルゴリズム、カラーベースの検出アルゴリズム、テクスチャベー
スの検出アルゴリズム、形状ベースの検出アルゴリズム、ブースティングベースの検出ア
ルゴリズム、顔検出アルゴリズム、又はビデオフレームを解析するための任意の他の適切
なアルゴリズムを挙げることができる。
場合によっては、特性事象は、正（すなわち、正の転帰をもたらす事象）及び有害（す
なわち、負の転帰をもたらす事象）として分類され得る。正の転帰及び負の転帰は、推定
完了時間に対して異なる影響を及ぼし得る。
場合によっては、画像認識モデルは、視覚データ内の特徴を認識するだけでなく、視覚
データ（又は履歴的な視覚データ）の解析に基づいて、進行中の（又は履歴的な）外科的
処置の様々な態様に関する結論を形成するように構成されてもよい。例えば、例示的な外
科的処置の視覚データを解析することによって、画像認識モデルは、外科医のスキルレベ
ルを決定するか、又は外科的処置の成功の指標を決定するように構成され得る。例えば、
視覚データにおいて決定された有害事象がない場合、画像認識モデルは、外科的処置に対
して高い成功レベルを割り当て、外科医のスキルレベルを更新（例えば、増加）すること
ができる。或いは、視覚データにおいて有害事象が決定された場合、画像認識モデルは、
外科的処置の低い成功レベルを割り当て、外科医のスキルレベルを更新（例えば、減少）
することができる。外科的処置の成功レベルを割り当てるためのアルゴリズム及び外科医
のスキルレベルを更新するプロセスは、例示的な外科的処置中に検出された有害事象のタ
イプ、患者の特定の特性（例えば、患者の年齢）を考慮した外科的処置中の有害事象の可
能性、同様の患者特性を有する患者に対して行われた同じタイプの履歴的な外科的処置の
有害事象の平均数、同様の患者特性を有する患者に対して行われた同じタイプの履歴的な
外科的処置の有害事象の平均数からの標準逸脱、及び／又は有害事象の他のメトリックな
どの複数の要因に基づいて決定することができる。
場合によっては、視覚データを解析するプロセスは、上述したように、視覚データにお
ける外科医のスキルレベルを決定することを含むことができる。場合によっては、推定完
了時間の計算は、決定されたスキルレベルに基づいてもよい。例えば、外科的処置につい
て決定されたそれぞれのスキルレベルごとに、推定完了時間を決定することができる。例
示的な実施形態では、そのような推定完了時間は、決定されたスキルレベルを有する外科
医によって行われた履歴的な外科的処置に対応する履歴的な完了時間に基づくことができ
る。例えば、上記の履歴的な完了時間に対して計算された平均履歴完了時間を使用して、
推定完了時間を決定することができる。そのような推定完了時間は、データベースに記憶
されてもよく、決定されたスキルレベルに基づいてデータベースから検索されてもよい。
機械学習方法を使用して特性事象を検出することは、１つの可能な手法であり得る。こ
れに加えて又は代えて、特性事象は、様々な他の手法を使用して、画像センサから受信し
た視覚データ内で検出されてもよい。一実施形態では、特性事象は、外科的処置中に医療
専門家（例えば、外科医）によって識別され得る。例えば、外科医は、１つ以上の画像セ
ンサ／音声センサによって捕捉されて特性事象のためのトリガとして認識され得る外科医
からの視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器
によって生成された光源によって生成された視覚信号、話し言葉、又は任意の他の信号）
を使用して特性事象を識別することができる。
様々な実施形態では、手術室スケジュールの調整を可能にすることは、履歴視覚データ
における特性事象の発生後に外科的処置を完了するために履歴時間を解析することを含む
ことができる。例えば、実施形態は、履歴視覚データ内の特性事象の発生後に外科的処置
を完了するための平均履歴時間（本明細書では平均履歴完了時間とも呼ばれる）を計算す
ることと、及び、平均履歴完了時間を進行中の外科的処置の完了時間の推定値として使用
することを含むことができる。しかしながら、場合によっては、推定完了時間は、上述し
た他の手法を使用して（例えば、機械学習方法を使用して）計算されてもよく、平均履歴
完了時間は、（進行中の処置の完了後に決定された）進行中の外科的処置を完了するため
の決定された実際の時間に基づいて更新されてもよい。様々な実施形態において、平均履
歴完了時間は、推定完了時間を使用して最初に更新されてもよく、次いで、更新は、外科
的処置の完了後に最終決定されてもよい。
これに加えて又は代えて、完了時間を推定するために、特性事象の発生後の履歴的な完
了時間を解析することは、機械学習モデルを使用することを含むことができる。機械学習
モデルは、事象の発生後の完了時間を推定するためにトレーニング例を使用してトレーニ
ングされてもよく、また、トレーニングされた機械学習モデルは、特性事象の発生に基づ
いて完了時間を推定するために使用されてもよい。そのようなトレーニング例の一例は、
完了時間の所望の推定を示すラベルと共に、特性事象の指示を含むことができる。一例で
は、トレーニング例は、例えば、履歴的な外科的処置における特性事象の発生後の履歴的
な外科的処置における完了までの実際の時間を表す、履歴的な手術データに基づくことが
できる。別の例では、トレーニング例は、ユーザ入力に基づくことができ、外部システム
などから受信することができる。また、機械学習モデルは、患者の様々な特性、医療従事
者の様々な特性、並びに患者に投与される外科的処置のタイプ（例えば、図１８に示すよ
うに、パラメータ１８１１）、並びに外科的処置中の１つ以上の特性事象などの他の入力
パラメータに基づいて完了時間を推定するようにトレーニングすることができる。更に、
そのような入力パラメータは、完了時間を推定するようにトレーニングされた機械学習モ
デルに提供されてもよい。
前述のように、本開示の実施形態は、進行中の外科的処置の推定完了時間を決定するた
めに、進行中の外科的処置の視覚データ及び履歴的な手術データを解析するためのシステ
ム、プロセス、又はコンピュータ可読媒体を含むことができる。例示的な実施形態では、
解析することは、履歴的な時間の解析に基づいて推定完了時間を決定することを含むこと
ができる。完了時間の推定値は、（上述したような）機械学習方法を使用することなどの
任意の適切な手法を使用して、又は外科的処置を完了するための平均履歴時間を計算し、
そのような平均履歴時間を推定完了時間として使用することによって決定され得る。
手術室スケジュールの調整を可能にするための実施形態の態様は、視覚データ内の医療
器具を検出すること、及び、検出された医療器具に基づいて推定完了時間を計算すること
を更に含むことができる。医療器具（手術器具とも呼ばれる）は、図１８に示されるよう
に、外科的処置の推定完了時間の計算に影響を及ぼし得るパラメータＰ１－ＰＮなどの手
術の特性パラメータのうちの１つであってもよい。上述したように、例示的な実施形態で
は、機械学習方法を使用して、例えば、外科的処置中に使用される医療器具のタイプなど
の様々なパラメータＰ１～ＰＮに基づいて推定完了時間を計算することができる。更に、
進行中の外科的処置を追跡する視覚データ内の医療器具の検出は、任意の適切な手法を使
用して（例えば、上記のような適切な画像認識アルゴリズムを使用して）達成することが
できる。一例では、第１の医療器具の検出に応じて、第１の完了時間が推定されてもよく
、また、第２の医療器具の検出に応じて、第２の完了時間が推定されてもよく、第２の完
了時間は第１の完了時間と異なってもよい。一例では、第１の医療器具の検出に応じて、
第１の完了時間を推定することができ、また、医療器具が検出されないことに応じて、第
２の完了時間を推定することができ、第２の完了時間は第１の完了時間とは異なり得る。
場合によっては、視覚データを解析するための実施形態は、視覚データ内の解剖学的構
造を検出すること、及び検出された解剖学的構造に基づいて推定完了時間を計算すること
を含むこともできる。解剖学的構造は、画像認識アルゴリズムを使用して視覚データ内で
検出及び識別することができる。これに加えて又は代えて、解剖学的構造は、解剖学的構
造を識別するために、進行中の外科的処置中にヘルスケア専門家によって識別されてもよ
い（例えば、ヘルスケア専門家は、ジェスチャ、音、言葉、及び／又は他の信号を使用す
ることができる）。解剖学的構造を描写する進行中の外科的処置の視覚データを使用して
、推定完了時間を計算することができる。例えば、そのような視覚データは、推定完了時
間を取得するための機械学習方法への入力として使用されてもよい。一例では、第１の解
剖学的構造の検出に応じて、第１の完了時間が推定されてもよく、また、第２の解剖学的
構造の検出に応じて、第２の完了時間が推定されてもよく、第２の完了時間は第１の完了
時間と異なってもよい。一例では、第１の解剖学的構造の検出に応じて、第１の完了時間
を推定することができ、また、解剖学的構造の検出に応じて、第２の完了時間を推定する
ことができ、第２の完了時間は第１の完了時間とは異なり得る。
視覚データを解析するための実施形態の態様は、視覚データ内の解剖学的構造と医療器
具との間の相互作用を検出すること、及び、検出された相互作用に基づいて推定完了時間
を計算することを含むことができる。例えば、解剖学的構造と医療器具との間の相互作用
は、上述のように検出することができる。相互作用は、解剖学的構造に影響を及ぼし得る
、又はその逆の医療器具による任意の動作を含み得る。例えば、相互作用としては、医療
器具と解剖学的構造との間の接触、解剖学的構造に対する医療器具による作用（例えば、
切断、クランプ、把持、圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、
解剖学的構造に向かって光を放出する医療器具（例えば、医療器具は、解剖学的構造に向
かって光を放射するレーザであってもよい）、解剖学的構造に向かって放出される音、解
剖学的構造の近くに生成される電磁場、解剖学的構造に誘導される電流、又は任意の他の
適切な形態の相互作用を挙げることができる。一例では、解剖学的構造と医療器具との間
の第１の相互作用の検出に応じて、第１の完了時間を推定することができ、また、解剖学
的構造と医療器具との間の第２の相互作用の検出に応じて、第２の完了時間を推定するこ
とができ、第２の完了時間は第１の完了時間とは異なり得る。一例では、解剖学的構造と
医療器具との間の第１の相互作用の検出に応じて、第１の完了時間を推定することができ
、また、解剖学的構造と医療器具との間の相互作用がないことの検出に応じて、第２の完
了時間を推定することができ、第２の完了時間は第１の完了時間とは異なり得る。
解剖学的構造及び医療器具を示す進行中の外科的処置の視覚データを使用して、推定完
了時間を計算することができる。例えば、そのような視覚データは、例えば上述したよう
に、推定完了時間を取得するための機械学習方法への入力として使用することができる。
前述したように、本開示は、手術室スケジュールの調整を可能にするための方法及びシ
ステム、並びに、少なくとも１つのプロセッサによって実行されるときに少なくとも１つ
のプロセッサに手術室スケジュールの調整を可能にする動作を実行させる命令を含むこと
ができるとともに上述したように手術室スケジュールの調整を可能にするための方法の様
々なステップを含むことができる持続性コンピュータ可読媒体に関する。
開示されるシステム及び方法は、手術映像を解析して手術の特徴、患者の状態、及び他
の特徴を識別し、保険払い戻しを決定することを含むことができる。外科的処置の様々な
ステップに関して保険払い戻しを決定する必要があり得る。外科的処置のステップが識別
される必要がある場合があり、また、保険払い戻しコードが識別されたステップに関連付
けられる必要があり得る。したがって、手術映像から得られた情報を用いて外科的処置の
ステップを識別し、これらのステップに保険払い戻しを関連付ける必要がある。
本開示の態様は、保険払い戻しを決定するために手術画像を解析するための方法、シス
テム、デバイス、及びコンピュータ可読媒体に関するものとなり得る。説明を容易にする
ために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用され
ることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、
有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法
の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、方法は、特
定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して
達成され得る。
開示された実施形態と整合して、保険払い戻しを決定するために手術画像を解析するた
めの方法は、患者の外科的処置中に捕捉されたビデオフレームにアクセスすることを含む
ことができる。手術画像を解析するための実施形態は、外科的処置の段階、外科的処置中
の事象、手術されている解剖学的構造、外科的処置中に使用される外科用器具、外科用器
具と解剖学的構造との相互作用、外科用器具の動き、解剖学的構造の動き、解剖学的構造
の変形、解剖学的構造の色の変化、解剖学的構造の漏れ（例えば、出血）、解剖学的構造
内の切開、又は例示的な外科的処置中の解剖学的構造に対する任意の他の変化（例えば、
解剖学的構造の断裂）を決定するための任意の適切な手法を使用する（例えば、機械学習
手法を用いる）ことを含むことができる。
様々な実施形態では、保険払い戻しは、所定の外科的処置又はそのセグメント（一部分
）に関して保険会社及び／又は保険プログラム（政府の健康保険プログラムなど）によっ
て支払われ得る金額に関する情報を含むことができる。例えば、保険払い戻しは、外科的
処置のセグメントの全部又は一部に関連するコストをカバーすることができる。外科的処
置のセグメントは、外科的処置の手術映像のセグメントに対応することができる。場合に
よっては、保険払い戻しは、外科的処置のセグメントに関連するコスト全体をカバーする
ことができ、他の場合では、保険払い戻しは、外科的処置のセグメントに関連するコスト
を部分的にカバーすることができる。外科的処置のタイプ（例えば、外科的処置が患者に
とって選択的である場合）に応じて、保険払い戻しは、外科的処置のセグメント（又は全
体）に関連するコストをカバーしない場合がある。他の例では、患者の状態及び／又は外
科的処置の特性に基づいて、異なる患者及び／又は異なる外科的処置（又は外科的処置に
関連する異なる動作）に対して異なる払い戻し手段（例えば、異なる払い戻しコード）が
存在し得る。
幾つかの実施形態では、外科的処置中に捕捉されたビデオフレームにアクセスすること
は、適切なコンピュータベースのソフトウェアアプリケーションによってデータベース（
例えば、図１４に示すようなデータベース１４１１）にアクセスすることを含むことがで
きる。例えば、データベースは、様々な外科的処置中に捕捉されたビデオフレームを記憶
するように構成されてもよく、外科的処置に関連する任意の他の情報（例えば、外科的処
置を行う外科医からのメモ、外科的処置中に収集されたバイタル信号）を記憶するように
構成されてもよい。本明細書に記載されるように、外科的処置は、患者の身体に対して行
われる手動行動又は手術行動に関連する、又はそれを含む任意の医療処置を含み得る。
開示された実施形態と整合して、例えば上述したように、外科的処置中に捕捉されるビ
デオフレームを解析して、ビデオフレーム内で、少なくとも１つの医療機器、少なくとも
１つの解剖学的構造、及び、少なくとも１つの医療機器と少なくとも１つの解剖学的構造
との間の少なくとも１つの相互作用を識別する。様々な実施形態では、本明細書で説明す
るように、外科的処置中に捕捉されるビデオフレームを解析することは、画像認識を使用
することを含むことができる。手術映像を解析するとき、少なくとも幾つかのフレームは
解剖学的構造（本明細書では、生物学的構造とも呼ばれる）を捕捉することができる。手
術映像のそのような部分は、１つ以上の解剖学的構造と相互作用する１つ以上の医療機器
（本明細書に記載される）を含むことができる。
医療機器及び解剖学的構造は、本開示に記載されて様々な開示された実施形態と整合す
るように、画像認識を使用して手術映像内で認識することができる。医療機器と解剖学的
構造との間の相互作用は、解剖学的構造に影響を及ぼし得る又はその逆も同様の医療機器
による任意の動作を含み得る。例えば、相互作用としては、医療機器と解剖学的構造との
間の接触、解剖学的構造に対する医療機器による作用（例えば、切断、クランプ、把持、
圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、医療機器が解剖学的構造
に向かって光を放出すること（例えば、手術器具は、発光レーザであってもよい）、解剖
学的構造に向かって放出される音、解剖学的構造に近接する電磁場、解剖学的構造に誘導
される電流、又は任意の他の形態の相互作用を挙げることができる。
場合によっては、相互作用を検出することは、解剖学的構造に対する医療機器の近接性
を識別することを含むことができる。例えば、手術ビデオ映像を解析することによって、
医療機器と解剖学的構造のポイント（又はポイントのセット）との間の距離は、本明細書
で説明するように、画像認識技術によって決定することができる。
開示された実施形態の態様は、医療機器、解剖学的構造、及び医療機器と解剖学的構造
との間の相互作用に相関する払い戻しコードのデータベースにアクセスすることを更に含
むことができる。一例として、払い戻しコードと１つ以上の医療機器、１つ以上の解剖学
的構造、並びに医療機器と解剖学的構造との間の１つ以上の相互作用との相関は、１つ以
上のテーブル、リンクされたリスト、ＸＭＬデータ、及び／又は他の形式のフォーマット
及び／又は記憶されたデータなどのデータ構造で表すことができる。幾つかの実施形態で
は、相関は、コード生成機械学習モデルによって確立されてもよい。様々な場合において
、払い戻しコードは、コードが医療機器、解剖学的構造、及び医療機器と解剖学的構造と
の間の相互作用とどのように相関するかに関する情報と共にデータ構造に記憶されてもよ
い。
図２０は、払い戻しコードが医療機器、解剖学的構造、及び医療機器間の相互作用とど
のように相関するかに関する情報を提供するためのデータ構造２００１の一例を示す。例
えば、データ構造２００１は、テーブル２０１１、２０１３、及び２０１５などの幾つか
のテーブルを含むことができる。様々な実施形態において、例示的なテーブルは、記録（
例えば、行）及びフィールド（例えば、列）を含むことができる。例えば、テーブル２０
１１は、記録ラベル（例えば、図２０に示すように「１」）を含む「記録」と題するフィ
ールドを有することができる。それぞれの記録ごとに、「コード」と題されるフィールド
は、（例えば、コード「１．２０：１１．３０．５０」）払い戻しコードを含むことがで
き、「処置セグメント」と題されるフィールドは、外科的処置のセグメントの番号及び場
合によっては名前を含むことができ（例えば、「１、切開、バイパス手術」）、「第１の
器具」と題されるフィールドは、外科的処置のセグメント中に使用される第１の医療機器
の番号及び場合によっては名前を含むことができ（例えば、「２０外科用メス」）、「第
２の器具」と題されるフィールドは、外科的処置のセグメント中に使用される第２の医療
機器の番号及び場合によっては名前を含むことができ（そのような器具が存在する場合）
（例えば、「１１、鉗子」）、「他のデータ」と題されるフィールドは、外科的処置又は
そのセグメントを特徴付けるために更に使用され得る任意の関連データを含むことができ
る（例えば、そのようなデータは、外科的処置のセグメントの持続時間、外科的処置のセ
グメント中の一連の事象、外科的処置中に使用される一連の器具（例えば、「外科用メス
－＞鉗子」は、外科用メスが鉗子の前に使用されたことを示すことができる）及び／又は
セグメントの他の特性を含んでもよい）。例示的なテーブル２０１３は、テーブル２０１
３の「記録」と題されたフィールドでラベル付けされた、記録「１」に関連付けられた解
剖学的構造の番号及び場合によっては名前を含むことができる（例えば、「３０、内部乳
房動脈」）、「第１の解剖学的構造」と題されるフィールドなどの他の関連するフィール
ドを含むことができる。更に、例示的なテーブル２０１５は、記録を識別するための「記
録」と題するフィールドと、医療機器と解剖学的構造との間の相互作用の記述を含むこと
ができる「相互作用」フィールドとを含むことができ、それは、数字及び場合によっては
名前（例えば、「５０、左内胸動脈の切開」）によって表すことができる。更に、テーブ
ル２０１５は、テーブル２０１５に示すように、画像データ２０１２Ａ、ビデオデータ２
０１２Ｂ、テキストデータ２０１２Ｃ、及び／又は音声データ２０１２Ｄへのリンクを含
むことができる「相互作用データ」と題するフィールドを含むことができる。
様々な実施形態において、払い戻しコードは、構造２０２０によって示されるように、
内部データ構造を有することができる。例えば、払い戻しコードに関する第１の番号は、
外科的処置のセグメントに関連付けられた番号（例えば、番号「１」）であってもよく、
第２の番号のセットは、外科的処置のセグメント中に使用される外科用器具に関連付けら
れてもよく（例えば、番号「２０：１１」は、「２０」とラベル付けされた第１の器具及
び「１１」とラベル付けされた第２の器具に関連付けられてもよい）、第３の番号のセッ
トは、手術中の解剖学的構造に関連付けられてもよく（例えば、「３０」）、及び、第４
の番号のセットは、器具と解剖学的構造との相互作用に関連付けられてもよい（例えば、
「５０」）。別の例では、保険プログラム又は規制当局によって払い戻しコードが設定さ
れてもよい。幾つかの例では、単一の払い戻しコードを外科的処置全体に関連付けること
ができる。
医療機器、解剖学的構造、並びに医療機器と解剖学的構造との相互作用に基づいて払い
戻しコードを決定するためにデータ構造を使用することは、１つの可能な手法であり得る
。更に、コード生成機械学習方法を使用して、外科的処置又はそのセグメントの払い戻し
コードを決定することができる。例えば、コード生成機械学習方法は、手術映像のセグメ
ントを入力として取り込み、手術映像のセグメントによって表される外科的処置のセグメ
ントに対する払い戻しコードを出力することができる。様々な実施形態において、コード
生成機械学習方法は、様々なタスクのために構成された様々な機械学習方法の集合であっ
てもよい。例えば、コード生成機械学習方法は、手術映像のセグメント内の医療機器を認
識するための第１の画像認識アルゴリズムと、手術映像のセグメント内の解剖学的構造を
認識するための第２の画像認識アルゴリズムとを含むことができる。様々な実施形態では
、画像認識アルゴリズムは、本明細書に記載されて様々な開示された実施形態と整合する
任意の適切なアルゴリズム（例えば、ニューラルネットワーク）であってもよい。
開示された実施形態は、少なくとも１つの医療機器と少なくとも１つの解剖学的構造と
の間の識別された少なくとも１つの相互作用を払い戻しコードのデータベース内の情報と
比較して、外科的処置に関連する少なくとも１つの払い戻しコードを決定することを更に
含むことができる。例えば、実施形態は、特定された相互作用をデータベースに記憶され
た相互作用に関する様々な詳細と比較することを含むことができる。したがって、一例と
して、機械学習モデル（例えば、画像認識アルゴリズム）は、手術映像内の相互作用を識
別し、相互作用を分類する（例えば、相互作用は、相互作用に名前を割り当てることによ
って、又は相互作用のタイプを決定することによって分類されてもよい）ように構成する
ことができる。例えば、相互作用の名前又はタイプは、「左内胸動脈の切開」であっても
よい。幾つかの実施形態では、機械学習モデルは、手術映像を解析し、可能な相互作用の
リストから最も適切な相互作用を選択するように構成することができる。相互作用が識別
されると、名前（又は相互作用の他の識別）は、データベースに記憶された相互作用の識
別と比較されてもよく、また、データベースは、識別された相互作用、又は識別された相
互作用を含む外科的処置に対応する払い戻しコードを見つけるために使用されてもよい。
機械学習アルゴリズムを使用して相互作用を識別することは、１つの可能な手法である
。これに加えて又は代えて、相互作用は、外科的処置を施す外科医、外科的処置中に存在
する看護専門家、及び／又は他のヘルスケア専門家によって識別されてもよい。例えば、
相互作用は、相互作用に対応する手術映像のセグメントを選択してセグメントにタグ付け
することができる名前を割り当てることによって識別することができる。様々な実施形態
では、コンピュータベースのソフトウェアアプリケーションを使用し、手術映像のセグメ
ントにより様々な操作を行うことができる（異なるセグメントに名前タグを割り当てるこ
と、異なるセグメントを選択すること、及び／又は他のデータ操作など）。コンピュータ
ベースのソフトウェアアプリケーションは、関連データ（例えば、手術映像の異なるセグ
メントの名前タグ、及び手術映像のセグメントの開始時間及び終了時間）をデータベース
に記憶するように構成されてもよい。
様々な実施形態は、外科的処置に対する保険払い戻しを取得する際に使用するための少
なくとも１つの払い戻しコードを出力することを更に含むことができる。例えば、上述し
たように、コード生成機械学習モデルを使用して、少なくとも１つの払い戻しコードを出
力することができる。或いは、医療機器と解剖学的構造との相互作用に対応する払い戻し
コードを含むデータベースに、クエリを介して払い戻しコードを出力することができる。
場合によっては、払い戻しコードを出力することは、開示された実施形態と整合する本
明細書で説明される任意の適切な送信手法を使用して保険プロバイダに払い戻しコードを
送信することを含むことができる。
場合によっては、出力された少なくとも１つの払い戻しコードは、出力された複数の払
い戻しコードを含む。例えば、複数の払い戻しコードは、外科的処置の１つ以上のセグメ
ントに対応することができる。一実施形態では、第１の払い戻しコードが切開関連セグメ
ントに対応することができ、第２の払い戻しコードが例えば縫合関連セグメントに対応す
ることができる。場合によっては、複数の払い戻しコードは、外科的処置のセグメント中
に１つ以上の手術動作を実行するために使用される複数の医療機器に対応し得る。外科的
処置中に複数の外科医（又は任意の他のヘルスケア専門家）が存在する場合、各外科医に
よって実行された処置に対して複数の払い戻しコードが決定され得る。そして、複数の払
い戻し可能な処置が単一のセグメントで実行される場合、その単一のセグメントに対して
複数の払い戻しコードが出力され得る。
例示的な実施形態では、複数の出力された払い戻しコードのうちの少なくとも２つは、
共通の解剖学的構造との異なる相互作用に基づくことができる。例えば、第１の相互作用
は、解剖学的構造と相互作用する第１の医療機器を含むことができ、第２の相互作用は、
解剖学的構造と相互作用する第２の医療機器を含むことができる。場合によっては、同じ
器具を解剖学的構造との異なるタイプの相互作用に使用することができる（例えば、鉗子
を使用して、様々な方法で解剖学的構造と相互作用させることができる）。
幾つかの実施形態では、少なくとも２つの出力された払い戻しコードは、２つの異なる
医療機器の検出に部分的に基づいて決定される。例えば、第１及び第２の医療機器は、任
意の適切な方法を使用して（例えば、適切な機械学習手法を使用して又はヘルスケア提供
者からの情報を使用して）手術映像内で検出することができる。第１の医療機器と第２の
医療機器の両方を同時に使用してもよく、場合によっては、第１の医療機器を使用した後
に第２の医療機器を使用してもよい。第１の医療機器の使用は、第２の医療機器の使用と
（時間的に）部分的に重複してもよい。そのような場合、コードをトリガした医療機器が
同時に使用されていたか又は異なる時間に使用されていたかにかかわらず、２つ以上の払
い戻しコードが出力され得る。
様々な実施形態において、少なくとも１つの払い戻しコードを決定することは、術後手
術報告の解析に基づくことができる。例えば、外科的処置の特定のセグメントに関して払
い戻しコードを決定するべく、外科的処置のセグメントに関する情報を取得するために術
後手術報告を参照することができる。外科的処置のセグメントに関する任意の情報、及び
／又は術後報告から得られた情報を使用して、払い戻しコード（例えば、外科的処置のセ
グメント、使用される外科用器具、手術される解剖学的構造、外科用器具と解剖学的構造
との相互作用、行われた撮像、行われた様々な測定、関与する外科医の数、及び／又は他
の外科的処置中に発生した事象）を決定することができる。
様々な実施形態では、手術映像のビデオフレームは、本明細書で説明されて様々な説明
された実施形態と整合するように、患者の上方に配置された画像センサから捕捉されても
よい。例えば、図１に関連して上述したように、画像センサ１１５，１２１，１２３及び
／又は１２５を使用して、手術映像のビデオフレームを捕捉することができる。これに加
えて又は代えて、ビデオフレームは、本明細書に記載されて様々な記載された実施形態と
整合するように、医療デバイスに関連付けられた画像センサから捕捉されてもよい。図３
は、本明細書で説明するように、関連する画像センサを有する医療デバイスの一例を示す
。
保険払い戻しを決定するために手術画像を解析するための実施形態は、少なくとも１つ
の払い戻しコードを外科的処置に関連付けることによってデータベースを更新することを
含むことができる。データベースは、任意の適切な手段を使用して（例えば、機械学習モ
デルを使用して、適切なデータをデータベースに送信することにより、ＳＱＬコマンドを
介して、情報をメモリに書き込むなどによって）更新することができる。例えば、上述し
たように、外科的処置の手術映像を解析して、払い戻しコードを関連付けることができる
外科的処置の様々なセグメントを決定することができる。払い戻しコードが決定された時
点で、コードは、外科的処置に関連付けられて、データ構造に記憶するように構成され得
る。データ構造は、データを保持可能である限り、任意の形態又は構造をとることができ
る。一例として、データ構造は、リレーショナルデータベースであってもよく、外科的処
置に関する情報を記憶するテーブルフィールドであって（例えば、例示的なテーブルフィ
ールドは、外科的処置の名前を含むことができる）外科的処置に関連する払い戻しコード
を記憶するテーブルフィールドを有するテーブルを含んでもよい。
様々な実施形態は、処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療
機器、前記履歴的なビデオ映像内の複数の解剖学的構造、又は、前記履歴的なビデオ映像
内の医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つとの間の相
関関係を生成すること、及び、生成された相関関係に基づいてデータベースを更新するこ
とを含んでもよい。例示的な実施形態では、相関関係は、機械学習方法を使用すること、
及び／又はヘルスケア専門家、ヘルスケア管理者、及び／又は他のユーザの入力を使用す
ることなどの任意の適切な手段を使用して生成することができる。相関関係は、上述のよ
うに、テーブル（例えば、図２０に示すテーブル２０１１～２０１５）によって表され得
る。場合によっては、相関関係は、処理された払い戻しコード（例えば、患者の健康保険
事業者が以前にヘルスケア提供者に払い戻した履歴的な外科的処置の部分に関する払い戻
しコード）に関して生成されてもよい。例えば、履歴的な手術データ（例えば、履歴的な
手術映像）を解析して（例えば、機械学習法を用いて）、履歴的なビデオ映像内の１つ以
上の医療機器、履歴的なビデオ映像内の１つ以上の解剖学的構造、又は履歴的なビデオ映
像内の医療機器と解剖学的構造との間の１つ以上の相互作用を決定することができる。履
歴的な外科的処置のセグメントが関連する処理された払い戻しコード（例えば、処理され
た払い戻しコードは、ヘルスケア提供者からの入力などの、過去に利用可能な任意の適切
な手法を使用して、履歴的な外科的処置のセグメントに割り当てられた）を有することを
条件として、処理された払い戻しコードは、履歴的な手術データから取得された情報（例
えば、医療機器、解剖学的構造、及び履歴的な手術データで識別された医療機器と解剖学
的構造との間の相互作用に関する情報）と相関させることができる。
様々な実施形態では、この開示で説明するように、相関関係を生成するための機械学習
方法をトレーニングすることができる。履歴的な手術データは、トレーニングプロセスの
一部として使用することができる。例えば、外科的処置の所定のセグメントの履歴的な手
術映像を機械学習入力として提供することができ、その後、これにより、払い戻しコード
が決定される。払い戻しコードは、機械学習モデルが正しい予測を出力するかどうかを決
定するために、外科的処置の所定のセグメントの処理された払い戻しコードと比較され得
る。機械学習モデルの様々なパラメータは、例えば、逆伝播トレーニングプロセスを使用
して修正することができる。
様々な実施形態では、本明細書で説明するように、履歴ビデオフレームを使用して、ビ
デオフレーム内に含まれる情報（すなわち、任意の適切な画像ベースの情報）に基づいて
様々なタスクのための任意の適切な機械学習モデルをトレーニングすることができる。前
述したように、機械学習モデルは、医療器具、解剖学的構造、又は医療器具と解剖学的構
造との間の相互作用のうちの少なくとも１つを検出することができる。モデルが相関関係
を認識した時点で、それらの相関関係を解析中の現在のビデオに外挿することができる。
場合によっては、相関関係を生成することは、統計的モデルを実装することを含むこと
ができる。例えば、履歴的な処理された払い戻しコードは、相関関係を決定するために履
歴的な外科的処置の同様のセグメントについて解析することができる。相関関係は、払い
戻しコードと外科的処置のセグメントの様々な態様との間であってもよい。手術セグメン
トは、医療機器、解剖学的構造、及び医療機器と解剖学的構造との間の相互作用によって
特徴付けることができる。異なる処理された払い戻しコードがそのような同様のセグメン
トに使用された場合、使用されるべき最も可能性の高い払い戻しコードを評価することに
よって相関関係を生成することができる。例えば、所定のタイプの履歴的な処置のセグメ
ントについて、処理された払い戻しコードＣ１が１００回使用され、処理された払い戻し
コードＣ２が２０回使用され、処理された払い戻しコードＣ３が１０回使用された場合、
払い戻しコードＣ１は、使用されるべき最も可能性の高い払い戻しコードとして選択する
ことができる。
場合によっては、処理された払い戻しコードが履歴的な外科的処置の同じ（又は同様の
）セグメントで異なる場合、これらのセグメントの特性を解析して、これらのセグメント
の特性の幾つかの差が処理された払い戻しコードの差の原因であるかどうかを決定するこ
とができる。様々な実施形態では、履歴的な外科的処置のセグメントの特性の差は、（任
意の適切な統計的手法を使用して測定された）処理された払い戻しコードの差と相関し得
る。
様々な実施形態において、相関関係を生成した後、上述したように、生成された相関関
係に基づいてデータベースを更新することができる。例えば、所定の解剖学的構造と相互
作用する所定の医療機器について、予測される払い戻しコード（又は、場合によっては、
可能な一連の払い戻しコード）をデータベースに関連付けて記憶することができる。可能
な払い戻しコードのセットを使用して、手術映像内で識別された外科的処置のセグメント
に関連付けられた特性に基づいて、払い戻しコードの特定の１つを更に絞り込むことがで
きる。
これに加えて又は代えて、開示された実施形態は、外科的処置に関連する処理された払
い戻しコードを受信すること、及び、処理された払い戻しコードに基づいてデータベース
を更新することを含むことができる。処理された払い戻しコードは、ヘルスケア提供者、
ヘルスケア管理者、及び／又は他のユーザによって提供されてもよい。又は、本明細書で
説明するように、処理された払い戻しコードは、履歴的な外科的処置を解析して履歴的な
外科的処置に使用された処理された払い戻しコードを識別するための機械学習方法を介し
て提供されてもよい。様々な実施形態において、処理された払い戻しコードは、出力され
た払い戻しコードのうちの少なくとも１つと異なり得る。これは、ヘルスケア専門家によ
る正しいコードの手動識別後、又は更なる機械学習解析がより正確な払い戻しコード候補
を決定した後に行われ得る。
前述したように、幾つかの実施形態は、機械学習モデルを使用して、履歴ビデオ映像に
おいて、少なくとも１つの複数の医療機器、複数の解剖学的構造、又は医療機器と解剖学
的構造との間の複数の相互作用を検出することを含むことができる。本明細書で説明する
ように、機械学習方法は、１つ以上の医療機器、解剖学的構造、及び該機器と該構造との
間の相互作用を認識するようにトレーニングされた任意の適切な画像認識方法であっても
よい。例示的な実施形態では、機械学習方法は、複数の画像認識アルゴリズムを使用する
ことができ、この場合、各アルゴリズムは、特定の医療機器又は特定の解剖学的構造を認
識するようにトレーニングされる。
開示された実施形態の態様は、外科的処置中に捕捉されるビデオフレームを解析して、
患者の解剖学的構造の状態を決定すること、及び、解剖学的構造の決定された状態に基づ
いて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定することを更に
含んでもよい。例えば、劣悪な状態の解剖学的構造に対して行われる処置は、より良好な
状態の解剖学的構造に対して行われる処置よりも高い払い戻しを正当化し得る。例示的な
実施形態では、機械学習方法は、患者の解剖学的構造の状態を決定するための様々なセン
サから得られた情報に基づいて使用することができる。解剖学的構造の状態は、サイズ、
色、形状、半透明性、表面の反射率、蛍光、及び／又は他の画像特徴などの解剖学的構造
の観察された視覚的特性に基づいて決定することができる。状態は、解剖学的構造、解剖
学的構造の時間的特性（動き、形状変化など）、音響特性（例えば、解剖学的構造を通る
音の伝達、解剖学的構造によって生成された音、及び／又は音の他の態様）、解剖学的構
造の撮像（例えば、Ｘ線を使用した撮像、磁気共鳴を使用した撮像、及び／又は他の手段
）、又は構造の電磁測定（例えば、解剖学的構造の電気伝導率、及び／又は構造の他の特
性）のうちの１つ以上に基づくことができる。画像認識を使用して、解剖学的構造の状態
を決定することができる。これに加えて又は代えて、他の特殊化されたセンサ（例えば、
磁場センサ、電気抵抗センサ、音センサ又は他の検出器）を状態決定に使用することがで
きる。
様々な実施形態では、解剖学的構造の状態を決定する際、例えば、適切な機械学習モー
ドを使用して払い戻しコードを識別することができる。例えば、機械学習モデルは、１つ
以上の払い戻しコードを決定するための１つの可能なパラメータとして解剖学的構造の状
態をとることができる。図２１は、１つ以上の払い戻しコード（例えば、図２１に概略的
に示すようなコード２１３７）を決定するための例示的なシステム２１０１を示す。例示
的な実施形態では、手術映像２１１１は、機械学習方法２１３によって処理することがで
き、また、方法２１３は、医療機器２１１６、解剖学的構造２１１８、医療機器と解剖学
的構造２１２０との相互作用、及び器具２１１６を記述するパラメータＣ１～ＣＮ、解剖
学的構造２１１８、相互作用２１２０、及び払い戻しコードに影響を与える可能性がある
任意の他の情報などの様々なパラメータ２１２２（本明細書では特性又は特性とも呼ばれ
る）を識別することができる。例示的なパラメータＣ１は、切開部のサイズであってもよ
く、パラメータＣ２は、解剖学的構造（例えば、解剖学的構造のサイズ、色、形状、及び
／又は他の画像特性）の状態であってもよく、パラメータＣＮは、例示的な医療機器が例
示的な解剖学的構造と相互作用する位置であってもよい。医療機器２１１６、解剖学的構
造２１１８、相互作用２１２０、及びパラメータ２１２２に関する情報は、機械学習モデ
ル２１３５などのコンピュータベースのソフトウェアアプリケーションの入力２１１０と
して使用することができる。モデル２１３５は、入力２１１０を処理するとともに、入力
２１１０によって記述されるような情報を有する外科的処置のセグメントに関連付けられ
た１つ以上の払い戻しコードを出力することができる。
幾つかの実施形態では、手術画像を解析して保険払い戻しを決定することは、外科的処
置中に捕捉されるビデオフレームを解析して、外科的処置中の患者の解剖学的構造の状態
の変化を決定すること、及び、解剖学的構造の状態の決定された変化に基づいて、外科的
処置と関連付けられる少なくとも１つの払い戻しコードを決定することを含んでもよい。
ビデオフレームを解析して患者の解剖学的構造の状態の変化を決定するプロセスは、任意
の適切な機械学習方法を使用して実行することができる。例えば、解剖学的構造の状態の
変化は、解剖学的構造の形状、色、サイズ、位置、及び／又は他の画像特性の変化を含む
ことができる。そのような変化は、本明細書に記載されて様々な記載された実施形態と整
合する画像認識アルゴリズムによって決定され得る。画像認識アルゴリズムは、外科的処
置の第１のフレームセット内の解剖学的構造を識別し、外科的処置の第２のフレームセッ
ト内の解剖学的構造を識別し、解剖学的構造が第１のフレームセットから第２のフレーム
セットに変化したかどうかを評価することができる。変化が観察された場合、画像認識ア
ルゴリズムは、変化関連識別子を割り当てることによって変化を認定することができる。
幾つかの例として、変化関連識別子は、文字列「除去された腫瘍」、「除去された虫垂」
、「除去された閉塞を有する頸動脈」、及び／又は変更を記述する他のデータであっても
よい。変化関連識別子は、事前構成された識別子のリストから選択することができ、機械
学習モデル（例えば、モデル２１３５）のための入力の一部として使用されて払い戻しコ
ード（例えば、コード２１３７）を出力する、図２１に示すようなパラメータＣ１～ＣＮ
などの外科的処置のパラメータのうちの１つを含むことができる。このようにして、解剖
学的構造の状態の決定された変化に基づいて、払い戻しコードを外科的処置に関連付ける
ことができる。
また、開示された実施形態は、特定の医療デバイスの使用を決定するために外科的処置
中に捕捉されるビデオフレームを解析すること、及び、特定の医療デバイスの決定された
使用に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定する
ことを含んでもよい。特定の医療機器の使用は、払い戻しコードに影響を及ぼす可能性が
ある。例えば、特定の使い捨て医療デバイスの検出は、それらの機器の払い戻しをトリガ
することができる。又は、高価な撮像機（ＭＲＩ、ＣＴ等）の使用は、その機器の使用に
対する払い戻しをトリガすることができる。更に、特定の機器の使用は、それらのコスト
に関係なく、複雑度、したがって処置のコストに相関させることができる。
幾つかの実施形態は、特定の医療デバイスの使用のタイプを決定するために外科的処置
中に捕捉されるビデオフレームを解析すること、第１の決定された使用タイプに応じて、
外科的処置と関連付けられる少なくとも第１の払い戻しコードを決定すること、第２の決
定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第２の払い戻しコ
ードを決定することを更に含んでもよく、少なくとも第１の払い戻しコードは少なくとも
第２の払い戻しコードとは異なる。使用のタイプは、切開、撮像、縫合、表面処理、放射
線処理、化学処理、切断、及び／又は他の治療様式などの医療デバイスの任意の技術又は
操作であってもよい。様々な実施形態において、使用のタイプは、外科的処置中に捕捉さ
れたビデオフレーム（すなわち、手術映像）を解析することによって解析されてもよい。
本明細書に記載の様々な実施形態と整合して、使用のタイプの検出は、前述のように、
画像認識を介して行うことができる。場合によっては、解剖学的構造に対するデバイスの
位置を使用して、医療デバイスと解剖学的構造との相互作用を決定することができる。様
々な実施形態では、医療デバイスを使用する治療のタイプごとに、対応する払い戻しコー
ドを使用することができる。場合によっては、同じ医療デバイスは、異なる関連する払い
戻しコードを有し得る異なるタイプの治療に関して使用されてもよい。例えば、鉗子を最
初に使用して解剖学的構造をクランプし、次いで解剖学的構造を抽出することができる。
幾つかの例では、特定の医療デバイスの使用のタイプは、外科的処置中に捕捉されたビデ
オフレームを解析することによって決定され得る。例えば、機械学習モデルは、外科的処
置の画像及び／又はビデオから医療デバイスの使用のタイプを決定するためにトレーニン
グ例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは
、外科的処置中に捕捉されたビデオフレームを解析し、特定の医療デバイスの使用のタイ
プを決定するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置
における特定の医療装置の使用のタイプを示すラベルと共に、外科的処置の少なくとも一
部の画像及び／又はビデオを含むことができる。
幾つかの例では、機械学習モデルは、外科的処置に関する情報に基づいて外科的処置に
関する払い戻しコードを決定するためにトレーニング例を使用してトレーニングされても
よい。そのようなトレーニング例の一例は、特定の外科的処置の所望の払い戻しコードを
示すラベルと共に、特定の外科的処置に関する情報を含むことができる。外科的処置に関
連するそのような情報の幾つかの非限定的な例としては、外科的処置の画像及び／又はビ
デオ、外科的処置の画像及び／又はビデオの解析に基づく情報（そのような解析及び情報
の幾つかの非限定的な例は本明細書に記載される）、外科的処置に関連する解剖学的構造
、外科的処置に関連する解剖学的構造の状態、外科的処置で使用される医療機器、外科的
処置における医療機器と解剖学的構造との間の相互作用、外科的処置の段階、外科的処置
で発生した事象、外科的処置の術後報告の解析に基づく情報などを挙げることができる。
更に、幾つかの例では、トレーニングされた機械学習モデルを使用して、外科的処置中に
捕捉されたビデオフレームを解析し、外科的処置に関連する少なくとも１つの払い戻しコ
ードを決定することができる。他の例では、トレーニングされた機械学習モデルを使用し
て、外科的処置における少なくとも１つの医療機器と少なくとも１つの解剖学的構造との
間の少なくとも１つの相互作用（例えば、少なくとも１つの医療機器と、外科的処置中に
捕捉されたビデオフレームを解析することによって識別された少なくとも１つの解剖学的
構造との間の少なくとも１つの相互作用）、外科的処置の術後手術報告の解析、患者の解
剖学的構造の状態（例えば、外科的処置中に捕捉されたビデオフレームを解析することに
よって決定された患者の解剖学的構造の状態）、外科的処置中の患者の解剖学的構造の状
態の変化（例えば、外科的処置中に捕捉されたビデオフレームを解析することによって決
定された外科的処置中の患者の解剖学的構造の状態の変化）、特定の医療デバイスの使用
法（例えば、外科的処置中に捕捉されたビデオフレームを解析することによって決定され
た特定の医療デバイスの使用法）、特定の医療デバイスの使用のタイプ（例えば、外科的
処置中に捕捉されたビデオフレームを解析することによって決定された特定の医療デバイ
スの使用のタイプ）、外科的処置で使用される特定のタイプの医薬物資の量（例えば、外
科的処置で使用されて外科的処置中に捕捉されたビデオフレームを解析することによって
決定された特定のタイプの医療物資の量）などの外科的処置に関する任意の情報に基づい
て、外科的処置に関連する少なくとも１つの払い戻しコードを決定することができる。
更に、実施形態は、外科的処置中に捕捉されるビデオフレームを解析して、外科的処置
で使用される特定のタイプの医療物資の量を決定すること、及び、決定された量に基づい
て外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定することを更に含
んでもよい。例示的な実施形態では、特定のタイプの医療物資の量は、外科的処置中に使
用された医療物資の量を示すことができる外科的処置のビデオフレームを観察するための
画像認識アルゴリズムを使用して決定することができる。医療物資は、薬剤、針、カテー
テル、又は任意の他の使い捨て又は消耗材料など、処置中に使用される任意の材料であっ
てもよい。供給量は、外科的処置のビデオフレームから決定することができる。例えば、
患者によって使用される薬剤の量は、薬剤及び流体を患者に供給するための静脈内（ＩＶ
）装置を観察することによって決定され得る。静脈内の血液又は流体のバッグは、それら
が交換されるときにカウントされ得る。様々な実施形態では、適切な機械学習モデルを使
用して、外科的処置中、外科的処置前、及び／又は外科的処置後に使用される特定のタイ
プの医療物資の量を識別し、決定された量に基づいて外科的処置に関連する少なくとも１
つの払い戻しコードを決定することができる。機械学習モデルは、履歴的な外科的処置の
履歴的な手術映像及び履歴的な外科的処置中に使用された医療物資の量の履歴的なデータ
を使用してトレーニングすることができる。幾つかの例では、外科的処置中に捕捉された
ビデオフレームを解析することによって、外科的処置で使用される特定のタイプの医療物
資の量を決定することができる。例えば、機械学習モデルは、外科的処置の画像及び／又
はビデオから外科的処置で使用される特定のタイプの医療物資の量を決定するためにトレ
ーニング例を使用してトレーニングすることができ、また、トレーニングされた機械学習
モデルは、外科的処置中に捕捉されたビデオフレームを解析し、外科的処置で使用される
特定のタイプの医療物資の量を決定するために使用することができる。そのようなトレー
ニング例の一例は、特定の外科的処置で使用される特定のタイプの医療物資の量を示すラ
ベルと共に、特定の外科的処置の少なくとも一部の画像及び／又はビデオを含むことがで
きる。
図２２に示すように、保険払い戻しコードを決定するために手術画像を解析する方法の
態様は、例示的なプロセス２２０１によって示されている。プロセス２２０１のステップ
２２１１において、方法は、患者の外科的処置中に捕捉されたビデオフレームにアクセス
することを含むことができる。ビデオフレームは、任意の適切な画像センサを使用して捕
捉することができ、上述したように、機械学習方法及び／又はヘルスケア提供者を使用し
てアクセスすることができる。ステップ２２１３において、方法は、上述したように、外
科的処置中に捕捉されたビデオフレームを解析して、ビデオフレーム内で、少なくとも１
つの医療機器、少なくとも１つの解剖学的構造、及び少なくとも１つの医療機器と少なく
とも１つの解剖学的構造との間の少なくとも１つの相互作用を識別することを含んでもよ
い。例えば、フレームは、前述したように、画像認識アルゴリズムなどの適切な機械学習
方法を使用して解析することができる。ステップ２２１５において、方法は、医療機器、
解剖学的構造、及び医療機器と解剖学的構造との間の相互作用に相関する払い戻しコード
のデータベースにアクセスすることを含むことができる。ステップ２２１７において、方
法は、前述したように、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との
間の特定された少なくとも１つの相互作用を、払い戻しコードのデータベース内の情報と
比較して、外科的処置に関連付けられた少なくとも１つの払い戻しコードを決定すること
を含んでもよく、また、ステップ２２１９において、方法は、外科的処置に対する保険の
払い戻しを得る際に使用するために、少なくとも１つの払い戻しコードを出力することを
含んでもよい。
前述したように、本開示は、上述したように、保険払い戻しを決定するために手術画像
を解析するための方法及びシステム、並びに、少なくとも１つのプロセッサによって実行
されるときに保険払い戻しを決定するべく手術画像を解析できるようにする動作を少なく
とも１つのプロセッサに実行させる命令を含むことができる持続性コンピュータ可読媒体
に関する。
開示されるシステム及び方法は、手術映像を解析して手術の特徴、患者の状態、及び外
科的術中事象を識別し、術後報告を作成するための情報を取得することを含むことができ
る。術後報告は、手術の特徴、患者の状態、及び外科的術中事象を識別するべく外科的処
置から得られた手術データを解析するとともに、術後報告を作成するための情報を解析さ
れたデータから抽出することによって作成することができる。したがって、手術データを
解析するとともに、術後報告を作成するために使用され得る情報を手術データから抽出す
る必要がある。
本開示の態様は、方法、システム、装置、及びコンピュータ可読媒体を含む、外科的処
置の術後報告の作成に関するものとなり得る。説明を容易にするために、方法の態様がシ
ステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法
を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両
方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的
手段を使用して行われてもよい。最も広い意味では、方法は、特定の物理的手段及び／又
は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、外科的処置の術後報告を作成するための方法は、患者
の識別子の入力を受信することを含むことができる。更に、方法は、ヘルスケア提供者の
識別子の入力を受信することを含むことができる。術後報告は、外科的処置を文書化する
任意の適切なコンピュータベース又は紙ベースの報告であり得る。様々な実施形態では、
術後報告は、手術映像、音声データ、画像データ、テキストデータ（例えば、医師のメモ
）などの複数のフレームを含むことができる。例示的な実施形態では、術後報告は、作成
されてもよく、部分的に作成されてもよく、又は作成されなくてもよい。例えば、術後報
告は、外科的処置中に得られた様々な詳細を保持するためのフィールド（例えば、報告書
の領域）を含むことができる。例示的な実施形態では、少なくとも幾つかのフィールドは
、フィールドに入力できる情報のタイプを決定することができる関連する特性（フィール
ド名とも呼ばれる）を有することができる。例えば、関連付けられた名前「患者の名前」
を有するフィールドは、そのフィールドに患者の名前を入力することを可能にすることが
できる。「パルスプロット」という名前のフィールドは、時間の関数としてプロットされ
た外科的処置中の患者のパルスを表示するためのフィールドであってもよい。様々な実施
形態では、報告が作成されない場合、報告内の全てのフィールドが空となることができ、
報告が部分的に作成される場合、フィールドの幾つかは、外科的処置から取得された情報
を含むことができ、また、報告が完全に作成される（又は殆ど作成される）場合、フィー
ルドの大部分は、関連する外科的処置に関する情報を含むことができる。幾つかの例では
、術後報告の少なくとも一部は、ユーザ及び／又は自動プロセスがフリーテキストなどの
様々な組織及び／又はフォーマットでデータを入力することを可能にするフリーフォーム
形式を有することができ、幾つかの例では、外部要素、画像、ビデオ、音声記録、デジタ
ルファイルなどへのリンクなど、フリーテキストに自由に埋め込まれた又はそれに付随す
る他の要素を含むことができる。特定の分野における術後報告に含まれるものとして本明
細書に記載される任意の詳細は、そのようなフリーテキスト情報の一部として術後報告に
等しく含まれ得るか、フリーテキストに埋め込まれるか、又はそれに付随し得ることが理
解される。
例示的な術後報告２３０１が図２３に示される。報告２３０１は、複数のフィールド、
セクション、及びサブセクションを含むことができる。異なるフィールドは、異なるタイ
プの情報を含み得る。例えば、フィールド２３１０は、外科的処置の名前を含むことがで
き、フィールド２３１２は、患者の名前を含むことができ、フィールド２３１４は、ヘル
スケア提供者の名前を含むことができる。フィールド２３１６は、外科的処置の段階の名
前を含むことができ、フィールド２３１８は、段階の連続番号（例えば、外科的処置の第
１の段階）を含むことができる。外科的処置の複数の段階を説明するために、フィールド
２３１４及び／又は２３１６の複数の例を術後報告２３０１に含めることができる。報告
２３０１は、外科的処置中の特定の事象を記述することができるセクション２３１５を含
むことができる。複数の事象を説明するための複数のセクションが報告２３０１に存在し
得る。１つ以上の事象は、特定の手術段階に結び付けられてもよく、他の事象は、いかな
る手術段階にも結び付けられない。例示的な実施形態では、セクション２３１５は、事象
の名前を含むフィールド２３２０と、事象の開始時間を含むフィールド２３２１Ａと、事
象の終了時間を含むフィールド２３２１Ｂと、事象の説明（例えば、フィールド２３２４
は、事象を記述するヘルスケア提供者からのメモを含むことができる）を含むフィールド
２３２４とを含むことができる。セクション２３１５は、フィールドＩＭＡＧＥ １～Ｉ
ＭＡＧＥ Ｎなどの画像用のフィールドを含むサブセクション２３２６、並びに事象関連
手術映像を含むサブセクション２３２８を含むことができる。例えば、サブセクション２
３２８は、フィールドＶ１－ＶＮを含むことができる。更に、セクション２３１５は、外
科的処置に関連する様々な他のデータへのリンクを含み得るサブセクション２３２９を含
み得る。様々な実施形態では、術後報告は、図２３に示すように、タブ２３３１及び２３
３３によって示される異なる部分に分割することができる。例えば、ユーザがタブ２３３
１を選択すると、手術報告の第１の一部に関する情報が表示され、ユーザがタブ２３３３
を選択すると、手術報告の第２の一部に関する情報が表示されてもよい。様々な実施形態
では、手術報告は、任意の適切な数の部分を含むことができる。
また、図２３は、アップロード入力フォーム２３３７を介して、情報を報告２３０１に
アップロードできることを示している。例えば、ユーザは、フィールド（例えば、図２３
に示すように、フィールドＶ１）をクリックすることができ、フォーム２３３７は、フィ
ールドＶ１のデータをアップロードするためにユーザに提示され得る。様々な実施形態で
は、図２３に示すように、フィールド、セクション、サブセクション、及びタブは単なる
例示であり、任意の他の適切なフィールド、セクション、サブセクション、及びタブを使
用することができる。更に、フィールド、セクション、サブセクション、及びタブの数及
びタイプは、術後報告２３０１に入力された情報に依存し得る。
様々な実施形態では、術後報告の少なくとも一部を作成するための情報は、外科的処置
の手術映像から取得することができる。このような情報は、画像ベースの情報と呼ばれる
場合がある。更に、外科的処置に関する情報は、ヘルスケア提供者又はユーザのノート、
患者の以前に提出されたフォーム（例えば、患者の病歴）、外科的処置中に使用される医
療デバイスなどから取得することができる。このような情報は、補助情報と称されてもよ
い。例示的な実施形態では、補助情報は、外科的処置中に使用される様々な医療デバイス
によって報告される脈拍、血圧、体温、呼吸数、酸素レベルなどのバイタルサインを含む
ことができる。画像ベースの情報及び補助情報は、適切なコンピュータベースのソフトウ
ェアアプリケーションによって処理することができ、また、処理された情報は、術後報告
を作成するために使用することができる。例えば、図２４Ａは、情報を処理して術後報告
２３０１を作成するためのプロセス２４０１の一例を示す。例示的な実施形態では、画像
ベースの情報２４１１及び補助情報２４１３は、コンピュータベースのソフトウェアアプ
リケーション２４１５への入力として使用することができ、また、アプリケーション２４
１５は、情報２４１１及び２４１３を処理し、術後報告（例えば、図２４Ａに示すように
、報告２３０１）に存在する様々なフィールドのデータを抽出し、様々なフィールドを作
成するように構成することができる（矢印２４３０Ａ～２４３０Ｄで概略的に示すように
）。図２４Ｂは、情報を処理して術後報告２３０１を作成するための例示的なシステム２
４０２を示している。２４０２は、アプリケーション２４１５によって処理された様々な
データが術後報告２３０１を作成する前にデータベース２４４０に記憶され得るという点
で、システム２４０１とは異なり得る。データベース２４４０にデータを記憶することに
より、様々な他の報告を生成する際に使用するためにデータに容易にアクセスすることが
できる。データベース２４４０は、矢印２４３１Ａ～２４３１Ｄによって概略的に示され
るように、データベース２４４０からのデータを報告のフィールド２３０１にマッピング
するためのソフトウェアアプリケーションを実行するように構成されてもよい。
上述したように、術後報告を入力するための実施形態は、患者及びヘルスケア提供者の
識別子の入力を受信することを含むことができる。患者の識別子は、任意の適切なデータ
又は物理的指標（例えば、患者の名前、生年月日、社会保障番号もしくは他の政府識別子
、患者番号もしくは他の固有のコード、患者画像、ＤＮＡ配列、音声ＩＤ、又は患者を一
意的に識別する任意の他の指標であってもよい。場合によっては、識別子のグループを結
合識別子として使用することができる。例示的な実施形態では、識別子は、患者を一意的
に識別する英数字文字列であってもよい。
様々な実施形態において、患者識別子は、入力として受信されてもよい。これは、任意
の適切な送信プロセス（例えば、有線又は無線ネットワークを介してデータを送信するプ
ロセス、キーボード、マウス、ジョイスティックなどの適切な入力デバイスを使用してデ
ータを送信するプロセス）を使用して行われ得る。場合によっては、「入力の受信」は、
郵便又は宅配便（例えば、直接配達される紙文書）による受領を含むことができる。
患者識別子と同様に、ヘルスケア提供者の識別子は、名前、コード、所属、住所、従業
員番号、医師免許番号、又はヘルスケア提供者を識別する任意の他の機構などの識別の任
意の適切な表示であってもよい。例示的な実施形態では、識別子は、ヘルスケア提供者を
一意的に識別する英数字文字列であってもよい。
開示された実施形態は、ヘルスケア提供者によって患者に対して行われた外科的処置の
手術映像の入力を受信することを更に含むことができる。手術映像は、入力を解析するた
めのコンピュータベースのソフトウェアアプリケーション（例えば、図２４Ａに示すよう
なアプリケーション２４１５）による入力として受信することができ、及び／又は場合に
よっては、入力を受信することは、ヘルスケア専門家又はユーザによる入力を受信するこ
とを含むことができる。これは、例えば、ヘルスケア専門家又はユーザが記憶場所からビ
デオ映像をアップロードするとき、及び／又はビデオ映像を捕捉するセンサから直接ビデ
オ映像をアップロードするときに起こり得る。
外科的処置の手術映像は、音声データも含むことができる記録画像及び／又はビデオデ
ータを含む任意の形態の記録された視覚データを含むことができる。視覚データは、図１
に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像
センサによって捕捉された１つ以上の画像のシーケンスを含むことができる。一部のカメ
ラ（例えば、カメラ１１５，１２１、及び１２５）は、手術台１４１のビデオ／画像デー
タを捕捉し、カメラ１２１は、手術を行う外科医１３１の映像／画像データを捕捉しても
よい。場合によっては、カメラは、手術室１０１に配置された麻酔科医、看護師、外科技
術などの外科チームの人員に関連するビデオ／画像データを捕捉することができる。
様々な実施形態では、画像センサは、可視光、Ｘ線光（例えば、蛍光透視法による）、
赤外光、又は紫外光を画像、一連の画像、ビデオなどに変換することによって手術映像を
捕捉するように構成され得る。画像／ビデオデータは、ＪＰＥＧ、ＰＮＧ、ＴＩＦＦ、音
声ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、
クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４
Ｐなど）、ウィンドウズ・メディア・ビデオ（ＷＭＶ）、材料交換フォーマット（ＭＸＦ
）などの任意の適切なフォーマットを使用してコンピュータファイルとして記憶すること
ができる。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意
の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び／もしくは
器官の物理的変化を伴う他の技術を含み得る。また、外科的処置は、患者を診断すること
、又は患者に薬物を投与することを含み得る。そのような外科的処置の幾つかの例として
は、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫
垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例
えば、部分的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デ
ブリードマン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節
置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳
房切除術（例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立
腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、
椎間孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人
工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術
、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態
の切除を伴う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して
説明されているが、一般に他の形態の医療処置又は処置にも適用され得ることが理解され
るべきである。
様々な実施形態において、外科的処置は、上述したように、患者が識別子によって識別
された状態で、ヘルスケア提供者によって患者に対して実行されてもよい。ヘルスケア提
供者は、患者に健康サービスを提供することを認可された人、人々のグループ、組織、又
は任意のエンティティであってもよい。例えば、ヘルスケア提供者は、外科医、麻酔医、
ナース開業医、一般小児科医、又は外科的処置を実行することを認可及び／又は可能にす
ることができる任意の他の人又は人々のグループであってもよい。様々な実施形態におい
て、ヘルスケア提供者は、外科的処置を実行するための外科チームであってもよく、頭部
外科医、助手外科医、麻酔科医、看護師、技師などを含んでもよい。ヘルスケア提供者は
、外科的処置を施すこと、患者のための外科的処置を支援することなどを行うことができ
る。病院、診療所、又は他の組織もしくは施設は、開示された実施形態と整合して、ヘル
スケア提供者として特徴付けることもできる。同様に、患者は、外科的処置が行われる人
（又は任意の生物）であってもよい。
開示された実施形態の態様は、外科的処置の術後報告を作成するための画像ベースの情
報を導き出すために、手術映像の複数のフレームを解析することを含むことができる。様
々な実施形態では、画像ベースの情報は、外科的処置中に発生した事象に関する情報、外
科的処置の段階に関する情報、外科的処置中に使用された手術器具に関する情報、外科的
処置が行われた解剖学的構造に関する情報、様々な装置（例えば、脈拍、血圧、体温、呼
吸数、酸素レベルなどのバイタルサイン）からのデータ、又は画像から取得することがで
き、術後報告で文書化するために適用可能とすることができる任意の他の適切な情報を含
むことができる。手術映像の解析に基づく情報の幾つかの他の非限定的な例、及び／又は
手術映像を解析し、情報を決定するためのアルゴリズムがこの開示に記載される。
様々な実施形態では、画像ベースの情報は、例えば上述したように、事象、外科的処置
の段階、手術器具、手術映像内の解剖学的構造などを識別するための任意の適切なトレー
ニングされた機械学習モデル（又は他の画像認識アルゴリズム）を使用して、手術映像か
ら導き出され得る。場合によっては、機械学習方法は、事象、段階、手術器具、解剖学的
構造などの様々な特性を識別することができる。例えば、切開などの事象の特性は、切開
の長さを含むことができ、解剖学的構造の特性は、構造のサイズ又は構造の形状を含むこ
とができる。様々な実施形態において、任意の適切な特性は、例えば上述したように、機
械学習方法を使用して識別することができ、識別されると、手術報告を入力するために使
用することができる。
様々な実施形態において、導き出された画像ベースの情報は、外科的処置の術後報告を
作成するために使用されてもよい。術後報告を作成するプロセスは、報告のフィールドに
フィールドに固有の情報を入力することを含むことができる。例示的な実施形態では、術
後報告の作成は、コンピュータベースのアプリケーション（例えば、２４Ａに示すように
、アプリケーション２４１５）によって行われてもよい。例えば、コンピュータベースの
アプリケーションは、術後報告からフィールドを検索し、フィールドに関連付けられた名
前を決定し、決定された名前に基づいてフィールドに入力される必要がある情報のタイプ
（例えば、画像ベースの情報、又は任意の他の適切な情報）を決定し、手術映像又は補助
情報（例えば、図２４Ａに示すような補助情報２４１３）のいずれかからそのような情報
を検索するように構成され得る。例示的な実施形態では、情報を検索することは、手術映
像から画像ベースの情報を導き出すことを含むことができる。例えば、「使用された手術
器具」というフィールド名の場合、情報を検索することは、外科的処置中に使用された（
手術映像内の）手術道具を識別するための画像認識アルゴリズムを使用すること、及び、
識別された器具の名前で手術報告を作成することを含むことができる。したがって、導き
出された画像ベースの情報を使用して、外科的処置の術後報告を作成することができる。
報告を作成するために使用され得る画像ベースの情報の他の例は、処置又はその一部の開
始時間及び終了時間、直面した合併症、臓器の状態、及びビデオデータの解析によって導
き出され得る他の情報を含み得る。また、これらは、患者の特性、１人又は複数のヘルス
ケア提供者の特性、手術室に関する情報（例えば、手術室に存在する装置のタイプ、手術
室で利用可能な画像センサのタイプなど）、又は任意の他の関連データを含むことができ
る。
図２５に示すように、外科的処置の術後報告を作成する方法の態様が、例示的なプロセ
ス２５０１によって示されている。プロセス２５０１のステップ２５１１において、方法
は、上述したように、患者の識別子の入力を受信することを含むことができ、ステップ２
５１３において、方法は、ヘルスケア提供者の識別子の入力を受信することを含むことが
できる。ステップ２５１５において、方法は、ヘルスケア提供者によって患者に対して行
われた外科的処置の手術映像の入力を受信することを含むことができる。手術映像の入力
を受信することは、上述したように、適切なコンピュータベースのソフトウェアアプリケ
ーション又はヘルスケア専門家によって入力を受信することを含むことができる。ステッ
プ２５１７において、方法は、本明細書に記載のように、手術映像の複数のフレームを解
析して、外科的処置の術後報告を作成するための画像ベースの情報を導き出すことを含む
ことができ、ステップ２５１９において、方法は、前述のように、導き出された画像ベー
スの情報が外科的処置の術後報告を作成するようにすることを含むことができる。
外科的処置の術後報告を作成する方法の態様は、外科的処置の１つ以上の段階を識別す
るために手術映像を解析することを含むことができる。段階は、例えば本明細書に記載さ
れるように、外科的処置のある部分を別の部分から区別するようにトレーニングされたト
レーニングモデルに基づいて自動的に互いに区別することができる。
本開示の目的のために、段階は、プロセス又は一連の事象の特定の期間又は段階を指す
ことができる。したがって、手術段階は、外科的処置の下位部分を指すことができる。例
えば、腹腔鏡下胆嚢切除術の手術段階としては、トロッカ配置、準備、カロー三角切開、
胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢包装、肝床の清浄化及び凝固、
胆嚢収縮などを挙げることができる。別の例では、白内障手術の手術段階は、準備、ポビ
ドンヨード注射、角膜切開、水晶体嚢切開、水晶体超音波乳化吸引、皮質吸引、眼内レン
ズ移植、眼内レンズ調整、創傷封止などを含み得る。更に別の例では、下垂体手術の手術
段階としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換
、縫合、鼻圧迫の設置などを挙げることができる。手術段階の幾つかの他の例としては、
準備、切開、腹腔鏡位置決め、縫合などを挙げることができる。
幾つかの例では、ユーザは、手術映像のセクションを段階の名前又はタイプを識別する
単語／文／文字列でマークすることによって段階を識別することができる。また、ユーザ
は、使用される事象、処置、又はデバイスを識別することができ、これらの入力は特定の
ビデオ映像に（例えば、例えば、ルックアップテーブル又は他のデータ構造を介して）関
連付けることができる。ユーザ入力は、デスクトップコンピュータ、ラップトップ、タブ
レット、携帯電話、ウェアラブルデバイス、モノのインターネット（ＩｏＴ）デバイス、
又はユーザからの入力を受信するための任意の他の手段などのユーザデバイスのユーザイ
ンタフェースを介して受信することができる。インタフェースは、例えば、段階名の１つ
以上の選択リストを有する１つ以上のドロップダウンメニュー、ユーザが段階名を入力で
きるようにする及び／又は数文字が入力された時点で段階名を示唆するデータ入力フィー
ルド、そこから段階名を選択することができる選択リスト、それぞれが異なる段階に関連
付けられた選択可能なアイコンのグループ、又はユーザが段階を識別又は選択できるよう
にする任意の他のメカニズムを提供することができる。
幾つかの実施形態では、外科的処置の１つ以上の段階を識別するために外科的処置を解
析することは、例えば上述したように、ビデオ映像のフレームを解析するためにコンピュ
ータ解析（例えば、機械学習モデル）を使用することを含むことができる。コンピュータ
解析は、コンピューティングデバイスを使用する任意の形態の電子解析を含むことができ
る。幾つかの実施形態では、コンピュータ解析は、ビデオ映像の１つ以上のフレームの特
徴を識別するために１つ以上の画像認識アルゴリズムを使用することを含み得る。コンピ
ュータ解析は、個々のフレームに対して実行されてもよく、例えば、フレーム間の動き又
は他の変化を検出するために複数のフレームにわたって実行されてもよい。
幾つかの実施形態では、外科的処置の少なくとも１つの段階を識別するために外科的処
置を解析することは、名前を少なくとも１つの段階に関連付けることを含み得る。例えば
、特定された段階が胆嚢剥離を含む場合、「胆嚢剥離」という名前をその段階に関連付け
ることができる。様々な実施形態では、導き出された画像ベースの情報（段階を識別する
ことによって外科的処置の手術映像から導き出される）は、上述したように、関連する段
階名を含むことができる。
更に、外科的処置の術後報告を作成する方法の態様は、識別された段階のうちの少なく
とも１つの段階の特性を識別することを含むことができる。段階の特性は、段階の持続時
間、外科的処置中の一連の段階における段階の場所、段階の複雑度、使用される技術の識
別、段階で使用される医療機器に関する情報、段階で実行される動作に関する情報、段階
中の解剖学的構造の状態の変化、又は段階を特徴付けることができる任意の他の情報など
の段階の任意の特性であってもよい。段階特性は、英数字文字列の形式で表現されてもよ
い。例えば、「第１の段階」は、外科的処置中の段階のシーケンスにおける第１の段階と
して段階を識別することができ、「１時間」は、段階が１時間の持続時間を有することを
記述することができ、「気管支鏡検査」は、気管支鏡検査として段階を識別することがで
きる、などである。これに加えて又は代えて、段階の特性は、外科的処置中に収集された
非テクスチャデータ（例えば、画像、音声、数値、及び／又はビデオデータ）であっても
よい。例えば、外科的処置の段階中に実行された解剖学的構造の代表的な画像（又は外科
用器具、又は外科用器具と例示的な解剖学的構造との相互作用）を段階の特性として使用
することができる。一例では、機械学習モデルは、画像及び／又はビデオから手術段階の
特性を識別するためにトレーニング例を使用してトレーニングされ得る。そのようなトレ
ーニング例の一例は、外科的処置の手術段階の１つ以上の特性を示すラベルと共に、外科
的処置の手術段階の少なくとも一部の画像及び／又はビデオを含むことができる。そのよ
うな特性の幾つかの非限定的な例は、手術段階の名前、手術段階のテキスト記述、又は上
述した手術段階の任意の他の特性を含むことができる。更に、幾つかの例では、トレーニ
ングされた機械学習モデルを使用して、手術映像を解析し、識別された段階の少なくとも
１つの段階の特性を識別することができる。様々な実施形態では、導き出された画像ベー
スの情報（手術記録を入力するために使用される）は、識別された少なくとも１つの段階
及び少なくとも１つの段階の識別された特性に基づくことができる。例えば、段階と特性
の両方の組み合わせは、より意味のある方法で段階を記録することを可能にし得る。例え
ば、弁の縫合段階中に、術中漏れが検出された場合（段階の特性）、段階／特性の組み合
わせを手術記録に記録することができる。場合によっては、導き出された画像ベースの情
報は、外科的処置の段階中に捕捉されたビデオのセグメントを含むことができる。
外科的処置の術後報告を作成する方法の態様は、少なくとも１つの段階の少なくとも開
始を決定することを含むことができ、この場合、導き出された画像ベースの情報は、決定
された開始に基づく。少なくとも１つの段階の開始は、例えば上述したように、手術映像
に対してコンピュータ画像解析を実行することによって決定することができる。例えば、
トレーニングされた機械学習モデル（回帰性畳み込みニューラルネットワークなど）を使
用して、特定の段階の開始を前の段階の終了と区別することができ、また、位置を識別し
て手術記録に記憶することができる。別の例では、特定の医療機器がビデオ映像に最初に
現れるときに段階が開始され、また、物体検出アルゴリズムを使用して、手術映像内の特
定の医療機器の最初の外観を識別することができる。
場合によっては、時間マーカを少なくとも１つの段階に関連付けることができ、また、
導き出された画像ベースの情報は、少なくとも１つの段階に関連付けられた時間マーカを
含むことができる。時間マーカは、外科的処置の開始からの経過時間、時間によって測定
される時間、又は何らかの他の術中記録時間に関連する時間を含む、幾つかの方法で記録
されてもよい。様々な実施形態では、時間マーカは、識別された各段階の開始に関連付け
られ得る（例えば、時間マーカは、手術映像内の手術段階の開始位置に関連付けられても
よい）。時間マーカは、任意の適切な英数字識別子、又は任意の他のデータ識別子（例え
ば、音声信号又は画像）であってもよく、識別された段階の開始に関連する時間（及び／
又は場合によっては時間範囲）に関する情報を含んでもよい。
切開などの例示的な手術事象は、例えば上述したように、動作検出アルゴリズムを使用
して検出することができる。そのような識別された手術事象は、手術段階の開始を識別す
ることができる。例示的な実施形態では、手術段階を開始する事象は、機械学習技術に基
づいて検出することができる。例えば、機械学習モデルは、手術段階を開始する既知の事
象を含む履歴的な手術映像を使用してトレーニングすることができる。
更に、開示された実施形態は、少なくとも１つの段階の少なくとも終了を決定すること
を含むことができ、また、導き出された画像ベースの情報は、決定された終了に基づくこ
とができる。手術段階の終了は、手術映像内の手術段階の終了位置を検出することによっ
て決定され得る。様々な実施形態において、時間マーカは、識別された各段階の終わりに
関連付けられてもよい（例えば、時間マーカは、手術映像内の手術段階の終了位置に関連
付けられてもよい）。上述したように、終了マーカは、開始マーカと同じ方法で記録され
てもよく、任意の適切な英数字識別子、又は任意の他のデータ識別子によって特徴付けら
れてもよい。例えば、手術映像は、連続する手術段階の開始を識別するために解析されて
もよく、また、１つの段階の終了は、連続する手術段階の開始と同一であってもよい。別
の例では、特定の医療機器がビデオ映像に最後に出現したときに段階が終了し、また、物
体検出アルゴリズムを使用して、手術映像内の特定の医療機器の最後の出現を識別するこ
とができる。
また、外科的処置の術後報告を自動的に入力するための実施形態は、患者識別子及び導
き出された画像ベースの情報を含むデータをヘルスケア提供者に送信することを含むこと
ができる。外科的処置中又は外科的処置後に、外科的処置中に捕捉されたビデオは、患者
の関連する手術記録を入力するためにヘルスケア提供者に送信され得る。ビデオが適切な
記録を作成するようにするべく、患者識別子はビデオを送信に添付することができる。幾
つかの実施形態では、これにより、人間の介入を伴うことなく、手術記録をビデオで自動
的に更新することができる。他の実施形態では、送信側及び／又は受信側のいずれかで、
人間は送信用のビデオを選択するか、又は患者の医療記録に組み込むためのビデオを受け
入れることができる。場合によっては、データを送信することは、データを記述する文書
の物理的コピー（例えば、紙コピー、ＣＤ－ＲＯＭ、ハードドライブ、ＤＶＤ、ＵＳＢド
ライブなど）を郵送すること（又は直接配達すること）を含むことができる。これに加え
て又は代えて、データを送信することは、健康保険提供者又は医療過誤キャリアのうちの
少なくとも１つにデータを送信することを含むことができる。
本開示の態様は、術後治療のための少なくとも１つの推奨を識別するために手術映像を
解析すること、及び、識別された少なくとも１つの推奨を提供することを含んでもよい。
前述したように、手術映像は、様々な方法で（例えば、機械学習方法を使用して、ヘルス
ケア提供者などによって）解析することができる。様々な実施形態では、機械学習方法は
、ビデオフレーム内の事象を認識するように構成されるだけでなく、手術映像の解析に基
づいて外科的処置の様々な態様に関する結論を形成するように構成されてもよい。例えば
、術後創傷ケアは、外科的創傷の性質に応じて異なり得る。ビデオ解析は、その性質を決
定することができ、創傷部位の術後治療のための推奨を提供することもできる。このよう
な情報は、手術記録に送信されて記憶されてもよい。場合によっては、機械学習方法は、
術中事象（例えば、有害事象）を識別し、特定の術後処置が必要なこれらの事象のための
表示を提供することができる。これは、機械学習によって解析することができ、術後治療
のための推奨を自動的に提供することができる。一例では、手術映像で識別された第１の
手術事象に応じ、術後治療のための第１の推奨を識別することができ、また、手術映像で
識別された第２の事象に応じて、術後治療のための第２の推奨を識別することができ、第
２の推奨は第１の推奨とは異なり得る。一例では、手術映像内で識別された解剖学的構造
の第１の状態に応じて、術後治療のための第１の推奨を識別することができ、また、手術
映像内で識別された解剖学的構造の第２の状態に応じて、術後治療のための第２の推奨を
識別することができ、第２の推奨は第１の推奨とは異なり得る。幾つかの例では、機械学
習モデルは、手術画像及び／又は手術映像から術後治療の推奨を生成するためにトレーニ
ング例を使用してトレーニングされてもよくまた、トレーニングされた機械学習モデルは
、手術映像を解析し、術後治療の少なくとも１つの推奨を識別するために使用されてもよ
い。そのようなトレーニング例の一例は、外科的処置に対応する術後治療のための所望の
推奨を示すラベルと共に、外科的処置の少なくとも一部の画像又はビデオを含むことがで
きる。
そのような推奨は、理学療法、薬物療法、更なる理学的検査、外科的処置のフォローな
どを提案することを含み得る。場合によっては、推奨は、医学的行動に直接関連しないか
もしれないが、食事の推奨、睡眠の推奨、身体的行動の推奨、又はストレス管理の推奨を
含み得る。様々な実施形態において、特定された推奨は、患者の術後治療を担当するヘル
スケア専門家に提供されてもよい。これに加えて又は代えて、推奨は、患者、家族、友人
などであってもよい第三者に提供されてもよい。
一実施形態では、手術映像の解析は、外科的処置の所定の時間中に、外科医が、例えば
エネルギー装置を使用して、患者の腸に接近しすぎて作業した可能性があることを識別す
ることを含むことができる。そのような事象が（例えば、物体検出アルゴリズムを使用し
て、トレーニングされた機械学習モデルを使用するなどして）識別されると、手術映像を
更に解析して壊滅的な術後事象（例えば、出血、心停止など）を回避するように特別な処
置が計画されるように外科医（又は患者の術後治療を監督する他のヘルスケア専門家）に
警告する通知（例えば、プッシュ通知）を送信することができる。
様々な実施形態では、外科的処置の術後報告を作成することは、術後報告内の導き出さ
れた画像ベースの情報の少なくとも一部をヘルスケア提供者が変更できるようにすること
を含み得る。例えば、ヘルスケア提供者（ヘルスケア専門家とも呼ばれる）は、術後報告
に情報を表示するように構成されたソフトウェアアプリケーションを介して術後報告にア
クセスすることができる。様々な実施形態において、ヘルスケア専門家は、術後報告内の
幾つか又は全てのフィールドを変更することができる。幾つかの実施形態では、特定のフ
ィールドは、管理権なしに変更できないとしてロックされてもよい。変更可能なフィール
ドの例は、テキストベースのデータ（例えば、キーボード、マウス、マイクロフォンなど
を介して新しいデータを入力することによって変更可能である）、画像データ（例えば、
外科的処置に関連する１つ以上の画像をアップロードすること、１つ以上の画像上に情報
をオーバーレイすることなどによって）、ビデオデータ（例えば、外科的処置に関連する
１つ以上のビデオをアップロードし、１つ以上のビデオの１つ以上のフレームにわたって
情報をオーバーレイすることなどによって）、音声データ（例えば、外科的処置中に捕捉
された音声データ）などを含むフィールドであってもよい。
様々な実施形態において、術後報告に対する更新は、バージョン追跡システムを使用し
て追跡することができる。例示的な実施形態では、バージョン追跡システムは、術後報告
を作成するために以前に使用された全てのデータを維持することができる。バージョン追
跡システムは、術後報告の異なるバージョン間の差を追跡するように構成されてもよく、
報告に変更を加えた当事者（例えば、ヘルスケア専門家の名前、更新の時間など）に関す
る情報を追跡するように構成されてもよい。
幾つかの実施形態では、外科的処置の術後報告を作成することは、導き出された画像ベ
ースの情報の少なくとも一部を自動的に生成されたデータとして術後報告で識別させるよ
うに構成され得る。様々な実施形態では、導き出された画像ベースの情報が術後報告を作
成するために使用される際、報告を作成することは、導き出された画像ベースの情報がど
のように生成されたかを識別することを含むことができる。例えば、血管内の検出された
パルスのコンピュータビジョン解析を使用して上昇した心拍数が決定された場合、その決
定源はビデオ決定に基づくものとして留意され得る。同様に、ビデオ解析は、破裂の結果
として失血量を自動的に推定することができ、また、手術報告は、推定された損失と共に
、損失量がビデオ解析に基づく推定であることに留意することができる。実際に、ビデオ
解析から導き出された任意の表示は、データのソースを反映するために任意のテキスト、
グラフィック、又はアイコンベースの情報を使用して、術後報告でそのように示され得る
。例えば、ビデオから導き出されたデータの隣に動画アイコンが表示されてもよい。或い
は、ヘルスケア専門家が、手術映像内の事象を識別して、識別された事象に対応する手術
映像のセグメントを導き出された画像ベースの情報として提供する場合、そのような情報
は、ヘルスケア専門家によって生成されたと見なされてもよく、自動的に生成されたデー
タとして分類されなくてもよい。
開示された実施形態は、例えば上述したように、手術映像を解析して手術映像内の手術
事象を識別することを含むことができる。解析は、前述したように、機械学習モデルを使
用して行うことができる。識別は、手術事象の名前と共に、手術事象が既に識別された履
歴データから導き出されてもよい。したがって、機械学習によって同様の事象が検出され
た場合、その事象について以前に識別された名前を現在の事象識別に同様に適用すること
ができる。
更に、開示された実施形態と整合して、事象が識別され得るだけでなく、手術事象の特
性も識別され得る。手術事象の特性は、事象のタイプ、又は事象を特徴付ける任意の他の
情報であってもよい。例えば、事象が切開である場合、機械学習モデルは、事象のタイプ
として名前「切開」を返し、事象の特性として切開の長さ及び深さを返すように構成され
得る。場合によっては、様々な事象に対して可能なタイプの所定のリストが機械学習モデ
ルに提供されてもよく、また、機械学習モデルは、事象を正確に特徴付けるために事象タ
イプのリストからタイプを選択するように構成されてもよい。特性の数は、識別された事
象のタイプに基づいて変化し得る。幾つかのかなり直接的な事象は、関連する特性の比較
的短いリストを有することができるが、他の事象は、より多くの関連する別の特性を有す
ることができる。
説明したように、機械学習モデルは、事象を識別するための１つの方法であり、この場
合、モデルは、事象を識別（又は決定）するために例を使用してトレーニングされる。ト
レーニングは、例えば教師あり学習手法などの任意の適切な手法を含み得る。例えば、事
象に対応する特徴を含む履歴的な手術映像を機械学習モデルの入力データとして提示する
ことができ、また、機械学習モデルは、映像内の特徴に対応する事象の名前を出力するこ
とができる。機械学習モデルの様々なパラメータは、履歴視覚データ内の特徴に対応する
事象を正しく識別するように機械学習モデルをトレーニングするために調整することがで
きる。例えば、機械学習モデルがニューラルネットワークである場合、そのようなニュー
ラルネットワークのパラメータ（例えば、ネットワークの重み、ニューロンの数、活性化
関数、ネットワークのバイアス、ネットワーク内の層の数など）は、任意の適切な手法を
使用して調整することができる（例えば、ニューラルネットワークの重みは、逆伝播プロ
セスを使用して調整することができる）。
一実施形態では、事象は、医療専門家（例えば、外科医）によって識別されてもよく、
また、事象は、その発生時にタグ付けされてもよい。機械学習モデルが手術行動を潜在的
に対象のものとして識別するが、その行動の関連する名前がない場合、関連する映像を保
存することができ、ユーザは後で関連する名前を提供するように促されることができる。
場合によっては、外科医は、その後の識別のために外科的処置中に事象をマークするこ
とができる。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されて
事象のトリガとして認識され得る視覚信号又は音声信号（例えば、ハンドジェスチャ、ボ
ディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言
葉など）を使用して事象をマークすることができる。
様々な実施形態において、導き出された画像ベースの情報は、識別された手術事象及び
事象の識別された特性に基づくことができる。事象及び事象の１つ以上の特性が前述のよ
うに識別された後、これらの組み合わせを解析して、事象又は特性のみから導き出できな
かった可能性がある画像ベースの情報を決定することができる。例えば、特定の事象の特
定の特性が術後合併症の既知のリスクと関連付けられている場合、そのリスクを決定し、
画像ベースの情報に含めることができる。或いは、例として、導き出された画像ベースの
情報としては、事象の名前、事象に対応する手術映像のセグメント、事象中に使用された
外科用器具の名前及び／又は画像、事象中に操作された解剖学的構造の名前及び／又は画
像、外科用器具と解剖学的構造との相互作用の画像、事象の持続時間、及び／又はビデオ
から導き出された任意の他の情報のうちの１つ以上を挙げることができる。
上述したように、手術映像は、識別された手術事象の事象名を決定するために解析され
得る。上述したように、事象名は、適切な機械学習モデルを使用して決定することができ
る。或いは、事象の名前は、ヘルスケア専門家によって識別されてもよい。様々な実施形
態において、導き出された画像ベースの情報は、決定された事象名を含むことができる。
また、開示された実施形態の態様は、時間マーカを識別された手術事象と関連付けるこ
とを含むことができる。時間マーカを識別された手術事象と関連付けるプロセスは、時間
マーカを外科的処置の段階と関連付けるプロセスと同様であり得る。例えば、時間マーカ
は、外科的処置の事象の開始（例えば、手術映像内の手術事象の開始又は他の何らかの中
間位置又は位置の範囲）に関連付けられてもよい。時間マーカは、任意の適切な英数字識
別子、又は任意の他のグラフィックもしくはデータ識別子であってもよい。例えば、時間
マーカは、外科的処置の一部又は全部の動的又は静的タイムライン上に表示されるアイコ
ン又は他のグラフィックであってもよい。動的である場合、関連する事象の映像を提示さ
せるために、時間マーカをクリック可能（又は選択可能）にすることができる。マーカは
、映像上のテキスト又はグラフィックオーバーレイを介して、又は再生提示のために埋め
込まれた識別音声指標を介して、映像に表示させることができる。そのような指標は、時
間データ（発生の時間又は時間範囲）、位置データ（事象が発生した位置データ）、又は
特性データ（発生の特性を表す）などの情報の１つ以上の断片を含むことができる。状況
によっては、時間マーカは、事象の終了に関連付けられてもよい（例えば、時間マーカは
、手術映像内の事象の終了位置に関連付けられてもよい）。導き出された画像ベースの情
報は、複数の事象及び／又は事象内の複数の位置に関して、複数の時間マーカを含むこと
ができる。
幾つかの実施形態では、導き出された画像ベースの情報を提供することは、電子医療記
録を更新できるようにする形式で行われてもよい。例えば、導き出された画像ベースの情
報は、電子医療記録（例えば、医療記録を記憶及び表示するためのスタンドアロンアプリ
ケーション、データベースに記憶された情報を使用して医療記録を表示するためのウェブ
インタフェースなど）を記憶及び表示することができるソフトウェアアプリケーションに
アップロードすることができる形式であり得るテキストデータ、画像データ、ビデオデー
タ、音声データなどを含むことができる。様々な実施形態において、医療記録を記憶及び
表示するためのソフトウェアアプリケーションは、導き出された画像ベースの情報を使用
して電子医療記録を更新するためのインタフェースを含むことができる。インタフェース
は、画像、ビデオ、及び音声データをアップロードするため、テキストデータをアップロ
ードするため、テキストデータを電子医療記録に入力するため、コンピュータマウスを使
用して電子医療記録を更新するためなどのグラフィカルユーザ要素を含むことができる。
様々な実施形態において、導き出された画像ベースの情報は、ユーザ入力に部分的に基
づくことができる。例えば、ヘルスケア専門家などのユーザは、例えば上述したように、
手術映像が捕捉されている間に入力を提供することができ、また、導き出された画像ベー
スの情報は、そのような入力に部分的に基づくことができる。例えば、そのような入力は
、手術映像内の特定の時点を示すことができる。
様々な実施形態において、導き出された画像ベースの情報は、外科的処置の第１の一部
に関連付けられた第１の部分と、外科的処置の第２の一部に関連付けられた第２の部分と
を含むことができる。画像ベースの情報を部分に分離することは、画像ベースの情報の分
類を容易にすることができる。例えば、外科的処置の第１の一部が複数の切開を行うこと
を含み、外科的処置の第２の一部が縫合を含む場合、そのような一部分は、外科的処置の
それらの一部分を分類するために使用され得る。場合によっては、外科的処置の第１の一
部の間、センサの第１のセットを使用して画像ベースの情報を収集することができ、また
、外科的処置の第２の一部の間、センサの異なるセットを使用して画像ベースの情報を収
集することができる。例えば、第１の一部の間、外科用器具に配置された画像センサを使
用して手術映像を捕捉することができ、また、外科的処置の第２の一部の間、俯瞰画像セ
ンサ（すなわち、手術台の上方に配置された画像センサ）を使用して手術映像を捕捉する
ことができる。
様々な実施形態において、術後報告は、外科的処置の第１の一部に対応する第１の一部
及び外科的処置の第２の一部に対応する第２の一部を含むことができる。術後報告の第１
の一部の開始は、第１の位置（例えば、第１の位置は、データファイル内のポインタ、テ
キストファイル内のカーソルの位置、データベース内のデータ記録などであってもよい）
によって示され得る。術後報告の第２の一部の開始が第２の位置によって示されてもよく
、この第２の位置は、術後報告の第２の一部の開始点であるファイル内の位置の任意の適
切な表示となり得る（例えば、第１の位置は、データファイル内のポインタ、テキストフ
ァイル内のカーソルの位置、データベース内のデータ記録などであってもよい）。様々な
実施形態では、術後報告は、外科的処置の対応する部分に基づく部分に分離することがで
きる。例示的な実施形態では、機械学習方法（又はヘルスケア提供者）は、外科的処置の
一部分を識別し、そのような識別された一部分を有するように術後報告を構成することが
できる。術後報告は、２つの一部分に限定されず、２つより多い又は少ない一部分を含ん
でもよい。
開示された実施形態の態様は、事前の術後報告を受信することを含むことができる。術
後報告は、組織、個人、又はコンピュータ（例えば、図２４Ａに示すように、保険会社も
しくはヘルスケア組織、ヘルスケア専門家、又はアプリケーション２４１５などの術後報
告を作成するためのコンピュータベースのプログラム）にかかわらず、任意のエンティテ
ィによって受信され得る。様々な実施形態では、予備術後報告を解析することは、予備術
後報告内の第１の位置及び第２の位置を選択することを含むことができ、第１の位置は外
科的処置の第１の一部に関連付けられ、第２の位置は外科的処置の第２の一部に関連付け
られる。そのような選択は、報告を解析する誰か（又は機械）が報告内の関心領域に直接
スキップすることを可能にすることができる。したがって、予備術後報告を解析すること
は、第１の位置及び第２の位置のうちの１つ以上の指標を識別することを含むことができ
る。指標は、任意の適切な英数字又はグラフィカル指標であってもよい。例えば、第１の
位置の指標は、「これは術後報告の第１の一部の開始です」という文字列又はグラフィカ
ル開始アイコンであり得る。一例では、自然言語処理（ＮＬＰ）アルゴリズムを使用して
、事前術後報告に含まれるテキスト情報を解析し、外科的処置の異なる態様について論じ
る部分（例えば、異なる手術段階、異なる手術事象、異なる医療機器の使用など）をテキ
スト情報内で識別し、テキスト情報の識別された部分を外科的処置の異なる部分と（例え
ば、対応する手術段階と、対応する外科事象と、対応する医療機器の使用などと）関連付
けることができる。更に、幾つかの例では、事前術後報告内の第１の位置及び第２の位置
（並びに更なる位置）は、テキスト情報の識別された部分に基づいてもよく、及び／又は
それとリンクされてもよい。
更に、実施形態は、導き出された画像ベースの情報の第１の部分を選択された第１の位
置に挿入させ、導き出された画像ベースの情報の第２の部分を選択された第２の位置に挿
入させることを含んでもよい。例えば、術後報告の第１の一部は、外科的処置の第１の一
部の間に捕捉された導き出された画像ベースの情報によって作成され得るフィールドの第
１のドセットを含むことができ、また、術後報告の第２の一部は、外科的処置の第２の一
部の間に捕捉された導き出された画像ベースの情報によって作成され得るフィールドの第
２のセットを含むことができる。別の例では、導き出された画像ベースの情報の第１の一
部は、外科的処置の第１の一部に対応することができ、導き出された画像ベースの情報の
第２の一部は、外科的処置の第２の一部に対応することができ、予備術後報告内の第１の
位置は、（上述したように）外科的処置の第１の一部に対応するものとして識別すること
ができ、予備術後報告内の第２の位置は、（上述したように）外科的処置の第２の一部に
対応するものとして識別することができ、それに応じて、導き出された画像ベースの情報
の第１の部分を第１の位置に挿入することができ、導き出された画像ベースの情報の第２
の部分を第２の位置に挿入することができる。外科的処置の第１及び第２の一部の幾つか
の非限定的な例は、異なる手術段階、異なる手術事象、異なる医療機器の使用、異なる動
作などを含み得る。
また、本開示の態様は、手術映像を解析して、手術映像の少なくとも１つのフレームの
少なくとも一部を選択すること、及び、手術映像の少なくとも１つのフレームの選択され
た少なくとも一部を外科的処置の術後報告に含ませることを含んでもよい。例えば、術後
報告が外科的処置中に使用される外科用器具の１つ以上の画像を保持するように構成され
たフィールドを含む場合、例示的な機械学習モデルは、手術映像の１つ以上のフレームを
識別し、外科用器具を含む識別されたフレームの部分を選択するように構成され得る。更
に、少なくとも１つのフレームの選択された部分（例えば、ポピュレート）を術後報告に
挿入することができる。また、機械学習モデルは、手術映像の他の関連フレームを抽出す
るように構成されてもよい。例えば、手術の焦点である解剖学的構造を描写する手術映像
のフレーム、又は外科用器具と解剖学的構造との間の相互作用を描写するフレームが抽出
され得る。また、そのような関連するフレームは、術後報告を作成することもできる。
また、開示される実施形態は、予備術後報告を受けること、及び、予備術後報告及び手
術映像を解析して、手術映像の少なくとも１つのフレームの少なくとも一部を選択するこ
とを含んでもよい。例えば、機械学習モデルは、術後報告を解析し、有害事象の議論（例
えば、出血）を識別するように構成することができる。有害事象は、例えば、術後報告に
記憶された表示を介して、ＮＬＰアルゴリズムなどを使用して識別することができる。表
示は、例えば、有害事象の名前の表示であってもよい。表示は、有害事象が外科的処置中
に発生した時間を含み得る。有害事象は、外科的処置のための手術映像を検索し、有害事
象を表す視覚データを示すフレームの一部（例えば、出血を示すフレームの一部）を識別
するように構成された機械学習モデルを使用して決定され得る。更に、幾つかの例では、
フレームの識別部分は、有害事象の議論に関連して術後報告に挿入されてもよく、又は別
の方法で有害事象の議論に関連付けられてもよい。
開示された実施形態の更なる態様は、予備術後報告及び手術映像を解析して予備術後報
告と手術映像との間の少なくとも１つの不一致を識別することを含むことができる。様々
な実施形態では、報告に記憶された情報を、エラーを決定する機械学習モデルを介して導
き出された情報と比較することによって、不一致を決定することができる。例示を目的と
して、手術部位が縫合糸で閉鎖されたことを医療専門家が報告において示し、一方、部位
がステープルで閉鎖されたことをビデオが明らかにすると、仮想無限数の潜在的な不一致
のうちの１つが発生する可能性がある。ビデオ暴露は、例えば、術後報告が関連処置のビ
デオ映像と比較されるコンピュータベースのソフトウェアアプリケーション（例えば、図
２４Ａに示すように、アプリケーション２４１５）を用いて起こり得る。違いが示されて
いる場合、コンピュータベースのソフトウェアアプリケーションは、エラーの原因を決定
することができ、エラーを示すことができ、エラーの通知を送信することができ、及び／
又はエラーを自動的に修正することができる。例えば、アプリケーションは、予備術後報
告の様々なバージョンを解析して（例えば、上述したようにバージョン追跡システムを使
用して）予備術後報告を生成するどのステップで差が最初に現れたかを識別することがで
きる。
前述のように、本開示の実施形態は、識別された少なくとも１つの不一致箇所の指示を
提供することを含むことができる。指示は、上述したように、任意の適切な手段を使用し
てヘルスケア専門家に通知を送信することによって提供することができる。
様々な実施形態は、前述のように、患者識別子の入力及びヘルスケア提供者の識別子の
入力を受信することを含むことができる。更に、方法は、前述のように、ヘルスケア提供
者によって患者に対して行われた外科的処置の手術映像の入力を受信することを含むこと
ができる。また、方法は、医療機器と生体構造との間の検出された相互作用に基づいて外
科的処置の段階を識別するために手術映像の複数のフレームを解析すること、及び、相互
作用に基づいて、識別された各段階に名前を関連付けることを含むことができる。例えば
、手術映像のフレームの少なくとも一部は、生体構造（本明細書では解剖学的構造とも呼
ばれる）に対して手術が行われている手術映像の部分を示すことができる。上述のように
、相互作用は、生物学的構造に影響を及ぼし得る又はその逆の医療機器による任意の動作
を含み得る。例えば、相互作用としては、医療機器と生物学的構造との間の接触、生物学
的構造に対する医療機器による作用（例えば、切断、クランプ、把持、圧力の印加、掻き
取りなど）、生物学的構造による生理的応答、医療機器が生物学的構造に向かって光を放
出すること（例えば、手術器具は、生物学的構造に向かって光を放射するレーザであって
もよい）、解剖学的構造に向かって放出される音、生物学的構造の近くに生成される電磁
場、生物学的構造内に誘導される電流、又は任意の他の適切な形態の相互作用を挙げるこ
とができる。
場合によっては、相互作用を検出することは、生物学的構造に対する医療機器の近接を
識別することを含むことができる。例えば、手術ビデオ映像を解析することによって、画
像認識モデルは、医療機器と生体構造上の点（又は点のセット）との間の距離を決定する
ように構成され得る。
本開示の態様は、医療機器と生物学的構造との間の検出された相互作用に基づいて、識
別された各段階に名前を関連付けることを含むことができる。名前は、任意の適切な手段
を使用して各識別された段階に関連付けられてもよい。例えば、上記のように、名前は、
ユーザによって提供されてもよく、又は上記のように、適切な機械学習方法を使用して自
動的に決定され得る。特に、外科的処置の段階を識別するプロセスは、識別された各段階
に名前を関連付けることを含む。様々な実施形態では、段階に関連する名前は、生物学的
構造の名前及び構造と相互作用する外科用器具の名前を含み得る。
様々な実施形態では、識別された段階に関連する名前は、進行中の手術段階中又は手術
段階の完了後に更新、修正、定量化することができ、又は他の方法で変更することができ
る。例えば、機械学習モデルは、最初に手術段階の名前を「切開」として決定し、その後
、医療機器と生物学的構造との間の検出された相互作用に基づいて、手術段階の名前を例
示的な名前「腹腔鏡鋏を使用する腹腔鏡手術を介して行われる、腹直筋に向かって内側に
延びるランツ切開」に更新することができる。これに加えて又は代えて、手術段階を識別
する名前に別個の記録（本明細書ではノートとも呼ばれる）を追加することができ、ノー
トは手術段階の様々な詳細及び／又は特性を含む。そのような詳細としては、手術段階中
に使用される器具、手術段階中に使用される光、例示的な生体構造に加えられる圧力の圧
力値、圧力が加えられた領域、手術段階中の生体構造及び／又は医療機器の１つ以上の画
像、事象の識別（例えば、出血などの有害事象）、又は手術段階を特徴付ける任意の他の
関連情報を挙げることができる。
また、本開示の態様は、患者識別子、外科的処置の識別された段階の名前、及び識別さ
れた段階に関連付けられた時間マーカを含むデータをヘルスケア提供者に送信することを
含むことができる。
実施形態は、上述したように、各識別された段階の少なくとも開始を決定すること、及
び、時間マーカを各識別された段階の開始と関連付けることとを含むことができる。これ
に加えて又は代えて、時間マーカは、上述したように、識別された段階の終了を識別する
ことができる。送信されるデータは、テキスト、グラフィック、ビデオデータ、アニメー
ション、音声データなどを含むことができる。場合によっては、送信されるデータは、様
々なヘルスケア提供者（例えば、様々な医療従事者、管理者、及び他の対象の個人又はシ
ステム）が所有する任意の適切なデバイス（例えば、スマートフォン、ラップトップ、デ
スクトップ、ＴＶなど）に配信されるＳＭＳメッセージ、電子メールなどであってもよい
。また、場合によっては、送信されるデータは、患者、患者の親戚又は友人に提供されて
もよい。
更に、本開示の態様は、ヘルスケア提供者が術後報告の段階名を変更できるようにする
態様で、送信されるデータを用いて術後報告を作成することを含み得る。そのような変更
は、術後報告の変更を可能にするインタフェースを介して行われ得る。例えば、インタフ
ェースは、ヘルスケア提供者がキーボードを使用して新しい段階名を入力することによっ
て段階名を更新することを可能にすることができる。また、様々な実施形態では、インタ
フェースは、手術映像で識別されて術後報告に記録される様々な事象の名前を変更するよ
うに構成されてもよい。
開示されたシステム及び方法は、外科的処置中に事象を識別するために手術映像を解析
すること、事象を一連の推奨事象と比較すること、及び、一連の推奨事象からの任意の事
象が外科的処置中に実行されなかったかどうかを決定することを含むことができる。省略
された手術事象は、外科的処置中又は外科的処置後に識別される必要があり得る。事象は
、一連の推奨事象と比較されてもよく、また、一連の推奨事象と比較することによって決
定されるように、外科的処置中に幾つかの事象が実行されなかった場合、どの事象が省略
されたかを示すために通知が提供されてもよい。したがって、手術映像を解析し、外科的
処置中に省略された事象を識別する必要がある。
本開示の態様は、関連する方法、システム、デバイス、及びコンピュータ可読媒体を含
む、外科的処置において省かれる事象の決定及び通知を可能にすることに関するものとな
り得る。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒
体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法
の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得
る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意
味では、方法は、特定の物理的及び／又は電子的な器具に限定されず、むしろ多くの異な
る器具を使用して達成され得る。
開示された実施形態は、省かれた事象の決定及び通知を可能にすることを含むことがで
き、特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることを伴うことが
できる。本明細書で使用される場合、ビデオのフレームは、画像捕捉デバイスによって捕
捉された連続画像又は非連続画像を含むことができる。そのような画像は、例えば、図１
に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５によって捕
捉され得る。場合によっては、ビデオのフレームは、ビデオのためのサウンドトラックを
形成する対応する音声信号を有することができ、音声信号は、音声捕捉デバイス（例えば
、図１に示すようなマイクロフォンＤ１１１）によって捕捉される。ビデオフレームは、
個々のファイルとして記憶されてもよく、対応する音声データを含むことができるビデオ
ファイルなどの結合フォーマットで記憶されてもよい。幾つかの実施形態では、ビデオは
、画像捕捉デバイスから出力される生データ及び／又は画像として記憶することができる
。他の実施形態では、ビデオフレームを処理することができる。例えば、ビデオファイル
としては、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマッ
ト（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ
、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）、材料交
換フォーマット（ＭＸＦ）、非圧縮ビデオファイル、可逆圧縮ビデオファイル、非可逆圧
縮ビデオファイル、又は任意の他の適切なビデオ・ファイル・フォーマットを挙げること
ができる。
本明細書で使用される特定の外科的処置は、任意の医療行為、手術、診断、又は他の医
療関連の処置もしくは行為を含み得る。そのような処置は、切断、アブレーション、縫合
、又は身体組織及び器官を物理的に変化させることを含む他の技術を含み得る。そのよう
な外科的処置の幾つかの例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手
術、開腹手術、ロボット手術、虫垂切除術、頸動脈内膜切除術、手根トンネル解放、白内
障手術、帝王切開、胆嚢摘出術、結腸切除術（結腸部分切除術、結腸全摘術など）、冠状
動脈バイパス、創面切除（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除
術、股関節置換術、子宮鏡検査、鼠径ヘルニア修復術、スリーブ胃切除術、腹側ヘルニア
修復術、膝関節鏡検査、膝置換術、乳房切除術（部分乳房切除術、全乳房切除術、修正根
治的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（脊椎癒
合、椎弓切除術、孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁
桃摘出術、コッホリアインプラント手技、脳腫瘍（例えば髄膜腫など）切除、経皮経管冠
動脈形成術、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、胸腔鏡下
手技、気管支鏡検査、ヘルニア修復、子宮摘出術（例えば、単純子宮摘出術、又は根治的
子宮摘出術）、根治的子宮摘出術、腎部分切除術、甲状腺摘出術、半結腸摘出術、又は何
らかの形の切開、診断、治療又は組織変化を伴う、又は例えば治療、診断、薬物投与、切
除、修復、移植、再建、又は改善を伴う任意の他の医療処置を挙げることができる。
各タイプの外科的処置は、それ自体の推奨される一連の事象のうちの１つ以上を含み得
るため、特定の外科的処置と推奨される一連の事象との間の逸脱は、外科的処置に特有で
あり得る。１つのそのような推奨されるシーケンスに従わない場合、逸脱が発生したと言
うことができ、通知を提供することができる（例えば、以下で説明するように）。一部の
胆嚢手術（腹腔鏡又はロボット胆嚢切除術など）では、例えば、逸脱は、脂肪及び線維組
織の肝細胞三角形を除去すること、胆嚢を肝臓から分離すること、嚢胞性プレートを露出
させること、又は胆嚢に入る嚢胞管及び嚢胞性動脈を識別できないことを無視することを
含み得る。別の例として、幾つかの虫垂手術（腹腔鏡又はロボットによる虫垂切除術など
）では、逸脱は、周囲の癒着から虫垂を切除することを無視することを含み得るか、又は
周方向に虫垂の基部を同定することができないことを含み得る。幾つかのヘルニア手術（
腹腔鏡下腹部ヘルニア修復など）では、逸脱は、ヘルニア内容を減少させることを無視す
ること、メッシュを固定する前にヘルニアの周囲の筋膜を視覚化することを無視すること
、ヘルニアの周囲の筋膜を分離することを無視すること、又は鼠径管要素を識別及び／又
は分離することを無視することなどを含み得る。そのような鼠径管要素の例は、精巣動脈
、静脈の乳頭状神経叢、神経、血管などであり得る。腹腔鏡単純子宮摘出術などの一部の
子宮手術では、逸脱には、子宮動脈の識別及び／又は結紮を無視すること、尿管の識別を
無視することなどが含まれ得る。ロボット広汎子宮全摘出術などの幾つかの他の子宮手術
では、逸脱は、腸骨血管を識別することを無視すること、栓塞子神経を識別することを無
視することなどを含むことができる。ロボットによる根治的前立腺切除術などの幾つかの
前立腺手術では、逸脱は、前膀胱壁の膀胱頸部を識別することを無視すること、後膀胱壁
の膀胱頸部を識別することを無視すること、尿管開口部を識別することを無視すること、
及び／又は他の解剖学的構造を識別することを無視することを含み得る。腹腔鏡又はロボ
ット部分的腎摘出術などの腎臓を伴う処置では、逸脱は、腎門を識別することを無視する
ことを含むことができ、腎門を識別することを無視することは、動脈、静脈、及び尿管を
含む収集系のうちの少なくとも１つを識別することを無視することを含むことができる。
開放型又はロボット式甲状腺摘出術などの甲状腺手術では、逸脱は、再発性喉頭神経を同
定することを無視することを含み得る。結腸処置（例えば、開腹、腹腔鏡、又はロボット
のいずれであるかにかかわらず、結腸切除術又は半結腸切除術など）では、逸脱は、結腸
を後腹膜から切開することを無視すること、結腸を肝臓から切開することを無視すること
、結腸を脾臓曲から切開することを無視すること、又は吻合を行うことを無視すること、
結腸を癒着のないように視覚化することを無視すること、及び／又は張力なしで視覚化す
ることを無視すること、吻合を行うことを無視すること、張力なしの吻合及び／又は十分
に灌流された吻合及び／又は技術的に十分に密封された吻合を視覚化することを無視する
ことなどを含み得る。上記はほんの数例である。より広義には、予測される又は認識され
た行動経路からの任意の逸脱は、逸脱と見なされ得る。
外科的処置は、手術室又は任意の他の適切な場所で行われてもよい。手術室は、無菌環
境で手術が行われる施設（例えば、病院内の部屋）であってもよい。手術室は、良好に照
明され、頭上手術照明を有するように構成され得る。手術室は、制御された温度及び湿度
を特徴とすることができ、窓なしであってもよい。例示的な実施形態では、手術室は、空
気を濾過し、汚染を防止するために手術室内のわずかに高い圧力を維持する空調装置を含
むことができる。手術室は、停電の場合に電気バックアップシステムを含むことができ、
酸素及び麻酔ガスの供給を含むことができる。部屋は、一般的な外科用品、使い捨て用品
用の容器、麻酔カート、手術台、カメラ、モニタ、及び手術用の他の物品のための貯蔵空
間を含むことができる。手術前に外科医、麻酔医、術部開業医（ＯＤＰ）、及び看護師に
よって使用される専用の洗浄領域が、手術室の一部であってもよい。更に、手術室に含ま
れるマップは、端末清掃員が清掃中に手術台及び機器を所望のレイアウトに再調整できる
ようにしてもよい。様々な実施形態では、１つ以上の手術室は、ヘルスケア施設内に別個
のセクションを形成することができる手術室の一部であってもよい。手術室は、１つ以上
の洗面室、準備室及び回収室、貯蔵施設及び清掃施設、オフィス、専用廊下、並びに場合
によっては他の支援ユニットを含むことができる。様々な実施形態では、手術室は、気候
制御及び／又は空気制御され、他の部門から分離されてもよい。
特定の外科的処置中に捕捉されたビデオのビデオフレームにアクセスすることは、手術
室に配置された画像センサ（又は複数の画像センサ）からフレームを受信することを含む
ことができる。画像センサは、画像又はビデオデータを捕捉することができる任意の検出
器であってもよい。ビデオフレームは、任意の持続時間のクリップなど、動画を構成する
多くの静止画像のうちの１つの少なくとも一部を含むことができる。ビデオの捕捉は、１
つ以上の静止画像又はその一部が画像センサから受信されたときに行われ得る。これに代
えて又は加えて、１つ以上の静止画像又はその一部が記憶場所内のメモリから読み出され
るときに捕捉が行われてもよい。例えば、ビデオフレームは、ローカルハードドライブな
どのローカルメモリからアクセスされてもよく、又は例えばネットワーク接続を介してリ
モートソースからアクセスされてもよい。例示的な実施形態では、ビデオフレームは、図
１４に示すように、データベース１４１１から読み出されてもよい。例えば、システム１
４１０のプロセッサ１４１２は、データベース１４１１からビデオフレームを読み出すた
めに命令（例えば、ソフトウェア１４１６として実装される命令）を実行するように構成
され得る。ビデオフレームは、特定の外科的処置のために読み出されてもよい。
省かれる事象の決定及び通知を可能にするための実施形態の態様は、外科的処置のため
の推奨される一連の事象を識別する記憶されたデータにアクセスすることを更に含むこと
ができる。本明細書で使用される場合、外科的処置の事象（手術事象とも呼ばれる）は、
外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア
専門家によって実行される動作など、外科的処置（例えば、術中手術事象）の一部として
実行される動作を指すことができる。術中手術事象は、切開、薬物の投与、外科用器具の
使用、切除、切開除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もしくは段階
に関連する任意の他の計画された事象などの計画された事象であり得る。
腹腔鏡下胆嚢摘出手術における手術事象の例としては、トロッカ配置、カロー三角切開
、胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢のパッケージング、肝床の洗
浄及び凝固、胆嚢の収縮などを挙げることができる。別の例では、白内障手術の手術事象
としては、ポビドンヨード注射、角膜切開、嚢切開、水晶体乳化術、皮質吸引、眼内レン
ズ移植、眼内レンズ調整、創傷封止などを挙げることができる。更に別の例では、下垂体
手術の外科的な特性事象としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、
腫瘍の除去、鼻置換、縫合、鼻圧搾機の設置などを挙げることができる。上記は、外科的
処置と外科的処置内の事象との間の区別を説明するためのほんの数例であり、本明細書に
記載の実施形態を限定することを意図するものではない。一般的な手術事象の幾つかの他
の例は、切開、腹腔鏡位置決め、縫合などを含み得る。
幾つかの実施形態では、手術事象は、計画されていない事象、有害事象又は合併症を含
み得る。有害な手術事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されてい
ない開放手術（例えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを
挙げることができる。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素
血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げ
ることができる。場合によっては、手術事象は、技術的エラー、通信エラー、管理エラー
、判断エラー、状況認識エラー、意思決定エラー、医療機器利用に関連するエラーなどを
含む他のエラーを含み得る。様々な実施形態では、事象は短時間であってもよく、持続時
間にわたって持続してもよい。例えば、短い事象（例えば、切開）は、外科的処置中の特
定の時間に発生すると決定されてもよく、また、長い事象（例えば、出血）は、ある期間
にわたって発生すると決定されてもよい。場合によっては、長い事象は、明確な開始事象
及び明確な終了事象（例えば、縫合の開始及び縫合の終了）を含むことができ、縫合は長
い事象である。場合によっては、長い事象は、外科的処置中の段階とも呼ばれる。
様々な実施形態において、推奨事象は、外科的処置中に必要とされる事象であり得る。
同様に、推奨事象は、外科的処置中に発生することが提案される事象であってもよい。例
えば、気管支鏡検査中の推奨される事象は、患者の鼻又は口を通して、患者の喉を通って
患者の肺に気管支鏡を挿入することを含み得る。推奨される一連の事象は、推奨される一
連の推奨事象を含むことができる。場合によっては、手術事象は、サブ事象のグループ（
すなわち、２つ以上のサブ事象又はステップ）を識別することができる。例えば、患者に
全身麻酔を投与する事象は、意識消失を誘発するためにＩＶラインを介して患者に薬剤を
提供する第１のステップ、及び全身麻酔を維持するために適切なガス（例えば、イソフル
ラン又はデスフルラン）を投与する第２のステップなどの幾つかのステップを含み得る。
例示的な実施形態では、推奨事象は、患者に鎮痛薬を投与すること、患者を好ましい位
置に配置すること、患者から生検サンプルを取得すること、又は必要ではない任意の他の
提案された事象を含むことができる。
推奨される一連の事象は、外科的処置中に使用される任意の適切な確立された一連の事
象を含み得る。推奨される一連の事象は、履歴的な外科的処置を解析して外科的処置の指
針を決定することによって、ヘルスケア専門家（例えば、外科医、麻酔科医、又は他の医
療専門家）によって確立され得る。推奨される一連の事象の例は、例えば、円周方向のビ
ューで付録ベースを検査することを含むことができる。場合によっては、推奨される一連
の事象は、当該技術分野で知られているように、安全性の危機的観点（ＣＶＳ）に基づい
てもよい。例えば、腹腔鏡下胆嚢切除中に、安全性の危機的観点を使用して、胆管の損傷
を最小限に抑えるために嚢胞管及び嚢胞動脈を識別することができる。他の実施形態では
、必須の推奨される一連の事象の決定は、履歴的な手術ビデオ映像に人工知能を適用する
ことによって自動的に決定されてもよい。
実例として、幾つかの実施形態では、胆道損傷を回避するためにＣＶＳを使用すること
ができる。ＣＶＳを使用して、胆嚢切除術で分割される２つの管状構造、すなわち嚢胞管
と嚢胞動脈とを識別することができる。ＣＶＳは、両方の嚢胞性構造が推定的に識別され
、その後、胆嚢が自由にぶら下がって２つの嚢胞性構造によって付着するように、胆嚢が
嚢胞板から取り出される開放胆嚢切除術におけるプロセスとして使用され得る。腹腔鏡手
術では、胆嚢の本体を嚢胞性プレートから完全に分離すると、嚢胞性構造のクリッピング
が困難になる。したがって、腹腔鏡検査の場合、要件は、胆嚢の下部（約１／３）が嚢胞
性プレートから分離され得ることであり得る。他の２つの要件は、肝細胞三角形から脂肪
及び線維組織が取り除かれること、並びに胆嚢に結合した構造が２つしかないことであり
得る。ＣＶＳの３つの要素全てが達成されるまでは、嚢胞性構造をクリップして分割する
ことはできない。術中のＣＶＳは、ＣＶＳの３つの要素が実証されている「タイムアウト
」において確認されるべきである。ＣＶＳは解剖の方法ではなく、安全なハンチング処置
で使用される概念に似た標的同定の方法であることに留意されたい。
推奨される一連の事象は、以下の条件項を含むことができる。例示的な例として、バイ
パス手術のための推奨される一連の事象は、（１）患者に全身麻酔を投与すること、（２
）バイパスグラフトとして使用される動脈を準備すること、（３）患者の心臓及び冠動脈
にアクセスするために、胸骨（胸骨）を介して患者の胸部の中央で切開を行うこと、（４
）人工心肺装置を接続すること、（５）患者の心臓が拍動している間に、疾患のある冠動
脈の閉塞の下の開口部の周りに動脈の１つのセクションを縫合すること、（６）患者の心
臓が血液を圧送し続けているかどうかを確認すること、（７）患者の心臓が拍動を停止し
た場合、人工心肺装置を作動させること、（８）大動脈に形成された開口部に他端を取り
付けることなどを含み得る。上述したように、人工心肺装置を作動させる事象は、推奨さ
れる一連の事象の一部であってもよく、心拍の停止の手術事象などの任意の適切な手術事
象（又はその欠如）によってトリガされてもよい。場合によっては、推奨される一連の事
象は、一連の事象における次の事象を決定するための決定木を含むことができる。幾つか
の例では、推奨される一連の事象は、推奨される一連の事象で指定され得る特定の時間間
隔内に発生する必要がある事象を含み得る。例えば、事象は、外科的処置の特定の時間間
隔内、外科的処置の開始後の特定の時間間隔内、外科的処置の完了前の特定の時間間隔内
、第２の事象（例えば、第２の事象の完了後、第２の事象の開始後など）の発生後の外科
的処置の特定の時間間隔内、第２の事象の発生前の外科的処置の特定の時間間隔内などで
発生することが要求され得る。
記憶されたデータにアクセスして推奨される一連の事象を識別することは、適切な記憶
場所（例えば、メモリ、ハードドライブ、データベース、サーバなどのデータ記憶装置）
から記憶されたデータを検索することを含むことができる。例示的な実施形態では、記憶
されたデータは、図１４に示すように、データベース１４１１から読み出すことができる
。例えば、システム１４１０のプロセッサ１４１２は、命令（例えば、ソフトウェア１４
１６として実装される命令）を実行してデータベース１４１１から記憶されたデータを読
み出すように構成されてもよい。記憶されたデータは、特定の外科的処置のために読み出
され得る。幾つかの例では、推奨される一連の事象を識別することは、複数の別のシーケ
ンスの推奨される一連の事象を選択することを含み得る。例えば、推奨される一連の事象
は、外科的処置のタイプに基づいて、外科的処置で使用されている又は使用されると予測
される医療機器に基づいて、外科的処置に関連する解剖学的構造の状態に基づいて、外科
的処置に関連する患者の特性に基づいて（そのような特性の幾つかの例は上記で説明され
ている）、外科的処置に関連する外科医又は医療専門家の特性に基づいて（そのような特
性の幾つかの例は上記で説明されている）、外科的処置に関連する手術室の特性に基づく
などして選択され得る。幾つかの例では、推奨される一連の事象は、外科的処置中に、外
科的処置において既に発生した１つ以上の事象に従って選択（又は修正）されてもよい。
例えば、外科的処置における特定の事象の発生は、外科的処置のタイプ（例えば、切開の
位置及び／又は長さは、外科的処置が開腹外科的処置であるか腹腔鏡外科的処置であるか
を示すことができ、特定の医療機器の使用は、特定の一連の事象を必要とし得る特定の技
術の選択を示すことができる）又は外科医が特定の外科的処置のために選択した技術を示
すことができ、また、対応する推奨される一連の事象を選択することができる。別の例で
は、外科的処置における特定の事象の発生は、異なる推奨される一連の事象を必要とする
合併症を示すことができ、また、対応する一連の事象を選択することができる。更に別の
例では、特定の進行中の外科的処置において発生する第１の事象に応じて、特定の進行中
の外科的処置の残りの部分に対して第１の推奨される一連の事象が選択されてもよく、ま
た、特定の進行中の外科的処置において発生する第２の事象に応じて、特定の進行中の外
科的処置の残りの部分に対して第２の推奨される一連の事象が選択されてもよく、第２の
推奨される一連の事象は、第１の推奨される一連の事象と異なってもよい。幾つかの例で
は、特定の進行中の外科的処置から捕捉された画像データを解析して、特定の進行中の外
科的処置の残りの部分に対する推奨される一連の事象を選択することができる。例えば、
画像データは、特定の進行中の外科的処置における事象及び／又は状態を検出するために
解析されてもよく（例えば、上述したように）、推奨される一連の事象は、検出された事
象及び／又は状態に基づいて選択され得る。別の例では、機械学習モデルは、画像及び／
又はビデオに基づいて推奨される一連の事象を選択するためにトレーニング例を使用して
トレーニングされてもよく、また、トレーニングされた機械学習モデルは、画像データを
解析し、特定の進行中の外科的処置の残りの部分について推奨される一連の事象を選択す
るために使用されてもよい。そのようなトレーニング例の一例は、外科的処置の残りの部
分に対する推奨される一連の事象の所望の選択を示すラベルと共に、外科的処置の第１の
部分を描写する画像及び／又はビデオを含み得る。
推奨される一連の事象２６０１の例が図２６に概略的に示されている。例えば、事象Ｅ
１（例えば、人工心肺装置の接続）は、推奨シーケンスにおける最初の事象であってもよ
い。事象Ｅ１は、外科的処置の時間間隔Ｔ１Ａ～Ｔ１Ｂの間に発生する必要があり得る。
事象Ｅ２（例えば、縫合）は、第２の事象であってもよく、外科的処置の時間間隔Ｔ２Ａ
～Ｔ２Ｂ（又は他の例では、事象Ｅ１の完了後の時間間隔Ｔ２Ａ～Ｔ２Ｂの間、事象Ｅ１
の開始後の時間間隔Ｔ２Ａ～Ｔ２Ｂの間など）の間に発生する必要があってもよい。事象
Ｅ２の完了後、条件文Ｃ１（例えば、患者の心臓のパルスを決定すること）が評価され得
る。条件文Ｃ１が値Ｖ１に対して評価する場合（例えば、患者に脈がない場合）、時間間
隔Ｔ３Ａ～Ｔ３Ｂの間に事象Ｅ３（例えば、人工心肺装置を作動させる）が必要とされ得
る。文Ｃ１が値Ｖ２（例えば、毎分１０拍のパルス）に対して評価する場合、時間間隔Ｔ
４Ａ～Ｔ４Ｂの間に事象Ｅ４（例えば、第１の薬剤を患者に投与する）が必要とされても
よく、文Ｃ１が値Ｖ３（例えば、毎分１００ビートのパルス）に対して評価する場合、時
間間隔Ｔ５Ａ～Ｔ５Ｂの間に事象Ｅ５（例えば、第２の薬剤を患者に投与する）が必要と
され得る。
省かれる事象の決定及び通知を可能にする方法の態様は、アクセスされたビデオフレー
ムを推奨された一連の事象と比較して、特定の外科的処置と外科的処置のための推奨され
た一連の事象との間の逸脱の表示を識別することを更に含むことができる。幾つかの例で
は、機械学習モデルは、画像及び／又はビデオから外科的処置と外科的処置のための推奨
される一連の事象との間の逸脱の表示を識別するためにトレーニング例を使用してトレー
ニングされてもよく、また、トレーニングされた機械学習モデルは、ビデオフレームを解
析し、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示
を識別するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置が
一連の事象から逸脱したかどうかを示すラベルと共に、外科的処置を描写する一連の事象
及び画像及び／又はビデオを含むことができる。
幾つかの例では、アクセスされたビデオフレームを推奨された一連の事象と比較するこ
とは、例えば上述したように、ビデオフレームを解析し、ビデオフレーム内の事象を識別
することを含むことができる。例えば、ビデオフレーム内の事象を識別することは、例え
ば上述したように、トレーニングされた機械学習モデルを使用して達成することができる
。一例では、事象を識別することは、事象のタイプを識別すること、事象の名前を識別す
ること、事象の特性を識別すること（そのような特性の幾つかの例は上述されている）、
事象の発生時間（又は時間間隔）を識別することなどのうちの少なくとも１つを含むこと
ができる。更に、幾つかの例では、特定の外科的処置と外科的処置のための推奨される一
連の事象との間の逸脱の表示を識別するために、識別された事象を推奨される一連の事象
と比較することができる。幾つかの例では、ビデオフレームの解析及びビデオフレーム内
の事象の識別は、特定の外科的処置が進行している間に行われてもよく、特定の外科的処
置と外科的処置のための推奨される一連の事象との間の逸脱は、特定の外科的処置が進行
している間に識別されてもよい。他の例では、ビデオフレームの解析及びビデオフレーム
内の事象の識別は、特定の外科的処置の完了後に行われてもよく、及び／又は特定の外科
的処置と外科的処置のための推奨される一連の事象との間の逸脱は、特定の外科的処置が
完了した後に識別されてもよい。
機械学習方法を使用して特性事象を検出することは、１つの可能な手法であり得る。こ
れに加えて又は代えて、特性事象は、様々な他の手法を使用して画像センサから受信され
たビデオフレーム内で検出されてもよい。一実施形態では、特性事象は、外科的処置中に
医療専門家（例えば、外科医）によって識別され得る。例えば、特性事象は、１つ以上の
画像センサ／音声センサによって捕捉されて特性事象のトリガとして認識され得る外科医
からの視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器
によって生成された光源によって生成された視覚信号、話し言葉など）を使用して識別さ
れ得る。
更に、アクセスされたビデオフレームを推奨される事象シーケンスと比較することは、
ビデオフレーム内の識別された事象のシーケンスを外科的処置のための推奨される事象シ
ーケンスと比較することを含むことができる。例えば、図２７は、ビデオフレーム内の推
奨（又は必須）事象のシーケンス２７０１及び識別された事象のシーケンス２７０２を示
す。シーケンス２７０１をシーケンス２７０２と比較する際、シーケンス２７０１からの
シーケンス２７０２の逸脱が決定され得る。シーケンス２７０２は、様々な方法でシーケ
ンス２７０１から逸脱し得る。場合によっては、シーケンス２７０２はシーケンス２７０
１とは異なる事象を有し得る。例えば、図２７に示すように、シーケンス２７０１は事象
Ｅ１～Ｅ４を有することができ、シーケンス２７０２は事象Ｓ１～Ｓ５を有することがで
きる。シーケンス２７０１及び２７０２は、図２７に示すように、区間Ｉ１～Ｉ４のそれ
ぞれについて比較することができる。例えば、シーケンス２７０１の事象Ｅ１は、シーケ
ンスの間隔Ｉ１について事象Ｓ１と比較され得る。例示的な実施形態では、事象Ｅ１は事
象Ｓ１から逸脱してもよい。或いは、事象Ｅ１は、事象Ｓ１と実質的に同じであってもよ
い。場合によっては、事象Ｅ１は事象Ｓ１とは実質的に異なり得る。
様々な実施形態において、事象Ｅ１と事象Ｓ１との間の差を定量化するために、ある範
囲の値を有することができる適切な測定関数Ｆ（Ｅ１，Ｓ１）を規定することができる。
例示的な実施形態では、測定関数Ｆは、事象Ｅ１とＳ１との間の差を決定する単一の数を
返すことができ、例えば、Ｆ（Ｅ１，Ｓ１）＜Ｆ０（Ｅ１）の場合、事象Ｅ１及びＳ１は
実質的に同じであると決定され、Ｆ（Ｅ１，Ｓ１）＞Ｆ１（Ｅ１）の場合、事象Ｅ１及び
Ｓ１は実質的に異なると決定される。ここで、値Ｆ０及びＦ１は、事象のタイプ（すなわ
ち、事象Ｅ１の閾値Ｆ０（Ｅ１）及びＦ１（Ｅ１）は、事象Ｅ２の閾値Ｆ０（Ｅ２）及び
Ｆ１（Ｅ２）とは異なり得る）ごとに選択され得る任意の適切な所定の閾値であり得る。
様々な場合において、事象Ｅ１及びＳ１は、（事象特性とも称される）パラメータのセッ
トによって特徴付けけられてもよい。例えば、事象Ｅ１は、図２７に示すように、パラメ
ータＰ１Ｅ１～ＰＮＥ１によって特徴付けることができる。パラメータＰ１Ｅ１－ＰＮＥ
１は、数字の配列（例えば、画像）によって表され得る単語、数字、又はデータを含み得
る。例えば、パラメータＰ１Ｅ１は、文字列（例えば、「切開」）によって特徴付けられ
る事象Ｅ１のタイプを示すことができ、パラメータＰ２Ｅ１は、切開の長さを特徴付ける
番号（例えば、１センチメートル）とすることができ、パラメータＰ３Ｅ１は、切開の深
さ（例えば、３ミリメートル）とすることができ、パラメータＰ４Ｅ１は、２つの番号（
例えば、｛１０，２０｝）によって特徴付けることができる切開の位置とすることができ
る。切開の位置は、外科的処置中に捕捉されたビデオフレームのうちの１つ以上の切開を
識別することによって指定することができ、パラメータＰＮＥ１は、切開に使用される手
術器具のタイプ（例えば、「ＣＯ２レーザ」）を示すことができる。事象Ｅ１は、事象を
完全に特徴付けるのに必要な数のパラメータを有することができる。更なる事象Ｅ１は、
任意の適切な精度（例えば、ミリ秒の精度まで）に規定することができる開始時間ＴＳＥ
１及び終了時間ＴＦＥ１によって特徴付けることができる。ＴＳＥ１及びＴＦＥ１は、任
意の適切な時間フォーマット（例えば、フォーマットは、時間：分：秒：ミリ秒であって
もよい）を使用して表すことができる。同様に、事象Ｓ１は、図２７に示すように、パラ
メータＰ１Ｓ１－ＰＮＳ１、開始時間ＴＳＳ１、及び終了時間ＴＦＳ１によって特徴付け
ることができる。例示的な例として、パラメータ｛Ｐ１Ｅ１，Ｐ２Ｅ１，Ｐ３Ｅ１，Ｐ４
Ｅ１，ＰＮＥ１，ＴＳＥ１，ＴＦＥ１｝は、任意の適切なデータ構造（例えば、｛Ｐ１Ｅ
１，Ｐ２Ｅ１，Ｐ３Ｅ１，Ｐ４Ｅ１，ＰＮＥ１，ＴＳＥ１，ＴＦＥ１｝＝｛「切開」、１
［ｃｍ］、３［ｍｍ］、｛１０，２０｝、「ＣＯ２レーザ」、１３：２０：５４：８０、
１３：２０：５９：７６｝である）によって表されてもよい。
様々な実施形態において、測定関数Ｆ（Ｅ１，Ｓ１）は、任意の適切な方法で規定され
てもよい。例示的な実施形態として、測定関数は、
Figure 2024054349000002
として規定されてもよく、ここで
Figure 2024054349000003
及び
Figure 2024054349000004
は関連する数値パラメータであり、事象Ｅ１及び事象Ｓ１が同じタイプである（例えば
、両方の事象は「切開」タイプである）場合、パラメータ
Figure 2024054349000005
はテキスト文字列（又は、数の配列によって表すことができる画像などのデータ）であ
り、関数Ｍは、テキスト文字列
Figure 2024054349000006
が同じ意味を含む場合は０を返し、テキスト文字列
Figure 2024054349000007
が異なる意味を含む場合は１を返す。
Figure 2024054349000008
が画像に対応する場合、関数Ｍは、画像が実質的に同じである場合には０を返し、画像
が異なる場合には１を返すことができる。様々な実施形態において、画像は、以下で更に
説明する任意の適切な画像認識アルゴリズムを使用して比較することができる。或いは、
関数Ｍは、パラメータ
Figure 2024054349000009
によって表されるデータのタイプに応じて、
Figure 2024054349000010
を比較するための任意の適切なアルゴリズムを実行するように構成されてもよく、デー
タは、テキスト文字列、数字の配列、画像、ビデオ、音声信号などを含んでもよい。
事象Ｅ１及びＳ１が同じタイプでない場合（例えば、事象Ｅ１は「切開」に対応し得、
事象Ｓ１は「薬剤を投与する」に対応し得る）、及びシーケンス２７０２が事象Ｅ１と同
じタイプの事象を含まない場合、測定関数Ｆ（Ｅ１，Ｓ１）は、事象Ｅ１及びＳ１が実質
的に異なることを示す大きい所定の数（又は文字列）まで評価され得る。
上述したように、一連の事象２７０１と２７０２との間の逸脱は、外科的処置Ｉ１～Ｉ
４の各区間について適切な測定関数Ｆ（Ｅｉ，Ｓｉ）を評価することによって決定するこ
とができる。完全な逸脱は、測定関数の和Σｉ（Ｅｉ，Ｓｉ）として計算することができ
、ここでｉ＝｛Ｉ１…Ｉ４｝である。しかしながら、様々な実施形態では、対応する事象
Ｅ１～Ｅ４からの事象Ｓ１～Ｓ４の全ての逸脱を計算することは、重要及び／又は必要で
はない場合がある。様々な場合において、大きな逸脱（すなわち、Ｆ（Ｅｉ，Ｓｉ）＞Ｆ
１（Ｅｉ）の逸脱）のみが重要であり得る。そのような逸脱については、事象Ｅｉ、Ｓｉ
を識別し、更なる解析のために記憶することができる。更に、測定関数Ｆ（Ｅｉ，Ｓｉ）
の値もまた、更なる解析のために記憶されてもよい。様々な実施形態において、事象Ｅｉ
、Ｓｉ、及び測定関数Ｆ（Ｅｉ，Ｓｉ）に関するデータは、任意の適切な手段（例えば、
ハードドライブ、データベース１１１など）を使用して記憶することができる。
測定関数を使用することは、特定の外科的処置と外科的処置のための推奨される一連の
事象との間の逸脱の表示を識別する１つの可能な手法であり得る。例えば、リスト及び／
又はグラフを比較するための任意のアルゴリズムを使用して、実際の一連の事象を推奨さ
れる一連の事象と比較し、特定の外科的処置と外科的処置のための推奨される一連の事象
との間の逸脱の表示を識別することができる。これに代えて又は加えて、逸脱の表示を識
別することは、例えば上述したように、一連の事象と手術映像との間の逸脱の表示を識別
するためにトレーニング例を使用してトレーニングされた機械学習モデルを使用して行わ
れる。例示的な実施形態では、例示的なトレーニング例は、特定のタイプ（例えば、胆嚢
切除術）の外科的処置中に捕捉されたビデオのフレームなどの手術映像、並びにそのタイ
プの外科的処置の推奨される一連の事象を含むことができる。トレーニング例は、機械学
習トレーニングアルゴリズムの入力として使用することができ、また、結果として得られ
る機械学習モデルは、特定の外科的処置と外科的処置のための推奨される一連の事象との
間の逸脱の適切な指標とすることができる。逸脱の指標は、任意の適切な指標であり得る
。例示的な実施形態では、測定値は、推奨される事象とは実質的に異なる、外科的処置中
の事象を列挙又は分類することができる。例えば、推奨される事象が縫合を必要とするが
、外科的処置中に代わりに外科用接着剤が使用された場合、そのような事象は、推奨され
る事象とは実質的に異なるものとして列挙又は分類され得る。これに加えて又は代えて、
指標は、外科的処置中に実行されなかった推奨される事象を列挙することができる（例え
ば、縫合が必要であったが実施されなかった場合、そのような事象は、実施されていない
ものとして列挙され得る）。更に、指標は、実行されたが推奨されない外科的処置中の事
象を列挙することができる。例えば、外科的処置中に患者に鎮痛薬を投与する事象が行わ
れてもよく、推奨されなくてもよい。更に、機械学習モデルは、上述したように、手術中
に行われた事象の特性と対応する推奨事象との間の逸脱を出力することができる。例えば
、外科的処置中の切開事象中に、切開長さが推奨事象によって記述される切開よりも短い
場合、そのような逸脱は、機械学習方法によって識別され、更なる解析のために記録され
（例えば、記憶され）得る。
様々な実施形態において、逸脱の表示を識別することは、フレームを、推奨される一連
の事象を示す基準フレームと比較することを含む。基準フレームは、履歴的な外科的処置
中に捕捉された履歴的なフレームであってもよい。例示的な実施形態では、推奨される一
連の事象を描写するビデオフレーム及び基準フレームは、推奨される（又は必須の）一連
の事象の対応する開始事象と同じ（又は実質的に同様の）事象（本明細書では開始事象と
も呼ばれる）によって同期され得る。場合によっては、開始事象の開始を描写するフレー
ムは、推奨される一連の事象の開始事象を描写する基準フレームと同期されてもよい。場
合によっては、外科的処置の事象は、上述の任意の適切な手法を使用して（例えば、事象
を認識するために画像認識アルゴリズムを使用する）、推奨シーケンスの対応する基準事
象に最初に相関させることができる。例示的な手術事象を推奨シーケンスの対応する基準
事象と相関させた後、手術事象の開始を表すフレームを、対応する推奨事象の開始を表す
基準フレームと同期させることができる。
これに加えて又は代えて、逸脱の表示を識別することは、術中外科的処置に関連する経
過時間に基づいてもよい。例えば、外科的処置に関連する経過時間が、推奨される一連の
事象を有する外科的処置に関連する平均経過時間よりも著しく長い（又は短い）場合、方
法は、推奨される一連の事象からの逸脱が発生したと決定するように構成され得る。
また、方法の態様は、逸脱に関連する外科的処置のフレームのセットを識別すること、
及び、逸脱が発生したという通知を提供することを含むことができる。通知は、逸脱に関
連する識別されたフレームのセットを表示することを含むことができる。例えば、逸脱に
関連するフレームのセットは、基準対応推奨事象とは異なる（例えば、異なる特性を有す
る）外科的処置中の特定の事象を描写することができる。或いは、逸脱に関連付けられた
フレームのセットは、推奨される一連の事象に存在しない事象のフレームを含むことがで
きる。様々な実施形態において、通知は、フレームを静止画像として表示すること、又は
フレームをビデオデータとして表示することを含むことができる。フレームは、電子デバ
イスの任意の適切な画面に表示されてもよく、又は（場合によっては）印刷されてもよい
。幾つかの実施形態では、フレームの幾つかは、フレームのセットから選択され、任意の
適切な手段を使用して（例えば、電子デバイスの表示画面を使用する）表示され得る。
省かれる事象の決定及び通知を可能にする方法の態様は、例えば上述したように、一連
の事象と手術映像との間の逸脱を識別するためにトレーニング例を使用して機械学習モデ
ルをトレーニングすることを更に含むことができる。例えば、トレーニング例を機械学習
モデルの入力として使用し、モデルによって返された逸脱の指標を解析することができる
（例えば、逸脱の指標は、ヘルスケア専門家などのモデルトレーニング専門家によって解
析することができる）。モデルによって返された逸脱の指標が逸脱の所望の指標と一致し
ない場合、機械学習モデルの様々なパラメータを調整して、逸脱の指標を正しく予測する
ように機械学習モデルをトレーニングすることができる。例えば、機械学習モデルがニュ
ーラルネットワークである場合、そのようなニューラルネットワークのパラメータ（例え
ば、ネットワークの重み、ニューロンの数、活性化関数、ネットワークのバイアス、ネッ
トワーク内の層の数など）は、任意の適切な手法を使用して調整することができる（例え
ば、ニューラルネットワークの重みは、逆伝播プロセスを使用して調整することができる
）。様々な実施形態では、そのような調整は自動的に（例えば、逆伝播プロセスを使用し
て）行われてもよく、又は場合によっては、調整はトレーニング専門家によって行われて
もよい。
様々な実施形態において、逸脱の指標が逸脱の所望の指標とどの程度よく一致するかは
、任意の適切な数学的測定関数Ｇを使用して断言することができる。例えば、事象の逸脱
の指標が数（例えば、ｄ）であり、逸脱の所望の指標が別の数（例えば、ｄ０）である場
合、所定の事象の例示的な数学的測定関数ＥｉはＧｉ（ｄ，ｄ０）であってもよく、Ｇｉ
（ｄ，ｄ０）＝ｄ－ｄ０であってもよく、測定関数は、例えば数
Figure 2024054349000011
であってもよく、或いは、別の例示的な実施形態では、Ｇがベクトル
Figure 2024054349000012
であってもよい。
シーケンス２７０１からのシーケンス２７０２の逸脱を決定するプロセスを更に説明す
るために、図２７は、シーケンス２７０１の事象Ｅ１～Ｅ４がシーケンス２７０２の事象
Ｓ１～Ｓ５と比較され得る区間Ｉ１～Ｉ４を示す。例えば、区間Ｉ１の間、事象Ｓ１は事
象Ｅ１と実質的に同じであってもよく、また、区間Ｉ２の間、事象Ｓ２は事象Ｅ２から逸
脱してもよいが事象Ｅ２と十分に類似し得る。例えば、事象Ｓ２は、３センチメートルの
切開長さを有する「切開」に対応することができ、事象Ｅ２は、２センチメートルの切開
長さを有する「切開」に対応することができる。例示的な実施形態では、外科的処置の間
隔Ｉ３の間、事象Ｅ３は事象Ｓ３とは実質的に異なり得る（例えば、事象Ｅ３は「切開」
として識別され、事象Ｓ３は「縫合」として識別され得る）。区間Ｉ４の間、事象Ｅ４は
、事象Ｓ４とは実質的に異なり得るが、区間Ｉ５の間に識別された事象Ｓ５と実質的に同
じ（図２７に示すように、矢印２７１１で示すように）であり得る。２７０１からのシー
ケンス２７０２の逸脱を計算するとき、シーケンス２７０２の事象Ｓ４は、シーケンス２
７０１において対応する対応物を有しない「挿入」事象として識別され得る。事象Ｓ４の
そのような特徴付けは、更なる解析のために記録され得る（例えば、ハードドライブ、デ
ータベース１１１、又は他の何らかの場所に記憶される）。
開示された実施形態の態様は、特定の外科的処置と外科的処置のための推奨される一連
の事象との間の逸脱の表示を識別することを更に含むことができる。場合によっては、逸
脱の表示を識別することは、例えば、外科的処置中にリアルタイムでなど、進行中の外科
的処置中に逸脱の表示を識別することを含むことができる。様々な実施形態において、逸
脱は、逸脱の表示を識別することに関連する処理のために、外科的処置の進行中の時間か
ら測定されるような小さな遅延で識別することができる。遅延は、ミリ秒、秒、数秒、数
十秒、分、数分などであり得る。逸脱が識別されると、開示の実施形態は、進行中の外科
的処置中に通知を提供することを含むことができる（例えば、逸脱が識別されるとすぐに
通知を提供する。）例えば、通知の提供は、外科的処置中にリアルタイムで行われ得る。
開示された実施形態の態様は、特定の外科的処置において特定の動作がまさに起ころう
としているという表示を受けることを含んでもよい。特定の動作がまさに起ころうとして
いるという表示は、外科的処置のフレームの解析に基づくことができる。例示的な実施形
態では、表示は、進行中の外科的処置の手術映像を解析するための機械学習モデルなどの
コンピュータベースのソフトウェアアプリケーションから受信することができる。例えば
、機械学習モデルは、本明細書に記載の開示された実施形態と整合する画像認識アルゴリ
ズムであってもよい。
幾つかの実施形態では、画像認識アルゴリズムは、解剖学的構造に近接する手術器具を
認識し、認識された手術器具に基づいて、外科的処置において特定の動作がまさに起ころ
うとしていると決定することができる。幾つかの実施形態では、手術器具、解剖学的構造
の存在、及び／又は手術器具と解剖学的構造との間の相互作用は、特定の動作がまさに起
ころうとしていることの指標として機能することができる。本明細書に開示されるように
、画像認識アルゴリズムは、前述のいずれかを識別するために外科的処置のフレームを解
析することができる。例えば、画像認識アルゴリズムは、器具と解剖学的構造との間の相
互作用のタイプ、相互作用の名前、相互作用に関与する解剖学的構造の名前、又は相互作
用の任意の他の識別可能な態様を決定することができる。
これに加えて又は代えて、手術室内のヘルスケア専門家の位置、ヘルスケア専門家のい
ずれか１人の動き、ヘルスケア専門家のいずれか１人の手の動き、患者の位置及び／又は
位置、医療デバイスの配置、並びにヘルスケア専門家、患者、又は器具の他の空間的特徴
は、特定の動作がまさに起ころうとしていることを更に示すことができる。場合によって
は、特定の動作がまさに起ころうとしているという表示は、特定の外科的処置を実行する
外科医からの入力に基づくことができる。例えば、ヘルスケア専門家のいずれか１人から
の音声音、ジェスチャ、又は手術映像内で識別可能な任意の他の信号、音声データ、画像
データ、又はデバイスベースのデータ（例えば、患者のバイタルサインに関するデータ）
を、特定の動作がまさに起ころうとしていることの表示として使用することができる。
開示された実施形態は、推奨された一連の事象を使用して、特定の動作に対する予備的
動作を識別することを含むことができる。例えば、縫合などの特定の動作の場合、予備的
動作は、鉗子で解剖学的構造の部分を留めること、患者に薬剤を投与すること、手術室内
の画像センサを再配置すること、バイタル信号を測定すること、医療デバイスを患者に接
続すること（例えば、ＥＣＭＯ装置を患者に接続すること）、又は特定の動作を実行する
前に実行する必要がある任意の他の動作であってもよい。
開示された実施形態は、アクセスされたフレームの解析に基づいて、識別された予備的
動作がまだ発生していないと決定すること、及び、それに応じて、逸脱の表示を識別する
ことを更に含むことができる。一例では、識別された予備的動作がまだ発生していないと
決定することは、前述したように、画像認識を使用して達成することができる。例えば、
画像認識は、外科用器具が手術映像に現れなかった、又は外科用器具と解剖学的構造との
間に相互作用がなかったと決定すること（例えば、解剖学的構造の形状、色、サイズ、又
は位置が不変であると決定すること）によって、又は解剖学的構造に変化がないと決定す
ることによって、予備的動作がまだ発生していないことを識別することができる。これに
加えて又は代えて、画像認識は、他の方法で（例えば、ヘルスケア専門家がまだ患者に接
近していないと決定することによって、ＥＣＭＯ機械がまだ患者に接続されていないと決
定することによって）、又は手術映像内で識別され得る任意の他の表示を使用することに
よって、予備的動作の不在を決定することができる。例示的な実施形態では、特定の外科
的処置と推奨される一連の事象との間の逸脱の表示は、予備的動作の欠如であり得る。或
いは、予備的動作が識別された場合、予備的動作の１つ以上の特性は、逸脱の表示であっ
てもよい。例えば、予備的動作が切開である場合、切開の長さは予備的動作の特性であり
得る。例えば、切開長さが１０～２０ｃｍの範囲内にあると予測され、長さが３ｃｍであ
ると識別される場合、予備的動作のそのような特性は逸脱を示し得る。
開示された実施形態の態様は、特定の動作が実行される前に、特定の外科的処置と推奨
される一連の事象との間の逸脱の通知を提供することを含むことができる。通知は、本明
細書に記載され、開示された実施形態と整合する任意の適切な電子通知であってもよい。
或いは、通知は、ヘルスケア専門家（例えば、外科的処置を施す外科医）に送信され得る
任意の適切な音声信号、視覚信号、又は任意の他の信号（例えば、振動などの触覚信号）
であってもよい。
開示された実施形態の態様は、術後（すなわち、外科的処置の完了後に）に通知を提供
することを含むことができる。例えば、逸脱は、外科的処置中又は外科的処置後に識別さ
れてもよく、また、通知は、上記の手法のいずれか１つ（又は任意の組み合わせ）を使用
して逸脱が評価された後に提供されてもよい。これに加えて又は代えて、特定の外科的処
置と外科的処置のための推奨される一連の事象との間の逸脱は、ヘルスケア専門家によっ
て解析及び／又は評価され得る。
開示された実施形態の態様は、逸脱に関連する術中手術事象の名前を決定することを含
むことができる。例えば、特定の外科的処置と推奨される一連の事象との間の逸脱が識別
されると、その逸脱に関与する事象の名前及び／又はタイプが識別され得る。例えば、シ
ーケンス２７０２の事象と推奨シーケンス２７０１との間の逸脱が識別され（例えば、事
象Ｅ３が事象Ｓ３と実質的に異なる場合）、事象Ｓ３の名前及び／又はタイプ（例えば、
名前は「縫合」であってもよい）が決定され得る。更に、事象Ｅ３の名前及び／又はタイ
プを決定することができる。例示的な実施形態では、事象Ｓ３の名前は、上述したように
、機械学習画像認識モデルを使用して識別することができる。
様々な実施形態において、逸脱に関連する術中手術事象の名前は、手術事象において識
別された特定の動作の前の予備的動作の名前であってもよい。或いは、逸脱に関連する術
中手術事象の名前は、特定の動作の名前であってもよい。場合によっては、術中手術事象
の名前は、逸脱に寄与する事象又は動作の複数の名前を含むテキスト文字列であってもよ
い。場合によっては、句読点（又は、文字、段落記号、又は改行などの任意の他の適切な
手段）を使用して、テキスト文字列内の異なる名前を分離することができる。例えば、逸
脱に関連する術中の手術事象の名前は、「鉗子で動脈を留める；レーザビームを印加する
；動脈を縫合する」であってもよい。
幾つかの実施形態では、名前を決定することは、名前をビデオ映像の特性と相関させる
データ構造にアクセスすることを含む。データ構造は、図１７Ａに示すように、構造１７
０１などの任意の適切なデータ構造であってもよい。例えば、名前を決定することは、本
開示で説明されて本開示の様々な実施形態と整合するように、手術映像（本明細書では、
ビデオ映像とも呼ばれる）にアクセスすること、及び、事象、動作、又は事象特性などの
ビデオ映像特性を決定することを含み得る。
様々な実施形態では、決定された逸脱に関連する術中手術事象の名前を決定する際、逸
脱に関連する術中手術事象の名前を含む逸脱の通知を提供することができる。例示的な実
施形態では、通知は様々なユーザ（例えば、医療従事者、管理者など）に提供されてもよ
い。場合によっては、通知は、患者、患者の親戚又は友人などに提供されてもよい。通知
は、テキストデータ、グラフィックデータ、又は任意の他の適切なデータ（例えば、ビデ
オデータ、アニメーション、又は音声データ）を含むことができる。これに加えて又は代
えて、通知は警告信号（例えば、光信号、音声信号など）として実施されてもよい。場合
によっては、通知は、通知を受信することを許可された様々なユーザ（例えば、様々な医
療関係者、管理者、患者、患者の血縁者又は友人など）を有する任意の適切なデバイス（
例えば、スマートフォン、ラップトップ、デスクトップ、モニタ、ページャ、ＴＶなど）
に配信されるＳＭＳメッセージ、電子メールなどであってもよい。
開示された実施形態の態様は、ヘルスケア専門家が動作を実行しようとしていることを
示す入力を受信することを含むことができる。そのような入力は、外科医によって動作が
とられる前に逸脱（例えば、推奨される一連の事象に従って必要とされるスキップされた
ステップ）の通知を提供することを可能にすることができる。場合によっては、外科医又
は別のヘルスケア専門家からのそのような入力は、上述したように、ボタンの押下、可聴
入力、ジェスチャ、又は外科医が特定の動作を実行しようとしていることを示す任意の他
の適切な入力を含むことができる。
動作（ヘルスケア専門家によって実行されようとしている）は、任意の処置関連の動作
であってもよい。例えば、動作は、縫合、切開、切開、吸引、患者の身体に隣接した又は
身体内のカメラの配置、又は処置中に起こり得るその他のことを含み得る。場合によって
は、動作は、薬剤を患者に投与すること、又は脈拍、血圧、酸素レベルなどの患者のバイ
タル信号を測定することを含むことができる。
様々な場合において、入力を受けることは、ヘルスケア専門家からの入力を受けること
を含むことができる。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕
捉されてヘルスケア専門家が動作を実行しようとしていることを示す入力として認識され
得る視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器に
よって生成された光源によって生成された視覚信号、話し言葉などを使用する）を介して
入力を提供することができる。場合によっては、ヘルスケア専門家は、ボタンを押すか、
又は任意の他のデバイス（例えば、スマートフォン、ラップトップなど）を使用して入力
を提供することができる。
場合によっては、入力は、どのタイプの動作が実行されるかを示すことができる。例え
ば、外科医は、実行されようとしている動作の名前を発音することができ、また、外科医
からの音声信号は、マイクロフォンを使用して捕捉され得る。例示的な実施形態では、音
声認識モデルを使用して、外科医によって発音された１つ以上の単語を認識することがで
きる。
場合によっては、ヘルスケア専門家が動作を実行しようとしていることを示す入力を受
けることは、ヘルスケア専門家ではないユーザからの入力を受けることを含むことができ
る。例えば、入力は、外科的処置を観察する人から受けられてもよい。
これに加えて又は代えて、入力は、外科的処置中に起こり得る将来の動作につながる様
々な手術事象を認識するようにトレーニングされる機械学習アルゴリズムから受けられて
もよい。例えば、機械学習アルゴリズムは、解剖学的構造の近くで外科医がメスを保持及
び／又は動かすなどの特定の手術事象に基づいて切開が実行されようとしていることを認
識するように構成され得る。
様々な実施形態において、特定の動作がまさに起ころうとしているという表示は、選択
された関心領域（ＲＯＩ）への特定の医療機器の進入であってもよい。例えば、そのよう
な表示は、選択されたＲＯＩにおける特定の医療機器の存在を検出するために物体検出ア
ルゴリズムを使用して決定され得る。様々な実施形態では、外科的処置の時間（又は時間
間隔）の間に所定のＲＯＩの近くにある手術器具の存在は、特定の動作が講じられようと
していることを認識するために（例えば、機械学習モデルによって）使用され得る。外科
的処置中の異なる時間について、ＲＯＩの近くに手術器具が存在することは、講じられよ
うとしている異なる動作を示すことができる。場合によっては、方法は、所定の手術器具
がＲＯＩの近くに存在するときに通知を提供すること、及び、手術器具がＲＯＩ内にない
ときに通知を提供しないで済ませることを含むことができる。上述したように、通知は、
ヘルスケア専門家、ヘルスケア管理者、又はそのような情報を受信することを許可された
他の人に提供される任意の適切な通知であってもよい。
様々な実施形態では、本明細書に記載されて開示された実施形態と整合するように、特
定の医療機器が選択された関心領域（ＲＯＩ）に進入したという識別は、外科的処置のフ
レームを解析するための画像認識を使用するなど、任意の適切な手法を使用して達成する
ことができる。場合によっては、解剖学的構造の位置に基づいてＲＯＩを選択することが
できる。又は、外科的処置中に第２の医療機器が使用される場合、第２の医療機器の位置
に基づいてＲＯＩが選択され得る。これに加えて又は代えて、ＲＯＩは、画像センサの視
野に基づいて選択されてもよい。例えば、特定の画像センサ（例えば、解剖学的構造の拡
大部分を表示するセンサ）の視野を使用してＲＯＩを選択することができる。
様々な実施形態では、ヘルスケア専門家が動作を実行しようとしていることを示す入力
に基づいて、方法は、推奨される一連の事象を識別する記憶されたデータ構造にアクセス
することを含むことができる。記憶されたデータ構造は、アレイ、連想配列、リンクされ
たリスト、二分木、平衡木、山、スタック、キュー、セット、ハッシュテーブル、記録、
タグ付き和集合、ＸＭＬコード、ＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬ
データベースなどの任意の適切なデータ構造であってもよい。データ構造は、推奨される
一連の事象を含むことができる。例えば、データ構造は、一方の事象が他方の事象に続く
テーブル内の事象の名前をリストアップすることができる。或いは、事象は、リンクされ
たリストを介して編成及びリンクされてもよい。様々な実施形態において、データ構造は
、推奨される事象を識別してシーケンスを形成するように事象を順序付けるように構成さ
れた任意の適切なデータ構造であってもよい。
開示された実施形態の態様は、所定の解剖学的領域内の手術器具の存在を検出すること
を更に含むことができる。本明細書で使用される場合、手術器具は、外科的処置中に使用
され得る任意の器具又はデバイスであってもよく、そのような器具又はデバイスとしては
、切断器具（例えば、メス、ハサミ、ノコギリなど）、把持及び／又は保持器具（例えば
、ビルロート鉗子、止血「蚊」鉗子、非外傷性止血鉗子、デシャンプ針、ホップナー止血
鉗子など）、リトラクタ（例えば、ファラベフのＣ字型層状フック、平滑歯付きフック、
鋭利歯付きフック、溝付きプローブ、タンプ鉗子など）、組織一体化器具及び／又は材料
（例えば、針ホルダ、手術針、ステープラ、クリップ、接着テープ、メッシュなど）、保
護機器（例えば、顔用及び／又は呼吸用保護具、帽子、履物、手袋など）、腹腔鏡、内視
鏡、患者監視デバイスなどを挙げることができるが、これらに限定されない。手術器具（
医療器具又は医療機器とも呼ばれる）は、医療処置の一部として使用される任意の装置又
は機器の一部を含むことができる。
解剖学的領域は、生体の解剖学的構造を含む任意の領域であり得る。例えば、解剖学的
領域は、体腔（例えば、手術体腔）、器官、組織、管、動脈、細胞、又は任意の他の解剖
学的部分を含み得る。場合によっては、補綴物、人工器官などは解剖学的構造と見なされ
、解剖学的領域内に現れることがある。一例では、機械学習モデルは、画像及び／又はビ
デオ内の解剖学的領域を識別するためにトレーニング例を使用してトレーニングされても
よく、また、トレーニングされた機械学習モデルは、外科的処置の様々な捕捉されたフレ
ームを解析し、解剖学的領域を検出するために使用されてもよい。そのようなトレーニン
グ例の一例は、画像内及び／又はビデオ内の解剖学的領域を示すラベルと共に、画像及び
／又はビデオを含むことができる。
所定の解剖学的領域内の手術器具の存在は、任意の適切な手段を使用して検出すること
ができる。例示的な実施形態では、トレーニングされた機械学習モデルを使用して、外科
的処置の様々な捕捉されたフレームを解析して、所定の解剖学的領域内の手術器具の存在
を検出することができる。トレーニングされた機械学習モデルは、所定の解剖学的領域内
の手術器具などの画像特徴を認識するための画像認識モデルであってもよい。様々な実施
形態では、所定の解剖学的領域内の手術器具の存在に基づいて、方法は、上述したように
、記憶されたデータ構造にアクセスして推奨される一連の事象を識別することを含むこと
ができる。
好ましい実施形態の態様は、手術器具が特定の解剖学的領域内にあると決定することに
よって、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表
示を識別することを更に含むことができる。例えば、手術器具が特定の解剖学的領域に存
在すると（例えば、機械学習方法を使用して、又はヘルスケア専門家からの表示を使用し
て）決定される場合、幾つかの実施形態は、逸脱が発生したと決定することができる。場
合によっては、手術器具が存在すべきではない外科的処置の時間（又は時間間隔）の間に
特定の解剖学的領域に存在する場合、幾つかの実施形態は逸脱が発生したと決定すること
ができる。或いは、場合によっては、逸脱の表示を識別することは、手術器具が特定の解
剖学的領域にないと決定することを含むことができる。例えば、外科的処置の時間（又は
時間間隔）中に、手術器具が特定の解剖学的領域に存在しない場合、幾つかの実施形態は
、逸脱が生じたと決定するように構成され得る。
これに加えて又は代えて、逸脱の表示を識別することは、手術器具と解剖学的構造との
間の相互作用を識別することを含むことができる。手術器具と解剖学的構造との間の相互
作用を識別するプロセスは、例えば上述したように、相互作用を識別するために外科的処
置のフレームを解析することを含むことができる。例えば、外科的処置のフレームの少な
くとも幾つかは、解剖学的構造に対して外科的処置が行われている外科的処置の一部を示
すことができる。上述したように、相互作用は、解剖学的構造に影響を及ぼし得る又はそ
の逆の手術器具による任意の動作を含み得る。例えば、相互作用としては、手術器具と解
剖学的構造との間の接触、解剖学的構造に対する手術器具による作用（例えば、切断、ク
ランプ、把持、圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、解剖学的
構造に向かって光を放出する手術器具（例えば、手術器具は、解剖学的構造に向かって光
を放射するレーザであってもよい）、解剖学的構造に向かって放出される音、解剖学的構
造の近くに生成される電磁場、解剖学的構造に誘導される電流、又は任意の他の認識可能
な形態の相互作用を挙げることができる。
場合によっては、相互作用を識別することは、解剖学的構造に対する手術器具の近接性
を識別することを含むことができる。例えば、外科的処置の手術ビデオ映像を解析するこ
とによって、画像認識モデルは、手術器具と解剖学的構造の表面上又は解剖学的構造内の
点（又は点のセット）との間の距離を決定するように構成され得る。
様々な実施形態では、外科的処置中の手術器具と解剖学的構造との間の相互作用が識別
され、そのような相互作用が基準外科的処置（すなわち、推奨される一連の事象に従う外
科的処置）に対して予測されない場合、一実施形態は、逸脱が生じたと決定するように構
成され得る。或いは、手術器具と解剖学的構造との間の相互作用が識別されず（例えば、
外科的処置中に相互作用が存在しない場合）、相互作用が基準外科処置に対して予測され
る場合、一実施形態は、逸脱が発生したと決定するように構成され得る。幾つかの実施形
態は、手術器具と解剖学的構造との間の相互作用が外科的処置及び基準外科的処置の両方
において存在する（又は存在しない）場合、外科的処置及び基準外科的処置の実質的な逸
脱がないと決定するように構成され得る。
外科的処置において省かれる事象の決定及び通知を可能にするための実施形態の態様が
、プロセス２８０１によって図２８に示されている。ステップ２８１１において、プロセ
ス２８０１は、任意の適切な手段を使用して特定の外科的処置中に捕捉されたビデオのフ
レームにアクセスすることを含むことができる。例えば、アクセスは、入力デバイス（例
えば、キーボード、マウスなど）を介して、又はデータの読み取り／書き込みを可能にす
るための任意の他の手段を介して、有線又は無線ネットワークを介してアクセスすること
を含むことができる。
ステップ２８１３において、プロセス２８０１は、上述したように、外科的処置のため
の推奨される一連の事象を識別する記憶されたデータにアクセスすることを含むことがで
きる。ステップ２８１５において、プロセス２８０１は、アクセスされたフレームを推奨
される一連の事象と比較して、特定の外科的処置と外科的処置に対する推奨される一連の
事象との間の逸脱の表示を識別することを含むことができる。特定の外科的処置と外科的
処置のための推奨される一連の事象との間の逸脱は、上述した任意の適切な手法を使用し
て（例えば、適切な指標関数を使用して異なる事象間の差を計算することによって、機械
学習モデルを使用することなどによって）決定され得る。ステップ２８１７において、プ
ロセス２８０１は、上述の任意の適切な手法（例えば、機械学習モデルを使用して術中手
術事象を識別すること）を使用して逸脱に関連する術中手術事象の名前を決定することを
含むことができる。プロセス２８０１は、逸脱に関連する術中手術事象の名前を含む逸脱
の通知を提供するステップ２８１９で終了することができる。上述したように、通知は、
任意の適切な通知（例えば、ＳＭＳテキスト、ビデオ、画像など）であってもよく、ヘル
スケア専門家、管理者、又は任意の他の許可された個人に配信することができる。
前述したように、本開示は、外科的処置において省かれる事象の決定及び通知を可能に
するための方法及びシステム、並びに少なくとも１つのプロセッサによって実行されると
きに外科的処置において省かれる事象の決定及び通知を可能にする動作を少なくとも１つ
のプロセッサに実行させる命令を含むことができる持続性コンピュータ可読媒体に関する
。動作は、上述したように、外科的処置において省かれる事象の決定及び通知を可能にす
るための方法の様々なステップを含むことができる。
開示されるシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の
特徴、患者の状態、及び手術転帰を予測し改善するための他の特徴を識別することを含む
ことができる。外科的処置のための決定支援を提供するための従来の手法は、リアルタイ
ムで実行することができない場合があり、又は手術ビデオ内の意思決定ジャンクションを
決定して手術転帰を改善する特定の動作を実行するための推奨を開発することができない
場合がある。そのような状況では、外科医は重要な意思決定ポイントを見失い、及び／又
は転帰を改善することができる特定の動作を実行できず、手術は患者にとって最適以下の
転帰をもたらし得る。これに対し、本開示の幾つかの実施形態は、効率的、効果的、及び
リアルタイムで外科的処置の決定支援を提供する非従来的な手法を提供する。
本開示によれば、外科的処置のための決定支援を提供するための方法が開示される。外
科的処置は、１人以上の外科医によって行われる処置を含み得る。外科医は、医師又は他
の医療専門家を含む外科的処置を行う任意の人、外科的処置を支援する任意の人、及び／
又は手術用ロボットを含むことができる。患者は、外科的処置を受けている任意の人を含
むことができる。外科的処置の非限定的な例としては、インプラントを患者に挿入するこ
と、切断、縫合、組織の除去、移植、焼灼、器官の除去、器官の挿入、四肢又は他の身体
部分の除去、人工装具の追加、腫瘍の除去、生検の実施、デブリードマンの実施、バイパ
ス、及び／又は患者を治療又は診断するための任意の他の動作を挙げることができる。イ
ンプラント又はインプラントユニットが、欠損した生物学的構造を置換し、損傷した生物
学的構造を支持し、又は既存の生物学的構造を増強するために、ステント、監視ユニット
、及び／又は体内で使用される任意の他の材料を含むことができる。腹腔鏡、カメラ、カ
ッター、針、ドリル、及び／又は任意の他のデバイス又はインプラントなどの手術器具を
外科的処置中に使用することができる。また、外科的処置中に薬剤（例えば、麻酔薬、静
脈内輸液、治療薬、及び／又は任意の他の化合物もしくは製剤）を使用してもよい。
決定支援は、決定を下す際に外科医を案内することができる推奨を提供することを含む
ことができる。決定支援は、以前の同様の外科的処置のビデオ映像を解析すること、正の
転帰をもたらす可能性が最も高い行動経路を識別すること、及び対応する推奨を手術外科
医に提供することを含むことができる。より一般的には、外科的処置のための決定支援は
、処置をとる又は回避するための（決定を明らかにする情報における）推奨など、外科的
処置中に医療専門家に情報を提供することを含むことができる。幾つかの実施形態では、
決定支援は、医療専門家に状況を警告するためのコンピュータ化されたインタフェースを
提供することを含むことができる。インタフェースは、例えば、ディスプレイ、スピーカ
、ライト、触覚フィードバックコンポーネント、及び／又は任意の他の入力及び／又はフ
ィードバック機構を含むことができる。幾つかの実施形態では、外科的処置に対する決定
支援を提供することは、外科医にリアルタイムの推奨を提供することを含むことができる
（すなわち、外科的処置に対する決定支援を提供するための方法は、外科的処置中にリア
ルタイムで実行することができる）。リアルタイムの推奨は、手術室（例えば、図１に示
す手術室）のインタフェースを介して推奨を提供することを含むことができる。リアルタ
イムの推奨は、外科的処置中に更新され得る。
幾つかの実施形態では、方法は、手術室内の患者に対して外科医によって実行された外
科的処置のビデオ映像を受けることを含むことができる。ビデオ映像は、１つ以上のカメ
ラ及び／又はセンサによって捕捉されたビデオを含むことができる。ビデオ映像は、連続
ビデオ、ビデオクリップ、ビデオフレーム、腔内ビデオ、及び／又は任意の他のビデオ映
像を含むことができる。ビデオ映像は、外科的処置の任意の態様を描写することができ、
また、患者（内部又は外部）、医療専門家、ロボット、医療器具、動作、及び／又は外科
的処置の任意の他の態様を描写することができる。幾つかの実施形態では、ビデオ映像は
、内視鏡又は体内カメラ（例えば、腔内ビデオの画像）のうちの少なくとも１つからの画
像を含むことができる。内視鏡は、患者の体内からの画像の収集及び送信を支援するため
に、剛性又は可撓性の管、ライト、光ファイバ、レンズ、接眼レンズ、カメラ、通信構成
要素（例えば、有線又は無線接続）、及び／又は任意の他の構成要素を含むことができる
。体内カメラは、外科的処置の前、最中、又は後に患者の体内から画像を収集するために
使用される任意の画像センサを含むことができる。
ビデオ映像を受けることは、センサ（例えば、患者の上方、患者内、又は手術室内の他
の場所に配置された画像センサ）、手術用ロボット、カメラ、モバイル装置、通信装置を
使用する外部装置、共有メモリ、及び／又は画像を捕捉及び／又は送信することができる
任意の他の接続されたハードウェア及び／又はソフトウェアコンポーネントを介して行わ
れ得る。ビデオ映像は、ネットワークを介して、及び／又は有線及び／又は無線接続を介
してデバイスから直接受けることができる。ビデオ映像を受けることは、データベース、
ディスク、メモリ、リモートシステム、オンラインデータストレージ、及び／又は情報が
保持され得る任意の場所又は媒体などのデータストレージからビデオ映像を読み取り、検
索し、及び／又はアクセスすることを含み得る。
開示された実施形態と整合して、手術室は、病院、診療所、一時診療所（例えば、災害
救助又は戦争事象中の手術のために構成された部屋又はテント）、及び／又は外科的処置
を実行することができる任意の他の場所の部屋を含む、手術を実行するように構成された
任意の部屋を含むことができる。例示的な手術室が図１に示されている。
開示された実施形態と整合して、外科的処置のための決定支援を提供するための方法は
、外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセス
することを含み得る。データ構造にアクセスすることは、ネットワークを介して、及び／
又は有線及び／又は無線接続を介してデバイスから直接、データ構造のデータを受信する
ことを含むことができる。データ構造にアクセスすることは、幾つかの開示された実施形
態と整合して、データ記憶装置からデータ構造のデータを検索することを含むことができ
る。
本実施形態と整合して、データ構造は、ブール型、文字型、浮動小数点型、整数型、参
照型、及び列挙型などのプリミティブ型；コンテナ、リスト、タプル、マルチマップ、連
想配列、セット、マルチセット、スタック、キュー、グラフ、ツリー、積み重ねなどの複
合型；任意の形式のハッシュベースの構造又はグラフを含むことができる。更なる例は、
リレーショナルデータベース、テーブルデータ、及び／又は検索のために編成された他の
形態の情報を含むことができる。データ構造内のデータは、データ型、キー値ペア、ラベ
ル、メタデータ、フィールド、タグ、インデックス、及び／又は他のインデックス付け機
能を含むデータスキーマに従って編成することができる。
外科的処置を特徴付けるビデオ及び／又は画像関連データをデータ構造内に含めること
ができる。そのような画像関連データは、ビデオ特徴情報及び／又はビデオ映像自体、画
像、及び／又はビデオ及び／又は画像データの前処理されたバージョンの一部又は全てを
含むことができる。別の例では、そのようなビデオ及び／又は画像関連データは、ビデオ
及び／又は画像の解析に基づく情報を含むことができる。更に別の例では、そのようなビ
デオ及び／又は画像関連データは、画像データを解析するための情報及び／又は１つ以上
の規則を含むことができる。データ構造の一例を図１７Ａに示す。
開示された実施形態と整合して、外科的処置を特徴付ける画像関連データとしては、事
象特性、事象位置、転帰、外科的処置と必須の一連の事象との間の逸脱、スキルレベル、
事象位置、術中手術事象、術中手術事象特性、特性事象、漏れ状況、手術段階内の事象、
タグ、必須の一連の事象、省略された事象、推奨される一連の事象、解剖学的構造、状態
、解剖学的構造と医療機器との間の接触、相互作用、及び／又は外科的処置の態様を記述
又は規定する任意の他の情報に関するデータを挙げることができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、画像関
連データを使用して受信ビデオ映像を解析して、外科的意思決定ジャンクションの存在を
決定することを含み得る。外科的意思決定ジャンクションは、手術ビデオ内に時間（例え
ば、時点又は期間）を含むことができる。例えば、外科的意思決定ジャンクションは、別
の行動方針を追求する機会をもたらす事象又は状況に関連し得る。例えば、意思決定ジャ
ンクションは、外科医が、手術転帰を変更する、外科的処置に従う、異なる外科的処置に
変更する、外科的処置から逸脱する、及び／又は任意の他の手法を変更するために１つ以
上の動作を講じることができる時間を反映することができる。
受けたビデオ映像を解析することは、開示された実施形態と整合して、受けたビデオ映
像の１つ以上のフレームに対して画像解析の方法を実行することを含むことができる。受
けたビデオ映像を解析することは、例えば、上述したように、例えば、物体認識、画像分
類、ホモグラフィ、ポーズ推定、動き検出、及び／又は他のビデオ解析方法の方法を含む
ことができる。受けたビデオ映像を解析することは、開示された実施形態と整合して、ト
レーニングされた機械学習モデルを使用すること、及び／又は機械学習モデルをトレーニ
ング及び／又は実装することを含むことができる。例えば、受けたビデオ映像は、画像及
び／又はビデオから外科的な決定ジャンクションを検出及び／又は識別するために、トレ
ーニング例を使用してトレーニングされた機械学習モデルを使用して解析することができ
る。例えば、受けたビデオ映像は、画像及び／又はビデオから外科的な決定ジャンクショ
ンを検出及び／又は識別するように構成された人工ニューラルネットワークを使用して解
析することができる。幾つかの実施形態では、受けたビデオ映像を画像関連データと比較
して、外科的な決定ジャンクションの存在を決定することができる。これは、例えばビデ
オ解析によって行われてもよく、リアルタイムで行われてもよい。（例えば、外科医の手
術のビデオが捕捉されると、リアルタイムでビデオに対して解析を実行することができ、
外科的ジャンクションを識別することができる）。一例では、画像関連データは、画像デ
ータを解析するための１つ以上の規則（例えば、トレーニングされた機械学習モデル、人
工ニューラルネットワークなど）を含むことができ、また、１つ以上の規則を使用して、
受けたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定することができ
る。一例では、受けたビデオ映像からのフレームの解析に基づいてマルコフモデルを利用
して、外科的意思決定ジャンクションの存在を決定することができる。他の例では、人工
ニューラルネットワーク（リカレントニューラルネットワーク又はロングショートターム
メモリニューラルネットワークなど）を使用して、受けたビデオ映像を解析し、外科的意
思決定ジャンクションの存在を決定することができる。
一例として、意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の
退縮、解剖学的構造又は流体漏れの誤った解釈、及び／又は別の行動方針を追求する機会
をもたらす任意の他の手術事象の検出時に生じ得る。不適切なアクセス又は露出は、誤っ
た組織、器官、及び／又は他の解剖学的特徴を開く及び／又は切断することを含み得る。
退縮は、組織、又は器官、及び／又は外科医が見るための他の解剖学的構造を露出させる
ための組織の移動、牽引、及び／又は反対牽引を含み得る。解剖学的構造又は流体漏れの
誤った解釈は、誤った分類（例えば、誤った構造又は流体タイプの分類）及び／又は流体
漏れの原因及び／又は重症度の誤った推定を含み得る。より一般的には、誤解は、外科的
処置中にシステム又は人が到達した任意の誤った結論を含み得る。
幾つかの実施形態では、意思決定ジャンクションは、共通の手術状況の後に異なる動作
経過が発生した複数の異なる履歴的な処置の解析によって決定され得る。例えば、複数の
異なる履歴処置が履歴ビデオ映像及び／又は受信ビデオ映像に含まれてもよい。履歴的な
処置は、１つ以上の外科的処置、１人もしくは複数の患者、１つ以上の状態、１つ以上の
転帰、及び／又は１人もしくは複数の外科医を描写することができる。幾つかの実施形態
では、異なる動作経過は、本明細書に記載されるように、外科的処置中の異なる動作を含
み得る。異なる動作経過は、同じではない動作を含み得る（例えば、裂傷を縫合する動作
と裂傷をステープル留めする動作とは異なる動作と考えることができる）。異なる動作経
過は、同じ動作を実行する異なる方法を含み得る（例えば、１つの接触力を加えることと
、別の接触力を加えることとは、同じ動作を実行する異なる方法であってもよい）。異な
る動作経路は、異なる医療器具を使用することを含み得る。一般的な外科的状況は、ある
種の外科的処置（胆嚢切除術など）、手術事象（例えば、切開、流体漏れ事象など）、及
び／又は複数の歴史的外科的処置に共通であり得る外科的処置の任意の他の態様を含む状
況を指すことができる。
幾つかの実施形態では、意思決定ジャンクションの存在を決定することは、解剖学的構
造の検出された生理的応答及び／又は手術器具に関連する動きに基づくことができる。生
理的応答は、解剖学的構造の動き、漏出、及び／又は任意の他の生理学的活性を含み得る
。生理的応答は、心拍数、呼吸数、血圧、温度、血流の変化、及び／又は任意の他の生物
学的パラメータもしくは健康状態の変化を含み得る。可能な生理的応答の他の非限定的な
例は、上に記載されている。手術器具に関連する動きは、手術器具の任意の動き（例えば
、並進及び／又は回転）を含む。手術器具は、本明細書に開示されるように、任意の手術
器具を含むことができる。手術器具に関連する生理的応答及び／又は動きを検出すること
は、本明細書でも説明するように、画像解析の方法を実行することを含むことができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、少なく
とも１つのデータ構造において、転帰と意思決定ジャンクションで行われた特定の動作と
の間の相関関係にアクセスすることを含み得る。相関関係にアクセスすることは、相関関
係の存在を決定すること、メモリから相関関係を読み取ること、及び／又は特定の動作と
転帰との間に相関関係が存在することを任意の他の態様で決定することを含むことができ
る。幾つかの実施形態では、相関関係は、インデックスに基づいてデータ構造でアクセス
されてもよく、インデックスは、特定の動作、意思決定ジャンクション、及び／又は転帰
のタグ、ラベル、名前、又は他の識別子のうちの少なくとも１つを含む。幾つかの実施形
態では、相関関係にアクセスすることは、モデル、式、及び／又は任意の他の論理的手法
などのアルゴリズムを使用して相関関係を決定すること（例えば、生成、ルックアップ、
又は識別）を含むことができる。開示された実施形態と整合して、相関関係は、特定の動
作に関連する所望の転帰（例えば、正の転帰）及び／又は望ましくない転帰（例えば、負
の転帰）の確率（例えば、尤度）を示し得る。相関関係は、相関係数、適合度指標、回帰
係数、オッズ比、確率、及び／又は任意の他の統計的又は論理的相互関係を含み得る。一
例では、特定のタイプの全ての意思決定ジャンクションに１つの相関関係を使用すること
ができ、別の例では、特定のタイプの全ての意思決定ジャンクションのグループの異なる
サブセットに複数の相関関係を使用することができる。例えば、そのようなサブセットは
、患者の特定のグループ、外科医（及び／又は他のヘルスケア専門家）の特定のグループ
、手術の特定のグループ、手術室の特定のグループ、外科的処置における特定の以前の事
象、そのようなグループの任意の結合又は交差などに対応することができる。
特定の動作は、外科的処置中に外科医（例えば、人間又はロボット外科医）によって、
又は外科的処置を支援する人もしくはロボットによって実行される任意の動作を含むこと
ができる。特定の動作の例としては、是正措置、診断動作、外科的処置後の動作、外科的
処置から逸脱する動作、及び／又は外科的処置中に起こり得る任意の他の動作を挙げるこ
とができる。そのような動作は、医療機器を生物学的構造と係合させること、薬剤を投与
すること、切断すること、縫合すること、外科的接触を変更すること、医療検査を行うこ
と、解剖学的構造を洗浄すること、過剰な流体を除去すること、及び／又は外科的処置中
に起こり得る任意の他の動作を含むことができる。
特定の動作は、単一のステップ又は複数のステップ（例えば、手術中に行われる複数の
動作）を含むことができる。ステップは、本明細書に記載の任意の動作又は動作のサブセ
ットを含むことができる。特定の動作の非限定的な例としては、切開を行うステップ、イ
ンプラントを挿入するステップ、インプラントを取り付けるステップ、及び切開をシール
するステップのうちの１つ以上を含み得る。
幾つかの実施形態では、特定の動作は、更なる外科医を手術室に導入することを含むこ
とができる。例えば、更なる外科医は、手術室に既に存在する外科医よりも多くの経験、
より高いスキルレベル、特定の専門知識（例えば、技術的専門知識、特定の問題解決の専
門知識、及び／又は他の専門知識）を有することができる。外科医を手術室へと至らせる
ことは、外科医に手術室に来るように要求又は指示する通知を送信することを含み得る。
幾つかの実施形態では、更なる外科医は手術用ロボットであってもよく、更なる外科医を
手術室へと至らせるとは、ロボットを起動すること、及び／又は外科的処置を実行及び／
又は支援するためにロボットに命令を提供することを含んでもよい。ロボットに命令を提
供することは、１つ以上の動作を実行するための命令を含むことができる。
幾つかの実施形態では、外科的処置に対する決定支援を提供するための方法は、特定の
行動を行う及び／又は回避するための推奨をユーザに出力することを含むことができる。
そのような推奨は、ガイダンスの形式（例えば、音声、ビデオ、テキストベース、手術用
ロボットへの制御コマンド、又はアドバイス及び／又は指示を提供する他のデータ送信）
にかかわらず、任意のガイダンスを含むことができる。場合によっては、ガイダンスは命
令の形態であってもよく、他の場合では推奨の形態であってもよい。そのようなガイダン
スのためのトリガは、決定された意思決定ジャンクションの存在及びアクセスされた相関
関係であってもよい。推奨を出力することは、デバイスに推奨を送信すること、インタフ
ェースに推奨を表示すること、及び／又は意思決定者に情報を供給するための任意の他の
メカニズムを含むことができる。ユーザに推奨を出力することは、手術室にいる人、外科
医（例えば、人間の外科医及び／又は手術用ロボット）、外科的処置を支援する人（例え
ば、看護師）、及び／又は他のユーザに推奨を出力することを含むことができる。例えば
、推奨を出力することは、コンピュータ、モバイルデバイス、外部デバイス、スマートグ
ラス、プロジェクタ、手術用ロボット、及び／又はユーザに情報を伝達することができる
任意の他のデバイスに推奨を送信することを含むことができる。幾つかの実施形態では、
外科医は手術用ロボットであってもよく、推奨は手術用ロボットに対する命令の形態で提
供されてもよい（例えば、特定の動作を実行する、及び／又は特定の動作を回避する命令
）。
推奨を出力することは、ネットワークを介して、及び／又は直接接続を介して行われて
もよい。幾つかの実施形態では、推奨を出力することは、手術室のインタフェースで出力
を提供することを含むことができる。例えば、推奨を出力することは、推奨をインタフェ
ース（例えば、手術室内の視覚及び／又は音声インタフェース）を介して提示させること
を含むことができる。幾つかの実施形態では、推奨を出力することは、音を再生すること
、光を変更すること（例えば、光をオン又はオフにすること、光をパルス化すること）、
触覚フィードバック信号を提供すること、及び／又は人に警告するか、人もしくは手術用
ロボットに情報を提供する任意の他の方法を含むことができる。
一例として、推奨は、医療検査を行う推奨を含むことができる。幾つかの実施形態では
、医療検査は、血液解析、患者の医療撮像、尿解析、センサによるデータ収集、及び／又
は任意の他の解析を含むことができる。医療撮像は、Ｘ線撮像、コンピュータ断層撮影（
ＣＴ）、医療共鳴撮像（ＭＲＩ）、造影剤を含む他の処置、超音波、又は診断及び／又は
治療目的で身体部分画像を作成するための他の技術などの術中医療撮像（すなわち、外科
的処置中に発生する撮像）を含むことができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、意思決
定ジャンクションの決定された存在、アクセスされた相関関係、及び医療検査の受信結果
に基づいて、特定の動作を実行又は回避するための推奨（例えば、第１の推奨、第２の推
奨、及び／又は更なる推奨）をユーザに出力することを含み得る。したがって、外科的処
置のための決定支援を提供するための方法は、医療検査の結果を受信することを含むこと
ができる。医療検査の結果は、医療データ、センサデータ、器具データ、及び／又は生物
学的状態を反映する任意の他の情報を含むことができる。医療検査の結果は、患者の健康
状態及び／又は状態の指標を含むことができる。結果は、例えば、バイオマーカの有無、
腫瘍の有無、解剖学的特徴の位置、代謝活性の指標（例えば、グルコース取り込み）、酵
素レベル、心臓状態（例えば、心拍数）、温度、呼吸指標、及び／又は任意の他の健康も
しくは状態指標を含み得る。結果は、ネットワークを介して、及び／又は接続されたデバ
イスから受信することができる。結果を受信することは、開示された実施形態と整合して
、データ記憶装置を受信すること及び／又はデータ記憶装置にアクセスすることを含むこ
とができる。例えば、受信した医療検査の結果の第１の値に応じて、第１の動作を実行す
る（又は回避する）推奨を出力してもよく、受信した医学的検査の結果の第２の値に応じ
て、第１の動作を実行する（又は回避する）推奨を出力することを保留してもよい。
幾つかの実施形態では、推奨は、更なる外科医の名前及び／又は他の識別子（例えば、
従業員ＩＤ）を含むことができる。幾つかの実施形態では、推奨を出力することは、更な
る外科医に表示を提供することを含むことができる。表示は、通知、警告、手術室に来る
要求、医療検査の結果、外科的処置中に支援が必要であり得るという情報表示、及び／又
は任意の他の表示を含むことができる。一例では、更なる外科医は、外科的処置を受ける
患者の特性、外科的処置を現在実行している外科医、手術室、外科的処置で使用される器
具、外科的処置に関連する解剖学的構造の状態、外科的処置における医療機器と解剖学的
構造との間の相互作用、外科的処置に関連する生理的応答、更なる外科医の特性などのう
ちの１つ以上に基づいて選択され得る（例えば、複数の別の更なる外科医から）。
本実施形態と整合して、推奨は、現在の手術状況の説明、ガイダンス、先取り又は是正
措置の指示、代替手法の指示、危険領域マッピング、及び／又は外科的処置に関して外科
医に通知することができる任意の他の情報を含むことができる。現在の手術状況の説明は
、患者の健康状態及び／又は状態（例えば、心拍数モニタデータ、脳行動データ、温度デ
ータ、漏洩データ、及び／又は任意の他の健康データなどのセンサデータに反映された状
態）を含むことができる。また、現在の手術状況の説明は、同様に又は代わりに、現在又
は可能性のある将来の転帰の評価を含んでもよい。予防措置及び／又は是正措置は、外科
的処置に従う、及び／又は外科的処置を変更する動作を含むことができる。予防措置及び
／又は是正措置は、外科医及び／又は手術を支援する人による任意の行動、及び／又は負
の転帰を回避することをもたらし得る動作を含み得る。是正措置は、転帰を改善し得る動
作を含み得る。幾つかの実施形態では、危険ゾーンマッピングは、１つ以上の特定の動作
及び可能性のある転帰（例えば、死亡、身体障害、又は他の望ましくない事象などの負の
転帰に関連する特定の動作のセット）を識別することを含むことができる。危険ゾーンマ
ッピングは、例えば、適切にアクセスされないと患者の安全性及び手術転帰に悪影響を及
ぼす可能性がある解剖学的領域の識別を含むことができる。例えば、鼠径ヘルニアでは、
危険ゾーンは、男性の精管又は女性の子宮の丸い靭帯（内側）と男性の精巣血管（外側）
との間にあり、腸骨血管、大腿神経、膝大腿神経の生殖枝などの重要な構造を保持する「
運命の三角形」、及び／又は精巣血管（内側）、腰筋（外側）、及び回蓋管（上側）の間
にあり、膝大腿神経の大腿枝及び外側大腿皮神経などの重要な構造を保持する「疼痛の三
角形」を含むことができ、これらは重要である。「運命の三角形」内の構造体の損傷は、
場合によっては致命的であり得る。「疼痛の三角形」内の構造の損傷は、場合によっては
、慢性疼痛をもたらし得る。幾つかの例では、機械学習モデルは、手術画像及び／又は手
術ビデオ内の危険ゾーンを識別するためにトレーニング例を使用してトレーニングされて
もよく、また、トレーニングされた機械学習モデルは、映像映像を解析し、危険ゾーンを
識別及び／又はマッピングするために使用されてもよい。そのようなトレーニング例の一
例は、画像及び／又はビデオに描写された危険領域を示すラベルと共に、画像及び／又は
ビデオを含み得る。一例では、危険ゾーンマッピングの記述は、関連する識別された危険
ゾーンのテキスト記述を含むことができる。別の例では、危険ゾーンマッピングの記述は
、関連する識別された危険ゾーンの視覚的マーキング、例えばビデオ映像の少なくとも１
つのフレーム上のオーバーレイ、拡張現実システムなどを含み得る。
例として、推奨は、炎症性流体、血液、胆汁、及び／又は他の流体を患者から排出する
ための外科用排液管の推奨される配置を含むことができる。
推奨は、特定の動作が行われた場合に所望の手術転帰が生じるという信頼度レベル、及
び／又は特定の動作が行われなかった場合に所望の転帰が生じないという信頼度レベルを
含み得る。信頼度レベルは、開示された実施形態と整合する、履歴的な外科的処置の解析
に基づくことができ、転帰が生じる確率（すなわち、尤度）を含むことができる。所望の
転帰は、改善された健康状態、医療用インプラントの成功した配置、及び／又は任意の他
の有益な事象などの正の転帰であり得る。幾つかの実施形態では、所望の転帰は、意思決
定ジャンクション（例えば、副作用、術後合併症、流体漏れ事象、患者の健康状態の負の
変化、及び／又は任意の他の望ましくない状況の回避）の後に起こり得る望ましくない状
況の回避を含み得る。
幾つかの実施形態では、推奨を出力することは、外科的処置における特定の時点からの
経過時間に基づくことができる。例えば、推奨は、開示された実施形態と整合して、手術
事象から経過した時間に基づくことができる。推奨は、意思決定ジャンクションの少なく
とも指定された数分前に発生した手術事象に基づくことができる。幾つかの実施形態では
、手術事象は、意思決定ジャンクションの前に外科医によって実行された過去の動作を含
むことができる。また、推奨は、別の動作を含み得る。一連の動作は、動作のセット、シ
ーケンス、及び／又はパターンを含むことができる。別の一連の動作は、外科医が従う進
行中の外科的処置に関連する動作とは異なり得る。
幾つかの実施形態では、推奨は、特定の動作が行われない場合に起こりそうな望ましく
ない手術転帰の表示を含むことができる。そのような表示は、信頼度レベル、望ましくな
い手術転帰（例えば、転帰の名前）の説明、及び／又は任意の他の表示を含むことができ
る。
幾つかの実施形態では、推奨は、外科医のスキルレベルに基づくことができる。例えば
、高いスキルレベルを有する外科医は、低いスキルレベルを有する外科医とは異なる推奨
を受けることができる。幾つかの実施形態では、推奨は、複数の代替動作から選択された
特定の動作を含むことができ、また、特定の動作の選択は、外科医のスキルレベル及び複
数の代替動作に関連する複雑度レベルに基づくことができる。スキルレベルは、履歴的な
パフォーマンススコア、実行された手術の数、外科医として費やされた全体の時間（例え
ば、年数；手術に費やした時間数）、トレーニングのレベルの指示、外科医のスキルの分
類、及び／又は手動入力、データ解析、もしくはビデオ画像解析から導き出されるかどう
かにかかわらず、外科医のスキルの任意の他の評価に基づくことができる。
幾つかの実施形態では、推奨は、意思決定ジャンクション（すなわち、以前の手術事象
）の前の外科的処置で発生した手術事象に基づくことができる。以前の手術事象は、意思
決定ジャンクションに先行する本明細書に記載の任意の手術事象を含むことができる。以
前の手術事象は、意思決定ジャンクション後の正の又は負の転帰と相関させることができ
、また、推奨は、後の正の転帰を達成する可能性又は後の負の転帰を回避する可能性を高
める特定の動作を実行する推奨を含むことができる。したがって、そのような方法は、以
前の手術事象が後の転帰と相関すると決定することを含むことができる。そのような相関
関係は、相関が手術事象と意思決定ジャンクションとの間の経過時間に基づいて決定され
得るという点で、時間ベースであり得る。
幾つかの実施形態では、推奨を出力することは、第１のステップを実行するための第１
の命令を提示すること、第１のステップが正常に実行されたという表示を受信することと
、及び、第１のステップが正常に実行されたという受信された表示に応じて、第２のステ
ップを実行するための第２の命令を提示することを含むことができる。幾つかの実施形態
では、推奨を出力することは、第１のステップを実行するための第１の命令を提示するこ
と、及び、第１のステップが正常に実行されなかったという表示を受信することを含むこ
とができる。幾つかの実施形態では、推奨を出力することは、第１のステップが正常に実
行されなかったという受信された表示に応じて第２の命令を提示しないで済ませることを
含むことができる。幾つかの実施形態では、第１のステップが正常に実行されなかったと
いう受信された表示に応じて、推奨を出力することは、別のステップを実行するための別
の命令を提示することを含むことができ、別のステップは第２のステップとは異なる。
第１のステップが成功又は失敗したという表示は、開示された実施形態と整合するビデ
オ映像の解析に基づくことができる。表示を受信することは、第１のステップを実行する
命令を提示した後にビデオ映像を受信し、ビデオ映像の解析に基づいて表示を生成するこ
とを含むことができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、患者の
バイタルサインを受信することを含むことができ、推奨は、アクセスされた相関関係及び
バイタルサインに基づくことができる。バイタルサインは、医療機器、デバイス、外部デ
バイス、データストレージ、センサ、及び／又は任意の他のコンピューティング構成要素
から受信することができ、患者の健康状態の状態（例えば、心拍数、呼吸数、脳行動、及
び／又は他のバイタルサイン）の任意の指標を含むことができる。幾つかの実施形態では
、バイタルサインは、接続されたデバイスからネットワークを介して受信されてもよく、
従来のセンサを介して、又はビデオ映像の解析を介して検出されてもよい。
幾つかの実施形態では、推奨は、患者の組織の状態及び／又は患者の臓器の状態に基づ
くことができる。一般に、組織又は器官の状態は、組織又は器官の状態又は特性を示す任
意の情報を指すことができる。例えば、状態は、組織又は器官が正常であるか、異常であ
るか、損傷しているか、漏出しているか、水和しているか、酸素化しているか、脱水して
いるか、後退しているか、拡大しているか、収縮しているか、存在しているか、不在であ
るか、及び／又は任意の他の外観又は状態であるかなどの評価に基づくことができる。開
示された実施形態と整合して、患者の組織及び／又は器官の状態は、ビデオ映像の解析に
基づいて決定することができる。例えば、そのような解析は、組織の色、解剖学的構造の
テクスチャ、心拍数、肺容量、塊又は他の不規則性の存在、及び／又は解剖学的構造の任
意の他の特性を決定することができる。幾つかの実施形態では、推奨は、心拍数モニタデ
ータ、脳行動データ、温度データ、漏れデータ、及び／又は任意の他の健康データなどの
センサデータに反映された状態に基づくことができる。
別の例として、特定の動作の推奨は、瘻孔、又は特定のタイプの瘻孔（例えば、ループ
瘻孔、エンド瘻孔、ループコロストミー瘻孔、エンドコロストミー瘻孔、ループ回腸瘻孔
、エンドロー瘻孔、ウロ瘻孔、及び／又は任意の他のタイプの瘻孔）を形成するための提
案又は指示を含むことができる。推奨は、瘻孔形成技術、瘻孔を形成するための結腸及び
／又は回腸の一部の表示、及び／又は瘻孔を形成するための患者の皮膚上の位置を提案す
ることができる。或いは、推奨は、例えば、瘻孔の形成が望ましくない転帰と相関する場
合、瘻孔が形成されないことを提案し得る。
瘻孔を形成するか、又は形成することを回避する（又は任意の他の一連の動作を行う）
ための推奨は、患者に対する生理学的影響、及び転帰に対する可能な改善の指標の閾値に
基づくことができる。閾値は、患者の特性（例えば、年齢、以前の健康状態、家族歴、バ
イタルサイン、及び／又は他の特性）に基づいて選択することができる。例えば、所望の
転帰に関連する瘻孔を以前に有していた患者に対して、より低い閾値を選択することがで
きる。また、閾値は、患者が手術前に瘻孔の可能性を知らされたかどうかに基づいてもよ
い。
意思決定ジャンクションの一例は、例えば、虫垂切除の準備段階において、回腸及び／
又は盲腸を動かすか否かを決定することを含むことができ、また、推奨は、回腸及び／又
は盲腸を動かす提案、又は回腸及び／又は盲腸を動かさない提案を含むことができる。決
定に影響を及ぼし得る要因の幾つかの非限定的な例としては、処置の複雑度レベル、患者
の年齢、患者の性別、以前の炎症及び以前の手術を挙げることができる。推奨は、これら
の要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は
、罹患した虫垂を切除する能力に影響を及ぼし得る。意思決定ジャンクションの別の例と
しては、例えば、虫垂切除術の切開及び骨格化段階において、虫垂を安全に分割できるか
否かを決定することを挙げることができ、また、推奨は、虫垂を切開するか否かの提案を
含み得る。決定に影響を及ぼし得る要因の幾つかの非限定的な例としては、手技の、自由
な虫垂の達成、及び回腸／盲腸が適切に動かされたか否かを含み得る。推奨は、これらの
要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、
虫垂炎（「断端虫垂炎」）の再発があるか否かを決定し得る。意思決定ジャンクション別
の例としては、例えば、虫垂切除術の分割段階において、虫垂の分割にどの器具を使用す
るかを決定することを挙げることができ、また、推奨は、分割のための器具の提案を含む
ことができる。決定に影響を及ぼし得る要因の幾つかの非限定的な例は、手術の複雑度レ
ベル、虫垂の円形ビューが達成されたか否か、及び患者の体格指数を含み得る。推奨は、
これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる
決定は、治療の長さ及びコストに影響を及ぼし得る。意思決定ジャンクションの別の例は
、例えば、虫垂切除の分割段階において、虫垂切除断端を治療するか否かを決定すること
を含み得る。幾つかの選択肢は、虫垂断端の治療、焼灼、又は縫合のための動作を回避す
ることを含み得る。推奨は、虫垂切除断端を治療するかどうかの提案、及び／又は虫垂切
除断端を治療するためにとるべき特定の措置の提案を含み得る。決定に影響を及ぼし得る
要因の幾つかの非限定的な例は、処置の複雑度レベル及びどの機器を使用して付録を分割
したかを含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。こ
のジャンクションで行われる決定は、術後感染率及び瘻孔率に影響を及ぼし得る。意思決
定ジャンクションの別の例は、例えば、虫垂切除術のパッケージング段階において、切除
された試料（例えば、内袋内又はトロカールを介して）をどのように除去するかを決定す
ることを含むことができ、また、推奨は、切除された試料をどのように除去するかに関す
る提案を含むことができる。例えば、決定は、処置複雑度レベルに基づいてもよい。この
ジャンクションで行われる決定は、手術部位感染率に影響を及ぼし得る。意思決定ジャン
クションの別の例は、例えば、虫垂切除の最終検査段階で洗浄を行うか否かを決定するこ
とを含んでもよく、また、推奨は、洗浄を行う提案又は洗浄を行わない提案を含んでもよ
い。決定に影響を及ぼし得る要因の幾つかの非限定的な例は、処置の複雑度レベル、患者
の既存の併存症、及び患者の性別を含み得る。推奨は、これらの要因のうちの少なくとも
１つに基づいてもよい。このジャンクションで行われる決定は、感染率に影響を及ぼし得
る。意思決定ジャンクションの合流点の別の例は、例えば、虫垂切除術の最終検査段階に
おいて、ドレーンを配置するか否かを決定することを含むことができ、推奨は、ドレーン
を配置する提案又はドレーンを配置しない提案を含み得る。決定に影響を及ぼし得る要因
の幾つかの非限定的な例は、処置の複雑度レベル、患者の年齢、及び患者の既存の併存症
を含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャ
ンクションで行われる決定は、感染率、合併症率及び術後滞在期間に影響を及ぼし得る。
腹腔鏡下胆嚢摘出のアクセス段階における意思決定ジャンクションの一例は、挿入方法
（例えば、Ｖｅｒｅｓ針、Ｈａｓｓｏｎ技術、ＯｐｔｉＶｉｅｗ）の選択及び／又はポー
ト配置構成（「通常」及び「代替」など）の選択を含むことができ、また、推奨は、挿入
方法の提案及び／又はポート配置構成の提案を含むことができる。腹腔鏡下胆嚢摘出術の
癒着剥離段階における意思決定ジャンクションの一例としては、胆嚢を減圧するか否かの
選択を挙げることができ、また、推奨は、胆嚢を減圧するか否かの提案を含むことができ
る。例えば、胆嚢が膨張している及び／又は緊張している場合、又は急性胆嚢炎の他の徴
候が存在する場合、推奨は、胆嚢を減圧する提案を含み得る。腹腔鏡下胆嚢摘出術におけ
る意思決定ジャンクションの一例としては、胆嚢切開手法（例えば、伝統的、ドームダウ
ン方式、部分合計など）の選択を挙げることができ、また、推奨は胆嚢切開手法の提案を
含み得る。例えば、重症の胆嚢炎の場合、ドームダウン切開術の推奨が提供され得る。別
の例では、曝露を得ることができない場合、例えば、肝臓床の大きな側枝のリスク増加の
ために、緊急離脱の推奨が提供され得る。腹腔鏡下胆嚢摘出術における意思決定ジャンク
ションの一例としては、ドレーンを設置するか否かの選択を挙げることができ、また、推
奨は、ドレーンを設置する提案や、ドレーンを設置しない提案を含むことができる。
幾つかの例では、出力される特定の動作を行う及び／又は回避するためのユーザへの推
奨は、トレーニングされた機械学習モデルを使用して決定されてもよい。例えば、機械学
習モデルは、外科的意思決定ジャンクションに関連する情報に基づいて推奨を決定するた
めにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機
械学習モデルは、外科的意思決定ジャンクションの特定の発生に関連する情報に基づいて
、外科的意思決定ジャンクションの特定の発生に対する特定の動作を実行及び／又は回避
するためにユーザに出力される推奨を決定するために使用されてもよい。外科的意思決定
ジャンクションの発生に関連するそのような情報の幾つかの非限定的な例が上述されてい
る。例えば、情報としては、外科的意思決定ジャンクションのタイプ、外科的意思決定ジ
ャンクションの特性、外科的意思決定ジャンクションの時間（例えば、外科的処置内）、
外科的処置を受ける患者の特性、外科的処置の少なくとも一部を実行する外科医（又は別
のヘルスケア専門家）の特性、外科的処置に関連する手術室の特性、外科的意思決定ジャ
ンクションに関連する解剖学的構造、外科的意思決定ジャンクションに関連する解剖学的
構造の状態、外科的処置で使用される医療機器、外科的処置における医療機器と解剖学的
構造との間の相互作用、外科的意思決定ジャンクションに関連する生理的応答、外科的意
思決定ジャンクションの前に外科的処置において発生した１つ以上の手術事象、外科的意
思決定ジャンクションの前に外科的処置において発生した１つ以上の手術事象の持続時間
、外科的処置における手術段階の持続時間、転帰と外科的意思決定ジャンクションで応じ
られ得る想定し得る動作との間の１つ以上の相関関係、既に提供された推奨に対するユー
ザの過去の応答などを挙げることができる。そのようなトレーニング例の一例は、所望の
推奨を示すラベルと共に、外科的意思決定ジャンクションに関する情報を含むことができ
る。例えば、ラベルは、所望の推奨のための所望のテキスト及び／又はグラフィックコン
テンツを含むことができる。別の例では、ラベルは、転帰とそのような外科的意思決定ジ
ャンクションで行われる特定の動作との間の相関関係に基づいてもよい。
図２９は、開示された実施形態と整合する、外科的処置のための決定支援のための例示
的なプロセス２９００を示すフローチャートである。プロセス２９００は、１つ以上のマ
イクロプロセッサなどの少なくとも１つのプロセッサを使用して実行することができる。
幾つかの実施形態では、プロセス２９００は必ずしも例示されたステップに限定されず、
本明細書に記載された様々な実施形態のいずれかもプロセス２９００に含まれ得る。当業
者であれば分かるように、プロセス２９００のステップは、例えばシステム１４０１の構
成要素を含むシステムによって実行されてもよい。幾つかの実施形態では、持続性コンピ
ュータ可読媒体は、少なくとも１つのプロセッサによって実行されるときにプロセス２９
００に従って外科的処置のための決定支援を提供するための動作を少なくとも１つのプロ
セッサに実行させる命令を含む。幾つかの実施形態では、プロセス２９００は、外科的処
置中にリアルタイムで実行されてもよい。プロセス２９００に記載されたステップに基づ
いて、外科医又は他のユーザは、正の転帰で外科的処置をより効果的且つより効率的に実
行すること、及び／又は負の転帰を回避することができる。
ステップ２９０２において、プロセスは、開示された実施形態と整合して一例として前
述したように、手術室内の患者に対して外科医によって実行された外科的処置のビデオ映
像を受信することを含むことができる。図１は、手術室、外科医、患者、及び外科的処置
のビデオ映像を捕捉するように構成されたカメラの一例を示す図である。ビデオ映像は、
内視鏡又は体内カメラ（例えば、腔内ビデオの画像）の少なくとも一方からの画像を含む
ことができる。
ステップ２９０４において、プロセスは、開示された実施形態と整合して一例として前
述したように、外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構
造にアクセスすることを含むことができる。幾つかの実施形態では、データ構造にアクセ
スすることは、ネットワークを介して、及び／又は接続を介してデバイスからデータ構造
のデータを受信することを含むことができる。データ構造にアクセスすることは、開示さ
れた実施形態と整合して、データ記憶装置からデータを検索することを含むことができる
。
ステップ２９０６において、プロセスは、開示された実施形態と整合して一例として前
述したように、画像関連データを使用して受けたビデオ映像を解析して、外科的意思決定
ジャンクションの存在を決定することを含むことができる。受けたビデオ映像を解析する
ことは、開示された実施形態と整合して、受けたビデオ映像の１つ以上のフレームに対し
て画像解析の方法を実行することを含むことができる。受けビデオ映像を解析することは
、外科的意思決定ジャンクションの存在を決定するようにトレーニングされたモデルを実
装することを含むことができる。意思決定ジャンクションは、前述のように、不適切なア
クセス又は露出、解剖学的構造の退縮、解剖学的構造又は流体漏れの誤った解釈、及び／
又は任意の他の手術事象を含むことができる。幾つかの実施形態では、意思決定ジャンク
ションは、共通の手術状況の後に異なる動作経過が発生した複数の異なる履歴的な処置の
解析によって決定され得る。幾つかの実施形態では、意思決定ジャンクションの存在を決
定することは、解剖学的構造の検出された生理的応答及び／又は手術器具に関連する動き
に基づくことができる。
ステップ２９０８において、プロセスは、一例として前述したように、少なくとも１つ
のデータ構造において、転帰と意思決定ジャンクションにおいて行われる特定の動作との
間の相関関係にアクセスすることを含むことができる。前述したように、特定の動作は、
開示された実施形態と整合して、正の又は負の転帰と相関し得る。相関関係にアクセスす
ることは、相関関係を生成すること、メモリから相関関係を読み出すこと、及び／又はデ
ータ構造内の相関関係にアクセスする任意の他の方法を含むことができる。
特定の動作は、単一のステップ又は複数のステップ（例えば、外科医によって実行される
複数の動作）を含むことができる。特定の動作は、更なる外科医を手術室に呼び出すこと
を含むことができる。
ステップ２９１０において、プロセスは、一例として前述したように、開示された実施
形態と整合して、特定の動作を実行するための推奨をユーザに出力することを含むことが
できる。推奨を出力することは、本実施形態と整合して、意思決定ジャンクション及びア
クセスされた相関関係の決定された存在に基づいてもよい。幾つかの実施形態では、推奨
を出力することは、手術室のインタフェースを介して出力を提供することを含むことがで
きる。幾つかの実施形態では、外科医は手術用ロボットであり、推奨は手術用ロボットへ
の表示の（例えば、特定の動作を実行する、及び／又は特定の動作を回避する表示）形態
で提供されてもよい。一例として、推奨は、医療検査を行う推奨を含むことができる。推
奨（例えば、第１の推奨、第２の推奨、及び／又は更なる推奨）は、決定された意思決定
ジャンクションの存在、アクセスされた相関関係、及び医療検査の受信結果に基づいて、
特定の動作を実行又は回避するためのユーザへの推奨を含むことができる。推奨は、更な
る外科医の名前及び／又は他の識別子（例えば、従業員ＩＤ）を含むことができる。推奨
は、現在の手術状況の説明、予防措置又は是正措置の表示、及び／又は危険ゾーンマッピ
ングを含むことができる。一例では、前述のように、推奨は、患者から炎症性流体、血液
、胆汁、及び／又は他の流体を除去するための外科用排液管の推奨される配置を含み得る
。特定の処置が行われた場合又は行われなかった場合に所望の手術転帰が生じる又は生じ
ない信頼度レベルは、推奨の一部であり得る。推奨は、外科医のスキルレベル、相関及び
バイタルサイン、並びに／又は意思決定ジャンクションの前の外科的処置で発生した手術
事象（すなわち、以前の手術事象）に基づくことができる。幾つかの実施形態では、推奨
は、患者の組織の状態及び／又は患者の臓器の状態に基づくことができる。別の例として
、特定の動作の推奨は、一例として前述したように、瘻孔の作成を含むことができる。
開示されたシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の
特徴、患者の状態、及び他の特徴を識別し、外科的接触力を推定することを含むことがで
きる。処置中に接触力が大きすぎると、患者の健康に悪影響を及ぼす可能性がある。逆に
、不十分な接触力は、幾つかの処置では最適以下の結果をもたらし得る。任意の所定の手
術状況において適用するのに適切なレベルの力を評価することは困難であり、患者にとっ
て最適以下の結果をもたらす可能性がある。したがって、外科的接触力を効率的に、効果
的に、リアルタイムに又は術後に決定する非従来的な手法が必要とされている。
本開示によれば、外科的処置中に解剖学的構造上の接触力を推定するための方法が開示
される。接触力は、外科的処置中に１つ以上の解剖学的構造（例えば、患者の組織、四肢
、器官、又は他の解剖学的構造）に対して外科医又は手術器具によって及ぼされる任意の
力を含むことができる。本明細書で使用される「接触力」という用語は、その力が重量の
単位（例えば、適用されるキログラム又はポンド）、力の単位（例えば、ニュートン）、
面積に加えられる圧力（例えば、１平方インチ当たりに適用されるポンド）、張力（例え
ば、牽引力）、又は圧力（例えば、押圧力）のいずれを特徴とするかにかかわらず、解剖
学的構造に加えられ得る任意の力を指す。
接触力は、多くの方法で直接的又は間接的に加えられ得る。例えば、接触力は、外科医
が解剖学的構造（例えば、外科医の手によって適用される）と直接接触することによって
加えられてもよく、又は外科医の手の中の外科用器具、手術器具又は他の構造を通して加
えられてもよい。外科医が手術用ロボットである場合、ロボットは、ロボット構造（ロボ
ットアーム、指、把持部）を介して、直接に、又はロボットによって操作される器具、器
具、もしくは他の構造を介して接触力を及ぼすことができる。
接触力は、垂直（すなわち、直交）力、せん断力、及び／又は垂直力とせん断力との組
み合わせを含むことができる。より一般的には、接触力は、手術中に患者の身体の任意の
部分に加えられる任意の力又は圧力を含み得る。
本実施形態と整合して、接触力を推定することは、スケールに従って実際の接触力の大
きさの推定値を生成するために画像及び／又は手術ビデオを解析することを含むことがで
きる。画像解析による力の推定は、組織への影響を観察するための組織／モダリティイン
タフェースの検査を含むことができる。例えば、モダリティが胆嚢などの臓器を圧迫する
鉗子などの医療機器である場合、力印加の位置に適用されるマシンビジョン技術は、印加
された力を反映する臓器の動き及び／又は変化を明らかにすることができる。力の印加が
以前に観察された以前の処置からの履歴ビデオ映像に基づいて、現在のビデオに対して印
加された力の大きさの推定を行うことができる。力の大きさの推定値は、測定単位（例え
ば、ポンド、ポンド／平方インチ、ニュートン、キログラム、又は他の物理単位）を含む
ことができ、又は相対スケールに基づくことができる。相対指標は、カテゴリ指標、数値
指標、及び／又は任意の他の指標を含むことができる。カテゴリ指標は、力のレベル（例
えば、高力、中力、低力、又は任意の他の数のレベルなどの複数のレベルを含むスケール
）を反映することができる。接触力は、１～１０のスケールなどの数値スケールに従って
推定することができる。更に、力は、離散的な時点で推定されてもよく、又は連続的に推
定されてもよい。幾つかの実施形態では、接触力の推定値は、接触位置、接触角、及び／
又は接触力の任意の他の特徴の推定値を含むことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、手術室内の
少なくとも１つの画像センサから、外科的処置の画像データを受信することを含むことが
できる。画像センサは、カメラ及び／又は任意の他の画像捕捉デバイスを含むことができ
る。画像センサは、画像データ及び／又はビデオデータを収集するように構成されてもよ
く、例えば、患者の上方又は患者内（例えば、体内腔で）など、任意の手術室内のどこに
配置されてもよい。画像データは、手術ビデオ、ビデオクリップ、ビデオ映像、画像フレ
ーム、連続ビデオ、及び／又はビデオから導出された任意の他の情報を含むことができる
。例えば、画像データは、記憶フォーマットにかかわらず、ピクセルデータ、色データ、
彩度データ、及び／又は画像を表す任意の他のデータを含むことができる。画像データは
、時間データ（例えば、画像がセンサによって取り込まれた時間）、位置データ、外科的
処置に関する情報（例えば、患者識別子、外科的処置の名前）、及び／又は任意の他のメ
タデータを含むことができる。幾つかの実施形態では、外科的処置の画像データは、手術
室内の画像センサによって収集され、手術室内、手術室の近く、又は手術室から離れたデ
ータ構造（例えば、図１７Ａのデータ構造）に記憶され得る。力の推定はリアルタイムで
行われ得るが、データがデータ構造から検索されるときなど、非リアルタイムで推定され
てもよい。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、受信した画像デー
タを解析して、画像データに反映された解剖学的構造の識別情報を決定することを含むこ
とができる。受信した画像データを解析することは、本実施形態と整合する任意の画像解
析方法を含むことができる。画像及び／又は映像内の解剖学的構造を識別するためのアル
ゴリズムの幾つかの非限定的な例が上述されている。受信した画像データを解析すること
は、例えば、物体認識、画像分類、ホモグラフィ、ポーズ推定、動き検出、及び／又は他
の画像解析方法の方法を含むことができる。受信した画像データを解析することは、開示
された実施形態と整合する、トレーニング例を使用してトレーニングされた機械学習モデ
ルを実装することを含む人工知能方法を含むことができる。例えば、受信した画像データ
は、例えば上述したように、解剖学的構造を検出及び／又は識別するためにトレーニング
例を使用してトレーニングされた機械学習モデルを使用して解析することができる。例え
ば、受信した画像データは、画像及び／又はビデオから解剖学的構造を検出及び／又は識
別するように構成された人工ニューラルネットワークを使用して解析することができる。
トレーニング例は、解剖学的構造を描写するものとしてラベル付け又は分類された画像デ
ータ（例えば、膵臓を描写するものとして分類された画像）を含むことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、受信した画像デー
タを解析して解剖学的構造の状態を決定することを含むことができる。一般に、解剖学的
構造の状態は、解剖学的構造の状態又は特性を示す任意の情報を指すことができる。例え
ば、状態は、解剖学的構造が正常であるか、異常であるか、損傷しているか、漏出してい
るか、水和しているか、脱水しているか、酸素化しているか、後退しているか、拡大して
いるか、収縮しているか、存在しているか、不在であるか、及び／又は任意の他の評価を
反映し得る。状態は、解剖学的構造の活力の指標、酸素化のレベル、水和のレベル、苦痛
のレベル、及び／又は解剖学的構造の任意の他の状態の指標を含むことができる。一例で
は、解剖学的構造の状態は、数学的空間内の点に対応する数値のベクトルとして表すこと
ができる。幾つかの例では、機械学習モデルは、画像及び／又はビデオから解剖学的構造
の状態を識別するためにトレーニング例を使用してトレーニングされてもよく、また、ト
レーニングされた機械学習モデルは、受信した画像データを解析し、解剖学的構造の状態
を決定するために使用されてもよい。そのようなトレーニング例の一例は、解剖学的構造
の状態を示すラベルと共に、解剖学的構造の画像及び／又はビデオを含むことができる。
幾つかの実施形態では、解析は、状態を示す解剖学的構造の特性に基づいて状態を決定
することができる。非限定的な例として、解析は、組織の色、解剖学的構造のテクスチャ
、心拍数、肺容量、及び／又は解剖学的構造の任意の他の特性を決定することができる。
幾つかの実施形態では、推奨は、心拍数モニタデータ、脳行動データ、温度データ、血圧
データ、血流データ、漏れデータ、及び／又は任意の他の健康データなどのセンサデータ
に反映された特性に基づくことができる。解剖学的構造のそのような特性は、解剖学的構
造の状態を示すことができ、既知の状態と相関させることができる。例えば、脳行動の低
下は血管閉塞を示す可能性があり、又は頭蓋圧力の上昇は脳出血を示す可能性がある。そ
のような相関関係は、図１７Ａのデータ構造などのデータ構造に記憶することができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、解剖学的構造に関
連する接触力閾値を選択することを含むことができる。接触力閾値は、最小又は最大接触
力を含むことができる。幾つかの実施形態では、接触力閾値を選択することは、閾値を上
回る又は下回る力を加えることに関連する可能性のある転帰を示す情報に基づくことがで
きる。接触力閾値の選択は、推奨される接触力を示すデータ（例えば、最大安全力又は最
小有効力）に基づいてもよい。例えば、接触力閾値を選択することは、対応する接触力閾
値を含む解剖学的構造のテーブルに基づくことができる。表は、解剖学的構造の状態の表
示を含むことができる。幾つかの実施形態では、選択された接触力閾値は、解剖学的構造
の決定された状態に基づくことができる。例えば、選択された接触力閾値は、解剖学的構
造が漏れている、特定の色を有する、特定のレベルの収縮を有する、及び／又は任意の他
の状態を示す情報に基づいて増減することができる。別の例では、解剖学的構造の第１の
決定された状態に応じて、第１の接触力閾値を選択することができ、また、解剖学的構造
の第２の決定された状態に応じて、第２の接触力閾値を選択することができ、第２の接触
力閾値は第１の接触力閾値とは異なり得る。更に別の例では、解剖学的構造の決定された
状態は、（上述したように）ベクトルとして表されてもよく、また、接触力閾値は、決定
された状態のベクトル表示の関数を使用して計算されてもよい。幾つかの例では、選択さ
れた接触力閾値は、接触力のタイプ（例えば、張力、圧縮など）の関数であり得る。例え
ば、第１のタイプの接触力に応じて、選択された接触力閾値が第１の値を有してもよく、
また、第２のタイプの接触力に応じて、選択された接触力閾値が第２の値を有してもよく
、第２の値は第１の値と異なってもよい。
幾つかの実施形態では、接触力閾値は、引張レベル（すなわち、解剖学的構造を引っ張
る力のレベル）又は退縮レベルに関連付けられてもよい。退縮は、組織、器官、及び／又
は外科医が見るための他の解剖学的構造を露出させるための組織の移動、牽引、及び／又
は反対牽引を含み得る。幾つかの実施形態では、接触力閾値は、圧力レベル（例えば、解
剖学的構造を押す接触力の量）及び／又は圧縮レベルに関連付けられてもよい。圧迫レベ
ルは、解剖学的構造（例えば、接触力による解剖学的構造のサイズの縮小）の圧迫の程度
又は量を含み得る。
本実施形態と整合して、接触力を選択することは、解剖学的構造と医療機器との間の接
触態様に関するデータに基づくことができる。例えば、幾つかの実施形態では、解剖学的
構造の幾つかの領域は他の領域よりも大きな力感受性を有し得るため、接触力閾値を選択
することは、解剖学的構造と医療機器との間の接触位置に基づいてもよい。開示された実
施形態と整合して、受信した画像データを解析することによって位置を決定することがで
きる。したがって、選択された接触力閾値は、解剖学的構造と医療機器との間のある接触
位置で、他の位置よりも高くなり得る。また、接触力閾値を選択することは、解剖学的構
造と医療機器との間の接触角に基づいてもよい。接触角は、解剖学的構造と医療機器との
間の入射角を識別するために画像データを解析することによって決定され得る。例えば、
姿勢推定アルゴリズムを使用して、画像データを解析し、解剖学的構造の姿勢及び／又は
医療機器の姿勢を決定することができ、また、解剖学的構造と医療機器との間の角度は、
決定された姿勢に基づいて決定することができる。別の例では、機械学習アルゴリズムは
、解剖学的構造と医療機器との間の角度を決定するためにトレーニング例を使用してトレ
ーニングされてもよく、また、トレーニングされた機械学習モデルは、画像データを解析
し、解剖学的構造と医療機器との間の角度を決定するために使用されてもよい。そのよう
なトレーニング例の例は、解剖学的構造と医療機器との間の角度を示すラベルと共に、解
剖学的構造及び医療機器を描写する画像を含むことができる。幾つかの例では、選択され
た接触力閾値は、接触力に関連する接触角の関数であり得る。例えば、第１の接触角に応
じて、選択された接触力閾値が第１の値を有してもよく、また、第２の接触角に応じて、
選択された接触力閾値が第２の値を有してもよく、第２の値は第１の値と異なってもよい
。
幾つかの実施形態では、接触力閾値を選択することは、モデル（例えば、統計的モデル
及び／又は機械学習モデル）を実装及び／又は使用することを含むことができる。例えば
、接触力閾値を選択することは、解剖学的構造の状態を入力として回帰モデルに提供する
こと、及び、回帰モデルの出力に基づいて接触力閾値を選択することを含むことができる
。幾つかの実施形態では、回帰モデルは、対応する状態及び手術転帰を有する解剖学的構
造に加えられた接触力を含む履歴データに適合させることができる。
幾つかの実施形態では、接触力閾値を選択することは、トレーニング例を使用してトレ
ーニングされた機械学習モデルを使用して接触力閾値を選択することを含むことができる
。例えば、機械学習モデルは、入力データに基づいて接触力閾値を選択するためにトレー
ニング例を使用してトレーニングされてもよい。そのような入力データとしては、外科的
処置の画像データ、解剖学的構造を描写する画像データ、外科的処置のタイプ、外科的処
置の段階、動作のタイプ、解剖学的構造のタイプ、解剖学的構造の状態、外科医のスキル
レベル、患者の状態などを挙げることができる。そのようなトレーニング例の一例は、所
望の接触力閾値を示すラベルと共にサンプル入力データを含むことができる。一例では、
所望の接触力閾値は、既知の医療ガイドラインに基づいて選択することができる。別の例
では、所望の接触力閾値を手動で選択することができる。更に別の例では、所望の接触力
閾値は、例えば、正の転帰と高度に相関する（例えば、履歴的なデータに従って正の転帰
を保証する、履歴的なデータに従って選択された症例比で正の転帰を保証するなど）接触
力閾値を選択するために、履歴的事例における又は履歴的事例のグループの所定のサブセ
ットにおける転帰と印加された接触力との相関関係の解析に基づいて選択されてもよい。
更に、幾つかの例では、トレーニングされた機械学習モデルを使用して、特定の事例（例
えば、特定の外科的処置、外科的処置の特定の段階、外科的処置における特定の動作、特
定の外科医、特定の患者、特定の解剖学的構造など）に対応するそのような入力データを
解析し、接触力閾値を選択することができる。例えば、トレーニングされた機械学習モデ
ルを使用して、外科的処置の画像データ及び／又は解剖学的構造の決定された識別情報及
び／又は解剖学的構造の決定された状態及び／又は外科的処置の現在の状態の特性を解析
して、接触力閾値を選択することができる。
幾つかの実施形態では、機械学習モデルは、画像及び／又はビデオから接触特性（接触
位置、接触角、接触力など）を決定するためにトレーニング例を使用してトレーニングさ
れてもよく、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し、実際の
接触位置、実際の接触角、実際の接触力などの、外科的処置で発生する実際の接触の特性
を決定するために使用されてもよい。トレーニング例の一例は、接触位置、接触角、接触
力などの特定の接触の特性を示すラベルと共に特定の接触を示す画像データを含むことが
できる。例えば、トレーニング例は、センサ（例えば、医療機器に埋め込まれたセンサ）
を使用して収集された接触力の測定値を含むことができる。別の例では、トレーニング例
は、医療記録（例えば、記録に記憶された接触力の推定値、センサデータ又は外科医の意
見に基づく推定値）に含まれる接触力の推定値を含むことができる。
幾つかの実施形態では、接触力閾値を選択することは、外科医によって実行される１つ
以上の動作に基づくことができる。例えば、方法は、例えば動作認識アルゴリズムを使用
して、外科医（例えば、人間又は手術用ロボット）によって実行された動作を識別するた
めに画像データを解析することを含むことができる。一例では、選択された接触力閾値は
、外科医によって実行された１つ以上の動作、接触力、及び転帰を相関させる履歴データ
に基づくことができる。例えば、正の転帰と高度に相関する（例えば、履歴的なデータに
従って正の転帰を保証する、履歴的なデータに従って選択された症例比において正の転帰
を保証するなど）接触力閾値を選択することができる。一例では、データ構造は、異なる
動作の接触力閾値を指定することができる。一例では、接触力閾値は、開示された実施形
態と整合する、外科医のスキルのレベルに基づくことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、解剖学的構造上の
実際の接触力の表示を受信することを含むことができる。実際の接触力の表示は、外科医
（例えば、人間又はロボット外科医）と解剖学的構造との間の接触に直接的又は間接的に
関連付けられ得る。例えば、実際の接触力は、医療機器と解剖学的構造との間（例えば、
解剖学的構造と反応器、メス、外科用クランプ、ドリル、骨カッター、ノコギリ、ハサミ
、鉗子、及び／又は任意の他の医療機器との間）の接触に関連付けられ得る。幾つかの実
施形態では、実際の力は、引張レベル、退縮レベル、圧力レベル、及び／又は圧縮レベル
に関連付けられてもよい。表示は、開示された実施形態と整合する、接触のレベルを含む
接触力の推定値を含むことができる。より一般的には、実際の力の表示は、本明細書で説
明するように、手術事象中に加えられる任意の接触力の任意の表示を含むことができる。
一例では、実際の接触力の表示は、接触角の表示、接触力の大きさ又はレベルの表示、及
び接触力のタイプの表示などのうちの少なくとも１つを含むことができる。
幾つかの実施形態では、実際の接触力の表示は、画像データの画像解析に基づいて推定
することができる。接触力の表示を推定するための画像データの画像解析は、本明細書に
開示される画像解析の任意の方法を含むことができる。幾つかの実施形態では、接触力の
表示は、接触力を解剖学的構造（例えば、解剖学的構造の変形）の変化、外科医もしくは
外科用器具の位置、外科医及び／もしくは外科用器具の動き、並びに／又は手術事象の任
意の他の特徴と関連付ける画像解析方法に基づくことができる。幾つかの実施形態では、
実際の接触力の表示は、接触力を手術事象の特徴と関連付ける履歴データに適合する回帰
モデルを使用して推定することができる。また、実際の接触力の表示は、例えば上述のよ
うに機械学習モデルを使用して推定することができる。
幾つかの実施形態では、実際の接触力の表示は、力を直接的又は間接的に測定するセン
サデータに基づくことができる。例えば、実際の力は、医療機器又は手術用ロボットと解
剖学的構造との間の接触位置で力を測定する力センサ（例えば、医療機器又はロボットに
埋め込まれた力センサ）に基づくことができる。例示的な実施形態では、実際の接触力の
表示は、手術器具又は他の医療機器から受信されてもよい。同様に、実際の接触力の表示
を手術用ロボットから受信することができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、実際の接触
力の表示を選択された接触力閾値と比較することを含むことができ、これは、実際の接触
力が選択された接触力閾値を超えるか超えないかを決定することを含むことができる。実
際の接触力の表示を選択された接触力閾値と比較することは、実際の接触力と選択された
接触力閾値との差、比、対数、及び／又は任意の他の関数を計算することを含むことがで
きる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、実際の接触力の表
示が選択された接触力閾値を超えるという決定に基づいて通知を出力することを含むこと
ができる。通知を出力することは、デバイスに推奨を送信すること、インタフェースに通
知を表示すること、音を再生すること、触覚フィードバックを提供すること、及び／又は
過剰な力が加えられたことを個人に通知する任意の他の方法を含むことができる。通知は
、手術室内の装置、外科医に関連付けられた装置（例えば、人間の外科医及び／又は手術
用ロボット）、及び／又は任意の他のシステムに出力され得る。例えば、通知を出力する
ことは、コンピュータ、モバイルデバイス、外部デバイス、手術用ロボット、及び／又は
任意の他のコンピューティングデバイスに通知を送信することを含むことができる。別の
例では、通知を出力することは、通知をファイルにロギングすることを含むことができる
。
幾つかの実施形態では、通知は、接触力が選択された接触力閾値を超えたか超えなかっ
たことを指定する情報を含むことができる。幾つかの実施形態では、通知は、接触角の表
示、接触力の大きさ、接触位置、及び／又は接触力に関する他の情報を含む、選択された
接触力及び／又は実際の接触力の推定値に関する情報を含むことができる。
幾つかの例では、実際の力の表示に従って、異なる強度（すなわち、重大度又は大きさ
）の通知を提供することができる。例えば、通知を出力することは、実際の力の表示と選
択された力閾値との間の差、又は実際の力の表示と複数の閾値との比較に基づいてもよい
。通知は、実際の力の強度のレベル、又は実際の力と選択された力閾値との間の差の強度
に基づくことができる。幾つかの実施形態では、通知は、強度のレベルを指定する情報を
含むことができる。
本実施形態と整合して、外科的処置を行う外科医に警告を提供するなどのために、外科
的処置中にリアルタイムで通知を出力することができる。幾つかの実施形態では、通知は
、力印加を変更するための手術用ロボットへの命令を含むことができる。例示的な例とし
て、通知は、接触力の大きさ、角度、及び／又は位置を変更するための命令を含むことが
できる。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、受信した画
像データから、外科的処置が臨時措置を必要とし得る戦闘モードにあると決定することを
含むことができる。そのような状況では、典型的な接触力閾値を保留することができる。
受信した画像データから、外科的処置が戦闘モードであり得ると決定することは、本明細
書に開示されるように、画像解析の方法を使用することを含むことができる。例えば、ビ
デオに示される特定の生理的応答及び／又は手術行動は、外科的処置が戦闘モードにある
ことを示すことができる。戦闘モード決定は、統計モデル（例えば、回帰モデル）及び／
又は機械学習モデル、例えば、戦闘モードにある及びそうでない手術の部分を描写するも
のとして分類された手術ビデオの履歴例を使用して、戦闘モードを認識するようにトレー
ニングされたモデルを使用することを含むことができる。幾つかの実施形態では、通知は
、戦闘モード中に中断されてもよい。例えば、通知の出力は、無期限に、又は少なくとも
外科的処置が戦闘モードではない可能性があると決定されるまで遅延され得る。幾つかの
実施形態では、通知の出力を所定の期間（例えば、数分又は任意の他の期間）遅延させる
ことができる。他の例では、出力される通知のタイプは、外科的処置を受けている患者が
戦闘モードにあるかどうかに基づいて決定されてもよい。幾つかの例では、接触力閾値は
、外科的処置を受けている患者が戦闘モードにあるかどうかに基づいて選択されてもよい
。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、受信した画
像データから、外科医が接触力通知を無視するモードで手術している可能性があると決定
することを含むことができる。接触力通知は、接触力に関する情報（例えば、実際の接触
力及び／又は選択された接触力閾値）を含む通知を含んでもよい。幾つかの実施形態では
、外科医が接触力通知を無視するモードで手術している可能性があるという決定は、１つ
以上の接触力通知に続く実際の接触力の１つ以上の表示を解析することを含むことができ
る。例えば、実施形態は、１つ以上の接触力通知の出力後に、１つ以上の実際の接触力表
示が選択された接触力閾値を超えるか超えないかを決定することを含むことができる。受
信した画像データから、外科医が接触力通知を無視するモードで手術している可能性があ
ると決定することは、画像解析の方法を使用することを含むことができ、統計モデル（例
えば、回帰モデル）及び／又は機械学習モデルを使用することを含むことができる。その
ような機械学習モデルは、接触力通知を無視している及び無視していない外科医として分
類された手術ビデオの履歴例を使用して、外科医が接触力通知を無視するモードで手術し
ている可能性があることを決定するようにトレーニングされ得る。
実施形態は、外科医が接触力通知を無視するモードで手術している可能性があるという
決定に基づいて、少なくとも一時的に更なる接触力通知を保留する（遅延させる）ことを
含むことができる。幾つかの実施形態では、接触力通知は、所定の期間（例えば、数分又
は任意の他の期間）後に再開することができる。
図３０は、開示された実施形態と整合する、解剖学的構造上の接触力を推定するための
例示的なプロセス３０００を示すフローチャートである。プロセス３０００は、一つ以上
のマイクロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つ
かの実施形態では、プロセス３０００は、必ずしも図示されたステップに限定されず、本
明細書に記載された様々な実施形態のいずれかがプロセス３０００に含まれてもよい。当
業者であれば分かるように、プロセス３０００のステップは、例えばシステム１４０１の
構成要素を含むシステムによって実行されてもよい。幾つかの実施形態では、持続性コン
ピュータ可読媒体は、少なくとも１つのプロセッサによって実行されるときにプロセス３
０００に従って解剖学的構造上の接触力を推定するための動作を少なくとも１つのプロセ
ッサに実行させる命令を含む。幾つかの実施形態では、プロセス３０００は、外科的処置
中にリアルタイムで実行されてもよい。
ステップ３００２において、プロセスは、様々な例を通して前述したように、手術室内
の少なくとも１つの画像センサから、外科的処置の画像データを受信することを含むこと
ができる。画像センサは、任意の手術室のどこに配置されてもよく、画像データは、任意
のビデオデータ、画像を表すデータ、及び／又はメタデータを含んでもよい。
ステップ３００４において、プロセスは、実施例を通して前述したように、開示された
実施形態と整合して、解剖学的構造の識別情報を決定し、画像データに反映された解剖学
的構造の状態を決定するために、受信した画像データを解析することを含むことができる
。受信した画像データを解析することは、前述したように、任意の画像解析方法を含むこ
とができ、また、解剖学的構造の状態は、解剖学的構造の状態又は特性を示す任意の情報
を指すことができる。前述したように、受信した画像データを解析することは、画像デー
タ内の解剖学的構造の状態を決定するためにトレーニング例を使用してトレーニングされ
た機械学習モデルを使用することを含むことができる。
ステップ３００６において、プロセスは、解剖学的構造に関連する接触力閾値を選択す
ることを含むことができ、また、選択された接触力閾値は、解剖学的構造の決定された状
態に基づく。より詳細に前述したように、接触力閾値を選択することは、推奨される接触
力を示すデータ（例えば、最大安全力又は最小有効力）に基づくことができる。接触力閾
値を選択することは、接触力の位置及び／又は角度に基づくことができ、モデル（例えば
、回帰モデル及び／又は機械学習モデルなどの統計モデル）を実装することを含むことが
できる。更に、対応する接触力閾値を含む解剖学的構造のテーブルを、接触力閾値の選択
の一部として使用することができる。接触力閾値は、引張レベル又は圧縮レベルに関連付
けられてもよい。幾つかの例では、接触力閾値を選択することは、トレーニング例を使用
してトレーニングされた機械学習モデルを使用して接触力閾値を選択することを含むこと
ができる。更に、接触力閾値を選択することは、外科医によって実行される１つ以上の動
作に基づくことができる。接触力閾値の選択の他の非限定的な例は、上述されている。
ステップ３００８において、プロセスは、医療機器と解剖学的構造との間の接触に関連
する力などで、解剖学的構造に作用する実際の接触力の表示を受信すること（例えば、前
述のように）を含むことができる。実際の力は、引張レベル、退縮レベル、圧力レベル、
及び／又は圧縮レベルに関連付けられ得る。実際の接触力の表示は、画像データの画像解
析に基づいて推定することができる。実際の接触力の表示は、直接的又は間接的に力を測
定するセンサデータに基づくことができる。幾つかの実施形態では、実際の接触力の表示
は、画像データの画像解析に基づいて推定されてもよく、及び／又は手術器具、手術用ロ
ボット、又は他の医療機器から受信された実際の接触力の表示であってもよい。
ステップ３０１０において、プロセスは、前述したように、実際の接触力の表示を選択
された接触力閾値と比較することを含むことができる。実際の接触力の表示を選択された
接触力閾値と比較することは、実際の接触力と選択された接触力閾値との差、比、対数、
及び／又は任意の他の関数を計算することを含むことができる。
ステップ３０１２において、プロセスは、前述のように、実際の接触力の表示が選択さ
れた接触力閾値を超えるという決定に基づいて通知を出力することを含むことができる。
通知の出力は、進行中の外科的処置中にリアルタイムで実行することができる。例えば、
通知を出力することは、外科的処置を行う外科医にリアルタイム警告を提供すること、又
は手術用ロボットに命令を提供することを含むことができる。
開示されるシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の
特徴、患者の状態、及び他の特徴を識別し、予測される手術転帰を更新することを含むこ
とができる。外科的処置の過程にわたって、状態が変化し得るか、又は外科的処置の予測
転帰を変化させる事象が発生し得る。手術を実行するための従来の手法は、手術事象が発
生するときに手術事象に基づいてリアルタイムで予測転帰を更新するための決定支援シス
テムを欠いている可能性がある。結果として、外科医は、可能性のある手術転帰を認識し
ていない可能性があり、それにより、転帰を改善し得る、又は転帰の悪化を回避し得る動
作を実行することができない可能性がある。したがって、本開示の態様は、予測された手
術転帰を効率的、効果的、及びリアルタイムで更新する非従来的な手法に関する。
本開示によれば、外科的処置中の予測転帰を更新するためのシステム、方法及びコンピ
ュータ可読媒体が提供され得る。例えば、画像データを解析して予測転帰の変化を検出す
ることができ、是正措置を外科医に伝達することができる。予測転帰は、関連する信頼度
又は確率（例えば、尤度）で起こり得る転帰を含み得る。例えば、予測転帰は、合併症、
健康状態、回復期間、死亡、身体障害、内出血、手術後の入院、及び／又は任意の他の手
術事象を含み得る。幾つかの態様において、予測転帰は、スコア（例えば、下部尿路症状
（ＬＵＴＳ）転帰スコアなど）を含む。より一般的には、予測転帰は、外科的処置に関連
する任意の健康指標を含み得る。
幾つかの実施形態では、予測転帰は、患者が外科的処置後に退院した後、指定された時
間間隔内に外科的処置を受けている患者の入院の可能性などの、入院の可能性を含み得る
。入院は、外科的処置に関連する健康状態に基づいてもよく、又は他の要因に基づいても
よい。例えば、術後合併症（例えば、腫脹、出血、アレルギー反応、縫合糸の破裂、及び
／又は任意の他の合併症）のために入院が起こり得る。幾つかの実施形態では、入院の可
能性は、画像データの解析に基づいて（例えば、本明細書に記載の画像解析方法を使用し
て）決定され得る。更に、幾つかの実施形態では、外科的処置を受けている患者の情報に
基づいて、入院の可能性を決定することができる。例えば、入院の可能性は、患者の特性
（例えば、年齢、以前の健康状態、家族歴、バイタルサイン、及び／又は他の患者関連デ
ータ）に基づいてもよい。入院は、異なる時間間隔（例えば、２４時間以内、１週間以内
、１ヶ月以内、又は別の期間内の再入院）に関して規定され得る。
幾つかの態様において、予測転帰は、統計的モデル及び／又は機械学習モデルなどの少
なくとも１つのモデルに基づくことができる。例えば、予測転帰は、外科的処置に関連す
る情報（例えば、患者の特性及び／又は手術事象）と履歴的な転帰との間の統計的相関関
係に基づいてもよい。予測転帰は、トレーニング例を使用して（例えば、履歴データに基
づくトレーニング例を使用して）転帰を外科的処置に関連する情報（例えば、患者の特性
及び／又は手術事象）と関連付けるようにトレーニングされた機械学習モデルによって生
成され得る。
開示された実施形態は、開示された実施形態と整合して、外科的処置の画像を捕捉する
ように構成された少なくとも１つの画像センサから、外科的処置中の第１の事象に関連す
る画像データを受信することを含むことができる。第１の事象に関連する画像データは、
外科的処置に関連する静止画像、画像フレーム、クリップ、及び／又はビデオ関連データ
を含むことができる。第１の事象は、開示された実施形態と一致する任意の手術事象を含
むことができる。例示的な実施形態では、第１の事象は、外科医（例えば、人間又はロボ
ット外科医）によって実行される動作を含むことができる。別の例では、第１の事象は、
動作に対する生理的応答を含み得る。更に別の例では、第１の事象は、解剖学的構造の状
態の変化を含み得る。そのような手術事象の幾つかの他の非限定的な例が上述されている
。本明細書で例として説明するように、第１の事象に関連する画像データをメモリ及び／
又はデータ構造で受信することができる。
画像センサは、本明細書で同様に説明される任意の画像センサ（例えば、カメラ又は他
の検出器）を含むことができる。幾つかの実施形態では、画像センサは手術室に配置され
てもよい。例えば、画像センサは、外科的処置を受けている患者の上方又は外科的処置を
受けている患者内に配置されてもよい（例えば、腔内カメラ）。
開示された実施形態は、開示された実施形態と整合して、第１の事象に関連する受信画
像データに基づいて、外科的処置に関連する予測転帰を決定することを含むことができる
。予測転帰は、上述したように、外科的処置に関連する任意の健康転帰を含み得る。例え
ば、これは、第１の事象と何らかの方法で相関する事象を含むことができる。予測は、バ
イナリ（例えば、破裂をもたらす可能性がある対破裂をもたらす可能性がない）であって
もよく、相対的な信頼度又は確率（例えば、破裂の可能性のパーセント；１～５段階で破
裂する可能性；以下同様）を提供してもよい。決定された予測転帰は、術後の健康状態（
例えば、ＬＵＴＳ転帰スコア）などの転帰の特性を反映するスコアを含み得る。予測転帰
は、信頼度又は確率と関連付けられ得る。
前段落で述べたように、第１の事象は、任意の術中発生を含み得る。例えば、第１の事
象は、外科医によって実行された動作、患者の特性の変化、解剖学的構造の状態の変化、
及び／又は任意の他の状況を含むことができる。幾つかの実施形態では、事象自体の指標
に加えて、事象が発生した時間の指標も受信されるように、第１の事象に関連する少なく
とも１つの時点が受信されてもよい。この時点は、ビデオタイムライン上のカウンタと一
致してもよく、又は事象が発生した絶対時間又は相対時間を反映する任意の他のマーカ又
は指標を含んでもよい。
幾つかの実施形態は、第１の事象などの事象を識別することを含むことができる。その
ような識別は、例えば、医療機器、解剖学的構造、及び／又は医療機器と解剖学的構造と
の間の相互作用の検出に基づいてもよい。検出は、本開示を通して説明したビデオ解析技
術を使用して行うことができる。例えば、上記のように機械学習モデルを用いて画像デー
タを解析することにより、事象を特定してもよい。
幾つかの実施形態では、予測転帰を決定することは、手術器具と解剖学的構造との間の
相互作用を識別すること、及び識別された相互作用に基づいて予測転帰を決定することを
含み得る。例えば、手術器具と解剖学的構造との間の相互作用は、例えば上述したように
、画像データを解析することによって識別することができる。更に、一例において、第１
の特定された相互作用に応じて、第１の転帰が予測されてもよく、また、第２の特定され
た相互作用に応じて、第２の転帰が予測されてもよく、第２の転帰は第１の転帰と異なり
得る。別の例では、機械学習モデルは、手術器具と解剖学的構造との間の相互作用に基づ
いて外科的処置の転帰を予測するためにトレーニング例を使用してトレーニングされても
よく、また、トレーニングされた機械学習モデルは、識別された相互作用に基づいて転帰
を予測するために使用されてもよい。そのようなトレーニング例の一例は、所望の予測転
帰を示すラベルと共に、手術器具と解剖学的構造との間の相互作用の表示を含むことがで
きる。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の意見など）などに基
づくことができる。
幾つかの実施形態では、予測転帰を決定することは、データ構造に以前に記憶されたデ
ータなどの画像データに描写された外科医のスキルのレベルに基づくことができる。外科
医のスキルのレベルは、例えば上述のように、画像データの解析に基づいて決定すること
ができる。例えば、顔認識アルゴリズムを画像データに適用して、既知の外科医を識別す
ることができ、対応するスキルのレベルをデータベースなどのデータ構造から読み出すこ
とができる。幾つかの実施形態では、外科医のスキルのレベルは、画像データで識別され
た一連の事象に基づいて（例えば、１つ以上の動作を実行する時間の長さに基づいて、手
術中に画像データ内で検出された患者応答に基づいて、及び／又は外科医のスキルのレベ
ルを示す他の情報に基づいて）決定され得る。一例では、第１の決定されたスキルレベル
に応じて、第１の転帰が予測されてもよく、また、第２の決定されたスキルレベルに応じ
て、第２の転帰が予測されてもよく、第２の転帰は第１の転帰と異なり得る。別の例では
、外科医のスキルレベルに基づいて外科的処置の転帰を予測するために機械学習モデルが
トレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学
習モデルは、決定されたスキルレベルに基づいて転帰を予測するために使用され得る。そ
のようなトレーニング例の一例は、所望の予測転帰を示すラベルと共に、外科医のスキル
レベルの表示を含み得る。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の
意見など）などに基づくことができる。
また、予測転帰を決定することは、場合によっては、画像データに描写された解剖学的
構造の状態に基づいてもよい。例えば、予測転帰は、臓器状態と相関する履歴的な転帰に
基づいて決定され得る。例えば、状態の悪い臓器との合併症は、状態の良い臓器との合併
症よりも大きい可能性がある。解剖学的構造の状態は、幾つかの実施形態では、本開示を
通して説明したように、画像データの解析に基づいて決定することができる。解剖学的構
造の状態は、一時的又は慢性であってもよく、及び／又は外科的処置によって治療されて
いる状態又は別個の医学的状態などの医学的状態を含んでもよい。解剖学的構造の状態は
、色、テクスチャ、サイズ、水和のレベル、及び／又は任意の他の観察可能な特性によっ
て示され得る。一例では、解剖学的構造の第１の決定された状態に応じて、第１の転帰が
予測されてもよく、また、解剖学的構造の第２の決定された状態に応じて、第２の転帰が
予測されてもよく、第２の転帰は第１の転帰と異なり得る。別の例では、機械学習モデル
は、解剖学的構造の状態に基づいて外科的処置の転帰を予測するためにトレーニング例を
使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、解剖
学的構造の決定された状態に基づいて転帰を予測するために使用されてもよい。そのよう
なトレーニング例の一例は、所望の予測転帰を示すラベルと共に、解剖学的構造の状態の
表示を含み得る。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の意見など
）などに基づくことができる。
これに加えて又は代えて、予測転帰は、解剖学的構造に対する推定接触力に基づいて決
定され得る。例えば、解剖学的構造に過度の力が加えられると、好ましい転帰が起こりに
くくなる可能性がある。例えば、上述したように、画像データを解析することにより、接
触力を推定してもよい。別の例では、接触力は、例えば上述のようにセンサから受けるこ
とができる。一例では、第１の推定接触力に応じて、第１の転帰が予測されてもよく、ま
た、第２の推定接触力に応じて、第２の転帰が予測されてもよく、第２の転帰は第１の転
帰と異なり得る。別の例では、機械学習モデルは、解剖学的構造上の接触力に基づいて外
科的処置の転帰を予測するためにトレーニング例を使用してトレーニングされてもよく、
また、トレーニングされた機械学習モデルは、推定された接触力に基づいて転帰を予測す
るために使用されてもよい。そのようなトレーニング例の一例は、所望の予測転帰を示す
ラベルと共に、接触力の表示を含み得る。所望の予測転帰は、履歴データの解析、ユーザ
入力（専門家の意見など）などに基づくことができる。
予測転帰の決定は、様々な方法で行われ得る。そのような方法は、履歴的な手術映像及
び履歴的な手術ビデオに対応する手術転帰を示す情報に基づいて予測転帰を決定するよう
にトレーニングされた機械学習モデルを使用することを含むことができる。例えば、第１
の事象の受信画像データは、画像及び／又はビデオから外科的処置の転帰を予測するよう
に構成された人工ニューラルネットワークを使用して解析することができる。別の例とし
て、予測転帰を決定することは、受信された画像データに基づいて第１の事象を識別する
こと、及び、転帰を予測するために第１の事象に関する情報にモデル（例えば、統計的モ
デル又は機械学習モデル）を適用することを含むことができる。そのようなモデルは、第
１の事象に関する情報（例えば、第１の事象の識別子、第１の事象の持続時間、及び／又
は外科的接触力などの第１の事象の他の特性）及び／又は外科的処置に関する情報（例え
ば、患者の特性、外科医の技術レベル、又は他の情報）を含む入力を受信することができ
る。上記の例などの入力に基づいて、システムは予測転帰を出力として返すことができる
。
開示された実施形態は、開示された実施形態と整合して、外科的処置の画像を捕捉する
ように構成された少なくとも１つの画像センサから、外科的処置中の第２の事象に関連す
る画像データを受信することを含むことができる。第２の事象は、第１の事象の後に発生
してもよく、第１の事象とは異なっていてもよい。第２の事象に関連付けられた少なくと
も１つの時点が受信され得る。第２の事象に関連するデータを捕捉するための画像センサ
は、第１の事象に関連するデータを捕捉するために使用される画像センサと同じであって
も異なっていてもよい。
開示された実施形態は、第２の事象に関連付けられた受信画像データに基づいて、予測
転帰の変化を決定し、予測転帰を閾値未満に低下させることを含むことができる。例えば
、予測転帰を決定するために上記の方法のいずれかを使用して、新たな予測転帰が、決定
されて、以前に決定された予測転帰（例えば、第１の事象に関連する受信画像データに基
づいて決定された予測転帰）と比較され、それにより、予測された転帰の変化が決定され
得る。別の例において、新たな予測転帰は、以前に決定された予測転帰（例えば、第１の
事象に関連する受信画像データに基づいて決定された予測転帰）及び第２の事象に関連す
る受信画像データの解析に基づいて決定され得る。例えば、機械学習モデルは、以前の予
測転帰並びに画像及び／又はビデオに基づいて新しい予測転帰を決定するためにトレーニ
ング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデル
は、新しい予測転帰を決定するために、以前に決定された予測転帰及び第２の事象に関連
する受信された画像データを解析するために使用され得る。そのようなトレーニング例の
例は、新たな予測転帰を示すラベルと共に、以前に決定された予測転帰及び事象を描写す
る画像データを含み得る。別の例では、マルコフモデルを使用して、以前に決定された予
測転帰を更新し、新しい予測転帰を得ることができ、この場合、マルコフモデルにおける
遷移は、第２の事象に関連する受信画像データを解析することによって決定された値に基
づくことができる。前述したように、予測転帰は、術後健康状態（例えば、ＬＵＴＳ転帰
スコア）などの転帰の特性を反映する確率、信頼度、及び／又はスコアを含み得る。予測
転帰の変化を決定することは、そのような信頼度、確率又はスコアの変化を含み得る。幾
つかの例において、予測転帰の変化は、新たな予測転帰を計算することなく決定され得る
。例えば、機械学習モデルは、以前の予測転帰並びに画像及び／又はビデオに基づいて予
測転帰の変化を決定するためにトレーニング例を使用してトレーニングされてもよく、ま
た、トレーニングされた機械学習モデルは、予測転帰の変化の発生を決定するために、以
前に決定された予測転帰及び第２の事象に関連する受信された画像データを解析するため
に使用され得る。そのようなトレーニング例の例は、予測転帰が第２の事象に応じて変化
したかどうかを示すラベルと共に、以前に決定された予測転帰及び事象を表す画像データ
を含むことができる。
幾つかの実施形態では、信頼度、確率及び／又はスコアの変化は、予測転帰を閾値（例
えば、閾値信頼度、閾値確率、閾値スコア）未満に低下させ得る。そのような閾値は、人
工知能方法を使用して自動的に生成されてもよく、ユーザ入力などに基づいて決定されて
もよい。閾値は、負の転帰（例えば、入院、合併症、死亡、又は任意の望ましくない事象
など）又は正の転帰に対応し得る。
幾つかの例示的な実施形態では、予測転帰の変化を決定することは、２つのマーカ間の
経過時間に基づき得る。例えば、閾値を超える切開と縫合との間の期間は、感染の可能性
の増加の指標として役立ち得る。例えば、第１の経過時間に応じて、予測転帰の変化が決
定されてもよく、また、第２の経過時間に応じて、予測転帰の変化が決定されなくてもよ
い。
幾つかの例では、２つ以上の変数は、例えば統計的方法を使用して、機械学習方法を使
用してなど、正の又は負の転帰のいずれかに相関させることができる。変数は無限であっ
てもよい。そのような変数は、患者、外科医の状態、処置の複雑度、合併症、使用される
器具、２つ以上の事象間の経過時間、又は予測転帰に何らかの直接的又は間接的な影響を
及ぼし得る任意の他の変数又は変数の組み合わせに関連し得る。そのような変数の１つは
、流体漏れ（例えば、大きさ、持続時間、又は決定されたソース）であり得る。例えば、
予測転帰の変化を決定することは、出血の大きさに基づくことができる。流体漏れ事象（
例えば、出血の大きさ、出血源）の特徴は、画像データの解析に基づいて決定することが
できる。
開示される実施形態は、画像データに描写された外科医のスキルレベルを決定すること
を含むことができ、また、予測転帰の変化を決定することは、スキルレベルに基づくこと
ができる。例えば、予測転帰の変化を決定することは、外科医の技能のレベルの更新され
た推定値に基づくことができる（例えば、画像解析は、外科医が１つ以上の間違いをした
と決定し、スキルレベルの推定値を減少させることができる）。別の例として、以前に決
定された予測転帰は、第１の外科医のスキルレベルに基づくことができ、また、予測転帰
の変化は、支援するために介入する第２の外科医のスキルレベルに基づくことができる。
スキルレベルは、本明細書に記載されるように、様々な方法で決定され得る（例えば、上
述のような画像解析を介して、及び／又はデータ構造からスキルレベルを読み出すことに
よって）。
更なる例として、予測転帰の変化を決定することは、解剖学的構造の少なくとも一部の
色、テクスチャ、サイズ、状態、又は他の外観もしくは特性の１つ以上の変化に基づいて
もよい。転帰予測に使用され得る解剖学的構造の状態の例は、活力、酸素化のレベル、水
和のレベル、苦痛のレベル、及び／又は解剖学的構造の状態の任意の他の指標であり得る
。
解剖学的構造の状態は、既知の状態の例でトレーニングされた機械学習モデルなどの様
々な方法で決定することができる。幾つかの実施形態では、物体認識モデル及び／又は画
像分類モデルは、履歴例を使用してトレーニングされ、解剖学的構造の状態を決定するた
めに実装され得る。トレーニングは、監督されてもよく、及び／又は監督されなくてもよ
い。解剖学的構造の状態を決定するための方法の幾つかの他の非限定的な例は、上述され
ている。
実施形態は、解剖学的構造の状態及び／又は任意の他の入力データに基づいて予測転帰
を決定する様々な方法を含み得る。例えば、回帰モデルは、解剖学的構造の状態及び転帰
を含む履歴データに適合させることができる。より一般的には、履歴データを使用して、
解剖学的構造の状態、患者の特性、外科医のスキルレベル、推定接触力、流体漏れ源、流
体漏れ特性の程度、及び／又は外科的処置に関する任意の他の入力データを含む様々な入
力データの１つ以上に基づき、回帰モデルを適合させて転帰を予測することができる。転
帰は、例えば、外科的処置に関する入力データと転帰データとの間の相関関係に基づくこ
とを含め、他の既知の統計解析に基づいて予測され得る。
開示された実施形態は、開示された実施形態と整合して、以前の外科的処置に基づいて
画像関連データのデータ構造にアクセスすることを含むことができる。アクセスは、デー
タ構造からのデータの読み出し及び／又は書き込みを含むことができる。幾つかの実施形
態では、これは、図１７に示すようなデータ構造又は図６に示すようなデータ構造を使用
して達成することができる。画像関連データは、画像から直接的又は間接的に導き出され
た任意のデータを含むことができる。このデータは、例えば、患者特性、外科医特性（例
えば、スキルレベル）、及び／又は外科的処置特性（例えば、外科的処置の識別子、外科
的処置の予測持続時間）を含むことができる。画像関連データは、履歴的な術中手術事象
と履歴的な転帰との間の統計的関係を記述する相関又は他のデータを含むことができる。
幾つかの実施形態では、データ構造は、推奨される動作、別の動作方針、及び／又は手術
転帰の確率、尤度、又は信頼度を変更し得る他の動作に関するデータを含み得る。例えば
、データ構造は、外科的処置の中断と改善された転帰とを相関させる情報を含むことがで
きる。実装に応じて、データ構造は、外科医のスキルレベル、別の外科医からの支援の要
求、及び転帰を相関させる情報を含むことができる。同様に、データ構造は、手術事象、
動作（例えば、是正措置）、及び転帰の間の関係を記憶することができる。本開示の全体
にわたって記載したように、多数の相関モデルを予測に使用することができるが、例示的
な予測モデルは、履歴画像関連データ（例えば、是正措置に関する情報）及び転帰に適合
する統計モデルを含むことができ、また、履歴例に基づくトレーニングデータを使用して
画像関連データに基づいて転帰を予測するようにトレーニングされた機械学習モデルを含
む。
開示された実施形態は、アクセスされた画像関連データに基づいて、推奨される是正措
置を識別することを含むことができる。例えば、推奨される是正措置は、外科医が異なる
器具又は処置を使用するための推奨、薬物を投与すること、別の外科医からの支援を要求
すること、外科的処置を修正すること、外科的処置を一休みすること（例えば、注意力を
高めるために）、及び／又は転帰に影響を及ぼし得る任意の他の措置を行うことを含むこ
とができる。推奨される是正措置が支援を要求する提案を含む場合、提案は、外科医が手
術外科医よりも高い又は異なるレベルの経験で呼び出されることを推奨することができる
。外科的処置の修正を提案する是正措置は、以前は外科的処置の一部ではなかった更なる
動作を実行するか、又は特定の予測される動作を回避する提案を含むことができる。
是正措置を識別することは、画像関連データから少なくとも部分的に導き出された、是
正措置が予測転帰を閾値を超える可能性があるという表示に基づいてもよい。例えば、デ
ータ構造は、履歴的な是正措置と予測転帰との間の相関関係を含むことができ、また、是
正措置は、相関関係に基づいて識別することができる。幾つかの実施形態では、是正措置
を識別することは、是正措置及び手術転帰の履歴例を使用して是正措置を識別するように
トレーニングされた機械学習モデルを使用することを含むことができる。トレーニングは
、監督されてもよく、又は監督されなくてもよい。例えば、機械学習モデルは、是正措置
を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニ
ング例は、是正措置及び手術転帰の履歴例の解析に基づいてもよい。
開示された実施形態は、推奨された是正措置を出力することを含むことができる。推奨
される是正措置を出力することは、推奨をデバイスに送信すること、通知をインタフェー
スに表示させること、音を再生すること、触覚フィードバックを提供すること、及び／又
は手術室、外科医に関連付けられたデバイス（例えば、人間の外科医及び／又は手術用ロ
ボット）、及び／又は任意の他のシステムに、所望のメッセージを伝達する任意の他の方
法を含むことができる。例えば、推奨される是正措置を出力することは、コンピュータ、
モバイルデバイス、外部デバイス、手術用ロボット、及び／又は任意の他のコンピューテ
ィングデバイスに通知を送信することを含むことができる。
更に、幾つかの実施形態では、方法は、予測転帰が閾値を下回ることに応じて、外科的
処置に関連する手術室に関連付けられるスケジューリング記録を更新することを含むこと
ができる。例えば、手術の予測される持続時間の変更は、現在の手術の遅延を説明するた
めに次の患者の手術が時間内に押し戻されるように、スケジューリング記録の自動変更を
トリガすることができる。より一般的には、任意の予測転帰の変化は、予測される持続期
間の増加又は減少に関連し得る。幾つかの実施形態では、データ構造（例えば、図１７の
データ構造）は、予測転帰を手術のそれぞれの予測される持続時間と相関させることがで
きる。本実施形態と整合して、予測転帰に基づいて予測持続時間を生成するためのモデル
（例えば、回帰モデル又はトレーニングされた機械学習モデル）を使用することができる
。したがって、予測転帰変化が手術の持続時間に影響を与える場合、手術スケジュールは
、手術室スケジュールの変更を後続の医療スタッフに知らせるために自動的に更新され得
る。更新は、電子手術室スケジューリングボードに自動的に表示されてもよい。これに代
えて又は加えて、更新は、電子メール又は他のメッセージングアプリを介して、影響を受
けた医療専門家に関連付けられたアカウントにブロードキャストされてもよい。スケジュ
ーリングは、上述のように予測転帰と相関し得るが、他の要因とも相関し得る。例えば、
予測転帰が変化しない場合でも、外科的処置のビデオ映像に対して実行されたマシンビジ
ョン解析は、手術が予定よりも遅れている（又は予定よりも進んでいる）ことを明らかに
することができ、前述したように、予定の更新が自動的に押し出され得る。
図３１は、開示された実施形態と整合する、手術中の予測転帰を更新するための例示的
なプロセス３１００を示すフローチャートである。プロセス３１００は、一つ以上のマイ
クロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つかの実
施形態では、プロセス３１００は、必ずしも図示されたステップに限定されず、本明細書
に記載された様々な実施形態のいずれかがプロセス３１００に含まれてもよい。当業者で
あれば分かるように、プロセス３１００のステップは、例えばシステム１４０１の構成要
素を含むシステムによって実行されてもよい。幾つかの実施形態では、持続性コンピュー
タ可読媒体は、少なくとも１つのプロセッサによって実行されるときにプロセス３１００
に従って予測転帰を更新するための動作を少なくとも１つのプロセッサに実行させる命令
を含む。幾つかの実施形態では、プロセス３１００は、外科的処置中にリアルタイムで実
行されてもよい。
ステップ３１０２において、プロセスは、開示された実施形態と整合して、外科的処置
の画像を捕捉するように構成された少なくとも１つの画像センサから、外科的処置中の第
１の事象に関連する画像データを受信することを含むことができる。画像センサは、前述
したように、手術室（例えば、患者の上方、患者内）のどこに配置されてもよい。
ステップ３１０４において、プロセスは、例を用いて前述して図示したように、第１の
事象に関連する受信画像データに基づいて、外科的処置に関連する予測転帰を決定するこ
とを含んでもよい。前述したように、例えば、予測転帰を決定することは、手術器具と解
剖学的構造との間の相互作用を識別すること、及び、識別された相互作用に基づいて予測
転帰を決定することを含み得る。予測転帰を決定することは、画像データに描写された外
科医のスキルレベルに基づいてもよい。幾つかの実施形態では、予測転帰を決定すること
は、画像データに描写された解剖学的構造の状態に基づくことができ、履歴的な手術ビデ
オ及び履歴的な手術映像に対応する手術転帰を示す情報に基づいて予測転帰を決定するよ
うにトレーニングされた機械学習モデルを使用することを含むことができる。予測転帰の
一例は、入院の可能性を含み得る。他の例は以前に提供された。
ステップ３１０６において、プロセスは、例を用いて前述して図示したように、外科的
処置の画像を捕捉するように構成された少なくとも１つの画像センサから、外科的処置中
の第２の事象に関連する画像データを受信することを含むことができる。
ステップ３１０８において、プロセスは、同じく前述したように、第２の事象に関連付
けられた受信画像データに基づいて、予測転帰の変化を決定し、予測転帰を閾値未満に低
下させることを含んでもよい。例えば、予測転帰の変化を決定することは、外科的処置に
おける特定の時点と第２の事象との間の経過時間に基づいてもよい。他の例では、予測転
帰の変化を決定することは、出血の大きさ、解剖学的構造の少なくとも一部の色の変化、
解剖学的構造の少なくとも一部の外観の変化に基づいてもよい。解剖学的構造の状態を決
定することは、トレーニング例を使用してトレーニングされた機械学習モデルを使用して
解剖学的構造の状態を決定することを含むことができる。
ステップ３１１０において、プロセスは、前述のように及び例を用いて示されたように
、以前の外科的処置に基づいて画像関連データのデータ構造にアクセスすることを含むこ
とができる。上述したように、図１７に示すようなデータ構造にアクセスすることができ
る。これは一例にすぎず、開示された実施形態と整合して、他の多くのタイプ及び形態の
データ構造を使用することができる。
ステップ３１１２において、プロセスは、アクセスされた画像関連データに基づいて、
前述のように推奨される是正措置を識別することを含むことができる。例えば、推奨され
る是正措置は、外科的プロセスを変更する、異なる手術器具を使用する、別の外科医に連
絡する、外科的処置を修正する、休憩を取る、及び／又は外科的処置の転帰に影響を及ぼ
し得る任意の他の措置をとるための推奨を含むことができる。是正措置を識別することは
、是正措置及び手術転帰の履歴例を使用して是正措置を識別するようにトレーニングされ
た機械学習モデルを使用することを含むことができる。
ステップ３１１４において、プロセスは、前述したように、推奨される是正措置を出力
することを含むことができる。
開示されるシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の
特徴、患者の状態、及び流体漏れを検出するための他の特徴を識別することを含むことが
できる。手術中、流体が漏れることがある。例えば、血液、胆汁、又は他の流体が解剖学
的構造から漏れる可能性がある。多くの場合、流体漏れの発生源又は程度は未知であり得
る。チェックされないままにしておくと、流体漏れは負の健康転帰を引き起こす可能性が
ある。したがって、本開示の態様は、手術中の流体漏れの発生源及び／又は程度を自動的
且つ効果的に決定する非従来的な手法に関する。
本開示によれば、手術中の流体漏れの解析のためのシステム、方法、及びコンピュータ
可読媒体を提供することができる。解析は、進行中の外科的処置中にリアルタイムで実行
することができる。実施形態は、流体漏れに関連する情報を外科医にリアルタイムで提供
することを含むことができる。例えば、流体漏れの解析は、外科医が流体漏れの大きさ及
び／又は原因を識別できるようにし、それによって外科医が流体漏れを軽減する是正措置
を実行できるようにする。流体漏れは、臓器又は組織の内部から組織又は臓器の外部の空
間へ（例えば、血管の内側から外側へ、胆嚢の内側から外側へなど）の流体の漏れを含み
得る。漏れ流体としては、血液、胆汁、糜粥、尿、及び／又は任意の他のタイプの流体を
挙げることができる。
手術中の流体漏れの解析は、開示された実施形態と整合して、外科的処置の腔内ビデオ
をリアルタイムで受信することを含むことができる。腔内ビデオは、開示された実施形態
と整合して、患者内に配置された画像センサによって捕捉され得る。例えば、患者の外部
に配置された画像センサは、腔内ビデオ（例えば、手術中に腔が開かれた場合）を収集す
ることができる。腔内ビデオをリアルタイムで受信することは、ネットワークを介して、
又は画像センサから直接ビデオを受信することを含むことができる。
本実施形態と整合して、腔内ビデオは、外科的処置の様々な態様を描写することができ
る。例えば、腔内ビデオは、外科的処置の一部又は全部を実行する手術用ロボット及び／
又は人間の外科医を描写することができる。腔内ビデオは、開示された実施形態と整合す
る、医療機器、解剖学的構造、流体漏れ状況、手術事象、及び／又は外科的処置の任意の
他の態様を描写することができる。
手術中の流体漏れの解析は、開示された実施形態と整合して、腔内ビデオのフレームを
解析して、腔内ビデオの異常な流体漏れ状況を決定することを含み得る。フレームを解析
することは、異常な流体漏れを決定するために画像解析の任意の方法を使用することを含
むことができる。例えば、画像を解析することは、ホモグラフィの方法を使用して、画像
位置合わせ技術を適用して、及び／又は他の画像処理方法を適用して、差分画像（例えば
、次の画像のピクセルデータから前の画像のピクセルデータを減算することによって生成
された画像）を解析することを含むことができる。解析は、物体認識モデル、機械学習モ
デル、回帰モデル、及び／又は任意の他のモデルを使用することができる。そのようなモ
デルは、履歴例を含むトレーニングデータを使用して異常な流体漏れ状況を決定するよう
にトレーニングすることができる。例えば、機械学習モデルは、異常な流体漏れ状況を検
出し、及び／又は画像及び／又はビデオから異常な流体漏れ状況の特性を決定するために
トレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学
習モデルは、腔内ビデオを解析して、異常な流体漏れ状況及び／又は異常な流体漏れ状況
の特性を決定するために使用され得る。そのような特性の幾つかの非限定的な例は、流体
のタイプ、流体漏れの大きさ、流体漏れの位置源、流体漏れに関連する解剖学的構造など
を含むことができる。そのようなトレーニング例の一例は、異常な流体漏れ状況が腔内画
像及び／もしくは腔内ビデオに描写されているかどうかを示すラベルと共に、並びに／又
は腔内画像及び／もしくは腔内ビデオに描写された異常な流体漏れ状況の特性を示すラベ
ルと共に、腔内画像及び／又は腔内ビデオを含み得る。
異常な流体漏れ状況（すなわち、異常な流体漏れ事象である）を決定することは、流体
漏れの様々な態様を決定することを含むことができ、解剖学的構造内又はその上の流体の
存在、閾値を超える流体漏れの大きさ（例えば、所定の分位点にわたる大きさ、幾つかの
標準逸脱にわたる大きさ）、流体のタイプ（例えば、血液、胆汁、尿、糜粥、及び／又は
他のタイプ）、流体漏れの位置源、及び／又は流体漏れ状況の任意の他の特徴を含む。一
部の流体漏れは正常（例えば、正常な流体漏れに関連する位置において、特定の手術事象
についての正常な流体のタイプなどの閾値の大きさを下回る）であり得るが、他は異常（
例えば、閾値の大きさを超えて、望ましくない位置にあり、正常な流体漏れに関連する手
術事象、及び／又は異常な流体タイプに接続されていない）である。
漏れ源を決定するための開示された技術は、破裂した解剖学的器官、血管、及び／又は
他の解剖学的構造を識別することを含むことができる。破裂した解剖学的構造は、流体漏
れ特性（例えば、大きさ、流量、流れ方向、色、又は他の流体漏れ特性）の解析に基づい
て識別することができる。破裂した解剖学的構造は、任意の器官、血管（例えば、動脈）
、通路（例えば、気管）、組織（例えば、ライニング）、及び／又は任意の他の解剖学的
構造を含むことができる。本明細書で使用される破裂という用語は、解剖学的構造に対す
る任意の破損、裂傷、穿刺、又は他の損傷を指し得る。
幾つかの実施形態では、識別された破裂した解剖学的構造は、手術室（例えば、図１に
示す部屋）の画像センサによって捕捉された腔内ビデオの画像フレームで見ることができ
る。これに代えて又は加えて、破裂した解剖学的構造は、腔内ビデオのフレームでは見え
ない場合があり（例えば、それは他の解剖学的構造によって不明瞭にされ得る）、フレー
ムに反映された情報（例えば、流体漏れ状況に関する情報）に基づいて識別される場合が
ある。破裂した構造を識別することは、回帰モデルを使用することによって、機械学習モ
デルを使用することによって、物体認識の方法を実行することによって、及び／又は画像
解析の任意の他の方法によって、腔内ビデオの前のフレームを後続のフレームと比較する
ことを含むことができる。例えば、機械学習モデルは、腔内画像及び／又は腔内ビデオか
ら破裂した解剖学的器官、血管、及び／又は他の解剖学的構造を識別するためにトレーニ
ング例を使用してトレーニングすることができ、また、トレーニングされた機械学習モデ
ルは、腔内ビデオを解析して破裂した解剖学的器官、血管、及び／又は他の解剖学的構造
を識別するために使用することができる。そのようなトレーニング例の一例は、破裂した
解剖学的器官、血管、及び／又は他の解剖学的構造が腔内画像及び／又は腔内ビデオにつ
いて識別されるべきかどうかを示すラベルと共に、腔内画像及び／又は腔内ビデオを含む
ことができる。
実施形態は、腔内ビデオのフレームを解析して、血液飛散及び血液飛散の少なくとも１
つの特性を識別することを含むことができる。血液飛散は、血液の存在及び／又は血液の
漏出を指し得る。血液飛沫の識別は、腔内ビデオの色データに基づいてもよい。幾つかの
実施形態では、血液飛散の特性は、血液飛散の供給源、血液飛散の強度（速度）、血液飛
散の色、血液飛散の粘度、及び／又は血液飛散の体積（大きさ）に関連付けられ得る。よ
り一般的には、血液飛散の特性は、血液飛散の任意の特性を含むことができる。例えば、
機械学習モデルは、血液飛散を識別し、及び／又は画像及び／又はビデオから血液飛散の
特性を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレ
ーニングされた機械学習モデルは、腔内ビデオを解析して血液飛散及び／又は血液飛散の
特性を識別するために使用され得る。血液飛散のそのような特性の幾つかの非限定的な例
としては、血液飛散の供給源、血液飛散の強度、血液飛散の速度、血液飛散の色、血液飛
散の粘度、血液飛散の体積、血液飛散の大きさなどを挙げることができる。そのようなト
レーニング例の一例は、血液のはねが腔内画像及び／又は腔内ビデオに描かれているかど
うかを示すラベルと共に、並びに／或いは腔内画像及び／又は腔内ビデオに描かれている
血液のはねの特性を示すラベルと共に、腔内画像及び／又は腔内ビデオを含むことができ
る。
実施形態は、腔内ビデオのフレームを解析して、血液のスプレーを識別すること、及び
／又は血液のスプレーの少なくとも１つの特性を識別することを含むことができる。幾つ
かの例では、血液のスプレーを識別することは、腔内ビデオの色データ、腔内ビデオ内の
動きなどに基づいてもよい。幾つかの実施形態では、血液スプレーの特性は、血液スプレ
ーの供給源、血液スプレーの強度（速度）、スプレーされた血液の色、スプレーされた血
液の動き（例えば、速度、方向など）、及び／又はスプレーされた血液の体積（大きさ）
に関連し得る。より一般的には、血液のスプレーの特性は、スプレーされた血液及び／又
はスプレーの任意の特性を含み得る。例えば、機械学習モデルは、血液のスプレーを識別
し、及び／又は画像及び／又はビデオから血液のスプレーの特性を決定するためにトレー
ニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデ
ルは、腔内ビデオを解析して血液のスプレー及び／又は血液のスプレーの特性を識別する
ために使用され得る。そのようなトレーニング例の一例は、血液のスプレーが腔内画像及
び／又は腔内ビデオに描写されているかどうかを示すラベルと共に、及び／又は腔内画像
及び／又は腔内ビデオに描写された血液のスプレーの特性を示すラベルと共に、腔内画像
及び／又は腔内ビデオを含み得る。
更に、腔内ビデオのフレームを解析することは、異常な流体漏れ状況の特性を決定する
ことを含むことができる。例えば、特性は、流体漏れの体積、流体漏れの色、流体漏れに
関連する流体のタイプ、流体漏れ速度、流体の粘度、流体の反射率、及び／又は流体の任
意の他の観察可能な特徴に関連付けられ得る。更に、フレームを解析することは、流体漏
れ状況に関連する流量を決定すること、流体漏れ状況に関連する流体損失の量を決定する
こと、及び／又は流体漏れ状況の任意の他の特性を決定することを含むことができる。流
体又は流体の漏れ状況の特性は、色相、彩度、ピクセル値、及び／又は他の画像データに
基づいて決定することができる。より一般的には、流体の特性又は流体漏れ状況を決定す
ることは、本明細書に開示されるような任意の画像解析方法を含むことができる。例えば
、流体の特性又は流体漏れ状況を決定することは、上述したように、トレーニングされた
機械学習モデルの使用を含むことができる。
本実施形態と整合して、流体漏れ解析は、腔内ビデオを記憶すること、及び、現在のビ
デオの異常な漏れ状況を決定する際に、例えば開示された実施形態と整合する比較を介し
て、記憶された腔内ビデオの以前の履歴フレームを解析して漏れ源を決定することを含む
ことができる。腔内ビデオは、メモリ、データ構造（例えば、図１７Ａのデータ構造）な
どに記憶することができる。例えば、漏れた流体の量が選択された量を上回る（例えば、
異常な漏れ状況を正常な漏れ状況と区別するために使用される選択された閾値を上回る）
ときに異常な漏れ状況が決定されてもよく、その時点で、漏れ発生源は現在のビデオでは
見えない可能性がある（例えば、漏れ源は、漏れた流体によって覆われてもよく、現在の
ビデオの現在の視野外にあってもよく、以下同様である）。しかしながら、例えば上述し
たように、漏れ源は、記憶された腔内ビデオの以前の履歴フレームで見ることができ、ま
た、記憶された腔内ビデオの以前の履歴フレームを解析して漏洩源を識別することができ
る。別の例では、異常な漏れ状況は、第１のアルゴリズムを使用して現在のビデオを解析
することによって決定することができ、その時点で、漏れ源は現在のビデオでは見えない
可能性がある。そのような決定に応じて、第２のアルゴリズム（より計算集約的であるか
、そうでなければ第１のアルゴリズムとは異なり得る）を使用し、記憶された腔内ビデオ
の以前の履歴フレームを解析して、記憶された腔内ビデオの以前の履歴フレームで見るこ
とができる漏れ源を識別することができる。更に別の例では、トリガ（例えば、ユーザ入
力、現在のビデオ内の事象検出、外科的処置を受けている患者に接続されたセンサからの
入力など）は、異常な漏れ状況を決定するために現在のビデオの解析を引き起こすことが
できる。更に、幾つかの例では、そのような決定に応じて、例えば上述したように、保存
された腔内ビデオの以前の履歴フレームを解析して漏れ源を識別することができる。
漏れ源を決定するために前のフレームを解析することは、異なる時点（例えば、２つ以
上の時点で）におけるフレームを比較することを含むことができる。例えば、実施形態は
、差分画像を（例えば、２つの異なる時点におけるフレームのピクセルデータを減算する
ことによって）生成すること、及び、生成された差分画像を解析することを含むことがで
きる。別の例では、フレームを比較することは、異なる時点における流体漏れ状況の特性
を決定すること、及び、特性の変化を決定することを含むことができる。
実施形態は、異常な流体漏れ状況が決定されたときに是正措置を導入することを含むこ
とができる。是正措置は、異常な流体漏れ状況に関連する任意の通知、提案された応答、
又は対抗措置を含むことができる。是正措置は、流体漏れの様々な特性にかかわらず同じ
であってもよく、又は流体漏れの様々な特性に基づいて変化してもよい。後者の状況では
、是正措置を導入することは、様々なオプションから是正措置を選択することを含むこと
ができる。したがって、後者の状況では、是正措置の選択は、流体漏れ状況の決定された
特性又は特性に依存し得る。例えば、決定された出血の程度が特定の閾値を下回り、出血
源が識別された場合、関連する是正措置は、出血源に圧力を加えるための推奨又は命令で
あり得る。より有意な破裂が検出された場合、是正措置は、出血源を縫合するための推奨
又は命令を含み得る。漏れに関連する流体のタイプ、漏れの程度、及び漏れ状況の特性に
応じて、多くの異なる潜在的な是正措置が可能であり得る。適切な是正措置の選択を支援
するために、データ構造は、流体漏れ状況、是正措置、及び転帰の間の関係を記憶するこ
とができる。更に、履歴的な流体漏れ状況、是正措置、及び転帰に基づいて統計モデルを
適合させることができ、モデル出力に基づいて是正措置を選択することができる。これに
代えて又は加えて、選択は、履歴的な流体漏れ状況、是正措置、及び転帰に基づいて是正
措置を選択するようにトレーニングされた機械学習モデルの出力に基づくことができる。
他の例では、データ構造は、流体漏れ状況と推奨される是正措置との間の関係を記憶する
ことができ、また、是正措置は、流体漏れ状況の特性及び／又は特性に基づいてデータ構
造から選択することができる。そのようなデータ構造は、ユーザ入力に基づくことができ
る。例えば、特定された漏れ源を有する流体漏れ状況に応じて、第１の是正措置を選択す
ることができ（手術用ロボットを使用して漏れ源を密封するなど）、一方、特定された漏
れ源を有さない流体漏れ状況に応じて、第２の是正措置を選択することができる（ユーザ
に通知を提供するなど）。
本実施形態と整合して、是正措置を導入することは、漏れ源の通知を提供することを含
むことができる。通知は、破裂した血管、破裂した臓器、及び／又は任意の他の破裂した
解剖学的構造などの漏出源を識別するメッセージを含むことができる。例えば、通知は、
識別された漏れ解剖学的構造、流体漏れ特性（例えば、流体漏れの体積、流量、流体のタ
イプ、期間）、及び／又は流体漏れ状況に関連する任意の他の情報を含むことができる。
更に、通知は、漏洩を是正するために、又はそうでなければ漏洩に応答するためにとるこ
とができる提案された一連の措置を含むことができる。別の例では、通知は、例えば、外
科的処置から捕捉された画像及び／又はビデオ上のオーバーレイとして、拡張現実デバイ
スの指標などとして、漏れ源の視覚指標を含むことができる。通知を提供することは、デ
バイスに通知を送信すること、通知をインタフェースに表示させること、音を再生するこ
と、触覚フィードバックを提供すること、及び／又は上述したような情報を出力する任意
の他の方法を含むことができる。手術室内の装置（例えば、図１に示すように）、外科医
に関連付けられた装置（例えば、人間の外科医及び／又は手術用ロボット）、及び／又は
任意の他のシステムに通知を提供することができる。例えば、通知を出力することは、コ
ンピュータ、モバイルデバイス、外部デバイス、手術用ロボット、及び／又は任意の他の
コンピューティングデバイスに通知を送信することを含むことができる。
幾つかの実施形態では、是正措置は、ロボットに命令を送信することを含むことができ
る。そのような命令は、漏れを改善するか又は改善するのを支援する動作を実行するよう
にロボットに指示することができる。これに代えて又は加えて、命令は、ロボットに、現
在の行動の経過を中止するように、及び／又は人間の介入を可能にするために脇に移動す
るように指示することができる。
是正措置は、様々な入力に基づくことができる。例えば、是正措置を導入することは、
例えば上述したように、流量、流体損失の量、及び／又は流体もしくは流体漏れ状況の任
意の特性に基づくことができる。是正措置は、流体の特性又は流体漏れ状況の統計的解析
に基づくことができる。例えば、是正措置は、流体漏れ状況の特性と転帰との間の既知の
（又は決定された）相関関係に基づいて選択され得る。更に、図１７Ａのデータ構造など
のデータ構造は、流体漏れ状況の特性を転帰と相関させることができる。統計解析は、回
帰モデルを使用して是正措置を識別することを含むことができる（例えば、流体漏れデー
タ、是正措置データ、及び転帰データを含む履歴データに適合する回帰モデル）。
本実施形態と整合して、腔内ビデオのフレームを解析して腔内ビデオの異常な流体漏れ
状況を決定することは、流体漏れ状況が異常であるかどうかを決定することを含むことが
できる。一部の流体漏れ状況は正常であり得る（例えば、正常な流体漏れに関連する位置
において、特定の手術事象についての正常な流体のタイプなどの閾値の大きさを下回る）
。一部の流体漏れ状況は、異常であり得る（例えば、異常な流体漏れに関連する位置にお
いて、特定の手術事象の異常な流体タイプなどの閾値の大きさを超える）。正常及び／又
は異常として分類された流体漏れ状況の特性は、図１７Ａに示すようなデータ構造に記憶
することができる。流体漏れ状況が異常であるかどうかを決定することは、回帰モデル（
例えば、履歴例に適合するモデル）及び／又はトレーニングされた機械学習モデル（例え
ば、履歴的な例を使用して、決定された流体漏れ状況が異常であるかどうかを決定するよ
うにトレーニングされたモデル）を使用することを含むことができる。例えば、機械学習
モデルは、流体漏れ状況に関する情報（例えば、流体漏れ状況の画像及び／又は映像、上
述の流体漏れ状況を描写する映像を解析することによって決定された流体漏れ状況の特性
、流体漏れ状況の原因、漏れ量、流体漏れ状況のタイプ、流体のタイプ、患者の特性、漏
れ状況が発生した手術段階など）に基づいて流体漏れ状況が正常であるか異常であるかを
決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニン
グされた機械学習モデルは、流体漏れ状況に関する情報を解析し、流体漏れ状況が異常で
あるかどうかを決定するために使用されてもよい。そのようなトレーニング例の一例は、
特定の流体漏れ状況が異常であるかどうかを示すラベルと共に、特定の流体漏れ状況に関
する情報を含むことができる。
幾つかの実施形態は、例えば上述したように、検出された流体漏れ状況の特性を決定す
るために腔内ビデオのフレームを解析することを含むことができる。決定された特性は、
流体漏れの量、流体漏れのタイプ、流体漏れの速度、流体漏れの原因、及び／又は外科的
処置の任意の他の観察可能な特徴に関連付けられ得る。次いで、決定された特性を使用し
て、例えば、流体漏れが正常であるか異常であるかを確認することができる。そのような
特性を決定するためにフレームを解析することは、本明細書に記載の画像解析の任意の方
法を含むことができる。
幾つかの実施形態では、流体漏れ状況が異常な流体漏れ状況であるかどうかを決定する
ことは、外科的処置を受けている患者の血圧及び／又は任意の他のバイタルサインの測定
に基づくことができる。バイタルサインは、本明細書に記載の画像解析技術を介して手術
ビデオから導出されてもよく、及び／又はバイタルサインを測定するように構成されたセ
ンサから導き出されてもよい。更に、バイタルサインを異常の可能な指標として使用する
ために、異常は、手術事象、外科的処置のタイプ、及び／又は外科的処置の任意の他の態
様などの外科的処置の任意の特性に基づくことができる。例えば、外科的処置を受けてい
る患者の血圧の第１の測定に応じて、特定の流体漏れ状況が正常であると決定されてもよ
く、また、外科的処置を受けている患者の血圧の第２の測定に応じて、特定の流体漏れ状
況が異常であると決定されてもよい。
開示された実施形態は、検出された流体漏れ状況が異常な流体漏れ状況であるという決
定に応じて是正措置を導入することを含むことができる。更に、幾つかの実施形態は、流
体漏れが正常であるという決定に応じて、是正措置の開始を見合わせることを含むことが
できる。是正措置を見合わせることは、是正措置を一定期間又は無期限に遅らせることを
含むことができる。例えば、漏れの解析の結果、是正措置が必要ではないという決定が得
られた場合、是正措置は省略され得る。或いは、是正措置が既に開始され、更なる解析に
よって是正措置が不要であることが明らかになった場合、是正措置を見合わせることは、
更新された通知を提供することを含むことができる（例えば、通知は、推奨される是正措
置を変更するか、又は以前の通知とは異なる情報を提示することができる）。
図３２は、開示された実施形態と整合する、手術中に流体漏れ検出を可能にするための
例示的なプロセス３２００を示すフローチャートである。プロセス３２００は、一つ以上
のマイクロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つ
かの実施形態では、プロセス３２００は、必ずしも図示されたステップに限定されず、本
明細書に記載された様々な実施形態のいずれかがプロセス３２００に含まれてもよい。プ
ロセス３２００のステップは、例えば、システム１４０１の構成要素を含むシステムによ
って実行されてもよい。幾つかの実施形態では、プロセス３２００は、少なくとも１つの
プロセッサによって実行されるときに手術中の流体漏れの解析のための動作を少なくとも
１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体で具現化されても
よい。幾つかの実施形態では、プロセス３２００は、外科的処置中にリアルタイムで実行
されてもよい。
ステップ３２０２において、プロセスは、開示された実施形態と整合して、外科的処置
の腔内ビデオを受信し、リアルタイムで受信することを含むことができる。腔内ビデオを
リアルタイムで受信することは、ネットワークを介して、又は画像センサから直接ビデオ
を受信することを含むことができる。幾つかの実施形態では、腔内ビデオは、前述のよう
に、外科的処置の一部又は全部を実行する手術用ロボットを描写することができる。
ステップ３２０４で、プロセスは、実施例を用いて前述及び図示したように、腔内ビデ
オのフレームを解析して、腔内ビデオの異常な流体漏れ状況を決定することを含むことが
できる。上述のように、例えば、流体としては、血液、胆汁、尿、及び／又は任意の他の
タイプの流体を挙げることができる。漏れ源を決定することは、破裂した解剖学的器官を
識別すること、破裂した血管を識別すること、及び／又は任意の他の破裂した解剖学的構
造を識別することを含み得る。幾つかの実施形態では、ステップ３２０４は、腔内ビデオ
のフレームを解析して、血液飛散及び血液飛散の少なくとも１つの特性を識別することを
含むことができる。血液飛散の特性は、血液飛散源、血液飛散の強度（速度）、血液飛散
の色、血液飛散の粘度、及び／又は血液飛散の体積（大きさ）に関連付けられ得る。腔内
ビデオのフレームを解析することは、異常な流体漏れ状況の特性を決定することを含むこ
とができる。例えば、特性は、流体漏れの体積、流体漏れの色、流体漏れに関連する流体
のタイプ、流体漏れ速度、流体の粘度、流体の反射率、及び／又は流体の任意の他の特性
に関連付けられ得る。更に、フレームを解析することは、流体漏れ状況に関連する流量を
決定すること、流体漏れ状況に関連する流体損失の量を決定すること、及び／又は流体漏
れ状況の任意の他の特性を決定することを含むことができる。方法は、腔内ビデオを記憶
すること、及び、異常な漏れ状況を決定する際に、記憶された腔内ビデオの前のフレーム
を解析して漏れ源を決定することを更に含むことができる。
ステップ３２０６において、プロセスは、異常な流体漏れ状況が決定されたときに是正
措置を導入することを含むことができる。是正措置の選択は、例えば、識別された血液飛
沫の少なくとも１つの特性に依存し得る。幾つかの実施形態では、是正措置の選択は、流
体漏れ状況の決定された特性に依存し得る。
開示されたシステム及び方法は、外科的処置中の事象を識別するために手術映像を解析
することを含むことができ、これは患者の退院後のリスクに影響を及ぼし得る。患者の退
院後のリスクは、外科的処置中の術中事象及び患者の特性に基づいて、外科的処置後に識
別される必要があり得る。退院後リスクは、外科的処置中に事象を識別し、履歴データを
使用して、識別された事象が患者の退院後リスクにどのように影響し得るかを決定するこ
とによって決定することができる。したがって、手術映像を解析し、患者の退院後のリス
クに影響を及ぼし得る外科的処置中の事象を識別する必要がある。
本開示の態様は、方法、システム、装置、及びコンピュータ可読媒体を含む、外科的処
置後の退院後リスクの予測に関するものとなり得る。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒
体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法
の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得
る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意
味では、方法は、特定の物理的及び／又は電子的な器具に限定されず、むしろ多くの異な
る器具を使用して達成され得る。
開示された実施形態と整合して、退院後リスクを予測するための方法は、患者に対する
特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることを含むことができ
る。本明細書で使用される場合、ビデオは、記録された画像及び／又は音声を含む任意の
形態の記録された視覚媒体を含むことができる。例えば、ビデオは、図１に関連して上述
したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像捕捉デバイスに
よって捕捉された１つ以上の画像のシーケンスを含むことができる。画像は、個々のファ
イルとして記憶されてもよく、対応する音声データを含むことができるビデオファイルな
どの結合フォーマットで記憶されてもよい。幾つかの実施形態では、ビデオは、画像捕捉
デバイスから出力される生データ及び／又は画像として記憶することができる。他の実施
形態では、ビデオを処理することができる。例えば、ビデオファイルとしては、音声・ビ
デオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、クイ
ックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐ、
又は任意の他のフォーマット）、ウィンドウズ・メディア・ビデオ（ＷＭＶ）、素材交換
フォーマット（ＭＸＦ）、又は任意の他の適切なビデオ・ファイル・フォーマットを挙げ
ることができる。
ビデオ映像は、画像捕捉デバイスによって捕捉されたビデオを指すことができる。幾つ
かの実施形態では、ビデオ映像は、それらが最初に捕捉された順序で一連の画像を含むビ
デオを指すことができる。例えば、ビデオ映像は、ビデオコンパイルを形成するためにコ
ンパイルされていないビデオを含むことができる。他の実施形態では、ビデオ映像は、外
科的処置中の不動作に関連するフレームを除去するため、又は最初は連続して捕捉されて
いないフレームをコンパイルするためなど、１つ以上の方法でコンパイルすることができ
るビデオ映像にアクセスすることは、メモリデバイスなどの記憶場所からビデオ映像を読
み出すことを含み得る。ビデオ映像は、ローカルハードドライブなどのローカルメモリか
らアクセスされてもよく、例えばネットワーク接続を介してリモートソースからアクセス
されてもよい。本開示と整合して、インデックス付けは、より効率的及び／又は効果的に
検索され得るようにデータを記憶するためのプロセスを指すことができる。ビデオ映像に
インデックス付けするプロセスは、ビデオ映像が特性又は指標に基づいて識別され得るよ
うに、１つ以上の特性又は指標をビデオ映像に関連付けることを含み得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意
の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び／もしくは
器官の物理的変化を伴う他の技術を含み得る。また、外科的処置は、患者を診断すること
、又は患者に薬物を投与することを含み得る。そのような外科的処置の幾つかの例として
は、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫
垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例
えば、部分的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デ
ブリードマン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節
置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳
房切除術（例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立
腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、
椎間孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人
工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術
、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態
の切除を伴う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して
説明されているが、一般に他の形態の医療処置又は処置にも適用され得ることが理解され
るべきである。
幾つかの例示的な実施形態では、アクセスされたビデオ映像は、手術台の上、患者の手
術室、患者の臓器内又は患者の脈管構造内の少なくとも１つの位置に配置された少なくと
も１つの画像センサを介して捕捉されたビデオ映像を含むことができる。画像センサは、
ビデオを記録することができる任意のセンサであってもよい。手術台の上方の位置に配置
された画像センサは、患者の上方から画像を捕捉するように構成された患者の外部に配置
された画像センサを含むことができる。例えば、画像センサは、図１に示すように、カメ
ラ１１５及び／又は１２１を含むことができる。他の実施形態では、画像センサは、例え
ば体腔内など、患者の体内に配置されてもよい。本明細書で使用される場合、体腔は、物
体内の任意の比較的空いた空間を含むことができる。したがって、手術体腔は、外科的処
置又は手術が行われている患者の体内の空間を指すことができる。手術体腔は、完全に空
でなくてもよく、組織、臓器、血液、又は体内に存在する他の流体を含んでもよいことが
理解される。器官は、生物の任意の自己完結型領域又は部分を指し得る。ヒト患者の器官
の幾つかの例には、心臓又は肝臓が含まれ得る。脈管構造は、生物内の血管の系又はグル
ープを指すことができる。手術体腔、臓器、及び／又は脈管構造に配置された画像センサ
は、患者に挿入された手術器具に含まれるカメラを含むことができる。
特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることは、フレーム、
フレームによって関連するメタデータ、フレームのピクセルのピクセル値、フレームの解
析に基づく情報などのうちの少なくとも１つにアクセスすることを含むことができる。例
えば、特定の外科的処置中に捕捉されたビデオのフレームは、例えば少なくとも１つの処
理デバイスによる処理のために、メモリから情報を読み取るコンピュータ化された装置に
よってアクセスされてもよい。例えば、処理デバイスは、例えば上述したように、ビデオ
データの様々な態様を解析するように構成された機械学習方法を使用してアクセスフレー
ムを解析することができる。例えば、機械学習方法は、ビデオフレーム内の事象を認識す
るように、又はビデオフレームを解析することによって、外科用器具、解剖学的構造、及
び外科用器具と解剖学的構造との間の相互作用などを認識するように構成することができ
る。場合によっては、ビデオのフレームにアクセスすることは、外科医、麻酔科医、又は
任意の他のヘルスケア専門家などのヘルスケア専門家によってフレームにアクセスするこ
とを含むことができる。場合によっては、ビデオフレームは、患者、患者の家族、又は任
意の他の認可された関係者によってアクセスされてもよい。
本開示の態様は、術中事象及び関連する転帰を識別する記憶された履歴データにアクセ
スすることを含み得る。本明細書で使用される場合、外科的処置の術中事象（手術事象と
も呼ばれる）は、外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、任意の他
のヘルスケア専門家、手術用ロボットなどによって実行される動作など、外科的処置の一
部として実行される動作を指すことができる。術中手術事象は、切開、薬物の投与、外科
用器具の使用、切除、切開除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もし
くは段階に関連する任意の他の計画された事象などの計画された事象であり得る。また、
これに加えて又は代えて、術中事象は、ヘルスケア専門家によって実行された動作を含む
か否かにかかわらず、解剖学的構造及び／又は外科的処置に関連する医療機器に発生する
事象を指すこともできる。そのような術中事象の一例は、解剖学的構造の状態の変化を含
み得る。そのような術中事象の別の例は、医療機器（例えば、「部分的に充填された」か
ら「充填された」）の状態の変化を含み得る。
腹腔鏡下胆嚢摘出手術のための例示的な外科的術中事象としては、トロッカ配置、カロ
ー三角切開、嚢胞管及び動脈のクリップ及び切断、胆嚢切開、胆嚢包装、肝床の洗浄及び
凝固、胆嚢収縮などを挙げることができる。別の例では、白内障手術の手術事象としては
、ポビドンヨード注射、角膜切開、嚢切開、水晶体乳化術、皮質吸引、眼内レンズ移植、
眼内レンズ調整、創傷封止などを挙げることができる。更に別の例では、下垂体手術の外
科的な特性事象としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除
去、鼻置換、縫合、鼻圧搾機の設置などを挙げることができる。外科的な特性事象の幾つ
かの他の例は、切開、腹腔鏡位置決め、縫合などを含むことができる。
幾つかの実施形態では、外科的術中事象は、有害事象又は合併症を含み得る。有害な手
術事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されていない開放手術（例
えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを挙げることができ
る。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素血症、癒着、ヘル
ニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げることができる。
場合によっては、手術事象は、技術的エラー、通信エラー、管理エラー、判断エラー、意
思決定エラー、医療機器の利用に関連するエラー、誤通信などを含む他のエラーを含み得
る。様々な実施形態では、事象は短時間であってもよく、持続時間にわたって持続しても
よい。例えば、短い事象（例えば、切開）は、外科的処置中の特定の時間に発生すると決
定されてもよく、また、長い事象（例えば、出血）は、ある期間にわたって発生すると決
定されてもよい。場合によっては、長い事象は、明確な開始事象及び明確な終了事象（例
えば、縫合の開始及び縫合の終了）を含むことができ、縫合は長い事象である。場合によ
っては、長い事象は、外科的処置中の段階とも呼ばれる。
場合によっては、手術事象は、サブ事象のグループ（すなわち、２つ以上のサブ事象又
はステップ）を識別することができる。例えば、患者に全身麻酔を投与する事象は、ＩＶ
ラインを介して患者に薬物を提供して意識消失を誘発する第１のステップ、及び全身麻酔
を維持するために適切なガス（例えば、イソフルラン又はデスフルラン）を投与する第２
のステップなどの幾つかのステップを含み得る。
履歴データは、履歴（すなわち、以前に実行された）外科的処置に関連する、又はそれ
に基づく任意の情報を含むことができる。例えば、履歴データとしては、履歴的な手術映
像、履歴的な手術映像の解析に基づく情報、１つ以上のヘルスケア提供者からの履歴的な
ノート、医療デバイスからの履歴的なデータ（例えば、履歴的な外科的処置中に収集され
た履歴的なバイタル信号）、履歴的な音声データ、様々なセンサから収集された履歴的な
データ（例えば、画像センサ、化学センサ、温度センサ、電気センサ）、又は１つ以上の
履歴的な外科的処置に関連し得る任意の他の履歴的なデータを挙げることができる。
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスすることは、術
中事象及び関連する転帰に関する情報を含むデータベースにアクセスすることを含むこと
ができる。例えば、データベースは、履歴的な術中事象及び術中事象に関連する履歴的な
転帰を維持するテーブル、データベース、又はデータの他の編成などのデータ構造を含む
ことができる。例えば、術中事象は「出血」であってもよく、歴史的に関連する転帰は「
貧血」であってもよい。場合によっては、１つの術中事象が、異なる特性を伴う関連する
転帰を有してもよい。例えば、術中事象「出血」は、第１つの特性「１６ｇ／ｄＬから１
３ｇ／ｄＬへの低下」を伴う第１の関連転帰「ヘモグロビンの喪失」及び第２の特性「１
５ｇ／ｄＬから１２ｇ／ｄＬへの低下」を伴う第２の関連転帰「ヘモグロビンの喪失」を
有し得る。場合によっては、「出血」などの術中事象は、第１の転帰「ヘモグロビンの損
失」及び第１の転帰とは異なり得る第２の転帰（例えば、「心停止」）を有し得る。
これに加えて又は代えて、術中事象及び関連する転帰を識別する記憶された履歴データ
にアクセスすることは、例えば少なくとも１つの処理装置による処理のために、履歴デー
タの少なくとも一部をメモリから読み取るコンピュータ化された装置によって履歴データ
にアクセスすることを含むことができる。履歴データは、履歴的な手術映像、履歴的な術
中事象に関する情報など、及び関連する履歴的な転帰を含むことができる。場合によって
は、アクセスされた履歴データの処理は、履歴的な手術映像の様々な態様（及び任意の他
の履歴的な手術データ）を解析するように構成された機械学習モデルによって実行されて
もよい。例えば、機械学習方法は、履歴的な手術映像内の外科用器具、解剖学的構造、及
び外科用器具と解剖学的構造との間の相互作用を認識することによって、履歴的な手術映
像のビデオフレーム内の術中事象を識別するように構成され得る。
場合によっては、術中事象及び関連する転帰を識別する記憶された履歴データにアクセ
スすることは、外科医、麻酔専門医、看護師、又は任意の他のヘルスケア専門家によって
履歴データにアクセスすることを含むことができる。場合によっては、履歴データは、患
者、患者の家族、又は履歴データへのアクセスを許可された任意の他の当事者によってア
クセスされてもよい。
様々な実施形態では、機械学習モデルを使用して、例えば上述したように、外科的処置
のアクセスされたビデオフレーム内で少なくとも１つの特定の術中事象を識別することが
できる。トレーニングされた機械学習モデルは、事象を識別するための画像認識モデルで
あってもよい。例えば、機械学習モデルは、ビデオのフレームとして表される画像内の動
き又は他の変化を検出するために、複数のビデオフレームを解析することができる。幾つ
かの実施形態では、画像解析は、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、畳み込みニューラル
ネットワーク（ＣＮＮ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出ア
ルゴリズムを含むことができる。機械学習モデルは、事象の名前、事象のタイプ、及び事
象の特性を返すように構成することができる。例えば、事象が切開である場合、機械学習
モデルは、事象を特徴付けるための名前「切開」と、事象の特性として切開の長さ及び深
さとを返すように構成され得る。場合によっては、様々な事象の可能な名前の所定のリス
トが機械学習モデルに提供されてもよく、また、機械学習モデルは、事象を正確に特徴付
けるために事象のリストから名前を選択するように構成されてもよい。
開示された実施形態の幾つかの態様は、少なくとも１つの特定の術中事象の発生を識別
するために機械学習モジュールを使用することを含むことができる。例えば、機械学習モ
デルは、事象の開始を識別することによって特定の術中事象が発生したことを識別するこ
とができる。場合によっては、機械学習モデルは、事象の特性及び／又は特定の術中事象
の終了を識別することができる。
機械学習モデルは、例示的なトレーニングデータを使用して術中事象を識別するように
トレーニングすることができる。例示的なトレーニング入力データは、術中事象を含む外
科的処置の履歴映像を含むことができる。様々な場合に、トレーニングデータの複数のサ
ンプルを生成し、機械学習モデルをトレーニングするために使用することができる。トレ
ーニングプロセスの間、トレーニングデータ（例えば、第１のトレーニングデータ）をモ
デルの入力データとして使用することができ、また、モデルは、計算を実行して、術中事
象の事象識別文字列（例えば、事象の名前）を出力することができる。様々な実施形態に
おいて、事象識別文字列は、モデルの関連するエラーを評価するために、対応する術中事
象の既知の履歴名と比較されてもよい。エラーが所定の閾値を下回る場合、モデルは、他
の入力データを使用してトレーニングされてもよい。或いは、エラーが閾値を上回る場合
、モデルパラメータを修正することができ、第１のトレーニングデータを使用してトレー
ニングステップを繰り返すことができる。
機械学習モデルによる検出に加えて又は代えて、特性事象は、様々な他の手法を使用し
て画像センサから受信したビデオフレーム内で検出することができる。一実施形態では、
特性事象は、外科的処置中に医療専門家（例えば、外科医）によって識別され得る。例え
ば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されて特性事象のための
トリガとして認識され得る外科医からの視覚信号又は音声信号（例えば、ハンドジェスチ
ャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、
話し言葉、又は任意の他の適切な信号）を使用して特性事象を識別することができる。
また、本開示の態様は、アクセスされたフレーム内の検出された手術器具、アクセスさ
れたフレーム内の検出された解剖学的構造、手術器具と解剖学的構造との間のアクセスさ
れたフレーム内の相互作用、又はアクセスされたフレーム内の検出された異常な流体漏れ
状況のうちの少なくとも１つに基づいて、少なくとも１つの特定の術中事象を識別するこ
とを含むことができる。
手術器具は、外科的処置中に使用され得る任意の器具又はデバイスであってもよく、そ
のような器具又はデバイスとしては、切断器具（メス、ハサミ、ノコギリ等）、把持及び
／又は保持器具（例えば、ビルロート鉗子、止血「蚊」鉗子、非外傷性止血鉗子、デシャ
ンプ針、又はホップナー止血鉗子など）、リトラクタ（例えば、ファラベのＣ字型層状フ
ック、平滑歯付きフック、鋭利歯付きフック、溝付きプローブ、又はタンプ鉗子）、組織
一体化器具及び／又は材料（例えば、針ホルダ、手術針、ステープラ、クリップ、接着テ
ープ、又はメッシュ）、保護機器（例えば、顔用及び／又は呼吸用保護具、帽子、履物、
又は手袋）、腹腔鏡、内視鏡、患者監視デバイスなどを挙げることができるが、これらに
限定されない。手術器具（医療器具又は医療機器とも呼ばれる）は、医療処置の一部とし
て使用される任意の装置又は機器の一部を含むことができる。
手術器具は、例えば上述したように、任意の適切な手段を使用して手術ビデオ映像内で
検出することができる。
同様に、手術器具を検出するために、機械学習モデルを使用して手術映像内の解剖学的
構造を検出することができる。解剖学的構造は、例えば、器官、組織、管、動脈、又は任
意の他の解剖学的部分を含む、生体の任意の特定の部分であり得る。場合によっては、補
綴物、インプラント、又は人工器官は、解剖学的構造と見なされ得る。
機械学習方法を使用して手術器具及び／又は解剖学的構造を検出することは、例えば上
述したような１つの可能な手法であり得る。これに加えて又は代えて、手術器具（又は解
剖学的構造）は、様々な他の手法を使用して、画像センサから受信された手術ビデオ映像
内で検出されてもよい。一実施形態では、手術器具（又は解剖学的構造）は、外科的処置
中に医療専門家（例えば、外科医）によって識別され得る。例えば、外科医は、外科医か
らの音声音が１つ以上の音声センサによって捕捉されて音声認識コンピュータベースのモ
デルによって（又は外科的処置中に情報を記録するための人間の術者によって）認識され
得るように、手術器具及び／又は解剖学的構造の名前を言うことによって手術器具（又は
解剖学的構造）を識別することができる。
本開示の幾つかの態様は、例えば上述したように、医療器具と解剖学的構造との間の相
互作用を識別するために手術映像のフレームを解析することを含むことができる。例えば
、手術映像のフレームの少なくとも一部は、解剖学的構造に対して外科手術が行われてい
る手術映像の部分を示すことができる。上述したように、相互作用は、解剖学的構造に影
響を及ぼし得る又はその逆の医療機器による任意の動作を含み得る。例えば、相互作用と
しては、医療機器と解剖学的構造との間の接触、解剖学的構造に対する医療機器による作
用（切断、クランプ、把持、圧力の印加、又は削り取りなど）、解剖学的構造による生理
的応答、解剖学的構造に向かって光を放出する手術器具（例えば、手術器具は、解剖学的
構造に向かって光を放射するレーザであってもよい）、解剖学的構造に向かって放出され
る音、解剖学的構造の近くに生成される電磁場、解剖学的構造に誘導される電流、又は任
意の他の適切な形態の相互作用を挙げることができる。
場合によっては、相互作用を識別することは、解剖学的構造に対する手術器具の近接性
を識別することを含むことができる。例えば、例示的な外科的処置の手術ビデオ映像を解
析することによって、画像認識モデルは、手術器具と解剖学的構造の点（又は点のセット
）との間の距離を決定するように構成され得る。
また、本開示の態様は、例えば上述したように、アクセスされたフレームにおける異常
な流体漏れ状況を検出することを含むことができる。異常な流体漏れは、出血、尿漏れ、
胆汁漏れ、リンパ漏れ、又は任意の他の漏れを含み得る。異常な流体漏れは、外科的処置
中に捕捉された手術ビデオ映像内の異常な流体漏れ事象を検出するようにトレーニングさ
れた対応する機械学習モデルによって検出することができる。外科用器具を検出するため
の機械学習モデル（例えば、第１の機械学習モデル）は、解剖学的構造（例えば、第２の
機械学習モデル）を検出するための機械学習モデルとは異なるように構成及び／又はトレ
ーニングされてもよく、異常な漏れ（例えば、第３の機械学習モデル）を検出するための
機械学習モデルとは異なるように構成及び／又はトレーニングされてもよいことに留意さ
れたい。更に、第２の機械学習モデルは、第３の機械学習モデルとは異なるように構成及
び／又はトレーニングされてもよい。様々な実施形態において、機械学習モデルを構成す
ることは、機械学習モデルの任意の適切なパラメータを構成する（例えば、選択する）こ
とを含むことができる。例えば、機械学習モデルがニューラルネットワークである場合、
ニューラルネットワークを構成することは、ニューラルネットワークの層の数、各層のノ
ードの数、ニューラルネットワークの重み、又はニューラルネットワークの任意の他の適
切なパラメータを選択することを含むことができる。
開示された実施形態の態様は、アクセスされたフレームを解析すること、及び、履歴デ
ータから取得された情報に基づいて、アクセスされたフレームにおいて少なくとも１つの
特定の術中事象を識別することを含むことができる。前述したように、様々な実施形態と
整合して、アクセスされたフレームを解析するプロセスは、開示された実施形態と整合し
て、上述したように、画像認識アルゴリズムなどの適切な機械学習モデルによって実行す
ることができる。様々な実施形態では、前述したように、履歴データから取得された情報
を使用して、画像認識アルゴリズムをトレーニングして、手術映像のアクセスされたフレ
ームに基づいて特定の術中事象を認識することができる。一例では、履歴データは、（例
えば、上述したように）履歴的な外科的処置からの情報及び／又はビデオ映像の解析に基
づく統計モデル及び／又は機械学習モデルを含むことができ、また、統計モデル及び／又
は機械学習モデルは、アクセスされたフレームを解析し、アクセスされたフレームにおい
て少なくとも１つの特定の術中事象を識別するために使用されることができる。
本開示の態様は、履歴データ及び識別された少なくとも１つの術中事象から得られた情
報に基づいて、特定の外科的処置に関連する予測転帰を決定することを含み得る。例えば
、データ構造は、術中事象と予測転帰との間の関係を表す履歴データを含むことができる
。そのようなデータ構造は、特定の外科的処置に関連する予測転帰を取得するために使用
され得る。例えば、図３２Ａは、接続ｎ１１～ｎ３２を使用して可能な転帰Ｃ１～Ｃ３に
接続された術中事象Ｅ１～Ｅ３の例示的なグラフ３２００を示す。例示的な実施形態では
、接続ｎ１１は、転帰Ｃ１の確率を示す情報（すなわち、事象Ｅ１を含む外科的処置にお
いて転帰Ｃ１が起こる頻度を示す情報）を含み得る。例えば、接続ｎ１１は、術中事象Ｅ
１の発生を考慮して、転帰Ｃ１が時間の３０％で起こり得ることを示すことができ、接続
ｎ１２は、転帰Ｃ２が時間の５０％で起こり得ることを示すことができ、接続ｎ１３は、
転帰Ｃ３が時間の２０％で起こり得ることを示すことができる。同様に、接続ｎ２２は、
術中事象Ｅ２の発生を考慮して、転帰Ｃ２の確率を示すことができ、接続ｎ２３は、術中
事象Ｅ２の発生を考慮して、転帰Ｃ３の確率を示すことができる。接続ｎ３２は、術中事
象Ｅ３の発生を考慮して、転帰Ｃ２の確率を示すことができる。したがって、術中事象が
分かると、履歴データから得られた情報を使用して（例えば、グラフＣ１００からの情報
を使用して）、最も可能性の高い転帰（例えば、転帰Ｃ２）を、接続ｎ１１～ｎ１３に割
り当てられた確率に基づいて決定することができる。別の例では、履歴情報は、ハイパー
グラフを含むことができ、ハイパーグラフのハイパーエッジは、複数の術中事象を転帰と
関連付けることができ、複数の事象を含む外科的処置における転帰の特定の確率を示すこ
とができる。したがって、複数の術中事象が知られると、履歴データから（例えば、ハイ
パーグラフから）得られた情報を使用して、最も可能性の高い転帰を、ハイパーエッジに
割り当てられた確率に基づいて決定することができる。幾つかの例では、グラフＣ１００
のエッジ又はハイパーグラフのハイパーエッジに割り当てられた確率は、例えば、特定の
エッジ又は特定のハイパーエッジに対応する術中事象の特定のグループを含む履歴的な外
科的処置のグループにおける転帰の統計的確率を計算することによって、履歴的な外科的
処置の解析に基づくことができる。幾つかの他の例では、履歴情報は、術中事象に基づい
て転帰を予測するためのトレーニングされた機械学習モデルを含むことができ、また、ト
レーニングされた機械学習モデルは、識別された少なくとも１つの術中事象に基づいて特
定の外科的処置に関連する転帰を予測するために使用され得る。一例では、トレーニング
された機械学習モデルは、トレーニング例を使用して機械学習アルゴリズムをトレーニン
グすることによって取得することができ、また、トレーニング例は、履歴的な外科的処置
に基づくことができる。そのようなトレーニング例の一例は、術中手術事象のリストと、
術中手術事象のリストに対応する転帰を示すラベルとを含むことができる。一例では、２
つのトレーニング例は、異なる転帰を示す異なるラベルを有しながら、術中手術事象の同
じリストを有することができる。
場合によっては、予測転帰は、外科的処置後の特定の予測される事象であり得る。例え
ば、予測転帰は、退院後の不調、退院後の有害事象、退院後の合併症、又は再入院のリス
クの推定値であり得る。場合によっては、予測転帰は事象のセットであり得る。例えば、
そのような事象のセットは、患者の「幸福」が評価される事象を含むことができる。これ
らの事象は、患者の「幸福」が評価されるとき、特定の時点（例えば、外科的処置の翌日
の特定の時間、外科的処置の後の特定の日、外科的処置の後の特定の週、月、年、又は他
の時間間隔で）で発生し得る。「幸福」は、例えば、ＣＡＴスキャンなどの撮像、超音波
撮像、目視検査、身体検査中に決定することができる合併症の存在、又は患者（例えば、
血液検査を介して）の幸福を評価するための任意の他の適切な方法もしくは試験を使用す
るなど、任意の適切な客観的指標を使用して評価することができる。また、幸福は、患者
に自身の全体的な状態を説明するよう求めることなどによる主観的指標から決定され得る
。
決定された術中事象に基づく外科的処置に関連する予測転帰の決定は、統計解析を使用
して達成され得る。例えば、術中事象を含む過去（履歴とも呼ばれる）の外科的処置の履
歴的な手術データを解析して、そのような過去の外科的処置の履歴的な転帰を決定するこ
とができる。例えば、所定のタイプの履歴的な外科的処置について、図３２Ｂに示すよう
に、手術転帰統計を収集することができる。例えば、バー３２１１Ａ～３２１７Ａによっ
て表される確率分布３２０１Ａ（本明細書では確率バーとも呼ばれる）は、術中事象が存
在しない場合（例えば、出血、心停止、又は任意の他の有害事象などの有害な術中事象が
存在しない場合）、対応する転帰Ｃ１～Ｃ４の確率を決定することができる。同様に、確
率バー３２１１Ｂ～３２１７Ｂによって表される確率分布３２０１Ｂは、術中事象（例え
ば、有害な術中事象）が存在するときに対応する転帰Ｃ１～Ｃ４の確率を決定することが
できる。例示的な実施形態では、転帰Ｃ１は特定の退院後障害（例えば、患者の体内にガ
ーゼなどの異物が残っている）に対応してもよく、転帰Ｃ２は特定の退院後有害事象（例
えば、出血、疼痛、悪心、錯乱、又は任意の他の有害事象）に対応してもよく、転帰Ｃ３
は退院後合併症（例えば、麻痺、疼痛、出血、又は任意の他の合併症）に対応し得、転帰
Ｃ４は再入院のリスク上昇に対応してもよい。外科的処置（例えば、外科的処置の数日後
の患者の「幸福」の客観的指標を評価する転帰）を評価するために、任意の他の適切な転
帰が使用され得ることに留意すべきである。例示的な実施形態では、確率バー３２１１Ａ
～３２１７Ａ及び３２１１Ｂ～３２１７Ｂの高さは、対応する転帰Ｃ１～Ｃ４の発生の確
率に関連し得る。
例示的な実施形態では、術中事象は、対応するバー３２１１Ａ～３２１７Ａとは異なる
高さを有するバー３２１１Ｂ～３２１７Ｂによって示されるように、転帰Ｃ１～Ｃ４の発
生確率に影響を及ぼし得る。例示的な例では、術中事象が外科的処置中の心停止に対応す
る場合、転帰Ｃ２（例えば、混乱）の確率に対応するバー３２１３Ｂは、術中事象が外科
的処置中に検出されなかった場合の転帰Ｃ２の確率に対応するバー３２１１Ｂよりも高く
てもよい。
場合によっては、統計解析を使用して、外科的処置中に起こり得る幾つかの術中事象の決
定に基づいて、外科的処置に関連する予測転帰を決定することができる。例えば、図３３
は、（上述のように）有害な術中事象が存在しないときの転帰Ｃ１～Ｃ４の確率に対応す
る確率バー３２１１Ａ～３２１７Ａを有する確率分布３２０１Ａを示す。また、図３３は
、外科的処置中に「Ｂ」とラベル付けされた第１の有害事象が存在する場合の転帰Ｃ１～
Ｃ４の確率に対応する確率バー３２１１Ｂ～３２１７Ｂを有する確率分布３２０１Ｂを示
す。同様に、図３３は、外科的処置中に「Ｃ」とラベル付けされた第２の有害事象が存在
する場合の転帰Ｃ１～Ｃ４の確率に対応する確率バー３２１１Ｃ～３２１７Ｃを有する確
率分布３２０１Ｃも示す。更に、事象「Ｂ」及び事象「Ｃ」を含む外科的処置の統計デー
タを使用して、事象「Ｂ」が事象「Ｃ」の開始前に開始し、確率分布３２０１ＢＣは、転
帰Ｃ１～Ｃ４の確率に対応するバー３２１１ＢＣ～３２１７ＢＣによって示されるように
決定され得る。
これに加えて又は代えて、事象「Ｂ」及び事象「Ｃ」を含む外科的処置の統計データを
使用して、事象「Ｂ」が事象「Ｃ」の開始後に開始し、確率分布３２０１ＣＢは、転帰Ｃ
１～Ｃ４の確率に対応するバー３２１１ＣＢ－３２１７ＣＢによって示されるように決定
され得る。事象「Ｂ」及び／又は「Ｃ」及び／又はそれらの組み合わせの様々な特性に応
じて、適切な統計データを使用して他の確率分布（分布３２０１Ｂ、３２０１Ｃ、３２０
１ＢＣ、３２０１ＣＢ以外）を決定することができることに留意すべきである。例えば、
事象特性は、事象の持続時間、事象の開始時間、事象の終了時間、又は任意の他の適切な
特性（例えば、事象が切開である場合、事象特性は切開の長さであってもよい。事象が心
停止である場合、事象特性は心停止中の血圧値であり得る；又は任意の他の適切な特性）
を含むことができる。確率分布が事象特性によってどのように影響を受けるかの例示的な
実施形態が、三次元直交座標系における転帰Ｃ１～Ｃ４の確率に対応するバー３４１１～
３４１７の高さをプロットすることによって図３４に示されている。図３４に示すように
、一方の軸は転帰Ｃ１～Ｃ４に対する確率であり、他方の軸は転帰（例えば、転帰Ｃ１～
Ｃ４）を示し、第３の軸は術中事象の「事象特性」を示し、例えば切開である術中事象に
対する切開長などの数値（本明細書では事象特性値と呼ぶ）によって表される。図３４は
、バー３４１１～３４１７のバー高さが、事象特性値が変化するにつれて連続的に変化し
得る一方で、他の例では、事象特性値が離散的であり得ることを示している。所定の事象
特性値（例えば、図３４に示すようにＶ１）について、事象特性Ｖ１の場合の転帰Ｃ３の
確率に対応する、例示的なバー（例えば、３４１５）の高さ値（例えば、Ｈ１）は、高さ
値Ｈ１が値Ｖ１について知られていないとき、バー３４１５の近くの高さ値を使用して補
間することができる。
本開示の態様は、患者の特性、電子医療記録、又は術後手術報告のうちの少なくとも１
つに基づいて予測転帰を決定することを含み得る。患者特性は、年齢、性別、体重、身長
、及び／又は患者を直接的又は間接的に特徴付ける任意の他の情報（例えば、患者が患者
を介護することができる血縁者を有するかどうかは、外科的処置の予測転帰に間接的に影
響を及ぼす特性であり得る）を含むことができ、そのような特性は外科的処置の予測転帰
に影響を及ぼし得る。患者の特性の幾つかの他の非限定的な例は、上に記載されている。
一例では、類似性指標を使用して、特定の外科的処置（例えば、ｋ近傍法アルゴリズムの
使用、網羅的探索アルゴリズムの使用など）に類似する外科的処置（例えば、履歴データ
内の）を識別することができ、識別された同様の外科的処置を使用して、例えば、識別さ
れた同様の外科的処置（例えば、平均、中央値、最頻値など）の転帰の統計関数を計算す
ることによって、予測転帰を決定することができる。類似性指標は、患者の特性、電子医
療記録、術後手術報告、外科的処置で発生した術中事象、外科的処置の段階の期間などの
うちの少なくとも１つに基づくことができる。
電子医療記録（又は紙の医療記録などの任意の他の適切な医療記録）は、患者の医療情
報（例えば、患者の以前の外科的処置、患者の以前の又は現在の疾患、患者のアレルギー
、患者の両親の疾患、患者の兄弟姉妹の疾患、患者の精神的健康、又は患者に関する任意
の他の医療情報）を含むことができる。医療情報は、任意の適切な方法で編成することが
できる（例えば、情報は、テーブル、リンクされたリスト、又は任意の他の適切なデータ
構造を使用して編成することができる）。場合によっては、患者に関する他の（非医療的
な）情報（例えば、患者の場所、食事、宗教、人種、職業、フィットネス記録、結婚歴、
アルコール又はタバコの使用、又は以前の薬物使用）が電子医療記録に含まれる（記録さ
れる）場合がある。様々な実施形態では、電子医療記録内のそのような情報を使用して、
外科的処置の予測転帰を決定することができる。
様々な実施形態では、術後手術報告を更に使用して、外科的処置の転帰を決定すること
ができる。術後手術報告は、外科的処置に関連する任意の適切な情報を含むことができる
。例えば、報告は、外科的処置の名前、上述したような患者の特性、患者の医療報告を含
む患者の病歴、上述したような患者に関連する他の情報、外科的処置中に行われた動作な
どの処置手術事象に関する情報、並びに有害又は正の手術事象に関する情報を含む、外科
的処置中に発生した手術事象に関する情報を含むことができる。例示的な実施形態では、
手術事象は、切開、縫合、又は外科医によって実行される任意の他の行動などの動作を含
むことができる。有害な手術事象は、出血、組織の破裂、血栓、心停止、又は任意の他の
有害な手術事象など、手術及び外科的処置の予測転帰に悪影響を及ぼし得る任意の事象を
含み得る。正の手術事象は、外科的処置の少なくとも幾つかのステップが必要でない可能
性があると決定することを含むことができる。例えば、外科的処置中に患者が腫瘍を有し
ていないと決定された場合、腫瘍の除去は必要でない場合がある。様々な実施形態では、
術後手術報告内の情報は、外科的処置を描写する手術映像、音声データ、テキストデータ
、又は外科的処置の前、最中、もしくは後に記録された任意の他の適切なデータを含むこ
とができる。
様々な実施形態では、患者の特性、電子医療記録、又は術後手術報告のうちの少なくと
も１つに基づいて予測転帰を決定することは、患者の特性、電子医療記録に見られる病歴
データ、又は術後手術報告に記載された様々な事象及び事象特性などの様々なパラメータ
に基づいて履歴的な手術転帰を解析することによって達成され得る。
様々な実施形態において、予測転帰を決定することは、術中事象に基づいて特定の外科
的処置に関連する予測転帰を決定するようにトレーニングされた機械学習モデル（本明細
書では事象ベースの機械学習モデルとも呼ばれる）を使用することを含むことができる。
更に、事象ベースの機械学習方法は、患者の特性、患者の病歴、外科的処置を管理する１
人又は複数のヘルスケア専門家の特性、又は任意の他の適切なパラメータなどの様々な他
のパラメータ（術中事象以外）に基づいて手術転帰を予測するようにトレーニングするこ
とができる。
図３５Ａは、入力３５１０を受け取り、外科的処置３５１５の予測転帰を出力する例示
的な事象ベースの機械学習モデル３５１３を示す。入力３５１０は、図３５Ｂに示すよう
に、前述のように患者の特性及び医療記録からの情報などの入力パラメータ３５２３を含
むことができる。更に、入力３５１０は、図３５Ｂに示すように、事象データ３５２１を
含むことができる術後手術報告からの情報を含むことができる。例示的な実施形態では、
事象データ３５２１は、事象のリスト（例えば、事象Ｅ１～ＥＮ）と、事象Ｅ１－ＥＮに
対応する手術映像セグメントＶ１－ＶＮとを含むことができる。更に、図３５Ｂのデータ
３５２１は、事象開始時間Ｔ１Ａ～ＴＮＡ及び終了時間Ｔ１Ｂ～ＴＮＢを含むことができ
る。手術映像（例えば、Ｖ１）は、事象（例えば、Ｅ１）に対応する外科的処置のフレー
ムのセットであり得る。例示的な実施形態では、例示的な外科的処置の場合、事象Ｅ１は
、Ｔ１Ａ及びＴ１Ｂがほぼ同時であり得る短い事象（例えば、切開）であってもよく、事
象Ｅ２は、延長された時間（例えば、縫合）であってもよく、Ｔ２Ａは、縫合が開始され
た時間であり、Ｔ２Ｂは、縫合が終了した時間であり、事象ＥＮは、対応する開始時間Ｔ
ＮＡ及び終了時間ＴＮＢを有する麻酔を逆転させるために薬剤を投与するプロセスであり
得る。
様々な実施形態において、事象ベースの機械学習方法は、例えば上述のように、トレー
ニング例を使用してトレーニングすることができる。例えば、トレーニング例は、履歴デ
ータに基づくことができる。別の例では、トレーニング例は、転帰を示すラベルと共に、
（例えば上述のような）外科的処置に関する情報を含むことができる。
開示された実施形態の態様は、識別された術中事象及び患者の識別された特性に基づい
て手術転帰を予測するためにトレーニングされた機械学習モデルを使用して予測転帰を決
定することを含むことができる。例えば、術中事象は「切開」であってもよく、患者の識
別された特性のうちの１つは「６５歳女性」であり得る。例示的な実施形態では、識別さ
れた術中事象及び患者の１つ以上の識別された特性を、トレーニングされた機械学習モデ
ルの入力データとして使用することができる。例えば、図３５Ｂに示すように、入力デー
タが入力３５１０されてもよい。場合によっては、識別された術中事象及び患者の識別さ
れた特性に加えて、トレーニングされた機械学習モデルの更なる入力データは、ヘルスケ
ア専門家データ、患者医療データ、及び外科的処置の転帰に影響を及ぼす他の任意の適切
なデータを含むことができる。事象ベースのモデルは、例えば上述したように、履歴事象
を含むか、又は履歴事象に基づくことができる様々なトレーニングデータを使用してトレ
ーニングすることができる。上述したように、開示された実施形態は、トレーニングされ
た機械学習モデルを使用して手術転帰を予測することを含むことができる。様々な実施形
態において、予測される手術転帰は、例えば、図３３に示すようにプロット３２０１Ａに
よって示されるように、異なる転帰のセットに対する確率の分布であり得る。
また、退院後リスクを予測するための実施形態の態様は、患者の特性を識別すること、
及び、識別された患者の特性に基づいて外科的処置に関連する予測転帰を決定することを
含むことができる。識別された患者特性に基づく外科的処置に関連する予測転帰は、図３
５Ａに示すように、例えばモデル３５１３などの適切な機械学習モデルを使用して決定す
ることができる。
幾つかの実施形態では、識別された患者特性は、術前の患者データ（例えば、術前血液
検査値、術前バイタル信号、又は任意の他の術前特性）に基づくことができる。これに加
えて又は代えて、識別された患者特性は、術後患者データ（例えば、術後血液検査値、術
後バイタル信号、術後体重、又は任意の他の術後特性）に基づいてもよい。
様々な実施形態では、患者特性を識別することは、機械学習モデルを使用して手術映像
のフレームを解析することを含むことができる。例示的な機械学習モデルは、前述したよ
うに、外科的処置中に捕捉された手術ビデオ映像のフレーム内の特徴を認識するための画
像認識アルゴリズムであってもよい。例えば、画像認識アルゴリズムを使用して、手術対
象の解剖学的構造のサイズ、患者のサイズ、患者の推定年齢、患者の性別、患者の人種、
又は患者に関連する任意の他の特性などの特徴を認識することができる。患者特性を識別
するための機械学習モデルは、例えば上述したように、（関連する履歴的な手術ビデオ映
像を含む）履歴的な外科的処置及び対応する履歴的な患者特性のトレーニング例を使用し
て患者特性を識別するようにトレーニングすることができる。患者特性を識別するための
機械学習方法のトレーニングは、上述したように、任意の適切な手法を使用することがで
きる。様々な実施形態において、機械学習方法をトレーニングすることは、履歴的な手術
映像に対応する出力１つ以上の患者特性に基づくラベルを有する履歴的な手術映像に基づ
くトレーニング例を使用することができる。
これに加えて又は代えて、患者の特性を識別することは、電子医療記録から導き出され
てもよい。例えば、電子医療記録は、適切なコンピュータベースのソフトウェアアプリケ
ーションを使用して読み取り（又は解析）することができ、また、患者特性は、読み取り
（解析）データから識別することができる。例えば、電子記録が「ジェームズは肺疾患を
有する６５歳の白人男性」を含む場合、コンピュータベースのソフトウェアアプリケーシ
ョンは、「年齢：６５歳」、「氏名：ジェームズ」、「性別：男性」、「医学的状態：肺
疾患」、及び／又は「人種：白人」などの記録例によって表される患者特性を識別するこ
とができる。
また、退院後リスクを予測するための実施形態の態様は、外科的処置後に実現された手
術転帰を識別する情報（本明細書では術後情報とも呼ばれる）を受信すること、及び、受
信した情報を使用して機械学習モデルをトレーニングすることによって機械学習モデルを
更新することを含むことができる。例えば、オンライン機械学習アルゴリズム及び／又は
強化機械学習アルゴリズムを使用して、受信した情報に基づいて機械学習モデルを更新す
ることができる。例示的な実施形態では、術後情報を受信することは、外科的処置後の身
体検査中に視覚又は音声データを受信すること、外科的処置後の検査結果（例えば、血液
検査結果、尿結果、医療撮像データ、又は任意の他の適切な検査）を受信すること、患者
のバイタルサイン（例えば、患者の脈拍、患者の血圧、又は任意の他のバイタルサイン）
に関連するデータを受信すること、及び／又はヘルスケア提供者からメモを受信すること
（例えば、患者の身体検査を行う医師）を含むことができる。場合によっては、受信した
術後情報を使用して、実現された手術転帰を決定することができる。例えば、受信した情
報は、ヘルスケア提供者（例えば、医師）によって解析されてもよく、また、医師は、実
現された手術転帰を識別し得る（例えば、実現された手術転帰は、患者がそれ以上の医学
的介入を必要としないという医師による決定を含むことができる）。或いは、受信された
術後情報は、適切な転帰決定機械学習モデルによって使用されて、実現された手術転帰を
決定することができる。様々な実施形態では、手術後情報を入力として取り込む転帰決定
機械学習モデルは、上述したように、外科的処置中に取得された情報、及び患者の特性、
ヘルスケア提供者の特性、又は患者の病歴などの他の関連情報に基づいて手術の転帰を予
測する機械学習モデルとは異なり得る。
様々な実施形態において、受信した情報を使用して、実現された手術転帰を決定するこ
とができ、また、識別された術中事象及び識別された患者特性に基づいて手術転帰を予測
するための機械学習モデルは、実現された手術転帰を識別する受信した情報を使用して機
械学習方法をトレーニングすることによって更新することができる。機械学習方法のトレ
ーニングは、上述のような任意の適切な手法を使用することができる。
幾つかの実施形態では、手術転帰を予測するための機械学習モデルの出力は、予測転帰
の確率であり得る。場合によっては、モデルは、モデルによって出力された確率を、履歴
的な外科的処置の履歴的な手術データ（例えば、履歴的な手術映像データ）から推測され
る予測転帰の対応する確率と比較することによってトレーニングすることができる。例え
ば、様々な履歴的な手術データを使用して、所定のタイプの外科的処置に対する外科的処
置の所定の転帰の履歴確率を取得することができる。場合によっては、履歴的な逸脱（す
なわち、履歴的な外科的処置と外科的処置のための推奨される一連の事象との間の逸脱）
を使用して、履歴的な逸脱が所定の転帰の履歴的な確率の変化にどのように影響するかを
決定することができる。
履歴確率値は、機械学習方法によって返された確率値と比較されて、方法の誤差を決定
することができる。様々な実施形態において、機械学習方法によって返された予測転帰が
確率又は確率ベクトルである場合、適切な指標は、確率と履歴確率との間の差又は確率ベ
クトルと履歴確率ベクトルとの間の差であり得る。例えば、確率ベクトルを使用して、事
象のセットに対する予測転帰の確率を決定することができる。例えば、予測転帰のセット
が、「Ｃ１：麻痺している」「Ｃ２：３ヶ月以内に死亡」「Ｃ３：２週間以内に輸血が必
要」「Ｃ４：医学的介入を必要としない」などの例示的な転帰Ｃ１～Ｃ４を含む場合、転
帰ベクトル｛Ｃ１、Ｃ２、Ｃ３、Ｃ４｝の確率ベクトルは｛Ｐ１、Ｐ２、Ｐ３、Ｐ４｝で
あってもよく、Ｐ１～Ｐ４は転帰Ｃ１～Ｃ４の確率を示す。
また、退院後リスクを予測するための実施形態の態様は、予測転帰を患者と関連付ける
方法で予測された転帰を出力することを含み得る。幾つかの実施形態では、出力するプロ
セスは、予測転帰を受信側に送信することを含み得る。受信側は、１人又は複数のヘルス
ケア専門家、患者、家族、又は任意の他の人、組織、又はデータストレージを含むことが
できる。送信するプロセスは、任意の適切な電子的手法（例えば、上述したように、有線
又は無線通信を使用して、）を使用して任意の適切な電子デバイスに情報を送信すること
を含むことができる。例えば、予測転帰を送信することは、予測転帰をヘルスケア提供者
に関連するデータ受信機器（例えば、ラップトップ、スマートフォン、又は任意の他の適
切な電子デバイス）に送信することを含み得る。場合によっては、情報を送信することは
、予測転帰を詳述する文書の物理的コピー（例えば、紙コピー、ＣＤ－ＲＯＭ、ハードド
ライブ、ＤＶＤ、ＵＳＢドライブ、又は任意の他の電子記憶装置）を郵送すること（又は
直接配達すること）を含み得る。これに加えて又は代えて、予測転帰を送信することは、
予測転帰を健康保険提供者又は医療過誤キャリアの少なくとも１つに送信することを含み
得る。
様々な実施形態において、予測転帰を出力することは、予測転帰を患者と関連付けるよ
うに行われ得る。例えば、患者の名前及び／又は患者に関する任意の他の適切な情報は、
予測転帰を記述する文書に列挙され得る。
幾つかの実施形態では、予測転帰を送信することは、患者に関連付けられた電子医療記
録を更新することを含み得る。電子医療記録を更新するプロセスは、電子医療記録内の任
意の適切なデータを置換又は変更することを含むことができる。例えば、医療記録を更新
することは、予測転帰を「２週間の理学療法後に手足を使うと予測される」から「患者の
残りの生涯にわたって麻痺すると予測される」に変更することを含み得る。
本開示の態様は、推奨される一連の手術事象を含むデータ構造にアクセスすること、及
び、データ構造において識別された外科的処置のための推奨される一連の事象と、アクセ
スされたフレームにおいて検出された事象の実際のシーケンスとの間の逸脱の識別に基づ
いて、少なくとも１つの特定の術中事象を識別することとを含むことができる。データ構
造にアクセスするプロセスは、本開示で説明するように、逸脱を識別するように構成され
た任意の適切なアルゴリズム及び／又は機械学習モデルによって実行することができる。
例えば、機械学習モデルを使用して、データ構造にアクセスし、推奨される一連の手術事
象と手術中に実行された実際の事象との間の逸脱を出力することができる。例えば、実際
の切開事象中に、切開長さが対応する推奨事象によって記述される切開よりも短い場合、
そのような逸脱は機械学習方法によって識別することができる。推奨される一連の手術事
象を含むデータ構造は、開示された実施形態と整合する、本明細書に記載の任意の適切な
データ構造であってもよい。例えば、データ構造は、１つ以上のデータベーステーブルを
有するリレーショナルデータベースであってもよい。データ構造は、推奨される一連の事
象を含むことができ、事象の名前、事象に対応する画像、事象に関連するビデオデータ、
又は事象を記述することができる任意の他の適切なデータを含むことができる。データ構
造は、シーケンス内の事象の順序と関連付けられた番号を各事象に割り当てることによっ
て推奨される一連の事象を規定することができる。
様々な実施形態では、外科的処置のための推奨される一連の事象と実際の一連の事象と
の間の逸脱を識別することは、例えば、図２６～図２８に関連して説明したように、及び
これらの図の関連する説明のように、本開示で説明した様々な手法を含むことができる。
例示的な実施形態では、外科的処置の事象は、前述のように外科的処置の手術映像を解析
することによって識別することができる。外科的処置と推奨される一連の事象との間の逸
脱を識別することは、本開示に記載されるように、機械学習手法を利用することを含むこ
とができる。逸脱の識別に基づいて少なくとも１つの特定の術中事象を識別することは、
外科的処置のための推奨される一連の事象から逸脱するアクセスされたフレーム内で検出
された少なくとも１つの実際の事象を識別することを含むことができ、そのような識別は
、逸脱を識別するための機械学習方法によって実行することができる。
逸脱ベースのモデルは、履歴逸脱を含む様々なトレーニングデータを使用してトレーニ
ングすることができる。例示的な実施形態では、履歴逸脱は、所定のタイプ（例えば、気
管支鏡検査）の例示的な履歴外科処置の事象の履歴シーケンス及び同じタイプの外科的処
置の事象の対応する推奨シーケンスに対する逸脱を評価することによって決定することが
できる。逸脱ベースのモデルは、例えば上述のように、任意の適切なトレーニングプロセ
スを使用してトレーニングすることができる。
様々な実施形態では、逸脱を識別することは、履歴的な手術ビデオ映像、履歴的な推奨
された一連の事象、及び履歴的なビデオ映像内の履歴的な推奨された一連の事象からの逸
脱を識別する情報に基づいて推奨される一連の事象からの逸脱を識別するようにトレーニ
ングされた機械学習モデルを使用することを含む。履歴的な手術ビデオ映像及び履歴的な
推奨された一連の事象に基づいて逸脱を識別するための機械学習方法の使用は、本明細書
に記載されており、簡潔にするために繰り返されない。
様々な実施形態において、逸脱を識別することは、外科的処置のフレーム（例えば、上
述したように、フレーム内の情報を解析するために任意の適切なコンピュータベースのソ
フトウェアアプリケーション又はヘルスケア専門家によってアクセスされるフレーム）を
、推奨される一連の事象を描写する基準フレームと比較することを含む。前述のように、
基準フレームは、履歴的な外科的処置中に捕捉された履歴的なフレームであってもよい。
例示的な実施形態では、必須の一連の事象を描写するビデオフレーム及び基準フレームは
、必須の（又は推奨される）一連の事象の対応する開始事象と同じ（又は実質的に同様の
）事象（本明細書では開始事象とも呼ばれる）によって同期され得る。場合によっては、
開始事象の開始を描写するフレームは、必須の（推奨される）一連の事象の開始事象を描
写する基準フレームと同期されてもよい。場合によっては、外科的処置の事象は、上記の
任意の適切な手法を使用して、必須シーケンスの対応する基準事象に最初に相関付けられ
てもよい（例えば、事象を認識するために画像認識アルゴリズムを使用する）。手術事象
を必須シーケンスの対応する基準事象と相関させた後、手術事象の開始を表すフレームを
、対応する必須事象の開始を表す基準フレームと同期させることができる。
様々な実施形態では、特定の外科的処置と外科的処置のための推奨される一連の事象と
の間の逸脱を識別することは、手術映像のアクセスされたフレーム内の検出された手術器
具、アクセスされたフレーム内の検出された解剖学的構造、又は検出された手術器具と検
出された解剖学的構造との間の相互作用のうちの少なくとも１つに基づくことができる。
場合によっては、逸脱を識別することは、手術ビデオ映像内の検出された異常な流体漏れ
状況に基づいてもよい。
例えば、手術器具が特定の解剖学的領域に存在すると（例えば、機械学習方法を使用し
て、視覚物体検出器を使用して、ヘルスケア専門家からの指示などを使用して）決定され
た場合、方法は、逸脱が発生したと決定することができる。場合によっては、存在すべき
ではない外科的処置の時間（又は時間間隔）の間に、特定の解剖学的領域に（手術映像で
識別されるように）手術器具が存在する場合、方法は逸脱が発生したと決定することがで
きる。或いは、場合によっては、逸脱を識別することは、手術器具が特定の解剖学的領域
にないと決定することを含むことができる。例えば、外科的処置の時間（又は時間間隔）
中に、手術器具が特定の解剖学的領域に存在しない場合、方法は、逸脱が生じたと決定す
るように構成され得る。
場合によっては、解剖学的構造が手術映像内に存在すると決定（例えば、機械学習方法
を使用して、視覚物体検出器を使用して、ヘルスケア専門家からの指示等を使用してなど
）決定されるとき、逸脱が発生したと更に決定されてもよい。例えば、解剖学的構造が存
在すべきではない外科的処置の時間（又は時間間隔）の間に手術映像内で識別された場合
、方法は逸脱が発生したと決定することができる。或いは、場合によっては、逸脱を識別
することは、解剖学的構造が手術映像に存在しないと決定することを含むことができる。
例えば、外科的処置の時間（又は時間間隔）中に解剖学的構造が手術映像内に存在しない
場合、方法は、逸脱が発生したと決定するように構成され得る。
これに加えて又は代えて、逸脱を識別することは、手術器具と解剖学的構造との間の相
互作用を識別することを含むことができる。手術器具と解剖学的構造との間の相互作用を
識別するプロセスは、上述したように、相互作用を識別するために外科的処置のフレーム
を解析することを含むことができる。
様々な実施形態では、外科的処置中の手術器具と解剖学的構造との間の相互作用が識別
され、そのような相互作用が基準外科的処置（すなわち、必須の（又は推奨される）一連
の事象に続く外科的処置）に推奨されない（又は予測されない）場合、方法は、逸脱が生
じたと決定するように構成され得る。或いは、手術器具と解剖学的構造との間の相互作用
が識別されない場合（例えば、外科的処置中に相互作用が存在しない場合）、及び、相互
作用が基準外科処置に推奨される場合、方法は、逸脱が発生したと決定するように構成さ
れ得る。方法は、手術器具と解剖学的構造との間の相互作用が外科的処置及び基準外科的
処置の両方において存在する（又は存在しない）場合、外科的処置及び基準外科的処置の
実質的な逸脱がないと決定するように構成され得る。
また、本開示の態様は、手術ビデオ映像内の検出された異常な流体漏れ状況に基づいて
逸脱を識別することを含むことができる。上述したように、異常な流体漏れは、出血、尿
漏れ、胆汁漏れ、リンパ漏れ、又は他の任意の漏れを含むことができ、上述したように（
例えば、対応する機械学習モデルによって）検出することができる。例えば、異常な流体
漏れが、存在すべきではない外科的処置の時間（又は時間間隔）の間に特定の解剖学的領
域で（手術映像で識別されるように）検出される場合、方法は、逸脱が発生したと決定す
ることができる。或いは、場合によっては、逸脱を識別することは、異常な流体漏れが特
定の解剖学的領域に存在しないと決定することを含むことができる。例えば、外科的処置
の時間（又は時間間隔）中に、異常な流体漏れが特定の解剖学的領域に存在しない場合、
方法は、逸脱が発生したと決定するように構成され得る。
開示された実施形態の態様は、アクセスされたフレーム（例えば、手術映像のフレーム
）に基づいて予測転帰を改善する可能性が高い少なくとも１つの動作を決定すること、及
び、決定された少なくとも１つの動作に基づいて推奨を提供することを含むことができる
。様々な実施形態において、少なくとも１つの動作を決定することは、外科的処置のフレ
ームにアクセスして解析するための適切な機械学習方法を使用することを含むことができ
る。幾つかの例では、機械学習モデルは、外科的処置の現在の状態に関する情報に基づい
て、外科的処置の転帰及び／又は転帰に対する可能性のある改善を改善する可能性のある
動作を決定するために、トレーニング例を使用してトレーニングされ得る。そのようなト
レーニング例の一例は、特定の外科的処置の転帰を改善する可能性のある動作及び／又は
予測転帰に対する可能性のある改善を示すラベルと共に、特定の外科的処置の状態に関す
る情報を含むことができる。そのようなラベルは、履歴的な外科的処置に関連する履歴的
なデータの解析、ユーザ入力などに基づくことができる。外科的処置の現在の状態に関す
る情報の幾つかの非限定的な例としては、外科的処置の画像及び／又はビデオ、外科的処
置の画像及び／又はビデオの解析に基づく情報、外科的処置を受けている患者の特性、外
科的処置の少なくとも一部を実行するヘルスケア専門家の特性、外科的処置で使用される
医療機器の特性、外科的処置に関連する手術室の特性、外科的処置で発生した術中事象、
現在時間、外科的処置における手術段階の持続時間などを挙げることができる。更に、幾
つかの例では、トレーニングされた機械学習モデルを使用して、外科的処置の現在の状態
に関する情報を解析し、予測転帰及び／又は予測転帰に対する可能性のある改善を改善す
る可能性のある少なくとも１つの動作を決定することができる。
開示された実施形態の態様は、特定の動作が実行される前に推奨を提供することを含む
ことができる。推奨は、本明細書に記載され、開示された実施形態と整合する任意の適切
な電子通知であってもよい。或いは、推奨は、ヘルスケア専門家（例えば、外科的処置を
施す外科医）に送信され得る任意の適切な音声信号、視覚信号、又は任意の他の信号（例
えば、振動などの触覚信号）であってもよい。
様々な開示された実施形態は、決定された少なくとも１つの行動による予測転帰に対す
る可能性のある改善が選択された閾値を下回る場合に推奨を提供しないで済ませることを
含み得る。例えば、改善の可能性が５０％未満である場合、推奨は提供されなくてもよい
。場合によっては、第１の予測転帰の改善は、有害な第２の予測転帰によって相殺され得
、第１の予測転帰を改善するための推奨は提供され得ない。例えば、第１の予測転帰が「
患者の発疹を除去する」と識別され、第２の予測転帰が「心停止」と識別された場合、第
１の予測転帰の改善の可能性が十分に高い場合（例えば、患者の発疹を除去する９９％の
確率）であっても、「心停止」の第２の転帰が可能であるために推奨が提供されない場合
がある（たとえ第２の転帰の可能性が小さくても、例えば１パーセントであっても）。し
たがって、推奨を提供するように選択すること、又は推奨を提供しないで済ませることは
、１つ以上の予測転帰に基づくことができる。更に、選択された閾値は、１つ以上の選択
された転帰に基づくことができる。例えば、第１の転帰が人が次の２０年間生存する可能
性を有する能力であり、第２の有害転帰が心停止である場合、心停止の可能性が十分に低
い（例えば、３０％未満）ときに推奨が依然として提供され得る。場合によっては、患者
の特性に基づいて閾値を選択することができる。例えば、患者が過体重である場合、肥満
手術の推奨を提供しないで済ませるための選択された閾値は、低過体重の人の同じ閾値と
比較して下げられてもよい。場合によっては、予測転帰を改善するための少なくとも１つ
の動作を決定することは、患者の特性に更に基づいてもよい。例えば、患者が高齢者であ
る場合、バイパス処置は推奨されない可能性があるが、そのような処置は若年者に推奨さ
れる可能性がある。
退院後リスクを予測するための実施形態の態様が、プロセス３６０１によって図３６に
示されている。ステップ３６１１において、プロセス３６０１は、任意の適切な手段を使
用して、患者に対する特定の外科的処置中に捕捉されたビデオのフレームにアクセスする
ことを含むことができる。例えば、アクセスは、有線又は無線ネットワークを介して、機
械学習モデルを介して、又はデータの読み取り／書き込みを可能にするための任意の他の
手段を介して行われ得る。場合によっては、フレームにアクセスすることは、ヘルスケア
専門家によるアクセスを含むことができる。そのような場合、ヘルスケア専門家は、フレ
ームにアクセスするために入力装置（例えば、キーボード、マウス、又は任意の他の入力
装置）を使用することができる。
ステップ３６１３において、プロセス３６０１は、上述したように、術中事象及び関連
する転帰を識別する記憶された履歴データにアクセスすることを含むことができる。ステ
ップ３６１５において、プロセス３６０１は、アクセスされたフレーム（例えば、手術映
像のフレーム）を解析し、履歴データから取得された情報に基づいて、アクセスされたフ
レームにおいて少なくとも１つの特定の術中事象を識別することを含むことができる。ア
クセスされたフレームを解析し、アクセスされたフレームにおいて特定の術中事象を識別
するプロセスは、上述したように適切な機械学習モデルによって実行することができる。
ステップ３６１７において、プロセス３６０１は、上述したように、履歴データ及び識
別された少なくとも１つの術中事象から取得された情報に基づいて、特定の外科的処置に
関連する予測転帰を決定することを含むことができる。プロセス３６０１は、前述のよう
に、予測転帰を患者と関連付ける態様で予測転帰を出力するためのステップ３６１９で終
了することができる。
プロセス３６０１はステップ３６１１～３６１９に限定されず、新しいステップが追加
されてもよく、ステップ３６１１～３６１９の一部が置き換えられてもよく、省略されて
もよいことに留意すべきである。例えば、ステップ３６１３は省略されてもよい。
前述したように、本開示は、退院後のリスクを予測するための方法及びシステム、並び
に少なくとも１つのプロセッサによって実行されるときに退院後リスクを予測できるよう
にする動作を少なくとも１つのプロセッサに実行させる命令を含み得る持続性コンピュー
タ可読媒体に関する。
開示された実施形態は、少なくとも１つのプロセッサによって方法として実施される及
び／又は持続性コンピュータ可読媒体に実行可能命令として記憶されるかどうかにかかわ
らず、以下の箇条書きされた特徴のいずれか１つを単独で又は１つ以上の他の箇条書きさ
れた特徴と組み合わせて含んでもよい。
・外科的処置の少なくとも１つのビデオにアクセスするステップ
・少なくとも１つのビデオを表示のために出力させるステップ
・手術タイムラインを表示するために出力される少なくとも１つのビデオにオーバーレ
イするステップであって、手術タイムラインが、手術段階、術中手術事象、及び、意思決
定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップ
・外科医が少なくとも１つのビデオの再生を見ながら手術タイムライン上の１つ以上の
マーカを選択できるようにし、それにより、ビデオの表示を選択されたマーカと関連付け
られる位置にスキップさせるステップ
・マーカは、色又は臨界レベルのうちの少なくとも１つによってコード化される
・手術タイムラインは、外科的処置の部分を識別するテキスト情報を含む
・少なくとも１つのビデオは、手続き時系列順に配置された複数の外科的処置からの映
像のコンパイルを含む
・映像の合併症は、複数の外科的処置からの合併症を描写する
・１つ以上のマーカは、複数の外科的処置と関連付けられて、共通のタイムライン上に
表示される
・１つ以上のマーカは、外科的処置の意思決定ジャンクションに対応する意思決定ジャ
ンクションマーカを含む
・意思決定ジャンクションマーカの選択は、外科医が２つ以上の対応する他の外科的処
置からの２つ以上の別のビデオクリップを見ることができるようにする
・２つ以上のビデオクリップが異なる行為を提示する
・１つ以上のマーカは、外科的処置の意思決定ジャンクションに対応する意思決定ジャ
ンクションマーカを含む
・意思決定ジャンクションマーカの選択は、選択された意思決定ジャンクションマーカ
に関連する１つ以上の別の想定し得る決定の表示を引き起こす
・１つ以上の別の想定し得る決定と関連付けられる１つ以上の推定される転帰が、１つ
以上の別の想定し得る決定の表示と併せて表示される
・１つ以上の推定される転帰は、それぞれの同様の意思決定ジャンクションを含む過去
の外科的処置の複数のビデオの解析の結果である
・それぞれの同様の過去の意思決定ジャンクションにおいて行われた過去の決定の分布
に関連する情報が、別の想定し得る決定の表示と併せて表示される
・外科的処置の意思決定ジャンクションが第１の患者と関連付けられ、それぞれの同様
の過去の意思決定ジャンクションは、第１の患者と同様の特性を有する患者と関連付けら
れる過去の外科的処置から選択される
・外科的処置の意思決定ジャンクションが第１の医療専門家と関連付けられ、それぞれ
の同様の過去の意思決定ジャンクションは、第１の医療専門家と同様の特性を有する医療
専門家と関連付けられる過去の外科的処置から選択される
・外科的処置の意思決定ジャンクションが外科的処置における第１の事前事象とに関連
付けられ、同様の過去の意思決定ジャンクションは、第１の事前事象と同様の事前事象を
含む過去の外科的処置から選択される
・マーカが術中手術事象マーカを含む
・術中手術事象マーカの選択は、外科医が異なる外科的処置からの別のビデオクリップ
を見ることができるようにする
・別のビデオクリップは、選択された術中手術事象が処理された異なる方法を提示する
・ビデオ出力上へのオーバーレイは、表示されたビデオで描写される外科的処置の終了
前に表示される
・解析は、過去の外科的処置の複数のビデオと関連付けられる１つ以上の電子医療記録
に基づく
・それぞれの同様の意思決定ジャンクションは、類似性メトリックに従う外科的処置の
意思決定ジャンクションと同様である
・解析は、コンピュータビジョンアルゴリズムの実装の使用を含む
・マーカが術中手術事象に関連し、術中手術事象マーカの選択は、外科医が異なる外科
的処置からの別のビデオクリップを見ることができるようにする
・インデックス付けされるべきビデオ映像にアクセスするステップであって、インデッ
クス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップ
・ビデオ映像を解析して、特定の外科的処置の手術段階と関連付けられるビデオ映像位
置を識別するステップ
・手術段階と関連付けられる段階タグを生成するステップ
・段階タグを前記ビデオ映像位置と関連付けるステップ
・手術段階内の特定の術中手術事象の事象位置を識別するためにビデオ映像を解析する
ステップ
・事象タグを特定の術中手術事象の事象位置と関連付けるステップ
・特定の術中手術事象と関連付けられる事象特性を記憶するステップ
・特定の外科的処置のビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ
映像を含むデータ構造における段階タグ、事象タグ、及び、事象特性と関連付けるステッ
プ
・データ構造は、他の外科的処置のうちの１つ以上と関連付けられるそれぞれの段階タ
グ、それぞれの事象タグ、及び、それぞれの事象特性も含む
・表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択さ
れた事象特性の選択によってユーザがデータ構造にアクセスできるようにするステップ
・少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象
特性と一致する手術ビデオ映像のデータ構造内でルックアップを実行して、記憶されたビ
デオ映像の一致するサブセットを識別するステップ
・記憶されたビデオ映像の一致するサブセットをユーザに対して表示させ、それにより
、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択された事象特性を共有
する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにするス
テップ
・選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、選択され
た事象特性を有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができ
るようにするステップは、選択された事象特性を欠く選択された手術事象の部分の再生を
省略しつつ、選択された事象特性を共有する複数の術中手術事象の手術映像の部分をユー
ザに順次に提示するステップを含む
・記憶された事象特性が手術事象の有害転帰を含む
・一致するサブセットを表示させるステップは、選択された有害転帰を欠く手術事象の
再生を省略しつつ、選択された有害転帰の手術映像をユーザが見ることができるようにす
るステップを含む
・記憶された事象特性が外科的手技を含む
・一致するサブセットを表示させるステップは、選択された外科的手技と関連付けられ
ない手術映像の再生を省略しつつ、選択された外科的手技の手術映像をユーザが見ること
ができるようにするステップを含む
・記憶された事象特性が外科医スキルレベルを含む
・一致するサブセットを表示させるステップは、選択された外科医スキルレベルを欠く
映像の再生を省略しつつ、選択された外科医スキルレベルを示す映像をユーザが見ること
ができるようにするステップを含む
・記憶された事象特性が身体的患者特性を含む
・一致するサブセットを表示させるステップは、選択された身体的患者特性を欠く映像
の再生を省略しつつ、選択された身体的患者特性を示す映像をユーザが見ることができる
ようにすることを含む
・記憶された事象特性は、特定の外科医の識別情報を含む
・一致するサブセットを表示させるステップは、選択された外科医による行動を欠く映
像の再生を省略しつつ、選択された外科医による行動を示す映像をユーザが見ることがで
きるようにするステップを含む
・記憶された事象特性が生理的応答を含む
・一致するサブセットを表示させるステップは、選択された生理的応答を欠く映像の再
生を省略しつつ、選択された生理的反応を示す映像をユーザが見ることができるようにす
るステップを含む
・ビデオ映像を解析して手術事象又は手術段階のうちの少なくとも１つと関連付けられ
るビデオ映像位置を識別するステップは、再生のための手術段階の開始位置又は再生のた
めの手術事象の開始のうちの少なくとも１つを識別するためにビデオ映像に対してコンピ
ュータ画像解析を実行するステップを含む
・特定の外科的処置と同様の複数の外科的処置に関連する集約データにアクセスするス
テップ
・選択された事象特性と関連付けられる統計情報をユーザに提示するステップ
・アクセスされたビデオ映像は、手術台の上方、患者の手術体腔内、患者の臓器内、又
は、患者の脈管構造内の位置のうちの少なくとも１つに位置される少なくとも１つの画像
センサを介して捕捉されるビデオ映像を含む
・ビデオ映像位置を識別するステップは、ユーザ入力に基づく
・ビデオ映像位置を識別するステップは、コンピュータ解析を使用してビデオ映像のフ
レームを解析するステップを含む
・コンピュータ画像解析は、以前に識別された手術段階を含むビデオフレーム例を使用
してトレーニングされたニューラルネットワークモデルを使用することによってビデオ映
像位置又は段階タグのうちの少なくとも一方を識別するステップを含む
・ユーザ入力に基づいて記憶された事象特性を決定するステップ
・特定の術中手術事象を描写するビデオ映像のコンピュータ解析に基づいて記憶された
事象特性を決定するステップ
・段階タグを生成するステップは、手術段階を描写するビデオ映像のコンピュータ解析
に基づく
・記憶されたビデオ映像の一致するサブセットを識別するステップは、コンピュータ解
析を使用して、記憶されたビデオの一致するサブセットと選択された事象特性との間の類
似性の度合いを決定するステップを含む
・少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行
動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスする
ステップ
・以前の外科的処置の履歴的な手術映像に基づいて履歴データにアクセスするステップ
であって、履歴データが、手術映像の一部を術中手術事象と関連付けられるフレームと手
術行動と関連付けられないフレームとに区別する情報を含む、ステップ
・履歴データの情報に基づき、特定の手術映像において、フレームの第１のグループを
フレームの第２のグループから区別するステップ
・ユーザの要求に基づいて、フレームの第２のグループのユーザへの提示を省略しつつ
、特定の手術映像のフレームの第１のグループの集約をユーザに提示するステップ
・履歴的な手術映像の一部を術中手術事象と関連付けられるフレームに区別する情報は
、手術器具の存在又は動きのうちの少なくとも１つの指標を含む
・履歴的な手術映像の一部を術中手術事象と関連するフレームに区別する情報は、関連
するフレーム内の検出された器具及び解剖学的特徴を含む
・ユーザの要求は、対象の少なくとも１つのタイプの術中手術事象の表示を含む
・フレームの第１のグループは、少なくとも１つのタイプの対象の術中手術事象のうち
の少なくとも１つの術中手術事象を描写する
・ユーザの要求は、特定の手術映像内の複数の術中手術事象を見る要求を含む
・フレームの第１のグループの集約をユーザに提示するステップは、第２のグループの
時系列フレームを省略してフレームの第１のグループを時系列順に表示するステップを含
む
・履歴データは、履歴的な手術転帰データ及びそれぞれの履歴的な原因データを更に含
む
・フレームの第１のグループは、フレームの原因セット及びフレームの転帰セットを含
む
・フレームの第２のグループがフレームの中間セットを含む
・特定の手術映像を解析して手術転帰及び手術転帰のそれぞれの原因を識別するステッ
プであって、識別するステップが履歴的な転帰データ及びそれぞれの履歴的な原因データ
に基づく、ステップ
・解析に基づいて、特定の手術映像内のフレームの転帰セットを検出するステップであ
って、フレームの転帰セットが外科的処置の転帰段階内にある、ステップ
・解析に基づいて、特定の手術映像内のフレームの原因セットを検出するステップであ
って、フレームの原因セットが、転帰段階から時間的に離れた外科的処置の原因段階内に
ある、ステップ
・フレームの中間セットは、フレームの原因セットとフレームの転帰セットとの間に介
挿される中間段階内にある
・手術映像の因果関係概要を生成するステップ
・因果関係概要は、フレームの原因セット及びフレームの転帰セットを含み、フレーム
の中間セットを省く
・ユーザに提示されるフレームの第１のグループの集約が因果関係概要を含む
・原因段階は、原因が発生した手術段階を含む
・フレームの原因セットは、原因段階におけるフレームのサブセットである
・転帰段階は、転帰が観察できる手術段階を含む
・フレームの転帰セットは、転帰段階におけるフレームのサブセットである
・履歴データを使用して手術転帰及び手術転帰のそれぞれの原因を識別するようにトレ
ーニングされる機械学習モデルを使用して、特定の手術映像を解析するステップ
・特定の手術映像は、患者に対して行われて手術室内の少なくとも１つの画像センサに
よって捕捉される外科的処置を描写する
・患者の医療記録に記憶するためにフレームの第１のグループをエクスポートするステ
ップ
・少なくとも１つの術中手術事象のインデックスを生成してフレームの第１のグループ
をエクスポートするステップは、フレームの第１のグループのコンパイルを生成するステ
ップを含み、コンパイルは、インデックスを含むとともに、１つ以上のインデックス項目
の選択に基づいて少なくとも１つの術中手術事象の視聴を可能にするように構成される
・コンパイルは、連続ビデオとして記憶される異なる術中事象の一連のフレームを含む
・フレームの第１のグループを固有の患者識別子と関連付けて、固有の患者識別子を含
む医療記録を更新するステップ
・少なくとも１つの画像センサの位置は、手術室内の手術台の上方又は患者内のうちの
少なくとも１つである
・特定の手術映像においてフレームの第１のグループをフレームの第２のグループから
区別するステップは、特定の手術映像を解析して医療機器を検出するステップを含む
・特定の手術映像を解析して解剖学的構造を検出するステップ
・ビデオを解析して、検出された医療機器と検出された解剖学的構造との間の相対動作
を検出するステップ
・相対動作に基づいてフレームの第１のグループをフレームの第２のグループから区別
するステップ
・フレームの第１のグループが手術行動フレームを含み、フレームの第２のグループが
非手術行動フレームを含む
・集約を提示することにより、手術の準備をしている外科医は、要約される提示のビデ
オ見直し中に非手術行動フレームを省略することができる
・フレームの第１のグループをフレームの第２のグループから区別するステップは、医
療機器と前記解剖学的構造との間の検出された相対位置に更に基づく
・フレームの第１のグループをフレームの第２のグループから区別するステップは、医
療機器と解剖学的構造との間の検出された相互作用に更に基づく
・非手術行動フレームを省略することは、非手術行動を捕捉するフレームの大部分を省
略することを含む
・異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、
手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数
のセットのリポジトリにアクセスするステップ
・企図された外科的処置を準備している外科医が、企図された外科的処置に対応する症
例特有の情報を入力できるようにするステップ
・症例特有の情報を手術ビデオ映像の複数のセットと関連付けられるデータと比較して
、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステッ
プ
・症例特有の情報及び直面する可能性が高い術中事象の識別されたグループを使用して
、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットのうちの特定
のセット内の特定のフレームを識別するステップ
・識別された特定のフレームは、異なる患者に対して実行される複数の外科的処置から
のフレームを含む
・異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有す
る術中事象と関連付けられるフレームを含むと決定するステップ
・外科医に提示されるべきコンパイルから第２のセットを含めることを省略し、外科医
に提示されるべきコンパイルに第１のセットを含めるステップ
・異なる患者に対して実行される異なる外科的処置からのフレームを含むコンパイルを
含む提示を外科医が見ることができるようにするステップ
・提示に沿った識別された特定のフレームのうちの１つ以上に対応する１つ以上の時系
列マーカを含む共通の手術タイムラインの表示を可能にするステップ
・外科医が提示を見ることができるようにするステップは、異なる患者に対して実行さ
れる異なる外科的処置のビデオ映像の別個のセットを順次に表示するステップを含む
・ビデオ映像の別個のセットを順次に表示するステップは、ビデオ映像の別個のセット
のうちの１つ以上を外科医が選択できるようにするビデオ映像の別個のセットのインデッ
クスを表示するステップを含む、
・インデックスは、別個のセットを対応する手術段階及びテキスト段階指標へと構文解
析するタイムラインを含む
・タイムラインは、術中手術事象に対応する術中手術事象マーカを含む
・外科医は、術中手術事象マーカをクリックして、対応する術中手術事象を描写する少
なくとも１つのフレームを表示できるようにされる
・企図された外科的処置に対応する症例特有の情報が外部デバイスから受信される
・症例特有の情報を手術ビデオ映像の複数のセットと関連付けられるデータと比較する
ステップは、人工ニューラルネットワークを使用して、企図された外科的処置中に直面す
る可能性が高い術中事象のグループを識別するステップを含む
・人工ニューラルネットワークを使用するステップは、症例特有の情報を入力として人
工ニューラルネットワークに与えるステップを含む
・症例特有の情報は、企図された処置と関連付けられる患者の特性を含む
・患者の特性が患者の医療記録から受けられる
・症例特有の情報は、手術器具に関連する情報を含む
・手術器具に関連する情報は、器具タイプ及び器具モデルのうちの少なくとも一方を含
む
・共通の特性は、異なる患者の特性を含む
・共通の特性は、企図された外科的処置の術中手術事象特性を含む
・異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有す
る術中事象と関連付けられるフレームを含むと決定するステップは、機械学習モデルの実
装を使用して共通の特性を識別するステップを含む
・ビデオ映像の２つのセットが共通の特性を共有するかどうかを決定するべく機械学習
モデルをトレーニングするためにビデオ映像例を使用するステップ
・機械学習モデルを実装するステップは、トレーニングされた機械学習モデルを実装す
るステップを含む
・術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性に基づい
てリポジトリのインデックスを生成するべく機械学習モデルをトレーニングするステップ
・リポジトリのインデックスを生成するステップ
・症例特有の情報を複数のセットと関連付けられるデータと比較するステップは、イン
デックスを検索するステップを含む
・手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別
するステップ
・第１の履歴データにアクセスするステップであって、第１の履歴データが、以前の外
科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステッ
プ
・第１の履歴データを使用して及び識別された解剖学的構造を使用してフレームの第１
のセットを解析し、フレームの第１のセットと関連付けられる第１の手術複雑度レベルを
決定するステップ
・手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、解剖
学的構造、及び、医療器具と解剖学的構造との間の相互作用を識別するステップ
・第２の履歴データにアクセスするステップであって、第２の履歴データが、以前の外
科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステッ
プ
・第２の履歴データを使用して及び識別された相互作用を使用してフレームの第２のセ
ットを解析し、フレームの第２のセットと関連付けられる第２の手術複雑度レベルを決定
するステップ
・第１の手術複雑度レベルを決定するステップは、フレームの第１のセットにおいて医
療器具を識別するステップを更に含む
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットからフレー
ムの第２のセットまでの経過時間に基づく
・第１の複雑度レベルを決定するステップ又は第２の複雑度レベルを決定するステップ
のうちの少なくとも一方が生理的応答に基づく
・手術映像においてヘルスケア提供者により実証されるスキルのレベルを決定するステ
ップ
・第１の複雑度レベルを決定するステップ又は第２の複雑度レベルを決定するステップ
のうちの少なくとも一方は、ヘルスケア提供者によって実証されるスキルの決定されたレ
ベルに基づく
・第１の手術複雑度レベルが選択される閾値未満であると決定するステップ、第２の手
術複雑度レベルが選択される閾値を超えると決定するステップ、及び、第１の手術複雑度
レベルが選択される閾値未満であるという決定と、第２の手術複雑度レベルが選択される
閾値を超えるという決定とに応じて、データ構造からフレームの第１のセットを省きつつ
フレームの第２のセットをデータ構造に記憶するステップ
・フレームの第１のセットにおいて解剖学的構造を識別するステップは、医療器具の識
別と、医療器具と解剖学的構造との間の第１の相互作用とに基づく
・フレームの第１のセットを第１の手術複雑度レベルでタグ付けするステップ
・フレームの第２のセットを第２の手術複雑度レベルでタグ付けするステップ
・外科医が第２の手術複雑度レベルを選択できるようにするべく第１のタグを伴うフレ
ームの第１のセットと第２のタグを伴うフレームの第２のセットとを含むデータ構造を生
成し、それにより、フレームの第１のセットの表示を省略しつつ、フレームの第２のセッ
トを表示させるステップ
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定
するために、以前の外科的処置から捕捉されるフレームデータを使用して手術複雑度レベ
ルを識別するようにトレーニングされる機械学習モデルを使用するステップ
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットとフレーム
の第２のセットとの間で生じる事象に基づく
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定
するステップは、解剖学的構造の状態に基づく
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定
するステップは、電子医療記録の解析に基づく
・第１の手術複雑度レベルを決定するステップは、フレームの第１のセットの後に生じ
る事象に基づく
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定
するステップは、手術映像と関連付けられる外科医のスキルレベルに基づく
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットの後に更な
る外科医が呼び出されたという表示に基づく
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットの後に特定
の薬剤が投与されたという表示に基づく
・第１の履歴データは、以前の外科的処置の第１のグループから捕捉される第１のフレ
ームデータを使用してトレーニングされる機械学習モデルを含む
・第１の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的
関係の表示を含む
・手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを
受信するステップ
・履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップ
・進行中の外科的処置の推定完了時間を決定するためにデータ構造を使用して進行中の
外科的処置の視覚データを解析するステップ
・進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む手術室に
関するスケジュールにアクセスするステップ
・進行中の外科的処置の推定完了時間に基づいて、予測完了時間が完了と関連付けられ
るスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステッ
プ
・分散の計算時に通知を出力することによって、手術室の後続のユーザがそれに応じて
自分のスケジュールを調整できるようにするステップ
・通知は、更新された手術室スケジュールを含む
・更新された手術室スケジュールは、待ち行列に入れられたヘルスケア専門家が後続の
外科的処置の準備をすることができるようにする
・手術室の後続のスケジュールされたユーザと関連付けられるデバイスに通知を電子的
に送信するステップ
・完了と関連付けられるスケジュールされた時間からの分散の範囲を決定するステップ
・第１の決定された範囲に応じて、通知を出力するステップ
・第２の決定された範囲に応じて、通知を出力しないで済ませるステップ
・予測完了時間が、完了と関連付けられるスケジューリングされた時間からの少なくと
も選択された閾値時間の遅延をもたらす可能性が高いかどうかを決定するステップ
・予測完了時間が少なくとも選択された閾値時間の遅延をもたらす可能性が高いという
決定に応じて、通知を出力するステップ
・予測完了時間が少なくとも選択された閾値時間の遅延をもたらしそうにないという決
定に応じて、通知を出力しないで済ませるステップ
・推定完了時間を決定するステップは、進行中の外科的処置を行うヘルスケア専門家と
関連付けられる１つ以上の記憶された特性に基づく
・決定された実際の時間に基づいて完了までの履歴的な平均時間を更新して、進行中の
外科的処置を完了させるステップ
・画像センサが患者の上方に位置される
・画像センサが手術器具上に位置される
・解析するステップは、受信された視覚データ内の特性事象を検出するステップと、履
歴的な手術データに基づいて情報を評価して、履歴的な手術データ内の特性事象の発生後
に外科的処置を完了する予測時間を決定するステップと、決定された予測完了時間に基づ
いて推定完了時間を決定するステップとを更に含む
・履歴的な視覚データを使用して、機械学習モデルをトレーニングし、特性事象を検出
するステップ
・完了時間を推定するために機械学習モデルをトレーニングするべく履歴的な視覚デー
タを使用するステップ
・推定完了時間を計算するステップは、トレーニングされた機械学習モデルを実装する
ステップを含む
・平均の履歴的な完了時間を使用して推定完了時間を決定するステップ
・視覚データ内の医療器具を検出するステップ
・推定完了時間を計算するステップは、検出された医療器具に基づく
・解析するステップは、視覚データ内の解剖学的構造を検出するステップを更に含む
・推定完了時間を計算するステップは、検出された解剖学的構造に基づく
・解析するステップは、視覚データ内の解剖学的構造と医療器具との間の相互作用を検
出するステップを更に含む
・推定完了時間を計算するステップは、検出された相互作用に基づく
・解析するステップは、視覚データにおける外科医のスキルレベルを決定するステップ
を更に含む
・推定完了時間を計算するステップは、決定されたスキルレベルに基づく
・患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップ
・外科的処置中に捕捉されるビデオフレームを解析して、ビデオフレーム内で、少なく
とも１つの医療機器、少なくとも１つの解剖学的構造、及び、少なくとも１つの医療機器
と少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別するステップ
・医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関さ
れる払い戻しコードのデータベースにアクセスするステップ
・少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の識別された少な
くとも１つの相互作用を払い戻しコードのデータベース内の情報と比較して、外科的処置
と関連付けられる少なくとも１つの払い戻しコードを決定するステップ
・外科的処置に関する保険払い戻しを取得するのに用いる少なくとも１つの払い戻しコ
ードを出力するステップ
・出力された少なくとも１つの払い戻しコードは、出力された複数の払い戻しコードを
含む
・複数の出力された払い戻しコードのうちの少なくとも２つは、共通の解剖学的構造と
の異なる相互作用に基づく
・少なくとも２つの出力された払い戻しコードは、２つの異なる医療機器の検出に部分
的に基づく。
・少なくとも１つの払い戻しコードを決定するステップは、術後手術報告の解析にも基
づく
・ビデオフレームは、患者の上方に位置される画像センサから捕捉される
・ビデオフレームは、医療デバイスと関連付けられる画像センサから捕捉される
・少なくとも１つの払い戻しコードを外科的処置と関連付けることによってデータベー
スを更新するステップ
・処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療機器、履歴的なビ
デオ映像内の複数の解剖学的構造、又は、履歴的なビデオ映像内の医療機器と解剖学的構
造との間の複数の相互作用のうちの少なくとも１つとの間の相関関係を生成するステップ
・生成された相関に基づいてデータベースを更新するステップ
・相関関係を生成するステップは、統計的モデルを実装するステップを含む
・機械学習モデルを使用して、履歴的なビデオ映像内で、複数の医療機器、複数の解剖
学的構造、又は、医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１
つを検出するステップ
・外科的処置中に捕捉されるビデオフレームを解析して、患者の解剖学的構造の状態を
決定するステップ
・解剖学的構造の決定された状態に基づいて外科的処置と関連付けられる少なくとも１
つの払い戻しコードを決定するステップ
・外科的処置中に捕捉されるビデオフレームを解析して、外科的処置中の患者の解剖学
的構造の状態の変化を決定するステップ
・解剖学的構造の状態の決定された変化に基づいて、外科的処置と関連付けられる少な
くとも１つの払い戻しコードを決定するステップ
・特定の医療デバイスの使用を決定するために外科的処置中に捕捉されるビデオフレー
ムを解析するステップ
・特定の医療デバイスの決定された使用に基づいて外科的処置と関連付けられる少なく
とも１つの払い戻しコードを決定するステップ
・特定の医療デバイスの使用のタイプを決定するために外科的処置中に捕捉されるビデ
オフレームを解析するステップ
・第１の決定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第１
の払い戻しコードを決定するステップ
・第２の決定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第２
の払い戻しコードを決定するステップであって、少なくとも第１の払い戻しコードが少な
くとも第２の払い戻しコードとは異なる、ステップ
・外科的処置と関連付けられる処理された払い戻しコードを受信し、処理された払い戻
しコードに基づいてデータベースを更新するステップ
・処理された払い戻しコードは、少なくとも１つの払い戻しコードの対応する払い戻し
コードとは異なる
・外科的処置中に捕捉されるビデオフレームを解析して、外科的処置で使用される特定
のタイプの医療物資の量を決定するステップ
・決定された量に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコー
ドを決定するステップ
・患者の識別子の入力を受信するステップ
・ヘルスケア提供者の識別子の入力を受信するステップ
・ヘルスケア提供者によって前記患者に対して行われる外科的処置の手術映像の入力を
受信するステップ
・手術映像の複数のフレームを解析して、外科的処置の術後報告を作成するための画像
ベースの情報を導き出すステップ
・導き出された画像ベースの情報が外科的処置の術後報告を作成するようにするステッ
プ
・外科的処置の１つ以上の段階を識別して識別された段階のうちの少なくとも１つの段
階の特性を識別するために手術映像を解析するステップ
・導き出された画像ベースの情報は、識別された少なくとも１つの段階と、少なくとも
１つの段階の識別された特性とに基づく
・手術映像を解析して、名前を少なくとも１つの段階と関連付けるステップ
・導き出された画像ベースの情報は、少なくとも１つの段階と関連付けられる名前を含
む
・少なくとも１つの段階の少なくとも開始を決定するステップ
・導き出された画像ベースの情報は、決定された開始に基づく
・時間マーカを少なくとも１つの段階と関連付けるステップ
・導き出された画像ベースの情報は、少なくとも１つの段階と関連付けられる時間マー
カを含む
・データをヘルスケア提供者に送信するステップであって、送信されるデータが、患者
識別子と、導き出された画像ベースの情報とを含む、ステップ
・手術映像を解析して、術後治療のための少なくとも１つの推奨を識別するステップ
・識別された少なくとも１つの推奨を与えるステップ
・外科的処置の術後報告の引き起こされた作成は、術後報告内の導き出された画像ベー
スの情報の少なくとも一部をヘルスケア提供者が変更できるようにするべく設定される
・外科的処置の術後報告の引き起こされた作成は、導き出された画像ベースの情報の少
なくとも一部を術後報告において自動的に生成されたデータとして識別させるように設定
される
・手術映像を解析して、手術映像内の手術事象を識別するとともに、識別された手術事
象の特性を識別するステップ
・導き出された画像ベースの情報は、識別された手術事象及び識別された特性に基づく
・手術映像を解析して、識別された手術事象の事象名を決定するステップ
・導き出された画像ベースの情報は、決定された事象名を含む
・時間マーカを識別された手術事象と関連付けるステップ
・導き出された画像ベースの情報が時間マーカを含む
・導き出された画像ベースの情報を電子医療記録の更新を可能にする形式で提供するス
テップ
・導き出された画像ベースの情報は、ユーザ入力に部分的に基づく
・導き出された画像ベースの情報は、外科的処置の第１の一部と関連付けられる第１の
部分と、外科的処置の第２の一部と関連付けられる第２の部分とを含み、予備術後報告を
受けるステップを更に含む
・予備術後報告を解析して、予備術後報告内の第１の位置及び第２の位置を選択するス
テップであって、第１の位置が外科的処置の第１の一部と関連付けられ、第２の位置が外
科的処置の第２の一部と関連付けられる、ステップ
・導き出された画像ベースの情報の第１の部分を選択された第１の位置に挿入させ、導
き出された画像ベースの情報の第２の部分を選択された第２の位置に挿入させるステップ
・手術映像を解析して、手術映像の少なくとも１つのフレームの少なくとも一部を選択
するステップ
・手術映像の少なくとも１つのフレームの選択された少なくとも一部を外科的処置の術
後報告に含ませるステップ
・予備術後報告を受けるステップ
・予備術後報告及び手術映像を解析して、手術映像の少なくとも１つのフレームの少な
くとも一部を選択するステップ
・予備術後報告を受けるステップ
・予備術後報告及び手術映像を解析して、予備術後報告と手術映像との間の少なくとも
１つの不一致を識別するステップ
・識別された少なくとも１つの不一致の表示を与えるステップ
・特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップ
・外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスす
るステップ
・アクセスされたフレームを推奨された一連の事象と比較して、特定の外科的処置と外
科的処置に関して推奨される一連の事象との間の逸脱の表示を識別するステップ
・逸脱と関連付けられる術中手術事象の名前を決定するステップ
・逸脱と関連付けられる術中手術事象の名前を含む逸脱の通知を与えるステップ
・逸脱の表示を識別するステップ及び通知を与えるステップは、外科的処置中にリアル
タイムで起こる
・特定の外科的処置において特定の動作がまさに起ころうとしているという表示を受け
るステップ
・推奨された一連の事象を使用して、特定の動作に対する予備的動作を識別するステッ
プ
・アクセスされたフレームの解析に基づいて、識別された予備的動作が未だ起こらなか
ったと決定するステップ
・識別された予備的動作が未だ起こらなかったという決定に応じて、逸脱の表示を識別
するステップ
・特定の外科的処置が胆嚢切除術である
・推奨された一連の事象は、安全性の危機的観点に基づく
・特定の外科的処置が虫垂切除術である
・特定の外科的処置がヘルニア修復である
・特定の外科的処置が子宮摘出である
・特定の外科的処置が根治的前立腺摘除術である
・特定の外科的処置が部分的腎摘出術であり、逸脱は、腎門を識別することを無視する
ことを含む
・特定の外科的処置が甲状腺摘出術であり、逸脱は、再発性喉頭神経を識別することを
無視することを含む
・逸脱と関連付けられるフレームのセットを識別するステップ
・通知を与えるステップは、逸脱と関連付けられる識別されたフレームのセットを表示
するステップを含む
・定の動作がまさに起ころうとしているという表示は、特定の外科的処置を行う外科医
からの入力に基づく
・特定の動作がまさに起ころとしているという表示は、選択された関心領域への特定の
医療機器の進入である
・逸脱を識別するステップは、手術器具が特定の解剖学的領域内にあると決定するステ
ップを含む
・特定の外科的処置が結腸半切除術である
・逸脱は、吻合を行うことを無視することを含む
・逸脱の表示を識別するステップは、術中外科的処置と関連付けられる経過時間に基づ
く
・手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステ
ップ
・外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセ
スするステップ
・画像関連データを使用して受けられたビデオ映像を解析し、外科的意思決定ジャンク
ションの存在を決定するステップ
・少なくとも１つのデータ構造において、転帰と意思決定ジャンクションで講じられる
特定の動作との間の相関関係にアクセスするステップ
・意思決定ジャンクションの決定された存在とアクセスされた相関関係とに基づいて、
特定の動作を行うようにユーザに推奨を出力するステップ
・命令は、外科的処置中に少なくとも１つのプロセッサに動作をリアルタイムに実行さ
せるように設定される
・ユーザが外科医である
・意思決定ジャンクションは、共通の手術状況に続いて異なる動作経過が起こった複数
の異なる履歴的な処置の解析によって決定される
・ビデオ映像は、内視鏡及び体内カメラのうちの少なくとも一方からの画像を含む
・推奨は、医療検査を行うべき推奨を含む
・医療検査の結果を受けるステップ
・意思決定ジャンクションの決定された存在、アクセスされた相関関係、及び、医療検
査の受けられた結果に基づいて、特定の動作を行うための第２の推奨をユーザに出力する
ステップ
・特定の動作は、更なる外科医を手術室へと至らせることを含む
・意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の退縮、解剖
学的構造の誤った解釈、又は、流体漏れのうちの少なくとも１つを含む
・推奨は、特定の動作が講じられる場合に所望の手術転帰が起こるという信頼度レベル
を含む
・推奨は、特定の動作が講じられない場合に所望の転帰が起こらないという信頼度レベ
ルを含む
・推奨は、外科的処置における特定のポイントからの経過時間に基づく
・推奨は、特定の動作が行われない場合に起こる可能性が高い望ましくない手術転帰の
表示を含む
・推奨は、外科医のスキルレベルに基づく
・推奨は、意思決定ジャンクションの前に外科的処置で起こった手術事象に基づく
・特定の動作が複数のステップを含む
・外科的意思決定ジャンクションの存在の決定は、解剖学的構造の検出された生理的応
答及び手術器具と関連する動きのうちの少なくとも一方に基づく
・患者のバイタルサインを受信するステップ
・推奨は、アクセスされた相関関係及びバイタルサインに基づく
・外科医が手術用ロボットであり、推奨は、手術用ロボットへの命令の形態で与えられ
る
・推奨は、患者の組織の状態に基づく
・特定の動作の推奨は、瘻孔の形成を含む
・手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するス
テップ
・受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、画
像データで反映された解剖学的構造の状態を決定するステップ
・解剖学的構造と関連付けられる接触力閾値を選択するステップであって、選択された
接触力閾値が解剖学的構造の決定された状態に基づく、ステップ
・解剖学的構造に作用する実際の接触力の表示を受けるステップ
・実際の接触力の表示と選択された接触力閾値とを比較するステップ
・実際の接触力の表示が選択された接触力閾値を超えるという決定に基づいて通知を出
力するステップ
・接触力閾値が引張レベルと関連付けられる
・接触力閾値が圧縮レベルと関連付けられる
・実際の接触力は、医療機器と解剖学的構造との間の接触と関連付けられる
・実際の接触力の表示は、画像データの画像解析に基づいて推定される
・通知を出力するステップは、外科的処置を行う外科医にリアルタイム警告を与えるス
テップを含む
・通知は、手術用ロボットに対する命令である
・画像データから、外科的処置が戦闘モードにあると決定するステップ
・通知が戦闘モード中に保留される
・画像データから、外科医が接触力通知を無視するモードで手術していると決定し、外
科医が接触力通知を無視するモードで手術しているという決定に基づいて、少なくとも一
時的に更なる接触力通知を保留するステップ
・接触力閾値を選択するステップは、解剖学的構造と医療機器との間の接触の位置に基
づく
・接触力閾値を選択するステップは、解剖学的構造と医療機器との間の接触角に基づく
・接触力閾値を選択するステップは、解剖学的構造の状態を入力として回帰モデルに与
えるステップ、及び、回帰モデルの出力に基づいて接触力閾値を選択するステップを含む
・接触力閾値を選択するステップは、対応する接触力閾値を含む解剖学的構造のテーブ
ルに基づく
・接触力閾値を選択するステップは、外科医によって実行される動作に基づく
・実際の接触力の表示が手術器具から受けられる
・実際の接触力の表示が手術用ロボットから受けられる
・トレーニング例を使用してトレーニングされた機械学習モデルを用いて、画像データ
内の解剖学的構造の状態を決定するステップ
・トレーニング例を使用してトレーニングされた機械学習モデルを用いて接触力閾値を
選択するステップ
・外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、外
科的処置中に第１の事象と関連付けられる画像データを受信するステップ
・第１の事象と関連付けられる受信された画像データに基づいて、外科的処置と関連付
けられる予測転帰を決定するステップ
・外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、外
科的処置中に第２の事象と関連付けられる画像データを受信するステップ
・第２の事象と関連付けられる受信された画像データに基づいて、予測転帰の変化を決
定し、それにより、予測転帰を閾値未満に低下させるステップ
・以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップ
・アクセスされた画像関連データに基づいて、推奨される是正措置を識別するステップ
・推奨される是正措置を出力するステップ
・推奨される是正措置は、外科医が外科的処置をやめて休憩するための推奨を含む
・推奨される是正措置は、他の外科医からの支援を要求する推奨を含む
・推奨される是正措置は、外科的処置に対する修正を含む
・予測転帰は、入院の可能性を含む
・予測転帰の変化を決定するステップが出血の大きさに基づく
・是正措置を識別するステップは、是正措置が予測転帰を閾値を超えて上昇させる可能
性が高いという表示に基づく
・是正措置を識別するステップは、是正措置及び手術転帰の履歴例を使用して是正措置
を識別するようにトレーニングされた機械学習モデルを使用するステップを含む
・予測転帰を決定するステップは、履歴的な手術ビデオと履歴的な手術ビデオに対応す
る手術転帰を示す情報と基づいて予測転帰を決定するようにトレーニングされた機械学習
モデルを使用するステップを含む
・予測転帰を決定するステップは、手術器具と解剖学的構造との間の相互作用を識別す
るステップ、及び、識別された相互作用に基づいて予測転帰を決定するステップを含む
・予測転帰を決定するステップは、画像データで描写される外科医のスキルレベルに基
づく
・画像データで描写される外科医のスキルレベルを決定するステップ
・予測転帰の変化を決定するステップがスキルレベルに基づく
・予測転帰が閾値を下回ることに応じて、外科的処置に関連する手術室と関連付けられ
るスケジュール記録を更新するステップを更に含む
・予測転帰の変化を決定するステップは、外科的処置における特定のポイントと第２の
事象との間の経過時間に基づく
・予測転帰を決定するステップは、画像データで描写される解剖学的構造の状態に基づ
く
・解剖学的構造の状態を決定するステップ
・予測転帰の変化を決定するステップは、解剖学的構造の少なくとも一部の色の変化に
基づく
・予測転帰の変化を決定するステップは、解剖学的構造の少なくとも一部の外観の変化
に基づく
・外科的処置の腔内ビデオをリアルタイムで受けるステップ
・腔内ビデオのフレームを解析して、腔内ビデオ内の異常な流体漏れ状況を決定するス
テップ
・異常な流体漏れ状況が決定されるときに是正措置を策定するステップ
・流体は、血液、胆汁、又は、尿のうちの少なくとも１つを含む
・解析するステップは、腔内ビデオのフレームを解析して、血液飛散と、血液飛散の少
なくとも１つの特性とを識別するステップを含む
・是正措置の選択は、識別された血液飛散の少なくとも１つの特性に依存する
・少なくとも１つの特性は、血液飛散源と関連付けられる
・少なくとも１つの特性は、血液飛散の強さと関連付けられる
・少なくとも１つの特性は、血液飛散の量と関連付けられる
・腔内ビデオのフレームを解析するステップは、異常な流体漏れ状況の特性を決定する
ステップを含む
・是正措置の選択は、決定された特性に依存する
・特性が流体漏れの量と関連付けられる
・特性が流体漏れの色と関連付けられる
・特性は、流体漏れに関連する流体のタイプと関連付けられる
・特性が流体漏れ速度と関連付けられる
・腔内ビデオを記憶するとともに、異常な漏れ状況を決定する際に、記憶された腔内ビ
デオの以前のフレームを解析して、漏れ源を決定するステップ
・是正措置を策定するステップは、漏れ源の通知を与えるステップを含む
・漏れ源を決定するステップは、破裂した解剖学的器官を識別するステップを含む
・流体漏れ状況と関連付けられる流量を決定するステップ
・是正措置を策定するステップが流量に基づく
・流体漏れ状況と関連付けられる流体損失の量を決定するステップ
・是正措置を策定するステップが流体損失の量に基づく
・腔内ビデオのフレームを解析して腔内ビデオ内の異常な流体漏れ状況を決定するステ
ップは、決定された流体漏れ状況が異常な流体漏れ状況であるかどうかを決定するステッ
プを含む
・決定された流体漏れ状況が異常な流体漏れ状況であるという決定に応じて、是正措置
を策定するステップ
・決定された流体漏れ状況が正常な流体漏れ状況であるという決定に応じて、是正措置
の策定をしないで済ませるステップ
・腔内ビデオが外科的処置を実行する手術用ロボットを描写し、是正措置がロボットに
命令を送信することを含む
・患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステ
ップ
・術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップ
・アクセスされたフレームを解析するとともに、履歴データから取得される情報に基づ
いて、アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステ
ップ
・履歴データから取得される情報と識別された少なくとも１つの術中事象とに基づいて
、特定の外科的処置と関連付けられる予測転帰を決定するステップ
・予測転帰を患者と関連付ける態様で予測転帰を出力するステップ
・少なくとも１つの特定の術中事象を識別するステップは、アクセスされたフレーム内
の検出された手術器具、アクセスされたフレーム内の検出された解剖学的構造、手術器具
と解剖学的構造との間のアクセスされたフレーム内の相互作用、又は、アクセスされたフ
レーム内の検出された異常な流体漏れ状況のうちの少なくとも１つに基づく
・アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するために
機械学習モデルが使用され、前記機械学習モデルがトレーニングデータ例を使用してトレ
ーニングされる
・予測転帰を決定するステップは、患者の特性、電子医療記録、又は、術後手術報告の
うちの少なくとも１つに基づく
・機械学習モデルが、術中事象に基づいて特定の外科的処置と関連付けられる予測転帰
を決定するために使用され、機械学習モデルがトレーニング例を使用してトレーニングさ
れる
・予測転帰を決定するステップは、トレーニングされた機械学習モデルを使用して、識
別された術中事象と患者の識別された特性とに基づいて手術転帰を予測するステップを含
む
・外科的処置に続く実現された手術転帰を識別する情報を受信するとともに、受信され
た情報を使用して機械学習モデルをトレーニングすることによって機械学習モデルを更新
するステップ
・患者の特性を識別するステップ
・予測転帰は、識別された患者特性に基づいても決定される
・患者特性が電子医療記録から導き出される
・患者特性を識別するステップは、機械学習モデルを使用してアクセスされたフレーム
を解析するステップを含み、機械学習モデルは、履歴的な外科的処置のトレーニング例と
対応する履歴的な患者特性とを使用して患者特性を識別するようにトレーニングされる
・予測転帰は、退院後の事故、退院後の有害事象、退院後の合併症、又は、再入院のリ
スクの推定のうちの少なくとも１つを含む
・推奨される一連の手術事象を含むデータ構造にアクセスするステップ
・少なくとも１つの特定の術中事象を識別するステップは、データ構造において識別さ
れた外科的処置に関して推奨された一連の事象と、アクセスされたフレームにおいて検出
された実際の一連の事象との間の逸脱の識別に基づく
・逸脱の識別は、アクセスされたフレーム内の検出された手術器具、アクセスされたフ
レーム内の検出された解剖学的構造、又は、手術器具と解剖学的構造との間のアクセスさ
れたフレーム内の相互作用のうちの少なくとも１つに基づく
・逸脱の識別は、履歴的な手術ビデオ映像、履歴的な推奨された一連の事象、及び、履
歴的なビデオ映像内の履歴的な推奨された一連の事象からの逸脱を識別する情報に基づい
て、推奨された一連の事象からの逸脱を識別するようにトレーニングされた機械学習モデ
ルを使用することを含む
・逸脱を識別するステップは、アクセスされたフレームと、推奨される一連の事象を描
写する基準フレームとを比較するステップを含む
・予測転帰を出力するステップは、患者と関連付けられる電子医療記録を更新するステ
ップを含む
・予測転帰を出力するステップは、予測転帰をヘルスケア提供者と関連付けられるデー
タ受信デバイスに送信するステップを含む
・アクセスされたフレームに基づいて予測転帰を改善する可能性が高い少なくとも１つ
の動作を決定するステップ
・決定された少なくとも１つの動作に基づいて推奨を与えるステップ
本明細書中に開示されるシステム及び方法は、従来の手法に優る非従来的な改善を伴う
。開示された実施形態の説明は、網羅的ではなく、開示された正にその形態又は実施形態
に限定されない。実施形態の変更及び適合は、開示された実施形態の仕様及びやり方を考
慮することにより明らかである。更に、開示された実施形態は、本明細書で説明される例
に限定されない。
以上の説明は、例示を目的として提示される。これらの説明は、網羅的ではなく、開示
された正にその形態又は実施形態に限定されない。実施形態の変更及び適合は、開示され
た実施形態の仕様及びやり方を考慮することにより明らかである。例えば、記載された実
施態様はハードウェア及びソフトウェアを含むが、本開示と整合するシステム及び方法が
ハードウェアのみとして実施されてもよい。
この明細書中に記載される説明及び方法に基づくコンピュータプログラムは、ソフトウ
ェア開発者の技能の範囲内である。様々な関数、スクリプト、プログラム、又は、モジュ
ールは、様々なプログラミング技術を使用して作成されてもよい。例えば、プログラム、
スクリプト、関数、プログラムセクション、又は、プログラムモジュールは、ＪＡＶＡＳ
ＣＲＩＰＴ（登録商標）、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、ＰＨＰ、ＰＹＴＨＯＮ、
ＲＵＢＹ、ＰＥＲＬ、ＢＡＳＨ、又は、他のプログラミング言語もしくはスクリプト言語
を含む言語で又は該言語によって設計されてもよい。そのようなソフトウェアセクション
又はモジュールのうちの１つ以上は、コンピュータシステム、持続性コンピュータ可読媒
体、又は、既存の通信ソフトウェアに組み込まれてもよい。プログラム、モジュール、又
は、コードは、ファームウェア又は回路ロジックとして実装又は複製されてもよい。
更に、例示的な実施形態を本明細書中で説明してきたが、その範囲は、本開示に基づく
同等の要素、修正、省略、組み合わせ（例えば、様々な実施形態にわたる態様の組み合わ
せ）、適合、又は、変更を有するありとあらゆる実施形態を含むことができる。特許請求
の範囲における要素は、特許請求の範囲で使用される言語に基づいて広く解釈されるべき
であり、本明細書中に記載された例又は出願の審査中に限定されず、それらの例は非排他
的であると解釈されるべきである。更に、開示された方法のステップは、ステップの並べ
替え又はステップの挿入もしくは削除によるなど、任意の態様で修正されてもよい。した
がって、本明細書及び実施例が単なる典型例と見なされるにすぎず、真の範囲及び技術思
想は以下の特許請求の範囲及びそれらの均等物の全範囲によって示されることが意図され
る。
更に、例示的な実施形態を本明細書中で説明してきたが、その範囲は、本開示に基づく同等の要素、修正、省略、組み合わせ（例えば、様々な実施形態にわたる態様の組み合わせ）、適合、又は、変更を有するありとあらゆる実施形態を含むことができる。特許請求の範囲における要素は、特許請求の範囲で使用される言語に基づいて広く解釈されるべきであり、本明細書中に記載された例又は出願の審査中に限定されず、それらの例は非排他的であると解釈されるべきである。更に、開示された方法のステップは、ステップの並べ替え又はステップの挿入もしくは削除によるなど、任意の態様で修正されてもよい。したがって、本明細書及び実施例が単なる典型例と見なされるにすぎず、真の範囲及び技術思想は以下の特許請求の範囲及びそれらの均等物の全範囲によって示されることが意図される。
一態様において、本開示は以下を提供する。
[項目１]
手術ビデオを見直すためのコンピュータ実装方法であって、
外科的処置の少なくとも１つのビデオにアクセスするステップと、
前記少なくとも１つのビデオを表示のために出力させるステップと、
手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバーレイするステップであって、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップと、
外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマーカと関連付けられる位置にスキップさせるステップと、
を含むコンピュータ実装方法。
[項目２]
前記マーカは、色又は臨界レベルのうちの少なくとも１つによってコード化される、項目１に記載の方法。
[項目３]
前記手術タイムラインは、前記外科的処置の部分を識別するテキスト情報を含む、項目１に記載の方法。
[項目４]
前記少なくとも１つのビデオは、手続き時系列順に配置された複数の外科的処置からの映像のコンパイルを含み、前記映像のコンパイルは、前記複数の外科的処置からの複雑さを描写し、前記１つ以上のマーカは、前記複数の外科的処置と関連付けられて、共通のタイムライン上に表示される、項目１に記載の方法。
[項目５]
前記１つ以上のマーカは、前記外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含み、前記意思決定ジャンクションマーカの前記選択は、前記外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリップを見ることができるようにし、前記２つ以上のビデオクリップが異なる行為を提示する、項目１に記載の方法。
[項目６]
前記１つ以上のマーカは、前記外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含み、前記意思決定ジャンクションマーカの前記選択は、前記選択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示を引き起こす、項目１に記載の方法。
[項目７]
前記１つ以上の別の想定し得る決定と関連付けられる１つ以上の推定される転帰が、前記１つ以上の別の想定し得る決定の前記表示と併せて表示される、項目６に記載の方法。
[項目８]
前記１つ以上の推定される転帰は、それぞれの同様の意思決定ジャンクションを含む過去の外科的処置の複数のビデオの解析の結果である、項目７に記載の方法。
[項目９]
それぞれの同様の過去の意思決定ジャンクションにおいて行われた過去の決定の分布に関連する情報が、前記別の想定し得る決定の前記表示と併せて表示される、項目６に記載の方法。
[項目１０]
前記外科的処置の前記意思決定ジャンクションが第１の患者と関連付けられ、前記それぞれの同様の過去の意思決定ジャンクションは、前記第１の患者と同様の特性を有する患者と関連付けられる過去の外科的処置から選択される、項目９に記載の方法。
[項目１１]
前記外科的処置の前記意思決定ジャンクションが第１の医療専門家と関連付けられ、前記それぞれの同様の過去の意思決定ジャンクションは、前記第１の医療専門家と同様の特性を有する医療専門家と関連付けられる過去の外科的処置から選択される、項目９に記載の方法。
[項目１２]
前記外科的処置の前記意思決定ジャンクションが前記外科的処置における第１の事前事象とに関連付けられ、前記同様の過去の意思決定ジャンクションは、前記第１の事前事象と同様の事前事象を含む過去の外科的処置から選択される、項目９に記載の方法。
[項目１３]
前記マーカが術中手術事象マーカを含み、術中手術事象マーカの選択は、前記外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにし、前記別のビデオクリップは、選択された術中手術事象が処理された異なる方法を提示する、項目１に記載の方法。
[項目１４]
前記ビデオ出力上への前記オーバーレイは、前記表示されたビデオで描写される前記外科的処置の終了前に表示される、項目１に記載の方法。
[項目１５]
前記解析は、過去の外科的処置の前記複数のビデオと関連付けられる１つ以上の電子医療記録に基づく、項目８に記載の方法。
[項目１６]
前記それぞれの同様の意思決定ジャンクションは、類似性メトリックに従う前記外科的処置の前記意思決定ジャンクションと同様である、項目８に記載の方法。
[項目１７]
前記解析は、コンピュータビジョンアルゴリズムの実装の使用を含む、項目８に記載の方法。
[項目１８]
前記マーカが術中手術事象に関連し、術中手術事象マーカの前記選択は、前記外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにする、項目１に記載の方法。
[項目１９]
手術ビデオを見直すためのシステムであって、前記システムは、
外科的処置の少なくとも１つのビデオにアクセスし、
前記少なくとも１つのビデオを表示のために出力させ、
手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバーレイし、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含み、
外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマーカと関連付けられる位置にスキップさせる、
ように構成される少なくとも１つのプロセッサを備える、システム。
[項目２０]
少なくとも１つのプロセッサによって実行されるときに、手術ビデオの見直しを可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
外科的処置の少なくとも１つのビデオにアクセスするステップと、
前記少なくとも１つのビデオを表示のために出力させるステップと、
手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバーレイするステップであって、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップと、
外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマーカと関連付けられる位置にスキップさせるステップと、
を含む、持続性コンピュータ可読媒体。
[項目２１]
ビデオインデックス付けのためのコンピュータ実装方法であって、
インデックス付けされるべきビデオ映像にアクセスするステップであって、前記インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップと、
前記ビデオ映像を解析して、前記特定の外科的処置の手術段階と関連付けられるビデオ映像位置を識別するステップと、
前記手術段階と関連付けられる段階タグを生成するステップと、
前記段階タグを前記ビデオ映像位置と関連付けるステップと、
前記手術段階内の特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析するステップと、
事象タグを前記特定の術中手術事象の前記事象位置と関連付けるステップと、
前記特定の術中手術事象と関連付けられる事象特性を記憶するステップと、
前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性と関連付けるステップであって、前記データ構造が、前記他の外科的処置のうちの１つ以上と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含む、ステップと、
表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザが前記データ構造にアクセスできるようにするステップと、
前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別するステップと、
前記記憶されたビデオ映像の一致するサブセットを前記ユーザに対して表示させ、それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された事象特性を共有する少なくとも１つの術中手術事象の前記手術映像を前記ユーザが見ることができるようにするステップと、
を含む、コンピュータ実装方法。
[項目２２]
前記選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、前記選択された事象特性を有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることができるようにするステップは、前記選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、前記選択された事象特性を共有する複数の術中手術事象の手術映像の部分を前記ユーザに順次に提示するステップを含む、項目２１に記載の方法。
[項目２３]
前記記憶された事象特性が前記手術事象の有害転帰を含み、前記一致するサブセットを表示させるステップは、選択された有害転帰の手術映像を前記ユーザが見ることができるようにする一方で、前記選択された有害転帰を欠く手術事象の再生を省略するステップを含む、項目２１に記載の方法。
[項目２４]
前記記憶された事象特性が外科的手技を含み、前記一致するサブセットを表示させるステップは、選択された外科的手技の手術映像を前記ユーザが見ることができるようにする一方で、前記選択された外科的手技と関連付けられない手術映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２５]
前記記憶された事象特性が外科医スキルレベルを含み、前記一致するサブセットを表示させるステップは、選択された外科医スキルレベルを示す映像を前記ユーザが見ることができるようにする一方で、前記選択された外科医スキルレベルを欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２６]
前記記憶された事象特性が身体的患者特性を含み、前記一致するサブセットを表示させるステップは、選択された身体的患者特性を示す映像を前記ユーザが見ることができるようにする一方で、前記選択された身体的患者特性を欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２７]
前記記憶された事象特性が特定の外科医の識別情報を含み、前記一致するサブセットを表示させるステップは、選択された外科医による行動を示す映像を前記ユーザが見ることができるようにする一方で、前記選択された外科医による行動を欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２８]
前記記憶された事象特性が生理的応答を含み、前記一致するサブセットを表示させるステップは、選択された生理的反応を示す映像を前記ユーザが見ることができるようにする一方で、前記選択された生理的反応を欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２９]
前記ビデオ映像を解析して前記手術事象又は前記手術段階のうちの少なくとも一方と関連付けられる前記ビデオ映像位置を識別するステップは、再生のための前記手術段階の開始位置又は再生のための手術事象の開始のうちの少なくとも一方を識別するために前記ビデオ映像に対してコンピュータ画像解析を実行するステップを含む、項目２１に記載の方法。
[項目３０]
前記特定の外科的処置と同様の複数の外科的処置に関連する集約データにアクセスするステップと、前記選択された事象特性と関連付けられる統計情報を前記ユーザに提示するステップとを更に含む、項目２１に記載の方法。
[項目３１]
前記アクセスされたビデオ映像は、手術台の上方、患者の手術体腔内、患者の臓器内、又は、患者の脈管構造内の位置のうちの少なくとも１つに位置される少なくとも１つの画像センサを介して捕捉されるビデオ映像を含む、項目２１に記載の方法。
[項目３２]
前記ビデオ映像位置を識別するステップがユーザ入力に基づく、項目２１に記載の方法。
[項目３３]
前記ビデオ映像位置を識別するステップは、コンピュータ解析を使用して前記ビデオ映像のフレームを解析するステップを含む、項目２１に記載の方法。
[項目３４]
前記コンピュータ画像解析は、以前に識別された手術段階を含むビデオフレーム例を使用してトレーニングされたニューラルネットワークモデルを使用することによってビデオ映像位置又は段階タグのうちの少なくとも一方を識別するステップを含む、項目２９に記載の方法。
[項目３５]
ユーザ入力に基づいて前記記憶された事象特性を決定するステップを更に含む、項目２１に記載の方法。
[項目３６]
前記特定の術中手術事象を描写するビデオ映像のコンピュータ解析に基づいて前記記憶された事象特性を決定するステップを更に含む、項目２１に記載の方法。
[項目３７]
前記段階タグを生成するステップは、前記手術段階を描写するビデオ映像のコンピュータ解析に基づく、項目２１に記載の方法。
[項目３８]
記憶されたビデオ映像の一致するサブセットを識別するステップは、コンピュータ解析を使用して、前記記憶されたビデオの一致するサブセットと前記選択された事象特性との間の類似性の度合いを決定するステップを含む、項目２１に記載の方法。
[項目３９]
インデックス付けされるべきビデオ映像にアクセスし、前記インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含み、
前記ビデオ映像を解析して段階タグを生成し、
前記外科的処置の手術段階と関連付けられるビデオ映像位置を識別し、
前記段階タグを前記ビデオ映像位置と関連付け、
特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析し、
事象タグを前記特定の術中手術事象の前記事象位置と関連付け、
前記特定の術中手術事象の事象特性を記憶し、
前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性と関連付け、前記データ構造が、少なくとも１つの他の外科的処置と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含み、
表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザが前記データ構造にアクセスできるようにし、
前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別し、
前記記憶されたビデオ映像の一致するサブセットを前記ユーザに対して表示させ、それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることができるようにする、
べく構成される少なくとも１つのプロセッサを含む、手術ビデオインデックス付けシステム。
[項目４０]
少なくとも１つのプロセッサによって実行されるときに、ビデオインデックス付けを可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
インデックス付けされるべきビデオ映像にアクセスするステップであって、前記インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップと、
前記ビデオ映像を解析して段階タグを生成するステップと、
前記外科的処置の手術段階と関連付けられるビデオ映像位置を識別するステップと、
前記段階タグを前記ビデオ映像位置と関連付けるステップと、
特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析するステップと、
事象タグを前記特定の術中手術事象の前記事象位置と関連付けるステップと、
前記特定の術中手術事象の事象特性を記憶するステップと、
前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性と関連付けるステップであって、前記データ構造が、１つ以上の他の外科的処置と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含む、ステップと、
表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザが前記データ構造にアクセスできるようにするステップと、
前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別するステップと、
前記記憶されたビデオ映像の前記一致するサブセットを前記ユーザに対して表示させ、それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることができるようにするステップと、
を含む、持続性コンピュータ可読媒体。
[項目４１]
手術概要映像を生成するためのコンピュータ実装方法であって、
少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするステップと、
以前の外科的処置の履歴的な手術映像に基づいて履歴データにアクセスするステップであって、前記履歴データが、手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップと、
前記履歴データの情報に基づき、前記特定の手術映像において、フレームの前記第１のグループをフレームの前記第２のグループから区別するステップと、
ユーザの要求に基づいて、フレームの前記第２のグループのユーザへの提示を省略しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示するステップと、
を含む、コンピュータ実装方法。
[項目４２]
前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームに区別する前記情報は、手術器具の存在又は動きのうちの少なくとも一方の指標を含む、項目４１に記載の方法。
[項目４３]
前記履歴的な手術映像の一部を術中手術事象と関連するフレームに区別する前記情報は、関連するフレーム内の検出された器具及び解剖学的特徴を含む、項目４１に記載の方法。
[項目４４]
前記ユーザの前記要求は、対象の少なくとも１つのタイプの術中手術事象の表示を含み、フレームの前記第１のグループは、前記少なくとも１つのタイプの対象の術中手術事象のうちの少なくとも１つの術中手術事象を描写する、項目４１に記載の方法。
[項目４５]
前記ユーザの前記要求は、前記特定の手術映像内の複数の術中手術事象を見る要求を含み、フレームの前記第１のグループの集約を前記ユーザに提示するステップは、前記第２のグループの時系列フレームを省略してフレームの前記第１のグループを時系列順に表示するステップを含む、項目４１に記載の方法。
[項目４６]
前記履歴データは、履歴的な手術転帰データ及びそれぞれの履歴的な原因データを更に含み、
フレームの前記第１のグループは、フレームの原因セット及びフレームの転帰セットを含み、
フレームの前記第２のグループがフレームの中間セットを含み、
前記方法は、
前記特定の手術映像を解析して手術転帰及び前記手術転帰のそれぞれの原因を識別するステップであって、識別する前記ステップが前記履歴的な転帰データ及びそれぞれの履歴的な原因データに基づく、ステップと、
前記解析に基づいて、前記特定の手術映像内のフレームの前記転帰セットを検出するステップであって、フレームの前記転帰セットが前記外科的処置の転帰段階内にある、ステップと、
前記解析に基づいて、前記特定の手術映像内のフレームの原因セットを検出するステップであって、フレームの前記原因セットが、前記転帰段階から時間的に離れた前記外科的処置の原因段階内にあり、フレームの前記中間セットが、フレームの前記原因セットとフレームの前記転帰セットとの間に介挿される中間段階内にある、ステップと、
前記手術映像の因果関係概要を生成するステップであって、前記因果関係概要が、フレームの前記原因セット及びフレームの前記転帰セットを含み、フレームの前記中間セットを省く、ステップと、
を含み、
前記ユーザに提示されるフレームの前記第１のグループの前記集約が前記因果関係概要を含む、項目４１に記載の方法。
[項目４７]
前記原因段階は、前記原因が発生した手術段階を含み、フレームの前記原因セットは、前記原因段階における前記フレームのサブセットである、項目４６に記載の方法。
[項目４８]
前記転帰段階は、前記転帰が観察できる手術段階を含み、フレームの前記転帰セットは、前記転帰段階におけるフレームのサブセットである、項目４６に記載の方法。
[項目４９]
前記方法は、前記履歴データを使用して前記手術転帰及び前記手術転帰のそれぞれの原因を識別するようにトレーニングされる機械学習モデルを使用して、前記特定の手術映像を解析するステップを更に含む、項目４６に記載の方法。
[項目５０]
前記特定の手術映像は、患者に対して行われて手術室内の少なくとも１つの画像センサによって捕捉される外科的処置を描写し、前記方法は、前記患者の医療記録に記憶するためにフレームの前記第１のグループをエクスポートするステップを更に含む、項目５１に記載の方法。
[項目５１]
前記方法は、前記少なくとも１つの術中手術事象のインデックスを生成するステップを更に含み、フレームの前記第１のグループをエクスポートするステップは、フレームの前記第１のグループのコンパイルを生成するステップを含み、前記コンパイルは、前記インデックスを含むとともに、１つ以上のインデックス項目の選択に基づいて前記少なくとも１つの術中手術事象の視聴を可能にするように構成される、項目５０に記載の方法。
[項目５２]
前記コンパイルは、連続ビデオとして記憶される異なる術中事象の一連のフレームを含む、項目５１に記載の方法。
[項目５３]
前記方法は、フレームの前記第１のグループを固有の患者識別子と関連付けて、前記固有の患者識別子を含む医療記録を更新するステップを更に含む、項目５０に記載の方法。
[項目５４]
前記少なくとも１つの画像センサの位置は、前記手術室内の手術台の上方又は前記患者内のうちの少なくとも１つである、項目５１に記載の方法。
[項目５５]
前記特定の手術映像においてフレームの前記第１のグループをフレームの前記第２のグループから区別するステップは、
前記特定の手術映像を解析して医療機器を検出するステップと、
前記特定の手術映像を解析して解剖学的構造を検出するステップと、
前記ビデオを解析して、前記検出された医療機器と前記検出された解剖学的構造との間の相対動作を検出するステップと、
前記相対動作に基づいてフレームの前記第１のグループをフレームの前記第２のグループから区別するステップであって、フレームの前記第１のグループが手術行動フレームを含み、フレームの前記第２のグループが非手術行動フレームを含み、集約を提示することにより、手術の準備をしている外科医が、要約される提示のビデオ見直し中に前記非手術構造フレームを省略することができる、ステップと、
を含む、項目５１に記載の方法。
[項目５６]
フレームの前記第１のグループをフレームの前記第２のグループから区別するステップは、前記医療機器と前記解剖学的構造との間の検出された相対位置に更に基づく、項目５５に記載の方法。
[項目５７]
フレームの前記第１のグループをフレームの前記第２のグループから区別するステップは、前記医療機器と前記解剖学的構造との間の検出された相互作用に更に基づく、項目５５に記載の方法。
[項目５８]
前記非手術行動フレームを省略するステップは、非手術行動を捕捉するフレームの大部分を省略するステップを含む、項目５５に記載の方法。
[項目５９]
手術概要映像を生成するためのシステムであって、
少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスし、
以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスし、前記履歴データが、前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含みと、
前記履歴データの前記情報に基づき、前記特定の手術映像において、フレームの前記第１のグループをフレームの前記第２のグループから区別し、
ユーザの要求に基づいて、フレームの前記第２のグループの前記ユーザへの提示を省略しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示する、
ように構成される少なくとも１つのプロセッサを含む、システム。
[項目６０]
少なくとも１つのプロセッサによって実行されるときに、手術概要映像を生成できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするステップと、
以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスするステップであって、前記履歴データが、前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップと、
前記履歴データの前記情報に基づき、前記特定の手術映像において、フレームの前記第１のグループをフレームの前記第２のグループから区別するステップと、
ユーザの要求に基づいて、フレームの前記第２のグループの前記ユーザへの提示を省略しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示するステップと、
を含む、持続性コンピュータ可読媒体。
[項目６１]
手術準備のためのコンピュータ実装方法であって、
異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップと、
企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する症例特有の情報を入力できるようにするステップと、
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステップと、
前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別するステップであって、前記識別された特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレームを含む、ステップと、
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップと、
前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、前記外科医に提示されるべき前記コンパイルに前記第１のセットを含めるステップと、
異なる患者に対して実行される前記異なる外科的処置からのフレームを含む前記コンパイルを含む提示を前記外科医が見ることができるようにするステップと、
を含む、コンピュータ実装方法。
[項目６２]
前記提示に沿った前記識別された特定のフレームのうちの１つ以上に対応する１つ以上の時系列マーカを含む共通の手術タイムラインの表示を可能にするステップを更に含む、項目６１に記載の方法。
[項目６３]
前記外科医が前記提示を見ることができるようにするステップは、異なる患者に対して実行される前記異なる外科的処置のビデオ映像の別個のセットを順次に表示するステップを含む、項目６１に記載の方法。
[項目６４]
ビデオ映像の別個のセットを順次に表示するステップは、前記ビデオ映像の別個のセットのうちの１つ以上を前記外科医が選択できるようにする前記ビデオ映像の別個のセットのインデックスを表示するステップを含む、項目６３に記載の方法。
[項目６５]
前記インデックスは、前記別個のセットを対応する手術段階及びテキスト段階指標へと構文解析するタイムラインを含む、項目６４に記載の方法。
[項目６６]
前記タイムラインは、術中手術事象に対応する術中手術事象マーカを含み、前記外科医は、前記術中手術事象マーカをクリックして、前記対応する術中手術事象を描写する少なくとも１つのフレームを表示できるようにされる、項目６５に記載の方法。
[項目６７]
前記企図された外科的処置に対応する前記症例特有の情報が外部デバイスから受信される、項目６１に記載の方法。
[項目６８]
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較するステップは、人工ニューラルネットワークを使用して、前記企図された外科的処置中に直面する可能性が高い前記術中事象のグループを識別するステップを含む、項目６１に記載の方法。
[項目６９]
前記人工ニューラルネットワークを使用するステップは、前記症例特有の情報を入力として前記人工ニューラルネットワークに与えるステップを含む、項目６８に記載の方法。
[項目７０]
前記症例特有の情報は、前記企図された処置と関連付けられる患者の特性を含む、項目６１に記載の方法。
[項目７１]
前記患者の特性が前記患者の医療記録から受けられる、項目７０に記載の方法。
[項目７２]
前記症例特有の情報は、手術器具に関連する情報を含む、項目７１に記載の方法。
[項目７３]
前記手術器具に関連する情報は、器具タイプ及び器具モデルのうちの少なくとも一方を含む、項目７２に記載の方法。
[項目７４]
前記共通の特性は、前記異なる患者の特性を含む、項目７１に記載の方法。
[項目７５]
前記共通の特性は、前記企図された外科的処置の術中手術事象特性を含む、項目６１に記載の方法。
[項目７６]
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップは、機械学習モデルの実装を使用して前記共通の特性を識別するステップを含む、項目６１に記載の方法。
[項目７７]
前記方法は、ビデオ映像の２つのセットが前記共通の特性を共有するかどうかを決定するべく前記機械学習モデルをトレーニングするためにビデオ映像例を使用するステップを更に含み、前記機械学習モデルを実装するステップは、前記トレーニングされた機械学習モデルを実装するステップを含む、項目７６に記載の方法。
[項目７８]
前記方法は、前記術中手術事象、前記手術転帰、前記患者特性、前記外科医特性、及び、前記術中手術事象特性に基づいて前記リポジトリのインデックスを生成するべく機械学習モデルをトレーニングするステップと、前記リポジトリの前記インデックスを生成するステップとを更に含み、前記症例特有の情報を前記複数のセットと関連付けられるデータと比較するステップは、前記インデックスを検索するステップを含む、項目６１に記載の方法。
[項目７９]
異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスし、
企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する症例特有の情報を入力できるようにし、
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別し、
前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別し、前記識別された特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレームを含み、
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定し、
前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、前記外科医に提示されるべき前記コンパイルに前記第１のセットを含め、
前記コンパイルを含むとともに異なる患者に対して実行される前記異なる外科的処置からのフレームを含む提示を前記外科医が見ることができるようにする、
ように構成される少なくとも１つのプロセッサを備える外科的準備システム。
[項目８０]
少なくとも１つのプロセッサによって実行されるときに、手術準備を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップと、
企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する症例特有の情報を入力できるようにするステップと、
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステップと、
前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別するステップであって、前記識別された特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレームを含む、ステップと、
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップと、
前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、前記外科医に提示されるべき前記コンパイルに前記第１のセットを含めるステップと、
異なる患者に対して実行される前記異なる外科的処置からのフレームを含む前記コンパイルを含む提示を前記外科医が見ることができるようにするステップと、
を含む、持続性コンピュータ可読媒体。
[項目８１]
手術映像の複雑度を解析するためのコンピュータ実装方法であって、
前記手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別するステップと、
第１の履歴データにアクセスするステップであって、前記第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステップと、
前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレームの前記第１のセットを解析し、フレームの前記第１のセットと関連付けられる第１の手術複雑度レベルを決定するステップと、
前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、前記解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別するステップと、
第２の履歴データにアクセスするステップであって、前記第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステップと、
前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定するステップと、
を含むコンピュータ実装方法。
[項目８２]
前記第１の手術複雑度レベルを決定するステップは、フレームの前記第１のセットにおいて医療器具を識別するステップを更に含む、項目８１に記載の方法。
[項目８３]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットからフレームの前記第２のセットまでの経過時間に基づく、項目８１に記載の方法。
[項目８４]
前記第１の複雑度レベルを決定するステップ又は前記第２の複雑度レベルを決定するステップのうちの少なくとも一方が生理的応答に基づく、項目８１に記載の方法。
[項目８５]
前記方法は、前記手術映像においてヘルスケア提供者により実証されるスキルのレベルを決定するステップを更に含み、前記第１の複雑度レベルを決定するステップ又は前記第２の複雑度レベルを決定するステップのうちの少なくとも一方は、前記ヘルスケア提供者によって実証されるスキルの決定されたレベルに基づく、項目８１に記載の方法。
[項目８６]
前記第１の手術複雑度レベルが選択される閾値未満であると決定するステップと、前記第２の手術複雑度レベルが前記選択される閾値を超えると決定するステップと、前記第１の手術複雑度レベルが前記選択される閾値未満であるという決定と、前記第２の手術複雑度レベルが前記選択される閾値を超えるという決定とに応じて、フレームの前記第２のセットをデータ構造に記憶する一方で、前記データ構造からフレームの前記第１のセットを省くステップとを更に含む、項目８１に記載の方法。
[項目８７]
フレームの前記第１のセットにおいて前記解剖学的構造を識別するステップは、医療器具の識別と、前記医療器具と前記解剖学的構造との間の第１の相互作用とに基づく、項目８１に記載の方法。
[項目８８]
フレームの前記第１のセットを前記第１の手術複雑度レベルでタグ付けするステップと、
フレームの前記第２のセットを前記第２の手術複雑度レベルでタグ付けするステップと、
外科医が前記第２の手術複雑度レベルを選択できるようにするべく前記第１のタグを伴うフレームの前記第１のセットと前記第２のタグを伴うフレームの前記第２のセットとを含むデータ構造を生成し、それにより、フレームの前記第１のセットの表示を省略しつつ、フレームの前記第２のセットを表示させるステップと、
を更に含む、項目８１に記載の方法。
[項目８９]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するために、以前の外科的処置から捕捉されるフレームデータを使用して手術複雑度レベルを識別するようにトレーニングされる機械学習モデルを使用するステップを更に含む、項目８１に記載の方法。
[項目９０]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットとフレームの前記第２のセットとの間で生じる事象に基づく、項目８１に記載の方法。
[項目９１]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、前記解剖学的構造の状態に基づく、項目８１に記載の方法。
[項目９２]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、電子医療記録の解析に基づく、項目８１に記載の方法。
[項目９３]
前記第１の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後に生じる事象に基づく、項目８１に記載の方法。
[項目９４]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、前記手術映像と関連付けられる外科医のスキルレベルに基づく、項目８１に記載の方法。
[項目９５]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後に更なる外科医が呼び出されたという表示に基づく、項目８１に記載の方法。
[項目９６]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後に特定の薬剤が投与されたという表示に基づく、項目８１に記載の方法。
[項目９７]
前記第１の履歴データは、以前の外科的処置の前記第１のグループから捕捉される前記第１のフレームデータを使用してトレーニングされる機械学習モデルを含む、項目８１に記載の方法。
[項目９８]
前記第１の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的関係の表示を含む、項目８１に記載の方法。
[項目９９]
手術映像の複雑度を解析するためのシステムであって、
前記手術映像のフレームを解析して、フレームの第１のセットにおいて解剖学的構造を識別し、
第１の履歴データにアクセスし、前記第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づき、
前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレームの前記第１のセットを解析して、フレームの前記第１のセットと関連付けられる第１の手術複雑度レベルを決定し、
前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、前記解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別し、
第２の履歴データにアクセスし、前記第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づき、
前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定する、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目１００]
少なくとも１つのプロセッサによって実行されるときに、手術ビデオの見直しを可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別するステップと、
第１の履歴データにアクセスするステップであって、前記第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステップと、
前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレームの前記第１のセットを解析し、フレームの前記第１のセットと関連付けられる第１の手術複雑度レベルを決定するステップと、
前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別するステップと、
第２の履歴データにアクセスするステップであって、前記第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステップと、
以前の外科的処置から捕捉されるフレームデータの解析に基づく前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定するステップと、
を含む持続性コンピュータ可読媒体。
[項目１０１]
少なくとも１つのプロセッサによって実行されるときに、手術室スケジュールの調整を可能にする方法を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記方法は、
手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信するステップと、
履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップと、
前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前記進行中の外科的処置の前記視覚データを解析するステップと、
前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手術室に関するスケジュールにアクセスするステップと、
前記進行中の外科的処置の前記推定完了時間に基づいて、予測完了時間が前記完了と関連付けられる前記スケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップと、
前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにするステップと、
を含む持続性コンピュータ可読媒体。
[項目１０２]
前記通知は、更新された手術室スケジュールを含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０３]
前記更新された手術室スケジュールは、待ち行列に入れられたヘルスケア専門家が後続の外科的処置の準備をすることができるようにする、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０４]
前記方法は、前記手術室の後続のスケジュールされたユーザと関連付けられるデバイスに前記通知を電子的に送信するステップを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０５]
前記方法は、
前記完了と関連付けられる前記スケジュールされた時間からの前記分散の範囲を決定するステップと、
第１の決定された範囲に応じて、前記通知を出力するステップと、
第２の決定された範囲に応じて、前記通知を出力しないで済ませるステップと、
を更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０６]
前記方法は、
前記予測完了時間が、前記完了と関連付けられる前記スケジューリングされた時間からの少なくとも選択された閾値時間の遅延をもたらす可能性が高いかどうかを決定するステップと、
前記予測完了時間が少なくとも前記選択された閾値時間の遅延をもたらす可能性が高いという決定に応じて、前記通知を出力するステップと、
前記予測完了時間が少なくとも前記選択された閾値時間の遅延をもたらしそうにないという決定に応じて、前記通知を出力しないで済ませるステップと、
を更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０７]
前記推定完了時間を決定する前記ステップは、前記進行中の外科的処置を行うヘルスケア専門家と関連付けられる１つ以上の記憶された特性に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０８]
決定された実際の時間に基づいて完了までの履歴的な平均時間を更新して、前記進行中の外科的処置を完了させるステップを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０９]
前記画像センサが患者の上方に位置される、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１０]
前記画像センサが手術器具上に位置される、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１１]
解析するステップは、前記受信された視覚データ内の特性事象を検出するステップと、履歴的な手術データに基づいて情報を評価して、前記履歴的な手術データ内の前記特性事象の発生後に前記外科的処置を完了する予測時間を決定するステップと、前記決定された予測完了時間に基づいて前記推定完了時間を決定するステップとを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１２]
前記方法は、履歴的な視覚データを使用して、機械学習モデルをトレーニングし、前記特性事象を検出するステップを更に含む、項目１１１に記載の持続性コンピュータ可読媒体。
[項目１１３]
前記方法は、完了時間を推定するために機械学習モデルをトレーニングするべく履歴的な視覚データを使用するステップを更に含み、前記推定完了時間を計算するステップは、前記トレーニングされた機械学習モデルを実装するステップを含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１４]
前記方法は、平均の履歴的な完了時間を使用して前記推定完了時間を決定するステップを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１５]
前記方法は、前記視覚データ内の医療器具を検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された医療器具に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１６]
解析するステップは、前記視覚データ内の解剖学的構造を検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された解剖学的構造に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１７]
解析するステップは、前記視覚データ内の解剖学的構造と医療器具との間の相互作用を検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された相互作用に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１８]
解析するステップは、前記視覚データにおける外科医のスキルレベルを決定するステップを更に含み、前記推定完了時間を計算するステップは、前記決定されたスキルレベルに基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１９]
手術室のスケジュールの調整を可能にするためのシステムであって、
手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信し、
履歴的な手術データに基づく情報を含むデータ構造にアクセスし、
前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前記進行中の外科的処置の前記視覚データを解析し、
前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手術室に関するスケジュールにアクセスし、
前記進行中の外科的処置の前記推定完了時間に基づいて、前記予測完了時間が前記完了と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算し、
前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにする、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目１２０]
手術室スケジュールの調整を可能にするためのコンピュータ実装方法であって、
手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信するステップと、
履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップと、
前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前記進行中の外科的処置の前記視覚データを解析するステップと、
前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手術室に関するスケジュールにアクセスするステップと、
前記進行中の外科的処置の前記推定完了時間に基づいて、前記予測完了時間が前記完了と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップと、
前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにするステップと、
を含むコンピュータ実装方法。
[項目１２１]
保険払い戻しを決定するために手術画像を解析するためのコンピュータ実装方法であって、
患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別するステップと、
医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスするステップと、
前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較して、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップと、
前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い戻しコードを出力するステップと、
を含むコンピュータ実装方法。
[項目１２２]
出力された前記少なくとも１つの払い戻しコードは、出力された複数の払い戻しコードを含む、項目１２１に記載の方法。
[項目１２３]
前記複数の出力された払い戻しコードのうちの少なくとも２つは、共通の解剖学的構造との異なる相互作用に基づく、項目１２２に記載の方法。
[項目１２４]
前記少なくとも２つの出力された払い戻しコードは、２つの異なる医療機器の検出に部分的に基づく、項目１２３に記載の方法。
[項目１２５]
前記少なくとも１つの払い戻しコードを決定するステップは、術後手術報告の解析にも基づく、項目１２１に記載の方法。
[項目１２６]
前記ビデオフレームは、前記患者の上方に位置される画像センサから捕捉される、項目１２１に記載の方法。
[項目１２７]
前記ビデオフレームは、医療デバイスと関連付けられる画像センサから捕捉される、項目１２１に記載の方法。
[項目１２８]
前記少なくとも１つの払い戻しコードを前記外科的処置と関連付けることによって前記データベースを更新するステップを更に含む、項目１２１に記載の方法。
[項目１２９]
処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療機器、前記履歴的なビデオ映像内の複数の解剖学的構造、又は、前記履歴的なビデオ映像内の医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つとの間の相関関係を生成するステップと、前記生成された相関関係に基づいて前記データベースを更新するステップとを更に含む、項目１２１に記載の方法。
[項目１３０]
相関関係を生成するステップは、統計的モデルを実装するステップを含む、項目１２９に記載の方法。
[項目１３１]
機械学習モデルを使用して、前記履歴的なビデオ映像内で、複数の医療機器、複数の解剖学的構造、又は、医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つを検出するステップを更に含む、項目１２９に記載の方法。
[項目１３２]
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記患者の解剖学的構造の状態を決定するステップと、前記解剖学的構造の前記決定された状態に基づいて前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３３]
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記外科的処置中の前記患者の解剖学的構造の状態の変化を決定するステップと、前記解剖学的構造の状態の前記決定された変化に基づいて、前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３４]
特定の医療デバイスの使用を決定するために前記外科的処置中に捕捉される前記ビデオフレームを解析するステップと、前記特定の医療デバイスの前記決定された使用に基づいて前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３５]
前記特定の医療デバイスの使用のタイプを決定するために前記外科的処置中に捕捉される前記ビデオフレームを解析するステップと、第１の決定された使用タイプに応じて、前記外科的処置と関連付けられる少なくとも第１の払い戻しコードを決定するステップと、第２の決定された使用タイプに応じて、前記外科的処置と関連付けられる少なくとも第２の払い戻しコードを決定するステップであって、前記少なくとも第１の払い戻しコードが前記少なくとも第２の払い戻しコードとは異なる、ステップとを更に含む、項目１３４に記載の方法。
[項目１３６]
前記外科的処置と関連付けられる処理された払い戻しコードを受信し、前記処理された払い戻しコードに基づいて前記データベースを更新するステップを更に含む、項目１２１に記載の方法。
[項目１３７]
前記処理された払い戻しコードは、前記少なくとも１つの払い戻しコードの対応する払い戻しコードとは異なる、項目１３６に記載の方法。
[項目１３８]
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記外科的処置で使用される特定のタイプの医療物資の量を決定するステップと、前記決定された量に基づいて前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３９]
保険払い戻しを決定するための手術画像解析システムであって、
患者に対する外科的処置中に捕捉されるビデオフレームにアクセスし、
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別し、
医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスし、
前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較して、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定し、
前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い戻しコードを出力する、
ように構成される少なくとも１つのプロセッサを備える手術画像解析システム。
[項目１４０]
少なくとも１つのプロセッサによって実行されるときに、保険払い戻しの決定を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別するステップと、
医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスするステップと、
前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較して、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップと、
前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い戻しコードを出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目１４１]
少なくとも１つのプロセッサによって実行されるときに、外科的処置の術後報告を自動的に作成できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
患者の識別子の入力を受信するステップと、
ヘルスケア提供者の識別子の入力を受信するステップと、
前記ヘルスケア提供者によって前記患者に対して行われる外科的処置の手術映像の入力を受信するステップと、
前記手術映像の複数のフレームを解析して、前記外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップと、
前記導き出された画像ベースの情報が前記外科的処置の前記術後報告を作成するようにするステップと、
を含む持続性コンピュータ可読媒体。
[項目１４２]
前記動作は、前記外科的処置の１つ以上の段階を識別して前記識別された段階のうちの少なくとも１つの段階の特性を識別するために前記手術映像を解析するステップを更に含み、前記導き出された画像ベースの情報は、前記識別された少なくとも１つの段階と、前記少なくとも１つの段階の前記識別された特性とに基づく、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４３]
前記動作は、前記手術映像を解析して、名前を前記少なくとも１つの段階と関連付けるステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前記名前を含む、項目１４２に記載の持続性コンピュータ可読媒体。
[項目１４４]
前記動作は、前記少なくとも１つの段階の少なくとも開始を決定するステップを更に含み、前記導き出された画像ベースの情報は、前記決定された開始に基づく、項目１４２に記載の持続性コンピュータ可読媒体。
[項目１４５]
前記動作は、時間マーカを前記少なくとも１つの段階と関連付けるステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前記時間マーカを含む、項目１４２に記載の持続性コンピュータ可読媒体。
[項目１４６]
前記動作は、データを前記ヘルスケア提供者に送信するステップであって、前記送信されるデータが、前記患者識別子と、前記導き出された画像ベースの情報とを含む、ステップを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４７]
前記動作は、前記手術映像を解析して、術後治療のための少なくとも１つの推奨を識別するステップと、前記識別された少なくとも１つの推奨を与えるステップとを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４８]
前記外科的処置の前記術後報告の引き起こされた作成は、前記術後報告内の前記導き出された画像ベースの情報の少なくとも一部を前記ヘルスケア提供者が変更できるようにするべく設定される、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４９]
前記外科的処置の前記術後報告の引き起こされた作成は、前記導き出された画像ベースの情報の少なくとも一部を前記術後報告において自動的に生成されたデータとして識別させるように設定される、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５０]
前記動作は、前記手術映像を解析して、前記手術映像内の手術事象を識別するとともに、前記識別された手術事象の特性を識別するステップを更に含み、前記導き出された画像ベースの情報は、前記識別された手術事象及び前記識別された特性に基づく、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５１]
前記動作は、前記手術映像を解析して、前記識別された手術事象の事象名を決定するステップを更に含み、前記導き出された画像ベースの情報は、前記決定された事象名を含む、項目１５０に記載の持続性コンピュータ可読媒体。
[項目１５２]
前記動作は、時間マーカを前記識別された手術事象と関連付けるステップを更に含み、前記導き出された画像ベースの情報が前記時間マーカを含む、項目１５０に記載の持続性コンピュータ可読媒体。
[項目１５３]
前記動作は、前記導き出された画像ベースの情報を電子医療記録の更新を可能にする形式で提供するステップを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５４]
前記導き出された画像ベースの情報は、ユーザ入力に部分的に基づく、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５５]
前記導き出された画像ベースの情報は、前記外科的処置の第１の一部と関連付けられる第１の部分と、前記外科的処置の第２の一部と関連付けられる第２の部分とを含み、
前記動作は、
予備術後報告を受けるステップと、
前記予備術後報告を解析して、前記予備術後報告内の第１の位置及び第２の位置を選択するステップであって、前記第１の位置が前記外科的処置の前記第１の一部と関連付けられ、前記第２の位置が前記外科的処置の前記第２の一部と関連付けられる、ステップと、
前記導き出された画像ベースの情報の前記第１の部分を前記選択された第１の位置に挿入させ、前記導き出された画像ベースの情報の前記第２の部分を前記選択された第２の位置に挿入させるステップと、
を更に含む、
項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５６]
前記動作は、前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップと、前記手術映像の少なくとも１つのフレームの前記選択された少なくとも一部を前記外科的処置の前記術後報告に含ませるステップとを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５７]
前記動作は、
予備術後報告を受けるステップと、
前記予備術後報告及び前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップと、
を更に含む項目１５６に記載の持続性コンピュータ可読媒体。
[項目１５８]
前記動作は、
予備術後報告を受けるステップと、
前記予備術後報告及び前記手術映像を解析して、前記予備術後報告と前記手術映像との間の少なくとも１つの不一致を識別するステップと、
前記識別された少なくとも１つの不一致の表示を与えるステップと、
を更に含む項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５９]
外科的処置の術後報告を作成するコンピュータ実装方法であって、
患者の識別子の入力を受けるステップと、
ヘルスケア提供者の識別子の入力を受けるステップと、
前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入力を受けるステップと、
前記手術映像の複数のフレームを解析して、医療機器と生物学的構造との間の検出される相互作用に基づいて前記外科的処置の段階を識別するとともに、前記相互作用に基づいて、名前をそれぞれの識別された段階と関連付けるステップと、
それぞれの識別された段階の少なくとも開始を決定するステップと、
時間マーカをそれぞれの識別された段階の前記開始と関連付けるステップと、
前記ヘルスケア提供者にデータを送信するステップであって、前記送信されたデータが、前記患者識別子、前記外科的処置の前記識別された段階の前記名前、及び、前記識別された段階と関連付けられる時間マーカを含む、ステップと、
前記送信されたデータを用いて、術後報告を、前記ヘルスケア提供者が前記術後報告における段階名を変更できるようにする態様で作成するステップと、
を含むコンピュータ実装方法。
[項目１６０]
外科的処置の術後報告を自動的に作成するためのシステムであって、
患者の識別子の入力を受けるステップと、
ヘルスケア提供者の識別子の入力を受けるステップと、
前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入力を受けるステップと、
前記手術映像の複数のフレームを解析して、医療機器と生物学的構造との間の検出される相互作用に基づいて前記外科的処置の段階を識別するとともに、前記相互作用に基づいて、名前をそれぞれの識別された段階と関連付けるステップと、
それぞれの識別された段階の少なくとも開始を決定するステップと、
時間マーカをそれぞれの識別された段階の前記開始と関連付けるステップと、
前記ヘルスケア提供者にデータを送信するステップであって、前記送信されたデータが、前記患者識別子、前記外科的処置の前記識別された段階の前記名前、及び、前記識別された段階の前記時間マーカを含む、ステップと、
前記送信されたデータを用いて、術後報告を、前記ヘルスケア提供者が前記術後報告における段階名を変更できるようにする態様で作成するステップと、
を含むシステム。
[項目１６１]
少なくとも１つのプロセッサによって実行されるときに、外科的処置における省かれる事象の決定及び通知を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスするステップと、
前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別するステップと、
前記逸脱と関連付けられる術中手術事象の名前を決定するステップと、
前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与えるステップと、
を含む持続性コンピュータ可読媒体。
[項目１６２]
前記逸脱の前記表示を識別するステップ及び前記通知を与えるステップは、前記外科的処置中にリアルタイムで起こる、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６３]
前記動作は、
前記特定の外科的処置において特定の動作がまさに起ころうとしているという表示を受けるステップと、
前記推奨された一連の事象を使用して、前記特定の動作に対する予備的動作を識別するステップと、
前記アクセスされたフレームの解析に基づいて、前記識別された予備的動作が未だ起こらなかったと決定するステップと、
前記識別された予備的動作が未だ起こらなかったという決定に応じて、前記逸脱の前記表示を識別するステップと、
を更に含む項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６４]
前記特定の外科的処置が胆嚢切除術である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６５]
前記推奨された一連の事象は、安全性の危機的観点に基づく、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６６]
前記特定の外科的処置が虫垂切除である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６７]
前記特定の外科的処置がヘルニア修復である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６８]
前記特定の外科的処置が子宮摘出である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６９]
前記特定の外科的処置が根治的前立腺摘除術である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７０]
前記特定の外科的処置が部分的腎摘出術であり、前記逸脱は、腎門を識別することを無視することを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７１]
前記特定の外科的処置が甲状腺摘出術であり、前記逸脱は、再発性喉頭神経を識別することを無視することを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７２]
前記動作は、前記逸脱と関連付けられるフレームのセットを識別するステップを更に含み、前記通知を与えるステップは、前記逸脱と関連付けられる前記識別されたフレームのセットを表示するステップを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７３]
前記特定の動作がまさに起ころうとしているという前記表示は、前記特定の外科的処置を行う外科医からの入力に基づく、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７４]
前記特定の動作がまさに起ころとしているという前記表示は、選択された関心領域への特定の医療機器の進入である、項目１６３に記載の持続性コンピュータ可読媒体。
[項目１７５]
前記逸脱を識別するステップは、手術器具が特定の解剖学的領域内にあると決定するステップを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７６]
前記特定の外科的処置が結腸半切除術である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７７]
前記逸脱は、吻合を行うことを無視することを含む、項目１７６に記載の持続性コンピュータ可読媒体。
[項目１７８]
前記逸脱の表示を識別するステップは、術中外科的処置と関連付けられる経過時間に基づく、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７９]
外科的処置における省かれる事象の決定及び通知を可能にするためのコンピュータ実装方法であって、
特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスするステップと、
前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別するステップと、
前記逸脱と関連付けられる術中手術事象の名前を決定するステップと、
前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与えるステップと、
を含むコンピュータ実装方法。
[項目１８０]
外科的処置における省かれる事象の決定及び通知を可能にするためのシステムであって、
特定の外科的処置中に捕捉されるビデオのフレームにアクセスし、
前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスし、
前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別し、
前記逸脱と関連付けられる術中手術事象の名前を決定し、
前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与える、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目１８１]
少なくとも１つのプロセッサによって実行されるときに、外科的処置に関して決定支援を行う動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステップと、
外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするステップと、
前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定するステップと、
前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスするステップと、
前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに基づいて、前記特定の動作を行うようにユーザに推奨を出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目１８２]
前記命令は、前記外科的処置中に前記少なくとも１つのプロセッサに前記動作をリアルタイムに実行させるように設定され、前記ユーザが前記外科医である、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８３]
前記意思決定ジャンクションは、共通の手術状況に続いて異なる動作経過が起こった複数の異なる履歴的な処置の解析によって決定される、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８４]
前記ビデオ映像は、内視鏡及び体内カメラのうちの少なくとも一方からの画像を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８５]
前記推奨は、医療検査を行うべき推奨を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８６]
前記動作は、
前記医療検査の結果を受けるステップと、
前記意思決定ジャンクションの前記決定された存在、前記アクセスされた相関関係、及び、前記医療検査の前記受けられた結果に基づいて、特定の動作を行うための第２の推奨を前記ユーザに出力するステップと、
を更に含む、項目１８５に記載の持続性コンピュータ可読媒体。
[項目１８７]
前記特定の動作は、更なる外科医を前記手術室へと至らせることを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８８]
前記意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の退縮、解剖学的構造の誤った解釈、又は、流体漏れのうちの少なくとも１つを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８９]
前記推奨は、前記特定の動作が講じられる場合に所望の手術転帰が起こるという信頼度レベルを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９０]
前記推奨は、前記特定の動作が講じられない場合に所望の転帰が起こらないという信頼度レベルを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９１]
前記推奨は、前記外科的処置における特定のポイントからの経過時間に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９２]
前記推奨は、前記特定の動作が行われない場合に起こる可能性が高い望ましくない手術転帰の表示を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９３]
前記推奨は、前記外科医のスキルレベルに基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９４]
前記推奨は、前記意思決定ジャンクションの前に前記外科的処置で起こった手術事象に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９５]
前記特定の動作が複数のステップを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９６]
前記外科的意思決定ジャンクションの前記存在の前記決定は、解剖学的構造の検出された生理的応答及び手術器具と関連する動きのうちの少なくとも一方に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９７]
前記動作は、前記患者のバイタルサインを受信するステップを更に含み、前記推奨は、前記アクセスされた相関関係及び前記バイタルサインに基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９８]
前記外科医が手術用ロボットであり、前記推奨は、前記手術用ロボットへの命令の形態で与えられる、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９９]
前記推奨は、前記患者の組織の状態に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目２００]
前記特定の動作の前記推奨は、瘻孔の形成を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目２０１]
外科的処置に関して決定支援を行うためのコンピュータ実装方法であって、
手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステップと、
外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするステップと、
前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定するステップと、
前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスするステップと、
前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに基づいて、前記特定の動作を行うように又は前記特定の動作を回避するように前記外科医に推奨を出力するステップと、
を含むコンピュータ実装方法。
[項目２０２]
外科的処置に関して決定支援を行うためのシステムであって、
手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受け、
外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスし、
前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定し、
前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスし、
前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに基づいて、前記特定の動作を行うように又は前記特定の動作を回避するように前記外科医に推奨を出力する、
ように構成される少なくとも１つのプロセッサを含むシステム。
[項目２０３]
少なくとも１つのプロセッサによって実行されるときに、外科的処置中に解剖学的構造に作用する接触力を推定できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップと、
前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、前記画像データで反映された前記解剖学的構造の状態を決定するステップと、
前記解剖学的構造と関連付けられる接触力閾値を選択するステップであって、前記選択された接触力閾値が前記解剖学的構造の決定された状態に基づく、ステップと、
前記解剖学的構造に作用する実際の接触力の表示を受けるステップと、
実際の接触力の前記表示と前記選択された接触力閾値とを比較するステップと、
実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通知を出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目２０４]
前記接触力閾値が引張レベルと関連付けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０５]
前記接触力閾値が圧縮レベルと関連付けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０６]
前記実際の接触力は、医療機器と前記解剖学的構造との間の接触と関連付けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０７]
実際の接触力の前記表示は、前記画像データの画像解析に基づいて推定される、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０８]
前記通知を出力するステップは、前記外科的処置を行う外科医にリアルタイム警告を与えるステップを含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０９]
前記通知は、手術用ロボットに対する命令である、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１０]
前記動作は、前記画像データから、前記外科的処置が戦闘モードにあると決定するステップを更に含み、前記通知が前記戦闘モード中に保留される、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１１]
前記動作は、前記画像データから、前記外科医が接触力通知を無視するモードで手術していると決定するステップと、前記外科医が接触力通知を無視する前記モードで手術しているという決定に基づいて、少なくとも一時的に更なる接触力通知を保留するステップとを更に含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１２]
前記接触力閾値を選択するステップは、前記解剖学的構造と医療機器との間の接触の位置に基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１３]
前記接触力閾値を選択するステップは、前記解剖学的構造と医療機器との間の接触角に基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１４]
前記接触力閾値を選択するステップは、解剖学的構造の状態を入力として回帰モデルに与えるステップと、前記回帰モデルの出力に基づいて前記接触力閾値を選択するステップとを含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１５]
前記接触力閾値を選択するステップは、対応する接触力閾値を含む解剖学的構造のテーブルに基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１６]
前記接触力閾値を選択するステップは、外科医によって実行される動作に基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１７]
実際の接触力の前記表示が手術器具から受けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１８]
実際の接触力の前記表示が手術用ロボットから受けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１９]
前記動作は、トレーニング例を使用してトレーニングされた機械学習モデルを用いて、前記画像データ内の前記解剖学的構造の状態を決定するステップを更に含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２２０]
前記動作は、トレーニング例を使用してトレーニングされた機械学習モデルを用いて前記接触力閾値を選択するステップを更に含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２２１]
外科的処置中に解剖学的構造に作用する接触力を推定するためのコンピュータ実装方法であって、
手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップと、
前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、前記画像データで反映された前記解剖学的構造の状態を決定するステップと、
前記解剖学的構造と関連付けられる接触力閾値を選択するステップであって、前記選択された接触力閾値が前記解剖学的構造の決定された状態に基づく、ステップと、
前記解剖学的構造に作用する実際の接触力の表示を受けるステップと、
実際の接触力の前記表示と前記選択された接触力閾値とを比較するステップと、
実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通知を出力するステップと、
を含むコンピュータ実装方法。
[項目２２２]
外科的処置中に解剖学的構造に作用する接触力を推定するためのシステムであって、
手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信し、
前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、前記画像データで反映された前記解剖学的構造の状態を決定し、
前記解剖学的構造と関連付けられる接触力閾値を選択し、前記選択された接触力閾値が前記解剖学的構造の前記決定された状態に基づき、
前記解剖学的構造に作用する実際の接触力の表示を受け、
実際の接触力の前記表示と前記選択された接触力閾値とを比較し、
実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通知を出力する、
ように構成される少なくとも１つのプロセッサを含むシステム。
[項目２２３]
少なくとも１つのプロセッサによって実行されるときに、外科的処置中に予測転帰を更新できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第１の事象と関連付けられる画像データを受信するステップと、
前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処置と関連付けられる予測転帰を決定するステップと、
前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第２の事象と関連付けられる画像データを受信するステップと、
前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰の変化を決定し、それにより、前記予測転帰を閾値未満に低下させるステップと、
以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップと、
前記アクセスされた画像関連データに基づいて、推奨される是正措置を識別するステップと、
前記推奨される是正措置を出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目２２４]
前記推奨される是正措置は、外科医が前記外科的処置をやめて休憩するための推奨を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２５]
前記推奨される是正措置は、他の外科医からの支援を要求する推奨を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２６]
前記推奨される是正措置は、前記外科的処置に対する修正を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２７]
前記予測転帰が入院の可能性を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２８]
前記予測転帰の前記変化を決定するステップが出血の大きさに基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２９]
前記是正措置を識別するステップは、前記是正措置が前記予測転帰を閾値を超えて上昇させる可能性が高いという表示に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３０]
前記是正措置を識別するステップは、前記是正措置及び手術転帰の履歴例を使用して是正措置を識別するようにトレーニングされた機械学習モデルを使用するステップを含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３１]
前記予測転帰を決定するステップは、履歴的な手術ビデオと前記履歴的な手術ビデオに対応する手術転帰を示す情報と基づいて予測転帰を決定するようにトレーニングされた機械学習モデルを使用するステップを含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３２]
前記予測転帰を決定するステップは、手術器具と解剖学的構造との間の相互作用を識別するステップと、前記識別された相互作用に基づいて前記予測転帰を決定するステップとを含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３３]
前記予測転帰を決定するステップは、前記画像データで描写される外科医のスキルレベルに基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３４]
前記動作は、前記画像データで描写される外科医のスキルレベルを決定するステップを更に含み、前記予測転帰の前記変化を決定するステップが前記スキルレベルに基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３５]
前記動作は、前記予測転帰が閾値を下回ることに応じて、前記外科的処置に関連する手術室と関連付けられるスケジュール記録を更新するステップを更に含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３６]
前記予測転帰の前記変化を決定するステップは、前記外科的処置における特定のポイントと前記第２の事象との間の経過時間に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３７]
前記予測転帰を決定するステップは、前記画像データで描写される解剖学的構造の状態に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３８]
前記動作は、前記解剖学的構造の状態を決定するステップを更に含む、項目２３７に記載の持続性コンピュータ可読媒体。
[項目２３９]
前記予測転帰の前記変化を決定するステップは、前記解剖学的構造の少なくとも一部の色の変化に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２４０]
前記予測転帰の前記変化を決定するステップは、前記解剖学的構造の少なくとも一部の外観の変化に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２４１]
外科的処置中に予測転帰を更新するためのコンピュータ実装方法であって、
外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第１の事象と関連付けられる画像データを受信するステップと、
前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処置と関連付けられる予測転帰を決定するステップと、
前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第２の事象と関連付けられる画像データを受信するステップと、
前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰の変化を決定し、それにより、前記予測転帰を閾値未満に低下させるステップと、
以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップと、
前記データ構造に基づいて、推奨される是正措置を識別するステップと、
前記推奨される是正措置を出力するステップと、
を含むコンピュータ実装方法。
[項目２４２]
外科的処置中に予測転帰を更新するためのシステムであって、
外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第１の事象と関連付けられる画像データを受信し、
前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処置と関連付けられる予測転帰を決定し、
前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第２の事象と関連付けられる画像データを受信し、
前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰の変化を決定し、それにより、前記予測転帰を閾値未満に低下させ、
以前の外科的処置に基づいて画像関連データのデータ構造にアクセスし、
前記データ構造に基づいて、推奨される是正措置を識別し、
前記推奨される是正措置を出力する、
ように構成される少なくとも１つのプロセッサを含むシステム。
[項目２４３]
手術中の流体漏れを解析するためのコンピュータ実装方法であって、
外科的処置の腔内ビデオをリアルタイムで受けるステップと、
前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定するステップと、
前記異常な流体漏れ状況が決定されるときに是正措置を策定するステップと、
を含むコンピュータ実装方法。
[項目２４４]
前記流体が、血液、胆汁又は尿のうちの少なくとも１つを含む、項目２４３に記載の方法。
[項目２４５]
解析するステップは、前記腔内ビデオの前記フレームを解析して、血液飛散と、前記血液飛散の少なくとも１つの特性とを識別するステップを含み、前記是正措置の選択は、前記識別された血液飛散の前記少なくとも１つの特性に依存する、項目２４３に記載の方法。
[項目２４６]
前記少なくとも１つの特性は、血液飛散源と関連付けられる、項目２４５に記載の方法。
[項目２４７]
前記少なくとも１つの特性は、血液飛散の強さと関連付けられる、項目２４５に記載の方法。
[項目２４８]
前記少なくとも１つの特性は、血液飛散の量と関連付けられる、項目２４５に記載の方法。
[項目２４９]
前記腔内ビデオの前記フレームを解析するステップは、前記異常な流体漏れ状況の特性を決定するステップを含み、前記是正措置の選択は、前記決定された特性に依存する、項目２４３に記載の方法。
[項目２５０]
前記特性が前記流体漏れの量と関連付けられる、項目２４９に記載の方法。
[項目２５１]
前記特性が前記流体漏れの色と関連付けられる、項目２４９に記載の方法。
[項目２５２]
前記特性は、前記流体漏れに関連する流体のタイプと関連付けられる、項目２４９に記載の方法。
[項目２５３]
前記特性が流体漏れ速度と関連付けられる、項目２４９に記載の方法。
[項目２５４]
前記方法は、前記腔内ビデオを記憶するステップと、前記異常な漏れ状況を決定する際に、前記記憶された腔内ビデオの以前のフレームを解析して、漏れ源を決定するステップとを更に含む、項目２４３に記載の方法。
[項目２５５]
前記是正措置を策定するステップは、漏れ源の通知を与えるステップを含む、項目２４３に記載の方法。
[項目２５６]
前記漏れ源を決定するステップは、破裂した解剖学的器官を識別するステップを含む、項目２５５に記載の方法。
[項目２５７]
前記方法は、前記流体漏れ状況と関連付けられる流量を決定するステップを更に含み、前記是正措置を策定するステップが前記流量に基づく、項目２４３に記載の方法。
[項目２５８]
前記方法は、前記流体漏れ状況と関連付けられる流体損失の量を決定するステップを更に含み、前記是正措置を策定するステップが流体損失の前記量に基づく、項目２４３に記載の方法。
[項目２５９]
腔内ビデオのフレームを解析して腔内ビデオ内の異常な流体漏れ状況を決定するステップは、決定された流体漏れ状況が異常な流体漏れ状況であるかどうかを決定するステップを含み、前記方法は、
前記決定された流体漏れ状況が異常な流体漏れ状況であるという決定に応じて、前記是正措置を策定するステップと、
前記決定された流体漏れ状況が正常な流体漏れ状況であるという決定に応じて、前記是正措置の策定をしないで済ませるステップと、
を更に含む項目２４３に記載の方法。
[項目２６０]
前記腔内ビデオが前記外科的処置を実行する手術用ロボットを描写し、前記是正措置が前記ロボットに命令を送信することを含む、項目２４３に記載の方法。
[項目２６１]
流体漏れを解析するための手術システムであって、
外科的処置の腔内ビデオをリアルタイムで受け、
前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定し、
前記異常な流体漏れ状況が決定されるときに是正措置を策定する、
ように構成される少なくとも１つのプロセッサを含む手術システム。
[項目２６２]
少なくとも１つのプロセッサによって実行されるときに、流体漏れ検出を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
外科的処置の腔内ビデオをリアルタイムで受けるステップと、
前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定するステップと、
前記異常な流体漏れ状況が決定されるときに是正措置を策定するステップと、
を含む持続性コンピュータ可読媒体。
[項目２６３]
退院後リスクを予測するためのコンピュータ実装方法であって、
患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと、
前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップと、
前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基づいて、前記特定の外科的処置と関連付けられる予測転帰を決定するステップと、
前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力するステップと、
を含むコンピュータ実装方法。
[項目２６４]
前記少なくとも１つの特定の術中事象を識別するステップは、前記アクセスされたフレーム内の検出された手術器具、前記アクセスされたフレーム内の検出された解剖学的構造、手術器具と解剖学的構造との間の前記アクセスされたフレーム内の相互作用、又は、前記アクセスされたフレーム内の検出された異常な流体漏れ状況のうちの少なくとも１つに基づく、項目２６３に記載の方法。
[項目２６５]
前記アクセスされたフレームにおいて前記少なくとも１つの特定の術中事象を識別するために機械学習モデルが使用され、前記機械学習モデルがトレーニングデータ例を使用してトレーニングされる、項目２６３に記載の方法。
[項目２６６]
前記予測転帰を決定するステップは、前記患者の特性、電子医療記録、又は、術後手術報告のうちの少なくとも１つに基づく、項目２６３に記載の方法。
[項目２６７]
機械学習モデルが、術中事象に基づいて前記特定の外科的処置と関連付けられる前記予測転帰を決定するために使用され、前記機械学習モデルがトレーニング例を使用してトレーニングされる、項目２６３に記載の方法。
[項目２６８]
予測転帰を決定するステップは、前記トレーニングされた機械学習モデルを使用して、前記識別された術中事象と患者の識別された特性とに基づいて前記手術転帰を予測するステップを含む、項目２６７に記載の方法。
[項目２６９]
前記方法は、前記外科的処置に続く実現された手術転帰を識別する情報を受信するステップと、前記受信された情報を使用して前記機械学習モデルをトレーニングすることによって前記機械学習モデルを更新するステップとを更に含む、項目２６７に記載の方法。
[項目２７０]
前記方法は、前記患者の特性を識別するステップを更に含み、前記予測転帰は、前記識別された患者特性に基づいても決定される、項目２６３に記載の方法。
[項目２７１]
前記患者特性が電子医療記録から導き出される、項目２７０に記載の方法。
[項目２７２]
前記患者特性を識別するステップは、機械学習モデルを使用して前記アクセスされたフレームを解析するステップを含み、前記機械学習モデルは、履歴的な外科的処置のトレーニング例と対応する履歴的な患者特性とを使用して患者特性を識別するようにトレーニングされる、項目２７０に記載の方法。
[項目２７３]
前記予測転帰は、退院後の事故、退院後の有害事象、退院後の合併症、又は、再入院のリスクの推定のうちの少なくとも１つを含む、項目２６３に記載の方法。
[項目２７４]
推奨される一連の手術事象を含むデータ構造にアクセスするステップを更に含み、前記少なくとも１つの特定の術中事象を識別するステップは、前記データ構造において識別された前記外科的処置に関して推奨された一連の事象と、前記アクセスされたフレームにおいて検出された実際の一連の事象との間の逸脱の識別に基づく、項目２６３に記載の方法。
[項目２７５]
前記逸脱の前記識別は、前記アクセスされたフレーム内の検出された手術器具、前記アクセスされたフレーム内の検出された解剖学的構造、又は、手術器具と解剖学的構造との間の前記アクセスされたフレーム内の相互作用のうちの少なくとも１つに基づく、項目２７４に記載の方法。
[項目２７６]
前記逸脱の前記識別は、履歴的な手術ビデオ映像、履歴的な推奨された一連の事象、及び、前記履歴的なビデオ映像内の前記履歴的な推奨された一連の事象からの逸脱を識別する情報に基づいて、推奨された一連の事象からの逸脱を識別するようにトレーニングされた機械学習モデルを使用することを含む、項目２７４に記載の方法。
[項目２７７]
前記逸脱を識別するステップは、前記アクセスされたフレームと、前記推奨される一連の事象を描写する基準フレームとを比較するステップを含む、項目２７４に記載の方法。
[項目２７８]
前記予測転帰を出力するステップは、前記患者と関連付けられる電子医療記録を更新するステップを含む、項目２６３に記載の方法。
[項目２７９]
前記予測転帰を出力するステップは、前記予測転帰をヘルスケア提供者と関連付けられるデータ受信デバイスに送信するステップを含む、項目２６３に記載の方法。
[項目２８０]
前記方法は、前記アクセスされたフレームに基づいて前記予測転帰を改善する可能性が高い少なくとも１つの動作を決定するステップと、前記決定された少なくとも１つの動作に基づいて推奨を与えるステップとを更に含む、項目２６３に記載の方法。
[項目２８１]
退院後リスクを予測するためのシステムであって、
患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスし、
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスし、
前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別し、
前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基づいて、前記特定の外科的処置と関連付けられる予測転帰を決定し、
前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力する、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目２８２]
少なくとも１つのプロセッサによって実行されるときに、退院後リスクの予測を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は
患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと、
前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップと、
前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基づいて、前記特定の外科的処置と関連付けられる予測転帰を決定するステップと、
前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力するステップと、
を含む持続性コンピュータ可読媒体。

Claims (282)

  1. 手術ビデオを見直すためのコンピュータ実装方法であって、
    外科的処置の少なくとも１つのビデオにアクセスするステップと、
    前記少なくとも１つのビデオを表示のために出力させるステップと、
    手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバー
    レイするステップであって、前記手術タイムラインが、手術段階、術中手術事象、及び、
    意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップと、
    外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ
    以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマ
    ーカと関連付けられる位置にスキップさせるステップと、
    を含むコンピュータ実装方法。
  2. 前記マーカは、色又は臨界レベルのうちの少なくとも１つによってコード化される、請
    求項１に記載の方法。
  3. 前記手術タイムラインは、前記外科的処置の部分を識別するテキスト情報を含む、請求
    項１に記載の方法。
  4. 前記少なくとも１つのビデオは、手続き時系列順に配置された複数の外科的処置からの
    映像のコンパイルを含み、前記映像のコンパイルは、前記複数の外科的処置からの複雑さ
    を描写し、前記１つ以上のマーカは、前記複数の外科的処置と関連付けられて、共通のタ
    イムライン上に表示される、請求項１に記載の方法。
  5. 前記１つ以上のマーカは、前記外科的処置の意思決定ジャンクションに対応する意思決
    定ジャンクションマーカを含み、前記意思決定ジャンクションマーカの前記選択は、前記
    外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリップを見る
    ことができるようにし、前記２つ以上のビデオクリップが異なる行為を提示する、請求項
    １に記載の方法。
  6. 前記１つ以上のマーカは、前記外科的処置の意思決定ジャンクションに対応する意思決
    定ジャンクションマーカを含み、前記意思決定ジャンクションマーカの前記選択は、前記
    選択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表
    示を引き起こす、請求項１に記載の方法。
  7. 前記１つ以上の別の想定し得る決定と関連付けられる１つ以上の推定される転帰が、前
    記１つ以上の別の想定し得る決定の前記表示と併せて表示される、請求項６に記載の方法
    。
  8. 前記１つ以上の推定される転帰は、それぞれの同様の意思決定ジャンクションを含む過
    去の外科的処置の複数のビデオの解析の結果である、請求項７に記載の方法。
  9. それぞれの同様の過去の意思決定ジャンクションにおいて行われた過去の決定の分布に
    関連する情報が、前記別の想定し得る決定の前記表示と併せて表示される、請求項６に記
    載の方法。
  10. 前記外科的処置の前記意思決定ジャンクションが第１の患者と関連付けられ、前記それ
    ぞれの同様の過去の意思決定ジャンクションは、前記第１の患者と同様の特性を有する患
    者と関連付けられる過去の外科的処置から選択される、請求項９に記載の方法。
  11. 前記外科的処置の前記意思決定ジャンクションが第１の医療専門家と関連付けられ、前
    記それぞれの同様の過去の意思決定ジャンクションは、前記第１の医療専門家と同様の特
    性を有する医療専門家と関連付けられる過去の外科的処置から選択される、請求項９に記
    載の方法。
  12. 前記外科的処置の前記意思決定ジャンクションが前記外科的処置における第１の事前事
    象とに関連付けられ、前記同様の過去の意思決定ジャンクションは、前記第１の事前事象
    と同様の事前事象を含む過去の外科的処置から選択される、請求項９に記載の方法。
  13. 前記マーカが術中手術事象マーカを含み、術中手術事象マーカの選択は、前記外科医が
    異なる外科的処置からの別のビデオクリップを見ることができるようにし、前記別のビデ
    オクリップは、選択された術中手術事象が処理された異なる方法を提示する、請求項１に
    記載の方法。
  14. 前記ビデオ出力上への前記オーバーレイは、前記表示されたビデオで描写される前記外
    科的処置の終了前に表示される、請求項１に記載の方法。
  15. 前記解析は、過去の外科的処置の前記複数のビデオと関連付けられる１つ以上の電子医
    療記録に基づく、請求項８に記載の方法。
  16. 前記それぞれの同様の意思決定ジャンクションは、類似性メトリックに従う前記外科的
    処置の前記意思決定ジャンクションと同様である、請求項８に記載の方法。
  17. 前記解析は、コンピュータビジョンアルゴリズムの実装の使用を含む、請求項８に記載
    の方法。
  18. 前記マーカが術中手術事象に関連し、術中手術事象マーカの前記選択は、前記外科医が
    異なる外科的処置からの別のビデオクリップを見ることができるようにする、請求項１に
    記載の方法。
  19. 手術ビデオを見直すためのシステムであって、前記システムは、
    外科的処置の少なくとも１つのビデオにアクセスし、
    前記少なくとも１つのビデオを表示のために出力させ、
    手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバー
    レイし、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクシ
    ョンのうちの少なくとも１つを識別するマーカを含み、
    外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ
    以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマ
    ーカと関連付けられる位置にスキップさせる、
    ように構成される少なくとも１つのプロセッサを備える、システム。
  20. 少なくとも１つのプロセッサによって実行されるときに、手術ビデオの見直しを可能に
    する動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ
    可読媒体であって、前記動作は、
    外科的処置の少なくとも１つのビデオにアクセスするステップと、
    前記少なくとも１つのビデオを表示のために出力させるステップと、
    手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバー
    レイするステップであって、前記手術タイムラインが、手術段階、術中手術事象、及び、
    意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップと、
    外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ
    以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマ
    ーカと関連付けられる位置にスキップさせるステップと、
    を含む、持続性コンピュータ可読媒体。
  21. ビデオインデックス付けのためのコンピュータ実装方法であって、
    インデックス付けされるべきビデオ映像にアクセスするステップであって、前記インデ
    ックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップと、
    前記ビデオ映像を解析して、前記特定の外科的処置の手術段階と関連付けられるビデオ
    映像位置を識別するステップと、
    前記手術段階と関連付けられる段階タグを生成するステップと、
    前記段階タグを前記ビデオ映像位置と関連付けるステップと、
    前記手術段階内の特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解
    析するステップと、
    事象タグを前記特定の術中手術事象の前記事象位置と関連付けるステップと、
    前記特定の術中手術事象と関連付けられる事象特性を記憶するステップと、
    前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なる
    ビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性
    と関連付けるステップであって、前記データ構造が、前記他の外科的処置のうちの１つ以
    上と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特
    性も含む、ステップと、
    表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択され
    た事象特性の選択によってユーザが前記データ構造にアクセスできるようにするステップ
    と、
    前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事
    象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶さ
    れたビデオ映像の一致するサブセットを識別するステップと、
    前記記憶されたビデオ映像の一致するサブセットを前記ユーザに対して表示させ、それ
    により、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された
    事象特性を共有する少なくとも１つの術中手術事象の前記手術映像を前記ユーザが見るこ
    とができるようにするステップと、
    を含む、コンピュータ実装方法。
  22. 前記選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、前記選
    択された事象特性を有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見る
    ことができるようにするステップは、前記選択された事象特性を欠く選択された手術事象
    の部分の再生を省略しつつ、前記選択された事象特性を共有する複数の術中手術事象の手
    術映像の部分を前記ユーザに順次に提示するステップを含む、請求項２１に記載の方法。
  23. 前記記憶された事象特性が前記手術事象の有害転帰を含み、前記一致するサブセットを
    表示させるステップは、選択された有害転帰の手術映像を前記ユーザが見ることができる
    ようにする一方で、前記選択された有害転帰を欠く手術事象の再生を省略するステップを
    含む、請求項２１に記載の方法。
  24. 前記記憶された事象特性が外科的手技を含み、前記一致するサブセットを表示させるス
    テップは、選択された外科的手技の手術映像を前記ユーザが見ることができるようにする
    一方で、前記選択された外科的手技と関連付けられない手術映像の再生を省略するステッ
    プを含む、請求項２１に記載の方法。
  25. 前記記憶された事象特性が外科医スキルレベルを含み、前記一致するサブセットを表示
    させるステップは、選択された外科医スキルレベルを示す映像を前記ユーザが見ることが
    できるようにする一方で、前記選択された外科医スキルレベルを欠く映像の再生を省略す
    るステップを含む、請求項２１に記載の方法。
  26. 前記記憶された事象特性が身体的患者特性を含み、前記一致するサブセットを表示させ
    るステップは、選択された身体的患者特性を示す映像を前記ユーザが見ることができるよ
    うにする一方で、前記選択された身体的患者特性を欠く映像の再生を省略するステップを
    含む、請求項２１に記載の方法。
  27. 前記記憶された事象特性が特定の外科医の識別情報を含み、前記一致するサブセットを
    表示させるステップは、選択された外科医による行動を示す映像を前記ユーザが見ること
    ができるようにする一方で、前記選択された外科医による行動を欠く映像の再生を省略す
    るステップを含む、請求項２１に記載の方法。
  28. 前記記憶された事象特性が生理的応答を含み、前記一致するサブセットを表示させるス
    テップは、選択された生理的反応を示す映像を前記ユーザが見ることができるようにする
    一方で、前記選択された生理的反応を欠く映像の再生を省略するステップを含む、請求項
    ２１に記載の方法。
  29. 前記ビデオ映像を解析して前記手術事象又は前記手術段階のうちの少なくとも一方と関
    連付けられる前記ビデオ映像位置を識別するステップは、再生のための前記手術段階の開
    始位置又は再生のための手術事象の開始のうちの少なくとも一方を識別するために前記ビ
    デオ映像に対してコンピュータ画像解析を実行するステップを含む、請求項２１に記載の
    方法。
  30. 前記特定の外科的処置と同様の複数の外科的処置に関連する集約データにアクセスする
    ステップと、前記選択された事象特性と関連付けられる統計情報を前記ユーザに提示する
    ステップとを更に含む、請求項２１に記載の方法。
  31. 前記アクセスされたビデオ映像は、手術台の上方、患者の手術体腔内、患者の臓器内、
    又は、患者の脈管構造内の位置のうちの少なくとも１つに位置される少なくとも１つの画
    像センサを介して捕捉されるビデオ映像を含む、請求項２１に記載の方法。
  32. 前記ビデオ映像位置を識別するステップがユーザ入力に基づく、請求項２１に記載の方
    法。
  33. 前記ビデオ映像位置を識別するステップは、コンピュータ解析を使用して前記ビデオ映
    像のフレームを解析するステップを含む、請求項２１に記載の方法。
  34. 前記コンピュータ画像解析は、以前に識別された手術段階を含むビデオフレーム例を使
    用してトレーニングされたニューラルネットワークモデルを使用することによってビデオ
    映像位置又は段階タグのうちの少なくとも一方を識別するステップを含む、請求項２９に
    記載の方法。
  35. ユーザ入力に基づいて前記記憶された事象特性を決定するステップを更に含む、請求項
    ２１に記載の方法。
  36. 前記特定の術中手術事象を描写するビデオ映像のコンピュータ解析に基づいて前記記憶
    された事象特性を決定するステップを更に含む、請求項２１に記載の方法。
  37. 前記段階タグを生成するステップは、前記手術段階を描写するビデオ映像のコンピュー
    タ解析に基づく、請求項２１に記載の方法。
  38. 記憶されたビデオ映像の一致するサブセットを識別するステップは、コンピュータ解析
    を使用して、前記記憶されたビデオの一致するサブセットと前記選択された事象特性との
    間の類似性の度合いを決定するステップを含む、請求項２１に記載の方法。
  39. インデックス付けされるべきビデオ映像にアクセスし、前記インデックス付けされるべ
    きビデオ映像が特定の外科的処置の映像を含み、
    前記ビデオ映像を解析して段階タグを生成し、
    前記外科的処置の手術段階と関連付けられるビデオ映像位置を識別し、
    前記段階タグを前記ビデオ映像位置と関連付け、
    特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析し、
    事象タグを前記特定の術中手術事象の前記事象位置と関連付け、
    前記特定の術中手術事象の事象特性を記憶し、
    前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なる
    ビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性
    と関連付け、前記データ構造が、少なくとも１つの他の外科的処置と関連付けられるそれ
    ぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含み、
    表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択され
    た事象特性の選択によってユーザが前記データ構造にアクセスできるようにし、
    前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事
    象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶さ
    れたビデオ映像の一致するサブセットを識別し、
    前記記憶されたビデオ映像の一致するサブセットを前記ユーザに対して表示させ、それ
    により、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された
    事象特性を共有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることが
    できるようにする、
    べく構成される少なくとも１つのプロセッサを含む、手術ビデオインデックス付けシス
    テム。
  40. 少なくとも１つのプロセッサによって実行されるときに、ビデオインデックス付けを可
    能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュ
    ータ可読媒体であって、前記動作は、
    インデックス付けされるべきビデオ映像にアクセスするステップであって、前記インデ
    ックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップと、
    前記ビデオ映像を解析して段階タグを生成するステップと、
    前記外科的処置の手術段階と関連付けられるビデオ映像位置を識別するステップと、
    前記段階タグを前記ビデオ映像位置と関連付けるステップと、
    特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析するステップと
    、
    事象タグを前記特定の術中手術事象の前記事象位置と関連付けるステップと、
    前記特定の術中手術事象の事象特性を記憶するステップと、
    前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なる
    ビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性
    と関連付けるステップであって、前記データ構造が、１つ以上の他の外科的処置と関連付
    けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含む、
    ステップと、
    表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択され
    た事象特性の選択によってユーザが前記データ構造にアクセスできるようにするステップ
    と、
    前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事
    象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶さ
    れたビデオ映像の一致するサブセットを識別するステップと、
    前記記憶されたビデオ映像の前記一致するサブセットを前記ユーザに対して表示させ、
    それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択さ
    れた事象特性を共有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見るこ
    とができるようにするステップと、
    を含む、持続性コンピュータ可読媒体。
  41. 手術概要映像を生成するためのコンピュータ実装方法であって、
    少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動
    と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするス
    テップと、
    以前の外科的処置の履歴的な手術映像に基づいて履歴データにアクセスするステップで
    あって、前記履歴データが、手術映像の一部を術中手術事象と関連付けられるフレームと
    手術行動と関連付けられないフレームとに区別する情報を含む、ステップと、
    前記履歴データの情報に基づき、前記特定の手術映像において、フレームの前記第１の
    グループをフレームの前記第２のグループから区別するステップと、
    ユーザの要求に基づいて、フレームの前記第２のグループのユーザへの提示を省略しつ
    つ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示する
    ステップと、
    を含む、コンピュータ実装方法。
  42. 前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームに区別する前記
    情報は、手術器具の存在又は動きのうちの少なくとも一方の指標を含む、請求項４１に記
    載の方法。
  43. 前記履歴的な手術映像の一部を術中手術事象と関連するフレームに区別する前記情報は
    、関連するフレーム内の検出された器具及び解剖学的特徴を含む、請求項４１に記載の方
    法。
  44. 前記ユーザの前記要求は、対象の少なくとも１つのタイプの術中手術事象の表示を含み
    、フレームの前記第１のグループは、前記少なくとも１つのタイプの対象の術中手術事象
    のうちの少なくとも１つの術中手術事象を描写する、請求項４１に記載の方法。
  45. 前記ユーザの前記要求は、前記特定の手術映像内の複数の術中手術事象を見る要求を含
    み、フレームの前記第１のグループの集約を前記ユーザに提示するステップは、前記第２
    のグループの時系列フレームを省略してフレームの前記第１のグループを時系列順に表示
    するステップを含む、請求項４１に記載の方法。
  46. 前記履歴データは、履歴的な手術転帰データ及びそれぞれの履歴的な原因データを更に
    含み、
    フレームの前記第１のグループは、フレームの原因セット及びフレームの転帰セットを
    含み、
    フレームの前記第２のグループがフレームの中間セットを含み、
    前記方法は、
    前記特定の手術映像を解析して手術転帰及び前記手術転帰のそれぞれの原因を識別する
    ステップであって、識別する前記ステップが前記履歴的な転帰データ及びそれぞれの履歴
    的な原因データに基づく、ステップと、
    前記解析に基づいて、前記特定の手術映像内のフレームの前記転帰セットを検出するス
    テップであって、フレームの前記転帰セットが前記外科的処置の転帰段階内にある、ステ
    ップと、
    前記解析に基づいて、前記特定の手術映像内のフレームの原因セットを検出するステッ
    プであって、フレームの前記原因セットが、前記転帰段階から時間的に離れた前記外科的
    処置の原因段階内にあり、フレームの前記中間セットが、フレームの前記原因セットとフ
    レームの前記転帰セットとの間に介挿される中間段階内にある、ステップと、
    前記手術映像の因果関係概要を生成するステップであって、前記因果関係概要が、フレ
    ームの前記原因セット及びフレームの前記転帰セットを含み、フレームの前記中間セット
    を省く、ステップと、
    を含み、
    前記ユーザに提示されるフレームの前記第１のグループの前記集約が前記因果関係概要
    を含む、請求項４１に記載の方法。
  47. 前記原因段階は、前記原因が発生した手術段階を含み、フレームの前記原因セットは、
    前記原因段階における前記フレームのサブセットである、請求項４６に記載の方法。
  48. 前記転帰段階は、前記転帰が観察できる手術段階を含み、フレームの前記転帰セットは
    、前記転帰段階におけるフレームのサブセットである、請求項４６に記載の方法。
  49. 前記方法は、前記履歴データを使用して前記手術転帰及び前記手術転帰のそれぞれの原
    因を識別するようにトレーニングされる機械学習モデルを使用して、前記特定の手術映像
    を解析するステップを更に含む、請求項４６に記載の方法。
  50. 前記特定の手術映像は、患者に対して行われて手術室内の少なくとも１つの画像センサ
    によって捕捉される外科的処置を描写し、前記方法は、前記患者の医療記録に記憶するた
    めにフレームの前記第１のグループをエクスポートするステップを更に含む、請求項５１
    に記載の方法。
  51. 前記方法は、前記少なくとも１つの術中手術事象のインデックスを生成するステップを
    更に含み、フレームの前記第１のグループをエクスポートするステップは、フレームの前
    記第１のグループのコンパイルを生成するステップを含み、前記コンパイルは、前記イン
    デックスを含むとともに、１つ以上のインデックス項目の選択に基づいて前記少なくとも
    １つの術中手術事象の視聴を可能にするように構成される、請求項５０に記載の方法。
  52. 前記コンパイルは、連続ビデオとして記憶される異なる術中事象の一連のフレームを含
    む、請求項５１に記載の方法。
  53. 前記方法は、フレームの前記第１のグループを固有の患者識別子と関連付けて、前記固
    有の患者識別子を含む医療記録を更新するステップを更に含む、請求項５０に記載の方法
    。
  54. 前記少なくとも１つの画像センサの位置は、前記手術室内の手術台の上方又は前記患者
    内のうちの少なくとも１つである、請求項５１に記載の方法。
  55. 前記特定の手術映像においてフレームの前記第１のグループをフレームの前記第２のグ
    ループから区別するステップは、
    前記特定の手術映像を解析して医療機器を検出するステップと、
    前記特定の手術映像を解析して解剖学的構造を検出するステップと、
    前記ビデオを解析して、前記検出された医療機器と前記検出された解剖学的構造との間
    の相対動作を検出するステップと、
    前記相対動作に基づいてフレームの前記第１のグループをフレームの前記第２のグルー
    プから区別するステップであって、フレームの前記第１のグループが手術行動フレームを
    含み、フレームの前記第２のグループが非手術行動フレームを含み、集約を提示すること
    により、手術の準備をしている外科医が、要約される提示のビデオ見直し中に前記非手術
    構造フレームを省略することができる、ステップと、
    を含む、請求項５１に記載の方法。
  56. フレームの前記第１のグループをフレームの前記第２のグループから区別するステップ
    は、前記医療機器と前記解剖学的構造との間の検出された相対位置に更に基づく、請求項
    ５５に記載の方法。
  57. フレームの前記第１のグループをフレームの前記第２のグループから区別するステップ
    は、前記医療機器と前記解剖学的構造との間の検出された相互作用に更に基づく、請求項
    ５５に記載の方法。
  58. 前記非手術行動フレームを省略するステップは、非手術行動を捕捉するフレームの大部
    分を省略するステップを含む、請求項５５に記載の方法。
  59. 手術概要映像を生成するためのシステムであって、
    少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動
    と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスし、
    以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスし、前記
    履歴データが、前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームと
    手術行動と関連付けられないフレームとに区別する情報を含みと、
    前記履歴データの前記情報に基づき、前記特定の手術映像において、フレームの前記第
    １のグループをフレームの前記第２のグループから区別し、
    ユーザの要求に基づいて、フレームの前記第２のグループの前記ユーザへの提示を省略
    しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示
    する、
    ように構成される少なくとも１つのプロセッサを含む、システム。
  60. 少なくとも１つのプロセッサによって実行されるときに、手術概要映像を生成できるよ
    うにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュ
    ータ可読媒体であって、前記動作は、
    少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動
    と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするス
    テップと、
    以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスするステ
    ップであって、前記履歴データが、前記履歴的な手術映像の一部を術中手術事象と関連付
    けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステ
    ップと、
    前記履歴データの前記情報に基づき、前記特定の手術映像において、フレームの前記第
    １のグループをフレームの前記第２のグループから区別するステップと、
    ユーザの要求に基づいて、フレームの前記第２のグループの前記ユーザへの提示を省略
    しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示
    するステップと、
    を含む、持続性コンピュータ可読媒体。
  61. 手術準備のためのコンピュータ実装方法であって、
    異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手
    術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数の
    セットのリポジトリにアクセスするステップと、
    企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する
    症例特有の情報を入力できるようにするステップと、
    前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比
    較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別
    するステップと、
    前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使
    用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセッ
    トのうちの特定のセット内の特定のフレームを識別するステップであって、前記識別され
    た特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレー
    ムを含む、ステップと、
    異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する
    術中事象と関連付けられるフレームを含むと決定するステップと、
    前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、
    前記外科医に提示されるべき前記コンパイルに前記第１のセットを含めるステップと、
    異なる患者に対して実行される前記異なる外科的処置からのフレームを含む前記コンパ
    イルを含む提示を前記外科医が見ることができるようにするステップと、
    を含む、コンピュータ実装方法。
  62. 前記提示に沿った前記識別された特定のフレームのうちの１つ以上に対応する１つ以上
    の時系列マーカを含む共通の手術タイムラインの表示を可能にするステップを更に含む、
    請求項６１に記載の方法。
  63. 前記外科医が前記提示を見ることができるようにするステップは、異なる患者に対して
    実行される前記異なる外科的処置のビデオ映像の別個のセットを順次に表示するステップ
    を含む、請求項６１に記載の方法。
  64. ビデオ映像の別個のセットを順次に表示するステップは、前記ビデオ映像の別個のセッ
    トのうちの１つ以上を前記外科医が選択できるようにする前記ビデオ映像の別個のセット
    のインデックスを表示するステップを含む、請求項６３に記載の方法。
  65. 前記インデックスは、前記別個のセットを対応する手術段階及びテキスト段階指標へと
    構文解析するタイムラインを含む、請求項６４に記載の方法。
  66. 前記タイムラインは、術中手術事象に対応する術中手術事象マーカを含み、前記外科医
    は、前記術中手術事象マーカをクリックして、前記対応する術中手術事象を描写する少な
    くとも１つのフレームを表示できるようにされる、請求項６５に記載の方法。
  67. 前記企図された外科的処置に対応する前記症例特有の情報が外部デバイスから受信され
    る、請求項６１に記載の方法。
  68. 前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比
    較するステップは、人工ニューラルネットワークを使用して、前記企図された外科的処置
    中に直面する可能性が高い前記術中事象のグループを識別するステップを含む、請求項６
    １に記載の方法。
  69. 前記人工ニューラルネットワークを使用するステップは、前記症例特有の情報を入力と
    して前記人工ニューラルネットワークに与えるステップを含む、請求項６８に記載の方法
    。
  70. 前記症例特有の情報は、前記企図された処置と関連付けられる患者の特性を含む、請求
    項６１に記載の方法。
  71. 前記患者の特性が前記患者の医療記録から受けられる、請求項７０に記載の方法。
  72. 前記症例特有の情報は、手術器具に関連する情報を含む、請求項７１に記載の方法。
  73. 前記手術器具に関連する情報は、器具タイプ及び器具モデルのうちの少なくとも一方を
    含む、請求項７２に記載の方法。
  74. 前記共通の特性は、前記異なる患者の特性を含む、請求項７１に記載の方法。
  75. 前記共通の特性は、前記企図された外科的処置の術中手術事象特性を含む、請求項６１
    に記載の方法。
  76. 異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する
    術中事象と関連付けられるフレームを含むと決定するステップは、機械学習モデルの実装
    を使用して前記共通の特性を識別するステップを含む、請求項６１に記載の方法。
  77. 前記方法は、ビデオ映像の２つのセットが前記共通の特性を共有するかどうかを決定す
    るべく前記機械学習モデルをトレーニングするためにビデオ映像例を使用するステップを
    更に含み、前記機械学習モデルを実装するステップは、前記トレーニングされた機械学習
    モデルを実装するステップを含む、請求項７６に記載の方法。
  78. 前記方法は、前記術中手術事象、前記手術転帰、前記患者特性、前記外科医特性、及び
    、前記術中手術事象特性に基づいて前記リポジトリのインデックスを生成するべく機械学
    習モデルをトレーニングするステップと、前記リポジトリの前記インデックスを生成する
    ステップとを更に含み、前記症例特有の情報を前記複数のセットと関連付けられるデータ
    と比較するステップは、前記インデックスを検索するステップを含む、請求項６１に記載
    の方法。
  79. 異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手
    術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数の
    セットのリポジトリにアクセスし、
    企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する
    症例特有の情報を入力できるようにし、
    前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比
    較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別
    し、
    前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使
    用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセッ
    トのうちの特定のセット内の特定のフレームを識別し、前記識別された特定のフレームが
    、異なる患者に対して実行される前記複数の外科的処置からのフレームを含み、
    異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する
    術中事象と関連付けられるフレームを含むと決定し、
    前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、
    前記外科医に提示されるべき前記コンパイルに前記第１のセットを含め、
    前記コンパイルを含むとともに異なる患者に対して実行される前記異なる外科的処置か
    らのフレームを含む提示を前記外科医が見ることができるようにする、
    ように構成される少なくとも１つのプロセッサを備える外科的準備システム。
  80. 少なくとも１つのプロセッサによって実行されるときに、手術準備を可能にする動作を
    前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体で
    あって、前記動作は、
    異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手
    術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数の
    セットのリポジトリにアクセスするステップと、
    企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する
    症例特有の情報を入力できるようにするステップと、
    前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比
    較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別
    するステップと、
    前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使
    用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセッ
    トのうちの特定のセット内の特定のフレームを識別するステップであって、前記識別され
    た特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレー
    ムを含む、ステップと、
    異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する
    術中事象と関連付けられるフレームを含むと決定するステップと、
    前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、
    前記外科医に提示されるべき前記コンパイルに前記第１のセットを含めるステップと、
    異なる患者に対して実行される前記異なる外科的処置からのフレームを含む前記コンパ
    イルを含む提示を前記外科医が見ることができるようにするステップと、
    を含む、持続性コンピュータ可読媒体。
  81. 手術映像の複雑度を解析するためのコンピュータ実装方法であって、
    前記手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識
    別するステップと、
    第１の履歴データにアクセスするステップであって、前記第１の履歴データが、以前の
    外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステ
    ップと、
    前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレーム
    の前記第１のセットを解析し、フレームの前記第１のセットと関連付けられる第１の手術
    複雑度レベルを決定するステップと、
    前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、前
    記解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別するス
    テップと、
    第２の履歴データにアクセスするステップであって、前記第２の履歴データが、以前の
    外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステ
    ップと、
    前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前
    記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑
    度レベルを決定するステップと、
    を含むコンピュータ実装方法。
  82. 前記第１の手術複雑度レベルを決定するステップは、フレームの前記第１のセットにお
    いて医療器具を識別するステップを更に含む、請求項８１に記載の方法。
  83. 前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットから
    フレームの前記第２のセットまでの経過時間に基づく、請求項８１に記載の方法。
  84. 前記第１の複雑度レベルを決定するステップ又は前記第２の複雑度レベルを決定するス
    テップのうちの少なくとも一方が生理的応答に基づく、請求項８１に記載の方法。
  85. 前記方法は、前記手術映像においてヘルスケア提供者により実証されるスキルのレベル
    を決定するステップを更に含み、前記第１の複雑度レベルを決定するステップ又は前記第
    ２の複雑度レベルを決定するステップのうちの少なくとも一方は、前記ヘルスケア提供者
    によって実証されるスキルの決定されたレベルに基づく、請求項８１に記載の方法。
  86. 前記第１の手術複雑度レベルが選択される閾値未満であると決定するステップと、前記
    第２の手術複雑度レベルが前記選択される閾値を超えると決定するステップと、前記第１
    の手術複雑度レベルが前記選択される閾値未満であるという決定と、前記第２の手術複雑
    度レベルが前記選択される閾値を超えるという決定とに応じて、フレームの前記第２のセ
    ットをデータ構造に記憶する一方で、前記データ構造からフレームの前記第１のセットを
    省くステップとを更に含む、請求項８１に記載の方法。
  87. フレームの前記第１のセットにおいて前記解剖学的構造を識別するステップは、医療器
    具の識別と、前記医療器具と前記解剖学的構造との間の第１の相互作用とに基づく、請求
    項８１に記載の方法。
  88. フレームの前記第１のセットを前記第１の手術複雑度レベルでタグ付けするステップと
    、
    フレームの前記第２のセットを前記第２の手術複雑度レベルでタグ付けするステップと
    、
    外科医が前記第２の手術複雑度レベルを選択できるようにするべく前記第１のタグを伴
    うフレームの前記第１のセットと前記第２のタグを伴うフレームの前記第２のセットとを
    含むデータ構造を生成し、それにより、フレームの前記第１のセットの表示を省略しつつ
    、フレームの前記第２のセットを表示させるステップと、
    を更に含む、請求項８１に記載の方法。
  89. 前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方
    を決定するために、以前の外科的処置から捕捉されるフレームデータを使用して手術複雑
    度レベルを識別するようにトレーニングされる機械学習モデルを使用するステップを更に
    含む、請求項８１に記載の方法。
  90. 前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットとフ
    レームの前記第２のセットとの間で生じる事象に基づく、請求項８１に記載の方法。
  91. 前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方
    を決定するステップは、前記解剖学的構造の状態に基づく、請求項８１に記載の方法。
  92. 前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方
    を決定するステップは、電子医療記録の解析に基づく、請求項８１に記載の方法。
  93. 前記第１の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後
    に生じる事象に基づく、請求項８１に記載の方法。
  94. 前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方
    を決定するステップは、前記手術映像と関連付けられる外科医のスキルレベルに基づく、
    請求項８１に記載の方法。
  95. 前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後
    に更なる外科医が呼び出されたという表示に基づく、請求項８１に記載の方法。
  96. 前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後
    に特定の薬剤が投与されたという表示に基づく、請求項８１に記載の方法。
  97. 前記第１の履歴データは、以前の外科的処置の前記第１のグループから捕捉される前記
    第１のフレームデータを使用してトレーニングされる機械学習モデルを含む、請求項８１
    に記載の方法。
  98. 前記第１の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計
    的関係の表示を含む、請求項８１に記載の方法。
  99. 手術映像の複雑度を解析するためのシステムであって、
    前記手術映像のフレームを解析して、フレームの第１のセットにおいて解剖学的構造を
    識別し、
    第１の履歴データにアクセスし、前記第１の履歴データが、以前の外科的処置の第１の
    グループから捕捉される第１のフレームデータの解析に基づき、
    前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレーム
    の前記第１のセットを解析して、フレームの前記第１のセットと関連付けられる第１の手
    術複雑度レベルを決定し、
    前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、前
    記解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別し、
    第２の履歴データにアクセスし、前記第２の履歴データが、以前の外科的処置の第２の
    グループから捕捉される第２のフレームデータの解析に基づき、
    前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前
    記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑
    度レベルを決定する、
    ように構成される少なくとも１つのプロセッサを備えるシステム。
  100. 少なくとも１つのプロセッサによって実行されるときに、手術ビデオの見直しを可能に
    する動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ
    可読媒体であって、前記動作は、
    手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別す
    るステップと、
    第１の履歴データにアクセスするステップであって、前記第１の履歴データが、以前の
    外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステ
    ップと、
    前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレーム
    の前記第１のセットを解析し、フレームの前記第１のセットと関連付けられる第１の手術
    複雑度レベルを決定するステップと、
    前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、解
    剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別するステッ
    プと、
    第２の履歴データにアクセスするステップであって、前記第２の履歴データが、以前の
    外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステ
    ップと、
    以前の外科的処置から捕捉されるフレームデータの解析に基づく前記第２の履歴データ
    を使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し
    、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定するステ
    ップと、
    を含む持続性コンピュータ可読媒体。
  101. 少なくとも１つのプロセッサによって実行されるときに、手術室スケジュールの調整を
    可能にする方法を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピ
    ュータ可読媒体であって、前記方法は、
    手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受
    信するステップと、
    履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップと、
    前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前
    記進行中の外科的処置の前記視覚データを解析するステップと、
    前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手
    術室に関するスケジュールにアクセスするステップと、
    前記進行中の外科的処置の前記推定完了時間に基づいて、予測完了時間が前記完了と関
    連付けられる前記スケジュールされた時間からの分散をもたらす可能性が高いかどうかを
    計算するステップと、
    前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに
    応じて自分のスケジュールを調整できるようにするステップと、
    を含む持続性コンピュータ可読媒体。
  102. 前記通知は、更新された手術室スケジュールを含む、請求項１０１に記載の持続性コン
    ピュータ可読媒体。
  103. 前記更新された手術室スケジュールは、待ち行列に入れられたヘルスケア専門家が後続
    の外科的処置の準備をすることができるようにする、請求項１０１に記載の持続性コンピ
    ュータ可読媒体。
  104. 前記方法は、前記手術室の後続のスケジュールされたユーザと関連付けられるデバイス
    に前記通知を電子的に送信するステップを更に含む、請求項１０１に記載の持続性コンピ
    ュータ可読媒体。
  105. 前記方法は、
    前記完了と関連付けられる前記スケジュールされた時間からの前記分散の範囲を決定す
    るステップと、
    第１の決定された範囲に応じて、前記通知を出力するステップと、
    第２の決定された範囲に応じて、前記通知を出力しないで済ませるステップと、
    を更に含む、請求項１０１に記載の持続性コンピュータ可読媒体。
  106. 前記方法は、
    前記予測完了時間が、前記完了と関連付けられる前記スケジューリングされた時間から
    の少なくとも選択された閾値時間の遅延をもたらす可能性が高いかどうかを決定するステ
    ップと、
    前記予測完了時間が少なくとも前記選択された閾値時間の遅延をもたらす可能性が高い
    という決定に応じて、前記通知を出力するステップと、
    前記予測完了時間が少なくとも前記選択された閾値時間の遅延をもたらしそうにないと
    いう決定に応じて、前記通知を出力しないで済ませるステップと、
    を更に含む、請求項１０１に記載の持続性コンピュータ可読媒体。
  107. 前記推定完了時間を決定する前記ステップは、前記進行中の外科的処置を行うヘルスケ
    ア専門家と関連付けられる１つ以上の記憶された特性に基づく、請求項１０１に記載の持
    続性コンピュータ可読媒体。
  108. 決定された実際の時間に基づいて完了までの履歴的な平均時間を更新して、前記進行中
    の外科的処置を完了させるステップを更に含む、請求項１０１に記載の持続性コンピュー
    タ可読媒体。
  109. 前記画像センサが患者の上方に位置される、請求項１０１に記載の持続性コンピュータ
    可読媒体。
  110. 前記画像センサが手術器具上に位置される、請求項１０１に記載の持続性コンピュータ
    可読媒体。
  111. 解析するステップは、前記受信された視覚データ内の特性事象を検出するステップと、
    履歴的な手術データに基づいて情報を評価して、前記履歴的な手術データ内の前記特性事
    象の発生後に前記外科的処置を完了する予測時間を決定するステップと、前記決定された
    予測完了時間に基づいて前記推定完了時間を決定するステップとを更に含む、請求項１０
    １に記載の持続性コンピュータ可読媒体。
  112. 前記方法は、履歴的な視覚データを使用して、機械学習モデルをトレーニングし、前記
    特性事象を検出するステップを更に含む、請求項１１１に記載の持続性コンピュータ可読
    媒体。
  113. 前記方法は、完了時間を推定するために機械学習モデルをトレーニングするべく履歴的
    な視覚データを使用するステップを更に含み、前記推定完了時間を計算するステップは、
    前記トレーニングされた機械学習モデルを実装するステップを含む、請求項１０１に記載
    の持続性コンピュータ可読媒体。
  114. 前記方法は、平均の履歴的な完了時間を使用して前記推定完了時間を決定するステップ
    を更に含む、請求項１０１に記載の持続性コンピュータ可読媒体。
  115. 前記方法は、前記視覚データ内の医療器具を検出するステップを更に含み、前記推定完
    了時間を計算するステップは、前記検出された医療器具に基づく、請求項１０１に記載の
    持続性コンピュータ可読媒体。
  116. 解析するステップは、前記視覚データ内の解剖学的構造を検出するステップを更に含み
    、前記推定完了時間を計算するステップは、前記検出された解剖学的構造に基づく、請求
    項１０１に記載の持続性コンピュータ可読媒体。
  117. 解析するステップは、前記視覚データ内の解剖学的構造と医療器具との間の相互作用を
    検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された
    相互作用に基づく、請求項１０１に記載の持続性コンピュータ可読媒体。
  118. 解析するステップは、前記視覚データにおける外科医のスキルレベルを決定するステッ
    プを更に含み、前記推定完了時間を計算するステップは、前記決定されたスキルレベルに
    基づく、請求項１０１に記載の持続性コンピュータ可読媒体。
  119. 手術室のスケジュールの調整を可能にするためのシステムであって、
    手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受
    信し、
    履歴的な手術データに基づく情報を含むデータ構造にアクセスし、
    前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前
    記進行中の外科的処置の前記視覚データを解析し、
    前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手
    術室に関するスケジュールにアクセスし、
    前記進行中の外科的処置の前記推定完了時間に基づいて、前記予測完了時間が前記完了
    と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを
    計算し、
    前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに
    応じて自分のスケジュールを調整できるようにする、
    ように構成される少なくとも１つのプロセッサを備えるシステム。
  120. 手術室スケジュールの調整を可能にするためのコンピュータ実装方法であって、
    手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受
    信するステップと、
    履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップと、
    前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前
    記進行中の外科的処置の前記視覚データを解析するステップと、
    前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手
    術室に関するスケジュールにアクセスするステップと、
    前記進行中の外科的処置の前記推定完了時間に基づいて、前記予測完了時間が前記完了
    と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを
    計算するステップと、
    前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに
    応じて自分のスケジュールを調整できるようにするステップと、
    を含むコンピュータ実装方法。
  121. 保険払い戻しを決定するために手術画像を解析するためのコンピュータ実装方法であっ
    て、
    患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、
    前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内
    で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも
    １つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用
    を識別するステップと、
    医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関され
    る払い戻しコードのデータベースにアクセスするステップと、
    前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別
    された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較し
    て、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステッ
    プと、
    前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い
    戻しコードを出力するステップと、
    を含むコンピュータ実装方法。
  122. 出力された前記少なくとも１つの払い戻しコードは、出力された複数の払い戻しコード
    を含む、請求項１２１に記載の方法。
  123. 前記複数の出力された払い戻しコードのうちの少なくとも２つは、共通の解剖学的構造
    との異なる相互作用に基づく、請求項１２２に記載の方法。
  124. 前記少なくとも２つの出力された払い戻しコードは、２つの異なる医療機器の検出に部
    分的に基づく、請求項１２３に記載の方法。
  125. 前記少なくとも１つの払い戻しコードを決定するステップは、術後手術報告の解析にも
    基づく、請求項１２１に記載の方法。
  126. 前記ビデオフレームは、前記患者の上方に位置される画像センサから捕捉される、請求
    項１２１に記載の方法。
  127. 前記ビデオフレームは、医療デバイスと関連付けられる画像センサから捕捉される、請
    求項１２１に記載の方法。
  128. 前記少なくとも１つの払い戻しコードを前記外科的処置と関連付けることによって前記
    データベースを更新するステップを更に含む、請求項１２１に記載の方法。
  129. 処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療機器、前記履歴的な
    ビデオ映像内の複数の解剖学的構造、又は、前記履歴的なビデオ映像内の医療機器と解剖
    学的構造との間の複数の相互作用のうちの少なくとも１つとの間の相関関係を生成するス
    テップと、前記生成された相関関係に基づいて前記データベースを更新するステップとを
    更に含む、請求項１２１に記載の方法。
  130. 相関関係を生成するステップは、統計的モデルを実装するステップを含む、請求項１２
    ９に記載の方法。
  131. 機械学習モデルを使用して、前記履歴的なビデオ映像内で、複数の医療機器、複数の解
    剖学的構造、又は、医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも
    １つを検出するステップを更に含む、請求項１２９に記載の方法。
  132. 前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記患者の解剖学的構
    造の状態を決定するステップと、前記解剖学的構造の前記決定された状態に基づいて前記
    外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップと
    を更に含む、請求項１２１に記載の方法。
  133. 前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記外科的処置中の前
    記患者の解剖学的構造の状態の変化を決定するステップと、前記解剖学的構造の状態の前
    記決定された変化に基づいて、前記外科的処置と関連付けられる前記少なくとも１つの払
    い戻しコードを決定するステップとを更に含む、請求項１２１に記載の方法。
  134. 特定の医療デバイスの使用を決定するために前記外科的処置中に捕捉される前記ビデオ
    フレームを解析するステップと、前記特定の医療デバイスの前記決定された使用に基づい
    て前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステ
    ップとを更に含む、請求項１２１に記載の方法。
  135. 前記特定の医療デバイスの使用のタイプを決定するために前記外科的処置中に捕捉され
    る前記ビデオフレームを解析するステップと、第１の決定された使用タイプに応じて、前
    記外科的処置と関連付けられる少なくとも第１の払い戻しコードを決定するステップと、
    第２の決定された使用タイプに応じて、前記外科的処置と関連付けられる少なくとも第２
    の払い戻しコードを決定するステップであって、前記少なくとも第１の払い戻しコードが
    前記少なくとも第２の払い戻しコードとは異なる、ステップとを更に含む、請求項１３４
    に記載の方法。
  136. 前記外科的処置と関連付けられる処理された払い戻しコードを受信し、前記処理された
    払い戻しコードに基づいて前記データベースを更新するステップを更に含む、請求項１２
    １に記載の方法。
  137. 前記処理された払い戻しコードは、前記少なくとも１つの払い戻しコードの対応する払
    い戻しコードとは異なる、請求項１３６に記載の方法。
  138. 前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記外科的処置で使用
    される特定のタイプの医療物資の量を決定するステップと、前記決定された量に基づいて
    前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステッ
    プとを更に含む、請求項１２１に記載の方法。
  139. 保険払い戻しを決定するための手術画像解析システムであって、
    患者に対する外科的処置中に捕捉されるビデオフレームにアクセスし、
    前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内
    で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも
    １つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用
    を識別し、
    医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関され
    る払い戻しコードのデータベースにアクセスし、
    前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別
    された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較し
    て、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定し、
    前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い
    戻しコードを出力する、
    ように構成される少なくとも１つのプロセッサを備える手術画像解析システム。
  140. 少なくとも１つのプロセッサによって実行されるときに、保険払い戻しの決定を可能に
    する動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ
    可読媒体であって、前記動作は、
    患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、
    前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内
    で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも
    １つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用
    を識別するステップと、
    医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関され
    る払い戻しコードのデータベースにアクセスするステップと、
    前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別
    された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較し
    て、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステッ
    プと、
    前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い
    戻しコードを出力するステップと、
    を含む持続性コンピュータ可読媒体。
  141. 少なくとも１つのプロセッサによって実行されるときに、外科的処置の術後報告を自動
    的に作成できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含
    む持続性コンピュータ可読媒体であって、前記動作は、
    患者の識別子の入力を受信するステップと、
    ヘルスケア提供者の識別子の入力を受信するステップと、
    前記ヘルスケア提供者によって前記患者に対して行われる外科的処置の手術映像の入力
    を受信するステップと、
    前記手術映像の複数のフレームを解析して、前記外科的処置の術後報告を作成するため
    の画像ベースの情報を導き出すステップと、
    前記導き出された画像ベースの情報が前記外科的処置の前記術後報告を作成するように
    するステップと、
    を含む持続性コンピュータ可読媒体。
  142. 前記動作は、前記外科的処置の１つ以上の段階を識別して前記識別された段階のうちの
    少なくとも１つの段階の特性を識別するために前記手術映像を解析するステップを更に含
    み、前記導き出された画像ベースの情報は、前記識別された少なくとも１つの段階と、前
    記少なくとも１つの段階の前記識別された特性とに基づく、請求項１４１に記載の持続性
    コンピュータ可読媒体。
  143. 前記動作は、前記手術映像を解析して、名前を前記少なくとも１つの段階と関連付ける
    ステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階
    と関連付けられる前記名前を含む、請求項１４２に記載の持続性コンピュータ可読媒体。
  144. 前記動作は、前記少なくとも１つの段階の少なくとも開始を決定するステップを更に含
    み、前記導き出された画像ベースの情報は、前記決定された開始に基づく、請求項１４２
    に記載の持続性コンピュータ可読媒体。
  145. 前記動作は、時間マーカを前記少なくとも１つの段階と関連付けるステップを更に含み
    、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前
    記時間マーカを含む、請求項１４２に記載の持続性コンピュータ可読媒体。
  146. 前記動作は、データを前記ヘルスケア提供者に送信するステップであって、前記送信さ
    れるデータが、前記患者識別子と、前記導き出された画像ベースの情報とを含む、ステッ
    プを更に含む、請求項１４１に記載の持続性コンピュータ可読媒体。
  147. 前記動作は、前記手術映像を解析して、術後治療のための少なくとも１つの推奨を識別
    するステップと、前記識別された少なくとも１つの推奨を与えるステップとを更に含む、
    請求項１４１に記載の持続性コンピュータ可読媒体。
  148. 前記外科的処置の前記術後報告の引き起こされた作成は、前記術後報告内の前記導き出
    された画像ベースの情報の少なくとも一部を前記ヘルスケア提供者が変更できるようにす
    るべく設定される、請求項１４１に記載の持続性コンピュータ可読媒体。
  149. 前記外科的処置の前記術後報告の引き起こされた作成は、前記導き出された画像ベース
    の情報の少なくとも一部を前記術後報告において自動的に生成されたデータとして識別さ
    せるように設定される、請求項１４１に記載の持続性コンピュータ可読媒体。
  150. 前記動作は、前記手術映像を解析して、前記手術映像内の手術事象を識別するとともに
    、前記識別された手術事象の特性を識別するステップを更に含み、前記導き出された画像
    ベースの情報は、前記識別された手術事象及び前記識別された特性に基づく、請求項１４
    １に記載の持続性コンピュータ可読媒体。
  151. 前記動作は、前記手術映像を解析して、前記識別された手術事象の事象名を決定するス
    テップを更に含み、前記導き出された画像ベースの情報は、前記決定された事象名を含む
    、請求項１５０に記載の持続性コンピュータ可読媒体。
  152. 前記動作は、時間マーカを前記識別された手術事象と関連付けるステップを更に含み、
    前記導き出された画像ベースの情報が前記時間マーカを含む、請求項１５０に記載の持続
    性コンピュータ可読媒体。
  153. 前記動作は、前記導き出された画像ベースの情報を電子医療記録の更新を可能にする形
    式で提供するステップを更に含む、請求項１４１に記載の持続性コンピュータ可読媒体。
  154. 前記導き出された画像ベースの情報は、ユーザ入力に部分的に基づく、請求項１４１に
    記載の持続性コンピュータ可読媒体。
  155. 前記導き出された画像ベースの情報は、前記外科的処置の第１の一部と関連付けられる
    第１の部分と、前記外科的処置の第２の一部と関連付けられる第２の部分とを含み、
    前記動作は、
    予備術後報告を受けるステップと、
    前記予備術後報告を解析して、前記予備術後報告内の第１の位置及び第２の位置を選択
    するステップであって、前記第１の位置が前記外科的処置の前記第１の一部と関連付けら
    れ、前記第２の位置が前記外科的処置の前記第２の一部と関連付けられる、ステップと、
    前記導き出された画像ベースの情報の前記第１の部分を前記選択された第１の位置に挿
    入させ、前記導き出された画像ベースの情報の前記第２の部分を前記選択された第２の位
    置に挿入させるステップと、
    を更に含む、
    請求項１４１に記載の持続性コンピュータ可読媒体。
  156. 前記動作は、前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少
    なくとも一部を選択するステップと、前記手術映像の少なくとも１つのフレームの前記選
    択された少なくとも一部を前記外科的処置の前記術後報告に含ませるステップとを更に含
    む、請求項１４１に記載の持続性コンピュータ可読媒体。
  157. 前記動作は、
    予備術後報告を受けるステップと、
    前記予備術後報告及び前記手術映像を解析して、前記手術映像の少なくとも１つのフレ
    ームの少なくとも一部を選択するステップと、
    を更に含む請求項１５６に記載の持続性コンピュータ可読媒体。
  158. 前記動作は、
    予備術後報告を受けるステップと、
    前記予備術後報告及び前記手術映像を解析して、前記予備術後報告と前記手術映像との
    間の少なくとも１つの不一致を識別するステップと、
    前記識別された少なくとも１つの不一致の表示を与えるステップと、
    を更に含む請求項１４１に記載の持続性コンピュータ可読媒体。
  159. 外科的処置の術後報告を作成するコンピュータ実装方法であって、
    患者の識別子の入力を受けるステップと、
    ヘルスケア提供者の識別子の入力を受けるステップと、
    前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入
    力を受けるステップと、
    前記手術映像の複数のフレームを解析して、医療機器と生物学的構造との間の検出され
    る相互作用に基づいて前記外科的処置の段階を識別するとともに、前記相互作用に基づい
    て、名前をそれぞれの識別された段階と関連付けるステップと、
    それぞれの識別された段階の少なくとも開始を決定するステップと、
    時間マーカをそれぞれの識別された段階の前記開始と関連付けるステップと、
    前記ヘルスケア提供者にデータを送信するステップであって、前記送信されたデータが
    、前記患者識別子、前記外科的処置の前記識別された段階の前記名前、及び、前記識別さ
    れた段階と関連付けられる時間マーカを含む、ステップと、
    前記送信されたデータを用いて、術後報告を、前記ヘルスケア提供者が前記術後報告に
    おける段階名を変更できるようにする態様で作成するステップと、
    を含むコンピュータ実装方法。
  160. 外科的処置の術後報告を自動的に作成するためのシステムであって、
    患者の識別子の入力を受けるステップと、
    ヘルスケア提供者の識別子の入力を受けるステップと、
    前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入
    力を受けるステップと、
    前記手術映像の複数のフレームを解析して、医療機器と生物学的構造との間の検出され
    る相互作用に基づいて前記外科的処置の段階を識別するとともに、前記相互作用に基づい
    て、名前をそれぞれの識別された段階と関連付けるステップと、
    それぞれの識別された段階の少なくとも開始を決定するステップと、
    時間マーカをそれぞれの識別された段階の前記開始と関連付けるステップと、
    前記ヘルスケア提供者にデータを送信するステップであって、前記送信されたデータが
    、前記患者識別子、前記外科的処置の前記識別された段階の前記名前、及び、前記識別さ
    れた段階の前記時間マーカを含む、ステップと、
    前記送信されたデータを用いて、術後報告を、前記ヘルスケア提供者が前記術後報告に
    おける段階名を変更できるようにする態様で作成するステップと、
    を含むシステム。
  161. 少なくとも１つのプロセッサによって実行されるときに、外科的処置における省かれる
    事象の決定及び通知を可能にする動作を前記少なくとも１つのプロセッサに実行させる命
    令を含む持続性コンピュータ可読媒体であって、前記動作は、
    特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
    前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセス
    するステップと、
    前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科
    的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別す
    るステップと、
    前記逸脱と関連付けられる術中手術事象の名前を決定するステップと、
    前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与える
    ステップと、
    を含む持続性コンピュータ可読媒体。
  162. 前記逸脱の前記表示を識別するステップ及び前記通知を与えるステップは、前記外科的
    処置中にリアルタイムで起こる、請求項１６１に記載の持続性コンピュータ可読媒体。
  163. 前記動作は、
    前記特定の外科的処置において特定の動作がまさに起ころうとしているという表示を受
    けるステップと、
    前記推奨された一連の事象を使用して、前記特定の動作に対する予備的動作を識別する
    ステップと、
    前記アクセスされたフレームの解析に基づいて、前記識別された予備的動作が未だ起こ
    らなかったと決定するステップと、
    前記識別された予備的動作が未だ起こらなかったという決定に応じて、前記逸脱の前記
    表示を識別するステップと、
    を更に含む請求項１６１に記載の持続性コンピュータ可読媒体。
  164. 前記特定の外科的処置が胆嚢切除術である、請求項１６１に記載の持続性コンピュータ
    可読媒体。
  165. 前記推奨された一連の事象は、安全性の危機的観点に基づく、請求項１６１に記載の持
    続性コンピュータ可読媒体。
  166. 前記特定の外科的処置が虫垂切除である、請求項１６１に記載の持続性コンピュータ可
    読媒体。
  167. 前記特定の外科的処置がヘルニア修復である、請求項１６１に記載の持続性コンピュー
    タ可読媒体。
  168. 前記特定の外科的処置が子宮摘出である、請求項１６１に記載の持続性コンピュータ可
    読媒体。
  169. 前記特定の外科的処置が根治的前立腺摘除術である、請求項１６１に記載の持続性コン
    ピュータ可読媒体。
  170. 前記特定の外科的処置が部分的腎摘出術であり、前記逸脱は、腎門を識別することを無
    視することを含む、請求項１６１に記載の持続性コンピュータ可読媒体。
  171. 前記特定の外科的処置が甲状腺摘出術であり、前記逸脱は、再発性喉頭神経を識別する
    ことを無視することを含む、請求項１６１に記載の持続性コンピュータ可読媒体。
  172. 前記動作は、前記逸脱と関連付けられるフレームのセットを識別するステップを更に含
    み、前記通知を与えるステップは、前記逸脱と関連付けられる前記識別されたフレームの
    セットを表示するステップを含む、請求項１６１に記載の持続性コンピュータ可読媒体。
  173. 前記特定の動作がまさに起ころうとしているという前記表示は、前記特定の外科的処置
    を行う外科医からの入力に基づく、請求項１６１に記載の持続性コンピュータ可読媒体。
  174. 前記特定の動作がまさに起ころとしているという前記表示は、選択された関心領域への
    特定の医療機器の進入である、請求項１６３に記載の持続性コンピュータ可読媒体。
  175. 前記逸脱を識別するステップは、手術器具が特定の解剖学的領域内にあると決定するス
    テップを含む、請求項１６１に記載の持続性コンピュータ可読媒体。
  176. 前記特定の外科的処置が結腸半切除術である、請求項１６１に記載の持続性コンピュー
    タ可読媒体。
  177. 前記逸脱は、吻合を行うことを無視することを含む、請求項１７６に記載の持続性コン
    ピュータ可読媒体。
  178. 前記逸脱の表示を識別するステップは、術中外科的処置と関連付けられる経過時間に基
    づく、請求項１６１に記載の持続性コンピュータ可読媒体。
  179. 外科的処置における省かれる事象の決定及び通知を可能にするためのコンピュータ実装
    方法であって、
    特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
    前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセス
    するステップと、
    前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科
    的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別す
    るステップと、
    前記逸脱と関連付けられる術中手術事象の名前を決定するステップと、
    前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与える
    ステップと、
    を含むコンピュータ実装方法。
  180. 外科的処置における省かれる事象の決定及び通知を可能にするためのシステムであって
    、
    特定の外科的処置中に捕捉されるビデオのフレームにアクセスし、
    前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセス
    し、
    前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科
    的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別し
    、
    前記逸脱と関連付けられる術中手術事象の名前を決定し、
    前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与える
    、
    ように構成される少なくとも１つのプロセッサを備えるシステム。
  181. 少なくとも１つのプロセッサによって実行されるときに、外科的処置に関して決定支援
    を行う動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュー
    タ可読媒体であって、前記動作は、
    手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステッ
    プと、
    外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセス
    するステップと、
    前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジ
    ャンクションの存在を決定するステップと、
    前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じ
    られる特定の動作との間の相関関係にアクセスするステップと、
    前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに
    基づいて、前記特定の動作を行うようにユーザに推奨を出力するステップと、
    を含む持続性コンピュータ可読媒体。
  182. 前記命令は、前記外科的処置中に前記少なくとも１つのプロセッサに前記動作をリアル
    タイムに実行させるように設定され、前記ユーザが前記外科医である、請求項１８１に記
    載の持続性コンピュータ可読媒体。
  183. 前記意思決定ジャンクションは、共通の手術状況に続いて異なる動作経過が起こった複
    数の異なる履歴的な処置の解析によって決定される、請求項１８１に記載の持続性コンピ
    ュータ可読媒体。
  184. 前記ビデオ映像は、内視鏡及び体内カメラのうちの少なくとも一方からの画像を含む、
    請求項１８１に記載の持続性コンピュータ可読媒体。
  185. 前記推奨は、医療検査を行うべき推奨を含む、請求項１８１に記載の持続性コンピュー
    タ可読媒体。
  186. 前記動作は、
    前記医療検査の結果を受けるステップと、
    前記意思決定ジャンクションの前記決定された存在、前記アクセスされた相関関係、及
    び、前記医療検査の前記受けられた結果に基づいて、特定の動作を行うための第２の推奨
    を前記ユーザに出力するステップと、
    を更に含む、請求項１８５に記載の持続性コンピュータ可読媒体。
  187. 前記特定の動作は、更なる外科医を前記手術室へと至らせることを含む、請求項１８１
    に記載の持続性コンピュータ可読媒体。
  188. 前記意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の退縮、解
    剖学的構造の誤った解釈、又は、流体漏れのうちの少なくとも１つを含む、請求項１８１
    に記載の持続性コンピュータ可読媒体。
  189. 前記推奨は、前記特定の動作が講じられる場合に所望の手術転帰が起こるという信頼度
    レベルを含む、請求項１８１に記載の持続性コンピュータ可読媒体。
  190. 前記推奨は、前記特定の動作が講じられない場合に所望の転帰が起こらないという信頼
    度レベルを含む、請求項１８１に記載の持続性コンピュータ可読媒体。
  191. 前記推奨は、前記外科的処置における特定のポイントからの経過時間に基づく、請求項
    １８１に記載の持続性コンピュータ可読媒体。
  192. 前記推奨は、前記特定の動作が行われない場合に起こる可能性が高い望ましくない手術
    転帰の表示を含む、請求項１８１に記載の持続性コンピュータ可読媒体。
  193. 前記推奨は、前記外科医のスキルレベルに基づく、請求項１８１に記載の持続性コンピ
    ュータ可読媒体。
  194. 前記推奨は、前記意思決定ジャンクションの前に前記外科的処置で起こった手術事象に
    基づく、請求項１８１に記載の持続性コンピュータ可読媒体。
  195. 前記特定の動作が複数のステップを含む、請求項１８１に記載の持続性コンピュータ可
    読媒体。
  196. 前記外科的意思決定ジャンクションの前記存在の前記決定は、解剖学的構造の検出され
    た生理的応答及び手術器具と関連する動きのうちの少なくとも一方に基づく、請求項１８
    １に記載の持続性コンピュータ可読媒体。
  197. 前記動作は、前記患者のバイタルサインを受信するステップを更に含み、前記推奨は、
    前記アクセスされた相関関係及び前記バイタルサインに基づく、請求項１８１に記載の持
    続性コンピュータ可読媒体。
  198. 前記外科医が手術用ロボットであり、前記推奨は、前記手術用ロボットへの命令の形態
    で与えられる、請求項１８１に記載の持続性コンピュータ可読媒体。
  199. 前記推奨は、前記患者の組織の状態に基づく、請求項１８１に記載の持続性コンピュー
    タ可読媒体。
  200. 前記特定の動作の前記推奨は、瘻孔の形成を含む、請求項１８１に記載の持続性コンピ
    ュータ可読媒体。
  201. 外科的処置に関して決定支援を行うためのコンピュータ実装方法であって、
    手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステッ
    プと、
    外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセス
    するステップと、
    前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジ
    ャンクションの存在を決定するステップと、
    前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じ
    られる特定の動作との間の相関関係にアクセスするステップと、
    前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに
    基づいて、前記特定の動作を行うように又は前記特定の動作を回避するように前記外科医
    に推奨を出力するステップと、
    を含むコンピュータ実装方法。
  202. 外科的処置に関して決定支援を行うためのシステムであって、
    手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受け、
    外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセス
    し、
    前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジ
    ャンクションの存在を決定し、
    前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じ
    られる特定の動作との間の相関関係にアクセスし、
    前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに
    基づいて、前記特定の動作を行うように又は前記特定の動作を回避するように前記外科医
    に推奨を出力する、
    ように構成される少なくとも１つのプロセッサを含むシステム。
  203. 少なくとも１つのプロセッサによって実行されるときに、外科的処置中に解剖学的構造
    に作用する接触力を推定できるようにする動作を前記少なくとも１つのプロセッサに実行
    させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
    手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステ
    ップと、
    前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、
    前記画像データで反映された前記解剖学的構造の状態を決定するステップと、
    前記解剖学的構造と関連付けられる接触力閾値を選択するステップであって、前記選択
    された接触力閾値が前記解剖学的構造の決定された状態に基づく、ステップと、
    前記解剖学的構造に作用する実際の接触力の表示を受けるステップと、
    実際の接触力の前記表示と前記選択された接触力閾値とを比較するステップと、
    実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通
    知を出力するステップと、
    を含む持続性コンピュータ可読媒体。
  204. 前記接触力閾値が引張レベルと関連付けられる、請求項２０３に記載の持続性コンピュ
    ータ可読媒体。
  205. 前記接触力閾値が圧縮レベルと関連付けられる、請求項２０３に記載の持続性コンピュ
    ータ可読媒体。
  206. 前記実際の接触力は、医療機器と前記解剖学的構造との間の接触と関連付けられる、請
    求項２０３に記載の持続性コンピュータ可読媒体。
  207. 実際の接触力の前記表示は、前記画像データの画像解析に基づいて推定される、請求項
    ２０３に記載の持続性コンピュータ可読媒体。
  208. 前記通知を出力するステップは、前記外科的処置を行う外科医にリアルタイム警告を与
    えるステップを含む、請求項２０３に記載の持続性コンピュータ可読媒体。
  209. 前記通知は、手術用ロボットに対する命令である、請求項２０３に記載の持続性コンピ
    ュータ可読媒体。
  210. 前記動作は、前記画像データから、前記外科的処置が戦闘モードにあると決定するステ
    ップを更に含み、前記通知が前記戦闘モード中に保留される、請求項２０３に記載の持続
    性コンピュータ可読媒体。
  211. 前記動作は、前記画像データから、前記外科医が接触力通知を無視するモードで手術し
    ていると決定するステップと、前記外科医が接触力通知を無視する前記モードで手術して
    いるという決定に基づいて、少なくとも一時的に更なる接触力通知を保留するステップと
    を更に含む、請求項２０３に記載の持続性コンピュータ可読媒体。
  212. 前記接触力閾値を選択するステップは、前記解剖学的構造と医療機器との間の接触の位
    置に基づく、請求項２０３に記載の持続性コンピュータ可読媒体。
  213. 前記接触力閾値を選択するステップは、前記解剖学的構造と医療機器との間の接触角に
    基づく、請求項２０３に記載の持続性コンピュータ可読媒体。
  214. 前記接触力閾値を選択するステップは、解剖学的構造の状態を入力として回帰モデルに
    与えるステップと、前記回帰モデルの出力に基づいて前記接触力閾値を選択するステップ
    とを含む、請求項２０３に記載の持続性コンピュータ可読媒体。
  215. 前記接触力閾値を選択するステップは、対応する接触力閾値を含む解剖学的構造のテー
    ブルに基づく、請求項２０３に記載の持続性コンピュータ可読媒体。
  216. 前記接触力閾値を選択するステップは、外科医によって実行される動作に基づく、請求
    項２０３に記載の持続性コンピュータ可読媒体。
  217. 実際の接触力の前記表示が手術器具から受けられる、請求項２０３に記載の持続性コン
    ピュータ可読媒体。
  218. 実際の接触力の前記表示が手術用ロボットから受けられる、請求項２０３に記載の持続
    性コンピュータ可読媒体。
  219. 前記動作は、トレーニング例を使用してトレーニングされた機械学習モデルを用いて、
    前記画像データ内の前記解剖学的構造の状態を決定するステップを更に含む、請求項２０
    ３に記載の持続性コンピュータ可読媒体。
  220. 前記動作は、トレーニング例を使用してトレーニングされた機械学習モデルを用いて前
    記接触力閾値を選択するステップを更に含む、請求項２０３に記載の持続性コンピュータ
    可読媒体。
  221. 外科的処置中に解剖学的構造に作用する接触力を推定するためのコンピュータ実装方法
    であって、
    手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステ
    ップと、
    前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、
    前記画像データで反映された前記解剖学的構造の状態を決定するステップと、
    前記解剖学的構造と関連付けられる接触力閾値を選択するステップであって、前記選択
    された接触力閾値が前記解剖学的構造の決定された状態に基づく、ステップと、
    前記解剖学的構造に作用する実際の接触力の表示を受けるステップと、
    実際の接触力の前記表示と前記選択された接触力閾値とを比較するステップと、
    実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通
    知を出力するステップと、
    を含むコンピュータ実装方法。
  222. 外科的処置中に解剖学的構造に作用する接触力を推定するためのシステムであって、
    手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信し、
    前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、
    前記画像データで反映された前記解剖学的構造の状態を決定し、
    前記解剖学的構造と関連付けられる接触力閾値を選択し、前記選択された接触力閾値が
    前記解剖学的構造の前記決定された状態に基づき、
    前記解剖学的構造に作用する実際の接触力の表示を受け、
    実際の接触力の前記表示と前記選択された接触力閾値とを比較し、
    実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通
    知を出力する、
    ように構成される少なくとも１つのプロセッサを含むシステム。
  223. 少なくとも１つのプロセッサによって実行されるときに、外科的処置中に予測転帰を更
    新できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続
    性コンピュータ可読媒体であって、前記動作は、
    外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記
    外科的処置中に第１の事象と関連付けられる画像データを受信するステップと、
    前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処
    置と関連付けられる予測転帰を決定するステップと、
    前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、
    前記外科的処置中に第２の事象と関連付けられる画像データを受信するステップと、
    前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰
    の変化を決定し、それにより、前記予測転帰を閾値未満に低下させるステップと、
    以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップと、
    前記アクセスされた画像関連データに基づいて、推奨される是正措置を識別するステッ
    プと、
    前記推奨される是正措置を出力するステップと、
    を含む持続性コンピュータ可読媒体。
  224. 前記推奨される是正措置は、外科医が前記外科的処置をやめて休憩するための推奨を含
    む、請求項２２３に記載の持続性コンピュータ可読媒体。
  225. 前記推奨される是正措置は、他の外科医からの支援を要求する推奨を含む、請求項２２
    ３に記載の持続性コンピュータ可読媒体。
  226. 前記推奨される是正措置は、前記外科的処置に対する修正を含む、請求項２２３に記載
    の持続性コンピュータ可読媒体。
  227. 前記予測転帰が入院の可能性を含む、請求項２２３に記載の持続性コンピュータ可読媒
    体。
  228. 前記予測転帰の前記変化を決定するステップが出血の大きさに基づく、請求項２２３に
    記載の持続性コンピュータ可読媒体。
  229. 前記是正措置を識別するステップは、前記是正措置が前記予測転帰を閾値を超えて上昇
    させる可能性が高いという表示に基づく、請求項２２３に記載の持続性コンピュータ可読
    媒体。
  230. 前記是正措置を識別するステップは、前記是正措置及び手術転帰の履歴例を使用して是
    正措置を識別するようにトレーニングされた機械学習モデルを使用するステップを含む、
    請求項２２３に記載の持続性コンピュータ可読媒体。
  231. 前記予測転帰を決定するステップは、履歴的な手術ビデオと前記履歴的な手術ビデオに
    対応する手術転帰を示す情報と基づいて予測転帰を決定するようにトレーニングされた機
    械学習モデルを使用するステップを含む、請求項２２３に記載の持続性コンピュータ可読
    媒体。
  232. 前記予測転帰を決定するステップは、手術器具と解剖学的構造との間の相互作用を識別
    するステップと、前記識別された相互作用に基づいて前記予測転帰を決定するステップと
    を含む、請求項２２３に記載の持続性コンピュータ可読媒体。
  233. 前記予測転帰を決定するステップは、前記画像データで描写される外科医のスキルレベ
    ルに基づく、請求項２２３に記載の持続性コンピュータ可読媒体。
  234. 前記動作は、前記画像データで描写される外科医のスキルレベルを決定するステップを
    更に含み、前記予測転帰の前記変化を決定するステップが前記スキルレベルに基づく、請
    求項２２３に記載の持続性コンピュータ可読媒体。
  235. 前記動作は、前記予測転帰が閾値を下回ることに応じて、前記外科的処置に関連する手
    術室と関連付けられるスケジュール記録を更新するステップを更に含む、請求項２２３に
    記載の持続性コンピュータ可読媒体。
  236. 前記予測転帰の前記変化を決定するステップは、前記外科的処置における特定のポイン
    トと前記第２の事象との間の経過時間に基づく、請求項２２３に記載の持続性コンピュー
    タ可読媒体。
  237. 前記予測転帰を決定するステップは、前記画像データで描写される解剖学的構造の状態
    に基づく、請求項２２３に記載の持続性コンピュータ可読媒体。
  238. 前記動作は、前記解剖学的構造の状態を決定するステップを更に含む、請求項２３７に
    記載の持続性コンピュータ可読媒体。
  239. 前記予測転帰の前記変化を決定するステップは、前記解剖学的構造の少なくとも一部の
    色の変化に基づく、請求項２２３に記載の持続性コンピュータ可読媒体。
  240. 前記予測転帰の前記変化を決定するステップは、前記解剖学的構造の少なくとも一部の
    外観の変化に基づく、請求項２２３に記載の持続性コンピュータ可読媒体。
  241. 外科的処置中に予測転帰を更新するためのコンピュータ実装方法であって、
    外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記
    外科的処置中に第１の事象と関連付けられる画像データを受信するステップと、
    前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処
    置と関連付けられる予測転帰を決定するステップと、
    前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、
    前記外科的処置中に第２の事象と関連付けられる画像データを受信するステップと、
    前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰
    の変化を決定し、それにより、前記予測転帰を閾値未満に低下させるステップと、
    以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップと、
    前記データ構造に基づいて、推奨される是正措置を識別するステップと、
    前記推奨される是正措置を出力するステップと、
    を含むコンピュータ実装方法。
  242. 外科的処置中に予測転帰を更新するためのシステムであって、
    外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記
    外科的処置中に第１の事象と関連付けられる画像データを受信し、
    前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処
    置と関連付けられる予測転帰を決定し、
    前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、
    前記外科的処置中に第２の事象と関連付けられる画像データを受信し、
    前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰
    の変化を決定し、それにより、前記予測転帰を閾値未満に低下させ、
    以前の外科的処置に基づいて画像関連データのデータ構造にアクセスし、
    前記データ構造に基づいて、推奨される是正措置を識別し、
    前記推奨される是正措置を出力する、
    ように構成される少なくとも１つのプロセッサを含むシステム。
  243. 手術中の流体漏れを解析するためのコンピュータ実装方法であって、
    外科的処置の腔内ビデオをリアルタイムで受けるステップと、
    前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定
    するステップと、
    前記異常な流体漏れ状況が決定されるときに是正措置を策定するステップと、
    を含むコンピュータ実装方法。
  244. 前記流体が、血液、胆汁又は尿のうちの少なくとも１つを含む、請求項２４３に記載の
    方法。
  245. 解析するステップは、前記腔内ビデオの前記フレームを解析して、血液飛散と、前記血
    液飛散の少なくとも１つの特性とを識別するステップを含み、前記是正措置の選択は、前
    記識別された血液飛散の前記少なくとも１つの特性に依存する、請求項２４３に記載の方
    法。
  246. 前記少なくとも１つの特性は、血液飛散源と関連付けられる、請求項２４５に記載の方
    法。
  247. 前記少なくとも１つの特性は、血液飛散の強さと関連付けられる、請求項２４５に記載
    の方法。
  248. 前記少なくとも１つの特性は、血液飛散の量と関連付けられる、請求項２４５に記載の
    方法。
  249. 前記腔内ビデオの前記フレームを解析するステップは、前記異常な流体漏れ状況の特性
    を決定するステップを含み、前記是正措置の選択は、前記決定された特性に依存する、請
    求項２４３に記載の方法。
  250. 前記特性が前記流体漏れの量と関連付けられる、請求項２４９に記載の方法。
  251. 前記特性が前記流体漏れの色と関連付けられる、請求項２４９に記載の方法。
  252. 前記特性は、前記流体漏れに関連する流体のタイプと関連付けられる、請求項２４９に
    記載の方法。
  253. 前記特性が流体漏れ速度と関連付けられる、請求項２４９に記載の方法。
  254. 前記方法は、前記腔内ビデオを記憶するステップと、前記異常な漏れ状況を決定する際
    に、前記記憶された腔内ビデオの以前のフレームを解析して、漏れ源を決定するステップ
    とを更に含む、請求項２４３に記載の方法。
  255. 前記是正措置を策定するステップは、漏れ源の通知を与えるステップを含む、請求項２
    ４３に記載の方法。
  256. 前記漏れ源を決定するステップは、破裂した解剖学的器官を識別するステップを含む、
    請求項２５５に記載の方法。
  257. 前記方法は、前記流体漏れ状況と関連付けられる流量を決定するステップを更に含み、
    前記是正措置を策定するステップが前記流量に基づく、請求項２４３に記載の方法。
  258. 前記方法は、前記流体漏れ状況と関連付けられる流体損失の量を決定するステップを更
    に含み、前記是正措置を策定するステップが流体損失の前記量に基づく、請求項２４３に
    記載の方法。
  259. 腔内ビデオのフレームを解析して腔内ビデオ内の異常な流体漏れ状況を決定するステッ
    プは、決定された流体漏れ状況が異常な流体漏れ状況であるかどうかを決定するステップ
    を含み、前記方法は、
    前記決定された流体漏れ状況が異常な流体漏れ状況であるという決定に応じて、前記是
    正措置を策定するステップと、
    前記決定された流体漏れ状況が正常な流体漏れ状況であるという決定に応じて、前記是
    正措置の策定をしないで済ませるステップと、
    を更に含む請求項２４３に記載の方法。
  260. 前記腔内ビデオが前記外科的処置を実行する手術用ロボットを描写し、前記是正措置が
    前記ロボットに命令を送信することを含む、請求項２４３に記載の方法。
  261. 流体漏れを解析するための手術システムであって、
    外科的処置の腔内ビデオをリアルタイムで受け、
    前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定
    し、
    前記異常な流体漏れ状況が決定されるときに是正措置を策定する、
    ように構成される少なくとも１つのプロセッサを含む手術システム。
  262. 少なくとも１つのプロセッサによって実行されるときに、流体漏れ検出を可能にする動
    作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒
    体であって、前記動作は、
    外科的処置の腔内ビデオをリアルタイムで受けるステップと、
    前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定
    するステップと、
    前記異常な流体漏れ状況が決定されるときに是正措置を策定するステップと、
    を含む持続性コンピュータ可読媒体。
  263. 退院後リスクを予測するためのコンピュータ実装方法であって、
    患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステッ
    プと、
    術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと
    、
    前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報
    に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識
    別するステップと、
    前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基
    づいて、前記特定の外科的処置と関連付けられる予測転帰を決定するステップと、
    前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力するステップと、
    を含むコンピュータ実装方法。
  264. 前記少なくとも１つの特定の術中事象を識別するステップは、前記アクセスされたフレ
    ーム内の検出された手術器具、前記アクセスされたフレーム内の検出された解剖学的構造
    、手術器具と解剖学的構造との間の前記アクセスされたフレーム内の相互作用、又は、前
    記アクセスされたフレーム内の検出された異常な流体漏れ状況のうちの少なくとも１つに
    基づく、請求項２６３に記載の方法。
  265. 前記アクセスされたフレームにおいて前記少なくとも１つの特定の術中事象を識別する
    ために機械学習モデルが使用され、前記機械学習モデルがトレーニングデータ例を使用し
    てトレーニングされる、請求項２６３に記載の方法。
  266. 前記予測転帰を決定するステップは、前記患者の特性、電子医療記録、又は、術後手術
    報告のうちの少なくとも１つに基づく、請求項２６３に記載の方法。
  267. 機械学習モデルが、術中事象に基づいて前記特定の外科的処置と関連付けられる前記予
    測転帰を決定するために使用され、前記機械学習モデルがトレーニング例を使用してトレ
    ーニングされる、請求項２６３に記載の方法。
  268. 予測転帰を決定するステップは、前記トレーニングされた機械学習モデルを使用して、
    前記識別された術中事象と患者の識別された特性とに基づいて前記手術転帰を予測するス
    テップを含む、請求項２６７に記載の方法。
  269. 前記方法は、前記外科的処置に続く実現された手術転帰を識別する情報を受信するステ
    ップと、前記受信された情報を使用して前記機械学習モデルをトレーニングすることによ
    って前記機械学習モデルを更新するステップとを更に含む、請求項２６７に記載の方法。
  270. 前記方法は、前記患者の特性を識別するステップを更に含み、前記予測転帰は、前記識
    別された患者特性に基づいても決定される、請求項２６３に記載の方法。
  271. 前記患者特性が電子医療記録から導き出される、請求項２７０に記載の方法。
  272. 前記患者特性を識別するステップは、機械学習モデルを使用して前記アクセスされたフ
    レームを解析するステップを含み、前記機械学習モデルは、履歴的な外科的処置のトレー
    ニング例と対応する履歴的な患者特性とを使用して患者特性を識別するようにトレーニン
    グされる、請求項２７０に記載の方法。
  273. 前記予測転帰は、退院後の事故、退院後の有害事象、退院後の合併症、又は、再入院の
    リスクの推定のうちの少なくとも１つを含む、請求項２６３に記載の方法。
  274. 推奨される一連の手術事象を含むデータ構造にアクセスするステップを更に含み、前記
    少なくとも１つの特定の術中事象を識別するステップは、前記データ構造において識別さ
    れた前記外科的処置に関して推奨された一連の事象と、前記アクセスされたフレームにお
    いて検出された実際の一連の事象との間の逸脱の識別に基づく、請求項２６３に記載の方
    法。
  275. 前記逸脱の前記識別は、前記アクセスされたフレーム内の検出された手術器具、前記ア
    クセスされたフレーム内の検出された解剖学的構造、又は、手術器具と解剖学的構造との
    間の前記アクセスされたフレーム内の相互作用のうちの少なくとも１つに基づく、請求項
    ２７４に記載の方法。
  276. 前記逸脱の前記識別は、履歴的な手術ビデオ映像、履歴的な推奨された一連の事象、及
    び、前記履歴的なビデオ映像内の前記履歴的な推奨された一連の事象からの逸脱を識別す
    る情報に基づいて、推奨された一連の事象からの逸脱を識別するようにトレーニングされ
    た機械学習モデルを使用することを含む、請求項２７４に記載の方法。
  277. 前記逸脱を識別するステップは、前記アクセスされたフレームと、前記推奨される一連
    の事象を描写する基準フレームとを比較するステップを含む、請求項２７４に記載の方法
    。
  278. 前記予測転帰を出力するステップは、前記患者と関連付けられる電子医療記録を更新す
    るステップを含む、請求項２６３に記載の方法。
  279. 前記予測転帰を出力するステップは、前記予測転帰をヘルスケア提供者と関連付けられ
    るデータ受信デバイスに送信するステップを含む、請求項２６３に記載の方法。
  280. 前記方法は、前記アクセスされたフレームに基づいて前記予測転帰を改善する可能性が
    高い少なくとも１つの動作を決定するステップと、前記決定された少なくとも１つの動作
    に基づいて推奨を与えるステップとを更に含む、請求項２６３に記載の方法。
  281. 退院後リスクを予測するためのシステムであって、
    患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスし、
    術中事象及び関連する転帰を識別する記憶された履歴データにアクセスし、
    前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報
    に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識
    別し、
    前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基
    づいて、前記特定の外科的処置と関連付けられる予測転帰を決定し、
    前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力する、
    ように構成される少なくとも１つのプロセッサを備えるシステム。
  282. 少なくとも１つのプロセッサによって実行されるときに、退院後リスクの予測を可能に
    する動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ
    可読媒体であって、前記動作は
    患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステッ
    プと、
    術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと
    、
    前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報
    に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識
    別するステップと、
    前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基
    づいて、前記特定の外科的処置と関連付けられる予測転帰を決定するステップと、
    前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力するステップと、
    を含む持続性コンピュータ可読媒体。
JP2024021319A 2019-02-21 2024-02-15 手術ビデオの解析のためのシステム及び方法 Pending JP2024054349A (ja)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201962808500P 2019-02-21 2019-02-21
US201962808512P 2019-02-21 2019-02-21
US62/808,500 2019-02-21
US62/808,512 2019-02-21
US201962838066P 2019-04-24 2019-04-24
US62/838,066 2019-04-24
US202062960466P 2020-01-13 2020-01-13
US62/960,466 2020-01-13
US202062967283P 2020-01-29 2020-01-29
US62/967,283 2020-01-29
JP2021537121A JP2022520701A (ja) 2019-02-21 2020-02-20 手術ビデオの解析のためのシステム及び方法
PCT/US2020/019050 WO2020172414A1 (en) 2019-02-21 2020-02-20 Systems and methods for analysis of surgical videos

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021537121A Division JP2022520701A (ja) 2019-02-21 2020-02-20 手術ビデオの解析のためのシステム及び方法

Publications (1)

Publication Number Publication Date
JP2024054349A true JP2024054349A (ja) 2024-04-16

Family

ID=69811980

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021537121A Pending JP2022520701A (ja) 2019-02-21 2020-02-20 手術ビデオの解析のためのシステム及び方法
JP2024021319A Pending JP2024054349A (ja) 2019-02-21 2024-02-15 手術ビデオの解析のためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021537121A Pending JP2022520701A (ja) 2019-02-21 2020-02-20 手術ビデオの解析のためのシステム及び方法

Country Status (10)

Country Link
US (8) US10729502B1 (ja)
EP (2) EP4235691A3 (ja)
JP (2) JP2022520701A (ja)
KR (2) KR20230126744A (ja)
CN (1) CN113748468B (ja)
AU (1) AU2020224128B2 (ja)
BR (1) BR112021016621A2 (ja)
CA (1) CA3126444A1 (ja)
IL (5) IL283767B (ja)
WO (1) WO2020172414A1 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471899B2 (en) * 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
EP3440660A1 (en) * 2016-04-06 2019-02-13 Koninklijke Philips N.V. Method, device and system for enabling to analyze a property of a vital sign detector
US11080858B2 (en) * 2016-12-12 2021-08-03 Koninklijke Philips N.V. Method and apparatus for segmenting two dimensional images of an anatomical structure
CN111226288B (zh) 2017-10-17 2022-03-29 威里利生命科学有限责任公司 用于对外科手术视频分段的系统和方法
AU2018350362B9 (en) 2017-10-22 2024-01-25 Todd Martin System and method for image recognition registration of an athlete in a sporting event
US11259871B2 (en) 2018-04-26 2022-03-01 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
US11026585B2 (en) * 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11896279B2 (en) 2018-09-07 2024-02-13 Cilag Gmbh International Surgical modular energy system with footer module
WO2020172076A1 (en) * 2019-02-20 2020-08-27 OperVu, Inc. System and method to detect and track surgical instruments and/or surgical material
US20220157459A1 (en) * 2019-03-01 2022-05-19 The Johns Hopkins University Data analytics for predictive modeling of surgical outcomes
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11348235B2 (en) * 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
US11935636B2 (en) * 2019-04-26 2024-03-19 Merative Us L.P. Dynamic medical summary
US11756681B2 (en) 2019-05-07 2023-09-12 Medtronic, Inc. Evaluation of post implantation patient status and medical device performance
US11701771B2 (en) * 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US10595736B1 (en) 2019-06-10 2020-03-24 Vektor Medical, Inc. Heart graphic display system
US10709347B1 (en) 2019-06-10 2020-07-14 Vektor Medical, Inc. Heart graphic display system
US11660057B2 (en) * 2019-07-10 2023-05-30 Stryker Corporation Systems and methods for persistent ureter visualization
KR20190098936A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 쿠킹 로봇 시스템 및 그 제어 방법
US11842025B2 (en) * 2019-08-06 2023-12-12 Sony Group Corporation Information processing device and information processing method
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11367179B2 (en) * 2019-09-30 2022-06-21 GE Precision Healthcare LLC Determining degree of motion using machine learning to improve medical image quality
US20220383215A1 (en) * 2019-11-01 2022-12-01 Nippon Telegraph And Telephone Corporation Management device, management method, and management program
CN111298305A (zh) * 2020-02-18 2020-06-19 上海联影医疗科技有限公司 一种数据同步方法和系统
CN115136253A (zh) * 2020-02-20 2022-09-30 史密夫和内修有限公司 用于关节镜视频分析的方法及用于其的装置
US11475063B2 (en) * 2020-02-24 2022-10-18 Motorola Solutions, Inc. Device, system and method for providing indications of a discrepancy between a video and a textual description of an incident
US20210287785A1 (en) * 2020-03-16 2021-09-16 Vanderbilt University Automatic Sensing for Clinical Decision Support
TW202137078A (zh) * 2020-03-24 2021-10-01 廣達電腦股份有限公司 資料處理系統及資料處理方法
US11295602B2 (en) * 2020-03-27 2022-04-05 Wipro Limited System and method for providing enhanced security of physical assets within a physical infrastructure
US11224485B2 (en) 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US20210344880A1 (en) * 2020-04-30 2021-11-04 Medtronic, Inc. Post operative implantation site monitoring
US20210370503A1 (en) * 2020-05-29 2021-12-02 Wipro Limited Method and system for providing dynamic cross-domain learning
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US20220005199A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Image segmentation with kinematic data in a robotic surgical system
US11153657B1 (en) * 2020-07-15 2021-10-19 Gopro, Inc. Interface for editing multiple video clips
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
US11730491B2 (en) 2020-08-10 2023-08-22 Kunnskap Medical, LLC Endoscopic image analysis and control component of an endoscopic system
US20220101999A1 (en) * 2020-08-13 2022-03-31 P Tech, Llc Video Documentation System and Medical Treatments Used with or Independent Thereof
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US11818373B1 (en) * 2020-09-08 2023-11-14 Block, Inc. Machine-learning based data compression for streaming media
DE102020212000A1 (de) * 2020-09-24 2022-03-24 Siemens Healthcare Gmbh Vorrichtung zum Positionieren eines medizinischen Objekts und Verfahren zum Bereitstellen einer Korrekturvorgabe
US11568318B2 (en) * 2020-10-07 2023-01-31 Panasonic Intellectual Property Management Co., Ltd. Method for developing machine-learning based tool
WO2022092334A1 (ko) * 2020-10-27 2022-05-05 경상대학교병원 위암에 대한 위 절제술 중 조기 문합 합병증을 예방하기 위한 수술 중 내시경 검사의 안전성 및 효능
US20230419503A1 (en) * 2020-11-19 2023-12-28 Surgical Safety Technologies Inc. System and method for operating room human traffic monitoring
EP4248419A1 (en) * 2020-11-20 2023-09-27 Intuitive Surgical Operations, Inc. Systems and methods for surgical operation recognition
WO2022106991A1 (en) * 2020-11-20 2022-05-27 Auris Health, Inc. Automated procedure evaluation
US20220239577A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Ad hoc synchronization of data from multiple link coordinated sensing systems
US11694533B2 (en) 2021-01-22 2023-07-04 Cilag Gmbh International Predictive based system adjustments based on biomarker trending
US11682487B2 (en) * 2021-01-22 2023-06-20 Cilag Gmbh International Active recognition and pairing sensing systems
US20220296301A1 (en) * 2021-03-22 2022-09-22 Biosense Webster (Israel) Ltd. Visualizing multiple parameters overlaid on an anatomical map
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
JP2024514884A (ja) 2021-04-14 2024-04-03 シラグ・ゲーエムベーハー・インターナショナル 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性
EP4341889A1 (en) * 2021-05-17 2024-03-27 Stryker Corporation Medical imaging
JP2022179219A (ja) * 2021-05-21 2022-12-02 富士フイルム株式会社 医療画像処理システムおよびその作動方法
US20220375501A1 (en) * 2021-05-24 2022-11-24 Getac Technology Corporation Automated classification and indexing of events using machine learning
EP4104744A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
CN117836870A (zh) * 2021-07-04 2024-04-05 Ai瓦力股份有限公司 用于实时处理医学图像的系统和方法
KR102640314B1 (ko) * 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
CN117693318A (zh) * 2021-07-19 2024-03-12 奥瑞斯健康公司 经皮医疗规程的阶段分割
DE102021120300A1 (de) 2021-08-04 2023-02-09 Carl Zeiss Meditec Ag Fusion von räumlichem und zeitlichem kontext für eine lokalisierung für visualisierungssysteme
US20230038493A1 (en) * 2021-08-09 2023-02-09 Vektor Medical, Inc. Tissue state graphic display system
CN113553460B (zh) * 2021-08-13 2022-06-28 北京安德医智科技有限公司 影像检索方法及装置、电子设备和存储介质
WO2023023509A1 (en) * 2021-08-17 2023-02-23 Theator inc. Automated analysis of video data during surgical procedures using artificial intelligence
WO2023022258A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
CN113492410B (zh) * 2021-09-09 2022-03-18 成都博恩思医学机器人有限公司 显示机器人操作过程的方法、系统、机械设备及存储介质
CN113821681B (zh) * 2021-09-17 2023-09-26 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
CN113742527A (zh) * 2021-11-08 2021-12-03 成都与睿创新科技有限公司 一种基于人工智能检索和提取手术视频片段的方法及系统
CN114121208A (zh) * 2021-11-22 2022-03-01 华平祥晟(上海)医疗科技有限公司 一种基于可视化资料的手术记录质量控制方法
CN113822894B (zh) * 2021-11-25 2022-02-08 武汉大学 十二指肠胰头图像识别方法和十二指肠胰头图像识别装置
CN113888541B (zh) * 2021-12-07 2022-03-25 南方医科大学南方医院 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
WO2023111844A1 (en) * 2021-12-13 2023-06-22 Rapid Medical Ltd. Analyzing actions, automatic correction of actions, and decision support and automation during endovascular procedures
KR102642303B1 (ko) * 2021-12-27 2024-02-29 (주)헬스허브 인공지능 상황인지 녹화 시스템 및 그 방법
US20230200723A1 (en) * 2021-12-27 2023-06-29 Matrixcare, Inc. Wound management system for predicting and treating wounds
US11457983B1 (en) * 2022-01-04 2022-10-04 Ix Innovation Llc Methods and systems for using voice input to control a surgical robot
US11699519B1 (en) * 2022-01-04 2023-07-11 Ix Innovation Llc System for maintaining and controlling surgical tools
CN114366085A (zh) * 2022-01-12 2022-04-19 武汉泰乐奇信息科技有限公司 基于双重感应骨骼模型的医学动作分析方法和装置
CN114267440B (zh) * 2022-03-01 2022-06-14 四川大学华西医院 医疗订单信息处理方法、装置和计算机可读存储介质
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room
EP4332984A1 (en) * 2022-08-31 2024-03-06 Koninklijke Philips N.V. Systems and methods for improving communication between local technologists within a radiology operations command center (rocc) framework
WO2024046938A1 (en) * 2022-08-31 2024-03-07 Koninklijke Philips N.V. Improving communication between local technologists
CN116327372A (zh) * 2023-04-10 2023-06-27 极限人工智能有限公司 一种具有触力反馈的手术器械、方法及手术机器人
JP7403895B1 (ja) 2023-05-10 2023-12-25 株式会社クオトミー 施術動画のタグ付け装置
CN116705215B (zh) * 2023-08-04 2023-09-29 南京诺源医疗器械有限公司 一种用于脑室检测的荧光标记系统
CN116884570B (zh) * 2023-09-06 2023-12-12 南京诺源医疗器械有限公司 一种基于图像处理的术中实时仿真疗效评估系统

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5791907A (en) 1996-03-08 1998-08-11 Ramshaw; Bruce J. Interactive medical training system
US20040078236A1 (en) 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
US6481381B2 (en) 2000-03-21 2002-11-19 Cats With An Attitude, Inc. Pet-play apparatus configured for interactive use
US7231135B2 (en) * 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
JP2003263495A (ja) * 2002-03-08 2003-09-19 Hitachi Medical Corp 医療情報管理システム
US7460659B2 (en) 2002-09-27 2008-12-02 Rockwell Electronic Commerce Best practices learning for agents in a communication system
JP3675437B2 (ja) 2002-10-28 2005-07-27 ソニー株式会社 情報記録再生処理装置、および方法、並びにコンピュータ・プログラム
US7082572B2 (en) 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US8055323B2 (en) 2003-08-05 2011-11-08 Imquant, Inc. Stereotactic system and method for defining a tumor treatment region
US8675059B2 (en) 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US8095379B2 (en) 2003-12-30 2012-01-10 Cerner Innovation, Inc. System and method for preemptive determination of the potential for an atypical clinical event related to the administering of medication
WO2005073892A2 (en) 2004-01-16 2005-08-11 Disease Management Services, Plc Disease management system
US20060143060A1 (en) 2004-12-28 2006-06-29 General Electric Company Integrated scheduling system for health care providers
US20060159325A1 (en) 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
US7966269B2 (en) * 2005-10-20 2011-06-21 Bauer James D Intelligent human-machine interface
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20080183068A1 (en) * 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080249536A1 (en) 2007-02-15 2008-10-09 Hansen Medical, Inc. Interface assembly for controlling orientation of robotically controlled medical instrument
US20080281301A1 (en) 2007-04-20 2008-11-13 Deboer Charles Personal Surgical Center
US10032236B2 (en) 2007-04-26 2018-07-24 General Electric Company Electronic health record timeline and the human figure
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
JP2009077362A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
CA2723301C (en) 2008-05-27 2016-12-06 Stryker Corporation Wireless medical room control arrangement for control of a plurality of medical devices
KR101068916B1 (ko) 2008-07-03 2011-09-29 삼성메디슨 주식회사 의료 장치
US20100036676A1 (en) 2008-08-07 2010-02-11 E-Merge Health Solutions, Ltd. Computer implemented medical treatment management system
US8471899B2 (en) * 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
EP2411931A1 (en) 2009-03-26 2012-02-01 Koninklijke Philips Electronics N.V. A system that automatically retrieves report templates based on diagnostic information
NZ615010A (en) 2009-07-16 2015-06-26 Resmed Ltd Detection of sleep onset
US20110225000A1 (en) * 2009-09-08 2011-09-15 Niazy Selim System for management and reporting of patient data
US8432472B2 (en) 2009-10-15 2013-04-30 Apple Inc. Camera for displaying digital images
US8392342B2 (en) 2009-11-18 2013-03-05 Empire Technology Development Llc Method and apparatus for predicting movement of a tool in each of four dimensions and generating feedback during surgical events using a 4D virtual real-time space
US20110264528A1 (en) 2010-04-26 2011-10-27 Whale Peter Contextual recommendations through proposed actions
WO2011143088A1 (en) 2010-05-10 2011-11-17 Vascular Management Associates, Inc. Billing system for medical procedures
WO2011150254A2 (en) * 2010-05-26 2011-12-01 Health Research Inc. Method and system for automatic tool position determination for minimally-invasive surgery training
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
US8948478B2 (en) * 2010-10-08 2015-02-03 Codonics, Inc. Multi-media medical record system
EP2675367B1 (en) 2011-02-15 2018-03-07 Intuitive Surgical Operations, Inc. Systems for indicating a clamping prediction
WO2012155077A2 (en) 2011-05-11 2012-11-15 Uab Research Foundation Methods, systems and computer program products for medical brain imaging analysis
JP5302484B1 (ja) 2011-10-11 2013-10-02 オリンパスメディカルシステムズ株式会社 医療情報管理システムおよび管理装置
CA2855965A1 (en) 2011-11-17 2013-05-23 The Cleveland Clinic Foundation Graphical tool for managing a longitudinal patient episode
US20140328570A1 (en) 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
RU2689767C2 (ru) * 2012-06-28 2019-05-28 Конинклейке Филипс Н.В. Улучшенная визуализация кровеносных сосудов с использованием управляемого роботом эндоскопа
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9094692B2 (en) 2012-10-05 2015-07-28 Ebay Inc. Systems and methods for marking content
US20140220527A1 (en) 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
KR102119534B1 (ko) 2013-03-13 2020-06-05 삼성전자주식회사 수술 로봇 및 그 제어방법
CN105163684B (zh) 2013-03-15 2018-02-02 圣纳普医疗(巴巴多斯)公司 手术数据的联运同步
US20140272855A1 (en) * 2013-03-15 2014-09-18 FitStar, Inc. Selecting available exercises for customizing an exercise session
US9171477B2 (en) 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
US9619849B2 (en) 2013-03-26 2017-04-11 Eric Lee Rock Healthcare delivery system and method
US20150046182A1 (en) 2013-08-06 2015-02-12 Atigeo Llc Methods and automated systems that assign medical codes to electronic medical records
US10993628B2 (en) 2013-10-25 2021-05-04 Philips Image Guided Therapy Corporation Devices, systems, and methods for vessel assessment
US20160270861A1 (en) 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system
JP6359264B2 (ja) * 2013-11-15 2018-07-18 キヤノンメディカルシステムズ株式会社 手術情報管理装置
US20150190208A1 (en) 2014-01-06 2015-07-09 Covidien Lp System and method for user interaction with medical equipment
US10373516B2 (en) 2014-03-07 2019-08-06 Global Vocabulary Llc Method for facilitating contextual vocabulary acquisition through association
US9747687B2 (en) * 2014-04-24 2017-08-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
US20210290046A1 (en) 2014-05-09 2021-09-23 X-Biomedical, Inc. Portable surgical methods, systems, and apparatus
EP3197384A4 (en) 2014-09-23 2018-05-16 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US20190362859A1 (en) 2014-11-19 2019-11-28 Kiran K. Bhat System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US11275757B2 (en) 2015-02-13 2022-03-15 Cerner Innovation, Inc. Systems and methods for capturing data, creating billable information and outputting billable information
US10733267B2 (en) 2015-02-27 2020-08-04 Surgical Black Box Llc Surgical data control system
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
EP3274889A4 (en) 2015-03-26 2019-01-02 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
KR20180005684A (ko) * 2015-05-07 2018-01-16 지멘스 악티엔게젤샤프트 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법
EP4335373A3 (en) 2015-05-20 2024-05-29 Gravitas Medical, Inc. Methods and apparatus for guiding medical care based on sensor data from the gastrointestinal tract
WO2016195698A1 (en) * 2015-06-05 2016-12-08 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN107851120A (zh) * 2015-06-09 2018-03-27 直观外科手术操作公司 医疗环境中的视频内容搜索
US10692395B2 (en) 2015-08-17 2020-06-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
US20170053543A1 (en) 2015-08-22 2017-02-23 Surgus, Inc. Commenting and performance scoring system for medical videos
US20170083665A1 (en) * 2015-09-23 2017-03-23 Siemens Healthcare Gmbh Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information
CA3003058A1 (en) 2015-10-29 2017-05-04 Sharp Fluidics Llc Systems and methods for data capture in an operating room
AU2016348404B2 (en) 2015-11-03 2020-10-22 Fresenius Medical Care Holdings, Inc. Method and apparatus of assessment of access flow in hemodialysis patients by video imaging processing
US20170132785A1 (en) 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
WO2017083768A1 (en) 2015-11-12 2017-05-18 Jarc Anthony Michael Surgical system with training or assist functions
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
US20170177806A1 (en) 2015-12-21 2017-06-22 Gavin Fabian System and method for optimizing surgical team composition and surgical team procedure resource management
WO2017114685A1 (en) * 2015-12-30 2017-07-06 Koninklijke Philips N.V. Medical reporting apparatus
US20170300651A1 (en) 2016-03-16 2017-10-19 CRF Inc. Platform which correlates data for recommendation
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11370113B2 (en) 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
US10342410B2 (en) 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
EP3538012A4 (en) 2016-11-11 2020-07-15 Intuitive Surgical Operations Inc. TELE-OPERATED SURGICAL SYSTEM WITH INSTRUMENT CONTROL BASED ON THE COMPETENCE LEVEL OF SURGERY
US10839221B2 (en) 2016-12-21 2020-11-17 Facebook, Inc. Systems and methods for compiled video generation
CN116230153A (zh) 2017-01-11 2023-06-06 奇跃公司 医疗助理
CA3049148A1 (en) 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11250947B2 (en) 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US9922172B1 (en) 2017-02-28 2018-03-20 Digital Surgery Limited Surgical guidance system based on a pre-coded surgical procedural map
US11571262B2 (en) 2017-04-18 2023-02-07 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
WO2018193317A1 (en) * 2017-04-21 2018-10-25 Medicrea International A system for providing intraoperative tracking to assist spinal surgery
US11229496B2 (en) 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US20190019574A1 (en) * 2017-07-14 2019-01-17 TruConsent System and method for creating an electronic consent-based medical record
US10878966B2 (en) * 2017-08-13 2020-12-29 Theator inc. System and method for analysis and presentation of surgical procedure videos
EP3672496A4 (en) 2017-08-23 2021-04-28 The General Hospital Corporation SUPPORT OF A SURGICAL DECISION USING A THEORETICAL DECISION MODEL
BR112020004207A2 (pt) 2017-08-29 2020-09-01 Leavitt Medical, Inc. cassete de amostra de tecido para biópsia e sistemas e métodos relacionados
CN111226288B (zh) 2017-10-17 2022-03-29 威里利生命科学有限责任公司 用于对外科手术视频分段的系统和方法
US11911045B2 (en) * 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11166772B2 (en) * 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
WO2019139478A1 (en) 2018-01-10 2019-07-18 Topic Ip3 B.V. A method of, and system for notifying medical staff involved in performing medical procedures in an operating room
US20190223961A1 (en) 2018-01-19 2019-07-25 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
US11967422B2 (en) 2018-03-05 2024-04-23 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US20190371456A1 (en) 2018-05-31 2019-12-05 General Electric Company Operating room status and predictive scheduling
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
WO2019245864A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided education related to orthopedic surgical procedures
CA3107582A1 (en) 2018-07-25 2020-01-30 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance
US20180345129A1 (en) 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon
JP7466928B2 (ja) 2018-09-12 2024-04-15 オルソグリッド システムズ ホールディング，エルエルシー 人工知能の術中外科的ガイダンスシステムと使用方法
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US10930395B2 (en) 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
US10910103B2 (en) 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
US20200211720A1 (en) 2018-12-31 2020-07-02 Engauge LLC Surgical media streaming, archiving, and analysis platform
US11605161B2 (en) 2019-01-10 2023-03-14 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
US20200258616A1 (en) 2019-02-07 2020-08-13 The Regents Of The University Of Michigan Automated identification and grading of intraoperative quality
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US10791301B1 (en) 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
US10646156B1 (en) 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
US20210158845A1 (en) 2019-11-25 2021-05-27 Dell Products L. P. Automatically segmenting and indexing a video using machine learning

Also Published As

Publication number Publication date
BR112021016621A2 (pt) 2021-11-03
IL283773A (en) 2021-07-29
WO2020172414A1 (en) 2020-08-27
KR20230126744A (ko) 2023-08-30
EP4235691A3 (en) 2023-12-27
EP3928325A1 (en) 2021-12-29
US10729502B1 (en) 2020-08-04
US20230401649A1 (en) 2023-12-14
CN113748468A (zh) 2021-12-03
EP4235691A2 (en) 2023-08-30
JP2022520701A (ja) 2022-04-01
US20200273575A1 (en) 2020-08-27
US20220301674A1 (en) 2022-09-22
US20200273552A1 (en) 2020-08-27
IL283772B (en) 2022-02-01
IL283767A (en) 2021-07-29
AU2020224128B2 (en) 2021-09-30
US11763923B2 (en) 2023-09-19
US11380431B2 (en) 2022-07-05
IL283767B (en) 2022-01-01
CA3126444A1 (en) 2020-08-27
US20200268457A1 (en) 2020-08-27
US20200273548A1 (en) 2020-08-27
KR20210132130A (ko) 2021-11-03
CN113748468B (zh) 2023-03-10
US20240055088A1 (en) 2024-02-15
KR102572006B1 (ko) 2023-08-31
IL283772A (en) 2021-07-29
AU2020224128A1 (en) 2021-07-08
US10943682B2 (en) 2021-03-09
IL283770A (en) 2021-07-29
US10886015B2 (en) 2021-01-05
IL283770B (en) 2022-01-01
IL283769A (en) 2021-07-29
EP3928325C0 (en) 2023-07-05
EP3928325B1 (en) 2023-07-05
US20210012868A1 (en) 2021-01-14
IL283773B (en) 2022-02-01

Similar Documents

Publication Publication Date Title
KR102572006B1 (ko) 수술 비디오의 분석을 위한 시스템 및 방법
US11769207B2 (en) Video used to automatically populate a postoperative report
US11116587B2 (en) Timeline overlay on surgical video
US11348682B2 (en) Automated assessment of surgical competency from video analyses

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521