KR20230126744A - 수술 비디오의 분석을 위한 시스템 및 방법 - Google Patents

수술 비디오의 분석을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20230126744A
KR20230126744A KR1020237028290A KR20237028290A KR20230126744A KR 20230126744 A KR20230126744 A KR 20230126744A KR 1020237028290 A KR1020237028290 A KR 1020237028290A KR 20237028290 A KR20237028290 A KR 20237028290A KR 20230126744 A KR20230126744 A KR 20230126744A
Authority
KR
South Korea
Prior art keywords
surgical
frames
footage
video
event
Prior art date
Application number
KR1020237028290A
Other languages
English (en)
Other versions
KR102694422B1 (ko
Inventor
타미르 울프
도탄 아셀만
Original Assignee
시어터 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시어터 인코포레이티드 filed Critical 시어터 인코포레이티드
Publication of KR20230126744A publication Critical patent/KR20230126744A/ko
Application granted granted Critical
Publication of KR102694422B1 publication Critical patent/KR102694422B1/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
    • A61B2017/0011—Sensing or detecting at the treatment site ultrasonic piezoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)

Abstract

수술 비디오의 분석 및 검토를 위한 시스템 및 방법이 개시된다. 시스템 및 방법은, 특성화된 수술의 수술중 이벤트(surgical intraoperative event)를 인덱싱하는 것, 복잡성에 기반하여 수술 푸티지를 분석 및 카탈로그화하는 것, 수술중 수술 이벤트 요약을 생성하는 것, 수술 비디오 상에 타임라인을 오버레이하는 것, 및/또는 수술 이벤트 푸티지의 편집물을 생성하는 것을 포함할 수 있다. 시스템 및 방법은, 수술 압력을 추정하기 위한 수술 비디오의 분석, 체액 누출의 출처 및 범위를 추정하는 것, 생략된 수술 이벤트를 검출하는 것, 환자에 대한 퇴원후 위험을 예측하는 것, 예측된 결과를 업데이트하는 것, 의사에게 실시간 추천을 제공하는 것, 보험 환급을 결정하는 것, 수술실 스케줄을 조정하는 것, 및/또는 수술 후 리포트를 채우는 것을 더 포함할 수 있다.

Description

수술 비디오의 분석을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR ANALYSIS OF SURGICAL VIDEOS}
관련 출원에 대한 상호 참조
본 출원은, 2019년 2월 21일자로 출원된 미국 가특허출원 제62/808,500호, 2019년 2월 21일자로 출원된 미국 가특허출원 제62/808,512호, 2019년 4월 24일자로 출원된 미국 가특허출원 제62/838,066호, 2020년 1월 13일자로 출원된 미국 가특허 출원 제62/960,466호, 및 2020년 1월 29일자로 출원된 미국 가특허 출원 제62/967,283호에 기반하며 이를 우선권으로 주장한다. 전술한 출원의 내용은 전체가 인용에 의해 본원에 통합된다.
기술 분야
개시된 실시예는 일반적으로 수술 절차(surgical procedure)의 비디오 분석을 위한 시스템 및 방법에 관한 것이다.
배경 정보
수술 절차를 준비할 때, 의사(surgeon)는, 특정 특성을 가질 수 있는 이벤트를 비롯하여, 특정 수술 이벤트를 묘사하는 비디오 푸티지(video footage)를 보는 것이 도움이 될 수 있다. 또한, 수술 절차 중, 의사에게 다양한 타입의 의사결정 지원을 제공하기 위해 비디오를 캡처하고 분석하는 것이 도움이 될 수 있다. 추가로, 수술 후 활동을 용이하게 하기 위해 수술 비디오를 분석하는 것이 도움이 될 수 있다.
따라서, 의사가 수술 이벤트를 보는 것을 가능하게 하고, 의사결정 지원을 제공하고, 및/또는 수술 후 활동을 용이하게 하기 위해, 수술 비디오를 효율적이고 효과적으로 분석하는 신규한 접근법이 필요하다.
본 개시내용에 따른 실시예는 수술 비디오를 분석하기 위한 시스템 및 방법을 제공한다. 개시된 시스템 및 방법은, 개시된 방법 단계와 연관된 기능을 수행하도록 특별히 구성된 그리고/또는 프로그래밍된 머신과 같은 특수 목적 하드웨어 및 소프트웨어뿐만 아니라 종래의 하드웨어 및 소프트웨어의 결합을 사용하여 구현될 수 있다. 다른 개시된 실시예에 따라, 비-일시적 컴퓨터-판독가능 저장 매체는, 적어도 하나의 프로세싱 디바이스에 의해 실행가능하며 본원에 설명된 단계 및/또는 방법 중 임의의 것을 수행하는 프로그램 명령을 저장할 수 있다.
개시된 실시예에 따라, 수술 비디오를 검토하는 것과 관련된 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 실시예는, 수술 절차의 적어도 하나의 비디오에 액세스하는 것 및 적어도 하나의 비디오로 하여금, 디스플레이를 위해 출력되게 하는 것을 포함할 수 있다. 실시예는, 디스플레이를 위해 출력된 적어도 하나의 비디오 상에, 수술 타임라인을 오버레이하는 것을 더 포함할 수 있다. 수술 타임라인은, 수술 페이즈(surgical phase), 수술중 수술 이벤트(intraoperative surgical event), 및 의사 결정 분기점(decision making junction) 중 적어도 하나를 식별하는 마커를 포함할 수 있다. 수술 타임라인은, 의사가, 적어도 하나의 비디오의 재생을 보면서 수술 타임라인 상의 하나 이상의 마커를 선택하고, 이로써, 비디오의 디스플레이가, 선택된 마커와 연관된 위치로 스킵하는 것을 가능하게 할 수 있다.
일 실시예에서, 하나 이상의 마커는 수술 절차의 의사 결정 분기점에 대응하는 의사 결정 분기점 마커를 포함할 수 있다. 의사 결정 분기점 마커의 선택은, 의사가 2개 이상의 대응하는 다른 수술 절차로부터의 2개 이상의 대안적 비디오 클립을 보는 것을 가능하게 할 수 있다. 추가로, 2개 이상의 비디오 클립은 다양한 행동방식(conduct)을 제공할 수 있다. 다른 실시예에서, 의사 결정 분기점 마커의 선택은, 선택된 의사 결정 분기점 마커와 관련된 하나 이상의 대안적인 가능한 의사결정의 디스플레이를 유발할 수 있다.
개시된 실시예에 따라, 비디오 인덱싱과 관련된 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 비디오 인덱싱은, 특정 수술 절차의 수술 페이즈와 연관된 비디오 푸티지 위치를 식별하기 위해 분석될 수 있는 특정 수술 절차의 푸티지를 포함하여, 인덱싱될 비디오 푸티지에 액세스하는 것을 포함할 수 있다. 페이즈 태그가 생성될 수 있고 비디오 푸티지 위치와 연관될 수 있다. 비디오 인덱싱은, 수술 페이즈 내에서 특정 수술중 수술 이벤트의 이벤트 위치를 식별하기 위해 비디오 푸티지를 분석하는 것 및 이벤트 태그를 특정 수술중 수술 이벤트의 이벤트 위치와 연관시키는 것을 포함할 수 있다. 추가로, 특정 수술중 수술 이벤트와 연관된 이벤트 특성이 저장될 수 있다.
비디오 인덱싱은, 특정 수술 절차의 비디오 푸티지의 적어도 일부를, 다른 수술 절차의 추가적인 비디오 푸티지를 보유하는 데이터 구조에서의 이벤트 특성, 이벤트 태그 및 페이즈 태그와 연관시키는 것을 더 포함할 수 있다. 데이터 구조는 또한, 다른 수술 절차 중 하나 이상의 것과 연관된 개개의 페이즈 태그, 개개의 이벤트 태그, 및 개개의 이벤트 특성을 포함할 수 있다. 사용자는, 디스플레이를 위한 비디오 푸티지의 선택된 페이즈 태그, 선택된 이벤트 태그 및 선택된 이벤트 특성의 선택을 통해 데이터 구조에 액세스하는 것이 가능해질 수 있다. 그런 다음, 저장된 비디오 푸티지의 매칭 서브세트를 식별하기 위해, 적어도 하나의 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성과 매칭하는 수술 비디오 푸티지의 데이터 구조에서 검색이 수행될 수 있다. 저장된 비디오 푸티지의 매칭 서브세트가 사용자에게 디스플레이될 수 있고, 이로써 선택된 이벤트 특성이 없는 비디오 푸티지의 재생은 생략하면서, 사용자가, 선택된 이벤트 특성을 공유하는 적어도 하나의 수술중 수술 이벤트의 수술 푸티지를 보는 것을 가능하게 할 수 있다.
개시된 실시예에 따라, 수술 요약 푸티지를 생성하는 것과 관련된 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 실시예는 적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임 및 수술 활동과 연관되지 않은 제2 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하는 것을 포함할 수 있다. 실시예는, 이전 수술 절차의 이력 수술 푸티지와 연관된 이력 데이터에 액세스하는 것을 더 포함할 수 있으며, 이력 데이터는, 이력 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임 및 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함하다. 특정 수술 푸티지에서 제1 그룹의 프레임은 이력 데이터의 정보에 기반하여 제2 그룹의 프레임과 구별될 수 있다. 사용자의 요청시, 특정 수술 푸티지의 제1 그룹의 프레임의 집계가 사용자에게 제공될 수 있는 반면, 제2 그룹의 프레임은 사용자에 대한 프리젠테이션이 생략될 수 있다.
일부 실시예에서, 개시된 실시예는 수술 결과 및 수술 결과의 개개의 원인을 식별하기 위해 특정 수술 푸티지를 분석하는 것을 더 포함할 수 있다. 식별은 이력 결과 데이터 및 개개의 이력 원인 데이터에 기반할 수 있다. 특정 수술 푸티지에서의 결과 프레임 세트가 분석에 기반하여 검출될 수 있다. 결과 프레임 세트는 수술 절차의 결과 페이즈 내에 있을 수 있다. 추가로, 분석에 기반하여, 특정 수술 푸티지에서 원인 프레임 세트가 검출될 수 있다. 원인 프레임 세트는 결과 페이즈로부터 시간적으로 멀리 떨어진 수술 절차의 원인 페이즈 내에 있을 수 있는 반면, 중간 프레임 세트는 원인 프레임 세트와 결과 프레임 세트 사이에 삽입된 중간 페이즈 내에 있을 수 있다. 그런 다음, 수술 푸티지의 원인-효과 요약(cause-effect summary)이 생성될 수 있으며, 원인-효과 요약은 원인 프레임 세트 및 결과 프레임 세트를 포함하며, 중간 프레임 세트를 생략한다. 사용자에게 제공되는 제1 그룹의 프레임의 집계는 원인-효과 요약을 포함할 수 있다.
개시된 실시예에 따라, 수술 준비와 관련된 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 실시예는, 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성 및 수술중 수술 이벤트 특성을 포함하며 다양한 환자에 대해 수행된 복수의 수술 절차를 반영하는 복수의 세트의 수술 비디오 푸티지의 저장소에 액세스하는 것을 포함할 수 있다. 방법은, 고려된 수술 절차를 준비하는 의사가 고려된 수술 절차에 대응하는 사례별 정보(case-specific information)를 입력하는 것을 가능하게 하는 것을 더 포함할 수 있다. 사례별 정보는, 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트 그룹을 식별하기 위해, 복수의 세트의 수술 비디오 푸티지와 연관된 데이터와 비교될 수 있다. 추가로, 사례별 정보 및 직면할 가능성이 있는 식별된 수술중 이벤트 그룹은, 식별된 수술중 이벤트 그룹에 대응하는 복수의 세트의 수술 비디오 푸티지 중 특정 세트에서의 특정 프레임을 식별하는 데 사용될 수 있다. 식별된 특정 프레임은 다양한 환자에 대해 수행된 복수의 수술 절차로부터의 프레임을 포함할 수 있다.
실시예는, 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지가 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 보유한다는 것을 결정하는 것, 및 의사에게 제공될 편집물로부터 제2 세트의 포함물은 생략하고 의사에게 제공될 편집물에 제1 세트를 포함하는 것을 더 포함할 수 있다. 마지막으로, 실시예는, 의사가 다양한 환자에 대해 수행된 다양한 수술 절차로부터의 프레임을 보유하는 편집물을 포함하는 프리젠테이션을 보는 것을 가능하게 하는 것을 포함할 수 있다.
개시된 실시예에 따라, 수술 푸티지의 복잡성을 분석하는 것과 관련된 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 실시예는, 제1 세트의 프레임에서 해부학적 구조를 식별하기 위해 수술 푸티지의 프레임을 분석하는 것을 포함할 수 있다. 개시된 실시예는 제1 이력 데이터에 액세스하는 것을 더 포함할 수 있다. 제1 이력 데이터는 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터의 분석에 기반할 수 있다. 제1 세트의 프레임은, 제1 세트의 프레임과 연관된 제1 수술 복잡성 레벨을 결정하기 위해, 제1 이력 데이터를 사용하여 그리고 식별된 해부학적 구조를 사용하여 분석될 수 있다.
일부 실시예는, 제2 세트의 프레임에서 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 식별하기 위해, 수술 푸티지의 프레임을 분석하는 것을 더 포함할 수 있다. 개시된 실시예는, 제2 이력 데이터에 액세스하는 것을 포함할 수 있고, 제2 이력 데이터는 제2 그룹의 이전 수술 절차로부터 캡처된 제2 프레임 데이터의 분석에 기반한다. 제2 세트의 프레임은, 제2 세트의 프레임과 연관된 제2 수술 복잡성 레벨을 결정하기 위해, 제2 이력 데이터를 사용하여 그리고 식별된 상호작용을 사용하여 분석될 수 있다.
실시예는, 제1 세트의 프레임을 제1 수술 복잡성 레벨로 태깅하는 것, 제2 세트의 프레임을 제2 수술 복잡성 레벨로 태깅하는 것, 및 제1 태그를 갖는 제1 세트의 프레임 및 제2 태그를 갖는 제2 세트의 프레임을 포함하는 데이터 구조를 생성하는 것을 더 포함할 수 있다. 생성된 데이터 구조는, 의사가 제2 수술 복잡성 레벨을 선택하고, 이로써, 제1 세트의 프레임의 디스플레이는 생략하면서 제2 세트의 프레임으로 하여금 디스플레이되게 할 수 있다.
개시된 실시예에 따라, 수술실 스케줄의 조정을 가능하게 하기 위한 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 수술실 스케줄을 조정하는 것은, 외과 수술실에 포지셔닝된 이미지 센서로부터, 진행중인 수술 절차를 추적하는 시각적 데이터를 수신하는 것, 이력 수술 데이터를 보유하는 데이터 구조에 액세스하는 것, 및 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해, 진행중인 수술 절차의 시각적 데이터 및 이력 수술 데이터를 분석하는 것을 포함할 수 있다. 수술실 스케줄을 조정하는 것은, 외과 수술실에 대한 스케줄에 액세스하는 것을 더 포함할 수 있다. 스케줄은, 진행중인 수술 절차의 완료와 연관된 스케줄링된 시간을 포함할 수 있다. 추가로, 수술실 스케줄을 조정하는 것은, 진행중인 수술 절차의 추정된 완료 시간에 기반하여, 예상된 완료 시간이 완료와 연관된 스케줄링된 시간으로부터 변동을 야기할 가능성이 있는지 여부를 계산하는 것, 및 변동의 계산에 기반하여 통지를 출력하고, 이로써 외과 수술실의 후속 사용자가 통지에 따라 자신의 스케줄을 조정하는 것을 가능하게 하는 것을 포함할 수 있다.
개시된 실시예에 따라, 보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 시스템, 방법 및 컴퓨터-판독가능 매체가 개시된다. 보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 동작은, 환자에 대한 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 것; 비디오 프레임에서, 적어도 하나의 의료 기구, 적어도 하나의 해부학적 구조, 및 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 적어도 하나의 상호작용을 식별하기 위해, 수술 절차 동안 캡처된 비디오 프레임 분석하는 것; 및 의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 상호작용과 상관된 환급 코드 데이터베이스에 액세스하는 것을 포함할 수 있다. 동작은, 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하기 위해, 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 식별된 적어도 하나의 상호작용을 환급 코드 데이터베이스 내의 정보와 비교하는 것을 더 포함할 수 있다.
개시된 실시예에 따라, 수술 절차의 수술 후 리포트를 채우기 위한 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 수술 절차의 수술 후 리포트를 채우기 위한 동작은, 환자 식별자의 입력을 수신하는 것, 의료 서비스 제공자(health care provider)의 식별자의 입력을 수신하는 것, 및 의료 서비스 제공자에 의해 환자에 대해 수행된 수술 절차의 수술 푸티지의 입력을 수신하는 것을 포함할 수 있다. 동작은, 수술 절차의 수술 후 리포트를 채우기 위한 이미지-기반 정보를 도출하기 위해, 수술 푸티지의 복수의 프레임을 분석하는 것, 및 도출된 이미지-기반 정보가 수술 절차의 수술 후 리포트에 채우게 하는 것을 더 포함할 수 있다.
개시된 실시예에 따라, 수술 절차에서의 생략되는 이벤트의 결정 및 통지를 가능하게 하기 위한 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 생략되는 이벤트의 결정 및 통지를 가능하게 하기 위한 동작은, 특정 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 것; 수술 절차에 대해 추천된 이벤트 시퀀스를 식별하는 저장된 데이터에 액세스하는 것; 특정 수술 절차와 수술 절차에 대해 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하기 위해, 액세스된 프레임을 추천된 이벤트 시퀀스와 비교하는 것; 편차와 연관된 수술중 수술 이벤트의 이름을 결정하는 것; 및 편차와 연관된 수술중 수술 이벤트의 이름을 포함하는 편차의 통지를 제공하는 것을 포함할 수 있다.
본 개시내용의 일부 실시예는, 수술 절차에 대한 실시간 의사결정 지원을 제공하기 위한 시스템, 방법, 및 컴퓨터-판독가능 매체를 포함한다. 이러한 실시예 중 일부는 적어도 하나의 프로세서를 수반할 수 있다. 이러한 실시예는, 수술실의 환자에 대해 의사에 의해 수행되는 수술 절차의 비디오 푸티지를 수신하는 것 및 수술 절차를 특성화하는 이미지-관련 데이터를 포함하는 적어도 하나의 데이터 구조에 액세스하는 것을 수반할 수 있다. 이후, 수신된 비디오 푸티지는, 수술 의사 결정 분기점의 존재를 실시간으로 결정하기 위해, 이미지-관련 데이터를 사용하여 분석될 수 있다. 적어도 하나의 데이터 구조가 액세스될 수 있으며, 특정 액션과 결과 간의 상관관계가 의사 결정 분기점에서 취해진다. 결정된 의사 결정 분기점의 존재 및 액세스된 상관관계에 기반하여, 특정 액션을 취하도록 또는 특정 액션을 피하도록 의사에게 추천이 출력될 수 있다.
본 개시내용의 실시예는 개시된 수술 절차 동안 해부학적 구조에 대한 접촉력을 추정하기 위한 시스템, 방법, 및 컴퓨터-판독가능 매체를 포함한다. 실시예는, 수술실에 있는 적어도 하나의 이미지 센서로부터 수술 절차의 이미지 데이터를 수신하는 것, 및 해부학적 구조의 정체를 결정하고 그리고 이미지 데이터에 반영된 해부학적 구조의 상태를 결정하기 위해, 수신된 이미지 데이터를 분석하는 것을 수반할 수 있다. 해부학적 구조와 연관된 접촉력 임계치는, 결정된 해부학적 구조의 상태에 기반하여 선택될 수 있다. 해부학적 구조에 대한 실제 접촉력이 결정되고 선택된 접촉력 임계치와 비교할 수 있다. 이후, 실제 접촉력의 표시가 선택된 접촉력 임계치를 초과한다는 결정에 기반하여, 통지가 출력될 수 있다.
본 개시내용의 일부 실시예는, 수술 절차 동안 예측된 결과를 업데이트하기 위한 시스템, 방법 및 컴퓨터-판독가능 매체를 수반한다. 이들 실시예는, 수술 절차의 이미지를 캡처하도록 구성된 적어도 하나의 이미지 센서로부터, 수술 절차 동안의 제1 이벤트와 연관된 이미지 데이터를 수신하는 것을 수반할 수 있다. 실시예는, 제1 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 수술 절차와 연관된 예측된 결과를 결정할 수 있고, 그리고 수술 절차의 이미지를 캡처하도록 구성된 적어도 하나의 이미지 센서로부터, 수술 절차 동안 제2 이벤트와 연관된 이미지 데이터를 수신할 수 있다. 이후, 실시예는, 제2 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 예측된 결과가 임계치 아래로 떨어지게 하는, 예측된 결과에서의 변화를 결정할 수 있다. 추천된 교정 조치는, 데이터 구조에 포함된 이전 수술 절차에 대한 이미지-관련 데이터에 기반하여 식별되고 추천될 수 있다.
본 개시내용의 일부 실시예는, 수술 동안 체액 누설 검출을 가능하게 하기 위한 시스템, 방법 및 컴퓨터-판독가능 매체를 수반한다. 실시예는, 수술 절차의 강내(intracavitary) 비디오를 실시간으로 수신하는 것을 수반할 수 있다. 프로세서는, 강내 비디오의 비정상 체액 누출 상황을 결정하기 위해 강내 비디오의 프레임을 분석하도록 구성된다. 실시예는, 비정상 체액 누출 상황이 결정될 때, 교정 조치를 실시할 수 있다.
개시된 실시예에 따라, 퇴원후 위험을 예측하기 위한 시스템, 방법, 및 컴퓨터-판독가능 매체가 개시된다. 퇴원후 위험을 예측하기 위한 동작은, 환자에 대한 특정 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 것; 수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것; 액세스된 프레임을 분석하는 것; 및 이력 데이터로부터 획득된 정보에 기반하여, 액세스된 프레임에서 적어도 하나의 특정 수술중 이벤트를 식별하는 것; 식별된 적어도 하나의 수술중 이벤트 및 이력 데이터로부터 획득된 정보에 기반하여, 특정 수술 절차와 연관된 예측된 결과를 결정하는 것; 및 예측된 결과를 환자와 연관시키는 방식으로, 예측된 결과를 출력하는 것을 포함할 수 있다.
전술한 요약은, 본 개시내용에 대한 특징(flavor)을 제공하기 위해, 개시된 실시예의 단지 몇 가지 예를 제공하며 개시된 실시예의 모든 양상을 요약하도록 의도되지 않는다. 더욱이, 다음의 상세한 설명은 단지 예시적이고 설명적이며 청구항을 제한하지 않는다.
본 개시내용에 통합되고 본 개시내용의 일부를 구성하는 첨부 도면은 다양한 개시된 실시예를 예시한다. 도면에서:
도 1은 개시된 실시예에 따른 예시적인 수술실의 사시도이다.
도 2는 개시된 실시예에 따른 카메라의 사시도이다.
도 3은 개시된 실시예에 따른 수술 기구의 예의 사시도이다.
도 4는 개시된 실시예에 따른 수술 절차의 비디오에 오버레이된 예시적인 타임라인을 예시한다.
도 5는, 개시된 실시예에 따른, 수술 비디오를 검토하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 6은 개시된 실시예에 따른 예시적인 데이터 구조의 개략도이다.
도 7은, 개시된 실시예에 따른, 디스플레이를 위해, 인덱싱된 비디오 푸티지를 선택하기 위한 예시적인 사용자 인터페이스의 개략도이다.
도 8a 및 도 8b는, 개시된 실시예에 따른, 비디오 인덱싱을 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 9는 개시된 실시예에 따른, 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 10은, 개시된 실시예에 따른, 원인-효과 요약을 생성하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 11은 개시된 실시예에 따른, 수술 요약 푸티지를 생성하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 12는 개시된 실시예에 따른, 수술 준비를 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 13은 개시된 실시예에 따른, 수술 푸티지의 복잡성을 분석하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 14는 개시된 실시예에 따른, 수술 절차 동안 수집된 다양한 데이터를 관리하고 그리고 다양한 센서를 제어하기 위한 예시적인 시스템의 개략도이다.
도 15는 개시된 실시예와 일치하는 예시적인 스케줄이다.
도 16은 개시된 실시예에 따른, 스케줄에 대한 정보를 입력하기 위한 예시적인 형태이다.
도 17a는 개시된 실시예에 따른 예시적인 데이터 구조를 도시한다.
도 17b는 개시된 실시예에 따른 이력 완료 시간의 데이터의 예시적인 플롯(plot)을 도시한다.
도 18은 개시된 실시예에 따른 머신 러닝 모델의 예를 도시한다.
도 19는 개시된 실시예에 따른, 수술실 스케줄을 조정하기 위한 예시적인 프로세스를 도시한다.
도 20은 개시된 실시예에 따른, 수술 푸티지로부터 획득된 정보와 환급 코드 간의 상관관계를 저장하기 위한 예시적인 데이터 구조이다.
도 21은 개시된 실시예에 따른 예시적인 머신 학습 방법의 블록도이다.
도 22는, 개시된 실시예에 따른, 보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 예시적인 프로세스의 흐름도이다.
도 23은 개시된 실시예에 따른, 필드를 보유하는 예시적인 수술 후 리포트이다.
도 24a는 개시된 실시예에 따른, 수술 후 리포트를 채우기 위한 구조를 포함하는 프로세스의 예이다.
도 24b는 개시된 실시예에 따른, 수술 후 리포트를 채우기 위한 구조를 포함하는 프로세스의 다른 예이다.
도 25는 개시된 실시예에 따른, 수술 후 리포트를 채우기 위한 예시적인 프로세스의 흐름도이다.
도 26은 개시된 실시예에 따른 예시적인 이벤트 시퀀스의 개략도이다.
도 27은 개시된 실시예에 따른, 이벤트 시퀀스의 예시적인 비교를 도시한다.
도 28은 개시된 실시예에 따른, 생략되는 이벤트의 결정 및 통지를 가능하게 하는 예시적인 프로세스를 도시한다.
도 29는 개시된 실시예에 따른, 수술 절차에 대한 의사결정 지원을 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 30은, 개시된 실시예에 따른, 수술 절차 동안 해부학적 구조에 대한 접촉력을 추정하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 31은 개시된 실시예에 따른, 수술 절차 동안 예측된 결과를 업데이트하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 32는 개시된 실시예에 따른, 수술 동안 체액 누출 검출을 가능하게 하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 32a는 개시된 실시예에 따른, 수술중 이벤트와 결과 간의 관계를 도시하는 예시적인 그래프이다.
도 32b는 개시된 실시예에 따른, 수술중 이벤트의 존재가 있는 그리고 이 존재가 없는 상이한 이벤트에 대한 예시적인 확률 분포 그래프이다.
도 33은 개시된 실시예에 따른, 상이한 이벤트에 대한 예시적인 확률 분포 그래프를 도시한다.
도 34는 개시된 실시예에 따른, 이벤트 특성의 함수로써, 상이한 이벤트에 대한 예시적인 확률 분포 그래프를 도시한다.
도 35a는 개시된 실시예에 따른 예시적인 머신 러닝 모델을 도시한다.
도 35b는 개시된 실시예에 따른 머신 러닝 모델에 대한 예시적인 입력을 도시한다.
도 36은 개시된 실시예에 따른, 퇴원후 위험을 예측하기 위한 예시적인 프로세스를 도시한다.
달리 구체적으로 언급되지 않는 한, 다음 설명에서 명백한 바와 같이, "프로세싱하", "계산하는", "컴퓨팅하는", "결정하는", "생성하는", "설정하는", "구성하는", "선택하는", "정의하는", "적용하는", "획득하는", "모니터링하는", "제공하는", "식별하는", "세그먼트화하는", "분류하는", "분석하는", "연관시키는", "추출하는", "저장하는", "수신하는", "송신하는" 등과 같은 용어를 활용하는 명세서 논의 전반은, 데이터를 조작하고 그리고/또는 다른 데이터로 변환하는 컴퓨터의 활동 및/또는 프로세스를 포함하며, 이 데이터는 예컨대 전자 수량과 같은 물리적 수량으로 표현되고 그리고/또는 데이터는 물리적 객체를 표현한다. "컴퓨", "프로세서", "제어기", "프로세싱 유닛", "컴퓨팅 유닛" 및 "프로세싱 모듈"이라는 용어는, 제한되지 않은 예로, 개인용 컴퓨터, 웨어러블 컴퓨터, 스마트 안경, 태블릿, 스마트폰, 서버, 컴퓨팅 시스템, 클라우드 컴퓨팅 플랫폼, 통신 디바이스, 프로세서(예컨대, DSP(digital signal processor), ISR(image signal processor), 마이크로제어기(microcontroller), FPGA(field programmable gate array), ASIC(application specific integrated circuit), CPA(central processing unit), GPU(graphics processing unit), VPU(visual processing unit) 등), 가능하게는 내장형 메모리와 함께, 단일 코어 프로세서, 멀티 코어 프로세서, 프로세서내 코어, 임의의 다른 전자 컴퓨팅 디바이스, 또는 상기한 것의 임의의 조합을 포함하는, 데이터 프로세싱 능력이 있는 임의의 종류의 전자 디바이스, 컴포넌트 또는 유닛을 커버하는 것으로 광범위하게 해석되어야 한다.
본원의 교시에 따른 동작은, 설명된 기능을 수행하도록 특별히 구성되거나 프로그래밍된 컴퓨터에 의해 수행될 수 있다.
본원에서 사용된 바와 같이, "예컨대", "~와 같은", "예시로"와 같은 문구 및 이의 변형은 본원에 개시된 청구대상의 비-제한적인 실시예를 설명하다. "실시예", “하나의 경우”, "일부 경우", "다른 경우" 또는 이의 변형의 특징에 대한 본 명세서에서의 참조는, 설명된 특정 특징, 구조 또는 특성이 본원에 개시된 청구대상의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 따라서, 이러한 용어의 출현이 반드시 동일한 실시예(들)를 지칭하는 것은 아니다. 본원에서 사용된 바와 같이, "및/또는"이라는 용어는, 연관된 나열 항목 중 하나 이상의 항목의 임의의 모든 조합을 포함한다.
본원에 개시된 청구대상의 특징은 간결화를 위해 특정 실시예의 맥락에서 설명된다. 그러나, 일 실시예와 관련하여 설명된 특징은 다른 실시예에도 적용될 수 있음이 이해되어야 한다. 마찬가지로, 특정 조합의 맥락에서 설명된 특징은, 단독으로 또는 특정 조합과 다른 맥락에서, 별도의 실시예로 간주될 수 있다.
본원에 개시된 청구대상의 실시예에서, 도면에 예시된 하나 이상의 스테이지(stage)는 상이한 순서로 실행될 수 있고 그리고/또는 하나 이상의 그룹의 스테이지가 동시에 실행될 수 있고, 이의 역도 가능하다. 도면은 본원에 개시된 청구대상의 실시예에 따른 시스템 아키텍처의 일반적인 개략도를 예시한다. 도면에서 각각의 모듈은, 본원에 정의되고 설명된 기능을 수행하는 소프트웨어, 하드웨어 및/또는 펌웨어의 임의의 조합으로 구성될 수 있다. 도면에서의 모듈은 한 위치에 집중되거나 또는 둘 이상의 위치에 분산될 수 있다.
본원에 개시된 청구대상의 예는, 다음의 설명에 제시되거나 도면에 예시된 컴포넌트의 구성 및 배열의 세부사항에 대한 적용으로 제한되지 않는다. 청구대상은 다양한 방식으로 실행되거나 수행될 수 있다. 또한, 본원에서 이용된 어구 및 용어는 설명을 위한 것이며 제한적인 것으로 간주되지 않아야 한다는 것이 이해되어야 한다.
본 명세서에서, 도면 중, 도면의 범위 내에서 설명되지 않고 그리고 이전 도면에서 설명되었던 도면번호가 라벨링된 엘리먼트는 이전 도면과 동일한 용도 및 설명을 가질 수 있다.
본 명세서서의 도면은 어떠한 스케일 대로가 아닐 수 있다. 상이한 도면이 상이한 스케일을 사용할 수 있으며, 동일한 도면에서라도 상이한 스케일이 사용될 수 있고, 예컨대, 동일한 객체의 상이한 뷰에 대해 상이한 스케일이 또는 인접한 두 객체에 대해 상이한 스케일이 사용될 수 있다.
개시된 실시예에 따라, "적어도 하나의 프로세서"는, 입력 또는 입력에 대해 논리 연산을 수행하는 전기 회로부를 갖는 임의의 물리적 디바이스 또는 디바이스의 그룹을 구성할 수 있다. 예컨대, 적어도 하나의 프로세서는, 하나 이상의 집적회로(IC)(CPU(central processing unit), GPU(graphics processing unit), DSP(digital signal processor), FPGA(field-programmable gate array)의 전부 또는 일부, ASIC(application-specific integrated circuit), 마이크로칩, 마이크로제어기, 마이크로프로세서를 포함함), 서버, 가상 서버, 또는 명령을 실행하거나 논리 연산을 수행하는 데 적합한 다른 회로를 포함할 수 있다. 적어도 하나의 프로세서에 의해 실행되는 명령은, 예컨대, 제어기와 통합되거나 제어기에 내장된 메모리에 사전-로딩되거나 별개의 메모리에 저장될 수 있다. 메모리는 RAM(Random Access Memory), ROM(Read-Only Memory), 하드 디스크, 광 디스크, 자기 매체, 플래시 메모리, 다른 영구, 고정 또는 휘발성 메모리, 또는 명령을 저장할 수 있는 임의의 다른 메커니즘을 포함할 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 2개 이상의 프로세서를 포함할 수 있다. 각각의 프로세서가 유사한 구성을 가질 수 있거나 또는 프로세서가 서로 전기적으로 연결되거나 분리되는 다양한 구성일 수 있다. 예컨대, 프로세서는 개별 회로이거나 단일 회로에 통합될 수 있다. 2개 이상의 프로세서가 사용되는 경우, 프로세서는 독립적으로 또는 협력하여 동작하도록 구성될 수 있다. 프로세서는 전기적으로, 자기적으로, 광학적으로, 음향적으로, 기계적으로 또는 서로 상호작용을 허용하는 다른 수단에 의해 커플링될 수 있다.
개시된 실시예는, 데이터 구조를 포함하고 그리고/또는 데이터 구조에 액세스할 수 있다. 본 개시내용에 따른 데이터 구조는, 데이터 값 및 이들 간의 관계의 임의의 콜렉션을 포함할 수 있다. 데이터는, 선형적으로, 수평적으로, 계층적으로, 관계형으로, 비관계형으로, 1차원적으로, 다차원적으로, 조작가능하게, 정렬된 방식으로, 정렬되지 않은 방식으로, 객체-지향 방식으로, 중앙집중 방식으로, 비-중앙집중 방식으로, 분산 방식으로, 맞춤 방식으로, 또는 데이터 액세스를 가능하게 하는 임의의 방식으로 저장될 수 있다. 비-제한적인 예로서, 데이터 구조는 어레이(array), 연관 어레이, 링크된 리스트(linked list), 이진 트리(binary tree), 평형 트리(balanced tree), 힙(heap), 스택(stack), 큐(queue), 세트, 해시 테이블(hash table), 레코드, 태깅된 유니온(tagged union), ER 모델(ER model) 및 그래프를 포함할 수 있다. 예컨대, 데이터 구조는 XML 데이터베이스, RDBMS 데이터베이스, SQL 데이터베이스 또는 데이터 저장/검색을 위한 NoSQL 대안물(이를테면, 예컨대, MongoDB, Redis, Couchbase, Datastax Enterprise Graph, Elastic Search, Splunk, Solr, Cassandra, Amazon DynamoDB, Scylla, HBase 및 Neo4J)을 포함할 수 있다. 데이터 구조는, 개시된 시스템의 컴포넌트 또는 원격 컴퓨팅 컴포넌트(예컨대, 클라우드-기반(cloud-based) 데이터 구조)일 수 있다. 데이터 구조에서의 데이터는, 연속적(contiguous) 또는 비-연속적(non-contiguous) 메모리에 저장될 수 있다. 더욱이, 본원에서 사용되는 데이터 구조는 정보가 같은 곳에 위치(co-located)될 것을 요구하지 않는다. 예컨대, 데이터 구조는, 동일한 또는 상이한 엔티티(entity)가 소유한 또는 이에 의해 동작될 수 있는 다수의 서버에 걸쳐 분산될 수 있다. 따라서, 본원에서 단수로 사용된 "데이터 구조"란 용어는, 복수의 데이터 구조를 포함한다.
일부 실시예에서, 머신 러닝 알고리즘(본 개시내용에서 머신 러닝 모델로도 지칭됨)은, 예컨대 후술되는 경우에서, 트레이닝 예시(training example)를 사용하여 트레이닝될 수 있다. 이러한 머신 러닝 알고리즘의 일부 비-제한적인 예는, 분류 알고리즘, 데이터 회귀 알고리즘, 이미지 세그먼트화 알고리즘, 시각적 검출 알고리즘 (예컨대, 객체 검출기, 얼굴 검출기, 사람 검출기, 모션 검출기, 에지 검출기 등), 시각적 인식 알고리즘(이를테면, 얼굴 인식, 사람 인식, 객체 인식 등), 스피치 인식 알고리즘, 수학 임베딩 알고리즘, 자연어 프로세싱 알고리즘, 서포트 벡터 머신, 랜덤 포레스트, 최근접 이웃 알고리즘, 딥 러닝 알고리즘, 인공 뉴럴 네트워크 알고리즘(artificial neural network algorithms), 컨볼루션(convolutional) 뉴럴 네트워크 알고리즘, 재귀(recursive) 뉴럴 네트워크 알고리즘, 선형 머신 러닝 모델, 비-선형 머신 러닝 모델, 앙상블 알고리즘 등을 포함할 수 있다. 예컨대, 트레이닝된 머신 러닝 알고리즘은, 추론 모델, 이를테면 예측 모델, 분류 모델, 회귀 모델, 클러스터링 모델, 세그먼트화 모델, 인공 뉴럴 네트워크(이를테면, 깊은 뉴럴 네트워크(deep neural network), 컨볼루셔널 뉴럴 네트워크, 재귀 뉴럴 네트워크 등), 랜덤 포레스트, 서포트 벡터 머신 등을 포함할 수 있다. 일부 예에서, 트레이닝 예시는 예시적인 입력에 대응하는 원하는 출력과 함께 예시적인 입력을 포함할 수 있다. 추가로, 일부 예에서, 트레이닝 예시를 사용하는 트레이닝 머신 러닝 알고리즘은, 트레이닝된 머신 러닝 알고리즘을 생성할 수 있고, 트레이닝된 머신 러닝 알고리즘은 트레이닝 예에 포함되지 않은 입력에 대한 출력을 추정하는 데 사용될 수 있다. 일부 예에서, 머신 러닝 알고리즘을 트레이닝시키는 엔지니어, 과학자, 프로세스 및 머신은, 검증 예 및/또는 검사(test) 예시를 추가로 사용할 수 있다. 예컨대, 검증 예 및/또는 검사 예시는, 예시 입력에 대응하는 원하는 출력과 함께 예시 입력을 포함할 수 있고, 트레이닝된 머신 러닝 알고리즘 및/또는 중간 트레이닝된(intermediately trained) 머신 러닝 알고리즘은 검증 예 및/또는 검사 예의 예시 입력에 대한 출력을 추정하는 데 사용될 수 있으며, 추정된 출력은 대응하는 원하는 출력과 비교될 수 있으며, 이 비교 결과에 기반하여, 트레이닝된 머신 러닝 알고리즘 및/또는 중간 트레이닝된 머신 러닝 알고리즘이 평가될 수 있다. 일부 예에서, 머신 러닝 알고리즘은 파라미터 및 하이퍼 파라미터를 가질 수 있으며, 여기서 하이퍼 파라미터는 사람에 의해 수동으로 설정되거나 또는 머신 러닝 알고리즘 외부의 프로세스(이를테면, 하이퍼 파라미터 서치 알고리즘)에 의해 자동으로 설정되고, 머신 러닝 알고리즘의 파라미터는 트레이닝 예에 따라 머신 러닝 알고리즘에 의해 설정된다. 일부 구현에서, 하이퍼 파라미터는 트레이닝 예 및 검증 예에 따라 설정되며, 파라미터는 트레이닝 예 및 선택된 하이퍼 파라미터에 따라 설정된다.
일부 실시예에서, 트레이닝된 머신 러닝 알고리즘(본 개시내용에서, 트레이닝된 머신 러닝 모델로도 또한 지칭됨)은, 예컨대, 아래에서 설명되는 경우에서, 입력을 분석하고 출력을 생성하는 데 사용될 수 있다. 일부 예에서, 트레이닝된 머신 러닝 알고리즘은, 입력이 제공될 때, 추론된 출력을 생성하는 추론 모델(inference model)로 사용될 수 있다. 예컨대, 트레이닝된 머신 러닝 알고리즘은 분류 알고리즘을 포함할 수 있고, 입력은 샘플을 포함할 수 있으고, 추론된 출력은 샘플의 분류(이를테면, 추론된 라벨(inferred label), 추론된 태그 등)를 포함할 수 있다. 다른 예에서, 트레이닝된 머신 러닝 알고리즘은 회귀 모델을 포함할 수 있고, 입력은 샘플을 포함할 수 있고, 추론된 출력은 샘플에 대한 추론된 값을 포함할 수 있다. 또 다른 예에서, 트레이닝된 머신 러닝 알고리즘은 클러스터링 모델을 포함할 수 있고, 입력은 샘플을 포함할 수 있고, 추론된 출력은 적어도 하나의 클러스터에 대한 샘플의 할당을 포함할 수 있다. 추가적인 예에서, 트레이닝된 머신 러닝 알고리즘은 분류 알고리즘을 포함할 수 있고, 입력은 이미지를 포함할 수 있고, 추론된 출력은 이미지에 묘사된 아이템의 분류를 포함할 수 있다. 또 다른 예에서, 트레이닝된 머신 러닝 알고리즘은 회귀 모델을 포함할 수 있고, 입력은 이미지를 포함할 수 있고, 추론된 출력은 이미지에 묘사된 아이템(이를테면, 사이즈, 볼륨, 이미지에 묘사된 사람의 나이, 이미지에 묘사된 제품의 가격 등과 같은, 아이템의 추정된 속성)에 대한 추론된 값을 포함할 수 있다. 추가적인 예에서, 트레이닝된 머신 러닝 알고리즘은 이미지 세그먼트화 모델을 포함할 수 있고, 입력은 이미지를 포함할 수 있고, 추론된 출력은 이미지의 세그먼트화를 포함할 수 있다. 또 다른 예에서, 트레이닝된 머신 러닝 알고리즘은 객체 검출기를 포함할 수 있고, 입력은 이미지를 포함할 수 있고, 추론된 출력은 이미지 내의 하나 이상의 검출된 객체 및/또는 이미지 내의 객체의 하나 이상의 위치를 포함할 수 있다. 일부 예에서, 트레이닝된 머신 러닝 알고리즘은 하나 이상의 공식 및/또는 하나 이상의 함수 및/또는 하나 이상의 규칙 및/또는 하나 이상의 절차를 포함할 수 있고, 입력은 공식 및/또는 함수 및/또는 규칙 및/또는 절차에 대한 입력으로 사용될 수 있고, 그리고 추론된 출력은 공식 및/또는 함수 및/또는 규칙 및/또는 절차의 출력에 기반할 수 있다(예컨대, 공식 및/또는 함수 및/또는 규칙 및/또는 절차의 출력에 대한 통계적 측정을 사용하여, 공식 및/또는 함수 및/또는 규칙 및/또는 절차의 출력 중 하나를 선택함).
일부 실시예에서, 인공 뉴럴 네트워크는 입력을 분석하고 대응하는 출력을 생성하도록 구성될 수 있다. 이러한 인공 뉴럴 네트워크의 일부 비-제한적인 예는, 얕은(shallow) 인공 뉴럴 네트워크, 깊은(deep) 인공 뉴럴 네트워크, 피드백 인공 뉴럴 네트워크, 피드포워드 인공 뉴럴 네트워크, 오토인코더 인공 뉴럴 네트워크, 확률적 인공 뉴럴 네트워크, 시간 지연(time delay) 인공 뉴럴 네트워크, 컨볼루셔널 인공 뉴럴 네트워크, 순환 인공 뉴럴 네트워크, 장기 단기 메모리(long short term memory) 인공 뉴럴 네트워크 등을 포함할 수 있다. 일부 예에서, 인공 뉴럴 네트워크는 수동으로 구성될 수 있다. 예컨대, 인공 뉴럴 네트워크의 구조가 수동으로 선택될 수 있고, 인공 뉴럴 네트워크의 인공 뉴런의 타입이 수동으로 선택될 수 있고, 인공 뉴럴 네트워크의 파라미터(이를테면, 인공 뉴럴 네트워크의 인공 뉴런의 파라미터)가 수동으로 선택될 수 있는 식이다. 일부 예에서, 인공 뉴럴 네트워크는 머신 러닝 알고리즘을 사용하여 구성될 수 있다. 예컨대, 사용자가 인공 뉴럴 네트워크 및/또는 머신 러닝 알고리즘에 대한 하이퍼 파라미터를 선택할 수 있고, 머신 러닝 알고리즘은, 예컨대 역전파, 경사 하강법, 확률적 경사 하강법, 미니 배치 경사하강법(mini-batch gradient descent) 등을 사용하여, 인공 뉴럴 네트워크의 파라미터를 결정하기 위해, 하이퍼 파라미터 및 트레이닝 예를 사용할 수 있다. 일부 예에서, 인공 뉴럴 네트워크는, 2개 이상의 다른 인공 뉴럴 네트워크를 단일 인공 뉴럴 네트워크로 결합함으로써, 2개 이상의 다른 인공 뉴럴 네트워크로부터 생성될 수 있다.
일부 실시예에서, (예컨대, 본원에서 설명된 방법, 단계 및 모듈에 의해) 이미지 데이터를 분석하는 것은, 사전프로세싱된 이미지 데이터를 획득하기 위해 이미지 데이터를 분석하는 것, 및 후속적으로, 원하는 결과를 획득하기 위해 이미지 데이터 및/또는 사전프로세싱된 이미지 데이터를 분석하는 것을 포함할 수 있다. 이러한 이미지 데이터의 일부 비-제한적인 예는, 하나 이상의 이미지, 비디오, 프레임, 푸티지, 2D 이미지 데이터, 3D 이미지 데이터 등을 포함할 수 있다. 당업자는, 하기의 것이 예이고 그리고 이미지 데이터가 다른 종류의 사전프로세싱 방법을 사용하여 사전프로세싱될 수 있다는 것을 인식할 것이다. 일부 예에서, 이미지 데이터는, 변환된 이미지 데이터를 획득하기 위해 변환 함수를 사용하여 이미지 데이터를 변환함으로써 사전프로세싱될 수 있고, 사전프로세싱된 이미지 데이터는 변환된 이미지 데이터를 포함할 수 있다. 예컨대, 변환된 이미지 데이터는 이미지 데이터의 하나 이상의 컨볼루션을 포함할 수 있다. 예컨대, 변환 함수는 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 전역 통과 필터 등과 같은 하나 이상의 이미지 필터를 포함할 수 있다. 일부 예에서, 변환 함수는 비선형 함수를 포함할 수 있다. 일부 예에서, 이미지 데이터는, 예컨대, 가우시안 컨볼루션을 사용하거나, 중앙 값 필터를 사용하는 식으로, 이미지 데이터의 적어도 일부를 평활화함으로써 사전프로세싱될 수 있다. 일부 예에서, 이미지 데이터는 이미지 데이터의 상이한 표현(representation)을 획득하기 위해 사전프로세싱될 수 있다. 예컨대, 사전프로세싱된 이미지 데이터는, 주파수 도메인에서의 이미지 데이터의 적어도 일부의 표현; 이미지 데이터의 적어도 일부의 이산 푸리에 변환; 이미지 데이터의 적어도 일부의 이산 웨이블릿 변환; 이미지 데이터의 적어도 일부의 시간/주파수 표현; 더 낮은 차원에서의 이미지 데이터의 적어도 일부의 표현; 이미지 데이터의 적어도 일부의 손실 표현; 이미지 데이터의 적어도 일부의 무손실 표현; 상기한 것 중 임의의 것의 시계열 시리즈; 상기한 것의 임의의 조합 등을 포함할 수 있다. 일부 예에서, 이미지 데이터는 에지를 추출하기 위해 사전프로세싱될 수 있고, 사전프로세싱된 이미지 데이터는 추출된 에지에 기반한 그리고/또는 이와 관련된 정보를 포함할 수 있다. 일부 예에서, 이미지 데이터는 이미지 데이터로부터 이미지 특징을 추출하기 위해 사전프로세싱될 수 있다. 이러한 이미지 특징의 일부 비-제한적인 예는, 에지; 모서리; 블랍(blob); 리지(ridge); SIFT(Scale Invariant Feature Transform) 특징; 시간적 특징 등에 기반한 그리고/또는 이와 관련된 정보를 포함할 수 있다.
일부 실시예에서, (예컨대, 본원에서 설명되는 방법, 단계 및 모듈에 의해) 이미지 데이터를 분석하는 것은, 하나 이상의 규칙, 함수, 절차, 인공 뉴럴 네트워크, 객체 검출 알고리즘, 얼굴 검출 알고리즘, 시각적 이벤트 검출 알고리즘, 액션 검출 알고리즘, 모션 검출 알고리즘, 배경 제거 알고리즘, 추론 모델 등을 사용하여, 이미지 데이터 및/또는 사전프로세싱된 이미지 데이터를 분석하는 것을 포함할 수 있다. 이러한 추론 모델의 일부 비-제한적인 예는, 수동으로 사전프로그래밍된 추론 모델; 분류 모델; 회귀 모델; 트레이닝 예에 대한, 머신 러닝 알고리즘 및/또는 딥 러닝 알고리즘과 같은 트레이닝 알고리즘의 결과 ―여기서, 트레이닝 예는 데이터 인스턴스(data instance)의 예를 포함할 수 있고, 일부 경우에서, 데이터 인스턴스는 대응하는 원하는 라벨 및/또는 결과로 라벨링될 수 있음―; 등을 포함할 수 있다.
일부 실시예에서, (예컨대, 본원에서 설명된 방법, 단계 및 모듈에 의해) 이미지 데이터를 분석하는 것은, 이미지 데이터에 포함된, 픽셀, 복셀(voxel), 포인트 클라우드(point cloud), 레인지 데이터(range data) 등을 분석하는 것을 포함할 수 있다.
도 1은 개시된 실시예에 따른 예시적인 수술실(101)을 도시한다. 환자(143)는 수술대(141) 상에 예시되어 있다. 수술실(101)은, 오디오 센서, 비디오/이미지 센서, 화학 센서, 및 다른 센서뿐만 아니라, 수술 절차 동안, 다른 센서로부터의 데이터뿐만 아니라, 비디오 및 오디오 데이터의 캡처를 용이하게 하기 위한 다양한 광원(예컨대, 광원(119)이 도 1에 도시됨)을 포함할 수 있다. 예컨대, 수술실(101)은, 하나 이상의 마이크로폰(예컨대, 도 1에 도시된 바와 같은 오디오 센서(111)), 수술 동안 비디오/이미지 데이터를 캡처하기 위한 여러 카메라(예컨대, 오버헤드 카메라(overhead camera)(115, 121, 123), 및 수술대 측면 카메라(125))를 포함할 수 있다. 카메라(예컨대, 카메라(115, 123, 125)) 중 일부는, 수술대(141)의 비디오/이미지 데이터를 캡처할 수 있지만(예컨대, 카메라는, 수술 절차가 수행되는 환자(143) 신체의 위치(127)에서의 비디오/이미지 데이터를 캡처할 수 있음), 카메라(121)는 수술실(101)의 다른 부분의 비디오/이미지 데이터를 캡처할 수 있다. 예컨대, 카메라(121)는 수술을 수행하는 의사(131)의 비디오/이미지 데이터를 캡처할 수 있다. 일부 경우에, 카메라는 수술실(101)에 위치하고 있는 마취과 의사, 간호사, 수술 기술자 등과 같은 수술 팀(team) 직원과 연관된 비디오/이미지 데이터를 캡처할 수 있다. 추가적으로, 수술실 카메라는 수술실에 위치된 의료 장비와 연관된 비디오/이미지 데이터를 캡처할 수 있다.
다양한 실시예에서, 카메라(115, 121, 123, 125) 중 하나 이상은 이동식일 수 있다. 예컨대, 도 1에 도시된 바와 같이, 카메라(115)는, 피치(pitch) 방향을 도시하는 화살표(135A) 및 카메라(115)에 대한 요(yaw) 방향을 도시하는 화살표(135B)로 표시된 바와 같이, 회전될 수 있다. 다양한 실시예에서, 카메라(예컨대, 카메라(115))의 피치 및 요 각도는, 카메라(115)가, 비디오/이미지 데이터가 캡처될 필요가 있는 관심대상 구역(ROI; region-of-interest)을 가리키도록, 전자식으로 제어될 수 있다. 예컨대, 카메라(115)는, 위치(127) 내 수술 기구(또한, 수술 도구로 지칭됨), 해부학적 구조, 의사(131)의 손, 절개부, 해부학적 구조의 움직임 등 내에서 수술 기구를 추적하도록 구성될 수 있다. 다양한 실시예에서, 카메라(115)에는 정밀 추적을 위한 레이저(laser)(137)(예컨대, 적외선 레이저)가 장착될 수 있다. 일부 경우에서, 카메라(115)는, ROI의 비디오/이미지 데이터를 캡처하도록 카메라를 포지셔닝(positioning)시키기 위한 이미지 인식 알고리즘을 사용하는 컴퓨터 기반 카메라 제어 애플리케이션을 통해 자동으로 추적될 수 있다. 예컨대, 카메라 제어 애플리케이션은, 해부학적 구조를 식별할 수 있고, 해부학적 구조 내의 특정의 위치에서의 수술 도구, 의사의 손, 출혈, 모션 등을 식별할 수 있고, 그리고 적절한 요 및 피치 각도로 카메라(115)를 회전시킴으로써, 카메라(115)로 해당 위치를 추적할 수 있다. 일부 실시예에서, 카메라 제어 애플리케이션은, 수술 절차 동안 상이한 ROI로부터 비디오/이미지 데이터를 캡처하기 위해 다양한 카메라(115, 121, 123 및 125)의 포지션(position)(즉, 요 및 피치 각도)를 제어할 수 있다. 추가적으로 또는 대안적으로, 인간 오퍼레이터가 다양한 카메라(115, 121, 123 및 125)의 포지션을 제어할 수 있고 그리고/또는 카메라의 포지션을 제어할 때 인간 오퍼레이터가 카메라 제어 애플리케이션을 감독할 수 있다.
카메라(115, 121, 123, 125)는 하나 이상의 ROI에 포커싱하고 이를 확대하기 위한 줌 렌즈를 더 포함할 수 있다. 예시적인 실시예에서, 카메라(115)는 ROI(예컨대, 해부학적 구조에 근접한 수술 도구)에 가깝게 주밍하기 위한 줌 렌즈(138)를 포함할 수 있다. 카메라(121)는 ROI 주위의 더 큰 영역으로부터 비디오/이미지 데이터를 캡처하기 위한 줌 렌즈(139)를 포함할 수 있다. 예컨대, 카메라(121)는 전체 위치(127)에 대한 비디오/이미지 데이터를 캡처할 수 있다. 일부 실시예에서, 카메라(121)로부터 획득된 비디오/이미지 데이터는 수술 절차 동안 ROI를 식별하기 위해 분석될 수 있고, 그리고 카메라 제어 애플리케이션은, 카메라(115)로 하여금, 카메라(121)에 의해 식별된 ROI 향해 주밍하도록 구성될 수 있다.
다양한 실시예에서, 카메라 제어 애플리케이션은, 수술 절차 동안 다양한 카메라의 포지션, 포커스, 및 배율을 조정하도록 구성될 수 있다. 예컨대, 카메라 제어 애플리케이션은 해부학적 구조를 추적하도록 카메라(115)를 지향시킬 수 있고 그리고 수술 기구를 추적하도록 카메라(121 및 125)를 지향시킬 수 있다. 카메라(121, 125)는 상이한 시야 각도에서 동일한 ROI(예컨대, 수술 기구)를 추적할 수 있다. 예컨대, 상이한 시야 각도로부터 획득된 비디오/이미지 데이터는, 해부학적 구조의 표면에 대한 수술 기구의 포지션을 결정하거나, 해부학적 구조의 상태를 결정하거나, 해부학적 구조에 가해지는 압력을 결정하거나, 또는 다수의 시야 각도가 도움이 될 수 있는 다른 정보를 결정하는 데 사용될 수 있다. 다른 예로서, 출혈이 하나의 카메라에 의해 검출될 수 있고, 하나 이상의 다른 카메라가 출혈 출처(source)를 식별하는 데 사용될 수 있다.
다양한 실시예에서, 카메라(115, 121, 123, 125)의 포지션, 배향, 세팅, 및/또는 줌의 제어는 규칙 기반식일 수 있고, 정해진 수술 절차를 위해 개발된 알고리즘을 따를 수 있다. 예컨대, 카메라 제어 애플리케이션은, 카메라(115)가 수술 기구를 추적하도록 지향시키고, 카메라(121)를 위치(127)로 지향시키고, 카메라(123)가 의사의 손의 모션을 추적하도록 지향시키고, 그리고 카메라(125)를 해부학적 구조로 지향시키도록 구성될 수 있다. 알고리즘은 수술 절차 동안의 다양한 이벤트에 의존하여 카메라(115, 121, 123 및 125)에 대한 포지션, 배향, 세팅 및/또는 줌을 결정하는 임의의 적절한 논리적 명령문을 포함할 수 있다. 예컨대, 알고리즘은 절차 동안 출혈이 발현되는 해부학적 구조의 구역으로 적어도 하나의 카메라를 지향시킬 수 있다. (예컨대, 카메라 제어 애플리케이션에 의해) 제어될 수 있는 카메라(115, 121, 123 및 125)의 세팅의 일부 비-제한적인 예는, 이미지 픽셀 해상도, 프레임 레이트, 이미지 및/또는 컬러 보정 및/또는 향상 알고리즘, 줌, 포지션, 배향, 종횡비, 셔터 스피드, 조리개, 포커스 등을 포함할 수 있다.
다양한 경우에서, 카메라(예컨대, 카메라(115))가 움직이는 또는 변형되는 객체를 추적할 때(예컨대, 카메라(115)가 움직이는 수술 기구 또는 움직이는/맥동하는 해부학적 구조를 추적할 때), 카메라 제어 애플리케이션은 움직이는 또는 변형되는 객체가 카메라의 시야를 벗어나지 않도록 카메라(115)에 대한 최대 허용가능한 줌을 결정할 수 있다. 예시적인 실시예에서, 카메라 제어 애플리케이션은 초기에, 카메라(115)에 대한 제1 줌을 선택하고, 움직이거나 변형되는 객체가 카메라의 시야를 벗어나는지 여부를 평가하고, 그리고 움직이거나 변형되는 객체가 카메라의 시야를 벗어나지 않도록 필요에 따라 카메라의 줌을 조정할 수 있다. 다양한 실시예에서, 카메라 줌은 움직이거나 변형되는 객체의 방향 및 스피드에 기반하여 재조정될 수 있다.
다양한 실시예에서, 하나 이상의 이미지 센서는 움직이는 카메라(115, 121, 123, 125)를 포함할 수 있다. 카메라(115, 121, 123, 125)는, 해부학적 구조의 사이즈를 결정하고 그리고 예컨대, 삼각측량을 사용하여 상이한 ROI 간의 거리를 결정하는 데 사용될 수 있다. 예컨대, 도 2는, 도 2에 도시된 바와 같이 2개의 카메라 간의 거리가 D1이 되도록 이동식 엘리먼트(movable element)에 의해 지지되는 예시적인 카메라(115)(도 2에 도시된 바와 같이 115의 뷰(view) 1) 및 카메라(121)를 도시한다. 2개의 카메라 모두 ROI(223)를 가리킨다. 카메라(115, 121)의 포지션과 카메라에 대한 객체의 방향을 알면(예컨대, 도 2에 도시된 바와 같이, 예컨대 115 및 121에 의해 캡처된 이미지에서 동일한 객체 또는 동일한 실세계 포인트를 묘사하는 픽셀 간의 대응에 기반하여 각도(A1 및 A2)를 알면), 거리(D2 및 D3)는, 예컨대 사인 법칙 및 2개의 카메라(D1) 간의 알려진 거리를 사용하여 계산될 수 있다. 예시적인 실시예에서, 카메라(115)(115, 뷰 2)가 ROI(225)를 가리키기 위해 작은 각도(A3)(라디안 단위로 측정됨)만큼 회전할 때, ROI(223)와 ROI(225) 간의 거리는 (작은 각도 A3에 대해) A3D2에 의해 근사화될 수 있다. 다른 삼각측량 프로세스를 사용하여 더 나은 정확도가 획득될 수 있다. ROI(223)와 ROI(225) 간의 거리를 아는 것은 해부학적 구조에 대한 길이 스케일 결정을 허용한다. 추가로, 해부학적 구조의 다양한 포인트 간의 거리, 및 다양한 포인트로부터 하나 이상의 카메라까지의 거리가, 해부학적 구조의 표면을 표현하는 포인트-클라우드를 결정하기 위해 측정될 수 있다. 이러한 포인트 클라우드는 해부학적 구조의 3차원 모델을 재구성하는 데 사용될 수 있다. 추가로, 하나 이상의 수술 기구와 해부학적 구조의 상이한 포인트 간의 거리가, 해부학적 구조에 근접한 하나 이상의 수술 기구의 적절한 위치를 결정하기 위해 측정될 수 있다. 일부 다른 예에서, 카메라(115, 121, 123 및 125) 중 하나 이상은 3D 카메라(이를테면, 스테레오 카메라, 액티브 스테레오 카메라, 비행 시간 카메라(Time of Flight camera), 광 검출기 및 레인지 카메라(Light Detector and Ranging camera) 등)를 포함할 수 있고, 수술실(101) 내의 객체의 실제 및/또는 상대적 위치 및/또는 사이즈, 및/또는 객체 간의 실제 거리가 3D 카메라에 의해 캡처된 3D 정보에 기반하여 결정될 수 있다.
도 1로 돌아가서, 광원(예컨대, 광원(119))은 또한, 하나 이상의 ROI를 추적하도록 이동할 수 있다. 예시적인 실시예에서, 광원(119)은 요 및 피치 각도만큼 회전될 수 있고, 일부 경우에서는, ROI(예컨대, 위치(127))를 향해 또는 ROI로부터 멀어지게 연장될 수 있다. 일부 경우에서, 광원(119)은 ROI 상에 광을 포커싱하기 위한 하나 이상의 광학 엘리먼트(예컨대, 렌즈, 평면 또는 곡면 거울 등)를 포함할 수 있다. 일부 경우에서, 광원(119)은 광의 컬러를 제어하도록 구성될 수 있다(예컨대, 광의 컬러는 상이한 타입의 백색 광, 선택된 스펙트럼을 갖는 광 등을 포함할 수 있음). 예시적인 실시예에서, 광(119)은, 광의 스펙트럼 및 세기가 광에 의해 조명되는 해부학적 구조의 표면에 걸쳐 변할 수 있도록 구성될 수 있다. 예컨대, 일부 경우에서, 광(119)은 해부학적 구조의 표면의 적어도 일부 부분의 가온(warming)을 야기할 수 있는 적외선 파장을 포함할 수 있다.
일부 실시예에서, 수술실은 도 1에 묘사된 또는 묘사되지 않은 다양한 컴포넌트에 내장된 센서를 포함할 수 있다. 이러한 센서의 예는, 오디오 센서; 이미지 센서; 모션 센서; 포지셔닝 센서; 화학 센서; 온도 센서; 기압계; 압력 센서; 근접 센서; 전기 임피던스 센서; 전기 전압 센서; 전기 전류 센서; 또는 예컨대, 환자(143)를 모니터하도록 구성된 임의의 종류의 의료 또는 생리학적 센서를 포함하는, 환경 또는 수술 절차에 대한 피드백을 제공할 수 있는 임의의 다른 검출기를 포함할 수 있다.
일부 실시예에서, 오디오 센서(111)는, 사운드를 디지털 정보로 변환함으로써 오디오를 캡처하도록 구성된 하나 이상의 오디오 센서(예컨대, 오디오 센서(121))를 포함할 수 있다.
다양한 실시예에서, 온도 센서는 열 화상을 위한 적외선 카메라(예컨대, 적외선 카메라(117)가 도 1에 도시됨)를 포함할 수 있다. 적외선 카메라(117)는 구조물의 상이한 지점에서 해부학적 구조물의 표면 온도의 측정을 허용할 수 있다. 가시 카메라(visible camera)(D115, 121, 123, 125)와 유사하게, 적외선 카메라(117)는 요 또는 피치 각도를 사용하여 회전될 수 있다. 추가적으로 또는 대안적으로, 카메라(117)는, 임의의 광 스펙트럼으로부터 이미지를 캡처하도록 구성된 이미지 센서를 포함할 수 있으며, 적외선 이미지 센서, 초분광(hyper-spectral) 이미지 센서 등을 포함할 수 있다.
도 1은 상이한 카메라(115, 121, 123, 125)로부터의 뷰뿐만 아니라 다른 정보를 보여줄 수 있는 디스플레이 스크린(113)을 포함한다. 예컨대, 디스플레이 스크린(113)은 수술 기구의 팁(tip) 및 수술 기구에 근접한 해부학적 구조의 주변 조직의 주밍된 이미지를 보여줄 수 있다.
도 3은, 다수의 센서 및 발광원을 포함할 수 있는 수술 기구(301)의 예시적인 실시예를 도시한다. 본 실시예에 따라, 수술 기구는 의료 디바이스, 의료 기구, 전기 또는 기계적 도구, 수술 도구, 진단 도구, 및/또는 수술 동안 사용될 수 있는 임의의 다른 수단물(instrumentality)을 지칭할 수 있다. 도시된 바와 같이, 기구(301)는 카메라(311A, 311B), 광원(313A, 313B)뿐만 아니라, 조직(331)과 접촉하기 위한 팁(323A, 323B)을 포함할 수 있다. 카메라(311A 및 311B)는 데이터 연결부(319A 및 319B)를 통해 데이터 송신 디바이스(321)에 연결될 수 있다. 예시적인 실시예에서, 디바이스(321)는 무선 통신을 이용하거나 유선 통신을 이용하여 데이터 수신 디바이스에 데이터를 송신할 수 있다. 예시적인 실시예에서, 디바이스(321)는 데이터 수신 디바이스에 데이터를 송신하기 위해 WiFi, 블루투스, NFC 통신, 유도성 통신, 또는 임의의 다른 적절한 무선 통신을 사용할 수 있다. 데이터 수신 디바이스는 데이터 송신을 수신할 수 있는 임의의 형태의 수신기를 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(321)는, 데이터 수신 디바이스에 데이터를 송신하기 위해 광학 신호를 사용할 수 있다(예컨대, 디바이스(321)는 공기를 통해 또는 광섬유를 통해 송신된 광학 신호를 사용할 수 있다). 일부 실시예에서, 디바이스(301)는 센서(311A, 311B)로부터 수신된 데이터의 적어도 일부를 저장하기 위한 로컬 메모리를 포함할 수 있다. 추가적으로, 디바이스(301)는, 데이터를 데이터 수신 디바이스에 송신하기 전에 비디오/이미지 데이터를 압축하기 위한 프로세서를 포함할 수 있다.
다양한 실시예에서, 예컨대 디바이스(301)가 무선일 때, 내부 전원(예컨대, 배터리, 충전식 배터리 등) 및/또는 배터리를 재충전하기 위한 포트, 전원에 남아 있는 전력량을 표시하기 위한 표시자, 및 디바이스(301)의 동작을 제어하기 위한 하나 이상의 입력 컨트롤(예컨대, 버튼)을 포함할 수 있다. 일부 실시예에서, 디바이스(301)의 제어는, 임의의 적절한 연결(예컨대, WiFi, 블루투스 등)을 통해 디바이스(301)와 통신하는 외부 디바이스(예컨대, 스마트폰, 태블릿, 스마트 안경)를 사용하여 달성될 수 있다. 예시적인 실시예에서, 디바이스(301)에 대한 입력 컨트롤은 센서 또는 광원의 다양한 파라미터를 제어하는 데 사용될 수 있다. 예컨대, 입력 컨트롤은, 광원(313A 및 313B)을 어둡게(dim)/밝게 하거나, 광원이 이동될 수 있는 경우 광원을 이동시키고(예컨대, 광원은 요 및 피치 각도를 사용하여 회전될 수 있음), 광원의 컬러를 제어하거나, 광원의 포커싱을 제어하고, 카메라가 이동될 수 있는 경우(예컨대, 카메라는 요 및 피치 각도를 사용하여 회전될 수 있음) 카메라(311A 및 311B)의 모션을 제어하거나, 카메라(311A 및 311B)에 대한 줌 및/또는 캡처 파라미터를 제어하거나, 또는 카메라(311A-311B) 및 광원(313A-313B)의 임의의 다른 적절한 파라미터를 변경하는 데 사용될 수 있다. 카메라(311A)가 제1 세트의 파라미터를 가질 수 있고, 카메라(311B)가 제1 세트의 파라미터와 상이한 제2 세트의 파라미터를 가질 수 있고, 그리고 이러한 파라미터가 적절한 입력 컨트롤을 사용하여 선택될 수 있음을 주목해야 한다. 유사하게, 광원(313A)이 제1 세트의 파라미터 가질 수 있고, 광원(313B)이 제1 세트의 파라미터와 상이한 제2 세트의 파라미터 가질 수 있고, 그리고 이러한 파라미터가 적절한 입력 컨트롤을 사용하여 선택될 수 있다.
추가적으로, 기구(301)는, 팁(323A, 323B)을 통해 조직(331)의 다양한 속성과 관련된 데이터를 측정하고 측정된 데이터를 디바이스(321)에 송신하도록 구성될 수 있다. 예컨대, 팁(323A, 323B)은 조직(331)의 전기 저항 및/또는 임피던스, 조직(331)의 온도, 조직(331)의 기계적 속성 등을 측정하는데 사용될 수 있다. 조직(331)의 탄력성(elastic property)을 결정하기 위해, 예컨대, 팁(323A, 323B)은 먼저 각도(317)만큼 분리되어 조직(331)에 적용될 수 있다. 팁은, 이를테면, 각도(317)를 감소시키기 위해 이동하도록 구성될 수 있으며, 팁의 모션은 조직(331)에 압력을 가할 수 있다. 그러한 압력은, (예컨대, 기구(301)의 제1 분기부(312A)와 제2 분기부(312B) 사이에 위치될 수 있는 압전 엘리먼트(327)를 통해) 측정될 수 있으며, 각도(317)의 변화(즉, 스트레인) 및 측정된 압력(즉, 스트레스)에 기반하여, 조직(331)의 탄력성이 측정될 수 있다. 또한, 각도(317)에 기반하여, 팁(323A 및 323B) 간의 거리가 측정될 수 있고, 이 거리는 디바이스(321)로 송신될 수 있다. 이러한 거리 측정치는, 도 1에 도시된 바와 같이, 다양한 카메라(115, 121, 123 및 125)에 의해 캡처될 수 있는 다양한 비디오/이미지 데이터에 대한 길이 스케일로 사용될 수 있다.
기구(301)는, 가능한 수술 기구의 단지 일 예일뿐이며, 다른 수술 기구, 이를테면 해부용 칼, 그래스퍼(grasper)(예컨대, 겸자(forceps)), 클램프 및 가리개(occluder), 바늘, 견인기(retractor), 절단기(cutter), 확장기(dilator), 석션 팁(suction tip) 및 튜브, 밀봉 디바이스, 관개 및 주사 바늘, 스코프(scope) 및 프로브 등이 임의의 적절한 센서 및 발광원을 포함할 수 있다. 다양한 경우에서, 센서 및 발광원의 타입은 수술 절차에 사용되는 수술 기구의 타입에 따라 의존할 수 있다. 다양한 경우에, 이런 다른 수술 기구는, 도 3에 도시된 바와 같이, 데이터를 수집하여 임의의 적절한 데이터 수신 디바이스에 송신하기 위한, 디바이스(301)와 유사한 디바이스를 포함할 수 있다.
수술 절차를 준비할 때, 의사는 유사한 수술 이벤트를 갖는 수술 절차의 비디오 푸티지를 검토하는 것이 도움이 될 수 있다. 그러나, 의사가 전체 비디오를 보거나 수술 푸티지의 관련 부분을 여기저기 스킵하는 것은 너무 시간 소모적일 수 있다. 따라서, 의사가 효율적이고 효과적으로, 다른 관련 없는 푸티지는 생략하면서 관련 있는 수술 이벤트의 푸티지를 집계하는 수술 비디오 요약을 볼 수 있게 하는 신규한 접근법이 필요하다.
본 개시내용의 양상은, 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체를 포함하는, 수술 비디오를 검토하는 것에 관한 것일 수 있다. 인터페이스는, 의사가 수술 타임라인이 동시에 디스플레이되는 (자신의 수술, 다른 사람의 수술, 또는 편집물의) 수술 비디오를 검토하도록 허용할 수 있다. 타임라인은 수술 절차 동안 발생하는 활동이나 이벤트에 맞춰진(keyed) 마커를 포함할 수 있다. 이러한 마커는 의사가 특정 활동으로 스킵하도록 허용하고, 이로써 수술 절차의 검토가 간소화될 수 있다. 일부 실시예에서, 주요 의사 결정 분기점이 마킹될 수 있고, 의사는 이러한 의사 결정 분기점 포인트에서 취해진 대안적 액션을 볼 수 있다.
논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자적 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 다양한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따르면, 방법은 수술 절차의 적어도 하나의 비디오에 액세스하는 것을 수반할 수 있다. 위에서 더 상세히 설명된 바와 같이, 비디오는 기록된 이미지 및/또는 사운드를 포함하는, 임의의 형태의 기록된 시각적 매체를 포함할 수 있다. 비디오는, 비디오 파일(video file), 이를테면 AVI(Audio Video Interleave) 파일, FLV(Flash Video Format) 파일, MOV(QuickTime File Format), MPEG(MPG, MP4, M4P 등), Windows WMV(Media Video) 파일, MXF(Material Exchange Format) 파일, 또는 예컨대 위에서 설명된 것과 같은, 임의의 다른 적절한 비디오 파일 포맷(video file format)으로 저장될 수 있다.
수술 절차는, 환자의 신체에 대한 매뉴얼(manual) 또는 수술 절차와 연관된 또는 이를 수반하는 임의의 의료 절차를 포함할 수 있다. 수술 절차는, 절단, 삭마(abrading), 봉합술(suturing), 또는 신체 조직 및 장기를 물리적으로 변경하는 것을 수반하는 다른 기법을 포함할 수 있다. 이러한 수술 절차의 예는 위에서 제공되었다. 수술 절차의 비디오는, 수술 절차 동안 캡처되었던 그리고 수술 절차와 연관된 임의의 일련의 스틸 이미지를 포함할 수 있다. 일부 실시예에서, 수술 절차의 적어도 일부는 비디오에 포함된 스틸 이미지 중 하나 이상에 묘사될 수 있다. 예컨대, 수술 절차의 비디오는 수술실 또는 환자의 강(cavity)에서 카메라와 같은 이미지 캡처 디바이스에 의해 기록될 수 있다. 수술 절차의 비디오에 액세스하는 것은 저장 디바이스(이를테면, 하나 이상의 메모리 유닛, 비디오 서버, 클라우드 저장 플랫폼, 또는 임의의 다른 저장 플랫폼과 같은)로부터 비디오를 리트리브하는 것(retrieving), 통신 디바이스를 통해 다른 디바이스로부터 비디오를 수신하는 것, 이미지 센서를 사용하여 비디오 캡처하는 것, 또는 데이터 또는 파일에 전자식으로 액세스하기 위한 다른 수단을 포함할 수 있다.
본 개시내용의 일부 양상은 디스플레이를 위해 적어도 하나의 비디오가 출력되게 하는 것을 수반할 수 있다. 적어도 하나의 비디오를 출력하는 것은, 컴퓨터 또는 적어도 하나의 프로세서를 사용하여 비디오를 제작하거나, 전달하거나 또는 공급하는 임의의 프로세스를 포함할 수 있다. 본원에서 사용되는 바와 같이, "디스플레이"는, 비디오가 재생을 위해 사용자에게 제공될 수 있는 임의의 방식을 지칭할 수 있다. 일부 실시예에서, 비디오를 출력하는 것은, 디스플레이 디바이스, 이를테면 스크린(예컨대, OLED, QLED LCD, 플라즈마, CRT, DLPT, 전자 종이, 또는 유사한 디스플레이 기술), 광 프로젝터(예컨대, 영화 프로젝터, 슬라이드 프로젝터), 3D 디스플레이, 모바일 디바이스의 스크린, 전자 안경 또는 임의의 다른 형태의 시각적 및/또는 오디오 프리젠테이션을 사용하여 비디오를 제공하는 것을 포함할 수 있다. 다른 실시예에서, 디스플레이를 위해 비디오를 출력하는 것은, 하나 이상의 다른 컴퓨팅 디바이스에 의해 액세스가능한 위치에 비디오를 저장하는 것을 포함할 수 있다. 이러한 저장 위치는, 로컬 저장부(이를테면, 플래시 메모리의 하드 드라이브), 네트워크 위치(이를테면, 서버 또는 데이터베이스), 클라우드 컴퓨팅 플랫폼 또는 임의의 다른 액세스가능한 저장 위치를 포함할 수 있다. 비디오는, 별개의 컴퓨팅 디바이스 상에서의 디스플레이를 위해 별개의 컴퓨팅 디바이스로부터 액세스될 수 있다. 일부 실시예에서, 비디오를 출력하는 것은 비디오를 외부 디바이스로 송신하는 것을 포함할 수 있다. 예컨대, 디스플레이를 위해 비디오를 출력하는 것은 사용자 디바이스 상에서의 재생을 위해 네트워크를 통해 사용자 디바이스에 비디오를 송신하는 것을 포함할 수 있다.
본 개시내용의 실시예는, 디스플레이를 위해 출력된 적어도 하나의 비디오에, 수술 타임라인을 오버레이시키는 것을 더 포함할 수 있다. 본원에서 사용되는 바와 같이, "타임라인"은, 이벤트 시퀀스가 추적되거나 경계가 지정될 수 있는 임의의 묘사를 지칭할 수 있다. 일부 실시예에서, 타임라인은, 예컨대, 세장형 막대(elongated bar) 또는 막대를 따라 이벤트의 마커 또는 다른 표시자와 함께 시간을 표현하는 라인을 사용한, 이벤트의 그래픽 표현일 수 있다. 타임라인은 또한 연대순으로 정렬된 텍스트-기반 이벤트 리스트(text-based list of events)일 수 있다. 수술 타임라인은 수술과 연관된 이벤트를 표현하는 타임라인일 수 있다. 일 예로서, 수술 타임라인은, 위에서 상세히 설명된 바와 같이, 수술 절차 동안 발생하는 이벤트 또는 액션의 타임라인일 수 있다. 일부 실시예에서, 수술 타임라인은 수술 절차의 부분을 식별하는 텍스츄얼 정보(textual information)를 포함할 수 있다. 예컨대, 수술 타임라인은 수술중 수술 이벤트 또는 수술 절차 내의 수술 페이즈에 대한 설명의 리스트일 수 있다. 다른 실시예에서, 타임라인 상의 그래픽 마커 위를 호버링하거나 아니면 이를 작동시킴으로써, 마커와 연관된 디스크립터가 나타날 수 있다.
적어도 하나의 비디오 상에 수술 타임라인을 오버레이하는 것은, 수술 타임라인이 적어도 하나의 비디오와 동시에 보여질 수 있도록 수술 타임라인을 디스플레이하는 임의의 방식을 포함할 수 있다. 일부 실시예에서, 비디오를 오버레이하는 것은, 수술 타임라임이 비디오와 적어도 부분적으로 오버랩하도록 수술 타임라인을 디스플레이하는 것을 포함할 수 있다. 예컨대, 수술 타임라인은 비디오의 최상부 또는 최하부 따른 수평 막대로 또는 비디오의 측면을 따라 수직 막대로 제공될 수 있다. 다른 실시예에서, 오버레이하는 것은, 비디오와 함께 수술 타임라인을 제공하는 것을 포함할 수 있다. 예컨대, 비디오는, 비디오의 위, 아래 및/또는 측면에 제공되는 수술 타임라인과 함께 디스플레이 상에 제공될 수 있다. 비디오가 플레이되는 동안 수술 타임라인이 비디오에 오버레이될 수 있다. 따라서, 본원에서 사용되는 "오버레이하는 것"은, 보다 일반적으로, 동시에 디스플레이하는 것을 지칭한다. 동시 디스플레이는 일정할 수도 또는 일정하지 않을 수도 있다. 예컨대, 오버레이는 디스플레이된 비디오에 묘사된 수술 절차가 끝나기 전에 비디오 출력과 함께 나타날 수 있다. 또는, 오버레이는 거의 모든 비디오 절차 동안 나타날 수 있다.
도 4는 개시된 실시예에 따른 수술 절차의 비디오에 오버레이된 예시적인 타임라인(420)을 예시한다. 비디오는, 비디오의 하나 이상의 프레임을 순차적으로 디스플레이할 수 있는 비디오 재생 구역(410)에 제공될 수 있다. 도 4에 도시된 예에서, 타임라인(420)은 시간을 표현하는 수평 막대로 디스플레이될 수 있고, 막대의 가장 왼쪽 부분은 비디오의 개시 시간을 표현하고 막대의 가장 오른쪽 부분은 종료 시간을 표현한다. 타임라인(420)은 타임라인에 대한 비디오의 현재 재생 포지션을 표시하는 포지션 표시자(424)를 포함할 수 있다. 타임라인(420)의 컬러링된(colored) 구역(422)은 (예컨대, 사용자가 이미 본 비디오, 또는 현재 제공된 프레임 앞에 오는 비디오에 대응하는) 타임라인(420) 내에 진행상황(progress)을 표현할 수 있다. 일부 실시예에서, 포지션 표시자(424)는, 사용자가 포지션 표시자(424)를 이동시킴으로써 비디오 내의 상이한 포지션으로 이동시킬 수 있도록 상호작용할 수 있다. 일부 실시예에서, 수술 타임라인은, 수술 페이즈, 수술중 수술 이벤트, 및 의사 결정 분기점 중 적어도 하나를 식별하는 마커를 포함할 수 있다. 예컨대, 타임라인(420)은 하나 이상의 마커(432, 434, 및/또는 436)를 더 포함할 수 있다. 이러한 마커는 아래에 더 상세히 설명된다.
도 4에 도시된 예에서, 타임라인(420)은, 비디오 재생 구역(410)과 물리적으로, 시간적으로 또는 이 둘 다로 오버랩하도록 디스플레이될 수 있다. 일부 실시예에서, 타임라인(420)은 항상 디스플레이되지 않을 수 있다. 일 예로서, 타임라인(420)은, 사용자가 비디오를 보고 있는 동안 축소된(collapsed) 보기 또는 은닉된(hidden) 보기로 자동으로 전환할 수 있고, 사용자가 타임라인(420)과 상호작용하기 위한 액션을 취할 때 도 4에 도시된 확장된 보기로 돌아올 수 있다. 예컨대, 사용자는, 비디오를 보는 동안 마우스 포인터를 이동시키거나, 축소된 타임라인 위로 마우스 포인터를 이동시키거나, 마우스 포인터를 특정 구역으로 이동시키거나, 비디오 재생 구역을 클릭 또는 탭핑하거나, 또는 타임라인(420)과 상호작용하려는 의도를 표시할 수 있는 임의의 다른 액션을 수행한다. 위에서 논의된 바와 같이, 타임라인(420)은, 비디오 재생 구역(410)의 최상부 부분, 비디오 재생 구역(410) 위 또는 아래, 또는 컨트롤 막대(612) 내부를 포함하여, 비디오 재생 구역(410)에 관한 다양한 다른 위치에 디스플레이될 수 있다. 일부 실시예에서, 타임라인(420)은 비디오 진행 막대와 별개로 디스플레이될 수 있다. 예컨대, 포지션 표시자(424) 및 컬러링된 구역(422)을 포함하는 별개의 비디오 진행 막대가 제어 막대(412)에 디스플레이될 수 있고, 타임라인(420)은 수술 절차와 연관된 이벤트의 개별 타임라인일 수 있다. 이러한 실시예에서, 타임라인(420)은, 비디오 또는 비디오 진행 막대와 동일한 스케일 또는 시간 범위를 갖지 않을 수 있다. 예컨대, 비디오 진행 막대는 비디오의 시간 스케일 및 범위를 표현할 수 있는 반면, 타임라인(420)은 수술 절차의 시간 프레임을 표현할 수 있으며, 이는 동일하지 않을 수 있다(예컨대, 위에서 상세히 논의된 바와 같이, 비디오가 수술 요약을 포함하는 경우). 일부 실시예에서, 비디오 재생 구역(410)은 서치 아이콘(440)을 포함할 수 있으며, 이는, 도 7을 참조로 위에서 설명된 바와 같이, 사용자가, 예컨대, 사용자 인터페이스(700)를 통해 비디오 푸티지를 서치하게 허용할 수 있다. 도 4에 도시된 수술 타임라인은 단지 예로서 제공되며, 당업자는 사용될 수 있는 다양한 다른 구성을 인지할 것이다.
본 개시내용의 실시예는, 의사가, 적어도 하나의 비디오의 재생을 보면서 수술 타임라인 상의 하나 이상의 마커를 선택하고, 이로써, 비디오의 디스플레이로 하여금, 선택된 마커와 연관된 위치로 스킵하게 하는 것을 가능하게 하는 것을 더 포함할 수 있다. 본원에서 사용되는 바와 같이, "재생"은, 비디오의 하나 이상의 프레임이 사용자에게 디스플레이되는 비디오의 임의의 프리젠테이션을 포함할 수 있다. 통상적으로, 재생은, 동영상 및/또는 사운드를 재현하기 위해 이미지를 순차적으로 표시하는 것을 포함하지만, 재생은 또한 개별 프레임의 디스플레이를 포함할 수 있다.
개시된 실시예에 따라, "마커"는 수술 타임라인 내의 위치와 연관된 임의의 시각적 표시자를 포함할 수 있다. 위에서 설명된 바와 같이, 위치는 비디오 내의 임의의 특정 포지션을 지칭할 수 있다. 예컨대, 위치는 비디오의 특정 프레임 또는 프레임의 범위, 특정 타임스탬프, 또는 비디오 내의 포지션에 대한 임의의 다른 표시자일 수 있다. 마커는 다양한 방식으로 타임라인 상에 표현될 수 있다. 일부 실시예에서, 마커는 다양한 위치에서 타임라인을 따라 디스플레이되는 아이콘 또는 다른 그래픽 표현일 수 있다. 마커는 라인, 띠(band), 도트(dot), 기하학적 형상(이를테면, 다이아몬드형, 정사각형, 삼각형 또는 임의의 다른 형상), 버블(bubble) 또는 임의의 다른 그래픽 또는 시각적 표현으로 디스플레이될 수 있다. 일부 실시예에서, 마커는 텍스트-기반일 수 있다. 예컨대, 마커는 텍스츄얼 정보, 이를테면, 이름, 설명, 코드, 타임스탬프등을 포함할 수 있다. 다른 예에서, 수술 타임라인은 위에서 설명된 바와 같이, 리스트로 디스플레이될 수 있다. 그에 따라서, 마커는 비디오의 특정 위치를 지칭하는 텍스트-기반 타이틀 또는 설명을 포함할 수 있다. 마커(432, 434, 436)가 도 4에 예로 도시된다. 마커는 위치와 연관된 마커의 타입을 표시하는 아이콘을 포함하는 콜아웃 버블(callout bubble)로 표현될 수 있다. 마커는 비디오의 위치를 표시하는 타임라인(420)을 따라 특정 포인트를 가리킬 수 있다.
마커의 선택은, 특정 마커를 향한 사용자의 임의의 액션을 포함할 수 있다. 일부 실시예에서, 마커를 선택하는 것은, 사용자 인터페이스를 통해 마커를 클릭하거나 탭핑하는 것, 터치 감지 스크린 상에서 마커를 터치하는 것, 스마트 안경을 통해 마커를 응시하는 것, 음성 인터페이스를 통해 마커를 표시하는 것, 제스처로 마커를 표시하는 것, 또는 마커가 선택되게 하는 임의의 다른 액션을 취하는 것을 포함할 수 있다. 이로써, 마커의 선택은, 비디오의 디스플레이로 하여금, 선택된 마커와 연관된 위치로 스킵하게 할 수 있다. 본원에서 사용되는 바와 같이, 스킵하는 것은 비디오 내의 특정 프레임을 선택적으로 디스플레이하는 것을 포함할 수 있다. 이는, (예컨대, 비디오가 현재 플레이 중인 경우) 비디오의 현재 위치에서의 프레임의 디스플레이를 중지하는 것 및 선택된 마커와 연관된 위치에서 프레임을 디스플레이하는 것을 포함할 수 있다. 예컨대, 사용자가 도 4에 도시된 바와 같은 마커(432)를 클릭하거나 다른식으로 선택하면, 마커(432)와 연관된 위치에서의 프레임이 비디오 재생 구역(410)에 디스플레이될 수 있다. 일부 실시예에서, 비디오는 해당 위치에서 계속 플레이될 수 있다. 포지션 표시자(424)는 마커(432)와 연관된 타임라인(420) 내의 포지션으로 이동할 수 있고, 컬러링된 구역(422)이 그에 따라 업데이트될 수 있다. 본 실시예는 의사가 하나 이상의 마커를 선택할 수 있게 하는 것으로 설명되지만, 이는 단지 예일뿐이며, 본 개시내용이 임의의 형태의 사용자로 제한되지 않는다는 것이 이해된다. 수술 기술자, 간호사, 보조 의사(physician's assistant), 마취과 의사, 닥터(doctor) 또는 임의의 다른 의료 서비스 전문가뿐만 아니라 환자, 보험사, 의대생 등을 포함하는 다양한 다른 사용자가 오버레이된 타임라인을 보고 이와 상호작용할 수 있다. 사용자의 다른 예가 본원에서 제공된다.
본 개시내용의 다양한 실시예에 따라, 마커는 정해진 위치에서 비디오의 정보에 기반하여 자동으로 생성되어 타임라인에 포함될 수 있다. 일부 실시예에서, 비디오 푸티지의 프레임을 분석하고 타임라인의 다양한 위치에 포함할 마커를 식별하기 위해 컴퓨터 분석이 사용될 수 있다. 컴퓨터 분석은 컴퓨팅 디바이스를 사용하는 임의의 형태의 전자 분석을 포함할 수 있다. 일부 실시예에서, 컴퓨터 분석은 비디오 푸티지의 하나 이상의 프레임의 특징을 식별하기 위해 하나 이상의 이미지 인식 알고리즘을 사용하는 것을 포함할 수 있다. 컴퓨터 분석은, 개별 프레임에 대해 수행되거나 또는 예컨대 프레임 간의 모션 또는 다른 변화를 검출하기 위해 다수의 프레임에 걸쳐 수행될 수 있다. 일부 실시예에서, 컴퓨터 분석은 객체 검출 알고리즘, 이를테면 Viola-Jones 객체 검출, SIFT, HOG(histogram of oriented gradients) 특징, CNN(convolutional neural network), 또는 임의의 다른 형태의 객체 검출 알고리즘을 포함할 수 있다. 다른 예시적인 알고리즘은, 비디오 추적 알고리즘, 모션 검출 알고리즘, 특징 검출 알고리즘, 컬러-기반 검출 알고리즘, 텍스처 기반 검출 알고리즘, 형상 기반 검출 알고리즘, 부스팅 기반 검출 알고리즘, 얼굴 검출 알고리즘, 또는 비디오 프레임을 분석하기 위한 임의의 다른 적절한 알고리즘을 포함할 수 있다. 일 예에서, 머신 러닝 모델은 비디오에 대한 마커를 생성하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 비디오를 분석하고 해당 비디오에 대한 마커를 생성하는 데 사용될 수 있다. 이러한 생성된 마커는 마커에 대한 비디오 내의 위치, 마커의 타입, 마커의 속성 등을 포함할 수 있다. 이러한 트레이닝 예시의 예는, 생성될 원하는 마커의 리스트과 함께, 가능하게는 각각의 원하는 마커에 대한 정보(이를테면, 마커에 대한 비디오 내 위치, 마커의 타입, 마커의 속성 등)와 함께, 수술 절차의 적어도 일부를 묘사하는 비디오 클립을 포함할 수 있다.
이 컴퓨터 분석은, 수술 페이즈, 수술중 이벤트, 이벤트 특성, 및/또는 비디오 푸티지에 나타나는 다른 특징을 식별하는 데 사용될 수 있다. 예컨대, 일부 실시예에서, 컴퓨터 분석은, 위에서 설명된 바와 같이, 예컨대, 수술 절차에서 사용되는 하나 이상의 의료 기구를 식별하는 데 사용될 수 있다. 의료 기구의 식별에 기반하여, 특정 수술중 이벤트는 의료 기구와 연관된 비디오 푸티지의 위치에서 식별될 수 있다. 예컨대, 외과용 메스 또는 다른 기구는, 절개가 이루어지고 있음을 표시할 수 있으며, 절개를 식별하는 마커가 이 위치의 타임라인에 포함될 수 있다. 일부 실시예에서, 해부학적 구조는, 위에서 설명된 바와 같이, 예컨대, 컴퓨터 분석을 사용하여 비디오 푸티지에서 식별될 수 있다. 예컨대, 개시된 방법은, 타임라인에 포함할 마커 및 이 개개의 위치를 결정하기 위해, 환자의 장기, 조직, 체액 또는 환자의 다른 구조를 식별하는 것을 포함할 수 있다. 일부 실시예에서, 비디오 마커에 대한 위치는 의료 기구와 해부학적 구조 간의 상호작용에 기반하여 결정될 수 있으며, 이는 특정 수술중 이벤트, 수술 절차의 타입, 이벤트 특성, 또는 마커 위치를 식별하는 데 유용한 다른 정보를 표시할 수 있다. 예컨대, 시각적 액션 인식 알고리즘은, 비디오를 분석하고 의료 기구와 해부학적 구조 간의 상호작용을 검출하는 데 사용될 수 있다. 마커를 배치하기 위해 비디오 푸티지에서 검출될 수 있는 특징의 다른 예는, 의사 또는 다른 의료 전문가의 모션, 환자 특성, 의사 특성 또는 다른 의료 전문가의 특성, 수행되는 수술의 순서(sequences of operations), 수술 또는 이벤트의 타이밍(timing), 해부학적 구조의 특성, 의학적 상태, 또는 비디오 푸티지에서 나타나는 특정 수술 절차, 수술 페이즈, 수술중 이벤트 및/또는 이벤트 특성을 식별하는 데 사용할 수 있는 임의의 다른 정보를 포함할 수 있다.
일부 실시예에서, 마커 위치는 트레이닝된 머신 러닝 모델을 사용하여 식별될 수 있다. 예컨대, 머신 러닝 모델은 트레이닝 예시를 사용하여 트레이닝될 수 있으며, 각각의 트레이닝 예시는, 비디오 푸티지 내의 위치를 나타내는 라벨을 갖는, 수술 절차, 수술 페이즈, 수술중 이벤트 및/또는 이벤트 특성과 연관된 것으로 알려진 비디오 푸티지를 포함할 수 있다. 트레이닝된 머신 러닝 모델을 사용하여, 마커 위치를 결정하기 위해 다른 비디오 푸티지에서 유사한 페이즈 및 이벤트가 식별될 수 있다. 로지스틱 회귀 모델, 선형 회귀 모델, 회귀 모델, 랜덤 포레스트 모델, KNN(K-Nearest Neighbor) 모델, K-민즈 모델(K-Means model), 의사결정 트리(decision tree), cox 비례 위험 회귀 모델(cox proportional hazards regression model), 나이브 베이즈 모델(Nave Bayes model), SVM(Support Vector Machines) 모델, 경사 부스팅 알고리즘(gradient boosting algorithm), 인공 뉴럴 네트워크(이를테면, 깊은 뉴럴 네트워크, 컨볼루셔널 뉴럴 네트워크 등) 또는 임의의 다른 형태의 머신 러닝 모델 또는 알고리즘을 포함하는, 다양한 머신 러닝 모델이 사용될 수 있다.
일부 실시예에서, 비디오 마커는 위에서 논의된 비디오 인덱싱 기법과 함께 식별될 수 있다. 위에서 설명된 바와 같이, 비디오 푸티지는 비디오 푸티지에서 식별된 이벤트 특성, 수술중 이벤트, 및/또는 수술 페이즈에 기반하여 인덱싱될 수 있다. 이 정보는, 도 6을 참조하여 설명되는 바와 같이, 데이터 구조(600)와 같은 데이터 구조에 저장될 수 있다. 데이터 구조는 비디오 푸티지 내의 페이즈 및 이벤트와 연관된 푸티지 위치 및/또는 이벤트 위치를 포함할 수 있다. 일부 실시예에서, 타임라인에 디스플레이된 마커는 비디오에서의 이러한 위치에 대응할 수 있다. 그에 따라서, 위에서 설명된 비디오 푸티지를 인덱싱하기 위한 기술 또는 프로세스 중 임의의 것이, 타임라인에 제공할 마커 위치를 결정하기 위해 유사하게 적용될 수 있다.
본 발명의 다양한 예시적인 실시예에 따라, 마커는 컬러 또는 임계성 레벨(criticality level) 중 적어도 하나에 의해 코딩될 수 있다. 마커의 코딩은 마커의 타입, 속성 또는 특성의 표시자일 수 있다. 코딩은, 사용자가 비디오의 어느 위치가 관심있을지 시각적으로 결정하는 데 유용할 수 있다. 마커가 컬러로 코딩된 경우, 수술 타임라인 상에 디스플레이되는 마커의 컬러는 사전정의된 컬러 스킴에 기반하여 마커의 속성 또는 특성을 표시할 수 있다. 예컨대, 마커는, 마커가 표현하는 수술중 수술 이벤트의 타입이 어떤 것인지에 의존하여 상이한 컬러를 가질 수 있다. 일부 예시적인 실시예에서, 절개, 절제, 절제술, 결찰, 이식 또는 다양한 다른 이벤트와 연관된 마커는 각각 상이한 컬러로 디스플레이될 수 있다. 다른 실시예에서, 수술중 부작용은 하나의 컬러(예컨대, 적색)와 연관될 수 있으며, 계획된 이벤트는 다른 컬러(예컨대, 녹색)와 연관될 수 있다. 일부 실시예에서, 컬러 스케일이 사용될 수 있다. 예컨대, 부작용 이벤트의 심각도는, 노란색에서 적색 범위의 컬러 스케일로 또는 다른 적절한 컬러 스케일로 표현될 수 있다.
일부 실시예에서, 마커의 위치 및/또는 사이즈는 임계성 레벨과 연관될 수 있다. 임계성 레벨은 마커에 의해 식별된 이벤트, 액션, 기법, 페이즈 또는 다른 발생의 상대적 중요성을 나타낼 수 있다. 그에 따라서, 본원에서 사용되는 바와 같이, "임계성 레벨"이라는 용어는, 수술 절차 내에서 위험 결과를 방지하기 위한 액션에 대한 즉각적인 필요성의 임의의 측정치를 지칭한다. 예컨대, 임계성 레벨은, 예컨대, 특정 범위 값 내에서의 수치적 측정치(이를테면, "1.12", "3.84", "7", "-4.01" 등)를 포함할 수 있다. 다른 예에서, 임계성 레벨은 유한한 수의 이산(discrete) 레벨(이를테면, "레벨 0(Level 0)", "레벨 1(Level 1)", "레벨 2(Level 2)", "높은 임계성(High Criticality)", "낮은 임계성(Low Criticality)", "임계성 없음(Non Critical)" 등)을 포함할 수 있다.
정보를 표현하기 위한 마커의 모양(appearance)을 구별하기 위한 하나의 예로서 컬러가 제공되지만, 다양한 다른 기법이 사용될 수 있다. 예컨대, 마커는 다양한 크기, 형상, 포지션, 배향, 폰트 사이즈, 폰트 타입, 폰트 컬러, 마커 애니메이션(marker animation) 또는 다른 시각적 속성을 가질 수 있다. 일부 실시예에서, 마커는, 이와 연관되는 이벤트의 타입, 액션 또는 페이즈에 따라 상이한 아이콘과 연관될 수 있다. 예컨대, 도 4에 도시된 바와 같이, 의사 결정 분기점과 연관될 수 있는 마커(432)는, 합병증과 같은 다른 타입의 이벤트와 연관될 수 있는, 마커(434)와 상이한 아이콘을 가질 수 있다. 아이콘은 해당 위치와 연관된 수술중 이벤트의 타입을 표현할 수 있다. 예컨대, 마커(436)는, 비디오에서의 이 위치에서 절개가 발생함을 표시할 수 있다. 아이콘(또는 다른 시각적 속성)은, 계획되지 않은 이벤트와 계획된 이벤트, 에러(error)의 타입(예컨대, 잘못된 통신 에러, 판정 에러 또는 다른 형태의 에러), 발생한 특정 부작용 이벤트, 수행 중인 기술 타입, 수행되는 수술 페이즈, 수술중 수술 이벤트의 위치(예컨대, 복부 벽 등), 수술을 수행하는 의사, 수술 절차의 결과, 또는 다양한 다른 정보를 구별하는 데 사용될 수 있다.
일부 예시적인 실시예에서, 하나 이상의 마커는 수술 절차의 의사 결정 분기점에 대응하는 의사 결정 분기점 마커를 포함할 수 있다. 일부 실시예에서, 이러한 의사 결정 분기점 마커는 다른 형태 또는 타입의 마커와 시각적으로 구별될 수 있다. 예시적인 예로서, 의사 결정 분기점 마커는 마커(432)에 의해 도 4에 도시된 바와 같이, 위치가 의사 결정 분기점과 연관됨을 표시하는 아이콘을 가질 수 있다. 본원에서 사용되는 바와 같이, 의사 결정 분기점은 절차 중, 의사결정이 내려진 또는 선택된 타입의 의사결정 중의 의사결정 또는 복수의 선택된 타입의 의사결정 중의 의사결정이 내려지는 임의의 부분을 지칭할 수 있다. 예컨대, 의사 결정 분기점 마커는 다수의 액션 방침(course of action)이 가능한 수술 절차를 묘사하는 비디오의 위치를 표시할 수 있으며, 의사는 다른 방침에 비해 한 방침을 따르기로 선택한다. 예컨대, 의사는 계획된 수술 절차에서 벗어날지, 예방 액션을 취할지, 장기나 조직을 제거할지, 특정 기구를 사용할지, 특정 수술 기법을 사용할지, 또는 의사가 접할 수 있는 임의의 다른 수술중 의사결정을 판단할 수 있다. 일 예로, 의사 결정 분기점은 절차의 결과에 중대한 영향을 미치는 의사결정이 내려지는 절차의 부분을 지칭할 수 있다. 또 다른 예에서, 의사 결정 분기점은 명확한 의사 결정 가이드라인(guideline)이 없는 의사결정이 내려져야 하는 절차의 부분을 지칭할 수 있다. 또 다른 예에서, 의사 결정 분기점은, 의사가 2개 이상의 실행가능한 대안에 직면하고 그리고 2개 이상의 실행가능한 대안 중 더 나은 대안(예컨대, 특정 위험을 감소시킬 것으로 예측되는 대안, 결과를 개선할 것으로 예측되는 대안, 비용을 감소시킬 것으로 예측되는 대안 등)을 선택하는 것이 적어도 특정 수의 팩터(factor)에 기반하는(예컨대, 적어도 2개의 팩터에, 적어도 5개의 팩터에, 적어도 10개 팩터에, 적어도 100개 팩터 등에 기반하는) 절차의 부분을 지칭할 수 있다. 추가적인 예에서, 의사 결정 분기점은, 의사가 특정 타입의 의사결정에 직면하고 그리고 특정 타입이 선택된 의사결정 타입의 그룹에 포함되는 절차의 부분을 지칭할 수 있다.
의사 결정 분기점은 위에서 설명된 컴퓨터 분석을 사용하여 검출될 수 있다. 일부 실시예에서, 비디오 푸티지는, 의사결정이 내려졌음을 표시할 수 있는, 의사에 의해 수행되는 특정 액션 또는 액션 시퀀스를 식별하기 위해 분석될 수 있다. 예컨대, 의사가 절차 중에 일시중지하거나, 상이한 의료 디바이스를 사용하기 시작하거나, 상이한 액션 방침으로 변경하는 경우, 이는 의사결정이 내려졌음을 표시할 수 있다. 일부 실시예에서, 의사 결정 분기점은, 해당 위치의 비디오 푸티지에서 식별된 수술 페이즈 또는 수술중 이벤트에 기반하여 식별될 수 있다. 예컨대, 출혈과 같은 부작용 이벤트가 검출될 수 있으며, 이는 부작용 이벤트를 처리하는 방법에 대한 의사결정이 내려져야 함을 표시할 수 있다. 다른 예로서, 수술 절차의 특정 페이즈는 다수의 가능한 액션 방침과 연관될 수 있다. 그에 따라서, 비디오 푸티지에서 이 수술 페이즈를 검출하는 것은 의사 결정 분기점을 표시할 수 있다. 일부 실시예에서, 트레이닝된 머신 러닝 모델은 의사 결정 분기점을 식별하는 데 사용될 수 있다. 예컨대, 머신 러닝 모델은 비디오에서 의사 결정 분기점을 검출하기 위해 트레이닝 예를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 비디오를 분석하고 의사 결정 분기점을 검출하는 데 사용될 수 있다. 그러한 트레이닝 예시의 예는, 비디오 클립 내에서 의사 결정 분기점의 위치를 표시하는 라벨과 또는 비디오 클립에서 의사 결정 분기점의 부재(absent)를 표시하는 라벨과 함께, 비디오 클립을 포함할 수 있다.
의사 결정 분기점 마커의 선택은, 의사가 2개 이상의 대응하는 다른 수술 절차로부터 2개 이상의 대안적 비디오 클립을 보는 것을 가능하게 할 수 있고, 이로써, 뷰어(viewer)가 대안적 접근법을 비교하는 것을 가능하게 한다. 대안적 비디오 클립은, 현재 사용자에게 디스플레이되고 있는 것 이외의 절차를 예시하는 임의의 비디오 클립일 수 있다. 이러한 대안은 디스플레이를 위해 출력되는 현재 비디오에 포함되지 않은 다른 비디오 푸티지로부터 도출될 수 있다. 대안적으로, 현재 비디오 푸티지가 다양한 절차의 편집물을 포함하면, 디스플레이되는 현재 비디오 푸티지의 다양한 위치에서 대안적 푸티지가 도출될 수 있다. 다른 수술 절차는 디스플레이를 위해 출력되는 현재 비디오에 묘사된 특정 절차 이외의 수술 절차일 수 있다. 일부 실시예에서, 다른 수술 절차는 디스플레이를 위해 출력되는 비디오에 묘사된 동일한 타입의 수술 절차일 수 있지만, 상이한 시간에, 상이한 환자에 대해, 그리고/또는 상이한 의사에 의해 수행될 수 있다. 일부 실시예에서, 다른 수술 절차는 동일한 타입의 절차가 아닐 수 있지만, 의사 결정 분기점 마커에 의해 식별된 것과 동일하거나 유사한 의사 결정 분기점을 공유할 수 있다. 일부 실시예에서, 2개 이상의 비디오 클립은 다양한 행동방식을 제공할 수 있다. 예컨대, 2개 이상의 비디오 클립은, 의사 결정 분기점 마커에 의해 표현되는 바와 같이, 현재 비디오에서 취해진 것 이외의 대안적 액션 선택을 표현할 수 있다.
대안적 비디오 클립은 다양한 방식으로 제공될 수 있다. 일부 실시예에서, 의사 결정 분기점 마커를 선택하는 것은 자동으로 2개 이상의 대안적 비디오 클립의 디스플레이를 유발할 수 있다. 예컨대, 대안적 비디오 클립 중 하나 이상이 비디오 재생 구역(410)에 디스플레이될 수 있다. 일부 실시예에서, 비디오 재생 구역은 하나 이상의 대안적 비디오 클립 및/또는 현재 비디오를 보여주기 위해 나뉘거나 분할될 수 있다. 일부 실시예에서, 대안적 비디오 클립은, 비디오 재생 구역(410)의 위, 아래 또는 측면과 같은 다른 구역에 디스플레이될 수 있다. 일부 실시예에서, 대안적 비디오 클립은 제2 윈도우(window)에, 다른 스크린 상에, 또는 재생 구역(410) 이외의 임의의 다른 공간에 디스플레이될 수 있다. 다른 실시예에 따라, 결정 마커를 선택하는 것은 메뉴를 열거나 아니면 대안적 비디오 클립을 보기 위한 옵션을 디스플레이할 수 있다. 예컨대, 의사결정 명명 마커를 선택하는 것은 연관된 대안적 비디오 클립의 행동방식 설명을 보유하는 대안적 비디오 메뉴를 팝업시킬 수 있다. 대안적 비디오 클립은 썸네일, 텍스트-기반 설명, 비디오 미리보기(preview)(예컨대, 더 작은 해상도 버전 또는 단축된 클립의 플레이) 등으로 제공될 수 있다. 메뉴는 비디오에 오버레이되거나, 비디오와 함께 디스플레이되거나, 또는 별개의 영역에 디스플레이될 수 있다.
본 개시내용의 실시예에 따라, 의사 결정 분기점 마커의 선택은, 선택된 의사 결정 분기점 마커와 관련된 하나 이상의 대안적인 가능한 의사결정의 디스플레이를 유발할 수 있다. 대안적 비디오와 유사하게, 대안적인 가능한 의사결정은 타임라인 및/또는 비디오 상에 오버레이될 수 있거나, 또는 비디오의 위, 아래 및/또는 측면과 같은 별개의 구역에, 별개의 윈도우에, 별개의 스크린 상에, 또는 임의의 다른 적절한 방식으로 디스플레이될 수 있다. 대안적인 가능한 의사결정은, 의사가 의사 결정 분기점에서 내릴 수 있는 대안적 의사결정의 리스트일 수 있다. 리스트는 또한, (예컨대, 대안적 액션을 묘사하는) 이미지, 흐름도, 통계(예컨대, 성공률, 실패율, 사용률 또는 다른 통계 정보), 상세한 설명, 하이퍼링크, 또는 재생을 보는 의사와 관련될 수 있는 대안적인 가능한 의사결정과 연관된 다른 정보를 포함할 수 있다. 그러한 리스트는 상호작용식일 수 있으며, 이는, 뷰어가 리스트에서 대안적 액션 방침을 선택하는 것을 가능하게 하며, 이로써 대안적 액션 방침의 비디오 푸티지가 디스플레이되게 한다.
또한, 일부 실시예에서, 하나 이상의 대안적인 가능한 의사결정과 연관된 하나 이상의 추정된 결과가 하나 이상의 대안적인 가능한 의사결정의 디스플레이와 함께 디스플레이될 수 있다. 예컨대, 대안적인 가능한 의사결정의 리스트는 대안적인 가능한 의사결정 각각의 추정된 결과를 포함할 수 있다. 추정된 결과는, 의사가 대안적인 가능한 의사결정을 내린 경우 발생할 것으로 예측되는 결과를 포함할 수 있다. 이러한 정보는 트레이닝 목적에 도움이 될 수 있다. 예컨대, 의사는, 비디오에서의 것보다 더 적절한 액션이 취해질 수 있다는 것을 결정하고 그에 따라 향후 절차를 계획할 수 있다. 일부 실시예에서, 대안적인 가능한 의사결정 각각은 다수의 추정된 결과와 연관될 수 있고, 각각의 확률이 제공될 수 있다. 하나 이상의 추정된 결과는 다양한 방식으로 결정될 수 있다. 일부 실시예에서, 추정된 결과는 대안적인 가능한 의사결정과 연관된 알려진 확률에 기반할 수 있다. 예컨대, 유사한 의사 결정 분기점이 있는 이전 수술 절차로부터 집계된 데이터는, 마커와 연관된 대안적인 가능한 의사결정의 결과를 예측하는 데 사용될 수 있다. 일부 실시예에서, 확률 및/또는 데이터는 현재 수술 절차의 하나 이상의 특성 또는 속성에 맞춰질 수 있다. 예컨대, 환자 특성(이를테면, 환자의 의학적 상태, 나이, 체중, 병력 또는 다른 특성), 의사 스킬 레벨, 절차의 난이도, 절차 타입, 또는 다른 팩터가 추정된 결과를 결정하는 데 고려될 수 있다. 비디오 인덱싱과 관련하여 위에서 설명된 이벤트 특성을 포함하여, 다른 특성이 또한 분석될 수 있다.
본 개시내용에 따르면, 수술 절차의 의사 결정 분기점은 제1 환자와 연관될 수 있고, 개개의 유사한 의사 결정 분기점은 제1 환자와 유사한 특성을 가진 환자와 연관된 과거 수술 절차로부터 선택될 수 있다. 과거 수술 절차는, 개개의 유사한 의사 결정 분기점과 유사한 추정된 결과에 기반하여 또는 현재 비디오의 환자와 과거 수술 절차의 환자 간의 유사성으로 인해, 사전선택되거나 또는 자동으로 선택될 수 있다. 이러한 유사성 또는 특성은, 환자의 성별, 나이, 체중, 키, 체력, 심박수, 혈압, 온도, 환자가 특정 의학적 상태 또는 질환을 나타내는지 여부, 의료 치료 이력, 또는 관련있을 수 있는 임의의 다른 특색 또는 조건을 포함할 수 있다.
유사하게, 일부 실시예에서, 수술 절차의 의사 결정 분기점은 제1 의료 전문가와 연관될 수 있고, 개개의 유사한 과거 의사 결정 분기점은 제1 의료 전문가와 유사한 특성을 갖는 의료 전문가와 연관된 과거 수술 절차로부터 선택될 수 있다. 이러한 특성은, 이로 제한되는 것은 아니지만, 의료 전문가의 나이, 의학적 배경, 경험 레벨(예컨대, 의사가 이러한 또는 유사한 수술 절차를 수행한 횟수, 의사가 수행한 총 수술 절차 횟수 등), 스킬 레벨, 트레이닝 이력, 이러한 또는 다른 수술 절차에 대한 성공률, 또는 관련될 수 있는 다른 특성을 포함할 수 있다.
일부 예시적인 실시예에서, 수술 절차의 의사 결정 분기점은 수술 절차의 제1 이전 이벤트와 연관되고, 유사한 과거 의사 결정 분기점은 제1 이전 이벤트와 유사한 이전 이벤트를 포함하는 과거 수술 절차로부터 선택된다. 일 예에서, 이전 이벤트는 예컨대, 이전 이벤트의 타입, 이전 이벤트의 특성 등에 기반하여 제1 이전 이벤트와 유사하도록 결정될 수 있다. 예컨대, 이전 이벤트는, 둘 사이의 유사성 측정치가 선택된 임계치를 초과할 때 제1 이전 이벤트와 유사한 것으로 결정될 수 있다. 이러한 유사성 측정치의 일부 비-제한적인 예가 위에서 설명되었다. 이전 이벤트의 발생 및/또는 특성은 대안적인 가능한 의사결정에 대한 추정된 결과를 결정하는 데 관련될 수 있다. 예컨대, 의사가 환자에 대한 합병증을 마주하게 되면, 합병증은 적어도 부분적으로는 가장 적절한 결과에 대해 결정력이 있는 반면, 합병증이 없는 경우는 다른 결과가 적절할 수 있다. 제1 이전 이벤트는, 이로 제한되는 것은 아니지만, 위에서 상세히 설명된 수술중 이벤트 중 임의의 것을 포함할 수 있다. 제1 이전 이벤트의 일부 비-제한적인 특성은 위에서 설명된 이벤트 특성 중 임의의 것을 포함할 수 있다. 예컨대, 제1 이전 이벤트는 부작용 이벤트 또는 합병증, 이를테면, 출혈, 장간막 폐기종, 상해, 계획되지 않은 개복술로의 변환, 계획된 것보다 상당히 큰 절개, 고혈압, 저혈압, 서맥, 저산소혈증, 유착, 탈장, 비정형 해부학, 경막 찢어짐(dural tear), 천공(periorator) 상해, 동맥 폐색 등을 포함할 수 있다. 제1 이전 이벤트는 또한, 성공적인 절개, 약물 투여, 수술 기구 사용, 절제, 절제술, 결찰, 이식, 봉합술, 스티칭(stitching) 또는 임의의 다른 이벤트와 같은 긍정적인 또는 계획된 이벤트가 포함할 수 있다.
본 개시에 따르면, 수술 절차의 의사 결정 분기점은 의학적 상태와 연관될 수 있고, 개개의 유사한 의사 결정 분기점은 유사한 의학적 상태를 가진 환자와 연관된 과거 수술 절차로부터 선택될 수 있다. 의학적 상태는 환자의 건강 또는 웰빙(well-being)과 관련된 환자의 임의의 상태를 포함할 수 있다. 일부 실시예에서, 의학적 상태는 수술 절차에 의해 치료되는 상태일 수 있다. 다른 실시예에서, 의학적 상태는 별개의 의학적 상태일 수 있다. 의학적 상태는 다양한 방식으로 결정될 수 있다. 일부 실시예에서, 의학적 상태는 복수의 비디오와 연관된 데이터에 기반하여 결정될 수 있다. 예컨대, 비디오는 의학적 상태를 포함하는 정보로 태깅될 수 있다. 다른 실시예에서, 의학적 상태는 적어도 하나의 비디오의 분석에 의해 결정될 수 있고, 적어도 하나의 비디오에 나타나는 해부학적 구조의 모양에 기반할 수 있다. 예컨대, 조직의 컬러, 다른 조직의 컬러에 대한 한 조직의 상대적인 컬러, 장기의 사이즈, 다른 장기의 사이즈에 대한 한 장기의 상대적인 사이즈, 쓸개 또는 다른 장기의 모양, 열상(laceration) 또는 다른 마크의 존재, 또는 해부학적 구조와 연관된 임의의 다른 시각적 표시자가 의학적 상태를 결정하기 위해 분석될 수 있다. 일 예에서, 머신 러닝 모델은 비디오로부터 의학적 상태를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 적어도 하나의 비디오 푸티지를 분석하고 의학적 상태를 결정하기 위해 사용될 수 있다. 이러한 트레이닝 예시의 예는, 하나 이상의 의학적 상태를 표시하는 라벨과 함께, 수술 절차의 비디오 클립을 포함할 수 있다.
본 개시내용의 일부 양상에서, 개개의 유사한 과거 의사 결정 분기점에서 이루어진 과거 의사결정의 분포와 관련된 정보는 대안적인 가능한 의사결정의 디스플레이와 함께 디스플레이될 수 있다. 예컨대, 위에서 설명된 바와 같이, 특정 의사 결정 분기점은 액션 방침에 대한 다수의 가능한 의사결정과 연관될 수 있다. 과거 의사결정은, 이전의 수술 절차에서 동일하거나 유사한 의사 결정 분기점에 직면했을 때 의사가 내린 결정을 포함할 수 있다. 예컨대, 과거 의사결정 각각은 위에서 설명된 대안적인 가능한 의사결정 중 하나에 대응할 수 있다. 그에 따라서, 본원에서 사용되는 바와 같이, 개개의 유사한 과거 의사 결정 분기점은 과거 의사결정이 내려졌을 때 과거 수술 절차에서 발생한 의사 결정 분기점을 지칭한다. 일부 실시예에서, 개개의 유사한 과거 의사 결정 분기점은 마커에 의해 식별된 의사 결정 분기점과 동일할 수 있다. 예컨대, 의사 결정 분기점이 출혈과 같은 부작용 이벤트인 경우, 과거 의사결정은 다른 의사가 이전 수술 절차에서 출혈을 처리한 방법에 대응할 수 있다. 다른 실시예에서, 의사 결정 분기점은 동일하지 않을 수 있지만, 유사할 수 있다. 예컨대, 경막 찢어짐에 직면한 의사가 내릴 수 있는 가능한 의사결정은 다른 형태의 찢어짐과 유사할 수 있으며, 그에 따라서, 경막 찢어짐과 연관 과거 의사결정의 분포는 다른 형태의 찢어짐과 관련될 수 있다. 과거 의사결정은, 예컨대, 위에서 설명된 컴퓨터 분석 기법을 사용하여 비디오 푸티지를 분석함으로써 식별될 수 있다. 일부 실시예에서, 과거 의사결정은 위에서 설명된 비디오 인덱싱 기법을 사용하여 인덱싱되며, 이로써 과거 의사결정은, 과거 의사결정의 분포를 디스플레이하기 위해 쉽게 액세스될 수 있다. 일 예에서, 분포는, 예컨대, 공통 속성을 갖는 개개의 유사한 과거 의사 결정 분기점에서 내려진 과거 의사결정의 분포를 제공하는 조건부 분포(conditional distribution)를 포함할 수 있다. 다른 예에서, 분포는, 예컨대, 개개의 유사한 과거 의사 결정 분기점에서 내려진 과거 의사결정의 분포를 제공하는 비조건부 분포(unconditional distribution)를 포함할 수 있다.
디스플레이된 분포는, 가능한 의사결정 각각이 개개의 유사한 과거 의사 결정 분기점과 연관된 다른 대안적인 가능한 의사결정 사이에서 얼마나 공통되는지를 표시할 수 있다. 일부 실시예에서, 디스플레이된 분포는 의사결정 각각이 내려진 횟수를 포함할 수 있다. 예컨대, 특정 의사 결정 분기점은, 의사결정 A, 의사결정 B 및 의사결정 C의 3가지 대안적인 가능한 의사결정을 가질 수 있다. 유사한 의사 결정 분기점에서 내려진 과거 의사결정에 기반하여, 이러한 대안적인 가능한 의사결정 각각이 수행된 횟수가 결정될 수 있다. 예컨대, 의사결정 A는 167번 수행되었을 수 있고, 의사결정 B는 47번 수행되었을 수 있고, 의사결정 C는 13번 수행되었을 수 있다. 분포는, 대안적인 가능한 의사결정이 수행된 횟수와 함께, 이 대안적인 가능한 의사결정 각각의 리스트로서 디스플레이될 수 있다. 디스플레이된 분포는 또한, 예컨대 비율, 백분율 또는 다른 통계 정보를 디스플레이함으로써 의사결정 각각의 상대적 빈도를 표시할 수 있다. 예컨대, 분포는, 의사결정 A, B 및 C가, 각각, 과거 의사결정의 73.6%, 20.7% 및 5.7%에서 수행되었음을 표시할 수 있다. 일부 실시예에서, 분포는, 막대 그래프, 히스토그램, 파이 차트, 분포 곡선, 또는 분포를 도시하기 위해 사용될 수 있는 임의의 다른 그래픽 표현과 같은, 분포의 그래픽 표현으로 디스플레이될 수 있다.
일부 실시예에서, 의사결정의 서브세트만이 디스플레이될 수 있다. 예컨대, 의사결정이 내려진 횟수(예컨대, 임계 횟수 초과 등)에 기반하여 가장 일반적인 의사결정만이 디스플레이될 수 있다. 유사한 의학적 상태, 환자 특성, 의료 전문가 특성 및/또는 이전 이벤트과 관련된 수술 절차를 식별하는 것을 포함하는, 위에서 설명된 유사한 과거 의사 결정 분기점을 식별하기 위한 다양한 방법이 사용될 수 있다.
일부 실시예에서, 하나 이상의 추정된 결과는, 개개의 유사한 의사 결정 분기점을 포함하는 과거 수술 절차의 복수의 비디오의 분석 결과일 수 있다. 예컨대, 비디오 푸티지의 저장소는, 마커에 의해 식별된 의사 결정 분기점과 동일하거나 이와 유사한 특성을 공유하는 의사 결정 분기점 포함하는 비디오를 식별하기 위해, 위에서 설명된 객체 및/또는 모션 검출 알고리즘과 같은 다양한 컴퓨터 분석 기법을 사용하여 분석될 수 있다. 이는, 타임라인에 제공된 비디오에서 의사 결정 분기점을 식별하는 데 사용된 것과 동일하거나 유사한 수술 페이즈, 수술중 수술 이벤트 및/또는 이벤트 특성을 갖는 다른 비디오 푸티지를 식별하는 것이 포함될 수 있다. 대안적인 가능한 의사결정의 결과는 과거 수술 절차의 결과에 기반하여 추정될 수 있다. 예컨대, 봉합을 수행하는 특정 방법이 일관되게 환자의 완전한 회복을 가져온다면, 이 결과는 이 가능한 의사결정에 대해 추정될 수 있고 타임라인에 디스플레이될 수 있다.
일부 예시적인 실시예에서, 분석은 컴퓨터 비전 알고리즘의 구현의 사용을 포함할 수 있다. 컴퓨터 비전 알고리즘은, 위에서 설명된 컴퓨터 비전 알고리즘 중 임의의 것과 동일하거나 유사할 수 있다. 그러한 컴퓨터 알고리즘의 일 예는, 위에서 설명된 객체 검출 및 추적 알고리즘을 포함할 수 있다. 이러한 컴퓨터 비전 알고리즘의 다른 예는 트레이닝된 머신 러닝 모델의 사용을 포함할 수 있다. 이러한 컴퓨터 비전 알고리즘의 다른 비-제한적인 예가 위에서 설명되었다. 예컨대, 의사 결정 분기점 마커가 비디오에서 발생하는 특정 부작용 이벤트에 기반하여 식별된 경우, 동일하거나 유사한 부작용 이벤트를 갖는 다른 비디오 푸티지가 식별될 수 있다. 비디오 푸티지는 추가로, 과거 수술 비디오에서 내려진 의사결정의 결과를 결정하기 위해 분석될 수 있다. 이는, 위에서 설명된 동일하거나 유사한 컴퓨터 분석 기법을 포함할 수 있다. 일부 실시예에서, 이는 의사결정의 결과를 식별하기 위해 비디오를 분석하는 것을 포함할 수 있다. 예컨대, 의사 결정 분기점이 해부학적 구조와 연관된 부작용 이벤트, 이를테면 찢어짐과 연관되면, 해부학적 구조는, 부작용 이벤트가 교정되었는지 여부, 얼마나 빨리 교정되었는지, 추가적인 부작용 이벤트가 발생했는지 여부, 환자가 생존했는지 여부 또는 결과의 다른 표시자를 결정하기 위해, 의사결정한 후 다양한 프레임에서 평가될 수 있다.
일부 실시예에서, 결과를 결정하기 위해 추가적인 정보가 또한 사용될 수 있다. 예컨대, 분석은 과거 수술 절차의 복수의 비디오와 연관된 하나 이상의 전자 의료 기록에 기반할 수 있다. 예컨대, 결과를 결정하는 것은, 환자가 회복되었는지 여부, 환자가 얼마나 빨리 회복했는지, 추가적인 합병증이 있었는지 여부 등을 결정하기 위해, 특정 의사결정이 내려진 비디오와 연관된 전자 의료 기록을 참조하는 것을 포함할 수 있다. 이러한 정보는, 비디오 푸티지의 범위를 벗어나, 나중에 발생할 수 있는 결과를 예측하는 데 유용할 수 있다. 예컨대, 결과는 수술 절차 후 며칠, 몇 주 또는 몇 달이 될 수 있다. 일부 실시예에서, 추가적인 정보는 분석에 포함할 비디오의 분석을 알리는 데 사용될 수 있다. 예컨대, 의료 기록으로부터 수집된 정보를 사용하여 유사한 환자 병력, 질환 타입, 진단 타입, 치료 이력(과거 수술 절차 포함), 의료 서비스 전문가 신원, 의료 서비스 전문가 스킬 레벨, 또는 다른 관련 데이터를 공유하는 비디오가 식별될 수 있다. 이러한 특성 또는 다른 특성을 공유하는 비디오는, 각각의 대안적인 가능한 의사결정에 대해 어떤 결과를 기대할 수 있는지에 대한 보다 정확한 아이디어를 제공할 수 있다.
유사한 의사 결정 분기점은 현재 의사 결정 분기점과 얼마나 밀접하게 상관되어 있는지에 기반하여 식별될 수 있다. 일부 실시예에서, 개개의 유사한 의사 결정 분기점은 유사성 메트릭(similarity metric)에 따라 수술 절차의 의사 결정 분기점과 유사할 수 있다. 메트릭은 의사 결정 분기점이 얼마나 밀접하게 관련되어 있는지에 대한 임의의 값, 분류 또는 다른 표시자일 수 있다. 그러한 메트릭은, 절차 또는 기법이 얼마나 밀접하게 매칭하는지를 결정하기 위해 컴퓨터 비전 분석에 기반하여 결정될 수 있다. 메트릭은 또한, 의사 결정 분기점이 공통적으로 갖는 특성의 수 및 특성이 매칭하는 정도에 기반하여 결정될 수 있다. 예컨대, 유사한 의학적 상태 및 신체적 특성을 갖는 환자와의 2개 의사 결정 분기점에는, 유사성 메트릭에 기반하여 2명 이상의 구별되는 환자보다 더 높은 유사성이 할당될 수 있다. 다양한 다른 특성 및/또는 고려사항이 또한 사용될 수 있다. 추가적으로 또는 대안적으로, 유사성 메트릭은 위에서 설명된 유사성 측정치와 같은 임의의 유사성 측정치에 기반할 수 있다. 예컨대, 유사성 메트릭은, 유사성 측정치와 동일할 수 있고, 유사성 측정치의 함수일 수 있는 식인 것 등이다.
다양한 다른 마커 타입이 의사 결정 분기점 마커에 부가하여 또는 이 대신에 사용될 수 있다. 일부 실시예에서, 마커는 수술중 이벤트 마커를 포함할 수 있으며, 이는 수술중 이벤트의 발생과 연관된 비디오에서의 위치와 연관될 수 있다. 마커에 의해 식별될 수 있는 다양한 수술중 수술 이벤트의 예는, 위에서 설명된 비디오 인덱싱에 대한 것을 포함하여 본 개시내용 전반에 걸쳐 제공된다. 일부 실시예에서, 수술중 수술 이벤트 마커는 수술중 수술 이벤트가 해당 위치에서 발생했음을 표시하는 일반적인 마커일 수 있다. 다른 실시예에서, 수술중 수술 이벤트 마커는, 이벤트의 타입, 이벤트가 부작용 이벤트인지 여부, 또는 임의의 다른 특성을 포함하는, 수술중 수술 이벤트의 특성을 식별할 수 있다. 예시적 마커가 도 4에 도시되어 있다. 예시적인 예로서, 마커(434)에 대해 도시된 아이콘은 일반적인 수술중 수술 이벤트 마커를 표현하는 데 사용될 수 있다. 다른 한편으로, 마커(436)는, 절개가 해당 위치에서 발생했음을 식별하는 것과 같이, 보다 구체적인 수술중 수술 이벤트 마커를 표현할 수 있다. 도 4에 도시된 마커는 예시로 제공되며, 다양한 다른 형태의 마커가 사용될 수 있다.
이러한 수술중 수술 이벤트 마커는 위에서 설명된 바와 같이 자동으로 식별될 수 있다. 위에서 설명된 컴퓨터 분석 방법을 사용하여, 의료 기구, 해부학적 구조, 의사 특성, 환자 특성, 이벤트 특성 또는 다른 특징이 비디오 푸티지에서 식별될 수 있다. 예컨대, 식별된 의료 기구와 해부학적 구조 간의 상호작용은 절개, 봉합 또는 다른 수술중 이벤트가 수행되고 있음을 표시할 수 있다. 일부 실시예에서, 수술중 수술 이벤트 마커는, 도 6을 참조하여 위에서 설명된 데이터 구조(600)와 같은 데이터 구조에 제공된 정보에 기반하여 식별될 수 있다.
개시된 실시예에 따라, 수술중 수술 이벤트 마커의 선택은 의사가 다양한 수술 절차로부터의 대안적 비디오 클립을 보는 것을 가능하게 할 수 있다. 일부 실시예에서, 대안적 비디오 클립은, 선택된 수술중 수술 이벤트가 다뤄진 다양한 방식을 제공할 수 있다. 예컨대, 현재 비디오에서, 의사는 하나의 기법에 따라 절개 또는 다른 액션을 수행할 수 있다. 수술중 수술 이벤트 마커를 선택하는 것은, 의사가, 절개 또는 다른 액션을 수행하는 데 사용할 수 있는 대안적 기법을 보도록 허용할 수 있다. 다른 예에서, 수술중 수술 이벤트는, 출혈과 같은 부작용 이벤트일 수 있고, 대안적 비디오 클립은 의사가 부작용 이벤트를 다루는 다른 방식을 묘사할 수 있다. 일부 실시예에서, 마커가 수술중 수술 이벤트에 관한 것인 경우, 수술중 수술 이벤트 마커의 선택은, 의사가, 다양한 수술 절차로부터의 대안적 비디오 클립을 보는 것을 가능하게 할 수 있다. 예컨대, 다양한 수술 절차는 상이한 타입(이를테면, 복강경 수술 대 흉강경 수술)일 수 있지만, 여전히 동일하거나 유사한 수술중 수술 이벤트를 포함할 수 있다. 수술 절차는 또한, 다양한 의학적 상태, 다양한 환자 특성, 다양한 의료 전문가 또는 다른 구별을 포함하여, 다른 방식으로도 상이할 수 있다. 수술중 수술 이벤트 마커를 선택하는 것은, 의사가 다양한 수술 절차로부터의 대안적 비디오 클립을 보는 것을 허용할 수 있다.
대안적 비디오 클립은, 본원에 설명된 다른 실시예와 유사한 다양한 방식으로 디스플레이될 수 있다. 예컨대, 수술중 수술 이벤트 마커를 선택하는 것은, 메뉴가 디스플레이되게 할 수 있으며, 이 메뉴에서, 의사는 대안적 비디오 클립을 선택할 수 있다. 메뉴는, 선택된 수술중 수술 이벤트가 다뤄진 다양한 방식의 설명, 비디오 클립의 썸네일, 비디오 클립의 미리보기, 및/또는 비디오 클립과 연관된 다른 정보, 이를테면, 이것이 기록된 날짜, 수술 절차의 타입, 수술 절차를 수행하는 의사의 이름 또는 신원, 또는 임의의 다른 관련 정보를 포함할 수 있다.
본 개시내용의 일부 실시예에 따라, 적어도 하나의 비디오는 절차상 연대순으로 배열된, 복수의 수술 절차로부터의 푸티지의 편집물을 포함할 수 있다. 절차상 연대순은 수술 절차와 관련하여 발생한 이벤트의 순서를 지칭할 수 있다. 그에 따라서, 절차상 연대순으로 푸티지의 편집물을 배열하는 것은, 절차가 단일 환자에 대해 수행된 경우에 발생했을 순서로, 다양한 환자로부터의 상이한 이벤트를 배열하는 것을 포함할 수 있다. 즉, 다양한 환자에 대한 다양한 수술로부터 편집되었지만, 편집물의 재생은 수술 절차 내에서 푸티지가 나타나는 순서대로 푸티지를 디스플레이할 것이다. 일부 실시예에서, 푸티지의 편집물은 복수의 수술 절차로부터의 합병증을 묘사할 수 있다. 그러한 실시예에서, 하나 이상의 마커는 복수의 수술 절차와 연관될 수 있고, 공통 타임라인 상에 디스플레이될 수 있다. 따라서, 뷰어가 단일 타임라인과 상호작용하더라도, 타임라인을 따라 제공되는 비디오 푸티지는 다양한 절차 및/또는 다양한 환자로부터 도출될 수 있다. 디스플레이될 수 있는 예시적인 합병증은 비디오 인덱싱과 관련하여 위에서 설명되었다.
도 5는, 개시된 실시예에 따른, 수술 비디오를 검토하기 위한 예시적인 프로세스(500)를 예시하는 흐름도이다. 프로세스(500)는 하나 이상의 마이크로프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있다. 일부 실시예에서, 프로세스(500)는 예시된 단계로 반드시 제한되지 않으며, 본원에 설명된 다양한 실시예 중 임의의 것이 또한 프로세스(500)에 포함될 수 있다. 단계(510)에서, 프로세스(500)는 예컨대 위에서 설명된 바와 같이 수술 절차의 적어도 하나의 비디오에 액세스하는 것을 포함할 수 있다. 적어도 하나의 비디오는 단일 수술 절차의 비디오 푸티지를 포함할 수 있거나, 또는 이전에 논의된 바와 같이 복수의 절차로부터의 푸티지 편집물일 수 있다. 프로세스(500)는, 단계(520)에서, 적어도 하나의 비디오가 디스플레이를 위해 출력되게 하는 것을 포함할 수 있다. 위에서 설명된 바와 같이, 적어도 하나의 비디오가 디스플레이를 위해 출력되게 하는 것은, 스크린 또는 다른 디스플레이 디바이스 상에 적어도 하나의 비디오를 디스플레이하게 하기 위한 신호를 전송하는 것, 다른 컴퓨팅 디바이스가 액세스가능한 위치에 적어도 하나의 비디오를 저장하는 것, 적어도 하나의 비디오를 송신하는 것, 또는 비디오가 디스플레이되게 할 수 있는 임의의 다른 프로세스 또는 단계를 포함할 수 있다.
단계(530)에서, 프로세스(500)는, 디스플레이를 위해 출력된 적어도 하나의 비디오 상에 수술 타임라인을 오버레이하는 것을 포함할 수 있으며, 수술 타임라인은, 수술 페이즈, 수술중 수술 이벤트, 및 의사 결정 분기점 중 적어도 하나를 식별하는 마커를 포함한다. 일부 실시예에서, 수술 타임라인은 비디오와 함께 디스플레이되는 수평 막대로 표현될 수 있다. 마커는 타임라인을 따라, 형상, 아이콘 또는 다른 그래픽 표현으로 표현될 수 있다. 도 4는 그러한 실시예의 예를 제공한다. 다른 실시예에서, 타임라인은 연대순으로, 페이즈, 이벤트, 및/또는 의사 결정 분기점의 텍스트-기반 리스트일 수 있다. 마커는 유사하게 텍스트-기반일 수 있으며 리스트에 포함될 수 있다.
단계(540)는, 의사가, 적어도 하나의 비디오의 재생을 보면서 수술 타임라인 상의 하나 이상의 마커를 선택하고, 이로써, 비디오의 디스플레이로 하여금, 선택된 마커와 연관된 위치로 스킵하게 하는 것을 가능하게 하는 것을 포함할 수 있다. 일부 실시예에서, 의사는, 과거 수술 절차로부터의 정보를 포함할 수 있는, 마커와 관련된 이벤트 또는 발생에 대한 추가적인 정보를 볼 수 있다. 예컨대, 마커는 수술중 수술 이벤트와 연관될 수 있고, 마커를 선택하는 것은, 의사가 수술중 수술 이벤트와 연관된 과거 수술 절차의 대안적 비디오 클립을 보는 것을 가능하게 할 수 있다. 예컨대, 의사는, 유사한 수술중 수술 이벤트가 다르게 다뤄진, 상이한 기법이 사용된, 또는 결과가 다양한 다른 수술의 클립을 보는 것이 가능해질 수 있다. 일부 실시예에서, 마커는, 수술 절차 동안 내려진 결정을 표현하는 의사 결정 분기점 마커일 수 있다. 의사 결정 분기점 마커를 선택하는 것은, 의사가 대안적 의사결정을 포함하는 의사결정에 대한 정보를 보는 것을 가능하게 할 수 있다. 이러한 정보는, 유사한 의사 결정 분기점, 대안적인 가능한 의사결정의 리스트 또는 분포, 대안적인 가능한 의사결정의 추정된 결과, 또는 임의의 다른 관련 정보를 포함하는 과거 수술 절차의 비디오를 포함할 수 있다. 프로세스(500)에 설명된 단계에 기반하여, 의사 또는 다른 사용자는 타임라인 인터페이스를 사용하여 수술 비디오를 보다 효과적으로 그리고 보다 효율적으로 검토하는 것이 가능해질 수 있다.
수술 절차를 준비할 때, 의사가 수행된 유사한 수술 절차의 비디오를 검토하는 것이 종종 유리하다. 그러나, 수술 절차를 준비할 때 의사가 관련 비디오 또는 비디오의 부분을 식별하는 것은 너무 번거롭고 시간 소모적일 수 있다. 따라서, 의사 또는 다른 의료 전문가가 쉽게 액세스하고 검토할 수 있도록, 푸티지의 콘텐츠에 기반하여 수술 비디오 푸티지를 효율적이고 효과적으로 인덱싱하는 신규한 접근법이 필요하다.
본 개시내용의 양상은, 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체를 포함하는, 비디오 인덱싱에 관한 것일 수 있다. 예컨대, 수술 페이즈 내의 수술 이벤트는 수술 푸티지에서 자동으로 검출될 수 있다. 뷰어는, 이벤트로 직접 스킵하거나, 특정된 특성이 있는 이벤트만을 보는 것 등이 가능해질 수 있다. 일부 실시예에서, 사용자는, 수술 페이즈(예컨대, 해부) 내에, 특성(예컨대, 특정 합병증)을 갖는 이벤트(예컨대, 장기에 대한 우발적 상해)를 특정하여, 해당 특성을 공유하는 하나 이상의 이벤트의 비디오 클립이 사용자에게 제공될 수 있다.
논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 상이한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따라, 방법은 인덱싱될 비디오 푸티지에 액세스하는 것을 수반할 수 있으며, 인덱싱될 비디오 푸티지는 특정 수술 절차의 푸티지를 포함한다. 본원에서 사용되는 바와 같이, 비디오는 기록된 이미지 및/또는 사운드를 포함하는 임의의 형태의 기록된 시각적 매체를 포함할 수 있다. 예컨대, 비디오는, 도 1과 관련하여 위에서 설명된 바와 같이, 카메라(115, 121, 123, 및/또는 125)와 같은 이미지 캡처 디바이스에 의해 캡처된 하나 이상의 이미지의 시퀀스를 포함할 수 있다. 이미지는 개별 파일로 저장되거나, 또는 대응하는 오디오 데이터를 포함할 수 있는 결합된 포맷(이를테면, 비디오 파일)으로 저장될 수 있다. 일부 실시예에서, 비디오는 원시 데이터(raw data) 및/또는 이미지 캡처 디바이스로부터 출력된 이미지로 저장될 수 있다. 다른 실시예에서, 비디오가 프로세싱될 수 있다. 예컨대, 비디오 파일은, AVI(Audio Video Interleave), FLV(Flash Video Format), MOV(QuickTime File Format), MPEG(MPG, MP4, M4P 등), WMV(Windows Media Video), MXF(Material Exchange Format), 비압축 포맷, 손실 압축 포맷, 무손실 압축 포맷, 또는 임의의 다른 적절한 비디오 파일 포맷을 포함할 수 있다.
비디오 푸티지는 이미지 캡처 디바이스에 의해 캡처된 일정 길이의 비디오를 지칭할 수 있다. 일부 실시예에서, 비디오 푸티지는, 처음에(originally) 캡처되었던 순서대로의 이미지의 시퀀스를 포함하는 일정 길이의 비디오를 지칭할 수 있다. 예컨대, 비디오 푸티지는 비디오 편집물을 형성하기 위해 편집되지 않은 비디오를 포함할 수 있다. 다른 실시예에서, 비디오 푸티지는, 이를테면 비활성과 연관된 프레임을 제거하기 위해, 아니면 처음에 순차적으로 캡처되지 않은 프레임을 컴파일링하기 위해 하나 이상의 방식으로 편집될 수 있다. 비디오 푸티지에 액세스하는 것은, 메모리 디바이스와 같은 저장 위치로부터 비디오 푸티지를 리트리브하는 것을 포함할 수 있다. 비디오 푸티지는 로컬 하드 드라이브와 같은 로컬 메모리로부터 액세스될 수 있거나, 또는 예컨대, 네트워크 연결을 통해 원격 소스로부터 액세스될 수 있다. 본 개시내용에 따라, 인덱싱은 데이터가 보다 효율적으로 그리고/또는 효과적으로 리트리브될 수 있도록 데이터를 저장하기 위한 프로세스를 지칭할 수 있다. 비디오 푸티지를 인덱싱하는 것은, 비디오 푸티지가 속성 또는 표시자에 기반하여 식별될 수 있도록 하나 이상의 속성 또는 표시자를 비디오 푸티지와 연관시키는 것을 포함할 수 있다.
수술 절차는, 환자의 신체에 대한 매뉴얼 또는 수술 절차와 연관된 또는 이를 수반하는 임의의 의료 절차를 포함할 수 있다. 수술 절차는, 절단, 삭마, 봉합술, 또는 신체 조직 및 장기를 물리적으로 변경하는 것을 수반하는 다른 기법을 포함할 수 있다. 이러한 수술 절차의 일부 예는, 복강경 수술, 흉부 내시경 시술, 기관지경 시술, 현미경 시술, 개복술, 로봇 수술, 충수염 수술(appendectomy), 동맥내막 절제술, 수근관 유리술, 백내장 수술, 제왕절개, 담낭절제술, 대장절제술(이를테면, 부분 대장 절제술, 대장전절제술 등), 관상동맥 형성술), 관상동맥 우회술, (예컨대, 상처, 화상, 감염 등의) 변연절제술, 유리 식피, 치핵 절제술, 고관절 대체술, 자궁절제술, 자궁경 수술, 사타구니 탈장 수술, 무릎 관절경, 슬관절 치환술, 유방절제술(이를테면, 부분 유방절제술, 전유방절제술, 변형 근치 유방절제술 등), 전립선 절제술, 전립선 제거, 어깨 관절경, 척추 수술(이를테면, 척추 고정술, 추궁절제술, 추간공 확장술, 추간판절제술, 디스크 치환술(disk replacement), 추궁판간 이식 등), 편도 절제술, 인공와우 시술, 뇌종양(예컨대, 뇌수막종 등) 절제술, 중재 시술, 이를테면, 경피적 관상동맥 확장술, 경피적 대동맥판막 치환술, 뇌내 출혈 배출을 위한 최소 침습적, 또는 일부 형태의 절개를 수반하는 임의의 다른 의료 절차를 포함할 수 있다. 본 개시내용은 수술 절차를 참조로 설명되지만, 다른 형태의 의료 절차, 또는 일반적인 절차에도 또한 적용될 수 있음을 이해해야 한다.
일부 예시적인 실시예에서, 액세스된 비디오 푸티지는, 수술대 위의 포지션, 환자의 수술 강(surgical cavity) 내, 환자의 장기 내부 또는 환자의 맥관구조 내부 중 적어도 하나에 위치된 적어도 하나의 이미지 센서를 통해 캡처된 비디오 푸티지를 포함할 수 있다. 이미지 센서는 비디오를 기록할 수 있는 임의의 센서일 수 있다. 수술대 위의 포지션에 위치한 이미지 센서는, 환자 위에서 이미지를 캡처하도록 구성된, 환자 외부에 배치된 임의의 이미지 센서를 포함할 수 있다. 예컨대, 이미지 센서는, 도 1에 도시된 바와 같이, 카메라(115 및/또는 121)를 포함할 수 있다. 다른 실시예에서, 이미지 센서는, 환자 내부에, 예컨대, 이를테면 강에 배치될 수 있다. 본원에서 사용되는 바와 같이, 강은 객체 내부의 임의의 상대적으로 빈 공간을 포함할 수 있다. 그에 따라서, 수술 강은, 수술 절차 또는 수술이 수행되고 있거나 또는 수술 도구가 존재하거나 그리고/또는 사용되는 환자의 신체 내부의 공간을 지칭할 수 있다. 수술 강은, 완전히 비어 있지 않고 신체 내에 존재하는 조직, 장기, 혈액 또는 다른 체액을 포함할 수 있다는 것이 이해된다. 장기는 유기체의 독립된 구역 또는 일부를 지칭할 수 있다. 인간 환자의 장기의 일부 예는 심장 또는 간을 포함할 수 있다. 맥관구조는 유기체 내의 혈관(blood vessel) 시스템 또는 그룹(grouping)을 지칭할 수 있다. 수술 강, 장기 및/또는 맥관구조에 위치된 이미지 센서는 환자에게 삽입되는 수술 도구에 포함된 카메라를 포함할 수 있다.
본 개시내용의 양상은, 특정 수술 절차의 수술 페이즈와 연관된 비디오 푸티지 위치를 식별하기 위해 비디오 푸티지를 분석하는 것을 포함할 수 있다. 비디오 푸티지와 관련하여 본원에서 사용되는 바와 같이, 위치는 비디오 푸티지 내의 임의의 특정 포지션 또는 범위를 지칭할 수 있다. 일부 실시예에서, 위치는 비디오의 특정 프레임 또는 프레임 범위를 포함할 수 있다. 그에 따라서, 비디오 푸티지 위치는 비디오 푸티지 파일의 하나 이상의 프레임 번호 또는 다른 식별자로 표현될 수 있다. 다른 실시예에서, 위치는 비디오 푸티지와 연관된 특정 시간을 지칭할 수 있다. 예컨대, 비디오 푸티지 위치는, 시간 인덱스 또는 타임스탬프, 시간 범위, 특정 시작 시간 및/또는 종료 시간, 또는 비디오 푸티지 내의 포지션의 임의의 다른 표시자를 지칭할 수 있다. 다른 실시예에서, 위치는 적어도 하나의 프레임 내의 적어도 하나의 특정 포지션을 지칭할 수 있다. 그에 따라서, 비디오 푸티지 위치는 하나 이상의 픽셀, 복셀, 경계 박스(bounding box), 경계 다각형, 경계 형상, 좌표 등으로 표현될 수 있다.
본 개시내용의 목적을 위해, 페이즈는, 프로세스 또는 일련의 이벤트의 특정 기간 또는 스테이지를 지칭할 수 있다. 그에 따라서, 수술 페이즈는, 위에서 설명된 바와 같이, 수술 절차의 특정 기간 또는 스테이지를 지칭할 수 있다. 예컨대, 복강경 담낭절제술 수술의 수술 페이즈는, 트로카(trocar) 배치, 준비, 칼로트 삼각형 해부(calot's triangle dissection), 담낭관(cystic duct) 및 동맥의 클립핑(clipping) 및 절단, 쓸개 해부, 쓸개 패키징, 간 상의 세척 및 응집(cleaning and coagulation of liver bed), 쓸개 수축 등을 포함할 수 있다. 다른 예에서, 백내장 수술의 수술 페이즈는, 준비, 포비돈-요오드 주입(povidone-iodine injection), 각막 절개, 수정체낭 절개, 수정체 유화, 피질 흡인, 안구내 렌즈 삽입, 안구내-렌즈 조정, 상처 봉합(wound sealing) 등을 포함할 수 있다. 또 다른 예에서, 뇌하수체 수술의 수술 페이즈는, 준비, 코 절개, 코 견인기 설치, 종양에 대한 액세스, 종양 제거, 콧대 교체(column of nose replacement), 봉합, 코 압박대 장착(nose compress installation) 등을 포함할 수 있다. 수술 페이즈의 일부 다른 예는 준비, 절개, 복강경 포지셔닝, 봉합 등을 포함할 수 있다.
일부 실시예에서, 비디오 푸티지 위치를 식별하는 것은 사용자 입력에 기반할 수 있다. 사용자 입력은 사용자에 의해 제공되는 임의의 정보를 포함할 수 있다. 비디오 인덱싱과 관련하여 사용되는 바와 같이, 사용자 입력은 비디오 푸티지 위치를 식별하는 것과 관련된 정보를 포함할 수 있다. 예컨대, 사용자는 특정 프레임 번호, 타임스탬프, 시간 범위, 시작 시간 및/또는 중지 시간, 또는 비디오 푸티지 위치를 식별할 수 있는 다른 정보를 입력할 수 있다. 대안적으로, 사용자 입력은 페이즈, 이벤트, 절차 또는 사용된 디바이스의 엔트리(entry) 또는 선택을 포함할 수 있으며, 이러한 입력은 특정 비디오 푸티지(이를테면, 예컨대, 룩업 테이블 또는 다른 데이터 구조를 통해)와 연관될 수 있다. 사용자 입력은, 데스크탑 컴퓨터, 랩톱, 테이블, 모바일 폰, 웨어러블 디바이스, IoT 디바이스, 또는 사용자로부터의 입력을 수신하기 위한 수단과 같은, 사용자 디바이스의 사용자 인터페이스를 통해 수신될 수 있다. 인터페이스는 예컨대, 페이즈 이름에 대한 하나 이상의 선택 리스트가 있는 하나 이상의 드롭다운 메뉴; 사용자가 페이즈 이름을 입력할 수 있도록 하고 그리고/또는 몇 글자만 입력되면 페이즈 이름을 제안하는 데이터 엔트리 필드; 페이즈 이름을 선택할 수 있는 선택 리스트; 각각 다양한 페이즈와 연관된 한 그룹의 선택가능한 아이콘, 또는 사용자가 페이즈를 식별하거나 선택하도록 허용하는 임의의 다른 메커니즘을 포함할 수 있다. 예컨대, 사용자는 사용자 인터페이스(700)와 유사한 사용자 인터페이스를 통해 페이즈 이름을 입력할 수 있으며, 이는 도 7과 관련하여 아래에서 더 상세히 설명될 것이다. 다른 예에서, 사용자 입력은 음성 커맨드 및/또는 음성 입력을 통해 수신될 수 있고, 사용자 입력은 스피치 인식 알고리즘을 사용하여 프로세싱될 수 있다. 또 다른 예에서, 사용자 입력은 제스처(이를테면, 손 제스처)를 통해 수신될 수 있고, 사용자 입력은 제스처 인식 알고리즘을 사용하여 프로세싱될 수 있다.
일부 실시예에서, 비디오 푸티지 위치를 식별하는 것은 비디오 푸티지의 프레임을 분석하기 위해 컴퓨터 분석을 사용하는 것을 포함할 수 있다. 컴퓨터 분석은 컴퓨팅 디바이스를 사용하는 임의의 형태의 전자 분석을 포함할 수 있다. 일부 실시예에서, 컴퓨터 분석은 비디오 푸티지의 하나 이상의 프레임의 특징을 식별하기 위해 하나 이상의 이미지 인식 알고리즘을 사용하는 것을 포함할 수 있다. 컴퓨터 분석은, 개별 프레임에 대해 수행되거나 또는 예컨대 프레임 간의 모션 또는 다른 변화를 검출하기 위해 다수의 프레임에 걸쳐 수행될 수 있다. 일부 실시예에서, 컴퓨터 분석은 객체 검출 알고리즘, 이를테면 Viola-Jones 객체 검출, SIFT, HOG 특징, CNN, 또는 임의의 다른 형태의 객체 검출 알고리즘을 포함할 수 있다. 다른 예시적인 알고리즘은, 비디오 추적 알고리즘, 모션 검출 알고리즘, 특징 검출 알고리즘, 컬러-기반 검출 알고리즘, 텍스처 기반 검출 알고리즘, 형상 기반 검출 알고리즘, 부스팅 기반 검출 알고리즘, 얼굴 검출 알고리즘, 또는 비디오 프레임을 분석하기 위한 임의의 다른 적절한 알고리즘을 포함할 수 있다. 일 예에서, 머신 러닝 모델은 비디오 내의 특정 위치를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 비디오 푸티지를 분석하고 비디오 푸티지 위치를 식별하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 비디오 클립 내의 위치를 표시하는 라벨을 갖는 또는 비디오 클립 내에 대응하는 위치가 포함되지 않음을 표시하는 라벨을 갖는, 비디오 클립을 포함할 수 있다.
일부 실시예에서, 컴퓨터 이미지 분석은 이전에 식별된 수술 페이즈를 포함하는 예시적인 비디오 프레임을 사용하여 트레이닝된 뉴럴 네트워크 모델을 사용하고, 이로써 비디오 푸티지 위치 또는 페이즈 태그 중 적어도 하나를 식별하는 것을 포함할 수 있다. 다른 말로, 특정 수술 페이즈와 연관된 것으로 알려진 하나 이상의 비디오의 프레임은, 예컨대, 머신 러닝 알고리즘을 사용하고, 역전파를 사용하고, 경사 하강 최적화를 사용하는 식으로 뉴럴 네트워크 모델을 트레이닝하는 데 사용될 수 있다. 따라서, 트레이닝된 뉴럴 네트워크 모델은, 하나 이상의 비디오 프레임이 또한 수술 페이즈와 연관되는지 여부를 식별하는 데 사용될 수 있다. 이러한 인공 뉴럴 네트워크의 일부 비-제한적인 예는, 얕은 인공 뉴럴 네트워크, 깊은 인공 뉴럴 네트워크, 피드백 인공 뉴럴 네트워크, 피드포워드 인공 뉴럴 네트워크, 오토인코더 인공 뉴럴 네트워크, 확률적 인공 뉴럴 네트워크, 시간 지연 인공 뉴럴 네트워크, 컨볼루셔널 인공 뉴럴 네트워크, 순환 인공 뉴럴 네트워크, 장기 단기 메모리 인공 뉴럴 네트워크 등을 포함할 수 있다. 일부 실시예에서, 개시된 방법은, 분석된 프레임 중 적어도 하나에 기반하여, 트레이닝된 뉴럴 네트워크 모델을 업데이트하는 것을 더 포함할 수 있다.
본 개시내용의 일부 양상에서, 수술 이벤트 또는 수술 페이즈 중 적어도 하나와 연관된 비디오 푸티지 위치를 식별하기 위해 비디오 푸티지를 분석하는 것은, 재생을 위한 수술 페이즈의 개시 위치 또는 재생을 위한 수술 이벤트의 개시부 중 적어도 하나를 식별하기 위해 비디오 푸티지에 대한 컴퓨터 이미지 분석을 수행하는 것을 포함한다. 다른 말로, 위에서 논의된 컴퓨터 분석 기술을 사용하여, 개시된 방법은 수술 페이즈 또는 이벤트가 시작되는 비디오 푸티지 내의 위치를 식별하는 것을 포함할 수 있다. 예컨대, 절개와 같은 수술 이벤트의 개시는, 위에서 설명된 객체 및/또는 모션 검출 알고리즘을 사용하여 검출될 수 있다. 다른 실시예에서, 절개의 개시는 머신 러닝 기법에 기반하여 검출될 수 있다. 예컨대, 머신 러닝 모델은, 절개 또는 다른 수술 이벤트 및/또는 절차의 알려진 개시 포인트를 표시하는 비디오 푸티지 및 대응하는 라벨을 사용하여 트레이닝될 수 있다. 트레이닝된 모델은 다른 수술 비디오 푸티지 내에서 유사한 절차 및/또는 이벤트 개시 위치를 식별하는 데 사용될 수 있다.
본 개시내용의 일부 양상은, 수술 페이즈와 연관된 페이즈 태그를 생성하는 것을 포함할 수 있다. 본원에서 사용되는 바와 같이, "태그"는, 정보를 한 세트의 데이터와 연관시키거나 이와 링크시키는 임의의 프로세스 또는 마커를 지칭할 수 있다. 일부 실시예에서, 태그는 비디오 파일과 같은 데이터 파일의 속성일 수 있다. 그에 따라서, 태그를 생성하는 것은 비디오 파일 내에 속성을 기록하는 것 또는 덮어쓰는 것(overwriting)을 포함할 수 있다. 일부 실시예에서, 태그를 생성하는 것은, 예컨대, 비디오 파일을 별개의 데이터베이스에 있는 태그와 연관시킴으로써, 비디오 파일 자체가 아닌 파일에 정보를 기록하는 것을 포함할 수 있다. 태그는 텍스츄얼 정보, 수치적 식별자, 또는 태깅을 위한 임의의 다른 적절한 수단으로 표현될 수 있다. 페이즈 태그는, 위에서 설명된 바와 같이, 수술 페이즈의 페이즈를 식별하는 태그일 수 있다. 일 실시예에서, 페이즈 태그는, 비디오에서 수술 페이즈가 시작되는 위치를 표시하는 마커, 비디오에서 수술 페이즈가 끝나는 위치를 표시하는 마커, 비디오에서 수술 페이즈 중간인 위치를 표시하는 마커, 또는 수술 페이즈를 포괄하는 비디오의 범위를 표시하는 마커일 수 있다. 태그는 비디오 데이터 자체의 포인터이거나 또는 페이즈 위치의 검색을 허용하는 데이터 구조에 위치될 수 있다. 페이즈 태그는 페이즈의 디스플레이를 유발하기 위한 컴퓨터-판독가능 정보를 포함할 수 있고, 또한 사용자를 위한 페이즈를 식별하기 위한 인간-판독가능 정보를 포함할 수 있다. 예컨대, 수술 페이즈와 연관된 페이즈 태그를 생성하는 것은, 태깅된 데이터가 수술 절차의 해당 페이즈와 연관된다는 것을 표시하기 위해, "복강경 포지셔닝(laparoscope positioning)"과 같은 텍스트를 포함하는 태그를 생성하는 것을 포함할 수 있다. 다른 예에서, 수술 페이즈와 연관된 페이즈 태그를 생성하는 것은 수술 페이즈 식별자의 이진 인코딩(binary encoding)을 포함하는 태그를 생성하는 것을 포함할 수 있다. 일부 실시예에서, 페이즈 태그를 생성하는 것은, 수술 페이즈를 묘사하는 비디오 푸티지의 컴퓨터 분석에 기반할 수 있다. 예컨대, 개시된 방법은, 페이즈 태그를 결정하기 위해, 위에서 설명된 객체 및 모션 검출 분석 방법을 사용하여 수술 페이즈의 푸티지를 분석하는 것을 포함할 수 있다. 예컨대, 특정 타입의 의료 디바이스 또는 고유한 방식 또는 고유한 순서로 사용되는 다른 수단물을 사용하여 페이즈가 시작되거나 종료됨이 알려진 경우, 특정 페이즈를 식별하기 위한 고유한 수단물 사용을 식별하기 위해 수행되는 이미지 인식을 통해 특정 페이즈를 식별하기 위해 비디오 푸티지에서 이미지 인식이 수행될 수 있다. 페이즈 태그를 생성하는 것은 또한, 하나 이상의 비디오 프레임을 하나 이상의 페이즈 태그와 연관시키도록 트레이닝될 수 있는, 트레이닝된 머신 러닝 모델 또는 뉴럴 네트워크 모델(이를테면, 깊은 뉴럴 네트워크, 컨볼루셔널 뉴럴 네트워크 등)을 사용하는 것을 포함할 수 있다. 예컨대, 트레이닝 예시는, 다른 비디오 푸티지 데이터를 하나 이상의 페이즈 태그와 연관시키도록 구성된 모델을 전개하기 위해 머신 러닝 알고리즘에 공급될 수 있다. 이러한 트레이닝 예시의 예는, 원하는 태그를 표시하는 라벨과 함께 또는 비디오 푸티지에 대응하는 원하는 태그가 없는 것을 나타내는 라벨과 함께, 비디오 푸티지를 포함할 수 있다. 그러한 라벨은 수술 페이즈에 대응하는 비디오 푸티지 내의 하나 이상의 위치의 표시, 수술 페이즈의 타입의 표시, 수술 페이즈의 속성 표시 등을 포함할 수 있다.
본 개시내용에 따른 방법은 페이즈 태그를 비디오 푸티지 위치와 연관시키는 것을 포함할 수 있다. 페이즈 태그를 비디오 푸티지 위치와 연관시키기 위해 임의의 적절한 수단이 사용될 수 있다. 그러한 태그는 수술 페이즈에 대응하는 비디오 푸티지 내의 하나 이상의 위치의 표시, 수술 페이즈의 타입의 표시, 수술 페이즈의 속성 표시 등을 포함할 수 있다. 일부 실시예에서, 비디오 푸티지 위치는 태그에 포함될 수 있다. 예컨대, 태그는 타임스탬프, 시간 범위, 프레임 번호, 또는 페이즈 태그를 비디오 푸티지 위치에 연관시키기 위한 다른 수단을 포함할 수 있다. 다른 실시예에서, 태그는 데이터베이스 내의 비디오 푸티지 위치와 연관될 수 있다. 예컨대, 데이터베이스는 페이즈 태그를 비디오 푸티지 및 특정 비디오 푸티지 위치에 링크하는 정보를 포함할 수 있다. 데이터베이스는 아래에서 더 상세히 설명되는 바와 같은 데이터 구조를 포함할 수 있다.
본 개시내용의 실시예는 수술 페이즈 내에서 특정 수술중 수술 이벤트의 이벤트 위치를 식별하기 위해 비디오 푸티지를 분석하는 것을 더 포함할 수 있다. 수술중 수술 이벤트는 수술 절차 또는 페이즈 동안 발생하는 임의의 이벤트 또는 액션일 수 있다. 일부 실시예에서, 수술중 수술 이벤트는, 의사, 수술 기술자, 간호사, 보조 의사, 마취과 의사, 닥터 또는 임의의 다른 의료 서비스 전문가에 의해 수행되는 액션과 같이, 수술 절차의 일부로서 수행되는 액션을 포함할 수 있다. 수술중 수술 이벤트는 계획된 이벤트, 이를테면 절개, 약물 투여, 수술 기구의 사용, 절제, 절제술, 결찰, 이식, 봉합술, 스티칭, 또는 수술 절차 또는 페이즈와 연관된 임의의 다른 계획된 이벤트일 수 있다. 일부 실시예에서, 수술중 수술 이벤트는 부작용 이벤트 또는 합병증을 포함할 수 있다. 수술중 부작용 이벤트의 일부 예는, 출혈, 장간막 폐기종, 상해, 계획되지 않은 개복술(예컨대, 복부 벽 절개)로의 변환, 계획된 것보다 상당히 큰 절개 등을 포함할 수 있다. 수술중 합병증의 일부 예는, 고혈압, 저혈압, 서맥, 저산소증, 유착, 탈장, 비정형 해부, 경막 찢어짐, 천공 상해, 동맥 폐색 등을 포함할 수 있다. 수술중 이벤트는 기술적 에러, 통신 에러, 관리 에러, 판정 에러, 의사 결정 에러, 의료 장비 활용과 관련된 에러, 잘못된 통신(miscommunication) 등을 포함한 다른 에러를 포함할 수 있다.
이벤트 위치는, 수술중 수술 이벤트와 연관된 비디오 푸티지 내의 위치 또는 범위일 수 있다. 위에서 설명된 페이즈 위치와 유사하게, 이벤트 위치는, 비디오 푸티지의 특정 프레임(예컨대, 프레임 번호 또는 프레임 번호 범위)의 측면에서 표현되거나, 또는 시간 정보(예컨대, 타임스탬프, 시간 범위, 또는 개시 시간 및 종료 시간), 또는 비디오 푸티지 내의 위치를 식별하기 위한 다른 수단에 기반하여 표현될 수 있다. 일부 실시예에서, 이벤트 위치를 식별하기 위해 비디오 푸티지를 분석하는 것은, 비디오 푸티지의 프레임을 분석하기 위해 컴퓨터 분석을 사용하는 것을 포함할 수 있다. 컴퓨터 분석은, 위에서 설명된 기법 또는 알고리즘 중 임의의 것을 포함할 수 있다. 페이즈 식별과 마찬가지로, 이벤트 식별은, 이벤트를 고유하게 식별하는 방식으로 사용되는 액션 및 수단물의 검출에 기반할 수 있다. 예컨대, 이미지 인식은, 특정 장기가 절개된 시기를 식별하여 해당 절개 이벤트의 마킹을 가능하게 할 수 있다. 다른 예에서, 이미지 인식은, 혈관 또는 신경의 절단을 메모(note)하여 해당 부작용 이벤트의 마킹을 가능하게 할 수 있다. 이미지 인식은 또한, 출혈 또는 다른 체액 손실의 검출에 의해 이벤트를 마킹하는 데 사용할 수 있다. 일부 실시예에서, 이벤트 위치를 식별하기 위해 비디오 푸티지를 분석하는 것은, 이전에-식별된 수술 이벤트를 포함하는 예시적인 비디오 프레임을 사용하여 트레이닝된 뉴럴 네트워크 모델(이를테면, 깊은 뉴럴 네트워크, 컨볼루셔널 뉴럴 네트워크 등)을 사용하고, 이로써 이벤트 위치를 식별하는 것을 포함할 수 있다. 일 예에서, 머신 러닝 모델은, 비디오의 일부에서 수술중 수술 이벤트의 위치를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있으며, 트레이닝된 머신 러닝 모델은 비디오 푸티지(또는 수술 페이즈에 대응하는 비디오 푸티지의 일부)를 분석하고 수술 페이즈 내에서 특정 수술중 수술 이벤트의 이벤트 위치를 식별하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 비디오 클립 내 특정 이벤트의 위치 또는 그러한 이벤트의 부재를 표시하는 라벨과 함께 비디오 클립을 포함할 수 있다.
본 개시내용의 일부 양상은 이벤트 태그를 특정 수술중 수술 이벤트의 이벤트 위치와 연관시키는 것을 수반할 수 있다. 위에서 논의된 바와 같이, 태그는 정보를 데이터 또는 데이터의 일부와 연관시키기 위한 임의의 수단을 포함할 수 있다. 이벤트 태그는 데이터 또는 데이터의 일부를 수술중 수술 이벤트와 같은 이벤트와 연관시키는 데 사용될 수 있다. 페이즈 태그와 유사하게, 이벤트 태그를 이벤트 위치와 연관시키는 것은 비디오 파일, 예컨대 비디오 파일의 속성에 데이터를 기록하는 것을 포함할 수 있다. 다른 실시예에서, 이벤트 태그를 이벤트 위치와 연관시키는 것은, 이벤트 태그를 비디오 푸티지 및/또는 이벤트 위치와 연관시키는, 데이터베이스 또는 파일에 데이터를 기록하는 것을 포함할 수 있다. 대안적으로, 이벤트 태그를 이벤트 위치와 연관시키는 것은, 데이터 구조에 마커를 기록하는 것을 포함할 수 있으며, 여기서 데이터 구조는 태그를 비디오 푸티지의 특정 위치 또는 위치 범위와 상관시킨다. 일부 실시예에서, 동일한 파일 또는 데이터베이스는, 페이즈 태그를 이벤트 태그로서 비디오 푸티지에 연관시키는 데 사용될 수 있다. 다른 실시예에서, 별개의 파일 또는 데이터베이스가 사용될 수 있다.
본 개시내용에 따라, 개시된 방법은 특정 수술중 수술 이벤트와 연관된 이벤트 특성을 저장하는 것을 포함할 수 있다. 이벤트 특성은 이벤트의 임의의 특색 또는 특징일 수 있다. 예컨대, 이벤트 특성은 환자 또는 의사의 속성, 수술 이벤트 또는 수술 페이즈의 속성 또는 특성, 또는 다양한 다른 특색을 포함할 수 있다. 특징의 예는, 과도한 지방 조직, 커진 장기, 조직 부패(decay), 부러진 뼈, 변위된 디스크, 또는 이벤트와 관련된 다른 신체적 특성을 포함할 수 있다. 일부 특성은 컴퓨터 비전에 의해 식별될 수 있고, 다른 특성은 인간 입력에 의해 식별될 수 있다. 후자의 예에서, 환자의 나이 또는 나이 범위가 이벤트 특성으로 저장될 수 있다. 유사하게, 환자의 이전 병력 양상이 이벤트 특성(예컨대, 당뇨병이 있는 환자)으로 저장될 수 있다. 일부 실시예에서, 저장된 이벤트 특성은 수술중 수술 이벤트를 다른 유사한 이벤트와 구별하는 데 사용될 수 있다. 예컨대, 의사는 비디오 푸티지를 서치하여 부정맥이 있는 70세 이상의 남성에게 수행된 하나 이상의 관상동맥 우회술 수술을 식별하도록 허가될 수 있다. 사용될 수 있는 저장된 이벤트 특성의 다양한 다른 예가 아래에 제공된다.
저장된 이벤트 특성은 다양한 방식으로 결정될 수 있다. 개시된 방법의 일부 양상은 사용자 입력에 기반하여, 저장된 이벤트 특성을 결정하는 것을 수반할 수 있다. 예컨대, 사용자는, 페이즈 또는 이벤트의 선택과 관련하여 위에서 설명된 것과 유사한 사용자 인터페이스를 통해 저장될 이벤트 특성을 입력할 수 있다. 다른 예에서, 사용자는 음성 커맨드를 통해 저장될 이벤트 특성을 입력할 수 있다. 이러한 사용의 다양한 예가 아래에 제공된다. 개시된 방법의 다른 양상은, 특정 수술중 수술 이벤트를 묘사하는 비디오 푸티지의 컴퓨터 분석에 기반하여, 저장된 이벤트 특성을 결정하는 것을 수반할 수 있다. 예컨대, 개시된 방법은, 비디오 푸티지에 기반하여 이벤트 특성을 인식하기 위해, 위에서 설명된 바와 같은 다양한 이미지 및/또는 비디오 분석 기법을 사용하는 것을 포함할 수 있다. 예시적인 예로서, 비디오 푸티지는 환자의 하나 이상의 해부학적 구조의 표현을 포함할 수 있고, 해부학적 구조를 식별하는 이벤트 특성은, 비디오 푸티지에서 해부학적 구조를 검출하는 것에 기반하여 또는 의료 기구와 해부학적 구조 간의 상호작용을 검출하는 것에 기반하여 결정될 수 있다. 다른 예에서, 머신 러닝 모델은 비디오로부터 이벤트 특성을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 비디오 푸티지를 분석하고 저장된 이벤트 특성을 결정하는 데 사용될 수 있다. 그러한 트레이닝 예시의 예는, 수술중 수술 이벤트를 이벤트의 특성을 표시하는 라벨과 함께 묘사하는 비디오 클립을 포함할 수 있다.
본 개시내용의 일부 양상은, 특정 수술 절차의 비디오 푸티지의 적어도 일부를, 다른 수술 절차의 추가적인 비디오 푸티지를 보유하는 데이터 구조에서의 이벤트 특성, 이벤트 태그 및 페이즈 태그와 연관시키는 것을 포함할 수 있고, 데이터 구조는 또한, 다른 수술 절차 중 하나 이상의 다른 수술 절차와 연관된 개개의 이벤트 특성, 개개의 이벤트 태그 및 개개의 페이즈 태그를 포함한다. 본 개시내용에 따른 데이터 구조는, 데이터 값 및 이들 간의 관계의 임의의 콜렉션을 포함할 수 있다. 데이터는, 선형적으로, 수평적으로, 계층적으로, 관계형으로, 비관계형으로, 1차원적으로, 다차원적으로, 조작가능하게, 정렬된 방식으로, 정렬되지 않은 방식으로, 객체-지향 방식으로, 중앙집중 방식으로, 비-중앙집중 방식으로, 분산 방식으로, 맞춤(custom) 방식으로, 서치가능한 저장소에, 저장된 저장소에, 인덱싱된 저장소에, 또는 데이터 액세스를 가능하게 하는 임의의 방식으로 저장될 수 있다. 비-제한적인 예로서, 데이터 구조는 어레이(array), 연관 어레이, 링크된 리스트(linked list), 이진 트리(binary tree), 평형 트리(balanced tree), 힙(heap), 스택(stack), 큐(queue), 세트(set), 해시 테이블(hash table), 레코드(record), 태깅된 유니온(tagged union), ER 모델(ER model) 및 그래프를 포함할 수 있다. 예컨대, 데이터 구조는 XML 데이터베이스, RDBMS 데이터베이스, SQL 데이터베이스 또는 데이터 저장/검색을 위한 NoSQL 대안물(이를테면, 예컨대, MongoDB, Redis, Couchbase, Datastax Enterprise Graph, Elastic Search, Splunk, Solr, Cassandra, Amazon DynamoDB, Scylla, HBase 및 Neo4J)을 포함할 수 있다. 데이터 구조는, 개시된 시스템의 컴포넌트 또는 원격 컴퓨팅 컴포넌트(예컨대, 클라우드-기반 데이터 구조)일 수 있다. 데이터 구조에서의 데이터는, 연속적(contiguous) 또는 비-연속적(non-contiguous) 메모리에 저장될 수 있다. 더욱이, 본원에서 사용되는 데이터 구조는 정보가 같은 곳에 위치(co-located)될 것을 요구하지 않는다. 예컨대, 데이터 구조는, 동일한 또는 상이한 엔티티(entity)가 소유한 또는 이에 의해 동작될 수 있는 다수의 서버에 걸쳐 분산될 수 있다. 따라서, 예컨대, 데이터 구조는, 비디오 푸티지를 페이즈 태그, 이벤트 태그 및/또는 이벤트 특성과 연관시키는 데 사용될 수 있는 임의의 데이터 포맷을 포함할 수 있다.
도 6은 개시된 실시예에 따른 예시적인 데이터 구조(600)를 예시한다. 도 6에 도시된 바와 같이, 데이터 구조(600)는 상이한 수술 절차에 관한 비디오 푸티지(610) 및 비디오 푸티지(620)를 포함하는 표를 포함할 수 있다. 예컨대, 비디오 푸티지(610)는 복강경 담낭절제술의 푸티지를 포함할 수 있는 반면, 비디오 푸티지(620)는 백내장 수술의 푸티지를 포함할 수 있다. 비디오 푸티지(620)는, 백내장 수술의 특정 수술 페이즈에 대응할 수 있는 푸티지 위치(621)와 연관될 수 있다. 페이즈 태그(622)는, 위에서 논의된 바와 같이, 푸티지 위치(621)와 연관된 페이즈(이 예시에서는, 각막 절개)를 식별할 수 있다. 비디오 푸티지(620)는 또한, 이벤트 위치(623)에서 발생하는 수술 페이즈 내에서의 수술중 수술 이벤트(이 예시에서는, 절개)를 식별할 수 있는 이벤트 태그(624)와 연관될 수 있다. 비디오 푸티지(620)는 추가로, 위에서 상세히 설명된 바와 같이, 의사 스킬 이벤트와 같은 수술중 수술 이벤트의 하나 이상의 특성을 설명할 수 있는 이벤트 특성(625)과 연관될 수 있다. 데이터 구조에서 식별된 각각의 비디오 푸티지는, 2개 이상의 푸티지 위치, 페이즈 태그, 이벤트 위치, 이벤트 태그 및/또는 이벤트 특성과 연관될 수 있다. 예컨대, 비디오 푸티지(610)는 2개 이상의 수술 페이즈(예컨대, "칼로트의 삼각형 해부(Calot's triangle dissection)" 및 "담낭관 절단(cutting of cystic duct)")에 대응하는 페이즈 태그와 연관될 수 있다. 추가로, 특정 비디오 푸티지의 각각의 수술 페이즈는 2개 이상의 이벤트와 연관될 수 있고, 그에 따라서, 2개 이상의 이벤트 위치, 이벤트 태그 및/또는 이벤트 특성과 연관될 수 있다. 그러나, 일부 실시예에서, 특정 비디오 푸티지가 단일 수술 페이즈 및/또는 이벤트와 연관될 수 있음이 이해된다. 일부 실시예에서, 이벤트는, 이벤트 특성 없음, 단일 이벤트 특성, 2개의 이벤트 특성, 3개 이상의 이벤트 특성 등을 포함하는 임의의 수의 이벤트 특성과 연관될 수 있음이 또한 이해된다. 이러한 이벤트 특성의 일부 비-제한적인 예는, 이벤트와 연관된 스킬 레벨(이를테면, 요구되는 최소 스킬 레벨, 시연된(demonstrated) 스킬 레벨, 이벤트에 관여된 간병인(medical care giver)의 스킬 레벨 등), 이벤트와 연관된 시간(이를테면, 시작 시간, 종료 시간 등), 이벤트의 타입, 이벤트에 수반되는 의료 기구와 관련된 정보, 이벤트에 수반되는 해부학적 구조에 관련된 정보, 이벤트와 연관된 의료 결과에 관련된 정보, 하나 이상의 양(이를테면, 누출의 양, 약제의 양, 체액의 양 등), 하나 이상의 크기(dimension)(이를테면, 해부학적 구조의 크기, 절개의 크기 등) 등을 포함할 수 있다. 추가로, 데이터 구조(600)는 예로서 제공되고 다양한 다른 데이터 구조가 사용될 수 있다는 것을 이해해야 한다.
본 개시내용의 실시예는, 디스플레이를 위한 비디오 푸티지의 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성의 선택을 통해 사용자가 데이터 구조에 액세스하는 것을 가능하게 하는 것을 더 포함할 수 있다. 사용자는, 데이터 구조에 저장된 데이터에 대한 액세스를 제공받을 수 있는 임의의 개인 또는 엔티티일 수 있다. 일부 실시예에서, 사용자는 의사 또는 다른 의료 서비스 전문가일 수 있다. 예컨대, 의사는 검토 또는 트레이닝 목적으로 데이터 구조 및/또는 데이터 구조와 연관된 비디오 푸티지에 액세스할 수 있다. 일부 실시예에서, 사용자는 관리자, 이를테면 병원 관리자, 매니저(manager), 수석 의사, 또는 비디오 푸티지에 대한 액세스를 요구할 수 있는 다른 개인일 수 있다. 일부 실시예에서, 사용자는 환자일 수 있으며, 환자는 자신의 수술에 대한 비디오 푸티지에 대한 액세스를 제공받을 수 있다. 유사하게, 사용자는 친척, 후견인, 주치의, 보험 대리인, 또는 환자의 다른 대리인일 수 있다. 사용자는, 이로 제한되는 것은 아니지만, 보험 회사, 규제 기관, 경찰 또는 수사 기관, 의료 협회, 또는 비디오 푸티지에 대한 액세스를 제공받을 수 있는 다른 엔티티를 포함할 수 있는 다양한 다른 엔티티를 포함할 수 있다. 사용자에 의한 선택은 특정 페이즈 태그, 이벤트 태그 및/또는 이벤트 특성을 식별하기 위한 임의의 수단을 포함할 수 있다. 일부 실시예에서, 사용자에 의한 선택은, 이를테면 컴퓨팅 디바이스의 디스플레이 상에서, 그래픽 사용자 인터페이스를 통해 발생할 수 있다. 다른 예에서, 사용자에 의한 선택은 터치 스크린을 통해 발생할 수 있다. 추가적인 예에서, 사용자에 의한 선택은 음성 입력을 통해 발생할 수 있으며, 음성 입력은 스피치 인식 알고리즘을 사용하여 프로세싱될 수 있다. 또 다른 예에서, 사용자에 의한 선택은 제스처(이를테면, 손 제스처)를 통해 발생할 수 있고, 제스처는 제스처 인식 알고리즘을 사용하여 분석될 수 있다. 일부 실시예에서, 사용자는 선택된 페이즈 태그, 선택된 이벤트 태그, 또는 선택된 이벤트 특성의 3개 모두를 선택하지는 않고, 이의 서브세트를 선택할 수 있다. 예컨대, 사용자는 이벤트 특성을 선택할 수 있고, 사용자는 선택된 이벤트 특성에 기반하여 데이터 구조와 연관된 정보에 대한 액세스가 허용될 수 있다.
도 7은, 개시된 실시예에 따른, 디스플레이를 위해, 인덱싱된 비디오 푸티지를 선택하기 위한 예시적인 사용자 인터페이스(700)의 예시이다. 사용자 인터페이스(700)는 비디오 푸티지를 선택하기 위한 하나 이상의 서치 박스(710, 720, 730)를 포함할 수 있다. 서치 박스(710)는, 사용자가 디스플레이될 하나 이상의 수술 페이즈를 선택하도록 허용할 수 있다. 일부 실시예에서, 사용자 인터페이스(700)는, 데이터 구조(600)에 포함된 페이즈 태그에 기반하여, 제안된 수술 페이즈를 제공할 수 있다. 예컨대, 사용자가 서치 박스(710)에 타이핑을 시작할 때, 사용자 인터페이스(700)는 사용자가 입력한 문자에 기반하여 서치할 페이즈 태그 설명을 제안할 수 있다. 다른 실시예에서, 사용자는, 라디오 버튼, 체크박스, 드롭다운 리스트, 터치 인터페이스, 또는 임의의 다른 적절한 사용자 인터페이스 피처(feature)를 사용하여 페이즈 태그를 선택할 수 있다. 페이즈 태그와 유사하게, 사용자는, 각각, 서치 박스(720 및 730)를 사용하여 이벤트 태그 및 이벤트 특성에 기반하여 비디오 푸티지를 선택할 수 있다. 사용자 인터페이스(700)는 또한, 드롭다운 리스트에 액세스하고 결과를 추가로 필터링하기 위한 드롭다운 버튼(722, 732)을 포함할 수 있다. 도 7에 도시된 바와 같이, 드롭다운 버튼(732)을 선택하는 것은, 사용자가 이벤트 특성의 서브카테고리에 기반하여 이벤트 특성을 선택하도록 허용할 수 있다. 예컨대, 사용자는 드롭다운 버튼(732)과 연관된 드롭다운 리스트에서 "의사 스킬 레벨"을 선택할 수 있으며, 이는 사용자가 서치 박스(730)에서 의사의 스킬 레벨에 기반하여 서치하도록 허용할 수 있다. "의사 스킬 레벨" 및 다른 다양한 이벤트 특성 서브카테고리가 예로서 제공되지만, 사용자가 수술 절차의 임의의 특성 또는 속성을 선택할 수 있음이 이해된다. 예컨대, 아래에서 더 상세히 논의되는 바와 같이, 사용자는 의사, 자격증, 경험의 년수, 및/또는 수술 스킬 레벨의 임의의 표시에 기반하여 의사 스킬 레벨을 개선할 수 있다. 사용자는 서치 버튼(740)을 클릭하거나, 탭핑하거나 또는 이와 다른식으로 선택함으로써 데이터 구조에 액세스하는 것이 가능해질 수 있다.
비디오 푸티지의 디스플레이는, 비디오 푸티지의 하나 이상의 프레임 또는 그 일부를 사용자에게 제공하는 임의의 프로세스를 포함할 수 있다. 일부 실시예에서, 디스플레이하는 것은, 사용자가 볼 비디오 푸티지의 적어도 일부를 전자식으로 송신하는 것을 포함할 수 있다. 예컨대, 비디오 푸티지를 디스플레이하는 것은, 네트워크를 통해 비디오 푸티지의 적어도 일부를 송신하는 것을 포함할 수 있다. 다른 실시예에서, 비디오 푸티지를 디스플레이하는 것은, 사용자가 액세스할 수 있는 위치 또는 사용자에 의해 사용되는 디바이스에 비디오 푸티지를 저장함으로써, 사용자가 비디오 푸티지를 이용가능하게 하는 것을 포함할 수 있다. 일부 실시예에서, 비디오 푸티지를 디스플레이하는 것은, 비디오 푸티지가 컴퓨터 또는 비디오 스크린과 같은 시각적 디스플레이 디바이스 상에 플레이되게 하는 것을 포함할 수 있다. 예컨대, 디스플레이하는 것은, 비디오 푸티지와 연관된 프레임을 순차적으로 제공하는 것을 포함할 수 있고, 비디오 푸티지와 연관된 오디오를 제공하는 것을 더 포함할 수 있다.
본 개시내용의 일부 양상은, 저장된 비디오 푸티지의 매칭 서브세트를 식별하기 위해, 적어도 하나의 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성과 매칭하는 수술 비디오 푸티지의 데이터 구조에서 검색을 수행하는 것을 포함할 수 있다. 검색을 수행하는 것은, 데이터 구조로부터 데이터를 리트리브하기 위한 임의의 프로세스를 포함할 수 있다. 예컨대, 적어도 하나의 선택된 페이즈 태그, 이벤트 태그, 및 선택된 이벤트 특성에 기반하여, 대응하는 비디오 푸티지 또는 비디오 푸티지의 일부가 데이터 구조로부터 식별될 수 있다. 저장된 비디오 푸티지의 서브세트는, 사용자의 선택과 연관된 단일의 식별된 비디오 푸티지 또는 다수의 식별된 비디오 푸티지를 포함할 수 있다. 예컨대, 저장된 비디오 푸티지의 서브세트는 선택된 페이즈 태그와 정확히 동일한 페이즈 태그, 선택된 이벤트 태그와 정확히 동일한 이벤트 태그, 및 선택된 이벤트 특성과 정확히 동일한 이벤트 특성 중 적어도 하나를 갖는 수술 비디오 푸티지를 포함할 수 있다. 다른 예에서, 저장된 비디오 푸티지의 서브세트는, 선택된 페이즈 태그와 유사한(예컨대, 선택된 유사성 측정치에 따른) 페이즈 태그, 선택된 이벤트 태그와 유사한(예컨대, 선택된 유사성 측정치에 따른) 이벤트 태그, 및/또는 선택된 이벤트 특성과 유사한(예컨대, 선택된 유사성 측정치에 따른) 이벤트 특성 중 적어도 하나를 갖는 수술 비디오 푸티지를 포함할 수 있다. 일부 실시예에서, 검색을 수행하는 것은, 도 7에 도시된 바와 같이, 서치 버튼(740)의 선택에 의해 트리거될 수 있다.
일부 예시적인 실시예에서, 저장된 비디오 푸티지의 매칭 서브세트를 식별하는 것은, 저장된 비디오의 매칭 서브세트와 선택된 이벤트 특성 간의 유사성 정도를 결정하기 위해 컴퓨터 분석을 사용하는 것을 포함한다. 그에 따라서, "매칭"은, 정확한 매칭을 지칭할 수 있거나 또는 근사 또는 가장 가까운 매칭을 지칭할 수 있다. 일 예에서, 이벤트 특성은, 수치 값(이를테면, 위에서 설명된 바와 같은, 양, 디멘션, 길이, 면적, 볼륨 등)을 포함할 수 있고, 유사성 정도는 선택된 이벤트 특성에 포함된 수치 값과 저장된 비디오의 대응하는 수치 값의 비교에 기반할 수 있다. 일 예에서, 임의의 유사성 함수(이로 제한되는 것은 아니지만, 친화도 함수, 상관관계 함수, 다항식 유사성 함수, 지수 유사성 함수, 거리에 기반한 유사성 함수, 선형 함수, 비-선형 함수 등을 포함함)는 유사성 정도를 계산하는 데 사용될 수 있다. 일 예에서, 그래프 매칭 알고리즘 또는 하이퍼그래프 매칭 알고리즘(hypergraph matching algorithm)(이를테면, 정확한 매칭 알고리즘, 부정확한 매칭 알고리즘)이 유사성 정도를 결정하는 데 사용될 수 있다. 다른 예시적인 예로서, "준비(preparation)" 페이즈 태그와 연관된 비디오 푸티지는, “준비” 페이즈 태그로 지칭될 수 있는, "준비(prep)", "준비하는(preparing)", "준비의(preparatory)", "사전-절차(pre-procedure)" 또는 유사하지만 정확히 매칭하지는 않는 다른 것을 포함하는 페이즈 태그에 대해 리트리브될 수 있다. 유사성 정도는, 저장된 비디오의 서브세트가 선택된 이벤트 특성과 얼마나 근접하게 매칭하는지에 대한 임의의 측정치를 지칭할 수 있다. 유사성 정도는, 유사성 순위(예컨대, 1-10, 1-100 등의 스케일)로, 백분율 매칭으로 또는 얼마나 근접하게 매칭하는지를 표현하는 임의의 다른 수단을 통해 표현될 수 있다. 컴퓨터 분석을 사용하는 것은, 데이터 구조에 포함된 하나 이상의 수술 절차의 이벤트 특성과 선택된 이벤트 특성 간의 유사성 정도를 결정하기 위해 컴퓨터 알고리즘을 사용하는 것을 포함할 수 있다. 일 예에서, k-최근접 이웃 알고리즘은 데이터 구조에서 가장 유사한 엔트리를 식별하는 데 사용될 수 있다. 일 예에서, 데이터 구조의 엔트리뿐만 아니라 사용자 입력 이벤트 특성이 (예컨대, 임의의 차원 축소 또는 데이터 임베딩 알고리즘을 사용하여) 수학적 공간에 임베딩될 수 있고, 엔트리의 임베딩과 사용자 입력 특성 간의 거리가 둘 사이의 유사성 정도를 계산하는 데 사용될 수 있다. 추가로, 일부 예에서, 임베딩된 수학적 공간에서 사용자 입력 특성에 가장 가까운 엔트리는 데이터 구조에서 사용자 입력 데이터와 가장 유사한 엔트리로서 선택될 수 있다.
본 발명의 일부 양상은, 저장된 비디오 푸티지의 매칭 서브세트가 사용자에게 디스플레이되게 하고, 이로써 사용자가, 선택된 이벤트 특성을 공유하는 적어도 하나의 수술중 수술 이벤트의 수술 푸티지를 볼 수 있게 하면서, 선택된 이벤트 특성이 없는 비디오 푸티지의 재생은 생략할 수 있다. 수술 푸티지는, 위에서 상세히 설명된 바와 같이, 수술 절차를 캡처하는 임의의 비디오 또는 비디오 푸티지를 지칭할 수 있다. 일부 실시예에서, 저장된 비디오 푸티지의 매칭 서브세트가 디스플레이되게 하는 것은 비디오를 재생하기 위한 명령을 실행하는 것을 포함할 수 있다. 예컨대, 본원에서 설명되는 방법을 수행하는 프로세싱 디바이스는, 비디오 푸티지의 매칭 서브세트에 액세스할 수 있고 저장된 비디오 푸티지를 스크린 또는 다른 디스플레이 상에서 사용자에게 제공하도록 구성될 수 있다. 예컨대, 저장된 비디오 푸티지는, 도 4와 관련하여 아래에서 더 상세히 논의되는 바와 같이, 비디오 재생 구역(410)에서와 같이 비디오 플레이어 사용자 인터페이스에 디스플레이될 수 있다. 일부 실시예에서, 저장된 비디오 푸티지의 매칭 서브세트가 사용자에게 디스플레이되게 하는 것은, 위에서 설명된 바와 같이, 디스플레이를 위해, 저장된 비디오 푸티지를 송신하는 것을 포함할 수 있다. 예컨대, 비디오 푸티지의 매칭 서브세트는, 데스크탑 컴퓨터, 랩탑 컴퓨터, 모바일 폰, 태블릿, 스마트 안경, 헤드업 디스플레이, 트레이닝 디바이스, 또는 비디오 푸티지를 디스플레이할 수 있는 임의의 다른 디바이스와 같이, 사용자와 연관된 컴퓨팅 디바이스에, 네트워크를 통해, 송신될 수 있다.
재생을 생략하는 것은, 선택된 이벤트 특성이 없는 비디오가 사용자에게 제공되지 않도록 하는 임의의 프로세스를 포함할 수 있다. 예컨대, 재생을 생략하는 것은, 푸티지가 디스플레이되지 않도록 지정하고 그리고 해당 푸티지를 디스플레이하지 않는 것을 포함할 수 있다. 비디오 푸티지의 매칭 서브세트가 송신되는 실시예에서, 재생을 생략하는 것은, 선택된 이벤트 특성이 없는 비디오 푸티지의 송신을 방지하는 것을 포함할 수 있다. 이는, 매칭 서브세트와 관련된 푸티지의 해당 부분만을 선택적으로 송신함으로써; 매칭 서브세트와 관련된 푸티지의 부분과 연관된 마커를 선택적으로 송신함으로써; 그리고/또는 매칭 서브세트와 관련 없는 푸티지의 부분을 스킵함으로써 발생할 수 있다. 다른 실시예에서, 선택된 이벤트 특성이 없는 비디오 푸티지는 송신될 수 있지만, 선택된 이벤트 특성이 없는 비디오 푸티지를 제공하지 말라는 하나 이상의 명령과 연관될 수 있다.
본 개시내용의 다양한 예시적인 실시예에 따르면, 선택된 수술 이벤트 중, 선택된 이벤트 특성이 없는 부분의 재생을 생략하면서, 사용자가, 적어도 하나의 수술중 수술 이벤트 중, 선택된 이벤트 특성을 갖는 수술 푸티지를 보는 것을 가능하게 하는 것은, 선택된 수술 이벤트 중, 선택된 이벤트 특성이 없는 부분의 재생을 생략하면서, 복수의 수술중 수술 이벤트 중, 선택된 이벤트 특성을 공유하는 수술 푸티지의 부분을 사용자에게 순차적으로 제공하는 것을 포함할 수 있다. 다른 말로, 비디오 푸티지의 하나 이상의 부분은, 예컨대, 데이터 구조의 검색 기능을 통해, 선택된 이벤트 특성과 연관되는 것으로서 식별될 수 있다. 사용자가 적어도 하나의 수술중 수술 이벤트 중 선택된 이벤트 특성을 갖는 수술 푸티지를 보는 것을 가능하게 하는 것은, 식별된 부분 중 하나 이상을 사용자에게 순차적으로 제공하는 것을 포함할 수 있다. 식별되지 않은 비디오 푸티지의 일부는 제공되지 않을 수 있다. 일부 실시예에서, 비디오 푸티지는 선택된 이벤트 태그 및 선택된 페이즈 태그에 기반하여 선택될 수 있다. 그에 따라, 본 개시내용에 따른 실시예에서, 선택된 수술 이벤트 중, 선택된 이벤트 특성이 없는 부분의 재생을 생략하면서, 사용자가, 적어도 하나의 수술중 수술 이벤트 중, 선택된 이벤트 특성을 갖는 수술 푸티지를 보는 것을 가능하게 하는 것은, 선택된 수술 이벤트 중, 선택된 이벤트 특성이 없거나 또는 선택된 이벤트 태그 및 선택된 페이즈 태그 중 적어도 하나와 연관되지 않은 부분의 재생을 생략하면서, 복수의 수술중 수술 이벤트 중, 선택된 이벤트 특성을 공유하고 그리고 선택된 이벤트 태그 및 선택된 페이즈 태그와 연관된 수술 푸티지의 부분을 사용자에게 순차적으로 제공하는 것을 포함할 수 있다.
위에서 언급한 바와 같이, 저장된 이벤트 특성은 수술 절차와 관련된 매우 다양한 특성을 포함할 수 있다. 일부 예시적인 실시예에서, 저장된 이벤트 특성은 수술 이벤트의 부작용 결과를 포함할 수 있다. 예컨대, 저장된 이벤트 특성은, 위에서 더 상세히 설명된 예를 포함하여, 이벤트가 부작용 이벤트인지 또는 이벤트가 합병증과 연관되었는지 여부를 식별할 수 있다. 그에 따라서, 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 부작용 결과가 없는 수술 이벤트의 재생을 생략하면서, 사용자가, 선택된 부작용 결과의 수술 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다. 예컨대, 복강경 절차 동안, 사용자에게 전체 절차를 디스플레이하기 보다는, 의사가 혈관 상해를 어떻게 다루는지를 보길 원하는 사용자의 요구에 대한 응답으로, 사용자는 혈관 상해 이벤트를 선택할 수 있으며, 그 후에 시스템은 비디오 푸티지 중 이벤트가 발생한 일부만을 디스플레이할 수 있다. 저장된 이벤트 특성은 유사하게, 원하는 및/또는 예상된 결과를 포함하는 결과를 식별할 수 있다. 이러한 결과의 예는, 환자의 완전한 회복, 누출이 발생했는지 여부, 누출의 양이 선택된 범위 이내인지 여부, 퇴원후 환자가 재입원했는지 여부, 수술 후 입원 기간, 또는 수술 절차와 연관될 수 있는 임의의 다른 결과를 포함할 수 있다. 이런 식으로, 사용자는 시청 시에 특정 기법의 장기-영향력(long-term impact)을 확인할 수 있다. 그에 따라서, 일부 실시예에서, 저장된 이벤트 특성은 이러한 또는 다른 결과를 포함할 수 있고, 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 결과가 없는 수술 이벤트의 재생을 생략하면서, 사용자가, 선택된 결과의 수술 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다.
일부 실시예에서, 저장된 이벤트 특성은 수술 기법을 포함할 수 있다. 그에 따라서, 저장된 이벤트 특성은 특정 기법이 수행되는지 여부를 식별할 수 있다. 예컨대, 수술의 특정 스테이지에 적용될 수 있는 다수의 기법이 있을 수 있으며, 이벤트 특성은 어떤 기법이 적용되고 있는지 식별할 수 있다. 이런 식으로, 특정 기술을 학습하는 데 관심이 있는 사용자는, 지정된 기법을 사용하는 절차만 디스플레이되게 비디오 결과를 필터링할 수 있다. 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 수술 기법과 연관되지 않은 수술 푸티지의 재생을 생략하면서, 사용자가, 선택된 수술 기법의 수술 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다. 예컨대, 사용자는 동일한 수술 또는 상이한 수술로부터 캡처된 비디오의 비순차적 부분을 순서대로 보는 것이 가능해질 수 있다. 일부 실시예에서, 저장된 이벤트 특성은 특정 의사의 신원을 포함할 수 있다. 예컨대, 이벤트 특성은 수술 절차를 수행하는 특정 의사의 신원을 포함할 수 있다. 의사는, 자신의 이름, 식별 번호(예컨대, 직원 번호, 의료 등록 번호 등) 또는 임의의 다른 형태의 신원에 기반하여 식별될 수 있다. 일부 실시예에서, 의사는 캡처된 비디오에서 의사의 모습을 인식하는 것을 기반하여 식별될 수 있다. 예컨대, 위에서 논의된 바와 같이, 다양한 얼굴 및/또는 음성 인식 기법이 사용될 수 있다. 이런 식으로, 사용자가 특정 의사의 기법을 연구하고자 하는 경우, 사용자가 이를 수행하는 것이 가능해질 수 있다. 예컨대, 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 의사에 의한 활동이 없는 푸티지의 재생을 생략하면서, 사용자가, 선택된 의사에 의한 활동을 나타내는 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다. 따라서, 예컨대, 여러 의사가 동일한 수술 절차에 참여하는 경우, 사용자는 팀의 서브세트의 활동만 보도록 선택할 수 있다.
일부 실시예에서, 이벤트 특성은 또한, 수술에 관여할 수 있는 다른 의료 서비스 제공자 또는 의료 서비스 전문가와 연관될 수 있다. 일부 예에서, 의료 서비스 제공자와 연관된 특성은 수술 절차에 관여한 의료 서비스 제공자의 임의의 특성을 포함할 수 있다. 그러한 의료 서비스 제공자의 일부 비-제한적인 예는, 의사, 마취과 의사, 간호사, 마취 전문 간호사(CRNA: Certified Registered Nurse Anesthetist), 수술 기술자, 레지던트(resident), 의대생, 보조 의사 등과 같은 임의의 수술 팀 구성원의 타이틀을 포함될 수 있다. 이러한 특성의 추가적인 비-제한적인 예는, 증명서, 경험 레벨(이를테면, 경력 년수, 유사한 수술 절차의 과거 경험, 유사한 수술 절차의 과거 성공률 등), 인구 통계학적 특성(이를테면, 나이) 등을 포함할 수 있다.
다른 실시예에서, 저장된 이벤트 특성은 특정 수술 절차, 수술 페이즈, 또는 이들의 부분과 연관된 시간을 포함할 수 있다. 예컨대, 저장된 이벤트 특성은 이벤트의 지속시간(duration)을 포함할 수 있다. 매칭 서브세트가 디스플레이되게 하는 것은, 상이한 지속기간의 이벤트의 푸티지의 재생을 생략하면서, 사용자가, 선택된 지속기간의 이벤트를 나타내는 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다. 이런 식으로, 예컨대, 정상(norm)보다 더 빨리 완료된 특정 절차를 보고자 하는 사용자는, 해당 임계치 내에서 완료되는 특정된 절차를 보도록 시간 임계치를 설정할 수 있다. 다른 예에서, 더 복잡한 이벤트를 보기를 원하는 사용자는, 선택된 임계치보다 오래 지속되는 이벤트를 포함하는 절차 또는 선택된 이벤트 그룹 중 가장 오래 지속된 이벤트를 포함하는 절차를 보기 위해 시간 임계치를 설정할 수 있다. 다른 실시예에서, 저장된 이벤트 특성은 이벤트의 시작 시간, 이벤트의 종료 시간, 또는 임의의 다른 시간 표시자를 포함할 수 있다. 매칭 서브세트가 디스플레이되게 하는 것은, 상이한 시간과 연관된 이벤트의 푸티지 재생을 생략하면서, 사용자가, 특정 수술 절차 내에서, 이벤트와 연관된 페이즈 내에서, 또는 특정 수술 절차의 선택된 부분 내에서, 선택된 시간으로부터의 이벤트를 나타내는 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다.
다른 예에서, 저장된 이벤트 특성은 환자 특성을 포함할 수 있다. "환자 특성"이라는 용어는, 환자의 신체적, 사회학적, 경제적, 인구학적 또는 행동학적 특성 및 환자의 병력의 특성을 지칭한다. 그러한 환자 특성의 일부 비-제한적인 예는, 나이, 성별, 체중, 키, BMI(Body Mass Index), 갱년기 상황, 전형적 혈압, 환자 게놈의 특성, 학력 상황, 학력 레벨, 사회-경제적 상황, 소득 레벨, 직업, 보험 타입, 건강 상황, 자가평가 건강, 기능 상황(functional status), 기능 장애, 질환 지속기간, 질환의 심각도, 질병 수, 질병 특성(이를테면, 질병의 타입, 종양의 사이즈, 조직학 등급, 침윤된 림프절(infiltrated lymph node) 수 등), 의료 서비스의 이용, 진료 방문 횟수, 진료 방문 간격, 정기적인 진료소 케어, 가족 상황, 결혼 상황, 자녀 수, 가족 부양, 민족성, 인종, 문화 적응, 종교, 종교 타입, 모국어, 환자에 대해 수행된 과거 의료 검사의 특성(이를테면, 검사 타입, 검사 시간, 검사 결과 등), 환자에 대해 수행된 과거 의료 치료의 특성(이를테면, 치료의 타입, 치료의 시간, 치료의 결과 등) 등을 포함할 수 있다. 이러한 의료 검사의 일부 비-제한적인 예는, 혈액 검사, 소변 검사, 대변 검사, 의료 영상(medical imaging)(이를테면, 초음파 검사, 혈관 조영술, MRI(Magnetic Resonance Imaging), CT(Computed Tomography), X-레이(X-ray), 근전도 검사, PET(Positron Emission Tomography) 등), 신체 검사, 심전도 검사, 양수 검사, 자궁경부암 검사, 피부 알레르기 검사, 내시경 검사, 생체 검사, 병리 검사, 혈압 측정, 산소 포화도 검사, 폐기능 검사 등을 포함할 수 있다. 이러한 의학적 치료의 일부 비-제한적인 예는, 약물치료, 식이 치료, 수술, 방사선 치료, 화학 요법, 물리적 치유, 심리 치유, 수혈, 주입 등을 포함할 수 있다. 그에 따라서, 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 환자 특성이 없는 환자에 대한 푸티지의 재생을 생략하면서, 사용자가, 선택된 환자 특성을 나타내는 환자에 대한 푸티지를 보는 것을 가능하게 하는 것을 포함할 수 있다.
일부 실시예에서, 선택된 물리적 환자 특성은 해부학적 구조의 타입을 포함할 수 있다. 본원에서 사용되는 바와 같이, 해부학적 구조는 살아있는 유기체의 임의의 특정 부분일 수 있다. 예컨대, 해부학적 구조는 환자의 임의의 특정 기관, 조직, 세포 또는 다른 구조를 포함할 수 있다. 이런 식으로, 예컨대, 사용자가 폐의 흉막(pleura sack)에 대한 수술과 관련된 비디오를 관찰하기를 원하는 경우, 푸티지의 해당 부분이 제공될 수 있고 다른 관련되지 않은 부분은 생략될 수 있다. 저장된 이벤트 특성은, 환자의 인구 통계, 의학적 상태, 병력, 이전 치료, 또는 임의의 다른 관련 환자 설명자(descriptor)와 같은 다양한 다른 환자 특성을 포함할 수 있다. 이는, 뷰어가 매우 구체적인 특성과 매칭하는 환자(예컨대, 이전에 우회 수술을 받은 관상 동맥 심장 질환이 있는 70-75세 백인)에 대한 수술 절차를 보는 것을 가능하게 할 수 있다. 이런 식으로, 이러한 특정 기준과 매칭되는 한 명 이상의 환자의 비디오가 사용자에게 선택적으로 제공될 수 있다.
또 다른 예에서, 저장된 이벤트 특성은 생리학적 반응을 포함할 수 있다. 본원에서 사용되는 바와 같이, "생리학적 반응"이라는 용어는, 수술 절차 내의 이벤트에 대한 반응으로 발생될 수 있는 임의의 생리학적 변화를 지칭한다. 이러한 생리학적 변화의 일부 비-제한적인 예는, 혈압 변화, 산소 포화도 변화, 폐기능 변화, 호흡를 변화, 혈액 조성 변화(카운트 케미스트리(count chemistry) 등), 출혈, 누출, 조직으로의 혈류의 변화, 조직 상태의 변화(이를테면, 컬러, 형상, 구조적 상태, 기능적 상태 등), 체온의 변화, 뇌 활동의 변화, 땀의 변화 또는 수술 절차에 대해 반응하는 임의의 다른 신체적 변화를 포함할 수 있다. 이런 식으로, 사용자는, 수술 절차 동안 발생할 수 있는 사태를 선택적으로 봄으로써(그리고 매칭하지 않는 사태의 재생은 생략함으로써) 이러한 사태에 대해 준비할 수 있다.
일부 예에서, 이벤트 특성은 의사 스킬 레벨을 포함할 수 있다. 스킬 레벨은, 의사의 상대적 능력에 대한 임의의 표시를 포함할 수 있다. 일부 실시예에서, 스킬 레벨은, 수술 절차 또는 수술 절차에서의 특정 기법을 수행할 때 의사의 경험 또는 숙련도를 반영하는 스코어를 포함할 수 있다. 이런 식으로, 사용자는, 상이한 스킬 레벨을 선택함으로써, 다양한 경험의 의사가 동일한 절차를 다루는 방법을 비교할 수 있다. 일부 실시예에서, 스킬 레벨은, 데이터 엔트리(의사의 ID를 수동으로 입력)을 통해 또는 머신 비전에 의해 결정되는 의사의 신원에 기반하여 결정될 수 있다. 예컨대, 개시된 방법은, 생체인식 분석(예컨대, 얼굴, 음성 등)을 통해 의사의 신원을 결정하고 해당 의사와 연관된 사전결정된 스킬 레벨을 식별하기 위한 비디오 푸티지의 분석을 포함할 수 있다. 사전결정된 스킬 레벨은 특정 의사와 연관된 스킬 레벨을 저장하는 데이터베이스에 액세스함으로써 획득될 수 있다. 스킬 레벨은, 의사의 과거 성과, 의사의 트레이닝 또는 교육의 타입 및/또는 레벨, 의사가 수행한 수술 횟수, 의사가 수행한 수술 타입, 의사의 자격증, 의사의 경험 레벨, 환자 또는 다른 의료 서비스 전문가로부터의 의사에 대한 등급(rating), 과거 수술 결과, 과거 수술 결과 및 합병증, 또는 의료 서비스 전문가의 스킬 레벨을 평가하는 것에 관한 임의의 다른 정보에 기반할 수 있다. 일부 실시예에서, 스킬 레벨은 비디오 푸티지의 컴퓨터 분석에 기반하여 자동으로 결정될 수 있다. 예컨대, 개시된 실시예는, 절차의 수행, 특정 기법의 수행, 의사가 내린 의사결정 또는 유사한 이벤트를 캡처한 비디오 푸티지를 분석하는 것을 포함할 수 있다. 그런다음, 의사의 스킬 레벨이, 이벤트 동안 의사가 얼마나 잘 수행하는지에 기반하여 결정될 수 있으며, 이는 적시성, 효율성, 선호되는 기법에 대한 준수, 상해 또는 역효과 없음, 또는 푸티지 분석으로부터 수집될 수 있는 임의의 다른 스킬 표시자에 기반하여 결정될 수 있다.
일부 실시예에서, 스킬 레벨은 각각의 의사에게 할당된 글로벌 스킬 레벨일 수 있거나 특정 이벤트와 관련될 수 있다. 예컨대, 의사는 제1 기법 또는 절차에 관한 제1 스킬 레벨을 가질 수 있고 상이한 기법 또는 절차에 관한 제2 스킬 레벨을 가질 수 있다. 의사의 스킬 레벨은 또한, 이벤트, 기법 및/또는 절차 전반에 걸쳐 달라질 수 있다. 예컨대, 의사는 푸티지의 제1 부분에서 제1 스킬 레벨에서 행동할 수 있지만 푸티지의 제2 부분에서 제2 스킬 레벨로 행동할 수 있다. 그에 따라서, 스킬 레벨은 푸티지의 특정 위치와 연관된 스킬 레벨일 수 있다. 스킬 레벨은 또한, 이벤트 동안 복수의 스킬 레벨일 수 있거나, 또는 평균 값, 연속 평균(rolling average), 또는 다른 형태의 집계와 같은 이벤트 동안의 복수의 스킬 레벨의 집계(aggregation)일 수 있다. 일부 실시예에서, 스킬 레벨은, 수술 절차, 수술 페이즈 및/또는 수술중 수술 이벤트를 수행하기 위해 일반적으로 요구되는 스킬 레벨일 수 있으며, 특정 의사 또는 다른 의료 서비스 전문가와 결부되지 않을 수 있다. 스킬 레벨은, 수치적 측정치(예컨대, 1-10, 1-100 등), 백분율, 텍스트-기반 표시자의 스케일(예컨대, "고도로 숙련된(highly skilled)","중간정도 숙련된(moderately skilled)", "미숙련된(unskilled)" 등) 또는 의사의 스킬을 표현하기 위한 임의의 다른 적절한 포맷을 포함하는 다양한 방식으로 표현될 수 있다. 스킬 레벨이 본원에서 의사의 스킬 레벨로서 설명되지만, 일부 실시예에서, 스킬 레벨은 다른 의료 서비스 전문가, 이를테면 수술 기술자, 간호사, 보조 의사, 마취과 의사, 닥터 또는 임의의 다른 의료 서비스 전문가와 연관될 수 있다.
본 개시내용의 실시예는, 특정 수술 절차와 유사한 복수의 수술 절차와 관련된 집계 데이터에 액세스하는 것을 더 포함할 수 있다. 집계 데이터는, 다수의 소스로부터 수집 및/또는 결합된 데이터를 지칭할 수 있다. 집계 데이터는, 특정 수술 절차와 일부 관련이 있는 다수의 수술 절차로부터 편집(compile)될 수 있다. 예컨대, 수술 절차는, 수술 절차가 동일하거나 유사한 수술 페이즈를 포함하는 경우, 동일하거나 유사한 수술중 이벤트를 포함하는 경우, 또는 동일하거나 유사한 태그 또는 속성(예컨대, 이벤트 태그, 페이즈 태그, 이벤트 특성 또는 다른 태그)과 연관되는 경우, 특정 수술 절차와 유사한 것으로 간주될 수 있다.
본 개시내용은, 선택된 이벤트 특성과 연관된 통계 정보를 사용자에게 제공하는 것을 더 포함할 수 있다. 통계 정보는, 다수의 수술 절차를 함께 분석하는 데 유용할 수 있는 임의의 정보를 지칭할 수 있다. 통계 정보는, 이로 제한되는 것은 아니지만, 평균값, 데이터 추세, 표준 편차, 분산, 상관관계, 인과 관계, 검사 통계(t 통계, 카이-제곱(chi-squared) 통계, f 통계, 또는 다른 형태의 검사 통계를 포함), 순서 통계(표본 최대치 및 최소치를 포함), 그래픽 표현(예컨대, 차트, 그래프, 플롯 또는 다른 시각적 또는 그래픽 표현) 또는 유사한 데이터를 포함할 수 있다. 예시적인 예로서, 사용자가 특정 의사의 신원을 포함하는 이벤트 특성을 선택하는 실시예에서, 통계 정보는, 의사가 외과 수술을 수행하는 평균 지속기간(또는 외과 수술의 페이즈 또는 이벤트), 의사의 부작용 또는 다른 결과의 레이트, 의사가 수술중 이벤트를 수행하는 평균 스킬 레벨, 또는 유사한 통계 정보를 포함할 수 있다. 당업자는 개시된 실시예에 따라 제공될 수 있는 다른 형태의 통계 정보를 인지할 것이다.
도 8a 및 도 8b는, 개시된 실시예에 따른, 비디오 인덱싱을 위한 예시적인 프로세스(800)를 예시하는 흐름도이다. 프로세스(800)는 적어도 하나의 프로세서와 같은 프로세싱 디바이스에 의해 수행될 수 있다. 예컨대, 적어도 하나의 프로세서는, 하나 이상의 집적회로(IC)(CPU(central processing unit), GPU(graphics processing unit), DSP(digital signal processor), FPGA(field-programmable gate array)의 전부 또는 일부, ASIC(application-specific integrated circuit), 마이크로칩, 마이크로제어기, 마이크로프로세서를 포함함), 서버, 가상 서버, 또는 명령을 실행하거나 논리 연산을 수행하는 데 적합한 다른 회로를 포함할 수 있다. 적어도 하나의 프로세서에 의해 실행되는 명령은, 예컨대, 제어기와 통합되거나 제어기에 내장된 메모리에 사전-로딩되거나 별개의 메모리에 저장될 수 있다. 메모리는 RAM(Random Access Memory), ROM(Read-Only Memory), 하드 디스크, 광 디스크, 자기 매체, 플래시 메모리, 다른 영구, 고정 또는 휘발성 메모리, 또는 명령을 저장할 수 있는 임의의 다른 메커니즘을 포함할 수 있다. 일부 실시예에서, 적어도 하나의 프로세서는 2개 이상의 프로세서를 포함할 수 있다. 각각의 프로세서가 유사한 구성을 가질 수 있거나 또는 프로세서가 서로 전기적으로 연결되거나 분리되는 상이한 구성일 수 있다. 예컨대, 프로세서는 개별 회로이거나 단일 회로에 통합될 수 있다. 2개 이상의 프로세서가 사용되는 경우, 프로세서는 독립적으로 또는 협력하여 동작하도록 구성될 수 있다. 프로세서는 전기적으로, 자기적으로, 광학적으로, 음향적으로, 기계적으로 또는 서로 상호작용을 허용하는 다른 수단에 의해 커플링될 수 있다.
일부 실시예에서, 비-일시적 컴퓨터-판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세스(800)를 수행하게 하는 명령을 포함할 수 있다. 단계(802)에서, 프로세스(800)는 인덱싱될 비디오 푸티지에 액세스하는 것을 포함할 수 있고, 인덱싱될 비디오 푸티지는 특정 수술 절차의 푸티지를 포함한다. 비디오 푸티지는 로컬 하드 드라이브와 같은 로컬 메모리로부터 액세스될 수 있거나, 또는 예컨대, 네트워크 연결을 통해 원격 소스로부터 액세스될 수 있다. 다른 예에서, 비디오 푸티지는 하나 이상의 이미지 센서를 사용하여 캡처되거나 다른 프로세스에 의해 생성될 수 있다. 단계(804)에서, 프로세스(800)는 특정 수술 절차의 수술 페이즈와 연관된 비디오 푸티지 위치를 식별하기 위해 비디오 푸티지를 분석하는 것을 포함할 수 있다. 위에서 논의된 바와 같이, 위치는 특정 프레임, 프레임의 범위, 시간 인덱스, 시간 범위, 또는 임의의 다른 위치 식별자와 연관될 수 있다.
프로세스(800)는, 단계(806)에 도시된 바와 같이, 수술 페이즈와 연관된 페이즈 태그를 생성하는 것을 포함할 수 있다. 이는, 예컨대, 비디오 모션 검출, 비디오 추적, 형상 인식, 객체 검출, 체액 흐름 검출, 장비 식별, 거동 분석, 또는 다른 형태의 컴퓨터 지원 상황 인식과 같은 기법을 사용하여, 비디오 콘텐츠 분석(VCA; video content analysis)을 통해 이루어질 수 있다. 페이즈와 연관된 학습된 특성이 비디오에서 식별되는 경우, 해당 페이즈를 구분하는 태그가 생성될 수 있다. 태그는, 예컨대, 페이즈에 대한 사전정의된 이름을 포함할 수 있다. 단계(808)에서, 프로세스(800)는 페이즈 태그를 비디오 푸티지 위치와 연관시키는 것을 포함할 수 있다. 페이즈 태그는, 예컨대, 식별된 비디오 푸티지 위치가 특정 수술 절차의 수술 페이즈와 연관되어 있음을 표시할 수 있다. 단계(810)에서, 프로세스(800)는 수술 페이즈내에서의 특정 수술중 수술 이벤트의 이벤트 위치를 식별하기 위해, 위에서 설명된 VCA 기술 중 하나 이상을 사용하여 비디오 푸티지를 분석하는 것을 포함할 수 있다. 프로세스(800)는, 단계(812)에 도시된 바와 같이, 이벤트 태그를 특정 수술중 수술 이벤트의 이벤트 위치와 연관시키는 것을 포함할 수 있다. 이벤트 태그는, 예컨대, 비디오 푸티지가 이벤트 위치에서 수술 이벤트와 연관되어 있음을 표시할 수 있다. 페이즈 태그와 마찬가지로, 이벤트 태그는 이벤트에 대한 사전정의된 이름을 포함할 수 있다. 도 8b의 단계(814)에서, 프로세스(800)는 특정 수술중 수술 이벤트와 연관된 이벤트 특성을 저장하는 것을 포함할 수 있다. 위에서 더 상세히 논의된 바와 같이, 이벤트 특성은 수술 이벤트의 부작용 결과, 수술 기술, 의사의 스킬 레벨, 환자 특성, 특정 의사의 신원, 생리학적 반응, 이벤트의 지속기간, 또는 이벤트와 연관된 임의의 다른 특성 또는 속성을 포함할 수 있다. 이벤트 특성은 수동으로 결정(예컨대, 뷰어에 의해 입력)될 수 있거나 또는 예컨대, 위에서 설명된 바와 같이, 예컨대 머신 비전에 적용된 인공 지능을 통해 자동으로 결정될 수 있다. 하나의 예에서, 이벤트 특성은, 스킬 레벨(이를테면, 필요한 최소 스킬 레벨, 이벤트 동안 시연된 스킬 레벨 등)을 포함할 수 있고, 머신 러닝 모델은 비디오로부터 그러한 스킬 레벨을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은 스킬 레벨을 결정하기 위해 비디오 푸티지를 분석하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 대응하는 스킬 레벨을 표시하는 라벨과 함께 이벤트를 묘사하는 비디오 클립을 포함할 수 있다. 다른 예에서, 이벤트 특성은 이벤트의 시간 관련 특성(이를테면, 시작 시간, 종료 시간, 지속기간 등)을 포함할 수 있으며, 이러한 시간 관련 특성은 이벤트에 대응하는 비디오 푸티지의 간격을 분석함으로써 계산될 수 있다. 또 다른 예에서, 이벤트 특성은 이벤트 타입을 포함할 수 있고, 머신 러닝 모델은 비디오로부터 이벤트 타입을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 비디오 푸티지를 분석하고 이벤트 타입을 결정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는 이벤트 타입을 표시하는 라벨과 함께 이벤트를 묘사하는 비디오 클립을 포함할 수 있다. 추가적인 예에서, 이벤트 특성은, 이벤트에 수반된 의료 기구와 관련된 정보(이를테면, 의료 기구의 타입, 의료 기구의 사용 등)를 포함할 수 있고, 머신 러닝 모델은 비디오로부터 의료 기구와 관련된 이러한 정보를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은, 비디오 푸티지를 분석하고 이벤트에 수반된 의료 기구와 관련된 정보를 결정하는 데 사용될 수 있다. 그러한 트레이닝 예시의 예는, 의료 기구와 관련된 정보를 표시하는 라벨과 함께, 의료 기구의 사용을 포함하여 이벤트를 묘사하는 비디오 클립을 포함할 수 있다. 또 다른 예에서, 이벤트 특성은 이벤트에 관여된 해부학적 구조와 관련된 정보(이를테면, 해부학적 구조의 타입, 해부학적 구조의 상태, 이벤트와 관련하여 해부학적 구조에 발생한 변화 등)를 포함할 수 있고, 머신 러닝 모델은 비디오로부터 해부학적 구조와 관련된 이러한 정보를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은, 비디오 푸티지를 분석하고 이벤트에 관여된 해부학적 구조와 관련된 정보를 결정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 해부학적 구조와 관련된 정보를 표시하는 라벨과 함께, 해부학적 구조에 관여한 이벤트를 묘사하는 비디오 클립을 포함할 수 있다. 추가적인 예에서, 이벤트 특성은 이벤트와 연관된 의료 결과와 관련된 정보를 포함할 수 있고, 머신 러닝 모델은 비디오로부터 의료 결과와 관련된 그러한 정보를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은, 비디오 푸티지를 분석하고 이벤트와 연관된 의료 결과와 관련된 정보를 결정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 의료 결과를 표시하는 라벨과 함께, 의료 결과를 묘사하는 비디오 클립을 포함할 수 있다.
단계(816)에서, 프로세스(800)는 특정 수술 절차의 비디오 푸티지의 적어도 일부를 데이터 구조에서의 페이즈 태그, 이벤트 태그, 및 이벤트 특성 중 적어도 하나와 연관시키는 것을 포함할 수 있다. 이 단계에서, 다양한 태그는 비디오 푸티지와 연관되어, 푸티지에 액세스하는 데 태그가 사용되게 할 수 있다. 이전에 설명된 바와 같이, 다양한 데이터 구조가 관련된 데이터를 연관된 방식으로 저장하는 데 사용될 수 있다.
단계(818)에서, 프로세스(800)는, 디스플레이를 위한 비디오 푸티지의 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성 중 적어도 하나의 선택을 통해 사용자가 데이터 구조에 액세스하는 것을 가능하게 하는 것을 포함할 수 있다. 일부 실시예에서, 사용자는, 도 7에 도시된 사용자 인터페이스(700)와 같은, 컴퓨팅 디바이스의 사용자 인터페이스를 통해, 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성을 선택할 수 있다. 예컨대, 데이터 엔트리 필드, 드롭다운 메뉴, 아이콘 또는 다른 선택가능한 아이템은, 사용자가 수술 절차, 절차의 페이즈, 절차에서의 이벤트 및 절차 및 환자의 특성을 선택하는 것을 가능하게 하도록 제공될 수 있다. 단계(820)에서, 프로세스(800)는, 저장된 비디오 푸티지의 매칭 서브세트를 식별하기 위해, 적어도 하나의 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성과 매칭하는 수술 비디오 푸티지의 데이터 구조에서 검색을 수행하는 것을 포함할 수 있다. 단계(822)에서, 프로세스(800)는 저장된 비디오 푸티지의 매칭 서브세트가 사용자에게 디스플레이될 수 있고, 이로써 사용자가, 선택된 이벤트 특성을 공유하는 적어도 하나의 수술중 수술 이벤트의 수술 푸티지를 볼 수 있게 하면서, 선택된 이벤트 특성이 없는 비디오 푸티지의 재생은 생략할 수 있다. 이러한 필터링을 통해, 사용자는, 사용자의 관심대상과 관련없는 대용량 비디오 데이터의 재생을 생략하면서, 사용자의 관심사항에 대응하는 해당 비디오 세그먼트만을 빠르게 볼 수 있다.
수술 절차를 준비할 때, 의사는 유사한 수술 이벤트를 갖는 수술 절차의 비디오 푸티지를 검토하는 것이 도움이 될 수 있다. 그러나, 의사가 전체 비디오를 보거나 수술 푸티지의 관련 부분을 찾기 위해 여기저기 스킵하는 것은 너무 시간 소모적일 수 있다. 따라서, 의사가 효율적이고 효과적으로, 다른 관련 없는 푸티지는 생략하면서 관련 있는 수술 이벤트의 푸티지를 집계하는 수술 비디오 요약을 볼 수 있게 하는 신규한 접근법이 필요하다.
본 개시내용의 양상은, 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체를 포함하는, 수술 요약 푸티지를 생성하는 것에 관한 것일 수 있다. 예컨대, 관련 수술중 수술 이벤트를 식별하고 태깅하기 위해, 하나의 수술 절차의 푸티지가 이전에 분석된 절차의 푸티지와 비교될 수 있다. 의사는, 다른 관련없는 푸티지를 상당부 생략하면서, 수술중 수술 이벤트를 집계한 수술 요약을 보는 것이 가능해질 수 있다. 논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 상이한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따라, 방법은, 적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하는 것을 수반할 수 있다. 수술 푸티지는 임의의 비디오, 비디오 프레임의 그룹, 또는 수술 절차의 표현을 포함하는 비디오 푸티지를 지칭할 수 있다. 예컨대, 수술 푸티지는 외과 수술 동안 캡처된 하나 이상의 비디오 프레임을 포함할 수 있다. 수술 푸티지에 액세스하는 것은, 메모리 디바이스와 같은 저장 위치로부터 비디오를 리트리브하는 것을 포함할 수 있다. 수술 푸티지는 로컬 하드 드라이브와 같은 로컬 메모리로부터 액세스될 수 있거나, 또는 예컨대, 네트워크 연결을 통해 원격 소스로부터 액세스될 수 있다. 위에서 더 상세히 설명된 바와 같이, 비디오는 기록된 이미지 및/또는 사운드를 포함하는, 임의의 형태의 기록된 시각적 매체를 포함할 수 있다. 비디오는, 비디오 파일, 이를테면 AVI(Audio Video Interleave) 파일, FLV(Flash Video Format) 파일, MOV(QuickTime File Format), MPEG(MPG, MP4, M4P 등), Windows WMV(Media Video) 파일, MXF(Material Exchange Format) 파일, 또는 임의의 다른 적절한 비디오 파일 포맷으로 저장될 수 있다. 추가적으로 또는 대안적으로, 일부 예에서, 특정 수술 푸티지에 액세스하는 것은 하나 이상의 이미지 센서를 사용하여 특정 수술 푸티지를 캡처하는 것을 포함할 수 있다.
위에서 설명된 바와 같이, 수술중 수술 이벤트는 수술 절차 또는 페이즈와 연관된 임의의 이벤트 또는 액션일 수 있다. 프레임은 비디오를 구성하는 복수의 스틸 이미지 중 하나를 지칭할 수 있다. 제1 그룹의 프레임은 수술중 수술 이벤트 동안 캡처된 프레임을 포함할 수 있다. 예컨대, 특정 수술 푸티지는, 환자에 대해 수행되고 수술실에서 적어도 하나의 이미지 센서에 의해 캡처되는 수술 절차를 묘사할 수 있다. 이미지 센서는, 예컨대, 수술실(101)에 위치된 카메라(115, 121, 123, 125)를 포함할 수 있다. 일부 실시예에서, 적어도 하나의 이미지 센서는 수술실의 수술대 위 또는 환자 내부 중 적어도 하나에 있을 수 있다. 예컨대, 이미지 센서는, 위에서 설명된 바와 같이, 환자 위에 위치될 수 있거나, 환자의 수술 강, 장기 또는 맥관구조 내에 위치될 수 있다. 제1 그룹의 프레임은, 해부학적 구조, 수술 도구, 수술중 수술 이벤트를 수행하는 의료 서비스 전문가, 또는 수술중 수술 이벤트의 다른 시각적 표현을 포함하는, 수술중 수술 이벤트의 표현을 포함할 수 있다. 그러나, 일부 실시예에서, 프레임의 일부 또는 전부는 수술중 수술 이벤트의 표현을 포함하지 않고, 그렇지 않고, 이벤트와 연관될 수 있다(예컨대, 이벤트가 수행되는 동안 캡처됨 등).
본 개시내용에 따라, 특정 수술 푸티지는 수술 활동과 연관되지 않은 제2 그룹의 프레임을 포함할 수 있다. 예컨대, 수술 절차는, 상당한 수술 활동이 발생하지 않고 그리고 푸티지를 검토할 중요한 이유(material reason)가 없는 경우, 긴 정지 시간 기간을 수반할 수 있다. 수술 활동은 수술 절차와 관련하여 수행되는 임의의 활동을 지칭할 수 있다. 일부 실시예에서, 수술 활동은, 수술전 활동, 수술기주위(perioperative) 활동, 수술중 활동, 및/또는 수술후 활동을 포함하는, 수술 절차와 연관된 임의의 활동을 광범위하게 지칭할 수 있다. 그에 따라서, 제2 그룹의 프레임은 임의의 그러한 활동과 연관되지 않은 프레임을 포함할 수 있다. 다른 실시예에서, 수술 활동은 의사에 의해 수행되는 환자의 장기 또는 조직의 물리적 조작과 같은 더 좁은 세트의 활동을 지칭할 수 있다. 그에 따라서, 제2 그룹의 프레임은, 준비, 마취 제공, 바이탈 징후(vital sign) 모니터링, 수술 도구 수집 또는 준비, 의료 서비스 전문가 간의 논의, 또는 수술 활동으로 간주되지 않을 수 있는 다른 활동과 연관된 다양한 활동을 포함할 수 있다.
본 개시내용에 따르면, 방법은, 이전 수술 절차의 이력 수술 푸티지에 기반하여 이력 데이터에 액세스하는 것을 포함할 수 있다. 이력 데이터는 이전에 기록 및/또는 저장된 임의의 포맷의 데이터를 지칭할 수 있다. 일부 실시예에서, 이력 데이터는 이력 수술 푸티지를 포함하는 하나 이상의 비디오 파일일 수 있다. 예컨대, 이력 데이터는 이전 수술 절차 동안 캡처된 일련의 프레임을 포함할 수 있다. 그러나, 이 이력 데이터는 비디오 파일로 제한되지 않는다. 예컨대, 이력 데이터는 이력 수술 푸티지의 적어도 하나의 양상을 표현하는 텍스트로서 저장된 정보를 포함할 수 있다. 예컨대, 이력 데이터는 이력 수술 푸티지를 요약하거나 아니면 참조하는 정보의 데이터베이스를 포함할 수 있다. 다른 예에서, 이력 데이터는 이력 수술 푸티지의 적어도 하나의 양상을 표현하는 수치적 값으로서 저장된 정보를 포함할 수 있다. 추가적인 예에서, 이력 데이터는 이력 수술 푸티지의 분석에 기반하는 통계 정보 및/또는 통계 모델을 포함할 수 있다. 또 다른 예에서, 이력 데이터는 트레이닝 예tl를 사용하여 트레이닝된 머신 러닝 모델을 포함할 수 있고, 트레이닝 예tl는 이력 수술 푸티지에 기반할 수 있다. 이력 데이터에 액세스하는 것은, 전자 송신을 통해 이력 데이터를 수신하는 것, 저장부(예컨대, 메모리 디바이스)로부터 이력 데이터를 리트리브하는 것, 또는 데이터에 액세스하기 위한 임의의 다른 프로세스를 포함할 수 있다. 일부 실시예에서, 이력 데이터는 위에서 논의된 특정 수술 푸티지와 동일한 리소스로부터 액세스될 수 있다. 다른 실시예에서, 이력 데이터는 별개의 자원으로부터 액세스될 수 있다. 추가적으로 또는 대안적으로, 이력 데이터에 액세스하는 것은, 예컨대, 이전 수술 절차의 이력 수술 푸티지를 분석함으로써 또는 이전 수술 절차의 이력 수술 푸티지에 기반하여 데이터를 분석함으로써 이력 데이터를 생성하는 것을 포함할 수 있다.
본 개시내용의 실시예에 따르면, 이력 데이터는, 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임 및 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함할 수 있다. 정보는 다양한 방식으로 수술 푸티지의 부분을 구별할 수 있다. 예컨대, 이력 수술 푸티지와 관련하여, 수술 및 비-수술 활동과 연관된 프레임은 이미 구분되었을 수 있다. 이는, 예컨대, 외과 활동의 매뉴얼 플래깅(manual flagging)을 통해 또는 수술 활동과 비-수술 활동 간을 구별하기 위한 인공 지능 엔진(artificial intelligence engine)의 트레이닝을 통해 이전에 발생했을 수 있다. 이력 정보는, 예컨대, 수술 푸티지의 프레임 세트를 (예컨대, 시작 프레임 번호, 프레임 수, 종료 프레임 번호 등을 사용하여) 식별할 수 있다. 정보는 또한, 시작 타임스탬프, 종료 타임스탬프, 지속기간, 타임스탬프 범위, 또는 수술 푸티지의 타이밍과 관련된 다른 정보와 같은 시간 정보를 포함할 수 있다. 일 예에서, 이력 데이터는 수술 활동을 비-수술 활동과 구별하는 다양한 표시자 및/또는 규칙을 포함할 수 있다. 그러한 표시자 및/또는 규칙의 일부 비-제한적인 예가 아래에서 논의된다. 다른 예에서, 이력 데이터는, 예컨대, 이력 수술 푸티지에 기반하여 수술 활동에 대응하는 비디오의 부분 및/또는 비-수술 활동에 대응하는 비디오의 부분을 식별하도록 트레이닝된 머신 러닝 모델을 포함할 수 있다.
다양한 표시자는, 수동으로, 반-수동으로, 자동으로(예컨대, 머신 러닝을 통해), 수술 활동을 비-수술 활동으로부터 구분하는 데 사용될 수 있다. 예컨대, 일부 실시예에서, 이력 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 수술 도구의 존재 또는 움직임 중 적어도 하나의 것에 대한 표시자를 포함할 수 있다. 수술 도구는, 수술 절차 동안 사용될 수 있는 임의의 기구 또는 디바이스일 수 있으며, 이는, 이로 제한되는 것은 아니지만, 절단 기구(이를테면, 해부용 칼, 가위, 톱 등), 파지(grasping) 및/또는 홀딩(holding) 기구(이를테면, 빌로트 클램프(Billroth's clamp), 헤모스태틱 “모스키토(mosquito)” 겸자, 무외상 지혈 겸자, 데샹 바늘(Deschamp's needle), 호프너 지혈 겸자(Hopfner's hemostatic forcep) 등), 견인기(파라베프 C 형상 층상 후크(Farabef's Cshaped laminar hook), 무딘 치형 후크, 날카로운 치형 후크, 홈형 프로브(grooved probe), 탬프 겸자(tamp forcep) 등), 조직 통합 기구 및/또는 재료(이를테면, 바늘, 홀더(holder), 수술 바늘, 스테이플러(stapler), 클립(clip), 접착제 테이프(adhesive tape), 메쉬(mesh) 등), 보호 장비(이를테면, 얼굴 및/또는 호흡기 보호 장비, 헤드웨어, 풋웨어, 글러브 등), 복강경, 내시경, 환자 모니터링 디바이스 등을 포함할 수 있다. 비디오 인덱싱과 관련하여 위에서 설명된 것과 같은 비디오 또는 이미지 분석 알고리즘은, 푸티지 내에서 수술 도구의 존재 및/또는 모션을 검출하는 데 사용될 수 있다. 일부 예에서, 수술 도구의 모션 측정치가 계산될 수 있고, 계산된 모션 측정치가, 비-수술 활동과 수술 활동을 구별하기 위해, 선택된 임계치와 비교될 수 있다. 예컨대, 임계치는, 수술 절차의 타입에 기반하여, 수술 절차 내 또는 수술 절차의 시간에 기반하여, 수술 절차의 페이즈에 기반하여, 수술 절차의 비디오 푸티지를 분석함으로써 결정된 파라미터에 기반하여, 이력 데이터를 분석함으로써 결정된 파라미터에 기반하는 식으로 결정될 수 있다. 일부 예에서, 신호 프로세싱 알고리즘은, 수술 활동과 비-수술 활동을 구별하기 위해, 수술 절차의 비디오 푸티지 내에서 다양한 시간 동안 계산된 모션 측정치를 분석하는 데 사용될 수 있다. 이러한 신호 프로세싱 알고리즘의 일부 비-제한적인 예는, 수술 활동을 비수술 활동과 구별하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 기반 신호 프로세싱 알고리즘, 수술 활동을 비-수술 활동과 구별하도록 구성된 인공 뉴럴 네트워크(이를테면, 재귀 뉴럴 네트워크, 장기 단기 기억 뉴럴 네트워크, 깊은 뉴럴 네트워크 등), 마르코프 모델(Markov model), 비터비 모델(Viterbi model) 등을 포함할 수 있다.
일부 예시적인 실시예에서, 이력 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 연관된 프레임에 검출된 도구 및 해부학적 특징을 포함할 수 있다. 예컨대, 개시된 방법은 도구 및 해부학적 특징을 검출하기 위해 이미지 및/또는 비디오 분석 알고리즘을 사용하는 것을 포함할 수 있다. 도구는 위에서 설명된 수술 도구 또는 다른 비수술 도구를 포함할 수 있다. 해부학적 특징은 (위에서 더 상세히 정의된 바와 같이) 해부학적 구조 또는 살아있는 유기체의 다른 부분을 포함할 수 있다. 수술 활동은 일반적으로 해부학적 구조와 상호작용하는 수술 도구를 수반하기 때문에, 하나 이상의 연관된 프레임에 검출된 수술 도구 및 해부학적 구조 둘 다의 존재는 수술 활동의 표시자의 역할을 할 수 있다. 예컨대, 한 그룹의 프레임에서의 제1 도구의 검출에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되는 것으로 결정될 수 있는 반면, 한 그룹의 프레임에서의 제1 도구의 검출이 없는 것에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되지 않은 것으로 식별될 수 있다. 다른 예에서, 한 그룹의 프레임에서의 제1 해부학적 특징의 검출에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되는 것으로 결정될 수 있는 반면, 한 그룹의 프레임에서의 제1 해부학적 특징의 검출이 없는 것에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되지 않은 것으로 식별될 수 있다. 일부 예에서, 비디오 푸티지는, 검출된 도구와 해부학적 특징 간의 상호작용을 검출하기 위해 추가로 분석될 수 있고, 수술 활동을 비-수술 활동과 구별하는 것은 검출된 상호작용에 기반할 수 있다. 예컨대, 한 그룹의 프레임에서의 제1 상호작용의 검출에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되는 것으로 결정될 수 있는 반면, 한 그룹의 프레임에서의 제1 상호작용의 검출이 없는 것에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되지 않은 것으로 식별될 수 있다. 일부 예에서, 비디오 푸티지는, 검출된 도구에 의해 수행되는 액션을 검출하기 위해 추가로 분석될 수 있고, 수술 활동을 비수술 활동과 구별하는 것은 검출된 액션에 기반할 수 있다. 예컨대, 한 그룹의 프레임에서의 제1 액션의 검출에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되는 것으로 결정될 수 있는 반면, 한 그룹의 프레임에서의 제1 액션의 검출이 없는 것에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되지 않은 것으로 식별될 수 있다. 일부 예에서, 비디오 푸티지는, 해부학적 특징의 상태의 변화를 검출하기 위해 추가로 분석될 수 있고, 수술 활동을 비-수술 활동과 구별하는 것은 검출된 변화에 기반할 수 있다. 예컨대, 한 그룹의 프레임에서의 제1 변화의 검출에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되는 것으로 결정될 수 있는 반면, 한 그룹의 프레임에서의 제1 변화의 검출이 없는 것에 대한 응답으로, 한 그룹의 프레임은 수술중 수술 이벤트와 연관되지 않은 것으로 식별될 수 있다.
본 발명의 일부 양상은, 특정 수술 푸티지에서, 이력 데이터의 정보에 기반하여 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것을 포함할 수 있다. 예컨대, 정보는, 특정 수술 푸티지의 어느 프레임이 수술중 이벤트 및/또는 수술 활동과 연관되는지를 결정하는 데 유용한 컨텍스트(context)를 제공할 수 있다. 일부 실시예에서, 특정 수술 푸티지에서 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은 머신 러닝 알고리즘의 사용을 수반할 수 있다. 예컨대, 머신 러닝 모델은 이력 데이터의 정보에 기반한 트레이닝 예시를 사용하여 수술중 이벤트 및/또는 수술 활동을 식별하도록 트레이닝될 수 있다.
본 개시내용에 따르면, 제1 그룹의 프레임 및 제2 그룹의 프레임은, 이력 데이터의 정보와 유사한 정보를 식별하기 위해 수술 푸티지를 분석함으로써 구별될 수 있다. 도 9는 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하기 위한 예시적인 프로세스(900)를 예시하는 흐름도이다. 프로세스(900)는 예로서 제공된 것임이 이해되어야 한다. 당업자는, 본 개시내용에 따른, 제1 그룹의 프레임을 제2 그룹과 구별하기 위한 다양한 다른 프로세스를 인지할 것이다. 단계(910)에서, 프로세스(900)는 의료 기구를 검출하기 위해 특정 수술 푸티지를 분석하는 것을 포함할 수 있다. 의료 기구는, 위에서 설명된 바와 같이, 수술 도구를 포함하는, 환자의 치료에 사용되는 임의의 도구 또는 디바이스를 지칭할 수 있다. 위에서 나열된 수술 도구 외에도, 의료 기구는 청진기, 거즈 스펀지(gauze sponge), 카테터, 캐뉼라, 제세동기, 바늘, 트레이, 조명, 온도계, 피펫(pipette) 또는 점적기(dropper), 산소 마스크 및 튜브 또는 임의의 다른 의료 용품을 포함할 수 있다. 예컨대, 머신 러닝 모델은, 이미지 및/또는 비디오에서 의료 기구를 검출하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 특정 수술 푸티지를 분석하고 의료 기구를 검출하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차의 비디오 및/또는 이미지에서 하나 이상의 특정 의료 기구의 존재를 표시하는 라벨과 함께, 또는 비디오 및/또는 이미지에서 특정 의료 기구의 부재(absence)를 표시하는 라벨과 함께, 이 수술 절차의 비디오 및/또는 이미지를 포함할 수 있다.
단계(920)에서, 프로세스(900)는 해부학적 구조를 검출하기 위해 특정 수술 푸티지를 분석하는 것을 포함할 수 있다. 해부학적 구조는, 위에서 논의된 바와 같이, 임의의 장기, 장기의 일부 또는 살아있는 유기체의 다른 부분일 수 있다. 위에서 설명된 바와 같이, 하나 이상의 비디오 및/또는 이미지 인식 알고리즘은 의료 기구 및/또는 해부학적 구조를 검출하는 데 사용될 수 있다. 예컨대, 머신 러닝 모델은, 이미지 및/또는 비디오에서 해부학적 구조를 검출하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 특정 수술 푸티지를 분석하고 해부학적 구조를 검출하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차의 비디오 및/또는 이미지에서 하나 이상의 특정 해부학적 구조의 존재를 표시하는 라벨과 함께, 또는 비디오 및/또는 이미지에서 특정 해부학적 구조의 부재를 표시하는 라벨과 함께, 이 수술 절차의 비디오 및/또는 이미지를 포함할 수 있다.
단계(930)에서, 프로세스(900)는, 검출된 의료 기구와 검출된 해부학적 구조 간의 상대적인 움직임을 검출하기 위해 비디오를 분석하는 것을 포함할 수 있다. 상대적인 움직임은, 예컨대, 프레임 사이에서 픽셀의 변화, 광학적 흐름, 또는 다른 형태의 모션 검출 알고리즘에 기반하여 하는 모션 검출 알고리즘을 사용하여 검출될 수 있다. 예컨대, 모션 검출 알고리즘은, 비디오에서 의료 기구의 모션을 추정하고 그리고 비디오에서 해부학적 구조의 모션을 추정하는 데 사용될 수 있으며, 의료 기구의 추정된 모션은 상대적인 움직임을 결정하기 위해 해부학적 구조의 추정된 모션과 비교될 수 있다. 단계(940)에서, 프로세스(900)는, 상대적인 움직임에 기반하여 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것을 포함할 수 있고, 제1 그룹의 프레임은 수술 활동 프레임을 포함하고 제2 그룹의 프레임은 비-수술 활동 프레임을 포함한다. 예컨대, 한 그룹의 프레임에서의 제1 상대적 움직임 패턴에 대한 응답으로, 한 그룹의 프레임은 수술 활동을 포함하는 반면, 한 그룹의 프레임에서의 제2 상대적 움직임 패턴의 검출에 대한 응답으로, 한 그룹의 프레임은 비-수술 활동 프레임을 포함하지 않는 것으로 식별될 수 있다는 것이 결정될 수 있다. 그에 따라서, 제1 그룹의 프레임의 집계를 제공함으로써, 수술을 준비하는 의사가 요약된 프리젠테이션의 비디오 검토 동안 비-수술 활동 프레임을 생략하는 것이 가능해질 수 있다. 일부 실시예에서, 비-수술 활동 프레임을 생략하는 것은, 비-수술 활동을 캡처하는 대부분의 프레임을 생략하는 것을 포함할 수 있다. 예컨대, 수술중 수술 이벤트 바로 앞이나 뒤에 오는 프레임, 수술중 수술 이벤트에 대한 컨텍스트를 제공하는 비-수술 활동을 캡처하는 프레임, 또는 사용자와 관련될 수 있는 임의의 다른 프레임과 같은, 비-수술 활동을 캡처한 모든 프레임이 생략될 수 있는 것은 아니다.
본 개시내용의 일부 예시적인 실시예에서, 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은 추가로, 의료 기구와 해부학적 구조 사이에서의 검출된 상대적 포지션에 기반할 수 있다. 상대적 포지션은, 의료 기구와 해부학적 구조 간의 거리, 해부학적 구조에 대한 의료 기구의 방향, 또는 해부학적 구조에 대한 의료 기구의 위치를 지칭할 수 있다. 예컨대, 상대적 포지션은, 검출된 의료 기구의 상대 포지션 및 수술 푸티지의 하나 이상의 프레임에서의 해부학적 구조에 기반하여 추정될 수 있다. 예컨대, 상대적 포지션은 (예컨대, 픽셀에서의, 실세계 측정 등에서의) 거리, 방향, 벡터 등을 포함할 수 있다. 일 예에서, 객체 검출 알고리즘은, 의료 기구의 포지션을 결정하고 해부학적 구조의 포지션을 결정하는 데 사용될 수 있고, 2개의 결정된 포지션은 상대적 포지션을 결정하기 위해 비교될 수 있다. 일 예에서, 한 그룹의 프레임에서의 제1 상대적 포지션에 대한 응답으로, 한 그룹의 프레임은 수술 활동을 포함하는 반면, 한 그룹의 프레임에서의 제2 상대적 포지션에 대한 응답으로, 한 그룹의 프레임은 비-수술 활동 프레임으로 식별될 수 있다는 것이 결정될 수 있다. 다른 예에서, 의료 기구와 해부학적 구조 간의 거리는, 선택된 임계치와 비교될 수 있고, 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은 추가로, 비교의 결과에 기반할 수 있다. 예컨대, 임계치는, 의료 기구의 타입, 해부학적 구조의 타입, 수술 절차의 타입 등에 기반하여 선택될 수 있다. 다른 실시예에서, 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은 추가로, 의료 기구와 해부학적 구조 사이에서의 검출된 상호작용에 기반할 수 있다. 상호작용은 해부학적 구조에 영향을 줄 수 있는 의료 기구의 임의의 액션을 포함할 수 있거나, 또는 그 반대일 수 있다. 예컨대, 상호작용은 의료 기구와 해부학적 구조 간의 접촉, 해부학적 구조에 대한 의료 기구의 액션(이를테면, 절단, 클램핑(clamping), 압력 인가, 스크랩핑(scraping) 등), 해부학적 구조에 의한 반응(이를테면, 반사작용 액션) 또는 다른 형태의 상호작용을 포함할 수 있다. 예컨대, 머신 러닝 모델은 비디오로부터 의료 기구와 해부학적 구조 간의 상호 작용을 검출하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 비디오 푸티지를 분석하고 의료 기구와 해부학적 구조 간의 상호작용을 검출하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차의 비디오 클립에서의 의료 기구와 해부학적 구조 간의 특정 상호작용의 존재를 표시하는 라벨과 함께, 또는 비디오 클립에서의 의료 기구와 해부학적 구조 간의 특정 상호작용 없음을 표시하는 라벨과 함께, 수술 절차의 비디오 클립을 포함할 수 있다.
본 개시내용의 일부 양상은, 사용자의 요청시, 제2 그룹의 프레임의 사용자에 대한 프리젠테이션을 생략하면서, 특정 수술 푸티지의 제1 그룹의 프레임의 집계를 사용자에게 제공하는 것을 수반할 수 있다. 제1 그룹의 프레임의 집계는 다양한 형태로 제공될 수 있다. 일부 실시예에서, 제1 그룹의 프레임의 집계는 비디오 파일을 포함할 수 있다. 비디오 파일은 제1 프레임 그룹을 포함하는 비디오 클립의 편집물일 수 있다. 일부 실시예에서, 사용자는 비디오 클립 각각을 개별적으로 제공받을 수 있거나 또는 단일의 컴파일링된 비디오를 제공받을 수 있다. 일부 실시예에서, 제1 그룹의 프레임의 집계를 위해 별개의 비디오 파일이 생성될 수 있다. 다른 실시예에서, 제1 그룹의 프레임의 집계는, 프리젠테이션을 위해 포함될 프레임 및 생략될 프레임을 식별하기 위한 명령을 포함할 수 있다. 명령의 실행은, 마치 연속적 비디오가 생성된 것처럼 사용자에게 보일 수 있다. 제1 그룹의 프레임을 스틸 이미지로 제공하는 것을 포함하는 다양한 다른 포맷이 또한 사용될 수 있다.
제공하는 것은, 사용자에게 집계를 전달하기 위한 임의의 프로세스를 포함할 수 있다. 일부 실시예에서, 이는, 집계로 하여금, 컴퓨터 스크린 또는 모니터, 프로젝터, 모바일 폰 디스플레이, 태블릿, 스마트 디바이스, 또는 이미지 및/또는 오디오를 디스플레이할 수 있는 임의의 디바이스와 같은 디스플레이 상에 플레이되게 하는 것을 포함할 수 있다. 제공하는 것은 또한, 제1 그룹의 프레임의 집합을 사용자에게 송신하거나 그렇지 않으면 사용자가 액세스할 수 있도록 하는 것을 포함할 수 있다. 예컨대, 제1 그룹의 프레임의 집계는 네트워크를 통해 사용자의 컴퓨팅 디바이스에 송신될 수 있다. 다른 예로서, 제1 그룹의 프레임의 집계의 위치는 사용자와 공유될 수 있다. 제2 그룹의 프레임은 집계에서 제2 그룹의 프레임을 포함하지 않음으로써 생략될 수 있다. 예컨대, 집계가 비디오로 제공되는 경우, 제2 그룹의 프레임을 포함하는 비디오 클립은 비디오 파일에 포함되지 않을 수 있다. 제1 그룹의 프레임은 연대순을 포함하여 임의의 순서로 제공될 수 있다. 일부 예시에서는, 제1 그룹의 프레임 중 적어도 일부를 연대순이 아닌 순서로 제공하는 것이 논리적일 수 있다. 일부 실시예에서, 제1 그룹의 프레임의 집계는 2개 이상의 수술중 수술 이벤트와 연관될 수 있다. 예컨대, 사용자는 특정 수술 푸티지에서 복수의 수술중 수술 이벤트를 볼 것을 요청할 수 있다. 제1 그룹의 프레임의 집계를 사용자에게 제공하는 것은, 제2 그룹의 연대순의 프레임이 생략된 상태로, 연대순으로 제1 그룹의 프레임을 디스플레이하는 것을 포함할 수 있다.
사용자는 수술 요약 푸티지에 액세스할 것을 요구할 수 있는 임의의 개인 또는 엔티티일 수 있다. 일부 실시예에서, 사용자는 의사 또는 다른 의료 서비스 전문가일 수 있다. 예컨대, 의사는 검토 또는 트레이닝 목적으로 수술 요약 푸티지를 요청할 수 있다. 일부 실시예에서, 사용자는 관리자, 매니저, 수석 의사, 보험 회사 직원, 규제 기관, 경찰 또는 수사 기관, 또는 수술 푸티지에 대한 액세스가 필요할 수 있는 임의의 다른 엔티티일 수 있다. 사용자의 다양한 다른 예가 비디오 인덱싱 기법과 관련하여 위에서 제공되었다. 사용자는, 랩톱, 데스크탑 컴퓨터, 모바일 폰, 태블릿, 스마트 안경, 또는 요청을 제출할 수 있는 임의의 다른 형태의 컴퓨팅 디바이스와 같은 컴퓨터 디바이스를 통해 요청을 제출할 수 있다. 일부 실시예에서, 요청은 네트워크를 통해 전자식으로 수신될 수 있고, 집계는 요청의 수신에 기반하여 제공될 수 있다.
일부 예시적인 실시예에서, 사용자의 요청은 관심대상의 수술중 수술 이벤트의 적어도 하나의 타입의 표시를 포함할 수 있고, 제1 그룹의 프레임은 관심대상의 적어도 하나의 타입의 수술중 수술 이벤트 중 적어도 하나의 수술중 수술 이벤트를 묘사할 수 있다. 수술중 수술 이벤트의 타입은, 수술중 수술 이벤트이 분류될 수 있는 임의의 카테고리일 수 있다. 예컨대, 타입은, 수행되는 절차의 타입, 절차의 페이즈, 수술중 수술 이벤트가 부작용인지 여부, 수술중 수술 이벤트가 계획된 절차의 일부인지 여부, 수술중 수술 이벤트를 수행하는 의사의 신원, 수술중 수술 이벤트의 목적, 수술중 수술 이벤트와 연관된 의학적 상태, 또는 임의의 다른 카테고리 또는 분류를 포함할 수 있다.
본 개시내용의 실시예는, 환자의 의료 기록에 저장하기 위해 제1 그룹의 프레임을 내보내는 것을 더 포함할 수 있다. 위에서 설명된 바와 같이, 특정 수술 푸티지는 환자에 대해 수행되는 수술 절차를 묘사할 수 있다. 개시된 방법을 사용하여, 적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임은 환자의 의료 기록과 연관될 수 있다. 본원에서 사용되는 바와 같이, 의료 기록은 진단, 치료 및/또는 케어(care)를 포함하여, 환자의 건강과 관련된 정보에 대한 임의의 형태의 문서(documentation)를 포함할 수 있다. 의료 기록은 EMR(electronic medical record)과 같은 디지털 포맷으로 저장될 수 있다. 제1 그룹의 프레임을 내보내는 것은, 제1 그룹의 프레임을 송신하거나 아니면, 제1 그룹의 프레임을 의료 기록에 저장하는 데 이용가능하게 또는 이와 달리 제1 프레임 그룹을 의료 기록과 연관시키는 방식으로 만드는 것을 포함할 수 있다. 이는, 예컨대, 제1 그룹의 프레임(또는 제1 그룹의 프레임의 카피(copy))을 데이터베이스와 같은 외부 디바이스에 송신하는 것을 포함할 수 있다. 일부 실시예에서, 개시된 방법은, 제1 그룹의 프레임을 고유한 환자 식별자와 연관시키는 것 및 고유한 환자 식별자를 포함하는 의료 기록을 업데이트하는 것을 포함할 수 있다. 고유한 환자 식별자는, 환자를 고유하게 식별하는 영숫자 스트링과 같은 임의의 표시자일 수 있다. 영숫자 스트링은 환자를 익명화할 수 있으며, 이는 개인정보 보호를 위해 필요할 수 있다. 개인정보 보호가 문제가 되지 않을 경우, 고유한 환자 식별자는 환자의 이름 및/또는 사회 보장 번호를 포함할 수 있다.
일부 예시적인 실시예에서, 개시된 방법은 적어도 하나의 수술중 수술 이벤트의 인덱스를 생성하는 것을 더 포함할 수 있다. 위에서 설명된 바와 같이, 인덱스는 연관된 비디오 프레임의 리트리벌(retrieval)을 가능하게 하는 데이터 저장의 형태를 지칭할 수 있다. 인덱싱은, 인덱싱되지 않은 경우보다 더 효율적 및/또는 효과적인 방식으로 리트리벌을 촉진할 수 있다. 인덱스는, 제1 그룹의 프레임에 묘사된 아니면 이와 연관된 수술중 수술 이벤트의 리스트 또는 다른 항목화를 포함할 수 있다. 제1 그룹의 프레임을 내보내는 것은, 제1 그룹의 프레임의 편집물을 생성하는 것을 포함할 수 있으며, 편집물은 인덱스를 포함하고 그리고 하나 이상의 인덱스 아이템의 선택에 기반하여 적어도 하나의 수술중 수술 이벤트를 보는 것을 가능하게 하도록 구성된다. 예컨대, 인덱스를 통해 "절개"를 선택함으로써, 사용자에게 절개를 묘사하는 수술 푸티지의 편집물이 제공될 수 있다. 다양한 다른 수술중 수술 이벤트가 인덱스에 포함될 수 있다. 일부 실시예에서, 편집물은 연속적인 비디오로서 저장된 다양한 수술중 이벤트의 일련의 프레임을 보유할 수 있다. 예컨대, 사용자는 인덱스를 통해 다수의 수술중 이벤트를 선택할 수 있고, 선택된 수술중 이벤트와 연관된 프레임은 단일 비디오로 컴파일링될 수 있다.
본 개시내용의 실시예는 원인-효과 요약을 생성하는 것을 더 포함할 수 있다. 원인-효과 요약은, 사용자가, 중간 클립 또는 이미지를 볼 필요 없이, 연관된 결과 페이즈의 이미지 또는 클립 그리고 수술 절차의 원인 페이즈와 연관된 클립 또는 이미지를 보도록 허용할 수 있다. 본원에서 사용되는 바와 같이, "원인"은, 특정 결과, 현상 또는 상태를 발생시키는 트리거 또는 액션을 지칭한다. "결과"는, 원인에 기인할 수 있는 현상 또는 상태를 지칭한다. 일부 실시예에서, 결과는 부작용 결과일 수 있다. 예컨대, 결과는 출혈, 장간막 폐기종, 상해, 계획되지 않은 개복 수술로의 변환(예컨대, 복부 벽 절개), 계획된 것보다 훨씬 큰 절개 등을 포함할 수 있다. 원인은, 부작용 결과를 야기하거나 또는 그에 기인할 수 있는, 의사에 의한 에러와 같은 액션일 수 있다. 예컨대, 에러는 기술적 에러, 통신 에러, 관리 에러, 판정 에러, 의사-결정 에러, 의료 장비 활용과 관련된 에러, 또는 발생할 수 있는 다른 형태의 에러를 포함할 수 있다. 결과는 또한, 성공적인 수술, 절차 또는 페이즈와 같은 긍정적 또는 예상된 결과를 포함할 수 있다.
원인-영향 요약이 생성되는 실시예에서, 이력 데이터는 이력 수술 결과 데이터 및 개개의 이력 원인 데이터를 더 포함할 수 있다. 과거 수술 결과 데이터는 결과와 관련된 이력 수술 푸티지의 일부를 표시할 수 있고, 이력 원인 데이터는 결과의 개개의 원인과 연관된 이력 수술 푸티지의 일부를 표시할 수 있다. 그러한 실시예에서, 제1 그룹의 프레임은 원인 프레임 세트 및 결과 프레임 세트를 포함할 수 있는 반면, 제2 그룹의 프레임은 중간 프레임 세트를 포함할 수 있다.
도 10은, 개시된 실시예에 따른, 원인-효과 요약을 생성하기 위한 예시적인 프로세스(1000)를 예시하는 흐름도이다. 프로세스(1000)는 예로서 제공되며, 당업자는 본 개시내용에 따른 원인-효과 요약을 생성하기 위한 다양한 다른 프로세스를 인지할 것이다. 단계(1010)에서, 프로세스(1000)는 수술 결과 및 수술 결과의 개개의 원인을 식별하기 위해 특정 수술 푸티지를 분석하는 것을 포함할 수 있으며, 식별하는 것은 이력 결과 데이터 및 개개의 이력 원인 데이터에 기반한다. 분석은, 위에서 논의된 바와 같이, 이미지 및/또는 비디오 프로세싱 알고리즘을 사용하여 수행될 수 있다. 일부 실시예에서, 단계(1010)는, 특정 수술 푸티지를 분석하기 위해, 이력 데이터를 사용하여 수술 결과 및 수술 결과의 개개의 원인을 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은, 알려진 또는 사전결정된 수술 결과 및 개개의 원인을 갖는 이력 데이터에 기반하여 트레이닝될 수 있다. 그런 다음, 트레이닝된 모델은, 특정 수술 푸티지와 같은 다른 푸티지에서 수술 결과 및 개개의 원인을 식별하는 데 사용될 수 있다. 이러한 머신 러닝 모델을 트레이닝시키는 데 사용되는 트레이닝 예시의 예는, 수술 절차의 비디오 클립에 대응하는 수술 결과 및 가능하게는 수술 결과의 개개의 원인을 표시하는 라벨과 함께, 수술 절차의 비디오 클립을 포함할 수 있다. 이러한 트레이닝 예시는, 예컨대 이력 데이터로부터의 비디오 클립, 이력 데이터에 기반하여 결정된 결과 등을 비롯하여, 이력 데이터에 기반할 수 있다.
단계(1020)에서, 프로세스(1000)는, 분석에 기반하여, 특정 수술 푸티지에서 결과 프레임 세트를 검출하는 것을 포함할 수 있고, 결과 프레임 세트는 수술 절차의 결과 페이즈에 있다. 결과 페이즈는 위에서 설명된 결과와 연관된 수술 절차의 시간기간(time span) 또는 부분일 수 있다. 단계(1030)에서, 프로세스(1000)는, 분석에 기반하여, 특정 수술 푸티지에서 원인 프레임 세트를 검출하는 것을 포함할 수 있고, 원인 프레임 세트는 결과 페이즈로부터 시간상 먼 수술 절차의 원인 페이즈 내에 있다. 일부 실시예에서, 결과 페이즈는 결과를 관찰할 수 있는 수술 페이즈를 포함할 수 있고, 결과 프레임 세트는 결과 페이즈에서의 프레임의 서브세트일 수 있다. 원인 단계는 결과 페이즈에서의 결과의 원인과 연관된 수술 절차의 시간기간 또는 부분일 수 있다. 일부 실시예에서, 원인 페이즈는 원인이 발생한 수술 페이즈를 포함할 수 있고, 원인 프레임 세트는 원인 페이즈에서의 프레임의 서브세트일 수 있다. 중간 프레임 세트는 원인 프레임 세트와 결과 프레임 세트 사이에 삽입된 중간 페이즈 내에 있을 수 있다. 단계(1040)에서, 프로세스(1000)는 수술 푸티지의 원인-결과 요약을 생성하는 것을 포함할 수 있고, 원인-결과 요약은 원인 프레임 세트 및 결과 프레임 세트를 포함하고 중간 프레임 세트를 생략한다. 일부 실시예에서, 원인-효과 요약은, 위에서 설명된 바와 같이, 제1 그룹의 프레임의 집계와 유사할 수 있다. 그에 따라서, 원인-효과 요약은 원인 프레임 세트 및 결과 프레임 세트와 연관된 비디오 클립의 편집물을 포함할 수 있다. 위에서 설명된 바와 같이, 사용자에게 제공되는 제1 그룹의 프레임의 집계는 원인-효과 요약을 포함할 수 있다.
도 11은, 개시된 실시예에 따른, 수술 요약 푸티지를 생성하기 위한 예시적인 프로세스(1100)를 예시하는 흐름도이다. 프로세스(1100)는 프로세싱 디바이스에 의해 수행될 수 있다. 일부 실시예에서, 비-일시적 컴퓨터-판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세스(1100)를 수행하게 하는 명령을 포함할 수 있다. 단계(1110)에서, 프로세스(1100)는, 적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임 및 수술 활동과 연관되지 않은 제2 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하는 것을 포함할 수 있다. 위에서 추가로 상세히 논의된 바와 같이, 제1 그룹의 프레임은 다수의 수술중 수술 이벤트과 연관될 수 있고, 반드시 연이은 프레임일 필요는 없을 수 있다. 추가로, 일부 실시예에서, 프로세스(1000)와 관련하여 위에서 논의된 바와 같이, 제1 그룹의 프레임은 원인 프레임 세트 및 결과 프레임 세트를 포함할 수 있고, 제2 그룹의 프레임은 중간 프레임 세트를 포함할 수 있다.
단계(1120)에서, 프로세스(1100)는, 이전 수술 절차의 이력 수술 푸티지에 기반하여 이력 데이터에 액세스하는 것을 포함할 수 있으며, 이력 데이터는, 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임 및 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함한다. 일부 실시예에서, 이력 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 수술 도구 및/또는 해부학적 특징의 존재 또는 움직임 중 적어도 하나의 표시자를 포함할 수 있다. 단계(1130)에서, 프로세스(1100)는, 특정 수술 푸티지에서, 이력 데이터의 정보에 기반하여 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것을 포함할 수 있다.
단계(1140)에서, 프로세스(1100)는, 사용자의 요청시, 제2 그룹의 프레임의 사용자에 대한 프리젠테이션을 생략하면서, 특정 수술 푸티지의 제1 그룹의 프레임의 집계를 사용자에게 제공하는 것을 포함할 수 있다. 사용자의 요청은, 사용자가 요청하는 것을 가능하게 하는 사용자 인터페이스를 포함할 수 있는 컴퓨팅 디바이스로부터 수신될 수 있다. 일부 실시예에서, 사용자는 수술중 이벤트의 특정 타입 또는 카테고리와 연관된 프레임을 추가로 요청할 수 있다. 프로세스(1100)에서 설명된 단계에 기반하여, 수술중 이벤트와 연관된 프레임은 포함하고 수술 활동과 연관되지 않은 프레임은 생략하는 요약이 사용자에게 제공될 수 있다. 요약은, 예컨대, 다른 관련없는 푸티지를 상당부 생략하면서, 의사에 의해, 수술중 수술 이벤트를 집계한 트레이닝 비디오로 사용될 수 있다.
수술 절차를 준비할 때, 의사는 유사한 수술 이벤트를 갖는 몇 개의 수술 절차의 비디오 푸티지를 검토하는 것이 도움이 될 수 있다. 기존의 접근법은, 의사가 유사한 수술 이벤트를 갖는 수술 절차의 비디오 푸티지에 쉽게 액세스하도록 허용하지 않을 수 있다. 추가로, 푸티지가 액세스되더라도, 전체 비디오를 시청하거나 비디오의 관련 부분을 찾는 데 너무 많은 시간이 소요될 수 있다. 따라서, 상이한 환자에 대해 수행되는 수술로부터 의사가 수술 이벤트의 비디오 컴파일링 푸티지를 효율적이고 효과적으로 보는 것을 가능하게 하는 신규한 접근법이 필요하다.
본 개시내용의 양상은, 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체를 포함하는, 수술 준비에 관한 것일 수 있다. 특히, 상이한 환자에 대해 수행되는 수술에서의 다양한 이벤트의 편집물 비디오가 의사 또는 다른 사용자에게 제공될 수 있다. 편집물은 유사한 수술 절차로부터 다양한 수술중 이벤트에 대한 수술 비디오의 발췌물(excerpt)을 포함할 수 있으며, 이는 자동으로 합성 형태로 집계될 수 있다. 상이한 환자에 대한 유사한 수술로부터 선택된 비디오 세그먼트의 편집물을 리트리브하기 위해 의사가 사례별 정보(case-specific information)를 입력하는 것이 가능해질 수 있다. 편집물은 하나의 수술로부터의 하나의 수술중 이벤트 및 하나 이상의 제2 수술로부터의 다른 상이한 수술중 이벤트를 포함할 수 있다. 예컨대, 상이한 환자에 대해 수술할 때 발생하는 상이한 합병증이 하나의 편집물 비디오에 모두 포함될 수 있다. 다수의 수술 절차의 비디오가 공유 특성(예컨대, 유사한 기법이 사용됨)을 갖는 동일한 이벤트를 보유하는 상황에서, 시스템은 리던던시를 회피하기 위해 하나 이상의 수술 절차로부터의 푸티지를 생략할 수 있다.
논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 상이한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따라, 방법은 복수의 세트의 수술 비디오 푸티지의 저장소에 액세스하는 것을 수반할 수 있다. 본원에서 사용되는 바와 같이, 저장소는 비디오 푸티지가 전자식으로 저장될 수 있는 임의의 저장 위치 또는 저장 위치의 세트를 지칭할 수 있다. 예컨대, 저장소는 하드 드라이브 및/또는 플래시 드라이브와 같은 메모리 디바이스를 포함할 수 있다. 일부 실시예에서, 저장소는 서버와 같은 네트워크 위치, 클라우드 저장 위치, 공유 네트워크 드라이브, 또는 네트워크를 통해 액세스할 수 있는 임의의 다른 형태의 저장부일 수 있다. 저장소는 다양한 시간 및/또는 위치에서 캡처된 수술 비디오 푸티지의 데이터베이스를 포함할 수 있다. 일부 실시예에서, 저장소는 수술 비디오 푸티지 외에 추가적인 데이터를 저장할 수 있다.
위에서 설명된 바와 같이, 수술 비디오 푸티지는 임의의 비디오, 비디오 프레임의 그룹, 또는 수술 절차의 표현을 포함하는 비디오 푸티지를 지칭할 수 있다. 예컨대, 수술 푸티지는 외과 수술 동안 캡처된 하나 이상의 비디오 프레임을 포함할 수 있다. 한 세트의 수술 비디오 푸티지는 하나 이상의 수술 비디오 또는 수술 비디오 클립의 그룹을 지칭할 수 있다. 비디오 푸티지는 동일한 위치에 저장될 수 있거나 복수의 저장 위치로부터 선택될 수 있다. 반드시 그런 것은 아니지만, 한 세트 내의 비디오는 어떤 식으로든 관련될 수 있다. 예컨대, 한 세트 내의 비디오 푸티지는, 동일한 캡처 디바이스에 의해 기록된, 동일한 설비에서 기록된, 동일한 시간에 또는 동일한 타임프레임 내에 기록된, 동일한 환자 또는 그룹의 환자에 대해 수행되는 수술 절차를 묘사하거나, 동일하거나 유사한 수술 절차를 묘사하거나, 공통 특성(이를테면, 유사한 복잡성 레벨, 유사한 이벤트를 포함하는, 유사한 기법의 사용을 포함하는, 유사한 의료 기구의 사용을 포함하는 등)을 공유하는 수술 절차를 묘사하거나, 또는 임의의 다른 속성 또는 특성을 공유하는 비디오를 포함할 수 있다.
복수의 세트의 수술 비디오 푸티지는 다양한 환자에 대해 수행된 복수의 수술 절차를 반영할 수 있다. 예컨대, 동일하거나 유사한 수술 절차를 받았거나 유사한 기법이 사용된 수술 절차를 받은 여러 다른 개인이 공통 세트 또는 복수의 세트 내에 포함될 수 있다. 대안적으로 또는 추가로, 하나 이상의 세트는 단일 환자로부터 그러나 상이한 시간에 캡처된 수술 푸티지를 포함할 수 있다. 복수의 수술 절차는 동일한 타입(예컨대, 모두 충수염 수술을 포함)일 수 있거나 또는 상이한 타입일 수 있다. 일부 실시예에서, 복수의 수술 절차는, 동일하거나 유사한 페이즈 또는 수술중 이벤트와 같은 공통 특성을 공유할 수 있다.
복수의 세트의 수술 비디오 푸티지는, 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성, 및 수술중 수술 이벤트 특성을 더 포함할 수 있다. 이러한 이벤트, 결과 및 특성의 예는 본 개시내용 전반에 걸쳐 설명된다. 수술 결과는, 전체적인 수술 절차의 결과(예컨대, 환자가 회복 또는 완전히 회복되었는지 여부, 퇴원후 환자가 재입원했는지 여부, 수술이 성공했는지 여부), 또는 수술 절차 내에서의 개별 페이즈 또는 이벤트의 결과(예컨대, 합병증 발생했는지 여부 또는 기법의 성공했는지 여부)를 포함할 수 있다.
본 개시내용의 일부 양상은, 고려된(contemplated) 수술 절차를 준비하는 의사가 고려된 수술 절차에 대응하는 사례별 정보를 입력하는 것을 가능하게 하는 것을 수반할 수 있다. 고려된 수술 절차는 아직 수행되지 않은 임의의 수술 절차를 포함할 수 있다. 일부 실시예에서, 수술 절차는 의사가 환자에 대해 수행하고자 하는 계획된 수술 절차일 수 있다. 다른 실시예에서, 고려된 수술 절차는 가상 절차일 수 있고 반드시 특정 환자와 연관되지 않을 수 있다. 일부 실시예에서, 고려된 수술 절차는 실험적일 수 있고 널리 시행되지 않을 수 있다. 사례별 정보는 고려된 또는 가상 환자의 또는 고려된 수술 절차의 임의의 특성 또는 속성을 포함될 수 있다. 예컨대, 사례별 정보는, 이로 제한되는 것은 아니지만, 절차가 수행될 환자의 특성, 수술을 수행하는 의사의 특성, 절차에 관여한 다른 의료 서비스 전문가의 특성, 수행되는 절차의 타입, 절차의 고유한 세부사항 또는 양상, 수반된 장비 또는 도구의 타입, 수반된 기술의 타입, 절차를 복잡하게 하는 팩터, 절차의 위치, 치료되는 의학적 상태의 타입 또는 그의 특정 양상, 수술 결과, 수술중 이벤트 결과, 또는 고려된 수술 절차를 정의하거나 설명할 수 있는 임의의 다른 정보를 포함할 수 있다. 예컨대, 사례별 정보는 환자의 나이, 체중, 의학적 상태, 바이탈 징후, 다른 신체적 특성, 과거 병력, 가족 병력, 또는 잠재적 결과에 직간접적으로 영향을 미칠 수 있는 임의의 다른 타입의 환자-관련 정보를 포함할 수 있다. 사례별 정보는 또한, 수행하는 의사의 스킬 레벨의 표시자, 사용된 수술 기법, 직면하게 된 합병증, 또는 의사, 절차, 사용된 도구, 또는 설비에 관한 임의의 다른 정보를 포함할 수 있다.
사례별 정보는 다양한 방식으로 입력될 수 있다. 일부 실시예에서, 의사는 그래픽 사용자 인터페이스를 통해 사례별 정보를 입력할 수 있다. 사용자 인터페이스는 정보를 입력하기 위한 하나 이상의 텍스트 필드, 프롬프트, 드롭-다운 리스트, 체크박스 또는 다른 필드 또는 메커니즘을 포함할 수 있다. 일부 실시예에서, 그래픽 사용자 인터페이스는 개시된 방법을 수행하는 컴퓨팅 디바이스 또는 프로세서와 연관될 수 있다. 다른 실시예에서, 그래픽 사용자 인터페이스는 외부 컴퓨팅 디바이스, 이를테면 모바일 폰, 태블릿, 랩탑, 데스크탑 컴퓨터, 컴퓨터 단말, 웨어러블 디바이스(스마트 워치, 스마트 안경, 스마트 주얼리(smart jewelry), 헤드-마운트 디스플레이 등), 또는 사용자 입력을 수신할 수 있는 임의의 다른 전자 디바이스와 연관될 수 있다. 일부 실시예에서, 사례별 정보는 더 이른 시간에 또는 일정 시간 기간(예컨대, 며칠, 몇 개월, 몇 년, 또는 그 이상)에 걸쳐 입력될 수 있다. 사례별 정보의 일부 또는 전부는 병원 또는 다른 의료 설비 데이터베이스, 전자 의료 기록, 또는 환자 데이터 및/또는 다른 의료 데이터를 저장할 수 있는 임의의 다른 위치로부터 추출될 수 있다. 일부 실시예에서, 고려된 수술 절차에 대응하는 사례별 정보는 외부 디바이스로부터 수신될 수 있다. 예컨대, 사례별 정보는 외부 컴퓨팅 디바이스, 서버, 클라우드-컴퓨팅 서비스, 네트워크 디바이스, 또는 개시된 방법을 수행하는 시스템 외부의 임의의 다른 디바이스로부터 리트리브되거나 아니면 수신될 수 있다. 일 예에서, 고려된 수술 절차에 대응하는 사례별 정보의 적어도 일부는, EMR(Electronic Health Record)로부터 또는 EMR을 다루는 시스템(예컨대, 절차가 수행될 특정 환자의 EMR, 고려된 수술 절차와 연관된 EMR 등)으로부터, 스케줄링 시스템으로부터, 고려된 수술 절차와 연관된 의료 전문가에 대응하는 전자 기록으로부터, 또는 전자 기록을 다루는 시스템 등으로부터 수신될 수 있다.
일부 예시적인 실시예에서, 사례별 정보는 고려된 절차와 관련된 환자의 특성을 포함할 수 있다. 예컨대, 앞서 언급된 바와 같이, 사례별 정보는 고려된 환자의 특성을 포함할 수 있다. 환자 특성은, 이로 제한되는 것은 아니지만, 환자의 성별, 나이, 체중, 키, 체력, 심박수, 혈압, 온도, 의학적 상태 또는 질환, 병력, 이전 치료 또는 임의의 다른 관련 특성을 포함할 수 있다. 다른 예시적인 환자 특성은 본 개시내용 전반에 걸쳐 설명된다. 일부 실시예에서, 환자의 특성은 의사가 직접 입력할 수 있다. 예컨대, 환자 특성은, 위에서 설명된 바와 같이, 그래픽 사용자 인터페이스를 통해 입력될 수 있다. 다른 실시예에서, 환자의 특성은 데이터베이스 또는 다른 전자 저장 위치로부터 리트리브될 수 있다. 일부 실시예에서, 환자의 특성은 환자의 의료 기록으로부터 수신될 수 있다. 예컨대, 환자 특성은 의사가 입력한 식별자 또는 다른 정보에 기반하여 의료 기록 또는 다른 정보 소스로부터 리트리브될 수 있다. 예컨대, 의사는 환자 식별자를 입력할 수 있고 환자의 의료 기록 및/또는 환자 특성은 환자 식별자를 사용하여 리트리브될 수 있다. 본원에서 설명되는 바와 같이, 환자 식별자는 익명(예컨대, 영숫자 코드 또는 머신 판독가능 코드)이거나 또는 식별가능한 방식(예컨대, 환자 이름 또는 사회 보장 번호)으로 환자를 식별할 수 있다. 일부 예에서, 사례별 정보는 (예컨대, 2명 이상의 환자가 관여하는 고려된 수술 절차, 이를테면 장기이식의 경우) 고려된 절차와 연관된 2명 이상의 환자의 특성을 포함할 수 있다.
본 개시내용에 따르면, 사례별 정보는 수술 도구에 관한 정보를 포함할 수 있다. 수술 도구는 수술의 일부로서 사용되는 임의의 디바이스 또는 기구일 수 있다. 일부 예시적인 수술 도구가 본 개시내용의 전반에 걸쳐 설명된다. 일부 실시예에서, 수술 도구에 관한 정보는, 도구 타입 또는 도구 모델 중 적어도 하나를 포함할 수 있다. 도구 타입은 도구의 임의의 분류를 지칭할 수 있다. 예컨대, 도구 타입은 사용 중인 기구의 종류(예컨대, "외과용 메스", "가위", "겸자", "견인기" 또는 다른 종류의 기구)를 지칭할 수 있다. 도구 타입은, 도구가 전자식인지 여부, 도구가 최소 침습 수술에 사용되는지 여부, 도구가 구성된 재료, 도구의 사이즈, 또는 다른 구별되는 속성과 같은 다양한 다른 분류를 포함할 수 있다. 도구 모델은 기구의 특정 제조업체 및/또는 제조사를 지칭할 수 있다(예컨대, "15921 Halsted Mosquito Forceps").
본 개시내용의 실시예는, 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트 그룹을 식별하기 위해, 사례별 정보를 복수의 세트의 수술 비디오 푸티지와 연관된 데이터와 비교하는 것을 더 포함할 수 있다. 복수의 세트의 수술 비디오와 연관된 데이터는 수술 비디오 푸티지에 관한 임의의 저장된 정보를 포함할 수 있다. 데이터는, 수술 비디오 푸티지에 묘사된 또는 이와 연관된 수술중 수술 이벤트, 수술 페이즈, 또는 수술 이벤트 특성을 식별하는 정보를 포함할 수 있다. 데이터는 다른 정보, 이를테면 환자 또는 의사의 특성, 비디오의 속성(예컨대, 캡처 날짜, 파일 사이즈, 캡처 디바이스에 대한 정보, 캡처 위치 등), 또는 수술 비디오 푸티지에 관한 임의의 다른 정보를 포함할 수 있다. 데이터는 태그 또는 다른 데이터로서 비디오파일 내에 저장될 수 있다. 다른 실시예에서, 데이터는 별개의 파일에 저장될 수 있다. 일부 실시예에서, 수술 비디오 푸티지는 데이터를 비디오 푸티지와 연관시키기 위해 인덱싱될 수 있다. 그에 따라서, 데이터는 위에서 설명된 데이터 구조(600)와 같은 데이터 구조에 저장될 수 있다. 일 예에서, 사례별 정보를 하나 이상의 수술 비디오 푸티지가 연관된 데이터와(예컨대, 복수의 세트의 수술 비디오 푸티지와) 비교하는 것은, 사례별 정보와 하나 이상의 수술 비디오 푸티지가 연관된 데이터 간의 하나 이상의 유사성 측정치를, 예컨대, 하나 이상의 유사성 함수를 사용하여 계산하는 것을 포함할 수 있다. 추가로, 일 예에서, 계산된 유사성 측정치는, 일반적으로 k 가장 유사한 수술 비디오 푸티지가 발생한 이벤트가 고려된 수술 절차 중에 직면할 가능성이 있다는 것을 예측하기 위해, 예컨대 k-최근접 이웃 알고리즘을 사용하여, 하나 이상의 수술 비디오 푸티지에서 발생한 이벤트가 고려된 수술 절차에서 발생할 가능성이 있는지를 결정하기 위해, 선택된 임계치와 비교될 수 있다. 일부 예에서, 머신 러닝 모델은, 특정 수술 절차와 관련된 정보로부터 특정 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있으며, 트레이닝된 머신 러닝 모델은, 고려된 수술 절차의 사례별 정보를 분석하고 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트의 그룹을 식별하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 특정 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트를 표시하는 라벨과 함께, 특정 수술 절차와 관련된 정보를 포함할 수 있다.
고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트의 그룹은 데이터에 기반하여 결정될 수 있다. 예컨대, 사례별 정보는 복수의 세트의 수술 비디오 푸티지와 연관된 데이터와 비교될 수 있다. 이는, 동일하거나 유사한 특성을 갖는 수술 절차와 연관된 수술 비디오 푸티지를 식별하기 위해 (사례별 정보에 표현된 바와 같은) 고려된 수술 절차의 특성을 비교하는 것을 포함할 수 있다. 예컨대, 사례별 정보가 고려된 절차와 연관된 환자의 의학적 상태를 포함하면, 동일하거나 유사한 의학적 상태를 가진 환자에 대한 수술 절차와 연관된 수술 비디오 푸티지 세트가 식별될 수 있다. 다른 예로서, 당뇨병, 높은 콜레스테롤, 고혈압, 심장 질환 가족력이 있는 73세 남성에게 카테터 삽입(catheterization)을 준비하는 의사는, 유사한 특성을 공유하는 환자(또는 특정 환자와 유사하게 나타날 것으로 예측되는 환자)를 검토하기 위한 비디오 푸티지를 묘사하기 위해 해당 사례별 정보를 입력할 수 있다. 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트의 그룹은, 식별된 수술 비디오 푸티지와 연관된 수술 절차 동안 직면하게 된 수술중 수술 이벤트를 포함할 수 있다. 일부 실시예에서, 직면할 가능성이 있는 수술중 이벤트의 그룹 및/또는 수술 비디오 푸티지를 식별하는 데 다수의 팩터가 고려될 수 있다.
수술중 이벤트가 고려된 수술 절차 동안 직면할 가능성이 있는 것으로 간주되는지 여부는, 고려된 수술 절차와 유사한 수술 절차에서 수술중 이벤트가 얼마나 자주 발생하는지에 의존할 수 있다. 예컨대, 수술중 이벤트는 유사한 절차에서 그것이 발생한 횟수, 유사한 절차에서 그것이 발생한 횟수의 백분율에 기반하여, 또는 복수의 세트의 수술 비디오 푸티지에 기반한 다른 통계 정보에 기반하여 식별될 수 있다. 일부 실시예에서, 수술중 이벤트는 이 가능성을 임계치와 비교하는 것에 기반하여 식별될 수 있다. 예컨대, 수술중 이벤트가 유사한 수술 절차의 50% 이상 또는 임의의 다른 백분율로 발생하는 경우 수술중 이벤트가 식별될 수 있다. 일부 실시예에서, 수술중 이벤트의 그룹은 이의 발생 가능성에 기반하여 수술중 이벤트의 계층(tier)을 포함할 수 있다. 예컨대, 그룹은 발생 가능성이 높은 수술중 이벤트의 계층과 발생 가능성이 낮은 하나 이상의 수술중 이벤트 계층을 포함할 수 있다.
본 개시내용의 일부 실시예에 따르면, 머신 러닝 또는 다른 인공 지능 기법이 수술중 이벤트의 그룹을 식별하는 데 사용될 수 있다. 그에 따라서, 사례별 정보를 복수의 세트의 수술 비디오 푸티지와 연관된 데이터와 비교하는 것은, 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트의 그룹을 식별하기 위해 인공 뉴럴 네트워크를 사용하는 것을 포함할 수 있다. 일 예에서, 인공 뉴럴 네트워크는 수동으로 구성될 수 있고, 둘 이상의 다른 인공 뉴럴 네트워크의 조합으로부터 생성될 수 있는 식이다. 일 예에서, 인공 뉴럴 네트워크는 직면할 가능성이 있는 수술중 이벤트와 다양한 사례별 정보를 상관시키는 트레이닝 데이터를 공급받을 수 있다. 일부 실시예에서, 트레이닝 데이터는 저장소에 포함된 하나 이상의 세트의 수술 비디오 푸티지 및 수술 푸티지와 연관된 데이터를 포함할 수 있다. 트레이닝 데이터는 또한, 환자 특성 또는 과거 병력과 같은 비-비디오 관련 데이터(non-video related data)를 포함할 수 있다. 인공 뉴럴 네트워크를 이용하여, 트레이닝 데이터에 기반하여 트레이닝된 모델이 생성될 수 있다. 그에 따라서, 인공 뉴럴 네트워크를 사용하는 것은, 사례별 정보를 인공 뉴럴 네트워크에 입력으로서 제공하는 것을 포함할 수 있다. 모델의 출력으로서, 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트의 그룹이 식별될 수 있다. 로지스틱 회귀, 선형 회귀, 회귀, 랜덤 포레스트, KNN(예컨대, 위에서 설명된 바와 같음), K-민즈 모델, 의사결정 트리, cox 비례 위험 회귀 모델, 나이브 베이즈 모델, SVM 모델, 경사 부스팅 알고리즘, 또는 임의의 다른 형태의 머신 러닝 모델 또는 알고리즘을 포함하는 다양한 머신 러닝 모델이 사용될 수 있다.
본 개시내용의 일부 양상은, 식별된 수술중 이벤트 그룹에 대응하는 복수의 세트의 수술 비디오 푸티지 세트 중 특정 세트에서의 특정 프레임을 식별하기 위해, 사례별 정보 및 직면할 가능성이 있는 식별된 수술중 이벤트 그룹을 사용하는 것을 더 포함할 수 있다. 복수의 세트의 수술 비디오 푸티지 중 특정 세트의 특정 프레임은 수술중 이벤트가 발생하는 비디오 푸티지의 위치일 수 있다. 예컨대, 수술중 이벤트 그룹이 합병증을 포함하면, 특정 프레임은, 합병증을 묘사하거나 다른 방식으로 합병증과 연관된 비디오 푸티지를 포함할 수 있다. 일부 실시예에서, 특정 프레임은, 예컨대, 수술중 이벤트에 대한 컨텍스트를 제공하기 위해, 수술중 이벤트의 발생 전 또는 후에 일부 수술 비디오 푸티지를 포함할 수 있다. 추가로, 특정 프레임은 반드시 연이어 있지 않을 수 있다. 예컨대, 수술중 이벤트가 부작용 이벤트 또는 결과이면, 특정 프레임은 부작용 결과 및 부작용의 원인에 대응하는 프레임을 포함할 수 있으며, 이는 연이어 있지 않을 수 있다. 특정 프레임은, 프레임 번호(예컨대, 프레임 번호, 개시 프레임 번호 및 종료 프레임 번호, 개시 프레임 번호 및 후속 프레임 수 등)에 기반하여, 시간 정보(예컨대, 시작 시간 및 중지 시간, 지속기간 등), 또는 비디오 푸티지의 특정 프레임을 식별하기 위한 다른 방식에 기반하여 식별될 수 있다.
일부 실시예에서, 특정 프레임은 복수의 수술 비디오 푸티지의 인덱싱에 기반하여 식별될 수 있다. 예컨대, 위에서 설명된 바와 같이, 비디오 푸티지는, 푸티지 위치를 페이즈 태그, 이벤트 태그, 및/또는 이벤트 특성에 상관시키기 위해 인덱싱될 수 있다. 그에 따라서, 복수의 세트의 수술 비디오 푸티지 중 특정 세트에서 특정 프레임을 식별하는 것은, 도 6과 관련하여 설명된 바와 같은 데이터 구조(600)와 같은 데이터 구조를 사용하여 수술중 이벤트에 대한 검색 또는 서치를 수행하는 것을 포함할 수 있다.
본 개시내용에 따르면, 식별된 특정 프레임은 다양한 환자에 대해 수행된 복수의 수술 절차로부터의 프레임을 포함할 수 있다. 그에 따라서, 식별된 특정 프레임은, 수술 준비에 사용될 수 있는, 상이한 환자에 대해 수행된 수술 절차로부터의 수술중 이벤트와 연관된 푸티지의 편집물을 형성할 수 있다. 예컨대, (비디오 품질, 선명도, 대표성, 고려된 수술 절차와의 호환성 등의 측면에서) 최상의 비디오 클립 예는, 다양한 환자에 대해 수행된 다양한 절차로부터 선택될 수 있으며 그리고 준비중인 의사가, 예컨대, 각각의 경우의 비디오를 하나씩 개별적으로 검토하지 않고도, 한 그룹의 비디오 클립 중 최상의 것을 볼 수 있도록 서로 연관될 수 있다.
본 개시내용의 실시예는, 예컨대, 리던던시를 회피하기 위해, 결과적인 편집물을 축소시키기 위해, 덜 관련되거나 덜 유익한 부분을 제거하는 등을 위해, 식별된 특정 프레임의 일부를 생략하는 것을 더 포함할 수 있다. 그에 따라서, 일부 실시예는, 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지가 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 보유한다는 것을 결정하는 것을 포함할 수 있다. 제1 세트의 그리고 제2 세트의 비디오 푸티지는, 식별된 수술중 이벤트 그룹에 대응하는 식별된 특정 프레임의 프레임을 포함할 수 있다. 공통 특성은 제1 세트의 그리고 제2 세트의 프레임으로부터의 프레임 둘 다가 포함되어야 하는지 여부를 결정하는 것과 관련된 수술중 이벤트의 임의의 특성일 수 있다. 공통 특성은, 제1 세트 및 제2 세트가 리던던트(redundant)인지 여부를 결정하는 데 사용될 수 있다. 예컨대, 수술중 이벤트는 수술 절차 동안 발생하는 합병증일 수 있고, 공통 특징은 일 타입의 합병증일 수 있다. 제1 세트의 그리고 제2 세트의 프레임에서의 합병증이 동일한 타입이면, 수술을 준비하는 의사가 제1 세트의 그리고 제2 세트의 프레임 둘 다를 보는 것은 효율적이거나 유익하지 않을 수 있다. 따라서, 의사에게의 프리젠테이션을 위해 단지 하나의 세트만이 선택될 수 있고, 다른 세트는 생략된다. 본 개시내용의 일부 실시예에서, 공통 특성은 다양한 환자의 특성을 포함할 수 있다. 예컨대, 공통 특성은, 환자의 나이, 체중, 키 또는 다른 인구 통계를 포함할 수 있고, 환자 상태 등을 포함할 수 있다. 본 개시내용 전반에 걸쳐 설명된 다양한 다른 환자 특성이 또한 공유될 수 있다. 다른 실시예에서, 공통 특성은 고려된 수술 절차의 수술중 수술 이벤트 특성을 포함할 수 있다. 수술중 수술 이벤트 특성은 수술중 이벤트의 임의의 특색 또는 속성을 포함할 수 있다. 예컨대, 수술 이벤트의 부작용 결과, 수술 기법, 의사의 스킬 레벨, 특정 의사의 신원, 생리학적 반응, 이벤트의 지속기간 또는 이벤트와 연관된 임의의 다른 특성 또는 속성을 포함할 수 있다.
본 개시내용의 다양한 예시적인 실시예에 따르면, 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지가 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 보유한다고 결정하는 것은, 공통 특성을 식별하기 위해 머신 러닝 모델의 구현을 사용하는 것을 포함할 수 있다. 일 예에서, 머신 러닝 모델은, 특정 특성을 갖는 비디오 푸티지의 프레임을 식별하기 위해, 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은, 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 식별하기 위해, 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지를 분석하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 비디오 클립의 특정 프레임의 특정 특성을 표시하는 라벨과 함께 비디오 클립을 포함할 수 있다. 다양한 머신 러닝 모델이 위에서 설명되었고, 이는 로지스틱 회귀 모델, 선형 회귀 모델, 회귀 모델, 랜덤 포레스트 모델, KNN 모델, K-민즈 모델, 의사결정 트리, cox 비례 위험 회귀 모델, 나이브 베이즈 모델, SVM 모델, 경사 부스팅 알고리즘, 딥 러닝 모델, 또는 임의의 다른 형태의 머신 러닝 모델 또는 알고리즘을 포함할 수 있다. 본 개시내용의 일부 실시예는, 2개 세트의 비디오 푸티지가 공통 특성을 공유하는지 여부를 결정하기 위해 머신 러닝 모델을 트레이닝시키는 데 예시적인 비디오 푸티지를 사용하는 것을 더 포함할 수 있고, 머신 러닝 모델을 구현하는 것은 트레이닝된 머신 러닝 모델을 구현하는 것을 포함한다. 일 예에서, 예시적인 비디오 푸티지는, 공통 특성을 공유하는 것으로 알려진 비디오 푸티지 세트의 쌍을 포함할 수 있는 트레이닝 푸티지일 수 있다. 트레이닝된 머신 러닝 모델은, 2개 세트의 비디오 푸티지가 공통 특성을 공유하는지 여부를 결정하도록 구성될 수 있다.
개시된 실시예는, 의사에게 제공될 편집물로부터 제2 세트의 포함물을 생략하고 의사에게 제공될 편집물에 제1 세트를 포함시키는 것을 더 포함할 수 있다. 본원에서 사용되는 바와 같이, 편집물은, 연속 및/또는 연이은 재생을 위해 제공될 수 있는 일련의 프레임을 포함할 수 있다. 일부 실시예에서, 편집물은 별개의 비디오 파일로 저장될 수 있다. 다른 실시예에서, 편집물은, 예컨대 저장소에 저장된 그 개개의 수술 비디오 푸티지로부터 일련의 프레임을 제공하기 위한 명령으로서 저장될 수 있다. 편집물은, 식별된 특정 프레임으로부터의 다른 프레임을 포함하여, 제1 세트에 포함된 프레임 이외의 추가적인 프레임을 포함할 수 있다.
본 개시내용의 일부 양상은, 의사가 다양한 환자에 대해 수행된 다양한 수술 절차로부터의 프레임을 보유하는 편집물을 포함하는 프리젠테이션을 보는 것을 가능하게 하는 것을 더 포함할 수 있다. 프리젠테이션은 프레임의 편집물을 포함하는 임의의 형태의 시각적 디스플레이일 수 있다. 일부 실시예에서, 프리젠테이션은 편집 비디오일 수 있다. 프리젠테이션은, 편집물 이외에, 메뉴, 컨트롤, 인덱스, 타임라인 또는 다른 콘텐츠와 같은 다른 엘리먼트를 포함할 수 있다. 일부 실시예에서, 의사가 프리젠테이션을 보는 것을 가능하게 하는 것은, 오디오 프리젠테이션과 함께 또는 오디오 프리젠테이션이 없이, 디스플레이 디바이스, 이를테면 스크린(예컨대, OLED, QLED LCD, 플라즈마, CRT, DLPT, 전자 종이, 또는 유사한 디스플레이 기술), 광 프로젝터(예컨대, 영화 프로젝터, 슬라이드 프로젝터), 3D 디스플레이, 스마트 안경, 또는 임의의 다른 시각적 프리젠테이션 메커니즘을 사용하여 프리젠테이션을 디스플레이하기 위한 데이터를 출력하는 것을 포함할 수 있다. 다른 실시예에서, 의사가 프리젠테이션을 보는 것을 가능하게 하는 것은, 하나 이상의 다른 컴퓨팅 디바이스에 의해 액세스가능한 위치에 프리젠테이션을 저장하는 것을 포함할 수 있다. 이러한 저장 위치는, 로컬 저장부(이를테면, 플래시 메모리의 하드 드라이브), 네트워크 위치(이를테면, 서버 또는 데이터베이스), 클라우드 컴퓨팅 플랫폼 또는 임의의 다른 액세스가능한 저장 위치를 포함할 수 있다. 그에 따라서, 프리젠테이션은 외부 디바이스로로부터 액세스되어 외부 디바이스 상에 디스플레이될 수 있다. 일부 실시예에서, 비디오를 출력하는 것은 비디오를 외부 디바이스로 송신하는 것을 포함할 수 있다. 예컨대, 의사가 프리젠테이션을 보는 것을 가능하게 하는 것은, 외부 디바이스 상에서의 재생을 위해 네트워크를 통해 사용자 디바이스 또는 다른 외부 디바이스에 프리젠테이션을 송신하는 것을 포함할 수 있다.
프리젠테이션은 다양한 절차로부터의 서로 다른 클립을 함께 스티칭하여, 수술 동안 발생할 수 있는 연대순으로 의사에게 이를 제공할 수 있다. 클립은 연속적으로 플레이되게 제공될 수 있거나, 또는 계속되는 클립을 플레이하기 위해 의사가 적극적으로 행동하도록 요구하는 방식으로 제공될 수 있다. 의사가 여러 대안적인 기법을 보거나 부작용 이벤트에 대한 상이한 반응을 보는 것이 도움이 될 수 있는 일부 예시에서, 다양한 수술 절차로부터의 다수의 대안적인 클립이 순차적으로 제공될 수 있다.
본 개시내용의 일부 실시예는, 프리젠테이션에 따라 식별된 특정 프레임 중 하나 이상에 대응하는 하나 이상의 연대순 마커를 포함하는 공통 수술 타임라인의 디스플레이를 가능하게 하는 것을 더 포함할 수 있다. 예컨대, 공통 수술 타임라인은, 위에서 논의한 바와 같이, 프리젠테이션 상에 오버레이될 수 있다. 연대순 마커를 포함하는 예시적인 수술 타임라인(420)이 도 4에 도시되어 있다. 연대순 마커는 마커(432, 434, 및/또는 436)에 대응할 수 있다. 그에 따라서, 연대순 마커는 수술 페이즈, 수술중 수술 이벤트, 의사 결정 분기점, 또는 프리젠테이션을 따라 식별된 특정 프레임의 다른 주목할 만한 발생에 대응할 수 있다. 마커는, 위에서 보다 상세히 설명된 바와 같이, 타임라인을 따라, 형상, 아이콘 또는 다른 그래픽 표현으로 표현될 수 있다. 타임라인은 단일 환자에 대해 수행된 수술과 연관된 프레임과 함께 제공될 수 있거나, 또는 복수의 환자에 대해 수행된 수술로부터의 비디오 클립의 편집물과 함께 제공될 수 있다.
본 개시내용의 일부 실시예에 따르면, 의사가 프리젠테이션을 보는 것을 가능하게 하는 것은, 다양한 환자에 대해 수행된 다양한 수술 절차의 이산 세트의 비디오 푸티지를 순차적으로 디스플레이하는 것을 포함할 수 있다. 각각의 이산 세트의 비디오 푸티지는 상이한 환자에 대해 수행된 상이한 수술 절차에 대응할 수 있다. 일부 실시예에서, 이산 세트의 비디오 푸티지를 순차적으로 디스플레이하는 것은, 의사 또는 다른 사용자에게 연속 비디오로 나타날 수 있다. 다른 실시예에서, 재생은 이산 세트의 비디오 푸티지 사이에서 정지하거나 일시정지할 수 있다. 의사 또는 다른 사용자는 시퀀스에서 그 다음 세트의 비디오 푸티지를 수동으로 시작할 수 있다.
본 개시내용의 일부 실시예에 따르면, 프리젠테이션은, 직면할 가능성이 있는 식별된 수술중 이벤트 그룹 및/또는 식별된 수술중 이벤트 그룹에 대응하는 복수의 세트의 수술 비디오 푸티지 중 특정 세트에서의 식별된 특정된 프레임에 기반한 시뮬레이팅된 수술 절차(simulated surgical procedure)의 디스플레이를 포함할 수 있다. 예컨대, 머신 러닝 알고리즘(예컨대, 생성적 적대 네트워크(Generative Adversarial Network))은, 수술중 이벤트의 그룹 및/또는 수술 비디오 푸티지의 프레임에 기반하여 수술 절차의 시뮬레이션을 생성하기 위해, 트레이닝 예시를 사용하여 머신 러닝 모델(예컨대, 인공 뉴럴 네트워크, 딥 러닝 모델, 컨볼루셔널 뉴럴 네트워크 등)을 트레이닝하는 데 사용될 수 있고, 트레이닝된 머신 러닝 모델은, 직면할 가능성이 있는 식별된 수술중 이벤트 그룹 및/또는 식별된 수술중 이벤트 그룹에 대응하는 복수의 세트의 수술 비디오 푸티지 중 특정 세트에서의 식별된 특정 프레임을 분석하여 시뮬레이팅된 수술 절차를 생성하는 데 사용될 수 있다.
일부 실시예에서, 이산 세트의 비디오 푸티지를 순차적으로 디스플레이하는 것은, 의사 또는 다른 사용자가 이산 세트의 비디오 푸티지 중 하나 이상을 선택하는 것을 가능하게 하는 이산 세트의 비디오 푸티지의 인덱스를 디스플레이하는 것을 포함할 수 있다. 인덱스는, 예컨대, 수술중 이벤트, 수술 페이즈, 또는 상이한 이산 세트의 비디오 푸티지의 다른 표시자를 나열한 텍스트-기반 인덱스일 수 있다. 다른 실시예에서, 인덱스는 그래픽 디스플레이, 이를테면 위에서 설명된 바와 같은 타임라인 또는 그래픽과 텍스츄얼 정보의 조합일 수 있다. 예컨대, 인덱스는, 이산 세트를 대응하는 수술 페이즈 및 텍스츄얼 페이즈 표시자로 파싱하는 타임라인을 포함할 수 있다. 그러한 실시예에서, 이산 세트는 수술 절차의 상이한 수술 페이즈에 대응할 수 있다. 이산 세트는, 상이한 컬러를 사용하여, 상이한 음영, 경계 박스 또는 세퍼레이터(separator), 또는 이산 세트를 구별하기 위한 다른 시각적 표시자로 디스플레이될 수 있다. 텍스츄얼 페이즈 표시자는 대응하는 수술 페이즈를 설명하거나 아니면 이를 식별할 수 있다. 텍스츄얼 페이즈 표시자는 타임라인 내에, 타임라인 위에, 타임라인 아래에 또는 이산 세트를 식별할 수 있는 임의의 위치에 디스플레이될 수 있다. 일부 실시예에서, 타임라인은 리스트 포맷으로 디스플레이될 수 있고, 텍스츄얼 페이즈 표시자는 리스트 내에 포함될 수 있다.
본 개시내용에 따르면, 타임라인은 수술중 수술 이벤트에 대응하는 수술중 수술 이벤트 마커를 포함할 수 있다. 수술중 수술 이벤트 마커는 수술 비디오 푸티지 내의 위치와 연관된 수술중 수술 이벤트에 대응할 수 있다. 의사는, 수술중 수술 이벤트 마커를 클릭하여, 대응하는 수술중 수술 이벤트를 묘사하는 적어도 하나의 프레임을 디스플레이하는 것이 가능해질 수 있다. 예컨대, 수술중 수술 이벤트를 클릭하는 것은, 편집 비디오의 디스플레이로 하여금, 선택된 마커와 연관된 위치로 스킵하게 할 수 있다. 일부 실시예에서, 의사는 마커와 관련된 이벤트 또는 발생에 대한 추가적인 정보를 볼 수 있으며, 이 추가적인 정보는, 위에서 더 상세히 설명되는 바와 같이, 절차의 양상을 요약하는 정보 또는 과거 수술 절차로부터 도출된 정보를 포함할 수 있다. 수술 비디오 상의 타임라인 오버레이와 관련하여 위에서 설명된 모든 특징 또는 기능 중 임의의 것이 본원에 설명된 편집 비디오에도 적용될 수 있다.
본 개시내용의 실시예는, 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성, 및 수술중 수술 이벤트 특성에 기반하여 저장소의 인덱스를 생성하기 위해, 머신 러닝 모델을 트레이닝시키는 것, 및 저장소의 인덱스를 생성하는 것을 더 포함할 수 있다. 사례별 정보를 복수의 세트와 연관된 데이터와 비교하는 것은, 인덱스를 서치하는 것을 포함할 수 있다. 위에서 설명된, 로지스틱 회귀 모델, 선형 회귀 모델, 회귀 모델, 랜덤 포레스트 모델, KNN 모델, K-민즈 모델, 의사결정 트리, cox 비례 위험 회귀 모델, 나이브 베이즈 모델, SVM 모델, 경사 부스팅 알고리즘, 딥 러닝 모델, 또는 임의의 다른 형태의 머신 러닝 모델 또는 알고리즘을 포함하는 다양한 머신 러닝 모델이 사용될 수 있다. 알려진 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성 및 수술중 수술 이벤트 특성이 있는 수술 비디오 푸티지의 트레이닝 데이터 세트가 모델을 트레이닝하는 데 사용될 수 있다. 트레이닝된 모델은, 트레이닝 세트에 포함되지 않은 추가적인 수술 비디오 푸티지에 기반하여, 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성, 및 수술중 수술 이벤트 특성을 결정하도록 구성될 수 있다. 저장소의 수술 비디오 푸티지에 적용되는 경우, 비디오 푸티지는 식별된 속성에 기반하여 태깅될 수 있다. 예컨대, 비디오 푸티지는 비디오 인덱싱과 관련하여 위에서 설명된 바와 같이 푸티지 위치, 페이즈 태그, 이벤트 위치, 및/또는 이벤트 태그와 연관될 수 있다. 그에 따라서, 저장소는 위에서 설명된 데이터 구조(600)와 같은 데이터 구조로서 저장될 수 있다.
도 12는 개시된 실시예에 따른, 수술 준비를 위한 예시적인 프로세스(1200)를 예시하는 흐름도이다. 프로세스(1200)는 본원에서 설명된 바와 같이 하나 이상의 콜로케이트된(collocated) 또는 분산된 프로세서와 같은 프로세싱 디바이스에 의해 수행될 수 있다. 일부 실시예에서, 비-일시적 컴퓨터-판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세스(1200)를 수행하게 하는 명령을 포함할 수 있다. 프로세스(1200)는 반드시 도 12에 도시된 단계로 제한되지 않으며, 본 개시내용 전반에 걸쳐 설명된 다양한 실시예의 임의의 단계 또는 프로세스가 또한 프로세스(1200)에 포함될 수 있다. 단계(1210)에서, 프로세스(1200)는 다양한 환자에 대해 수행된 복수의 수술 절차를 반영하는 복수의 세트의 수술 비디오 푸티지의 저장소에 액세스하는 것을 포함할 수 있다. 복수의 세트의 수술 비디오 푸티지는, 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성, 및 수술중 수술 이벤트 특성을 포함할 수 있다. 일부 실시예에서, 저장소는, 예컨대, 복수의 세트의 수술 비디오 푸티지의 리트리벌 및 식별을 가능하게 하기 위해, 프로세스(800)를 사용하여 인덱싱될 수 있다.
단계(1220)에서, 프로세스(1200)는, 고려된 수술 절차를 준비하는 의사가 고려된 수술 절차에 대응하는 사례별 정보를 입력하는 것을 가능하게 하는 것을 더 포함할 수 있다. 전술한 바와 같이, 고려된 수술 절차는 계획된 절차, 가상의 절차, 실험적인 절차 또는 아직 발생하지 않은 다른 절차일 수 있다. 사례별 정보는, 예컨대 사용자 인터페이스를 통해 의사에 의해 수동으로 입력될 수 있다. 일부 실시예에서, 사례별 정보의 일부 또는 전부가 환자의 의료 기록으로부터 수신될 수 있다. 사례별 정보는 고려된 절차와 연관된 환자의 특성을 포함할 수 있고, 정보는 수술 도구에 관한 정보(예컨대, 도구 타입, 도구 모델, 도구 제조자 등), 또는 관련 수술 비디오 푸티지를 식별하는 데 사용될 수 있는 임의의 다른 정보를 포함한다.
단계(1230)에서, 프로세스(1200)는, 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트 그룹을 식별하기 위해, 사례별 정보를 복수의 세트의 수술 비디오 푸티지와 연관된 데이터와 비교하는 것을 포함할 수 있다. 직면할 가능성이 있는 수술중 이벤트의 그룹은, 예컨대 이력 비디오 푸티지, 비디오 데이터 이외의 이력 데이터, 또는 예측이 도출될 수 있는 임의의 다른 형태의 데이터에 대해 수행된 머신 러닝 분석에 기반하여 결정될 수 있다. 단계(1240)에서, 프로세스(1200)는, 식별된 수술중 이벤트 그룹에 대응하는 복수의 세트의 수술 비디오 푸티지 중 특정 세트에서의 특정 프레임을 식별하기 위해, 사례별 정보 및 직면할 가능성이 있는 식별된 수술중 이벤트 그룹을 사용하는 것을 포함할 수 있다. 식별된 특정 프레임은, 앞서 설명된 바와 같이 다양한 환자에 대해 수행된 복수의 수술 절차로부터의 프레임을 포함할 수 있다.
단계(1250)에서, 프로세스(1200)는, 앞서 설명된 바와 같이, 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지가 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 보유한다는 것을 결정하는 것을 포함할 수 있다. 단계(1260)에서, 프로세스(1200)는, 앞서 설명된 바와 같이, 의사에게 제공될 편집물로부터 제2 세트의 포함물을 생략하는 것 및 의사에게 제공될 편집물에 제1 세트를 포함시키는 것을 더 포함할 수 있다.
단계(1270)에서, 프로세스(1200)는, 의사가 다양한 환자에 대해 수행된 다양한 수술 절차로부터의 프레임을 보유하는 편집물을 포함하는 프리젠테이션을 보는 것을 가능하게 하는 것을 포함할 수 있다. 위에서 설명된 바와 같이, 의사가 프리젠테이션을 보는 것을 가능하게 하는 것은, 스크린 또는 다른 디스플레이 디바이스 상에 프리젠테이션을 디스플레이하는 것을 가능하게 하는 것, 프리젠테이션을 다른 컴퓨팅 디바이스에 액세스가능한 위치에 저장하는 것, 프리젠테이션을 송신하는 것, 또는 프리젠테이션 및/또는 편집물이 보여지게 할 수 있는 임의의 다른 프로세스 또는 방법을 포함할 수 있다.
수술 절차를 준비할 때, 의사는 과거 수술 절차의 비디오 푸티지를 검토하는 것이 도움이 될 수 있다. 그러나, 임의의 예시에서, 수술 절차의 특히 복잡한 부분만이 의사와 관련될 수 있다. 종래의 접근법을 사용하면, 의사가 절차의 복잡성에 기반하여 수술 비디오의 일부를 식별하는 것이 너무 어렵고 시간이 많이 걸릴 수 있다. 따라서, 수술 푸티지의 복잡성을 효율적이고 효과적으로 분석하고 의사가 수술 비디오의 관련 부분을 신속하게 검토할 수 있도록 하는 신규한 접근법이 필요하다.
본 개시내용의 양상은, 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체를 포함하는, 수술 준비에 관한 것일 수 있다. 특히, 수술 절차를 준비할 때, 의사는 수술 비디오 중 특정 복잡성 레벨을 갖는 부분을 보길 원할 수 있다. 예컨대, 일반적으로 일상적인 수술 비디오 내에서, 고도로 숙련된 의사는 비정상적으로 복잡했던 단일 이벤트만 보길 원할 수 있다. 그러나, 비디오에서의 적절한 비디오 및 적절한 위치를 찾는 것은, 의사에게 시간 소모적일 수 있다. 그에 따라서, 일부 실시예에서, 수술 푸티지의 복잡성을 분석하기 위한 방법 및 시스템이 제공된다. 예컨대, 복잡성에 기반하여 수술 비디오 클립을 보는 프로세스는 복잡성 스코어로 수술 비디오의 부분을 자동으로 태킹함으로써 가속화될 수 있으며, 이로써 의사는 복잡성에 기반하여 관심대상의 프레임을 신속하게 찾을 수 있다.
논의의 편의를 위해, 방법이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 상이한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따라, 방법은, 제1 세트의 프레임에서 해부학적 구조를 식별하기 위해 수술 푸티지의 프레임을 분석하는 것을 수반할 수 있다. 위에서 설명된 바와 같이, 수술 푸티지는 임의의 비디오, 비디오 프레임의 그룹, 또는 수술 절차의 표현을 포함하는 비디오 푸티지를 지칭할 수 있다. 예컨대, 수술 푸티지는 외과 수술 동안 캡처된 하나 이상의 비디오 프레임을 포함할 수 있다. 제1 세트의 프레임은 수술 푸티지 내에 포함된 하나 이상의 프레임의 그룹일 수 있다. 일부 실시예에서, 제1 세트의 프레임은 연이은 프레임일 수 있지만, 이것이 반드시 그런 것은 아니다. 예컨대, 제1 세트의 프레임은 복수의 연이은 프레임의 그룹을 포함할 수 있다.
위에서 논의된 바와 같이, 해부학적 구조는, 예컨대 기관, 조직, 관(duct), 동맥, 세포 또는 다른 해부학적 부분을 포함하는 살아있는, 유기체의 임의의 특정 부분일 수 있다. 제1 세트의 프레임은, 예컨대 위에서 설명된 바와 같이 다양한 기술을 사용하여 해부학적 구조를 식별하기 위해 분석될 수 있다. 일부 실시예에서, 수술 푸티지의 프레임은, 위에서 설명된 바와 같이, 객체 검출 알고리즘을 사용하여 분석될 수 있다. 예컨대, 객체 검출 알고리즘은 모양, 이미지 특징, 템플릿 등 중 하나 이상에 기반하여 객체를 검출할 수 있다. 일부 실시예에서, 제1 세트의 프레임에서 해부학적 구조를 식별하는 것은, 예컨대 위에서 설명된 바와 같이, 해부학적 구조를 검출하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함한다. 예컨대, 이미지 및/또는 비디오에 묘사된 것으로 알려진 해부학적 구조의 식별과 함께 이미지 및/또는 비디오는 트레이닝 데이터로서 머신 러닝 모델에 입력될 수 있다. 결과적으로, 트레이닝된 모델은 제1 세트의 프레임에서 해부학적 구조를 식별하기 위해 수술 푸티지를 분석하는 데 사용될 수 있다. 예컨대, 이미지 및/또는 비디오에서 해부학적 구조를 식별하도록 구성된 인공 뉴럴 네트워크는, 제1 세트의 프레임에서 해부학적 구조를 식별하기 위해 수술 푸티지를 분석하는 데 사용될 수 있다. 로지스틱 회귀, 선형 회귀, 회귀, 랜덤 포레스트, KNN, K-민즈 모델, 의사결정 트리, cox 비례 위험 회귀 모델, 나이브 베이즈 모델, SVM 모델, 경사 부스팅 알고리즘, 딥 러닝 모델, 또는 임의의 다른 형태의 머신 러닝 모델 또는 알고리즘을 포함하는 다양한 머신 러닝 모델이 사용될 수 있다.
본 개시내용의 일부 양상은, 제1 이력 데이터에 액세스하는 것을 더 포함할 수 있고, 제1 이력 데이터는 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터의 분석에 기반한다. 일반적으로, 프레임 데이터는, 본원에 설명된 바와 같은 수술 절차를 묘사하는 임의의 이미지 또는 비디오 데이터를 포함할 수 있다. 제1 이력 데이터 및/또는 제1 프레임 데이터는 하나 이상의 저장 위치에 저장될 수 있다. 그에 따라서, 제1 이력 데이터에 액세스하는 것은 저장 위치로부터 이력 데이터를 리트리브하는 것을 포함할 수 있다. 다른 실시예에서, 제1 이력 데이터에 액세스하는 것은, 예컨대, 이미지 캡처 디바이스 또는 컴퓨팅 디바이스로부터 제1 이력 데이터 및/또는 제1 프레임 데이터를 수신하는 것을 포함할 수 있다. 본 개시내용의 실시예에 따라, 제1 이력 데이터에 액세스하는 것은 제1 프레임 데이터를 리트리브 또는 수신하는 것 및 제1 이력 데이터를 식별하기 위해 제1 프레임 데이터를 분석하는 것을 포함할 수 있다.
이력 데이터는 이전 수술 절차와 관련된 임의의 정보일 수 있다. 이러한 이력 데이터의 일부 비-제한적인 예가 위에서 설명되었다. 일부 실시예에서, 제1 이력 데이터는 제1 그룹의 이전 수술 절차와 연관된 복잡성 정보를 포함할 수 있다. 복잡성 정보는, 아래에서 추가로 논의되는 바와 같이 수술의 복잡성 레벨을 표시하는 임의의 데이터를 포함할 수 있다. 제1 이력 데이터는, 제1 프레임 데이터로부터 수집될 수 있는, 제1 그룹의 수술 절차에 속하는 임의의 다른 정보를 포함할 수 있다. 예컨대, 제1 프레임 데이터는, 수반되는 해부학적 구조, 사용된 의료 도구, 수행되는 수술 절차의 타입, 절차에서 발생하는 수술중 이벤트(부작용 이벤트 포함), 환자가 나타내는 의학적 상태, 환자 특성, 의과의 특성, 관여한 의사 또는 다른 의료 서비스 전문가의 스킬 레벨, 타이밍 정보(예컨대, 의료 도구와 해부학적 구조 간의 상호작용 지속기간, 수술 페이즈 또는 수술중 이벤트의 지속기간, 의료 도구의 출현과, 의료 도구와 해부학적 구조 간의 첫 번째 상호작용 간의 시간, 또는 다른 관련된 지속기간 또는 타이밍 정보), 해부학적 구조의 상태, 관여된 의사 또는 다른 의료 서비스 전문가의 수, 또는 이전 수술 절차와 연관된 임의의 다른 정보를 포함하는, 이전 수술 절차와 연관된 정보를 포함하거나 이를 표시할 수 있다.
제1 이력 데이터가 복잡성 정보를 포함하는 실시예에서, 이러한 정보는 수술 절차 또는 이의 일부의 복잡성을 표시하거나 또는 그 복잡성과 연관될 수 있다. 예컨대, 제1 이력 데이터는 특정 해부학적 구조와 특정 수술 복잡성 레벨 간의 통계적 관계의 표시를 포함할 수 있다. 통계적 관계는, 특정 수술 복잡성 레벨과 특정 해부학적 구조 간의 일부 상관관계를 표시할 수 있는 임의의 정보일 수 있다. 예컨대, 특정 혈관이 수술 절차에서 노출되거나, 장기의 특정 부분이 열상되거나, 또는 특정 양의 혈액이 검출되는 경우, 이러한 이벤트는 수술적 복잡성 레벨과 통계적으로 상관될 수 있다. 유사하게, 다량의 지방 또는 장기의 열악한 상태의 검출도 또한 복잡성 레벨과 상관될 수 있다. 이는 단지 예일뿐이며, 수술 복잡성과 상관되는 임의의 상태 또는 이벤트는 수술 복잡성의 표시자의 역할을 수 있다.
일부 실시예에서, 제1 이력 데이터는, 객체 검출 알고리즘 및/또는 모션 검출 알고리즘을 포함하는 하나 이상의 이미지 또는 비디오 분석 알고리즘을 사용하여 제1 프레임 데이터로부터 식별될 수 있다. 다른 실시예에서, 제1 이력 데이터는, 프레임 데이터에 기반하여 이력 데이터를 식별하도록 트레이닝된 머신 러닝 모델을 사용하여 제1 프레임 데이터로부터 식별될 수 있다. 예컨대, 머신 러닝 모델은 프레임 데이터로부터 이력 데이터(위에서 설명된 바와 같음)를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 제1 이력 데이터를 결정하기 위해 제1 프레임 데이터를 분석하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차 또는 수술 절차의 일부의 복잡성 레벨을 표시하는 라벨과 함께, 수술 절차 또는 수술 절차의 일부를 묘사하는 이미지 및/또는 비디오를 포함할 수 있다. 예컨대, 그러한 라벨은 수동으로 생성될 수 있고, 상이한 프로세스에 의해 생성될 수 있으며, 메모리로부터 판독될 수 있는 식일 수 있다.
본 개시내용의 실시예는, 제1 세트의 프레임과 연관된 제1 수술 복잡성 레벨을 결정하기 위해, 제1 이력 데이터를 사용하여 그리고 식별된 해부학적 구조를 사용하여 제1 세트의 프레임을 분석하는 것을 수반할 수 있다. 본원에서 사용되는 바와 같이, 복잡성 레벨은 수술 절차 또는 수술 절차의 일부의 상대적 복잡성을 표시하는 값 또는 다른 분류자(classifier)일 수 있다. 예컨대, 복잡성은 다른 수술 절차에 대한 수술 절차의 난이도에 기반할 수 있다. 난이도는 수술 절차와 관여된 하나 이상의 기법을 수행하는 데 필요한 의사의 스킬 레벨, 부작용 효과(예컨대, 찢어짐, 출혈, 상해 또는 다른 부작용 이벤트)의 발생 가능성, 수술 절차의 성공률 또는 절차의 난이도에 대한 임의의 다른 표시자에 기반할 수 있다. 상대적 난이도 레벨이 더 높은 수술 절차는 더 높은 복잡성 레벨과 연관될 수 있다.
다른 예시적인 예로서, 복잡성 레벨은 수술 절차 또는 이의 일부를 완료하기 위한 지속기간 또는 시간 요건에 기반할 수 있다. 예컨대, 더 긴 수행 시간을 요구하는 절차 또는 기법은 더 복잡한 것으로 간주될 수 있고, 더 높은 복잡성 레벨과 연관될 수 있다. 다른 예로서, 복잡성 레벨은 수술 절차 또는 이의 일부를 수행하는 데 필요한 단계의 수에 기반할 수 있다. 예컨대, 더 많은 단계를 필요로 하는 절차 또는 기법은 더 복잡한 것으로 간주될 수 있으며 더 높은 복잡성 레벨과 연관될 수 있다. 일부 실시예에서, 복잡성 레벨은 수행되는 수술 기법 또는 절차의 타입에 기반할 수 있다. 특정 기법 또는 절차는 사전결정된 복잡성을 가질 수 있으며, 복잡성 레벨은 관여된 기법 또는 절차의 복잡성에 기반할 수 있다. 예컨대, 담낭절제술은 대망 절제술(omentectomy)보다 더 복잡한 것으로 간주될 수 있으며, 그에 따라서, 담낭절제술을 수반하는 수술 절차에는 더 높은 복잡성 레벨이 할당될 수 있다. 복잡성 레벨과 관련될 수 있는 다른 팩터는, 질환 심각도, 복잡하게 하는 팩터(complicating factor), 관여된 해부학적 구조, 사용된 의료 도구의 타입, 수행되는 수술 절차의 타입, 절차에서 발생하는 수술중 이벤트(부작용 이벤트 포함), 환자의 생리학적 반응, 환자가 나타내는 의학적 상태, 환자 특성, 의사 특성, 관여된 의사 또는 다른 의료 서비스 제공자의 스킬 레벨, 타이밍 정보(예컨대, 의료 도구와 해부학적 구조 간의 상호작용의 지속기간, 수술 페이즈 또는 수술중 이벤트의 지속기간, 의료 도구의 출현과, 의료 도구와 해부학적 구조 간의 첫 번째 상호작용 간의 시간, 또는 다른 관련 지속기간 또는 타이밍 정보), 해부학적 구조의 상태, 관여된 의사 또는 다른 의료 서비스 전문가의 수에 관한 정보, 또는 이전 수술 절차와 연관된 임의의 다른 정보를 포함할 수 있다. 수술 복잡성 레벨은 위에서의 예 중 임의의 것으로 제한되지 않을 수 있으며, 위에서 제공된 예를 포함하는 팩터의 조합에 기반할 수 있다.
수술 복잡성 레벨은 다양한 방식으로 표현될 수 있다. 일부 실시예에서, 복잡성 레벨은 값으로 표현될 수 있다. 예컨대, 수술 복잡성 레벨은, 복잡성의 스케일(예컨대, 0-5, 0-10, 0-100, 또는 임의의 다른 적절한 스케일)에 대응하는 일정 범위의 값 내에서의 값일 수 있다. 백분율 또는 다른 스코어가 또한 사용될 수 있다. 일반적으로, 더 높은 값은 더 높은 복잡성 레벨을 표시할 수 있지만, 일부 실시예에서, 수술 복잡성은 값의 역수일 수 있다. 예컨대, 복잡성 레벨 1은 복잡성 레벨 7보다 더 높은 복잡성을 표시할 수 있다. 다른 실시예에서, 복잡성 레벨은 복잡성의 텍스트-기반 표시자로서 표현될 수 있다. 예컨대, 제1 세트의 프레임에는 "높은 복잡성", "보통 복잡성", "낮은 복잡성" 또는 다양한 다른 분류자의 복잡성 레벨이 할당될 수 있다. 일부 실시예에서, 수술 복잡성 레벨은 수술 복잡성을 표현하기 위해 사용되는 표준화된 스케일 또는 인덱스에 대응할 수 있다. 수술 복잡성 레벨은 특정 타입의 수술 절차(또는 수술 절차 타입의 서브세트)에 특정적일 수 있거나, 또는 임의의 수술 절차에 적용가능한는 보편적인 복잡성 레벨일 수 있다.
위에서 언급된 바와 같이, 제1 수술 복잡성 레벨은 이력 데이터를 사용하여 제1 세트의 프레임을 분석함으로써 결정될 수 있다. 제1 세트의 프레임을 분석하는 것은, 제1 세트의 프레임에 포함된 정보에 기반하여 복잡성 레벨을 결정하기 위한 임의의 프로세스를 포함할 수 있다. 수술 복잡성 레벨을 결정하기 위한 분석의 예는 아래에서 더 상세히 제공된다.
추가로, 식별된 해부학적 구조를 사용하여 제1 수술 복잡성 레벨이 결정될 수 있다. 일부 실시예에서, 절차에 관여된 해부학적 구조의 타입은 수술 복잡성 레벨을 적어도 부분적으로 표시할 수 있다. 예컨대, 특정 해부학적 구조(예컨대, 환자의 뇌 또는 심장과 연관된 해부학적 구조)에 대해 수행되는 절차는 더 복잡한 것으로 간주될 수 있다. 일부 실시예에서, 해부학적 구조의 상태는 또한, 아래에서 더 상세히 논의되는 바와 같이 복잡성 레벨을 결정하는 것과 관련될 수 있다.
본 개시내용의 일부 양상은, 제2 세트의 프레임에서 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 식별하기 위해 수술 푸티지의 프레임을 분석하는 것을 수반할 수 있다. 예컨대, 제2 세트의 프레임은, 수술 푸티지 중, 해부학적 구조에 대해 수술 절차가 수행되고 있는 부분을 표시할 수 있다. 의료 도구는 의료 절차의 일부로 사용되는 임의의 장치 또는 장비를 포함할 수 있다. 일부 실시예에서, 의료 도구는 위에서 논의된 바와 같은 수술 도구일 수 있다. 예컨대, 의료 도구는, 이로 제한되는 것은 아니지만, 절단 기구, 파지 및/또는 홀딩 기구, 견인기, 조직 통합 기구 및/또는 재료, 보호 장비, 복강경, 내시경, 환자 모니터링 디바이스, 환자 이미징 디바이스 또는 이와 유사한 도구를 포함할 수 있다. 위에서 논의된 바와 같이, 상호작용은, 해부학적 구조에 영향을 미칠 수 있는 의료 기구에 의한 임의의 액션 또는 그 반대를 포함할 수있다. 예컨대, 상호작용은, 의료 기구와 해부학적 구조 간의 접촉, 해부학적 구조에 대한 의료 기구에 의한 액션(이를테면, 절단, 클램핑, 파지, 압력 인가, 스크랩핑 등), 해부학적 구조에 의한 생리학적 반응, 또는 다른 형태의 상호작용을 포함할 수 있다.
제1 세트의 프레임과 마찬가지로, 제2 세트의 프레임은 수술 푸티지 내에 포함된 하나 이상의 프레임의 그룹일 수 있다. 제2 세트의 프레임은 연이은 프레임일 수 있거나, 또는 복수의 그룹의 연이은 프레임을 포함할 수 있다. 일부 실시예에서, 제1 세트의 프레임과 제2 세트의 프레임은 완전히 별개일 수 있다. 다른 실시예에서, 제1 세트의 프레임 및 제2 세트의 프레임은 제1 세트의 프레임 및 제2 세트의 프레임 둘 다에 나타나는 적어도 하나의 공통 프레임을 포함할 수 있다. 제1 프레임 세트와 마찬가지로, 제2 프레임 세트는, 다양한 기술을 사용하여 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 식별하기 위해 분석될 수 있다. 일부 실시예에서, 수술 푸티지의 프레임은, 객체 검출 알고리즘(예컨대, 모양-기반 검출 알고리즘, 이미지 특징 기반 검출 알고리즘, 템플릿 기반 검출 알고리즘 등) 및/또는 모션 검출 알고리즘을 사용하여 분석될 수 있다. 일부 실시예에서, 제2 세트의 프레임에서 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 식별하는 것은, 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 검출하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은, 이미지 및/또는 비디오로부터 의료 도구 및/또는 해부학적 구조 및/또는 의료 도구와 해부학적 간의 상호 작용을 검출하기 위해 트레이닝 예시를 사용하여 교육될 수 있고, 트레이닝된 머신 러닝 모델은, 의료 도구 및/또는 해부학적 구조 및/또는 의료 도구와 해부학적 구조 간의 상호작용을 검출하기 위해 제2 세트의 프레임울 분석하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차의 이미지 및/또는 비디오 클립에 묘사된 의료 도구, 이미지 및/또는 비디오 클립에 묘사된 해부학적 구조, 및 이미지 및/또는 비디오 클립에 묘사된 의료 도구와 해부학적 구조 간의 상호작용 중 적어도 하나를 표시하는 라벨과 함께, 수술 절차의 이미지 및/또는 비디오 클립을 포함할 수 있다.
일부 예시적인 실시예에서, 제1 세트의 프레임에서 해부학적 구조를 식별하는 것은, 의료 도구와 해부학적 구조 간의 제1 상호작용 및 의료 도구의 표시에 기반할 수 있다. 일부 실시예에서, 제1 세트의 프레임에서 식별된 의료 도구는 제2 세트의 프레임에서 식별된 의료 도구와 동일한 도구일 수 있다. 그에 따라서, 제2 세트의 프레임에서 의료 도구와 해부학적 구조 간의 상호작용은 의료 도구와 해부학적 구조 간의 나중 상호작용일 수 있다. 이는, 예컨대, 수술 복잡성 레벨을 적어도 부분적으로 표시할 수 있는 제1 상호작용과 나중 상호작용 간의 시간을 결정하는 데 도움이 될 수 있다.
본 개시내용의 실시예는, 제2 이력 데이터에 액세스하는 것을 추가로 포함할 수 있고, 제2 이력 데이터는 제2 그룹의 이전 수술 절차로부터 캡처된 제2 프레임 데이터의 분석에 기반한다. 일부 실시예에서, 제1 그룹의 이전 수술 절차와 제2 그룹의 이전 수술 절차는 동일한 타입일 수 있다. 예컨대, 제1 이력 데이터 및 제2 이력 데이터는 각각, 제1 그룹의 충수염 수술 및 제2 그룹의 충수염 수술과 관련될 수 있다. 제1 그룹 및 제2 그룹은 특성에 따라 상이할 수 있다. 하나의 비-제한적인 예로서, 제1 그룹은 복막염을 나타내는 환자를 수반할 수 있고, 제2 그룹은 복막염을 나타내지 않은 환자를 포함할 수 있다.
일부 실시예에서, 제1 프레임 데이터와 제2 프레임 데이터는 동일할 수 있다(즉, 제1 이력 데이터와 제2 이력 데이터는 동일한 프레임 데이터에 기반할 수 있다). 예컨대, 제1 이력 데이터와 제2 이력 데이터는 동일한 프레임 데이터의 상이한 분석에 기반할 수 있다. 예시적인 예로서, 제1 프레임 데이터는 본 실시예에 따라, 제2 프레임 데이터에 포함되지 않은 수술 접촉력의 추정치를 포함할 수 있다. 일부 실시예에서, 제1 이력 데이터와 제2 이력 데이터는 동일한 프레임 데이터의 상이한 서브세트(예컨대, 상이한 수술 페이즈 및/또는 상이한 수술 절차)에 기반할 수 있다.
일부 실시예에서, 제1 프레임 데이터와 제2 프레임 데이터는 상이할 수 있다(즉, 상이한 데이터 구조에 액세스 또는 저장될 수 있다). 예컨대, 제2 이력 데이터보다 제1 이력 데이터를 생성하기 위해 동일한 수술 절차의 상이한 프레임이 분석될 수 있다.
다른 실시예에서, 제1 그룹의 이전 수술 절차와 제2 그룹의 이전 수술 절차는 적어도 하나의 양상에서 상이할 수 있다. 예컨대, 제1 그룹 및 제2 그룹은 충수염 수술을 포함할 수 있지만, 제1 그룹은 비정상 체액 누출 이벤트가 검출된 충수염 수술을 포함하는 한편, 제2 그룹에서는 비정상 체액 누출 이벤트가 검출되지 않았다는 점에서 상이할 수 있다. 일부 실시예에서, 제1 그룹의 이전 수술 절차와 제2 그룹의 이전 수술 절차는 공통으로 적어도 하나의 수술 절차를 가질 수 있다(예컨대, 둘 모두의 그룹이 절개를 포함할 수 있다). 그러나 다른 실시예에서는, 제1 그룹의 이전 수술 절차와 제2 그룹의 이전 수술 절차가 공통으로 어떠한 수술 절차도 갖지 않을 수 있다.
일부 실시예에서, 방법은 제1 세트의 프레임을 제1 복잡성 레벨로 태깅하는 단계, 제2 세트의 프레임을 제2 복잡성 레벨로 태깅하는 단계, 및 제1 태그를 갖는 제1 세트의 프레임 및 제2 태그를 갖는 제2 세트의 프레임을 데이터 구조에 저장하는 단계를 포함할 수 있다. 이는, 의사가 제2 복잡성 레벨을 선택하고, 이로써, 제1 세트의 프레임의 디스플레이는 생략하면서 제2 세트의 프레임이 디스플레이되게 할 수 있다. 일부 실시예에서, 방법은 복잡성 레벨의 선택을 수신하는 단계(예컨대, 인터페이스에 대한 사용자 입력에 기반하여 선택을 수신하는 단계)를 포함할 수 있다. 추가로, 방법은 선택된 프레임을 리트리브하기 위해 데이터 구조에 액세스하는 단계를 포함할 수 있다. 방법은, 선택된 복잡성 레벨 없이 태깅된 프레임을 생략하면서, 선택된 복잡성 레벨로 태깅된 프레임을 디스플레이하는 단계를 포함할 수 있다.
제1 이력 데이터 및 프레임 데이터와 유사하게, 제2 이력 데이터 및 프레임 데이터는 하나 이상의 저장 위치에 저장될 수 있다. 일부 실시예에서, 제2 이력 데이터는 제1 이력 데이터와 동일한 저장 위치에 저장될 수 있다. 다른 실시예에서, 제1 이력 데이터와 제2 이력 데이터는 별개의 위치에 저장될 수 있다. 다른 실시예에 따르면, 제1 이력 데이터에 액세스하는 것은, 예컨대 이미지 캡처 디바이스 또는 컴퓨팅 디바이스로부터 제2 이력 데이터 및/또는 제2 프레임 데이터를 수신하는 것을 포함할 수 있다. 추가로, 제1 이력 데이터와 마찬가지로, 제2 이력 데이터에 액세스하는 것은, 제2 프레임 데이터를 리트리브 또는 수신하는 것, 및 제2 이력 데이터를 식별하기 위해 제2 프레임 데이터를 분석하는 것을 포함할 수 있다. 일부 실시예에서, 제1 이력 데이터와 제2 이력 데이터는 동일할 수 있다. 다른 실시예에서, 제1 이력 데이터와 제2 이력 데이터는 상이할 수 있다. 제2 이력 데이터는 위에서 논의된 바와 같이 제1 이력 데이터와 유사하게, 제2 프레임 데이터와 관련한 정보를 포함할 수 있다. 제2 이력 데이터는 제1 이력 데이터와 관련하여 위에서 설명된 정보 중 임의의 정보, 이를테면 의료 도구 정보, 해부학적 구조 정보, 및/또는 연관된 복잡성 정보를 포함할 수 있다. 제2 이력 데이터가 복잡성 정보를 포함하는 실시예에서, 이러한 정보는 복잡성 정보를 나타내거나 그와 연관될 수 있다. 예컨대, 제2 이력 데이터는 특정 해부학적 구조와 특정 수술 복잡성 레벨 간의 통계적 관계의 표시를 포함할 수 있다.
본 개시내용의 일부 양상은 제2 세트의 프레임과 연관된 제2 수술 복잡성 레벨을 결정하기 위해, 제2 이력 데이터를 사용하여 그리고 식별된 상호작용을 사용하여 제2 세트의 프레임을 분석하는 것을 수반할 수 있다. 제2 수술 복잡성 레벨은 제1 수술 복잡성 레벨과 유사할 수 있고, 따라서 제1 수술 복잡성 레벨과 관련하여 위에서 제공된 예시적인 팩터 중 하나 이상에 기반할 수 있다. 일부 실시예에서, 제2 수술 복잡성 레벨은 제1 수술 복잡성 레벨과 동일한 형태로(예컨대, 동일한 스케일 내의 값 등으로서) 표현될 수 있지만, 일부 실시예에서는 상이한 형태의 표현이 사용될 수 있다.
본 개시내용의 실시예에 따르면, 제1 수술 복잡성 레벨 및 제2 수술 복잡성 레벨은 다양한 방법에 따라 결정될 수 있다. 일부 실시예에서, 개시된 실시예는, 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하기 위해, 이전 수술 절차로부터 캡처된 프레임 데이터를 사용하여 수술 복잡성 레벨을 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은 머신 러닝 알고리즘을 사용하여 개발될 수 있다. 이전 수술 절차로부터 캡처된 프레임 데이터 및 프레임 데이터에 대응하는 것으로 알려진 수술 복잡성 레벨을 표시하는 라벨을 포함할 수 있는 트레이닝 데이터는, 트레이닝된 모델을 개발하기 위해 머신 러닝 알고리즘에 공급될 수 있다. 머신 러닝 알고리즘은 로지스틱 회귀, 선형 회귀, 회귀, 랜덤 포레스트, KNN 모델, K-민즈 모델, 의사결정 트리, cox 비례 위험 회귀 모델, 나이브 베이즈 모델, SVM 모델, 인공 뉴럴 네트워크, 경사 부스팅 알고리즘, 또는 임의의 다른 형태의 머신 러닝 모델 또는 알고리즘을 포함할 수 있다. 그에 따라서, 제1 이력 데이터는 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터를 사용하여 트레이닝된 머신 러닝 모델을 포함할 수 있다. 유사하게, 제2 이력 데이터는 제2 그룹의 이전 수술 절차로부터 캡처된 제2 프레임 데이터를 사용하여 트레이닝된 머신 러닝 모델을 포함할 수 있다. 결과적으로, 트레이닝된 모델은, 제1 세트의 프레임 및 제2 세트의 프레임이 제공될 때, 제1 수술 복잡성 레벨 및 제2 수술 복잡성 레벨을 각각 결정하도록 구성될 수 있다.
일부 예시적인 실시예에서, 제1 복잡성 레벨 또는 제2 복잡성 레벨을 결정하는 것 중 적어도 하나는 생리학적 반응에 기반할 수 있다. 위에서 논의된 바와 같이, 생리학적 반응은 수술 절차로부터 직접적으로 또는 간접적으로 야기되는 환자의 임의의 신체적 또는 해부학적 상태 또는 반응을 포함할 수 있다. 예컨대, 생리학적 반응은 심박수의 변화, 신체적 움직임, 하나 이상의 장기의 기능의 실패 또는 감소, 체온의 변화, 환자의 발화된 반응, 뇌 활동의 변화, 호흡수의 변화, 발한의 변화, 혈중 산소 레벨의 변화, 심장 기능의 변화, 교감 신경계의 활성화, 내분비 반응, 사이토카인(cytokine) 생산, 급성기 반응, 호중구 백혈구 증가증, 림프구(lymphocyte) 증식, 또는 임의의 수술 절차에 대한 응답인 임의의 다른 신체적 변화를 포함할 수 있다. 일부 실시예에서, 생리학적 반응은 수술 복잡성 레벨을 나타낼 수 있다. 예컨대, 특정 생리학적 반응을 트리거하는 수술 절차는 더 복잡한 것으로 간주될 수 있고, 따라서 더 높은 복잡성 레벨 등급을 가질 수 있다. 예컨대, 머신 러닝 모델은 이미지 및/또는 비디오로부터 생리학적 반응을 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 제1 생리학적 반응을 식별하기 위해 제1 세트의 프레임을 분석하는 데 그리고/또는 제2 생리학적 반응을 식별하기 위해 제2 세트의 프레임을 분석하는 데 사용될 수 있으며, 제1 수술 복잡성 레벨은 식별된 제1 생리학적 반응에 기반하여 결정될 수 있고, 그리고/또는 제2 수술 복잡성 레벨은 식별된 제2 생리학적 반응에 기반하여 결정될 수 있다. 이러한 트레이닝 예시의 예는 수술 절차의 이미지 및/또는 비디오 클립을, 그 이미지 및/또는 비디오 클립에 묘사된 생리학적 반응을 표시하는 라벨과 함께 포함할 수 있다.
일부 예시적인 실시예에서, 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은, 위에서 언급된 바와 같이 해부학적 구조의 상태에 기반할 수 있다. 예로서, 상태는 해부학적 구조의 검출된 열화, 찢어짐, 출혈, 팽윤, 변색, 왜곡, 또는 해부학적 구조의 현재 상태를 반영하는 해부학적 구조의 임의의 속성을 수반할 수 있다. 일부 실시예에서, 해부학적 구조의 상태는 해부학적 구조에 영향을 미치는 의학적 상태를 포함할 수 있다. 이러한 의학적 상태는 수행되는 수술 절차의 목적 또는 타입을 표시할 수 있고, 따라서 연관된 복잡성 레벨을 표시할 수 있다. 예컨대, 쓸개가 큰 용종을 나타내는 경우, 이는 담낭절제술이 수술 절차에 수반된다는 것을 표시할 수 있으며, 이는 복잡성 레벨을 결정하는 데 유용할 수 있다. 다른 실시예에서, 의학적 상태는 수술 절차와 연관된 하나 이상의 복잡하게 하는 팩터를 표시할 수 있다. 예컨대, 해부학적 구조에서 발생하는 출혈은 수술 절차 동안 발생한 합병증을 표시할 수 있으며, 이는 수술 복잡성 레벨에 영향을 미칠 수 있다. 대안적으로 또는 추가적으로, 의학적 상태 그 자체는 특정 복잡성 레벨과 연관될 수 있다. 일부 실시예에서, 해부학적 구조의 상태는 수술 절차의 현재 스테이지 또는 페이즈에 기반한 해부학적 구조의 상태일 수 있다. 예컨대, 해부학적 구조에서 이루어진 절개는 해부학적 구조의 상태에 영향을 미칠 수 있고, 따라서 절개 전의 복잡성 레벨에 비교할 때 복잡성 레벨을 변경할 수 있다. 예컨대, 머신 러닝 모델은 이미지 및/또는 비디오로부터 해부학적 구조의 상태를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 제1 해부학적 구조의 제1 상태를 식별하기 위해 제1 세트의 프레임을 분석하는 데 그리고/또는 (제1 해부학적 구조와 동일할 수 있거나 상이한 해부학적 구조일 수 있는) 제2 해부학적 구조의 제2 상태를 식별하기 위해 제2 세트의 프레임을 분석하는 데 사용될 수 있으며, 제1 수술 복잡성 레벨은 식별된 제1 상태에 기반하여 결정될 수 있고 그리고/또는 제2 수술 복잡성 레벨은 식별된 제2 상태에 기반하여 결정될 수 있다. 이러한 트레이닝 예시의 예는 해부학적 구조의 상태를 표시하는 라벨과 함께, 해부학적 구조의 이미지 및/또는 비디오 클립을 포함할 수 있다.
본 개시내용의 일부 실시예에서, 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은 환자 특성에 기반할 수 있다. 환자 특성은 나이, 성별, 체중, 키, BMI(Body Mass Index), 갱년기 상황, 전형적인 혈압, 환자 유전자의 특성, 교육 상황, 교육 레벨, 경제적 상황, 소득 레벨, 직업 레벨, 보험 타입, 건강 상황, 자가평가 건강, 기능 상황, 기능 장애, 질환의 지속기간, 질환의 심각도, 질병의 수, 질병 특성(이를테면, 질병의 타입, 종양의 사이즈, 조직학 등급, 침윤된 림프절의 수 등), 의료 서비스의 이용, 진료 방문 횟수, 진료 방문 간격, 정기적인 진료소 케어, 가족 상황, 결혼 상황, 자녀 수, 가족 부양, 민족성, 인종, 문화 적응, 종교, 종교의 타입, 모국어, 환자에 대해 수행된 과거 의료 검사의 특성(이를테면, 검사의 타입, 검사의 시간, 검사의 결과 등), 환자에 대해 수행된 과거 의학적 치료의 특성(이를테면, 치료의 타입, 치료의 시간, 치료의 결과 등), 또는 임의의 다른 관련있는 특성을 포함할 수 있다(그러나 이에 제한되지 않음). 다른 예시적인 환자 특성이 본 개시내용 전반에 걸쳐 설명된다. 이러한 특성은 특정 레벨의 수술 복잡성과 상관될 수 있다. 예컨대, 더 나이가 많은 그리고/또는 과체중인 환자는 더 어린 또는 더 나은 신체적 형상인 환자보다 더 높은 복잡성을 갖는 수술 절차와 연관될 수 있다.
일부 실시예에 따르면, 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은 수술 푸티지와 연관된 의사의 스킬 레벨에 기반할 수 있다. 예컨대, 수술 푸티지에 묘사된 의사가 낮은 스킬 레벨을 갖는 경우, 대개는 낮은 복잡성을 갖는 것으로 간주될 수 있는 절차가 감소된 성과 스킬의 결과로서 더 복잡해질 수 있다. 따라서 위에서 논의된 바와 같이, 스킬 레벨은 수술 절차 또는 수술 절차 내에서 특정 기법을 수행하는 의사의 능력의 표시일 수 있다. 일부 실시예에서, 스킬 레벨은 의사의 과거 성과, 의사가 받은 트레이닝 또는 교육의 타입 및/또는 레벨, 의사가 수행한 수술의 수, 의사가 수행한 수술의 타입, 의사의 자격증, 의사의 경험 연차, 환자 또는 다른 의료 서비스 전문가로부터의 의사의 등급, 과거 수술 결과, 과거 수술 합병증, 또는 의사의 스킬 레벨을 평가하는 것과 관련있는 임의의 다른 정보에 관련될 수 있다. 대안적으로 또는 추가적으로, 의사의 스킬 레벨은 비디오 푸티지의 컴퓨터 분석을 통해 결정될 수 있다. 예컨대, 아래에서 보다 상세히 논의되는 바와 같이, 의사의 스킬 레벨을 분류하는 데 인공 지능이 사용될 수 있다. 스킬 레벨은 본원에서 의사의 스킬 레벨로서 설명되지만, 일부 실시예에서, 스킬 레벨은 다른 의료 서비스 전문가, 이를테면 마취과 의사, 간호사, CRNA(Certified Registered Nurse Anesthetist), 수술 기술자, 레지던트, 의대생, 보조 의사, 또는 임의의 다른 의료 서비스 전문가와 연관될 수 있다. 따라서 본 개시내용 전반에 걸쳐 사용되는 의사에 대한 언급은 임의의 관련있는 의료 전문가에 대한 약칭이다.
본 개시내용의 일부 실시예는 수술 푸티지에서 의료 서비스 제공자에 의해 시연된 스킬의 레벨을 결정하는 것을 더 포함할 수 있다. 제1 복잡성 레벨 또는 제2 복잡성 레벨을 결정하는 것 중 적어도 하나는 의료 서비스 제공자에 의해 시연된 스킬의 결정된 레벨에 기반할 수 있다. 의료 서비스 제공자의 스킬 레벨은 이미지 및/또는 비디오 분석 알고리즘, 이를테면 객체 및/또는 모션 검출 알고리즘을 사용한 제1 세트 또는 제2 세트의 프레임의 분석에 기반하여 결정될 수 있다. 예컨대, 의료 서비스 제공자는 특정 레벨의 스킬을 시연하는 방식으로 하나 이상의 기법을 수행할 수 있다. 일 예에서, 머신 러닝 모델은 이미지 및/또는 비디오로부터 의료 서비스 제공자의 스킬 레벨을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수술 푸티지를 분석하고 수술 푸티지에서 제공되는 의료 서비스에 의해 시연된 스킬의 레벨을 결정하는 데 사용될 수 있다. 그러한 트레이닝 예시의 예는 수술 절차의 일부를 묘사하는 비디오 클립을, 그 비디오 클립에서 시연된 스킬의 레벨을 표시하는 라벨과 함께 포함할 수 있다. 다른 실시예에서, 스킬 레벨은 수술 푸티지 내의 의료 서비스 제공자의 신원에 기반하여 결정될 수 있다. 예컨대, 의사의 신원에 기반하여, 외부 소스, 이를테면 다양한 의사에 대한 스킬 레벨 정보를 포함하는 데이터베이스로부터 연관된 스킬 레벨이 결정될 수 있다. 그에 따라서, 하나 이상의 안면 인식 알고리즘이 의료 서비스 제공자를 식별하는 데 사용될 수 있고, 의료 서비스 제공자의 신원이 의료 서비스 제공자 스킬 레벨을 결정하는 데 사용될 수 있다.
일부 예시적인 실시예에서, 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은, 전자 의료 기록의 분석에 기반할 수 있다. 일부 실시예에서, 전자 의료 기록에 포함될 수 있는 환자의 병력에 관한 정보는 환자에 대해 수행되는 수술 절차의 복잡성 레벨과 관련있을 수 있다. 예컨대, 전자 의료 기록은 수술 이력(이를테면, 환자에 대해 수행된 수술의 리스트, 수술 리포트 등), 산과 이력(이를테면, 가능하게는 임산부와 연관된 세부사항, 이를테면 합병증, 결과 등과 함께 임산부의 리스트), 알레르기, 과거 및 현재 약제, 예방 접종 이력, 성장 차트 및/또는 발달 이력, 과거 의료 직면으로부터의 메모(note)(예컨대, 그러한 메모는 불만, 신체 검사, 의학적 평가, 진단 등에 관한 세부사항을 포함할 수 있음), 검사 결과, 의료 이미지(이를테면, X-레이 이미지, 컴퓨터 단층촬영(Computed Tomography) 이미지, 자기 공명 이미징 이미지(Magnetic Resonance Imaging) 이미지, 양전자 방출 단층촬영(Positron Emission Tomography) 이미지, 단일-광자 방출 컴퓨터 단층촬영(Single-Photon Emission Computed Tomography) 이미지, 초음파 이미지, 심전도(Electro-Cardio-Graphy) 이미지, 뇌전도(Electro-Encephalo-Graphy) 이미지, 근전도(Electro-Myo-Graphy) 이미지, 뇌자도(Magneto-Encephalo-Graphy) 이미지 등) 및/또는 의료 이미지, 의료 비디오에 기반한 정보 및/또는 의료 비디오, 주문, 처방, 환자의 가족의 병력에 기반한 정보 등을 포함할 수 있다.
본 개시내용의 실시예에 따르면, 제1 수술 복잡성 레벨을 결정하는 것은, 제1 세트의 프레임에서 의료 도구를 식별하는 것을 더 포함할 수 있다. 일부 실시예에서, 제1 세트의 프레임에서 식별된 의료 도구는 제2 세트의 프레임에서 식별된 의료 도구에 대응할 수 있다. 예컨대, 양 프레임 세트 모두에서 동일한 도구가 식별될 수 있다. 다른 실시예에서, 제1 세트의 프레임에서 식별된 의료 도구는 제2 세트의 프레임에서 식별된 의료 도구와 상이할 수 있다. 제1 수술 복잡성 레벨을 결정하는 것은 의료 도구의 타입에 기반할 수 있다. 제1 세트의 프레임에 나타나는 도구의 타입은 수행되는 절차의 타입 및/또는 복잡성을 나타낼 수 있다. 예컨대, 의료 도구가 특정 절차 또는 특정 타입의 절차에 대해서만 사용되는 전문화된 도구이면, 복잡성 레벨은 그러한 절차 또는 그러한 타입의 절차와 연관된 복잡성에 적어도 부분적으로 기반하여 결정될 수 있다.
일부 예시적인 실시예에서, 제1 수술 복잡성 레벨을 결정하는 것은, 제1 세트의 프레임 이후에 발생한 이벤트에 기반할 수 있다. 예컨대, 봉합술을 묘사하는 제1 세트의 프레임 이후 프레임에서 발생하는 수술 이벤트, 이를테면 누출이 제1 세트의 프레임과 연관된 복잡성 레벨을 알릴 수 있다. (예컨대 그렇지 않으면 제1 세트의 프레임에만 기반하여 더 낮은 복잡성 레벨과 연관될 수 있는 봉합 절차는, 부적절한 봉합술의 결과로서 누출이 발생했을 가능성이 있다고 푸티지로부터 결정될 때, 더 높은 복잡성 레벨로 상승될 수 있다. 나중의 이벤트는, 본 개시내용 전반에 걸쳐 설명된 수술중 수술 이벤트의 다양한 예를 포함하여, 푸티지의 수술 복잡성에 영향력을 갖는 수술 절차와 관련된 임의의 이벤트를 포함할 수 있다. 다른 예로서, 제1 세트의 프레임 이후에 발생하는 이벤트는 제1 세트의 프레임 이후에 발생하는 부작용 이벤트, 이를테면 출혈일 수 있다. 이벤트의 발생은 제1 수술 복잡성 레벨을 결정하기 위한 맥락을 제공할 수 있다. 일부 실시예에서, 제1 세트의 프레임 이후에 발생하는 이벤트는 추가적인 프레임의 분석에 기반하여 식별될 수 있다. 예컨대, 이벤트는 제2 세트의 프레임 전에 발생할 수 있고, 제1 세트의 프레임과 제2 세트의 프레임 사이의 프레임을 분석하는 것에 기반하여 식별될 수 있다. 다른 실시예에서, 제1 세트의 프레임과 제2 세트의 프레임 사이의 이벤트의 발생은 추가적인 프레임의 분석 없이, 제2 세트의 프레임에 기반하여 추론될 수 있다. 추가로, 일부 실시예에서, 이벤트는 제2 세트의 프레임 이후에 발생할 수 있다.
유사하게, 일부 실시예에서, 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임과 제2 세트의 프레임 사이에 발생한 이벤트에 기반할 수 있다. 이벤트는 제1 세트의 프레임에서, 제1 세트의 프레임 이전 또는 제2 세트의 프레임 이후를 포함하는 다른 시점에 발생할 수 있다. 일부 실시예에서, 제1 및/또는 제2 수술 복잡성 레벨은 이벤트 및/또는 이벤트 타이밍을 다양한 복잡성 레벨과 상관시키도록 트레이닝된 머신 러닝 모델에 기반한 이벤트의 발생에 기반하여 결정될 수 있다. 예시적인 예로서, 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임 이후에 추가적인 의사가 호출되었다는 표시에 기반할 수 있다. 추가적인 의사가 호출되었다는 표시는 예컨대, 제2 세트의 프레임에서, 제1 세트의 프레임에서의 의사가 아닌 의사의 존재를 포함할 수 있다. 추가적인 의사의 호출은 수술을 수행하는 의사가 어시스턴스(assistance) 및/또는 가이던스(guidance)를 필요로 했음을 표시할 수 있으며, 이는 수술 복잡성 레벨을 결정하는 것과 관련있을 수 있다. 다른 예에서, 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임 이후에 특정 약이 투여되었다는 표시에 기반할 수 있다. 예컨대, 의약은 수술 절차 동안 투여될 수 있는 마취(예컨대, 국소, 국부 및/또는 전신 마취), 바르비투르산염(barbiturate), 벤조디아제핀(benzodiazepine), 진정제, 응고제, 또는 다양한 다른 약제를 포함할 수 있다. 약의 투여는 수술 복잡성 레벨을 결정하는 것과 관련있을 수 있다. 일부 실시예에서, 약의 투여는 발생했을 수 있는 하나 이상의 합병증을 나타낼 수 있으며, 이는 또한 수술 복잡성 레벨을 결정하는 것과 관련있을 수 있다.
본 개시내용의 실시예에 따르면, 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임으로부터 제2 세트의 프레임까지 경과된 시간에 기반할 수 있다. 예컨대, 제1 세트의 프레임으로부터 제2 세트의 프레임까지 경과된 시간은, 해부학적 구조가 수술 푸티지에 처음 나타나는 시점과 의료 도구가 해부학적 구조와 상호작용하는 첫 번째 시점 간의 시간을 표현할 수 있다. 다른 예로서, 경과된 시간은 2개의 수술 페이즈 및/또는 수술중 수술 이벤트 간의 시간을 표시할 수 있다. 예컨대, 제1 수술 복잡성 레벨을 결정하는 것이 제1 세트의 프레임에서 의료 도구를 식별하는 것을 더 포함하는 실시예에서, 제1 세트의 프레임은 하나의 수술 페이즈, 이를테면 절개를 나타낼 수 있고, 제2 세트의 프레임은 제2 수술 페이즈, 이를테면 봉합을 나타낼 수 있다. 2개의 페이즈 또는 이벤트 간의 경과된 시간은 적어도 부분적으로 수술 복잡성 레벨을 나타낼 수 있다. (예컨대, 특정 절차에 대해 정상보다 더 긴 경과된 시간은 절차가 정상보다 더 복잡했음을 표시할 수 있다.) 수술 절차 내의 다른 지속기간은 또한 수술 복잡성 레벨, 이를테면 액션의 지속기간, 이벤트의 지속기간, 수술 페이즈의 지속기간, 액션과 대응하는 생리학적 반응 간의 지속기간 등을 나타낼 수 있다. 수술 푸티지는 그러한 지속기간을 측정하기 위해 분석될 수 있고, 수술 복잡성 레벨의 결정은 결정된 지속기간에 기반할 수 있다.
본 개시내용의 실시예는 제1 및/또는 제2 수술 복잡성 레벨을 선택된 임계치와 비교하는 것을 더 포함할 수 있다. 일부 실시예에서, 선택된 임계치는 데이터 구조에 디스플레이 및/또는 포함시키기 위해 어느 프레임이 선택되어야 하는지를 선택하는 데 사용될 수 있다. 예컨대, 개시된 방법은 제1 수술 복잡성 레벨이 선택된 임계치 미만임을 결정하는 것, 및 제2 수술 복잡성 레벨이 선택된 임계치를 초과함을 결정하는 것을 포함할 수 있다. 이는, 제2 세트의 프레임이 최소 복잡성 레벨을 충족시키는 복잡성 레벨과 연관되는 한편, 제1 세트의 프레임은 그렇지 않다는 것을 나타낼 수 있다. 그에 따라서, 개시된 방법은, 제1 수술 복잡성 레벨이 선택된 임계치 미만이라는 결정 및 제2 수술 복잡성 레벨이 선택된 임계치를 초과한다는 결정에 대한 응답으로, 데이터 구조로부터 제1 세트의 프레임을 생략하면서 제2 세트의 프레임을 데이터 구조에 저장하는 것을 더 포함할 수 있다. 데이터 구조는 최소 복잡성 레벨 요건을 충족시키는, 디스플레이를 위한 비디오를 선택하기 위해 의사 또는 다른 사용자에 의해 사용될 수 있다.
본 개시내용의 일부 실시예는, 제1 세트의 프레임을 제1 수술 복잡성 레벨로 태깅하는 것; 제2 세트의 프레임을 제2 수술 복잡성 레벨로 태깅하는 것; 및 제1 태그를 갖는 제1 세트의 프레임 및 제2 태그를 갖는 제2 세트의 프레임을 포함하는 데이터 구조를 생성하는 것을 더 포함할 수 있다. 데이터 구조는 용이한 리트리벌을 위해 인덱싱되도록 제1 및 제2 세트의 프레임뿐만 아니라 수술 비디오 푸티지의 다른 프레임을 대응하는 복잡성 레벨과 연관시킬 수 있다. 그러한 인덱싱은 위에서 상세히 논의된 비디오 인덱싱에 대응할 수 있다. 예컨대, 수술 복잡성 레벨은 위에서 설명된 바와 같은 그리고 도 6에 도시된 데이터 구조(600)에 예시된 바와 같은 이벤트 특성일 수 있다. 그에 따라서, 데이터 구조를 생성하는 것은, 의사가 제2 수술 복잡성 레벨을 선택하고, 이로써, 제1 세트의 프레임의 디스플레이는 생략하면서 제2 세트의 프레임이 디스플레이되게 할 수 있다. 예컨대, 비디오는 도 8a 및 도 8b와 관련하여 위에서 설명된 프로세스(800)에 기반하여 재생을 위해 선택될 수 있다.
도 13은, 개시된 실시예에 따른, 수술 푸티지의 복잡성을 분석하기 위한 예시적인 프로세스(1300)를 예시하는 흐름도이다. 프로세스(1300)는 본원에서 설명되는 바와 같이 적어도 하나의 프로세싱 디바이스, 이를테면 프로세서에 의해 수행될 수 있다. 일 예로서, 프로세서는 도 14에 예시된 바와 같은 프로세서(1412)를 포함할 수 있다. 본 개시내용 전반에 걸쳐, "프로세서"라는 용어는 "적어도 하나의 프로세서"에 대한 약칭으로서 사용된다. 다른 말로, 프로세서는, 그러한 구조가 콜로케이트되든, 연결되든, 또는 분배되든 로직 동작을 수행하는 하나 이상의 구조를 포함할 수 있다. 일부 실시예에서, 비-일시적 컴퓨터-판독가능 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 프로세스(1300)를 수행하게 하는 명령을 보유할 수 있다. 프로세스(1300)는 도 13에 도시된 단계로 반드시 제한되는 것은 아니며, 본 개시내용 전반에 걸쳐 설명된 다양한 실시예의 임의의 단계 또는 프로세스가 또한 프로세스(1300)에 포함될 수 있다. 단계(1310)에서, 프로세스(1300)는 이전에 논의된 바와 같이, 제1 세트의 프레임에서 해부학적 구조를 식별하기 위해 수술 푸티지의 프레임을 분석하는 것을 포함할 수 있다. 일부 실시예에서, 해부학적 구조는 이전에 논의된 바와 같이, 이미지 및/또는 비디오 분석 알고리즘, 이를테면 객체 또는 모션 검출 알고리즘을 사용하여 식별될 수 있다. 다른 실시예에서, 해부학적 구조는 앞서 설명된 바와 같이, 해부학적 구조를 검출하도록 트레이닝된 머신 러닝 모델을 사용하여 식별될 수 있다.
단계(1320)에서, 프로세스(1300)는 제1 이력 데이터에 액세스하는 것을 포함할 수 있으며, 제1 이력 데이터는 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터의 분석에 기반한다. 일부 실시예에서, 제1 이력 데이터는 이전에 설명된 바와 같이, 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터를 사용하여 트레이닝된 머신 러닝 모델을 포함할 수 있다. 단계(1330)에서, 프로세스(1300)는 제1 세트의 프레임과 연관된 제1 수술 복잡성 레벨을 결정하기 위해, 제1 이력 데이터를 사용하여 그리고 식별된 해부학적 구조를 사용하여 제1 세트의 프레임을 분석하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은 한 세트의 프레임과 연관된 수술 복잡성 레벨을 식별하기 위해 트레이닝 데이터(예컨대, 이전 수술 절차로부터 캡처된 프레임 데이터의 분석에 기반한 이력 데이터에 기반한 트레이닝 데이터)를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 제1 세트의 프레임과 연관된 제1 수술 복잡성 레벨을 결정하기 위해 제1 세트의 프레임을 분석하는 데 사용될 수 있다.
단계(1340)에서, 프로세스(1300)는 이전에 보다 상세히 설명된 바와 같이, 제2 세트의 프레임에서 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 식별하기 위해, 수술 푸티지의 프레임을 분석하는 것을 포함할 수 있다. 예컨대, 객체 검출 알고리즘 및/또는 액션 검출 알고리즘은 의료 도구 및/또는 해부학적 구조 그리고/또는 의료 도구와 해부학적 구조 간의 상호작용을 검출하기 위해 제2 세트의 프레임을 분석하는 데 사용될 수 있다. 다른 예에서, 이미지 및/또는 비디오에서 의료 도구 및/또는 해부학적 구조 그리고/또는 의료 도구와 해부학적 구조 간의 상호작용을 검출하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델이 사용될 수 있다. 단계(1350)에서, 프로세스(1300)는 제2 이력 데이터에 액세스하는 것을 포함할 수 있으며, 제2 이력 데이터는 제2 그룹의 이전 수술 절차로부터 캡처된 제2 프레임 데이터의 분석에 기반한다. 일부 실시예에서, 제1 이력 데이터와 제2 이력 데이터는 동일할 수 있다. 다른 실시예에서, 제1 이력 데이터와 제2 이력 데이터는 상이할 수 있다. 단계(1360)에서, 프로세스(1300)는 이전에 설명된 바와 같이, 제2 세트의 프레임과 연관된 제2 수술 복잡성 레벨을 결정하기 위해, 제2 이력 데이터를 사용하여 그리고 식별된 상호작용을 사용하여 제2 세트의 프레임을 분석하는 것을 포함할 수 있다.
수술실 스케줄은 수술과 연관된 지연에 기반하여 조정되는 것이 필요할 수 있다. 개시된 시스템 및 방법은 수술의 특징, 환자 상태, 및 다른 특징을 식별하여, 수술실에서 수행되는 절차의 수술실 스케줄에 대한 조정을 결정하기 위해 수술 푸티지를 분석하는 것을 수반할 수 있다. 반대로, 수술 절차가 스케줄링된 시간보다 앞서 완료되면, 스케줄이 조정되는 것이 필요할 수 있다. 따라서 수술 절차 동안 수술 푸티지로부터 획득된 정보를 사용하여 효과적이고 효율적인 방식으로 수술실 스케줄을 조정할 필요가 있다.
본 개시내용의 양상은, 방법, 시스템, 디바이스 및 컴퓨터-판독가능 매체를 포함하는, 수술실 스케줄의 조정에 관한 것일 수 있다. 수술실 스케줄은, 진행중인 수술 절차의 완료와 연관된 스케줄링된 시간뿐만 아니라, 미래의 수술 절차를 시작 및 마무리하기 위한 스케줄링된 시간을 포함할 수 있다.
수술실 스케줄의 조정을 가능하게 하기 위한 방법 또는 시스템의 양상이 유선, 무선, 또는 이 둘 모두인 네트워크를 통해 전자식으로 발생할 수 있다는 것을 조건으로, 이 방법 및 시스템 둘 모두가 아래에서 설명된다. 이러한 방법 또는 시스템의 다른 양상은 비-전자적 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법 또는 시스템은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 다양한 수단물을 사용하여 달성될 수 있다. 논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 먼저 아래에서 설명된다.
개시된 실시예는 외과 수술실에 포지셔닝된 이미지 센서로부터, 진행중인 수술 절차를 추적하는 시각적 데이터를 수신하는 것을 수반할 수 있다. 본원에서 사용되는 바와 같이, 시각적 데이터는 기록된 이미지, 하나 이상의 프레임 또는 이미지 또는 클립, 및/또는 전술한 것으로부터 직접적으로 또는 간접적으로 도출된 데이터를 포함하는 임의의 형태의 기록된 시각적 매체를 포함할 수 있다. 추가적으로, 비디오 데이터는 사운드를 포함할 수 있다. 예컨대, 시각적 데이터는, 도 1과 관련하여 위에서 설명된 바와 같이, 카메라(115, 121, 123, 및/또는 125)와 같은 이미지 센서들에 의해 캡처된 하나 이상의 이미지의 시퀀스를 포함할 수 있다. 카메라(예컨대, 카메라(115, 121, 125)) 중 일부는 수술대(141)의 비디오/이미지 데이터를 캡처할 수 있고, 카메라(121)는 수술을 수행하는 의사(131)의 비디오/이미지 데이터를 캡처할 수 있다. 일부 경우에, 카메라는 수술실(101)에 위치하고 있는 마취과 의사, 간호사, 수술 기술자 또는 다른 의료 서비스 전문가와 같은 수술 팀 직원과 연관된 비디오/이미지 데이터를 캡처할 수 있다.
다양한 실시예에서, 이미지 센서는 가시광, (예컨대, 형광 투시법을 통해) x-레이 광, 적외선 광 또는 자외선 광을 이미지, 이미지의 시퀀스, 비디오 및 임의의 다른 형태의 표현으로 변환함으로써 시각적 데이터를 캡처하도록 구성될 수 있다. 이미지/비디오 데이터는 임의의 적절한 포맷, 이를테면 JPEG, PNG, TIFF, AVI(Audio Video Interleave), FLV(Flash Video Format), MOV(QuickTime File Format), MPEG(MPG, MP4, M4P 등), WMV(Windows Media Video), MXF(Material Exchange Format), 비압축 포맷, 무손실 압축 포맷, 손실 압축 포맷, 또는 다른 오디오 또는 비디오 포맷을 사용하는 컴퓨터 파일로서 저장될 수 있다.
이미지 센서는 이미지 또는 비디오 데이터를 캡처할 수 있는 임의의 센서일 수 있다. 단일 센서가 사용될 수 있거나, 다수의 이미지 센서가 외과 수술실에 포지셔닝될 수 있다(예컨대, 센서가 수술실 전반에 걸쳐 포지셔닝될 수 있다). 예시적인 실시예에서, 예시적인 이미지 센서가 환자 위에 포지셔닝될 수 있다. 예시적인 이미지 센서는 수술대 위, 수술대 옆, 수술실에 위치된 디바이스 옆, 또는 수술에 관한 정보를 검출할 수 있는 다른 임의의 곳에 있을 수 있다. 도 1에 도시된 바와 같이, 이미지 센서는 카메라(115-125)를 포함할 수 있다. 일부 경우에, 이미지 센서는 웨어러블 디바이스(예컨대, 헤드 마운트 카메라, 신체 장착 카메라, 또는 사람과 연관될 수 있는 임의의 센서)일 수 있다. 추가적으로 또는 대안적으로, 예시적인 이미지 센서는 수술 도구 상에 포지셔닝될 수 있다(즉, 수술 기구의 일부일 수 있다). 예컨대, 이미지 센서는 기관지경 튜브(bronchoscope tube), 복강경, 내시경, 또는 환자 내부 또는 외부의 위치를 위해(예컨대, 위 내시경 검사, 대장 내시경 검사, 자궁경 수술, 방광경 검사, 플렉시블한 S상 결장 내시경, 무선 캡슐(capsule) 내시경 검사 등과 같은 절차를 위해) 구성된 임의의 다른 의료 기구의 일부일 수 있다.
이미지 센서는, 특히 수술 기구의 일부일 때, 가시광, 적외선 광 및/또는 자외선 광과 같은 적절한 파장의 광을 방출하기 위한 하나 이상의 발광원을 포함할 수 있다. 발광원은 임의의 적절한 소스(예컨대, 가시광을 방출하는 LED(light emitting diode), 형광 광원, 백열 광원, 적외선 LED, 자외선 LED, 및/또는 다른 타입의 광원)을 포함할 수 있다. 이미지 센서는 광을 캡처하는 것으로 제한될 수 있는 것이 아니라, 캡처된 신호와 관련된 시각적 데이터를 생성하기 위한 다른 신호를 프로세싱하도록 구성될 수 있다. 예컨대, 이미지 센서는, 캡처된 신호에 관련된 시각적 데이터를 생성하기 위해, 초음파, 전자기장의 변화, 또는 임의의 다른 적절한 신호(예컨대, 표면에 걸친 힘의 분포) 등을 캡처하도록 구성될 수 있다.
수술 절차는, 환자의 신체에 대한 매뉴얼 또는 수술 절차와 연관된 또는 이를 수반하는 임의의 의료 절차를 포함할 수 있다. 수술 절차는, 절단, 삭마, 봉합술, 및/또는 신체 조직 및/또는 장기를 측정하거나, 치료하거나, 물리적으로 변경하는 것을 수반하는 다른 기법을 포함할 수 있다. 이러한 수술 절차의 일부 비-제한적인 예는, 복강경 수술, 흉부 내시경 시술, 기관지경 시술, 현미경 시술, 개복술, 로봇 수술, 충수염 수술, 동맥내막 절제술, 수근관 유리술, 백내장 수술, 제왕절개, 담낭절제술, 대장절제술(이를테면, 부분 대장 절제술, 대장전절제술 등), 관상동맥 성형술, 관상동맥 우회술, (예컨대, 상처, 화상, 감염 등의) 변연절제술, 유리 식피, 치핵 절제술, 고관절 대체술, 자궁절제술, 자궁경 수술, 사타구니 탈장 수술, 무릎 관절경, 슬관절 치환술, 유방절제술(이를테면, 부분 유방절제술, 전유방절제술, 변형 근치 유방절제술 등), 전립선 절제술, 전립선 제거, 어깨 관절경, 척추 수술(이를테면, 척추 고정술, 추궁절제술, 추간공 확장술, 추간판절제술, 디스크 치환술, 추궁판간 이식 등), 편도 절제술, 인공와우 시술, 뇌종양(예컨대, 뇌수막종 등) 절제술, 중재 시술, 이를테면, 경피적 관상동맥 확장술, 경피적 대동맥판막 치환술, 뇌내 출혈 배출을 위한 최소 침습적 수술, 또는 일부 형태의 절개를 수반하는 임의의 다른 의료 절차를 포함할 수 있다. 본 개시내용은 수술 절차를 참조로 설명되지만, 다른 형태의 의료 절차, 또는 일반적인 절차에도 또한 적용될 수 있음을 이해해야 한다.
수술실은 무균 환경에서 외과 수술이 수행되는 임의의 적절한 설비(예컨대, 병원 내의 병실)일 수 있다. 수술실은 조명이 잘되고 오버헤드 무영등(overhead surgical light)을 갖도록 구성될 수 있다. 수술실은 제어된 온도 및 습도를 특징으로 할 수 있고, 창문이 없을 수 있다. 예시적인 실시예에서, 수술실은 오염을 방지하기 위해 공기를 필터링하고 수술실 내에서 약간 상승된 압력을 유지할 수 있는 공기 처리기를 포함할 수 있다. 수술실은 정전의 경우를 위한 전기 백업 시스템을 포함할 수 있고, 산소 및 마취 가스(gas)의 공급을 포함할 수 있다. 수술실은, 공통 수술 용품을 위한 저장 공간, 일회용품을 위한 용기, 마취 카트(cart), 수술대, 카메라, 모니터, 및/또는 수술을 위한 다른 아이템을 포함할 수 있다. 수술 이전에 의사, 마취사, ODP(operating department practitioner) 및 간호사에 의해 사용되는 전용 스크러빙 영역(dedicated scrubbing area)이 수술실의 일부일 수 있다. 추가적으로, 수술실에 포함된 맵은 단말 세척기가 세척 동안 수술대 및 장비를 원하는 레이아웃(layout)으로 재정렬하는 것을 가능하게 할 수 있다. 다양한 실시예에서, 하나 이상의 수술실은 의료 서비스 설비 내에서 별개의 섹션(section)을 형성할 수 있는 수술 스위트(operating suite)의 일부일 수 있다. 수술 스위트는 하나 이상의 세면실, 준비 및 회복실, 저장 및 세척 설비, 사무실, 전용 회랑, 및 가능하게는 다른 지원 유닛을 포함할 수 있다. 다양한 실시예에서, 수술 스위트는 기후 및 공기-제어될 수 있고, 다른 부서로부터 분리될 수 있다.
다양한 실시예에서, 이미지 센서에 의해 캡처된 시각적 데이터는 진행중인 수술 절차를 추적할 수 있다. 일부 경우에, 수술이 수행되는 환자의 신체의 구역(예컨대, 도 1에 도시된 바와 같은 구역(127))과 같은 ROI(region of interest)를 추적하기 위해 시각적 데이터가 사용될 수 있다. 예시적인 실시예에서, 카메라(115-125)는 카메라 모션, 카메라 회전을 통해 ROI를 추적함으로써 또는 ROI를 향해 주밍함으로써 시각적 데이터를 캡처할 수 있다. 예컨대, 카메라(115)는 이동식일 수 있고, ROI를 가리킬 수 있으며, 그 ROI에서 수술 절차 동안, 그 전에 또는 그 후에 비디오/이미지 데이터가 캡처되는 것이 필요하다. 예컨대, 도 1에 도시된 바와 같이, 카메라(115)는, 피치 방향을 도시하는 화살표(135A) 및 카메라(115)에 대한 요 방향을 도시하는 화살표(135B)로 표시된 바와 같이, 회전될 수 있다. 다양한 실시예에서, 카메라(예컨대, 카메라(115))의 피치 및 요 각도는 ROI를 추적하도록 제어될 수 있다.
예시적인 실시예에서, 카메라(115)는 위치(127) 내에서의 수술 기구(수술 도구, 의료 기구 등으로 또한 지칭됨), 해부학적 구조, 의사(131)의 손, 절개부, 해부학적 구조의 움직임 및/또는 임의의 다른 객체를 추적하도록 구성될 수 있다. 다양한 실시예에서, 카메라(115)에는 정밀 추적을 위한 레이저(137)(예컨대, 적외선 레이저)가 장착될 수 있다. 일부 경우에서, 카메라(115)는, ROI의 비디오/이미지 데이터를 캡처하도록 카메라를 포지셔닝시키기 위한 이미지 인식 알고리즘을 사용하는 컴퓨터 기반 제어 애플리케이션을 통해 자동으로 추적될 수 있다. 예컨대, 제어 애플리케이션은 해부학적 구조를 식별하고, 해부학적 구조 내의 특정 위치에서의 수술 도구, 의사의 손, 출혈, 모션 등을 식별하고, 카메라(115)를 적합한 요 및 피치 각도만큼 회전시킴으로써 카메라(115)로 그 위치를 추적할 수 있다. 일부 실시예에서, 제어 애플리케이션은 수술 절차 동안 2개 이상의 ROI로부터 비디오/이미지 데이터를 캡처하기 위해 다양한 카메라(115-125)의 포지션(즉, 요 및 피치 각도)을 제어할 수 있다. 추가적으로 또는 대안적으로, 인간 오퍼레이터가 다양한 카메라(115-125)의 포지션을 제어할 수 있고 그리고/또는 카메라의 포지션을 제어할 때 인간 오퍼레이터가 제어 애플리케이션을 감독할 수 있다.
본원에서 사용되는 바와 같이, "해부학적 구조"라는 용어는, 예컨대 하나 이상의 기관, 조직, 관, 동맥, 세포 또는 임의의 다른 해부학적 부분을 포함하는, 살아있는 유기체의 임의의 특정 부분을 포함할 수 있다. 일부 경우에서, 보철물, 인공 장기 등이 해부학적 구조로서 간주될 수 있다.
카메라(115-125)는 하나 이상의 ROI를 확대하기 위한 줌 렌즈를 더 포함할 수 있다. 예시적인 실시예에서, 카메라(115)는 ROI(예컨대, 해부학적 구조에 근접한 수술 도구)를 확대하기 위한 줌 렌즈(138)를 포함할 수 있다. 카메라(121)는 ROI 주위의 더 큰 영역으로부터 비디오/이미지 데이터를 캡처하기 위한 줌 렌즈(139)를 포함할 수 있다. 예컨대, 카메라(121)는 전체 위치(127)에 대한 비디오/이미지 데이터를 캡처할 수 있다. 일부 실시예에서, 카메라(121)로부터 획득된 비디오/이미지 데이터는 수술 절차 동안 ROI를 식별하기 위해 분석될 수 있고, 그리고 제어 애플리케이션은, 카메라(115)로 하여금, 카메라(121)에 의해 식별된 ROI 향해 줌하도록 구성될 수 있다.
다양한 실시예에서, 제어 애플리케이션은, 수술 절차 동안 다양한 카메라의 포지션 및 줌을 조정하도록 구성될 수 있다. 예컨대, 제어 애플리케이션은 해부학적 구조를 시각적으로 추적하도록 카메라(115)를 지향시킬 수 있고 그리고 수술 기구를 추적하도록 카메라(121, 125)를 지향시킬 수 있다. 카메라(121, 125)는 상이한 시야 각도에서 동일한 ROI(예컨대, 수술 기구)를 추적할 수 있다. 예컨대, 상이한 시야 각도로부터 획득된 비디오/이미지 데이터는, 해부학적 구조의 표면에 대한 수술 기구의 포지션을 결정하는 데 사용될 수 있다.
다양한 실시예에서, 카메라(115-125)의 포지션 및/또는 줌의 제어는 규칙 기반식일 수 있고, 정해진 수술 절차를 위해 개발된 알고리즘을 따를 수 있다. 예컨대, 제어 애플리케이션은, 카메라(115)가 수술 기구를 추적하도록 지향시키고, 카메라(121)를 위치(127)로 지향시키고, 카메라(123)가 의사의 손의 모션을 추적하도록 지향시키고, 그리고 카메라(125)를 해부학적 구조로 지향시키도록 구성될 수 있다. 알고리즘은 수술 절차 동안의 다양한 이벤트에 의존하여 카메라(115-125)에 대한 포지션 및 줌(배율)을 결정하는 임의의 적절한 논리적 명령문을 포함할 수 있다. 예컨대, 알고리즘은 절차 동안 출혈이 발현되는 해부학적 구조의 구역으로 적어도 하나의 카메라를 지향시킬 수 있다.
다양한 경우에서, 카메라(예컨대, 카메라(115))가 움직이는 또는 변형되는 객체를 추적할 때(예컨대, 카메라(115)가 움직이는 수술 기구 또는 움직이는/맥동하는 해부학적 구조를 추적할 때), 제어 애플리케이션은 움직이는 또는 변형되는 객체 카메라의 시야를 벗어나지 않도록 카메라(115)에 대한 최대 허용가능한 줌을 결정할 수 있다. 예시적인 실시예에서, 제어 애플리케이션은 초기에, 카메라(115)에 대한 제1 줌을 선택하고, 움직이거나 변형되는 객체가 카메라의 시야를 벗어나는지 여부를 평가하고, 그리고 움직이거나 변형되는 객체가 카메라의 시야를 벗어나지 않도록 필요에 따라 카메라의 줌을 조정할 수 있다. 다양한 실시예에서, 카메라 줌은 움직이거나 변형되는 객체의 방향 및 스피드에 기반하여 재조정될 수 있다. 일부 경우에, 제어 애플리케이션은 의사의 손의 움직임, 수술 기구의 움직임, 의사의 신체의 움직임, 다음 단계를 반영할 가능성이 있는 이력 데이터, 또는 미래 움직임이 도출될 수 있는 임의의 다른 데이터에 기반하여 카메라(115-125)의 미래 포지션 및 배향을 예측하도록 구성될 수 있다.
이미지 센서에 의해 캡처된 시각적 데이터는 추가적인 분석 및 저장을 위해 네트워크를 통해 컴퓨터 시스템에 통신될 수 있다. 예컨대, 도 14는 컴퓨터 시스템(1410), 네트워크(1418), 및 네트워크(1418)를 통해 컴퓨터 시스템(1401)에 연결된 이미지 센서(1421(예컨대, 수술실 내에 포지셔닝된 카메라), 1423(예컨대, 수술 기구의 일부인 이미지 센서))를 포함할 수 있는 예시적인 시스템(1401)을 도시한다. 시스템(1401)은 이전에 수행된 수술과 관련된 다양한 타입의 데이터(즉, 이력 이미지, 비디오 또는 오디오 데이터, 텍스트 데이터, 닥터의 메모, 이력 수술 데이터를 분석함으로써 획득된 데이터, 및 이력 수술에 관련된 다른 데이터를 포함할 수 있는 이력 수술 데이터)를 저장하기 위한 데이터베이스(1411)를 포함할 수 있다. 다양한 실시예에서, 이력 수술 데이터는 이전에 수행된 수술 절차와 관련된 임의의 수술 데이터일 수 있다. 추가적으로, 시스템(1401)은 하나 이상의 오디오 센서(1425), 발광 디바이스(1427) 및 스케줄(1430)을 포함할 수 있다.
컴퓨터 시스템(1410)은 이미지 센서에 의해 수집된 시각적 데이터를 분석하기 위한 하나 이상의 프로세서(1412), 시각적 데이터 및/또는 다른 타입의 정보를 저장하기 위한 데이터 저장부(1413), 컴퓨터 시스템(1410)에 대한 임의의 적절한 입력을 입력하기 위한 입력 모듈(1414), 및 컴퓨터 시스템(1410)의 동작의 다양한 양상을 제어하기 위한 소프트웨어 명령(1416)을 포함할 수 있다.
시스템(1410)의 하나 이상의 프로세서(1412)는 다수의 동작 및/또는 스트림(stream)을 동시에 다루기 위한 다수의 코어 프로세서를 포함할 수 있다. 예컨대, 프로세서(1412)는 상이한 이미지 센서(1421, 1423)로부터의 시각적 데이터를 동시에 다루기 위한 병렬 프로세싱 유닛일 수 있다. 일부 실시예에서, 프로세서(1412)는 Intel™에 의해 제조된 Pentium™ 또는 Xeon™ 군(family), AMD™에 의해 제조된 Turion™ 군, 또는 다른 제조자로부터의 다양한 프로세서 중 임의의 프로세서로부터의 마이크로프로세서와 같은(그러나 이에 제한되지 않음) 하나 이상의 프로세싱 디바이스를 포함할 수 있다. 프로세서(1412)는 복수의 코-프로세서(co-processor)를 포함할 수 있으며, 이들 각각은 부동 소수점 산술, 그래픽, 신호 프로세싱, 스트링 프로세싱, 또는 I/O 인터페이싱과 같은 특정 동작을 실행하도록 구성된다. 일부 실시예에서, 프로세서는 FPGA(field-programmable gate array), CPU(central processing unit), GPU(graphical processing unit) 등을 포함할 수 있다.
데이터베이스(1411)는 시스템(1410)에 콘텐츠를 제공하기 위한 동작을 수행하기 위해 적합한 소프트웨어로 구성된 하나 이상의 컴퓨팅 디바이스를 포함할 수 있다. 데이터베이스(1411)는 예컨대, Oracle™ 데이터베이스, Sybase™ 데이터베이스 및/또는 다른 관계형 데이터베이스 또는 비-관계형 데이터베이스, 이를테면 Hadoop™ 시퀀스 파일, HBase™ 또는 Cassandra™를 포함할 수 있다. 예시적인 실시예에서, 데이터베이스(1411)는 데이터베이스의 메모리 디바이스에 저장된 데이터에 대한 요청을 수신하여 프로세싱하도록 그리고 데이터베이스로부터 데이터를 제공하도록 구성된 컴퓨팅 컴포넌트(예컨대, 데이터베이스 관리 시스템, 데이터베이스 서버 등)를 포함할 수 있다. 전에 논의된 바와 같이, 데이터베이스(1411)는 수술 절차와 연관된 데이터를 수집 및/또는 유지하도록 구성될 수 있다. 데이터베이스(1411)는 예컨대, 온라인 리소스를 포함하는 다양한 소스로부터 데이터를 수집할 수 있다.
네트워크(1418)는 다양한 컴퓨팅 컴포넌트 간의 임의의 타입의 연결을 포함할 수 있다. 예컨대, 네트워크(1418)는 인터넷(Internet) 연결, 로컬 영역 네트워크 연결, NFC(near field communication), 및/또는 시스템(1401)의 컴포넌트 간의 정보의 전송 및 수신을 가능하게 하는 다른 적절한 연결(들)을 포함할 수 있는 네트워크 연결을 통한 정보의 교환을 가능하게 할 수 있다. 일부 실시예에서, 시스템(1401)의 하나 이상의 컴포넌트는 하나 이상의 전용 통신 링크를 통해 직접적으로 통신할 수 있다.
시스템(1401)의 다양한 예시적인 실시예는 컴퓨터-구현 방법, 유형의 비-일시적 컴퓨터-판독가능 매체 및 시스템을 포함할 수 있다. 컴퓨터-구현 방법은 예컨대, 도 14에 도시된 매체(1413)와 같은 비-일시적 컴퓨터-판독가능 저장 매체로부터 명령을 수신하는 적어도 하나의 프로세서에 의해 실행될 수 있다. 유사하게, 본 개시내용에 따른 시스템 및 디바이스는 적어도 하나의 프로세서 및 메모리를 포함할 수 있고, 메모리는 비-일시적 컴퓨터-판독가능 저장 매체일 수 있다. 본원에서 사용되는 바와 같이, 비-일시적 컴퓨터-판독가능 저장 매체는, 적어도 하나의 프로세서에 의해 판독가능 정보 또는 데이터가 저장될 수 있는 임의의 타입의 물리적 메모리를 지칭한다. 예는 RAM(random access memory), ROM(read-only memory), 휘발성 메모리, 비-휘발성 메모리, 하드 드라이브, CD ROM, DVD, 플래시 드라이브, 디스크, 및 임의의 다른 알려진 물리적 저장 매체를 포함할 수 있으며, 이들의 일부 또는 모든 부분이 물리적으로 수술실에 또는 그 인근에 위치되든, 동일한 설비의 다른 룸에 위치되든, 원격 감금 위치에 위치되든, 또는 클라우드-기반 서버 팜에 위치되든 할 수 있다. 단수 용어, 이를테면 "메모리" 및 "컴퓨터-판독가능 저장 매체"는 추가적으로, 복수의 메모리 또는 컴퓨터-판독가능 저장 매체와 같은 다수의 구조를 지칭할 수 있다. 본원에서 지칭되는 바와 같이, "메모리"는 달리 특정되지 않는 한 임의의 타입의 컴퓨터-판독가능 저장 매체를 포함할 수 있다. 컴퓨터-판독가능 저장 매체는, 프로세서로 하여금 본원의 실시예에 따라 단계 또는 스테이지를 수행하게 하기 위한 명령을 포함하여, 적어도 하나의 프로세서에 의한 실행을 위한 명령을 저장할 수 있다. 추가적으로, 하나 이상의 컴퓨터-판독가능 저장 매체는 컴퓨터-구현 방법을 구현하는 데 활용될 수 있다. "컴퓨터-판독가능 저장 매체"라는 용어는 유형의 아이템을 포함하며 반송파 및 과도 신호를 배제하는 것으로 이해되어야 한다.
입력 모듈(1414)은 하나 이상의 프로세서(1412)에 입력을 제공하기 위한 임의의 적절한 입력 인터페이스일 수 있다. 예시적인 실시예에서, 입력 인터페이스는 영숫자 문자를 입력하기 위한 키보드, 마우스, 조이스틱, 터치 스크린, 온-스크린 키보드, 스마트폰, 오디오 캡처 디바이스(예컨대, 마이크로폰), 제스처 캡처 디바이스(예컨대, 카메라), 및 데이터를 입력하기 위한 다른 디바이스일 수 있다. 사용자가 정보를 입력하는 동안, 정보는 입력의 정확성을 보장하기 위해 모니터 상에 디스플레이될 수 있다. 다양한 실시예에서, 입력은 시스템(1410)에 제출되기 전에 분석, 검증 또는 변경될 수 있다.
소프트웨어 명령(1416)은 시스템(1410)의 동작의 다양한 양상을 제어하도록 구성될 수 있으며, 이는 이미지 센서로부터 시각적 데이터를 수신하여 분석하는 것, 이미지 센서의 다양한 양상(예컨대, 이미지 센서를 움직이는 것, 이미지 센서를 회전하는 것, 예시적인 ROI를 향해 주밍하기 위해 이미지 센서의 줌 렌즈를 동작시키는 것, 및/또는 다른 움직임)을 제어하는 것, 수술실 내의 다른 디바이스의 다양한 양상을 제어(예컨대, 오디오 센서, 화학 센서, 발광 디바이스 및/또는 다른 디바이스의 동작을 제어)하는 것을 포함할 수 있다.
이전에 설명된 바와 같이, 이미지 센서(1421)는 이미지 또는 비디오 데이터를 캡처할 수 있는 임의의 적절한 센서일 수 있다. 예컨대, 이러한 센서는 카메라(115-125)일 수 있다.
오디오 센서(1425)는 오디오 데이터를 캡처하기 위한 임의의 적절한 센서일 수 있다. 오디오 센서(1425)는 사운드를 디지털 정보로 변환함으로써 오디오를 캡처하도록 구성될 수 있다. 오디오 센서(1425)의 일부 예는 마이크로폰, 단방향성 마이크로폰, 양방향성 마이크로폰, 카디오이드(cardioid) 마이크로폰, 무지향성 마이크로폰, 온보드 마이크로폰, 유선 마이크로폰, 무선 마이크로폰, 상기의 임의의 조합, 및 임의의 다른 사운드-캡처 디바이스를 포함할 수 있다.
발광 디바이스(1427)는 예컨대, 이미지 센서(1421)에 의한 더 나은 이미지 캡처를 가능하게 하기 위해 광을 방출하도록 구성될 수 있다. 일부 실시예에서, 광의 방출은 이미지 센서(1421)의 캡처 동작으로 조정될 수 있다. 추가적으로 또는 대안적으로, 광의 방출은 연속적일 수 있다. 일부 경우에, 광의 방출은 선택된 시간에 수행될 수 있다. 방출된 광은 가시광, 적외선 광, 자외선 광, 심 자외선 광, X-레이, 감마(gamma) 레이, 및/또는 광 스펙트럼의 임의의 다른 부분일 수 있다.
설명된 바와 같이 아래에서, 스케줄(1430)은 진행중인 수술 절차의 완료와 연관된 스케줄링된 시간뿐만 아니라, 미래의 수술 절차를 시작 및 마무리하기 위한 스케줄링된 시간을 디스플레이하기 위한 인터페이스를 포함할 수 있다. 스케줄(1430)은 임의의 적절한 접근법을 사용하여(예컨대, 독립형 소프트웨어 애플리케이션으로서, 웹사이트로서, 스프레드시트로서, 또는 임의의 다른 적절한 컴퓨터-기반 애플리케이션 또는 종이-기반 문서로서) 구현될 수 있다. 예시적인 스케줄(1430)은 특정 절차와 연관된 시작 및 마무리 시간의 리스트 및 절차의 리스트를 포함할 수 있다. 추가적으로 또는 대안적으로, 스케줄(1430)은 적어도 하나의 수술실의 스케줄과 관련된 그리고/또는 적어도 하나의 수술 절차의 스케줄과 관련된 정보, 이를테면 진행중인 수술 절차의 완료와 연관된 스케줄링된 시간뿐만 아니라, 미래의 수술 절차를 시작 및 마무리하기 위한 스케줄링된 시간을 표현하도록 구성된 데이터 구조를 포함할 수 있다.
도 15는 절차 A 내지 절차 C와 같은 절차(예컨대, 스케줄(1430)이 사용되는 수술실에서 수행될 수 있는 수술 절차 또는 임의의 다른 적절한 의료 절차)의 리스트를 포함할 수 있는 예시적인 스케줄(1430)을 도시한다. 각각의 절차 A 내지 절차 C에 대해, 대응하는 시작 및 마무리 시간이 결정될 수 있다. 예컨대, 과거 절차 A의 경우, 시작 시간(1521A) 및 마무리 시간(1521B)은 실제 시작 및 마무리 시간일 수 있다. (절차 A가 완료되었으므로, 스케줄(1430)은 실제 시간을 반영하도록 자동으로 업데이트될 수 있다). 도 15는 현재 절차 B에 대해, 시작 시간(1523A)이 실제일 수 있고, 마무리 시간(1523B)이 추정(그리고 추정된 시간으로서 기록)될 수 있다는 것을 도시한다. 추가적으로, 미래에 수행되도록 스케줄링되는 절차 C의 경우, 시작 시간(1525A) 및 마무리 시간(1525B)이 추정되고 기록될 수 있다. 스케줄(1430)은 절차의 리스트 및 절차를 위한 시작/마무리 시간을 디스플레이 및/또는 홀딩하는 것으로 제한되는 것이 아니라, 예시적인 수술 절차와 연관된 다양한 다른 데이터를 포함할 수 있다는 것이 주목되어야 한다. 예컨대, 스케줄(1430)은 (스케줄(1430)이 웹페이지, 소프트웨어 애플리케이션 및/또는 다른 인터페이스와 같은 컴퓨터 기반 인터페이스에 의해 표현되는 경우에 대해) 스케줄(1430)의 사용자가 스케줄(1430)의 다양한 엘리먼트와 상호작용하게 허용하도록 구성될 수 있다. 예컨대, 사용자는 절차 A, B 또는 C에 대한 세부사항을 각각 획득하기 위해 영역(1513, 1515 또는 1517)을 클릭하거나 다른 식으로 선택하도록 허용될 수 있다. 이러한 세부사항은 환자 정보(예컨대, 환자의 이름, 나이, 병력 등), 수술 절차 정보(예컨대, 수술의 타입, 수술에 사용되는 도구의 타입, 수술에 사용되는 마취의 타입 및/또는 수술 절차의 다른 특성) 및 의료 서비스 제공자 정보(예컨대, 의사의 이름, 마취과 의사의 이름, 의사의 경험, 의사의 성공률, 의사에 대한 수술 결과에 기반한 의사 등급 및/또는 의사에 관련된 다른 데이터)를 포함할 수 있다. 앞서 말한 정보의 일부 또는 전부는 추가적인 드릴 다운(drill down)에 대한 필요 없이 영역(1513, 1515, 1517)에 이미 나타날 수 있다.
다양한 실시예에서, 수술 절차에 대한 정보는 도 16에 도시된 예시적인 양식(1601)을 통해 의료 서비스 제공자(예컨대, 간호사, 수술 조수, 의사 및/또는 다른 의료 서비스 전문가)에 의해 입력될 수 있다. 예컨대, 양식(1601)은 의료 서비스 제공자가 스케줄링된 수술 절차의 긴급성을 특정할 수 있는 "긴급성" 필드, 의료 서비스 제공자가 수술 절차의 타입(또는 수술 절차의 이름)을 특정할 수 있는 "수술 타입" 필드, 의료 서비스 제공자가 수술 절차 동안 합병증으로 이어질 수 있는 환자에 대한 병력 이벤트를 특정할 수 있는 "합병증" 필드, 의료 서비스 제공자가 환자에 관한 대응하는 정보를 특정할 수 있는 "환자 프로파일" 필드, 이를테면 "이름", "주소", "생일", "연락처" 및 "비상 연락처"를 가질 수 있다. 추가로, 양식(1601)은 환자의 병력을 설명하는 데 사용될 수 있는 "병력(Medical History)" 필드를 포함할 수 있다(예컨대, "병력" 필드는 풀다운 리스트(pulldown list), 의료 서비스 제공자가 환자에 대한 병력을 설명하는 텍스트를 타이핑할 수 있는 공간, 또는 환자에 대한 병력의 설명에 사용될 수 있는 임의의 다른 적절한 그래픽 사용자 인터페이스 엘리먼트일 수 있다). 추가적으로, 양식(1601)은 환자에게 수술 절차를 제공하도록 스케줄링되는 의료인의 이름 및 책무를 특정할 수 있는 "수술 팀" 관련 필드를 포함할 수 있다. 도 16에 도시된 바와 같이, 다수의 의료 서비스 제공자에 관한 정보는 "다음 멤버 추가" 버튼에 의해 추가될 수 있다. 양식(1601)은 수술 절차에 관한 정보를 스케줄(1430)에 입력하는 데 사용될 수 있는 몇몇 예시적인 필드를 갖는 양식의 단지 하나의 예시적인 예이며, 스케줄(1430)에 대한 관련있는 정보를 입력하는 것을 허용하는 임의의 다른 적절한 양식이 사용될 수 있다. 캡처를 위해 식별된 정보의 타입 및 양식 상의 정보 필드의 수는 관리자 선호도의 문제일 수 있다. 추가적으로 또는 대안적으로, 수술 절차에 대한 정보는 다른 소스, 이를테면 HIS(Hospital Information System), EMR(Electronic Medical Record), 계획된 수술실 스케줄, 디지털 캘린더, 외부 시스템 등으로부터 수신될 수 있다.
수술실 스케줄의 조정을 가능하게 하기 위한 실시예의 양상은, 이력 수술 데이터에 기반한 정보를 보유하는 데이터 구조에 액세스하는 것, 및 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해 진행중인 수술 절차의 시각적 데이터 및 이력 수술 데이터를 분석하는 것을 포함할 수 있다. 다양한 실시예에서, 방법의 임의의 단계는 소프트웨어 명령(1416)을 실행하는 시스템(1410)의 하나 이상의 프로세서에 의해 실행될 수 있다.
데이터 구조는 데이터베이스(1411)에 저장될 수 있고, 네트워크(1418)를 통해 액세스될 수 있거나, 시스템(1410)의 메모리에 로컬로 저장될 수 있다. 이력 수술 데이터를 보유하는 데이터 구조는 임의의 적절한 데이터(예컨대, 이미지 데이터, 비디오 데이터, 텍스트 데이터, 수치적 데이터, 스프레드시트, 공식, 소프트웨어 코드, 컴퓨터 모델 및/또는 다른 데이터 객체)뿐만 아니라, 다양한 데이터 값(또는 데이터 값의 조합) 간의 임의의 적절한 관계를 포함할 수 있다. 데이터는, 선형적으로, 수평적으로, 계층적으로, 관계형으로, 비관계형으로, 1차원적으로, 다차원적으로, 조작가능하게, 정렬된 방식으로, 정렬되지 않은 방식으로, 객체-지향 방식으로, 중앙집중 방식으로, 비-중앙집중 방식으로, 분산 방식으로, 맞춤 방식으로, 또는 데이터 액세스를 가능하게 하는 임의의 방식으로 저장될 수 있다. 비-제한적인 예로서, 데이터 구조는 어레이, 연관 어레이, 링크된 리스트, 이진 트리, 평형 트리, 힙, 스택, 큐, 세트, 해시 테이블, 기록, 태깅된 유니온, ER 모델 및 그래프를 포함할 수 있다. 예컨대, 데이터 구조는 XML 코드, XML 데이터베이스, RDBMS 데이터베이스, SQL 데이터베이스 또는 데이터 저장/검색을 위한 NoSQL 대안물(이를테면, 예컨대, MongoDB, Redis, Couchbase, Datastax Enterprise Graph, Elastic Search, Splunk, Solr, Cassandra, Amazon DynamoDB, Scylla, HBase 및 Neo4J)을 포함할 수 있다. 데이터 구조는, 개시된 시스템의 컴포넌트 또는 원격 컴퓨팅 컴포넌트(예컨대, 클라우드-기반 데이터 구조)일 수 있다. 데이터 구조에서의 데이터는, 연속적 또는 비-연속적 메모리에 저장될 수 있다. 더욱이, 본원에서 사용되는 데이터 구조는 정보가 같은 곳에 위치될 것을 요구하지 않는다. 예를 들어, 데이터 구조는, 동일한 또는 상이한 엔티티(entity)가 소유한 또는 이에 의해 동작될 수 있는 다수의 서버에 걸쳐 분산될 수 있다. 따라서, 본원에서 단수로 사용된 "데이터 구조"란 용어는, 복수의 데이터 구조를 포함한다.
예시적인 실시예에서, 데이터 구조는 절차의 타입(예컨대, 우회 수술, 기관지경 검사, 또는 위에서 설명된 바와 같은 임의의 다른 수술 절차), 환자의 하나 이상의 특성(예컨대, 나이, 성별, 절차에 영향을 미칠 수 있는 의학적 고려사항, 과거 병력 및/또는 다른 환자 정보), 수술 의사 및/또는 마취과 닥터의 이름(들) 및/또는 특성, 및 절차를 완료하는 데 걸린 시간을 포함할 수 있다. 일부 경우에, 절차의 완료를 위한 시간은 수술실을 준비하기 위한 시간, 수술 절차를 위해 환자를 준비하기 위한 시간, 의료인(즉, 간호사, 의사, 마취과 의사 등)에게 필요한 시간, 환자가 마취되거나 잠드는 데 필요한 시간, 수술실을 세척하기 위해 필요한 시간, 또는 수술실을 다음 수술 절차를 위한 상태에 두기 위해 필요한 임의의 다른 수술-관련 시간을 포함할 수 있다.
예시적인 실시예에서, 데이터 구조는 하나 이상의 데이터베이스 표를 갖는 관계형 데이터베이스일 수 있다. 예컨대, 도 17a는 데이터 표(1711, 1713)를 포함할 수 있는 데이터 구조(1701)의 예를 예시한다. 예시적인 실시예에서, 데이터 구조(1701)는 관계형 데이터베이스의 일부일 수 있고, 메모리에 저장될 수 있는 식이다. 표(1711, 1713)는 다수의 기록(예컨대, 도 17a에 도시된 바와 같은 기록 1 및 기록 2)을 포함할 수 있고, "기록 번호" 필드, "절차" 필드, "나이" 필드, "성별" 필드, "의학적 고려사항" 필드, "시간" 필드 및 "다른 데이터" 필드와 같은 다양한 필드를 가질 수 있다. 예컨대, "기록 번호" 필드는 정수일 수 있는, 기록에 대한 라벨을 포함할 수 있고, "절차" 필드는 수술 절차의 이름을 포함할 수 있고, "나이" 필드는 환자의 나이를 포함할 수 있고, "성별" 필드는 환자의 성별을 포함할 수 있고, "의학적 고려사항" 필드는 "절차" 필드에 표시된 이름을 갖는 수술 절차에 관련있을 수 있는 환자에 대한 병력에 관한 정보를 포함할 수 있고, "시간" 필드는 수술 절차에 걸리는 시간을 포함할 수 있고, "다른 데이터" 필드는 수술 절차에 관련된 임의의 다른 적절한 데이터에 대한 링크를 포함할 수 있다. 예컨대, 도 17a에 도시된 바와 같이, 1711은 이미지 데이터에 대응할 수 있는 데이터(1712A), 비디오 데이터에 대응할 수 있는 데이터(1712B), 텍스트 데이터에 대응할 수 있는 데이터(1712C)(예컨대, 수술 절차 동안 또는 수술 절차 후에 기록된 메모, 환자 기록, 수술후 리포트 등), 및 오디오 데이터에 대응할 수 있는 데이터(1712D)를 포함할 수 있다. 다양한 실시예에서, 이미지, 비디오 또는 오디오 데이터는 수술 절차 동안 캡처될 수 있다. 일부 경우에, 비디오 데이터는 또한 오디오 데이터를 포함할 수 있다. 이미지, 비디오, 텍스트 또는 오디오 데이터(1712A-1712D)는 수술 절차 동안 수집될 수 있는 데이터 중 단지 일부일 뿐이다. 다른 데이터는 환자의 바이탈 징후 데이터, 이를테면 심박수 데이터, 혈압 데이터, 혈액 검사 데이터, 산소 레벨, 또는 수술 절차 동안 기록된 임의의 다른 환자-관련 데이터를 포함할 수 있다. 데이터의 일부 추가적인 예는 수술실 온도, 사용된 수술 기구의 타입, 또는 수술 절차와 관련되며 수술 절차 전에, 수술 절차 동안 또는 수술 절차 후에 기록된 임의의 다른 데이터를 포함할 수 있다.
도 17a에 도시된 바와 같이, 표(1711, 1713)는 수술 절차에 대한 기록을 포함할 수 있다. 예컨대, 표(1711)의 기록 1은, 신장 질환을 갖는 65세 남성에 대해 우회 수술 절차가 수행되었고, 우회 수술이 4시간 내에 완료되었음을 표시한다. 표(1711)의 기록 2는, 수술 절차를 복잡하게 할 수 있는 배경 의학적 상태가 없는 78세 여성에 대해 우회 수술 절차가 수행되었고, 우회 수술이 3시간 내에 완료되었음을 표시한다. 표(1713)는 65세 남성에 대한 우회 수술이 Dr.Mac에 의해 수행되었고, 78세 여성에 대한 우회 수술이 Dr.Doe에 의해 수행되었음을 표시한다. 표(1711)에 나열된 나이, 성별 및 의학적 고려사항과 같은 환자 특성은 단지 예시적인 환자 특성 중 일부일 뿐이며 하나의 수술 절차를 다른 수술 절차와 구별하기 위해, 임의의 다른 적절한 특성이 사용될 수 있다. 예컨대, 환자 특성은 환자의 알레르기, 마취제에 대한 환자 내성, 환자의 다양한 세부사항(예컨대, 우회 수술 동안 얼마나 많은 동맥이 치료되는 것이 필요한지), 환자의 체중, 환자의 사이즈, 환자의 해부체의 세부사항, 또는 수술 절차의 지속기간(및 성공)에 영향력을 가질 수 있는 임의의 다른 환자 관련 특성을 더 포함할 수 있다.
데이터 구조(1701)는 수술 절차의 임의의 적절한 양상을 특징지을 수 있는 임의의 다른 수의 적절한 표를 가질 수 있다. 예컨대, 1701은 연관된 마취과 의사의 신원, 수술 절차의 시각, 수술 절차가 (예컨대, 의사 생애에서, 특정 일 내에 등에) 의사에 의해 수행된 첫 번째 절차였는지, 두 번째 절차였는지, 세 번째 절차였는지 등, 연관된 마취과 의사 간호사 조수, 수술 절차 동안 임의의 합병증이 있었는지 여부, 및 절차와 관련있는 임의의 다른 정보를 표시하는 표를 포함할 수 있다.
데이터 구조에 액세스하는 것은 정보를 판독하고 그리고/또는 데이터 구조에 기록하는 것을 포함할 수 있다. 예컨대, 데이터 구조로부터의/데이터 구조로의 판독 및/또는 기록은 임의의 적절한 이력 수술 데이터, 이를테면 이력의 시각적 데이터, 이력 오디오 데이터, 이력 텍스트 데이터(예컨대, 예시적인 이력 수술 절차 동안의 메모) 및/또는 다른 이력 데이터 포맷을 판독 및/또는 기록하는 것을 포함할 수 있다. 예시적인 실시예에서, 데이터 구조에 액세스하는 것은 데이터베이스(111) 또는 임의의 다른 적절한 전자적 저장 저장부로부터/로 데이터를 판독 및/또는 기록하는 것을 포함할 수 있다. 일부 경우에, 데이터를 기록하는 것은 데이터를 인쇄(예컨대, 이력 데이터를 보유하는 리포트를 종이에 인쇄)하는 것을 포함할 수 있다.
개시된 실시예는 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해, 진행중인 수술 절차의 시각적 데이터를 데이터 구조를 사용하여 분석하는 것을 더 포함할 수 있다. 추정된 완료 시간은 예컨대, 수술 절차가 완료될 것으로 예상되는 시각, 완료까지 남아있는 시간, 수술 절차의 추정된 전체 지속기간, 수술 절차의 완료를 위한 확률 분포 시간 값 등을 포함하는, 수술 절차의 추정된 완료의 임의의 적절한 표시자일 수 있다. 또한, 완료 시간은 이력 수술 데이터(예컨대, 이력 완료 시간과 연관된 표준 편차, 평균 이력 완료 시간, 이력 완료 시간에 대한 기대치, 및/또는 완료 시간의 다른 통계 메트릭)에 기반하여, 완료 가능성을 표시하는 추가적인 통계 정보를 포함할 수 있다. 일부 예에서, 머신 러닝 모델은 이미지 및/또는 비디오로부터 수술의 완료 시간을 추정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 시각적 데이터를 분석하고 진행중인 수술 절차의 추정된 완료 시간을 결정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는 수술 절차의 추정 완료 시간을 표시하는 라벨과 함께, 수술 절차의 이미지 및/또는 비디오를 포함할 수 있다. 예컨대, 트레이닝 예시의 라벨은 이력 수술 데이터에 기반한 정보를 보유하는 데이터 구조, 이력 데이터, 사용자 입력 등 중 적어도 하나에 기반할 수 있다. 예컨대, 트레이닝 예시는 이력 수술 데이터에 기반한 정보를 포함하는 데이터 구조, 이력 데이터 등 중 적어도 하나로부터의 이미지 및/또는 비디오를 포함할 수 있다.
일 예에서, 수술 절차를 시작하기 이전에, 진행중인 수술 절차의 초기 추정된 완료 시간(본원에서는 완료 시간으로도 또한 지칭됨)을 결정하기 위해 이력 수술 데이터가 분석될 수 있거나, 진행중인 수술 절차의 초기 추정된 완료 시간은 다른 방식으로, 예컨대 사용자로부터, 스케줄링 시스템으로부터, 외부 시스템으로부터 등으로 수신될 수 있다.
일부 실시예에서, 평균 이력 완료 시간이 추정된 완료 시간을 결정하는 데 사용될 수 있다. 예컨대, 진행중인 수술 절차와 동일한 타입인 이력 수술 절차에 대해 평균 이력 완료 시간이 계산될 수 있고, 평균 이력 완료 시간이 추정된 완료 시간으로서 사용될 수 있다. 다른 예에서, (예컨대, k-최근접 이웃 알고리즘을 사용하여, 수술 절차 간의 유사성 측정치를 사용하여 등) 유사한 이력 수술 절차가 선택될 수 있고, 선택된 유사한 이력 수술 절차에 대해 평균 이력 완료 시간이 계산될 수 있다.
이력 데이터의 분석은, 확률 분포 함수가 다양한 환자/의사 특성(예컨대, 환자의 나이), 선형 회귀, 및/또는 통계적 관계를 정량화하는 다른 방법에 의해 어떻게 영향을 받는지를 결정하기 위해, 베이지안 간섭을 사용하여, 확률 분포 함수에 기반하여 예상된 완료 시간 값을 결정하는 것과 같은 임의의 적절한 통계 데이터 분석을 수반할 수 있다. 예컨대, 도 17b는 상이한 나이의 환자에 대한 특정 수술 절차(예컨대, 우회 수술)의 완료 시간의 분포를 표현하는 포인트(1715)의 예시적인 그래프(1703)를 도시한다. 예컨대, 포인트(1715A)는 특정 경우에, A0 나이의 환자에 대해, 수술 절차를 완료하는 데 시간 T0이 걸렸음을 도시한다. 포인트(1715)에 대한 데이터는 선형 회귀 모델(1717)을 구성하는 데 사용될 수 있고, 회귀 모델(1717)은 선형 회귀 모델 상의 포인트(1718)에 따라 A1 나이의 환자에 대한 예상된 완료 시간 T1을 결정하는 데 사용될 수 있다. 그래프(1703)는 환자의 하나의 특성 파라미터(예컨대, 환자의 나이)에 대한 완료 시간의 의존성을 도시하지만, 완료 시간은 이전에 논의된 바와 같이, 다수의 특성 파라미터(예컨대, 환자의 체중, 수술 절차를 수행하는 의료 서비스 전문가의 특성, 마취과 의사의 특성, 및 환자 또는 절차를 설명하는 다른 데이터)에 의존할 수 있고, 포인트(1715)는 다차원 데카르트 좌표계에서 플롯팅될 수 있고, 회귀 모델(1717)은 다변량 회귀 모델을 포함할 수 있다. 다른 예에서, 회귀 모델(1717)은 비-선형 회귀 모델을 포함할 수 있다.
예시적인 실시예에서, 추정된 완료 시간을 결정하는 것은, 진행중인 수술 절차를 수행하는 의료 서비스 전문가와 연관된 하나 이상의 저장된 특성에 기반할 수 있다. 이러한 특성은 예컨대, 위에서 설명된 바와 같이, 의료 서비스 전문가의 나이, 이름, 경험 연차, 위치, 과거 성과, 및/또는 의료 서비스 전문가를 설명하는 다른 정보를 포함할 수 있다. 특성은 임의의 적절한 전자적(또는 일부 경우에는 종이) 저장부를 사용하여 임의의 적절한 데이터 구조를 사용하여 저장될 수 있다. 예시적인 실시예에서, 특성은 데이터베이스(예컨대, 도 14에 도시된 바와 같은 데이터베이스(1411))에 저장될 수 있다. 예컨대, 정해진 타입의 수술에 대해 정해진 의료 서비스 전문가에 대한 이력 데이터의 분석에 기반하여, 예상된 완료 시간이 추정될 수 있다(예컨대, 예상된 완료 시간은 정해진 타입의 수술에 대해 정해진 의료 서비스 전문가에 대한 이력 데이터로부터 결정된 평균 완료 시간일 수 있다). 또한, 정해진 타입의 수술에 대해 정해진 의료 서비스 전문가에 대한 이력 데이터를 사용하여, 다른 통계(예컨대, 예상된 완료 시간으로부터의 표준 편차, 예상된 완료 시간과 수술 절차의 다른 특성, 이를테면 환자의 나이 또는 수술이 수행되는 시각, 및/또는 이력 완료 시간으로부터 생성된 다른 통계와의 상관관계)가 결정될 수 있다.
도 18은 머신 러닝 모델(1813)을 사용하여 완료 시간(1815)을 획득하는 예시적인 실시예를 도시한다. 모델(1813)은 환자의 다양한 특성, 의료인의 다양한 특성뿐만 아니라, 환자에게 투여되는 수술 절차의 타입을 입력 파라미터(1811)로서 취할 수 있다. 예컨대, 도 18에 도시된 바와 같은 파라미터 P1은 수술 절차의 타입을 표시할 수 있고, 파라미터 P2는 환자의 나이를 표시할 수 있고, 파라미터 PN은 환자의 체중을 표시할 수 있는 식이다. 사용되는 수술 기구의 타입, 수술되는 해부학적 구조의 사이즈 등과 같은 다양한 다른 파라미터가 사용될 수 있다.
다양한 실시예에서, 완료 시간(1815)은 예컨대, 위에서 설명된 바와 같이, 머신 러닝 모델, 이를테면 뉴럴 네트워크, 의사결정 트리, 앙상블 방법에 기반한 모델(이를테면, 랜덤 포레스트), 또는 임의의 다른 머신 러닝 모델을 포함할 수 있는 모델(1813)을 사용하여 계산될 수 있다. 일부 경우에, 모델(1813)은 완료 시간과 관련된 단일 수를 리턴하도록 구성될 수 있고, 일부 실시예에서, 모델(1813)은 완료 시간에 대한 확률 분포를 리턴하도록 구성될 수 있다.
다양한 실시예에서, 모델(1813)은 정해진 수술 절차를 겪는 다양한 환자에 대한 이력 완료 시간을 포함할 수 있는 이력 수술 데이터에 대응하는 적절한 파라미터(1811)를 보유하는 데이터 세트를 사용하여 트레이닝될 수 있다.
본 개시내용의 실시예는, 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해 진행중인 수술 절차의 시각적 데이터 및 이력 수술 데이터를 분석하는 것을 더 포함할 수 있다. 그러한 분석은 머신 러닝 및/또는 추정된 완료 시간을 결정하기 위해 본원에서 설명된 다른 기법을 통해 발생할 수 있다. 하나의 예시적인 실시예에서, 수술에 대한 완료 시간을 결정하기 위해, 이 방법은 입력으로서 정보(이를테면, 수술 절차의 타입, 진행중인 수술 절차의 시각적 데이터, 이를테면 수술의 이미지 또는 수술의 비디오 데이터 중 하나 이상, 환자 및/또는 의료인 특성)를 취하고 출력으로서 완료 시간의 추정치를 리턴하는 머신 러닝 모델을 활용할 수 있다. 일부 예에서, 예컨대 시각적 유사성 함수를 사용하여, 시각적 데이터를 표현하는 그래프에 대한 부정확한 그래프 매칭(inexact graph matching) 알고리즘을 사용하여, k-최근접 이웃 알고리즘을 사용하여 등, 진행중인 수술 절차와 유사한, 이력 수술 데이터 내의 기록에 대해 식별하기 위해 진행중인 수술 절차의 시각적 데이터 및 이력 수술 데이터가 분석될 수 있다. 추가로, 일부 예에서, 식별된 기록은 진행중인 수술 절차의 추정된 완료 시간을 결정하는 데 사용될 수 있다. 예컨대, 식별된 기록으로부터의 완료 시간의 함수(이를테면, 평균, 중앙값, 모드, 통계 함수, 선형 함수, 비-선형 함수 등)가 계산될 수 있고, 진행중인 수술 절차의 추정된 완료 시간은 계산된 함수에 기반할 수 있다. 예시적인 실시예에서, 진행중인 수술 절차의 시각적 데이터는 사전결정된 시간 인터벌로 분리된 시간에 수집될 수 있다(예컨대, 시각적 데이터는 매초, 몇 초마다, 수십 초마다, 매분, 또는 임의의 다른 적합한 인터벌로 수집될 수 있다). 추가적으로 또는 대안적으로, 시각적 데이터는 의료인에 의해 요청된 시간에 수집될 수 있다(예컨대, 시각적 데이터는 의사 및/또는 마취과 의사 및/또는 간호사, 또는 임의의 다른 지정된 개인에 의해 요청된 시간에 수집될 수 있다). 예컨대, 의사는, 하나 이상의 이미지 센서/오디오 센서에 의해 캡처되며 시각적 데이터를 수집하기 위한 트리거로서 인식될 수 있는 시각적/오디오 신호(예컨대, 손 제스처, 신체 제스처, 의료 기구에 의해 생성된 광원에 의해 생성된 시각적 신호, 발화된 단어, 또는 임의의 다른 트리거)를 생성할 수 있다. 추가적으로 또는 대안적으로, 아래에서 추가로 설명되는 바와 같이, 수술 절차 동안 검출된 특성 이벤트에 기반하여 시각적 데이터가 수집될 수 있다.
다양한 실시예에서, 수술실 스케줄을 조정하는 것은 완료 시간을 추정하기 위해 머신 러닝 모델을 트레이닝하는 데 이력의 시각적 데이터를 사용하는 것을 포함할 수 있고, 여기서 추정된 완료 시간을 계산하는 것은 트레이닝된 머신 러닝 모델을 구현하는 것을 포함한다. 머신 러닝 모델에 대한 입력 데이터의 예시는 다수의 시각적 데이터 기록 및 파라미터를 포함할 수 있다. 시각적 데이터의 기록은 수술 절차 동안의 특정 시간 인터벌 동안 이미지 센서에 의해 캡처된 비디오의 다수의 프레임 및/또는 한 세트의 이미지일 수 있다. 예컨대, 시각적 데이터 기록은 수술 절차의 처음 몇 분 동안의 비디오 데이터일 수 있고, 시각적 데이터 기록은 수술 절차의 다음 몇 분 동안의 비디오 데이터일 수 있고, 시각적 데이터 기록은 수술 절차의 후속 몇 분 동안의 비디오 데이터일 수 있다. 일부 예에서, 머신 러닝 모델은 위에서 설명된 바와 같이 트레이닝 및/또는 사용될 수 있다.
개시된 실시예의 양상은 진행중인 수술 절차의 완료와 연관된 스케줄링된 시간을 포함하는, 외과 수술실에 대한 스케줄에 액세스하는 것을 포함할 수 있다. 예시적인 실시예에서, 액세스하는 것은 정보를 판독하고 그리고/또는 스케줄에 기록하는 것을 포함할 수 있다. 그러한 스케줄의 일 예는 스케줄(1430), 또는 스케줄(1430)에 관하여 설명된 정보와 유사한 정보를 보유하는 데이터 구조를 포함할 수 있다. 예컨대, 스케줄(1430)로부터/로의 판독 및/또는 기록은 대응하게 이전에 수행된, 또는 진행중인 또는 외과 수술실에서 수행되도록 스케줄링된 과거, 현재 또는 미래의 수술 절차와 관련된 임의의 적절한 데이터를 판독 및/또는 기록하는 것을 포함할 수 있다. 그러한 데이터는 절차의 이름, 절차를 수행하는 의사, 환자의 이름, 환자 또는/및 의료인과 관련된 임의의 특성 파라미터, 절차에 대한 시작 시간(또는 추정된 시작 시간), 및 절차에 대한 마무리 시간(또는 추정된 마무리 시간)을 포함할 수 있다. 다양한 실시예에서, 시스템(1410)은 스케줄(1430)을 판독 및/또는 기록하는 데 사용될 수 있다.
다양한 실시예는 진행중인 수술 절차의 추정된 완료 시간에 기반하여, 예상된 완료 시간이 완료와 연관된 스케줄링된 시간으로부터 변동을 야기할 가능성이 있는지 여부를 계산하는 것, 및 변동의 계산에 기반하여 통지를 출력하여, 이로써 외과 수술실의 후속 사용자가 이에 따라 자신의 스케줄을 조정할 수 있게 하는 것을 더 포함할 수 있다. 예컨대, 진행중인 수술 절차의 추정된(예상되는으로도 또한 지칭됨) 완료 시간은 위에서 논의된 접근법 중 임의의 접근법을 사용하여(예컨대, 위에서 설명된 머신 러닝 모델 및/또는 이력 수술 데이터에 대한 선형 회귀 모델을 사용하여) 획득될 수 있다. 예상된 완료 시간은 예시적인 의료 절차에 대한 추정된 마무리 시간(예컨대, 도 15에 도시된 바와 같은 추정된 완료 시간(1523B))과 비교될 수 있고, 예상된 완료 시간이 시간(1523B)과 실질적으로 매칭되지 않으면(예컨대, 예상된 완료 시간이 시간(1523B)보다 나중이거나 이전이면), 이 방법은 예상된 완료 시간과 시간(1523B) 간의 차이를 계산하도록 구성될 수 있다. 차이가 사전결정된 임계 값보다 작은 경우(예컨대, 임계 값이 1분, 몇 분, 5분, 10분, 15분 및/또는 다른 시간 값일 수 있다면), 이 방법은 예상된 완료 시간이 시간(1523B)과 실질적으로 동일하다고 결정할 수 있다. 대안적으로, 차이가 충분히 크면(즉, 사전결정된 임계 값보다 더 크면), 이 방법은 진행중인 수술 절차의 추정된 완료 시간에 기반하여, 예상된 완료 시간이 완료와 연관된 스케줄링된 시간으로부터 변동을 야기할 가능성이 있음을 계산(즉, 결정)할 수 있다. 다양한 실시예에서, 추정된 완료 시간은 수술 절차를 완료하기 위한 시간의 지속기간일 수 있고, 완료에 대한 예상되는 시간은 수술 절차가 완료되는 예상되는 시간일 수 있다.
다양한 실시예에서, 변동이 검출되면, 변동의 결정 시에 통지가 출력될 수 있다(예컨대, 예상된 완료 시간과 시간(1523B) 간의 차이를 계산함으로써 변동이 결정될 수 있다). 예시적인 실시예에서, 통지는 업데이트된 수술실 스케줄을 포함할 수 있다. 예컨대, 스케줄(1430)에 대한 업데이트는 텍스트 업데이트, 그래픽 업데이트, 또는 임의의 다른 적절한 업데이트(예컨대, 비디오 데이터, 애니메이션, 또는 오디오 데이터)를 포함할 수 있다. 추가적으로 또는 대안적으로, 통지는 경고 신호(예컨대, 광 신호, 오디오 신호 및/또는 다른 타입의 송신 신호)로서 구현될 수 있다. 일부 경우에, 통지는 다양한 사용자(예컨대, 다양한 의료인, 관리자, 환자, 환자의 친척 또는 친구, 및 다른 관심있는 개인)가 소유하고 있는 임의의 적절한 디바이스(예컨대, 스마트폰, 랩톱, 페이저(pager), 데스크톱, TV 및 이전에 논의된 다른 것)에 전달되는 SMS 메시지, 이메일, 및/또는 다른 타입의 통신일 수 있다. 예컨대, 통지는 외과 수술실의 후속 스케줄링된 사용자(예컨대, 의사, 마취과 의사 및/또는 다른 의료 서비스 전문가)와 연관된 (앞서 설명된 바와 같은) 디바이스에 송신되는 전자 메시지일 수 있다. 그러한 통지는 다양한 사용자(예컨대, 수술실의 사용자)가 스케줄에 대한 업데이트에 따라 자신의 스케줄을 조정하는 것을 가능하게 할 수 있다. 다양한 실시예에서, 업데이트된 수술실 스케줄은 대기중인 의료 서비스 전문가가 후속 수술 절차를 준비하는 것을 가능하게 할 수 있다. 예컨대, 수술 절차의 완료를 위한 예상되는 시간이 추정된 완료 시간(예컨대, 시간(1523B))을 지난 경우, 대기중인 의료 서비스 전문가(예컨대, 의사, 마취과 의사, 간호사 등)는 수술 절차를 위한 준비를 지연시킬 수 있다. 대안적으로, 수술 절차의 완료를 위한 예상되는 시간이 시간(1523B) 이전인 경우, 대기중인 의료 서비스 전문가(예컨대, 의사, 마취과 의사, 간호사 등)는 이전에 스케줄링된 시간보다 더 이른 시간에 수술 절차를 위한 준비를 시작할 수 있다.
개시된 실시예의 양상은, 완료와 연관된 스케줄링된 시간으로부터의 변동의 범위를 결정하는 것, 제1 결정된 범위에 대한 응답으로, 통지를 출력하는 것, 및 제2 결정된 범위에 대한 응답으로, 통지를 출력하는 것을 보류하는 것(forgoing)을 더 포함할 수 있다. 예컨대, 제1 결정된 범위가 사전결정된 임계 값(예컨대, 수 분, 수십 분 및/또는 다른 시간 측정치)을 초과하면, 일부 실시예는 그러한 제1 결정된 범위가 다른 수술 절차의 스케줄링 시간에 영향을 줄 수 있다고 결정할 수 있다. 그러한 경우에 대해, 변동의 통지는 임의의 적절한 수신 당사자에(예컨대, 다음 수술 절차를 관리하는 의료 서비스 제공자)에 송신될 수 있다. 대안적으로, 제2 결정된 범위가 충분히 작다고(예컨대, 사전결정된 임계 값보다 작다고) 결정되면, 실시예는 통지를 송신하지 않도록 구성될 수 있다.
개시된 실시예의 양상은, 예상된 완료 시간이 완료와 연관된 스케줄링된 시간으로부터 적어도 선택된 임계량의 시간의 지연을 야기할 가능성이 있는지 여부를 결정하는 것을 더 포함할 수 있다. 일부 실시예에서, 이러한 결정은 적합한 머신 러닝 모델, 이를테면 위에서 설명된 바와 같은 모델(1813)을 사용하여 이루어질 수 있다. 선택된 임계량은 임의의 적절한 사전결정된 양(예컨대, 수 분, 수십 분, 30분, 1시간 및/또는 다른 시간 측정치)일 수 있다. 예컨대, 선택된 임계량은 외과 수술실의 수술에 기반할 수 있다. 추가적으로 또는 대안적으로, 선택된 임계량은 외과 수술실에 대한 스케줄에서의 미래 이벤트에 기반할 수 있다. 예컨대, 제1 수술 절차의 완료 후 30분 이후에 스케줄링된 제2 수술 절차가 있다면, 제1 수술 절차에 대한 선택된 임계량은 30분을 초과하지 않을 수 있다. 추가적으로 또는 대안적으로, 선택된 임계량의 시간은 외과 수술실의 후속 사용자에 기반하여 선택될 수 있다. 예컨대, 후속 사용자에 대한 수술 절차가 상당한 사전 준비를 요구할 수 있다면, 선택된 임계량은 충분히 적을 수 있다(예컨대, 수 분). 대안적으로, 후속 사용자에 대한 수술 절차가 상당한 사전 준비를 요구하지 않을 수 있고, 쉽게 지연되거나 재스케줄링될 수 있다면, 선택된 임계량은 충분히 클 수 있다(예컨대, 30분, 1시간 및/또는 다른 시간 측정치). 일부 경우에, 후속 사용자에 대한 수술 절차의 긴급성 또는 중요성이 선택된 임계량을 결정할 수 있다. 예컨대, 긴급한 후속 수술 절차를 위해, 조기 통지가 필요할 수 있으며, 따라서 선택된 짧은 임계량을 요구할 수 있다.
예상된 완료 시간이 적어도 선택된 임계량의 시간의 지연을 야기할 가능성이 있다는 결정에 대한 응답으로, 개시된 실시예는 통지를 출력하는 것을 포함할 수 있다. 전에 설명된 바와 같이, 통지는 완료 시간을 분석하기 위해 (이를테면, 도 14에 도시된 시스템(1410)에 의해) 출력될 수 있는 임의의 타입의 전자 또는 종이 데이터일 수 있다. 예시적인 실시예에서, 시스템(1410)은 개시된 실시예에 따라, 의료 서비스 제공자의 디바이스에 전자 메시지로서 통지를 출력하도록 구성될 수 있다. 예상된 완료 시간이 적어도 선택된 임계량의 시간의 지연을 야기할 가능성이 없다는 결정에 대한 응답으로, 이 방법은 통지를 출력하는 것을 보류하도록 구성될 수 있다.
일부 경우에, 개시된 실시예는 수술 절차가 시간 전에 종결될 가능성이 있는지(즉, 수술 절차에 대한 예상된 완료 시간이 수술 절차에 대해 계획된 시간보다 짧은지) 여부를 결정하는 것을 더 포함할 수 있다. 예상된 완료 시간이 수술 절차에 대해 계획된 시간보다 적어도 선택된 임계량의 시간만큼 더 짧을 가능성이 있다는 결정에 대한 응답으로, 실시예는 통지를 출력하고 그리고/또는 통지를 출력하는 것을 보류하도록 구성될 수 있다.
도 19는 개시된 실시예에 따라 수술실 스케줄을 조정하기 위한 예시적인 프로세스(1901)를 도시한다. 단계(1911)에서, 프로세스는 이미지 센서로부터 시각적 데이터를 수신하는 것을 포함할 수 있다. 시각적 데이터는 진행중인 수술 절차를 추적하는 이미지/비디오 데이터를 포함할 수 있다. 예시적인 실시예에서, 시각적 데이터는 다양한 이미지 센서에 의해 수집될 수 있다. 일부 경우에, 2개 이상의 이미지 센서(예컨대, 카메라)가 상이한 뷰포인트로부터 수술 절차의 동일한 구역(예컨대, ROI)의 시각적 데이터를 캡처할 수 있다. 추가적으로 또는 대안적으로, 2개 이상의 이미지 센서는 상이한 배율을 사용하여 ROI의 시각적 데이터를 캡처할 수 있다. 예컨대, 제1 이미지 센서는 ROI의 오버뷰(overview)를 캡처할 수 있고, 제2 이미지 센서는 ROI 내에 위치된 수술 도구 인근의 인접 영역을 캡처할 수 있다.
단계(1913)에서, 프로세스(1901)는 위에서 설명된 바와 같이 이력 수술 데이터를 보유하는 데이터 구조에 액세스하는 것을 포함할 수 있다. 단계(1915)에서, 프로세스(1901)는, 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해 진행중인 수술 절차의 시각적 데이터 및 이력 수술 데이터를 분석하는 것을 포함할 수 있다. 이전에 설명된 바와 같이, 분석은 제1 이력 수술 데이터를 분석하기 위해 통계적 접근법을 사용할 수 있다. 추가적으로 또는 대안적으로, 분석은 진행중인 수술 절차에 대한 추정된 완료 시간을 결정하기 위해 머신 러닝 방법을 트레이닝하고 사용하는 것을 수반할 수 있다. 일부 경우에, 몇 개의 상이한 분석 접근법이 사용될 수 있고, 상이한 분석 접근법을 사용하여 획득된 완료 시간에 대한 평균 시간으로서 추정된 완료 시간이 결정될 수 있다.
단계(1917)에서, 프로세스(1901)는 임의의 적절한 수단을 사용하여 외과 수술실에 대한 스케줄에 액세스하는 것을 포함할 수 있다. 예컨대, 액세스하는 것은 입력 디바이스(예컨대, 키보드, 마우스 등)를 통해 유선 또는 무선 네트워크를 통해 또는 스케줄로부터/스케줄로 데이터를 판독 및/또는 기록하는 것을 허용하기 위한 임의의 다른 수단을 통해 액세스하는 것을 포함할 수 있다.
단계(1919)에서, 프로세스(1901)는, 위에서 설명된 바와 같이, 예상된 완료 시간이 수술 절차의 완료와 연관된 스케줄링된 시간으로부터의 변동을 야기할 수 있는지 여부를 계산하는 것을 포함할 수 있다. 변동이 예상되면(단계(1921), 예), 프로세스(1901)는 위에서 설명된 바와 같이 단계(1923)에서 통지를 출력하는 것을 포함할 수 있다. 단계(1923) 이후에, 프로세스(1901)가 완료될 수 있다. 변동이 예상되지 않으면(단계(1921), 아니오), 프로세스(1901)가 완료될 수 있다.
수술실 스케줄의 조정을 가능하게 하기 위한 개시된 실시예의 양상은, 시각적 데이터를 분석하는 것을 포함할 수 있으며, 여기서 분석하는 프로세스는 수신된 시각적 데이터에서 특성 이벤트를 검출하는 것, 이력 수술 데이터에서 특성 이벤트의 발생 후에 수술 절차를 완료하기 위한 예상되는 시간을 결정하기 위해 이력 수술 데이터에 기반하여 정보를 평가하는 것, 및 결정된, 완료하기 위한 예상되는 시간에 기반하여 추정된 완료 시간을 결정하는 것을 포함할 수 있다. 예컨대, 특성 이벤트는 위에서 설명된 바와 같이, 수신된 시각적 데이터에서 검출될 수 있다. 일부 예에서, 이력 수술 데이터는 수술 절차를 완료하기 위한 예상되는 시간과 특성 이벤트를 연결하는 데이터 구조를 포함할 수 있다. 예컨대, 이력 수술 데이터는 제1 이벤트로부터 수술 절차를 완료하기 위한 제1 시간, 및 제2 이벤트로부터 수술 절차를 완료하기 위한 제2 시간을 특정하는 데이터 구조를 포함할 수 있으며, 제2 시간은 제1 시간과 상이할 수 있다. 추가로, 특성 이벤트의 발생으로부터 수술 절차를 완료하기 위한 시간을 결정하기 위해 검출된 특성 이벤트를 사용하여 데이터 구조가 액세스될 수 있다.
다양한 실시예에서, 수신된 시각적 데이터에서 검출된 특성 이벤트는 의료 전문가에 의해(예컨대, 의사에 의해, 마취과 의사, 간호사 및/또는 다른 의료 전문가에 의해) 수행되는 특정 절차 또는 액션을 지칭할 수 있다. 예컨대, 복강경 담낭절제술 수술의 특성 이벤트는, 트로카 배치, 칼로트 삼각형 해부, 담낭관 및 동맥의 클립핑 및 절단, 쓸개 해부, 쓸개 패키징, 간 상의 세척 및 응집, 쓸개 수축 등을 포함할 수 있다. 다른 예에서, 백내장 수술의 수술 특성 이벤트는, 포비돈-요오드 주입, 각막 절개, 수정체낭 절개, 수정체 유화, 피질 흡인, 안구내 렌즈 삽입, 안구내-렌즈 조정, 상처 봉합 등을 포함할 수 있다. 또 다른 예에서, 뇌하수체 수술의 수술 특성 이벤트는, 준비, 코 절개, 코 견인기 설치, 종양에 대한 액세스, 종양 제거, 콧대 교체, 봉합술, 코 압박대 장착 등을 포함할 수 있다. 수술 특성 이벤트의 일부 다른 예는 절개, 복강경 포지셔닝, 봉합 등을 포함할 수 있다. 이러한 맥락에서, 특성 이벤트는 수술 절차의 특정 스테이지 내에서 공통적으로 발생하는 임의의 이벤트, 수술 절차 내의 특정 합병증을 공통적으로 제안하는 임의의 이벤트, 또는 수술 절차 내의 특정 합병증에 대한 응답으로 공통적으로 발생하는 임의의 이벤트를 포함할 수 있다. 그러한 특성 이벤트의 일부 비-제한적인 예는 특정 의료 도구의 사용, 특정 액션의 수행, 특정 물질의 주입, 특정 전문의에 대한 호출, 특별한 디바이스, 기구, 장비 약제, 혈액, 혈액 제제, 또는 용품의 주문, 특정 생리학적 반응 등을 포함할 수 있다.
특성 이벤트(또한 수술중 수술 이벤트로도 또한 지칭됨)는 수술 절차 또는 페이즈 동안 발생하는 임의의 이벤트 또는 액션일 수 있다. 일부 실시예에서, 수술중 수술 이벤트는, 의사, 수술 기술자, 간호사, 보조 의사, 마취과 의사, 닥터 또는 임의의 다른 의료 서비스 전문가에 의해 수행되는 액션과 같이, 수술 절차의 일부로서 수행되는 액션을 포함할 수 있다. 수술중 수술 이벤트는 계획된 이벤트, 이를테면 절개, 약물 투여, 수술 기구의 사용, 절제, 절제술, 결찰, 이식, 봉합술, 스티칭, 또는 수술 절차 또는 페이즈와 연관된 임의의 다른 계획된 이벤트일 수 있다. 일부 실시예에서, 수술중 수술 이벤트는 부작용 이벤트 또는 합병증을 포함할 수 있다. 수술중 부작용 이벤트의 일부 예는, 출혈, 장간막 폐기종, 상해, 계획되지 않은 개복술(예를 들어, 복부 벽 절개)로의 변환, 계획된 것보다 상당히 큰 절개 등을 포함할 수 있다. 수술중 합병증의 일부 예는, 고혈압, 저혈압, 서맥, 저산소증, 유착, 탈장, 비정형 해부, 경막 찢어짐, 천공 상해, 동맥 폐색 등을 포함할 수 있다. 수술중 이벤트는 기술적 에러, 통신 에러, 관리 에러, 판정 에러, 의사 결정 에러, 의료 장비 활용과 관련된 에러, 잘못된 통신 또는 임의의 다른 실수를 포함한 다른 에러를 포함할 수 있다.
다양한 실시예에서, 이벤트는 짧을 수 있거나 일정 지속기간 동안 지속될 수 있다. 예컨대, 짧은 이벤트(예컨대, 절개)는 수술 절차 동안 특정 시간에 발생하는 것으로 결정될 수 있고, 연장된 이벤트(예컨대, 출혈)는 시간 범위에 걸쳐 발생하는 것으로 결정될 수 있다. 일부 경우에, 연장된 이벤트는 잘 정의된 개시 이벤트 및 잘 정의된 종료 이벤트(예컨대, 봉합술의 개시 및 봉합술의 종료)를 포함할 수 있으며, 봉합술은 연장된 이벤트이다. 일부 경우에서, 연장된 이벤트는 또한 수술 절차 동안 페이즈로 지칭된다.
이력 수술 데이터에서 특성 이벤트의 발생 후에 수술 절차를 완료하기 위한 예상되는 시간을 결정하기 위해 이력 수술 데이터에 기반하여 정보를 평가하는 프로세스는, 특성 이벤트의 발생을 포함하는 이력 수술 절차의 완료 시간을 분석하기 위한 적절한 통계적 접근법을 사용하는 것을 수반할 수 있다. 예컨대, 완료 시간은 그러한 절차에 대한 평균 완료 시간을 결정하기 위해 분석될 수 있고, 평균 완료 시간은 수술 절차를 완료하기 위한 예상되는 시간으로서 사용될 수 있다. 일부 실시예는, 결정된, 완료하기 위한 예상되는 시간(즉, 수술 절차를 완료하는 데 필요한 시간 지속기간)에 기반하여, 추정된 완료 시간(즉, 특성 이벤트를 보유하는 예시적인 수술 절차가 완료될 시간)을 결정하는 것을 포함할 수 있다.
수술실 스케줄을 조정하기 위한 실시예는 특성 이벤트를 검출하도록 머신 러닝 모델을 트레이닝하기 위해 이력의 시각적 데이터를 사용하는 것을 더 포함할 수 있다. 다양한 실시예에서, 특징(또는 다수의 특징)을 인식하기 위한 머신 러닝 모델은 예컨대, 지도 학습 접근법과 같은 임의의 적절한 접근법을 통해 트레이닝될 수 있다. 예컨대, 특성 이벤트에 대응하는 특징을 보유하는 이력의 시각적 데이터가 머신 러닝 모델에 대한 입력 데이터로서 제공될 수 있고, 머신 러닝 모델은 이력의 시각적 데이터 내의 특징에 대응하는 특성 이벤트의 이름을 출력할 수 있다.
다양한 실시예에서, 특성 이벤트를 검출하는 것은 트레이닝된 머신 러닝 모델을 구현하는 것을 포함한다. 트레이닝된 머신 러닝 모델은 특성 이벤트에 대한 트리거(또는 트리거들)로서 사용될 수 있는 시각적 데이터 내의 특징(또는 다수의 특징)을 인식하기 위한 이미지 인식 모델일 수 있다. 머신 러닝 모델은 하나 이상의 이미지 내의 또는 비디오 내의 특징을 인식할 수 있다. 예컨대, 비디오의 프레임 간의 모션 및/또는 다른 변화들을 검출하기 위해, 비디오 내에서 특징이 인식될 수 있다. 일부 실시예에서, 이미지 분석은 객체 검출 알고리즘, 이를테면 Viola-Jones 객체 검출, CNN, 또는 임의의 다른 형태의 객체 검출 알고리즘을 포함할 수 있다. 다른 예시적인 알고리즘은, 비디오 추적 알고리즘, 모션 검출 알고리즘, 특징 검출 알고리즘, 컬러-기반 검출 알고리즘, 텍스처 기반 검출 알고리즘, 형상-기반 검출 알고리즘, 부스팅 기반 검출 알고리즘, 얼굴 검출 알고리즘, 또는 비디오 프레임을 분석하기 위한 임의의 다른 적절한 알고리즘을 포함할 수 있다.
일부 경우에, 특성 이벤트는 긍정적(즉, 긍정적 결과로 이어지는 이벤트) 및 부작용(즉, 부정적 결과로 이어지는 이벤트)으로 분류될 수 있다. 긍정적 결과 및 부정적 결과는 추정된 완료 시간에 대해 상이한 영향을 미칠 수 있다.
일부 경우에, 이미지 인식 모델은 시각적 데이터 내의 특징을 인식할 뿐만 아니라 시각적 데이터(또는 이력의 시각적 데이터)의 분석에 기반하여 진행중인(또는 이력) 수술 절차의 다양한 양상에 관한 결론을 형성하도록 구성될 수 있다. 예컨대, 예시적인 수술 절차의 시각적 데이터를 분석함으로써, 이미지 인식 모델은 의사의 스킬 레벨을 결정하거나 또는 수술 절차의 성공의 척도를 결정하도록 구성될 수 있다. 예컨대, 시각적 데이터에서 결정된 어떠한 부작용 이벤트도 없는 경우, 이미지 인식 모델은 수술 절차에 대해 높은 성공 레벨을 할당하고 의사의 스킬 레벨을 업데이트(예컨대, 증가)할 수 있다. 대안적으로, 시각적 데이터에서 부작용 이벤트가 결정되면, 이미지 인식 모델은 수술 절차에 대해 낮은 성공 레벨을 할당하고 의사의 스킬 레벨을 업데이트(예컨대, 감소)할 수 있다. 수술 절차에 대한 성공 레벨을 할당하기 위한 알고리즘 및 의사의 스킬 레벨을 업데이트하는 프로세스는 다수의 팩터, 이를테면 예시적인 수술 절차 동안 검출된 부작용 이벤트의 타입, 수술 절차 동안의 부작용 이벤트의 가능성, 환자의 정해진 특정 특성(예컨대, 환자 나이), 유사한 환자 특성을 갖는 환자에 대해 수행된 동일한 타입의 이력 수술 절차에 대한 부작용 이벤트의 평균 횟수, 유사한 환자 특성을 갖는 환자에 대해 수행되는 동일한 타입의 이력 수술 절차에 대한 부작용 이벤트의 평균 횟수로부터의 표준 편차, 및/또는 부작용 이벤트의 다른 메트릭에 기반하여 결정될 수 있다.
일부 경우에, 시각적 데이터를 분석하는 프로세스는 위에서 논의된 바와 같이, 시각적 데이터에서 의사의 스킬 레벨을 결정하는 것을 포함할 수 있다. 일부 경우에, 추정된 완료 시간을 계산하는 것은 결정된 스킬 레벨에 기반할 수 있다. 예컨대, 수술 절차에 대한 각각의 결정된 스킬 레벨에 대해, 추정된 완료 시간이 결정될 수 있다. 예시적인 실시예에서, 이러한 추정된 완료 시간은 결정된 스킬 레벨을 갖는 의사에 의해 수행된 이력 수술 절차에 대응하는 이력 완료 시간에 기반할 수 있다. 예컨대, 위에서-언급된 이력 완료 시간에 대해 계산된 평균 이력 완료 시간이 추정된 완료 시간을 결정하는 데 사용될 수 있다. 이러한 추정된 완료 시간은 데이터베이스에 저장될 수 있고, 결정된 스킬 레벨에 기반하여 데이터베이스로부터 리트리브될 수 있다.
머신 러닝 방법을 사용하여 특성 이벤트를 검출하는 것은 하나의 가능한 접근법일 수 있다. 추가적으로 또는 대안적으로, 특성 이벤트는 다양한 다른 접근법을 사용하여 이미지 센서로부터 수신된 시각적 데이터에서 검출될 수 있다. 일 실시예에서, 특성 이벤트는 수술 절차 동안 의료 전문가(예컨대, 의사)에 의해 식별될 수 있다. 예컨대, 의사는, 하나 이상의 이미지 센서/오디오 센서에 의해 캡처되고 특성 이벤트에 대한 트리거로서 인식될 수 있는, 의사로부터의 시각적 또는 오디오 신호(예컨대, 손 제스처, 신체 제스처, 의료 기구에 의해 생성된 광원에 의해 생성된 시각적 신호, 발화된 단어, 또는 임의의 신호)를 사용하여 특성 이벤트를 식별할 수 있다.
다양한 실시예에서, 수술실 스케줄의 조정을 가능하게 하는 것은, 이력의 시각적 데이터에서 특성 이벤트의 발생 후에 수술 절차를 완료하기 위한 이력 시간을 분석하는 것을 포함할 수 있다. 예컨대, 실시예는 이력의 시각적 데이터에서 특성 이벤트의 발생에 후속하여 수술 절차를 완료하기 위한 평균 이력 시간(본원에서 평균 이력 완료 시간으로 또한 지칭됨)을 컴퓨팅하는 것, 및 평균 이력 완료 시간을 진행중인 수술 절차의 완료 시간에 대한 추정치로서 사용하는 것을 포함할 수 있다. 그러나 일부 경우에, 추정된 완료 시간은 위에서 논의된 다른 접근법을 사용하여(예컨대, 머신 러닝 방법을 사용하여) 계산될 수 있고, 평균 이력 완료 시간은 (진행중인 절차의 완료 후에 결정된) 진행중인 수술 절차를 완료하기 위한 결정된 실제 시간에 기반하여 업데이트될 수 있다. 다양한 실시예에서, 평균 이력 완료 시간은 추정된 완료 시간을 사용하여 먼저 업데이트될 수 있고, 이어서 수술 절차의 완료 후에 업데이트가 마무리될 수 있다.
추가적으로 또는 대안적으로, 완료 시간을 추정하기 위해 특성 이벤트의 발생에 후속하여 이력 완료 시간을 분석하는 것은 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 머신 러닝 모델은 이벤트의 발생 후 완료 시간을 추정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 특성 이벤트의 발생에 기반하여 완료 시간을 추정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는 완료 시간의 원하는 추정을 표시하는 라벨과 함께 특성 이벤트의 표시를 포함할 수 있다. 일 예에서, 트레이닝 예시는 예컨대, 이력 수술 절차에서 특성 이벤트의 발생 후 이력 수술 절차에서 실제 완료 시간을 표현하는 이력 수술 데이터에 기반할 수 있다. 다른 예에서, 트레이닝 예시는 사용자 입력에 기반할 수 있고, 외부 시스템으로부터 수신될 수 있는 식이다. 머신 러닝 모델은 또한, 완료 시간의 추정을 다른 입력 파라미터, 이를테면 환자의 다양한 특성, 의료인의 다양한 특성뿐만 아니라, 환자에게 투여되는 수술 절차의 타입(예컨대, 도 18에 도시된 바와 같은 파라미터(1811))은 물론, 수술 절차 동안의 하나 이상의 특성 이벤트에 기반하게 하도록 트레이닝될 수 있다. 추가로, 이러한 입력 파라미터는 완료 시간을 추정하기 위해 트레이닝된 머신 러닝 모델에 제공될 수 있다.
이전에 설명된 바와 같이, 본 개시내용의 실시예는 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해 진행중인 수술 절차의 시각적 데이터 및 이력 수술 데이터를 분석하기 위한 시스템, 프로세스 또는 컴퓨터-판독가능 매체를 포함할 수 있다. 예시적인 실시예에서, 분석하는 것은 이력 시간의 분석에 기반하여 추정된 완료 시간을 결정하는 것을 포함할 수 있다. 완료 시간에 대한 추정은, 임의의 적절한 접근법을 사용하여, 이를테면 (위에서 설명된 바와 같이) 머신 러닝 방법을 사용하여, 또는 수술 절차를 완료하기 위한 평균 이력 시간을 컴퓨팅함으로써, 그리고 추정된 완료 시간으로서 이러한 평균 이력 시간을 사용함으로써 결정될 수 있다.
수술실 스케줄의 조정을 가능하게 하기 위한 실시예의 양상은, 시각적 데이터에서 의료 도구를 검출하는 것, 및 검출된 의료 도구에 기반하여 추정된 완료 시간을 계산하는 것을 더 포함할 수 있다. 의료 도구(수술 도구로 또한 지칭됨)는 수술 절차의 추정된 완료 시간의 계산에 영향을 미칠 수 있는, 도 18에 도시된 바와 같은 수술의 특성 파라미터 중 하나, 이를테면 파라미터(P1-PN)일 수 있다. 위에서 논의된 바와 같이, 예시적인 실시예에서, 예컨대 수술 절차 동안 사용되는 의료 도구의 타입과 같은 다양한 파라미터(P1-PN)에 기반하여, 추정된 완료 시간을 계산하기 위해 머신 러닝 방법이 사용될 수 있다. 또한, 진행중인 수술 절차를 추적하는 시각적 데이터에서의 의료 도구의 검출은 임의의 적절한 접근법을 사용하여(예컨대, 위에서 설명된 바와 같은 적절한 이미지 인식 알고리즘을 사용하여) 달성될 수 있다. 일 예에서, 제1 의료 도구의 검출에 대한 응답으로, 제1 완료 시간이 추정될 수 있고, 제2 의료 도구의 검출에 대한 응답으로, 제2 완료 시간이 추정될 수 있으며, 제2 완료 시간은 제1 완료 시간과 상이할 수 있다. 일 예에서, 제1 의료 도구의 검출에 대한 응답으로, 제1 완료 시간이 추정될 수 있고, 의료 도구 없음의 검출에 대한 응답으로, 제2 완료 시간이 추정될 수 있으며, 제2 완료 시간은 제1 완료 시간과 상이할 수 있다.
일부 경우에, 시각적 데이터를 분석하기 위한 실시예는 또한, 시각적 데이터에서 해부학적 구조를 검출하는 것, 및 검출된 해부학적 구조에 기반하여 추정된 완료 시간을 계산하는 것을 포함할 수 있다. 해부학적 구조는 이미지 인식 알고리즘을 사용하여 시각적 데이터에서 검출 및 식별될 수 있다. 추가적으로 또는 대안적으로, 해부학적 구조는 해부학적 구조를 식별하기 위해 진행중인 수술 절차 동안 의료 서비스 전문가에 의해 식별될 수 있다(예컨대, 의료 서비스 전문가는 제스처, 사운드, 단어 및/또는 다른 신호를 사용할 수 있음). 해부학적 구조를 묘사하는 진행중인 수술 절차의 시각적 데이터는 추정된 완료 시간을 계산하는 데 사용될 수 있다. 예컨대, 이러한 시각적 데이터는 추정된 완료 시간을 획득하기 위한 머신 러닝 방법에 대한 입력으로서 사용될 수 있다. 일 예에서, 제1 해부학적 구조의 검출에 대한 응답으로, 제1 완료 시간이 추정될 수 있고, 제2 해부학적 구조의 검출에 대한 응답으로, 제2 완료 시간이 추정될 수 있으며, 제2 완료 시간은 제1 완료 시간과 상이할 수 있다. 일 예에서, 제1 해부학적 구조의 검출에 대한 응답으로, 제1 완료 시간이 추정될 수 있고, 해부학적 구조 없음의 검출에 대한 응답으로, 제2 완료 시간이 추정될 수 있으며, 제2 완료 시간은 제1 완료 시간과 상이할 수 있다.
시각적 데이터를 분석하기 위한 실시예의 양상은, 시각적 데이터에서 해부학적 구조와 의료 도구 간의 상호작용을 검출하는 것, 및 검출된 상호작용에 기반하여 추정된 완료 시간을 계산하는 것을 포함할 수 있다. 예컨대, 해부학적 구조와 의료 도구 간의 상호작용은 위에서 설명된 바와 같이 검출될 수 있다. 상호작용은 해부학적 구조에 영향을 줄 수 있는 의료 도구에 의한 임의의 액션을 포함할 수 있거나, 그 반대의 경우도 마찬가지이다. 예컨대, 상호작용은 의료 도구와 해부학적 구조 간의 접촉, 해부학적 구조에 대한 의료 도구에 의한 액션(이를테면, 절단, 클램핑, 파지, 압력 인가, 스크래핑 등), 해부학적 구조에 의한 생리학적 반응, 해부학적 구조를 향해 광을 방출하는 의료 도구(예컨대, 의료 도구는 해부학적 구조를 향해 광을 방출하는 레이저일 수 있음), 해부학적 구조를 향해 방출되는 사운드, 해부학적 구조에 근접하게 생성되는 전자기장, 해부학적 구조로 유도되는 전류, 또는 임의의 다른 적절한 형태의 상호작용을 포함할 수 있다. 일 예에서, 해부학적 구조와 의료 도구 간의 제1 상호작용의 검출에 대한 응답으로, 제1 완료 시간이 추정될 수 있고, 해부학적 구조와 의료 도구 간의 제2 상호작용의 검출에 대한 응답으로, 제2 완료 시간이 추정될 수 있으며, 제2 완료 시간은 제1 완료 시간과 상이할 수 있다. 일 예에서, 해부학적 구조와 의료 도구 간의 제1 상호작용의 검출에 대한 응답으로, 제1 완료 시간이 추정될 수 있고, 해부학적 구조와 의료 도구 간의 상호작용 없음의 검출에 대한 응답으로, 제2 완료 시간이 추정될 수 있으며, 제2 완료 시간은 제1 완료 시간과 상이할 수 있다.
해부학적 구조 및 의료 도구를 묘사하는 진행중인 수술 절차의 시각적 데이터는 추정된 완료 시간을 계산하는 데 사용될 수 있다. 예컨대, 이러한 시각적 데이터는 예컨대, 위에서 설명된 바와 같이, 추정된 완료 시간을 획득하기 위한 머신 러닝 방법에 대한 입력으로서 사용될 수 있다.
이전에 논의된 바와 같이, 본 개시내용은 수술실 스케줄의 조정을 가능하게 하기 위한 방법 및 시스템뿐만 아니라, 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금, 수술실 스케줄의 조정을 가능하게 하는 동작을 실행하게 하는 명령을 포함할 수 있고, 위에서 설명된 바와 같이 수술실 스케줄의 조정을 가능하게 하기 위한 방법의 다양한 단계를 포함할 수 있는 비-일시적 컴퓨터-판독가능 매체에 관한 것이다.
개시된 시스템 및 방법은 수술의 특징, 환자 상태, 및 다른 특징을 식별하여 보험 환급을 결정하기 위해 수술 푸티지를 분석하는 것을 수반할 수 있다. 수술 절차의 다양한 단계에 대해 보험 환급이 결정되는 것이 필요할 수 있다. 수술 절차의 단계가 식별되는 것이 필요할 수 있고, 식별된 단계와 보험 환급 코드가 연관되는 것이 필요할 수 있다. 따라서 수술 푸티지로부터 획득된 정보를 사용하여 수술 절차의 단계를 식별하고 이러한 단계와 보험 환급을 연관시킬 필요가 있다.
본 개시내용의 양상은, 보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체에 관한 것일 수 있다. 논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자적 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 다양한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따라, 보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 방법은, 환자에 대한 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 것을 포함할 수 있다. 수술 이미지를 분석하기 위한 실시예는, 수술 절차의 페이즈, 수술 절차 동안의 이벤트, 수술되는 해부학적 구조, 수술 절차 동안 사용되는 수술 기구, 수술 기구와 해부학적 구조의 상호작용, 수술 기구의 모션, 해부학적 구조의 모션, 해부학적 구조의 변형, 해부학적 구조의 컬러 변화, 해부학적 구조의 누출(예컨대, 출혈), 해부학적 구조 내의 절개, 또는 예시적인 수술 절차 동안의 해부학적 구조에 대한 임의의 다른 변화(예컨대, 해부학적 구조의 파열)를 결정하기 위해 임의의 적절한 접근법을 사용(예컨대, 머신-러닝 접근법을 사용)하는 것을 포함할 수 있다.
다양한 실시예에서, 보험 환급은 정해진 수술 절차 또는 그러한 수술 절차의 세그먼트(부분)에 대해 보험 회사 및/또는 보험 프로그램(이를테면, 정부 건강 보험 프로그램)에 의해 얼마나 많은 돈이 지불될 수 있는지에 관한 정보를 포함할 수 있다. 예컨대, 보험 환급은 수술 절차의 세그먼트의 전부 또는 일부와 연관된 비용을 커버할 수 있다. 수술 절차의 세그먼트는 수술 절차의 수술 푸티지의 세그먼트에 대응할 수 있다. 일부 경우에, 보험 환급은 수술 절차의 세그먼트와 연관된 전체 비용을 커버할 수 있고, 다른 경우에, 보험 환급은 수술 절차의 세그먼트와 연관된 비용을 부분적으로 커버할 수 있다. 수술 절차의 타입에 따라(예컨대, 수술 절차가 환자에 대해 선택적인 경우), 보험 환급은 수술 절차의 세그먼트(또는 전체)와 연관된 비용을 커버하지 않을 수 있다. 다른 예에서, 환자의 상태 및/또는 수술 절차의 속성에 기반하여, 상이한 환자 및/또는 상이한 수술 절차(또는 수술 절차와 연관된 상이한 액션)에 대해 상이한 환급 수단(예컨대, 상이한 보상 코드)이 존재할 수 있다.
일부 실시예에서, 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 것은 적절한 컴퓨터-기반 소프트웨어 애플리케이션에 의해 데이터베이스(예컨대, 도 14에 도시된 바와 같은 데이터베이스(1411))에 액세스하는 것을 포함할 수 있다. 예컨대, 데이터베이스는 다양한 수술 절차 동안 캡처된 비디오 프레임을 저장하도록 구성될 수 있고, 수술 절차와 관련된 임의의 다른 정보(예컨대, 수술 절차를 수행하는 의사로부터의 메모, 수술 절차 동안 수집된 바이탈 신호)를 저장하도록 구성될 수 있다. 본원에서 설명된 바와 같이, 수술 절차는 환자의 신체에 대해 수행되는 매뉴얼 또는 수술 활동과 연관된 또는 이를 수반하는 임의의 의료 절차를 포함할 수 있다.
개시된 실시예는 예컨대, 위에서 설명된 바와 같이, 비디오 프레임에서 적어도 하나의 의료 기구, 적어도 하나의 해부학적 구조, 및 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 적어도 하나의 상호작용을 식별하기 위해, 수술 절차 동안 캡처된 비디오 프레임 분석하는 것을 포함할 수 있다. 다양한 실시예에서, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것은, 본원에서 논의된 바와 같이, 이미지 인식을 사용하는 것을 포함할 수 있다. 수술 푸티지를 분석할 때, 적어도 일부 프레임이 해부학적 구조(본원에서, 생물학적 구조로 또한 지칭됨)를 캡처할 수 있다. 수술 푸티지의 이러한 부분은 하나 이상의 해부학적 구조와 상호작용하는 (본원에서 설명된 바와 같은) 하나 이상의 의료 기구를 포함할 수 있다.
본 개시내용에서 설명되고 다양한 개시된 실시예로 구성된 바와 같이, 이미지 인식을 사용하여 수술 푸티지에서 의료 기구 및 해부학적 구조가 인식될 수 있다. 의료 기구와 해부학적 구조 간의 상호작용은 해부학적 구조에 영향을 줄 수 있는 의료 기구에 의한 임의의 액션을 포함할 수 있거나, 그 반대의 경우도 마찬가지이다. 예컨대, 상호작용은 의료 기구와 해부학적 구조 간의 접촉, 해부학적 구조에 대한 의료 기구에 의한 액션(이를테면, 절단, 클램핑, 파지, 압력 인가, 스크래핑 등), 해부학적 구조에 의한 생리학적 반응, 해부학적 구조를 향해 광을 방출하는 의료 기구(예컨대, 수술 도구는 발광 레이저일 수 있음), 해부학적 구조를 향해 방출되는 사운드, 해부학적 구조에 근접한 전자기장, 해부학적 구조로 유도되는 전류, 또는 임의의 다른 형태의 상호작용을 포함할 수 있다.
일부 경우에, 상호작용을 검출하는 것은 해부학적 구조에 대한 의료 기구의 근접도를 식별하는 것을 포함할 수 있다. 예컨대, 수술 비디오 푸티지를 분석함으로써, 본원에서 설명된 바와 같이 이미지 인식 기법을 통해 의료 기구와 해부학적 구조의 포인트(또는 한 세트의 포인트) 간의 거리가 결정될 수 있다.
개시된 실시예의 양상은 의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 상호작용에 상관된 환급 코드의 데이터베이스에 액세스하는 것을 더 포함할 수 있다. 예로서, 하나 이상의 의료 기구, 하나 이상의 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 하나 이상의 상호작용과의 환급 코드의 상관관계는 하나 이상의 표, 링크된 리스트, XML 데이터, 및/또는 다른 형태의 포맷팅된 및/또는 저장된 데이터와 같은 데이터 구조로 표현될 수 있다. 일부 실시예에서, 상관관계는 코드-생성 머신-러닝 모델에 의해 확립될 수 있다. 다양한 경우에, 환급 코드는 코드가 의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 상호작용과 어떻게 상관되는지에 관한 정보와 함께 데이터 구조에 저장될 수 있다.
도 20은 환급 코드가 의료 기구, 해부학적 구조, 및 의료 기구 간의 상호작용과 어떻게 상관되는지에 대한 정보를 제공하기 위한 데이터 구조(2001)의 예를 도시한다. 예컨대, 데이터 구조(2001)는 표(2011, 2013, 2015)와 같은 몇 개의 표를 포함할 수 있다. 다양한 실시예에서, 예시적인 표는 기록(예컨대, 행) 및 필드(예컨대, 열)를 포함할 수 있다. 예컨대, 표(2011)는 기록 라벨을 보유하는 "기록"이라는 이름의 필드(예컨대, 도 20에 도시된 바와 같이, "1")를 가질 수 있다. 각각의 기록에 대해, "코드"라는 이름의 필드는 환급 코드(예컨대, 코드 "1.20:11.30.50")를 보유할 수 있고, "절차 세그먼트"라는 이름의 필드는 수술 절차의 세그먼트의 번호 및 가능하게는 이름(예컨대, "1, 절개, 우회 수술")을 보유할 수 있고, "제1 기구"라는 이름의 필드는 수술 절차의 세그먼트 동안 사용되는 제1 의료 기구의 번호 및 가능하게는 이름(예컨대, "20, 외과용 메스")을 보유할 수 있고, "제2 기구"라는 이름의 필드는 (이러한 기구가 제공된다면) 수술 절차의 세그먼트 동안 사용되는 제2 의료 기구의 번호 및 가능하게는 이름(예컨대, "11, 겸자")을 보유할 수 있고, "다른 데이터"라는 이름의 필드는 수술 절차 또는 수술 절차의 세그먼트를 특징짓기 위해 추가로 사용될 수 있는 임의의 관련 데이터를 보유할 수 있다(예컨대, 이러한 데이터는 수술 절차의 세그먼트의 지속기간, 수술 절차의 세그먼트 동안의 이벤트의 시퀀스, 수술 절차 동안 사용되는 기구의 시퀀스(예컨대, "외과용 메스->겸자"는 외과용 메스가 겸자 전에 사용되었음을 표시할 수 있음), 및/또는 세그먼트의 다른 특성을 포함할 수 있다). 예시적인 표(2013)는 다른 관련 필드, 이를테면 표(2013)에서 "기록"이라는 이름의 필드에 라벨링된 것과 같은, 기록 "1"과 연관된 해부학적 구조의 번호 및 가능하게는 이름(예컨대, "30, 내유 동맥(Internal Mammary Artery)")을 보유할 수 있는 "제1 해부학적 구조"라는 이름의 필드를 보유할 수 있다. 추가로, 예시적인 표(2015)는 기록을 식별하기 위한 "기록"이라는 이름의 필드, 및 의료 기구와 해부학적 구조 간의 상호작용의 설명을 보유할 수 있으며, 번호 및 가능하게는 이름(예컨대, "50, 좌측 내유 동맥의 절개")으로 표현될 수 있는 필드인 "상호작용"을 포함할 수 있다. 추가로, 표(2015)는 표(2015)에 도시된 바와 같이, 이미지 데이터(2012A), 비디오 데이터(2012B), 텍스트 데이터(2012C) 및/또는 오디오 데이터(2012D)에 대한 링크를 포함할 수 있는 "상호작용 데이터"라는 이름의 필드를 포함할 수 있다.
다양한 실시예에서, 환급 코드는 구조(2020)에 의해 도시된 바와 같이 내부 데이터 구조를 가질 수 있다. 예컨대, 환급 코드에 대한 제1 번호는 수술 절차의 세그먼트와 연관된 번호(예컨대, 번호 "1")일 수 있고, 제2 세트의 번호는 수술 절차의 세그먼트 동안 사용되는 수술 기구와 연관될 수 있고(예컨대, 번호 "20:11"은 "20"으로 라벨링된 제1 기구 및 "11"로 라벨링된 제2 기구와 연관될 수 있음), 제3 세트의 번호는 수술되는 해부학적 구조(예컨대, "30")와 연관될 수 있고, 제4 세트의 번호는 기구 및 해부학적 구조의 상호작용(예컨대, "50")과 연관될 수 있다. 상이한 예에서, 환급 코드는 보험 프로그램에 의해 또는 조절기(regulator)에 의해 설정될 수 있다. 일부 예에서, 단일 환급 코드가 전체 수술 절차와 연관될 수 있다.
의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조의 상호작용에 기반하여 환급 코드를 결정하기 위해 데이터 구조를 사용하는 것이 하나의 가능한 접근법일 수 있다. 추가적으로, 코드-생성 머신-러닝 방법이 수술 절차 또는 그의 세그먼트에 대한 환급 코드를 결정하는 데 사용될 수 있다. 예컨대, 코드-생성 머신-러닝 방법은 수술 푸티지의 세그먼트를 입력으로서 취하고, 수술 푸티지의 세그먼트에 의해 표현되는 수술 절차의 세그먼트에 대한 환급 코드를 출력할 수 있다. 다양한 실시예에서, 코드-생성 머신-러닝 방법은 다양한 임무를 위해 구성된 다양한 머신-러닝 방법의 집합일 수 있다. 예컨대, 코드-생성 머신-러닝 방법은 수술 푸티지의 세그먼트에서 의료 기구를 인식하기 위한 제1 이미지 인식 알고리즘 및 수술 푸티지의 세그먼트에서 해부학적 구조를 인식하기 위한 제2 이미지 인식 알고리즘을 포함할 수 있다. 다양한 실시예에서, 이미지 인식 알고리즘은 본원에서 설명된 바와 같은 그리고 다양한 개시된 실시예에 따른 임의의 적절한 알고리즘(예컨대, 뉴럴 네트워크)일 수 있다.
개시된 실시예는 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하기 위해, 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 식별된 적어도 하나의 상호작용을 환급 코드 데이터베이스 내의 정보와 비교하는 것을 더 포함할 수 있다. 예컨대, 실시예는 식별된 상호작용을 데이터베이스에 저장된 상호작용에 관한 다양한 세부사항과 비교하는 것을 포함할 수 있다. 따라서 예로서, 머신-러닝 모델(예컨대, 이미지 인식 알고리즘)은 수술 푸티지 내의 상호작용을 식별하도록 그리고 상호작용을 분류하도록 구성될 수 있다(예컨대, 상호작용은 상호작용에 이름을 할당하거나 상호작용의 타입을 결정함으로써 분류될 수 있다). 예컨대, 상호작용의 이름 또는 타입은 "좌측 내유 동맥의 절개"일 수 있다. 일부 실시예에서, 머신-러닝 모델은 수술 푸티지를 분석하고 가능한 상호작용의 리스트로부터 가장 적합한 상호작용을 선택하도록 구성될 수 있다. 일단 상호작용이 식별되면, 이름(또는 상호작용에 대한 다른 식별)이 데이터베이스에 저장된 상호작용의 식별과 비교될 수 있고, 데이터베이스는 식별된 상호작용에 또는 식별된 상호작용을 포함하는 수술 절차에 대응하는 환급 코드를 찾기 위해 사용될 수 있다.
머신-러닝 알고리즘을 사용하여 상호작용을 식별하는 것이 하나의 가능한 접근법이다. 추가적으로 또는 대안적으로, 상호작용은 수술 절차를 관리하는 의사, 수술 절차 동안 존재하는 임상 간호사, 및/또는 다른 의료 서비스 전문가에 의해 식별될 수 있다. 예컨대, 상호작용에 대응하는 수술 푸티지의 세그먼트를 선택하고 세그먼트를 태깅할 수 있는 이름을 할당함으로써 상호작용이 식별될 수 있다. 다양한 실시예에서, 컴퓨터-기반 소프트웨어 애플리케이션은 수술 푸티지의 세그먼트로 다양한 조작(이를테면, 상이한 세그먼트에 이름 태그를 할당하는 것, 상이한 세그먼트를 선택하는 것, 및/또는 다른 데이터 동작)을 수행하기 위해 사용될 수 있다. 컴퓨터-기반 소프트웨어 애플리케이션은 데이터베이스에 관련 데이터(예컨대, 수술 푸티지의 상이한 세그먼트에 대한 이름 태그 및 수술 푸티지의 세그먼트에 대한 시작 및 마무리 시간)를 저장하도록 구성될 수 있다.
다양한 실시예는 수술 절차에 대한 보험 환급을 획득하는 데 사용하기 위한 적어도 하나의 환급 코드를 출력하는 것을 더 포함할 수 있다. 예컨대, 위에서 설명된 바와 같이, 코드-생성 머신-러닝 모델이 적어도 하나의 환급 코드를 출력하기 위해 사용될 수 있다. 대안적으로, 환급 코드는 해부학적 구조와 의료 기구의 상호작용에 대응하는 환급 코드를 보유하는 데이터베이스에 대한 질의를 통해 출력될 수 있다.
일부 경우에, 환급 코드를 출력하는 것은, 개시된 실시예에 따른 그리고 본원에서 논의된 임의의 적절한 송신 접근법을 사용하여 환급 코드를 보험 제공자에게 송신하는 것을 포함할 수 있다.
일부 경우에, 출력된 적어도 하나의 환급 코드는 복수의 출력된 환급 코드를 포함한다. 예컨대, 다수의 환급 코드는 수술 절차의 하나 이상의 세그먼트에 대응할 수 있다. 일 실시예에서, 제1 환급 코드는 절개-관련 세그먼트에 대응할 수 있고, 제2 환급 코드는 예컨대 봉합술-관련 세그먼트에 대응할 수 있다. 일부 경우에, 다수의 환급 코드는 수술 절차의 세그먼트 동안 하나 이상의 수술 액션을 수행하기 위해 사용되는 다수의 의료 기구에 대응할 수 있다. 수술 절차 동안 2명 이상의 의사(또는 임의의 다른 의료 서비스 전문가)가 존재할 때, 각각의 의사에 의해 수행되는 절차에 대해 다수의 환급 코드가 결정될 수 있다. 그리고 2개 이상의 환급 가능 절차가 단일 세그먼트에서 수행될 때, 그 단일 세그먼트에 대해 2개 이상의 환급 코드가 출력될 수 있다.
예시적인 실시예에서, 복수의 출력된 환급 코드 중 적어도 2개는 공통 해부학적 구조와의 상이한 상호작용에 기반할 수 있다. 예컨대, 제1 상호작용은 제1 의료 기구가 해부학적 구조와 상호작용하는 것을 포함할 수 있고, 제2 상호작용은 제2 의료 기구가 해부학적 구조와 상호작용하는 것을 포함할 수 있다. 일부 경우에, 해부학적 구조와의 상이한 타입의 상호작용을 위해 동일한 기구가 사용될 수 있다(예컨대, 상이한 방식으로 해부학적 구조와 상호작용하는 데 겸자가 사용될 수 있다).
일부 실시예에서, 2개의 상이한 의료 기구의 검출에 부분적으로 기반하여 적어도 2개의 출력된 환급 코드가 결정된다. 예컨대, 임의의 적절한 방법을 사용하여(예컨대, 적절한 머신-러닝 접근법을 사용하여 또는 의료 서비스 제공자로부터의 정보를 사용하여) 수술 푸티지에서 제1 및 제2 의료 기구가 검출될 수 있다. 제1 및 제2 의료 기구 둘 모두가 동시에 사용될 수 있고, 일부 경우에는, 제1 의료 기구를 사용한 후에 제2 의료 기구가 사용될 수 있다. 제1 의료 기구의 사용은 제2 의료 기구의 사용과 (시간상) 부분적으로 오버랩될 수 있다. 이러한 예시에서, 코드를 트리거한 의료 기구가 동시에 사용되고 있었는지 또는 상이한 시간에 사용되고 있었는지에 관계 없이, 2개 이상의 환급 코드가 출력될 수 있다.
다양한 실시예에서, 적어도 하나의 환급 코드를 결정하는 것은 수술후 수술 리포트의 분석에 기반할 수 있다. 예컨대, 수술 절차의 특정 세그먼트에 대한 환급 코드를 결정하기 위해, 수술 절차의 세그먼트에 관한 정보를 획득하는 데 수술후 수술 리포트가 컨설팅될 수 있다. 수술 절차의 세그먼트에 관련된 임의의 정보, 및/또는 수술후 리포트로부터 획득된 정보가, 환급 코드를 결정하는 데 사용될 수 있다(예컨대, 수술 절차의 세그먼트 동안 발생한 이벤트, 사용된 수술 기구, 수술된 해부학적 구조, 수술 기구와 해부학적 구조의 상호작용, 수행된 이미징, 수행된 다양한 측정, 관여된 의사의 수, 및/또는 다른 수술 액션).
다양한 실시예에서, 본원에서 설명된 바와 같이 그리고 다양한 설명된 실시예에 따라, 환자 위에 포지셔닝된 이미지 센서로부터 수술 푸티지의 비디오 프레임이 캡처될 수 있다. 예컨대, 도 1과 관련하여 위에서 설명된 바와 같은 이미지 센서(115, 121, 123 및/또는 125)가 수술 푸티지의 비디오 프레임을 캡처하는 데 사용될 수 있다. 추가로 또는 대안적으로, 본원에서 설명된 바와 같이 그리고 다양한 설명된 실시예에 따라, 의료 디바이스와 연관된 이미지 센서로부터 비디오 프레임이 캡처될 수 있다. 도 3은 본원에서 설명된 바와 같이, 연관된 이미지 센서를 갖는 의료 디바이스의 일 예를 도시한다.
보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 실시예는, 적어도 하나의 환급 코드를 수술 절차와 연관시킴으로써 데이터베이스를 업데이트하는 것을 포함할 수 있다. 데이터베이스는 임의의 적절한 수단을 사용하여(예컨대, 머신-러닝 모델을 사용하여, 적합한 데이터를 데이터베이스에 전송함으로써, SQL 커맨드를 통해, 메모리에 정보를 기록함으로써 등으로) 업데이트될 수 있다. 예컨대, 환급 코드가 연관될 수 있는 수술 절차의 다양한 세그먼트를 결정하기 위해, 위에서 설명된 바와 같이, 수술 절차의 수술 푸티지가 분석될 수 있다. 일단 환급 코드가 결정되면, 코드는 수술 절차와 연관되고 데이터 구조에 저장되도록 구성될 수 있다. 데이터 구조는 데이터를 유지할 수 있는 한 임의의 형태 또는 구조를 취할 수 있다. 일 예로서, 데이터 구조는 관계형 데이터베이스일 수 있고, 수술 절차에 관한 정보(예컨대, 예시적인 표 필드는 수술 절차의 이름을 포함할 수 있음)를 저장하고 수술 절차와 연관된 환급 코드를 저장하는 표 필드를 갖는 표를 포함할 수 있다.
다양한 실시예는, 프로세싱된 환급 코드와, 이력 비디오 푸티지 내의 복수의 의료 기구, 이력 비디오 푸티지에서의 복수의 해부학적 구조, 또는 이력 비디오 푸티지에서의 의료 기구와 해부학적 구조 간의 복수의 상호작용 중 적어도 하나 간의 상관관계를 생성하는 것; 및 생성된 상관에 기반하여 데이터베이스를 업데이트하는 것을 포함할 수 있다. 예시적인 실시예에서, 상관관계는 임의의 적절한 수단을 사용하여, 이를테면 머신-러닝 방법을 사용하여 그리고/또는 의료 서비스 전문가, 의료 서비스 관리자 및/또는 다른 사용자의 입력을 사용하여 생성될 수 있다. 위에서 설명된 바와 같이, 상관관계는 표(예컨대, 도 20에 도시된 표(2011-2015))에 의해 표현될 수 있다. 일부 경우에, 상관관계는 프로세싱된 환급 코드(예컨대, 환자의 건강 보험사가 이전에 의료 서비스 제공자에게 환급한 이력 수술 절차의 부분과 관련된 환급 코드)에 대해 생성될 수 있다. 예컨대, 이력 비디오 푸티지 내의 하나 이상의 의료 기구, 이력 비디오 푸티지 내의 하나 이상의 해부학적 구조, 또는 이력 비디오 푸티지 내의 의료 기구와 해부학적 구조 간의 하나 이상의 상호작용을 결정하기 위해, 이력 수술 데이터(예컨대, 이력 수술 푸티지)가 (예컨대, 머신-러닝 방법을 사용하여) 분석될 수 있다. 이력 수술 절차의 세그먼트가 연관된 프로세싱된 환급 코드를 갖는다면(예컨대, 프로세싱된 환급 코드가 과거에 이용 가능한 임의의 적절한 접근법, 이를테면 의료 서비스 제공자로부터의 입력을 사용하여 이력 수술 절차의 세그먼트에 할당되었다면), 프로세싱된 환급 코드는 이력 수술 데이터로부터 획득된 정보(예컨대, 이력 수술 데이터에서 식별된 의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 상호작용에 관한 정보)와 상관될 수 있다.
다양한 실시예에서, 본 개시내용에서 논의된 바와 같이, 상관관계를 생성하기 위한 머신-러닝 방법이 트레이닝될 수 있다. 이력 수술 데이터가 트레이닝 프로세스의 일부로서 사용될 수 있다. 예컨대, 수술 절차의 정해진 세그먼트에 대한 이력 수술 푸티지가 머신-러닝 입력으로서 제공될 수 있으며, 이는 그 후, 환급 코드를 결정한다. 머신-러닝 모델이 정확한 예측을 출력하는지 여부를 결정하기 위해, 환급 코드가 수술 절차의 정해진 세그먼트에 대한 프로세싱된 환급 코드와 비교될 수 있다. 머신-러닝 모델의 다양한 파라미터는 예컨대, 역전파(backpropagation) 트레이닝 프로세스를 사용하여 수정될 수 있다.
다양한 실시예에서, 본원에서 논의된 바와 같이, 이력 비디오 프레임은 비디오 프레임 내에 보유된 정보(즉, 임의의 적절한 이미지-기반 정보)에 기반하여 다양한 임무에 대해 임의의 적절한 머신 러닝 모델을 트레이닝하는 데 사용될 수 있다. 이전에 논의된 바와 같이, 머신-러닝 모델은 의료 도구, 해부학적 구조, 또는 의료 도구와 해부학적 구조 간의 상호작용 중 적어도 하나를 검출할 수 있다. 일단 모델이 상관관계를 인식하면, 그러한 상관관계는 분석 하에서 현재 비디오로 추론될 수 있다.
일부 경우에, 상관관계를 생성하는 것은 통계 모델을 구현하는 것을 포함할 수 있다. 예컨대, 상관관계를 결정하기 위해 이력 프로세싱된 환급 코드가 이력 수술 절차의 유사한 세그먼트에 대해 분석될 수 있다. 상관관계는 수술 절차의 세그먼트의 다양한 양상과 환급 코드 사이일 수 있다. 수술 세그먼트는 의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 상호작용에 의해 특징지어질 수 있다. 이러한 유사한 세그먼트에 대해 상이한 프로세싱된 환급 코드가 사용되었다면, 사용될 가능성이 가장 높은 환급 코드를 평가함으로써 상관관계가 생성될 수 있다. 예컨대, 정해진 타입의 이력 절차의 세그먼트에 대해, 프로세싱된 환급 코드(C1)가 100회 사용되었고, 프로세싱된 환급 코드(C2)가 20회 사용되었고, 그리고 프로세싱된 환급 코드(C3)가 10회 사용되었다면, 환급 코드(C1)가 사용될 가능성이 가장 높은 환급 코드로서 선택될 수 있다.
일부 경우에, 이력 수술 절차의 동일한(또는 유사한) 세그먼트에 대해 프로세싱된 환급 코드가 상이할 때, 이러한 세그먼트의 특성의 일부 차이가 프로세싱된 환급 코드의 차이를 담당할 수 있는지 여부를 결정하기 위해, 이러한 세그먼트의 특성이 분석될 수 있다. 다양한 실시예에서, 이력 수술 절차의 세그먼트의 특성의 차이는 (임의의 적절한 통계적 접근법을 사용하여 측정된 바와 같이) 프로세싱된 환급 코드의 차이를 상관시킬 수 있다.
다양한 실시예에서, 상관관계를 생성한 후에, 위에서 설명된 바와 같이, 생성된 상관에 기반하여 데이터베이스가 업데이트될 수 있다. 예컨대, 정해진 해부학적 구조와 상호작용하는 정해진 의료 기구에 대해, 예상되는 환급 코드(또는 일부 경우에는, 가능한 환급 코드의 세트)가 연관되고 데이터베이스에 저장될 수 있다. 가능한 환급 코드의 세트가 수술 푸티지에서 식별된 수술 절차의 세그먼트와 연관된 특성에 기반하여 환급 코드 중 특정 환급 코드를 더 좁히는 데 사용될 수 있다.
추가적으로 또는 대안적으로, 개시된 실시예는 수술 절차와 연관된 프로세싱된 환급 코드를 수신하는 것, 및 프로세싱된 환급 코드에 기반하여 데이터베이스를 업데이트하는 것을 포함할 수 있다. 프로세싱된 환급 코드는 의료 서비스 제공자, 의료 서비스 관리자 및/또는 다른 사용자에 의해 제공될 수 있다. 또는, 본원에서 논의된 바와 같이, 프로세싱된 환급 코드는 이력 수술 절차를 분석하고 이력 수술 절차를 위해 사용된 프로세싱된 환급 코드를 식별하기 위한 머신-러닝 방법을 통해 제공될 수 있다. 다양한 실시예에서, 프로세싱된 환급 코드는 출력된 환급 코드 중 적어도 하나와 상이할 수 있다. 이는 의료 서비스 전문가에 의한 정확한 코드의 매뉴얼 식별 후에, 또는 추가적인 머신 러닝 분석이 더 정확한 환급 코드 후보를 결정한 후에 발생할 수 있다.
이전에 설명된 바와 같이, 일부 실시예는, 이력 비디오 푸티지에서, 적어도 하나의 복수의 의료 기구, 복수의 해부학적 구조, 또는 의료 기구와 해부학적 구조 간의 복수의 상호작용을 검출하기 위해 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 본원에서 설명된 바와 같이, 머신-러닝 방법은 하나 이상의 의료 기구, 해부학적 구조, 및 기구와 구조 간의 상호작용을 인식하도록 트레이닝된 임의의 적절한 이미지 인식 방법일 수 있다. 예시적인 실시예에서, 머신-러닝 방법은 다수의 이미지 인식 알고리즘을 이용할 수 있으며, 각각의 알고리즘은 특정 의료 기구 또는 특정 해부학적 구조를 인식하도록 트레이닝된다.
개시된 실시예의 양상은, 환자의 해부학적 구조의 상태를 결정하기 위해 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것, 및 해부학적 구조의 결정된 상태에 기반하여 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것을 더 포함할 수 있다. 예컨대, 열악한 상태의 해부학적 구조에 대해 수행되는 절차는 더 나은 상태의 해부학적 구조에 대해 수행되는 절차보다 더 높은 환급을 합리화할 수 있다. 예시적인 실시예에서, 머신-러닝 방법은 환자의 해부학적 구조의 상태를 결정하기 위해 다양한 센서로부터 획득된 정보에 기반하여 사용될 수 있다. 해부학적 구조의 상태는 해부학적 구조의 관찰된 시각적 특성, 이를테면 사이즈, 컬러, 형상, 반투명도, 표면의 반사율, 형광 및/또는 다른 이미지 특징에 기반하여 결정될 수 있다. 상태는 해부학적 구조, 해부학적 구조에 대한 시간적 특성(모션, 형상 변화 등), 사운드 특성(예컨대, 해부학적 구조를 통하는 사운드, 해부학적 구조에 의해 생성된 사운드, 및/또는 사운드의 다른 양상의 송신), 해부학적 구조의 이미징(예컨대, x-레이를 사용한, 자기 공명 및/또는 다른 수단을 사용한 이미징), 또는 구조의 전자기 측정(예컨대, 해부학적 구조의 전기 전도성, 및/또는 구조의 다른 속성) 중 하나 이상에 기반할 수 있다. 이미지 인식이 해부학적 구조 상태를 결정하는 데 사용될 수 있다. 추가적으로 또는 대안적으로, 다른 전문화된 센서(예컨대, 자기장 센서, 전기 저항 센서, 사운드 센서 또는 다른 검출기)가 상태 결정에 사용될 수 있다.
다양한 실시예에서, 해부학적 구조의 상태를 결정할 때, 예컨대 적절한 머신-러닝 모드를 사용하여 환급 코드가 식별될 수 있다. 예컨대, 머신 러닝 모델은 하나 이상의 환급 코드를 결정하기 위한 하나의 가능한 파라미터로서 해부학적 구조의 상태를 취할 수 있다. 도 21은 하나 이상의 환급 코드(예컨대, 도 21에 개략적으로 도시된 바와 같은 코드(2137))를 결정하기 위한 예시적인 시스템(2101)을 도시한다. 예시적인 실시예에서, 수술 푸티지(2111)는 머신-러닝 방법(213)에 의해 프로세싱될 수 있고, 방법(213)은 의료 기구(2116), 해부학적 구조(2118), 의료 기구와 해부학적 구조의 상호작용(2120), 및 다양한 파라미터(2122)(본원에서 또한 속성 또는 특성으로 지칭됨), 이를테면 기구(2116), 해부학적 구조(2118), 상호작용(2120), 및 환급 코드에 영향을 미칠 수 있는 임의의 다른 정보를 설명하는 파라미터(C1-CN)를 식별할 수 있다. 예시적인 파라미터(C1)는 절개부의 사이즈일 수 있고, 파라미터(C2)는 해부학적 구조의 상태(예컨대, 해부학적 구조의 사이즈, 컬러, 형상 및/또는 다른 이미지 속성)일 수 있고, 파라미터(CN)는 예시적인 의료 기구가 예시적인 해부학적 구조와 상호작용한 위치일 수 있다. 의료 기구(2116), 해부학적 구조(2118), 상호작용(2120) 및 파라미터(2122)에 관한 정보는 컴퓨터-기반 소프트웨어 애플리케이션, 이를테면 머신-러닝 모델(2135)에 대한 입력(2110)으로서 사용될 수 있다. 모델(2135)은 입력(2110)을 프로세싱하고, 입력(2110)에 의해 설명된 바와 같은 정보를 갖는 수술 절차의 세그먼트와 연관된 하나 이상의 환급 코드를 출력할 수 있다.
실시예 중 일부에서, 보험 환급을 결정하기 위해 수술 이미지를 분석하는 것은, 수술 절차 동안 환자의 해부학적 구조의 상태의 변화를 결정하기 위해 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것, 및 해부학적 구조의 상태의 결정된 변화에 기반하여 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것을 포함할 수 있다. 환자의 해부학적 구조의 상태의 변화를 결정하기 위해 비디오 프레임을 분석하는 프로세스는 임의의 적절한 머신-러닝 방법을 사용하여 수행될 수 있다. 예컨대, 해부학적 구조의 상태의 변화는 해부학적 구조의 형상, 컬러, 사이즈, 위치 및/또는 다른 이미지 속성의 변화를 포함할 수 있다. 이러한 변화는 본원에서 설명된 바와 같이 그리고 다양한 설명된 실시예에 따라 이미지 인식 알고리즘에 의해 결정될 수 있다. 이미지 인식 알고리즘은 수술 절차의 제1 세트의 프레임에서 해부학적 구조를 식별하고, 수술 절차의 제2 세트의 프레임에서 해부학적 구조를 식별하고, 해부학적 구조가 제1 세트에서 제2 세트의 프레임으로 변경되었는지를 평가할 수 있다. 변화가 관찰되면, 이미지 인식 알고리즘은 변화 관련 식별자를 할당함으로써 변화를 검증할 수 있다. 몇 가지 예로서, 변화-관련 식별자는 스트링 "제거된 종양(removed tumor)", "제거된 충수(removed appendix)", "막힘이 제거된 경동맥(carotid arteries with a removed blockage)", 및/또는 변화를 설명하는 다른 데이터일 수 있다. 변화-관련 식별자는 사전구성된 식별자의 리스트로부터 선택될 수 있고, 환급 코드(예컨대, 코드(2137))를 출력하기 위해 머신-러닝 모델(예컨대, 모델(2135))에 대한 입력의 일부로서 사용되는 수술 절차의 파라미터, 이를테면 도 21에 도시된 파라미터(C1-CN) 중 하나를 포함할 수 있다. 이런 식으로, 환급 코드는 해부학적 구조의 상태의 결정된 변화에 기반하여 수술 절차와 연관될 수 있다.
개시된 실시예는 또한, 특정 의료 디바이스의 사용을 결정하기 위해 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것, 및 특정 의료 디바이스의 결정된 사용에 기반하여 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것을 포함할 수 있다. 특정 의료 기구의 사용은 환급 코드에 영향을 미칠 수 있다. 예컨대, 특정 일회용 의료 디바이스의 검출이 그러한 디바이스에 대한 환급을 트리거할 수 있다. 또는 값 비싼 이미징 머신(MRI, CT 등)의 사용이 그 디바이스의 사용에 대한 환급을 트리거할 수 있다. 게다가, 특정 디바이스의 비용에 관계없이, 특정 디바이스의 사용은 복잡성, 및 그에 따른 절차의 비용과 상관될 수 있다.
일부 실시예는, 특정 의료 디바이스의 사용 타입을 결정하기 위해 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것, 그리고 제1 결정된 사용 타입에 대한 응답으로, 수술 절차와 연관된 적어도 제1 환급 코드를 결정하는 것; 및 제2 결정된 사용 타입에 대한 응답으로, 수술 절차와 연관된 적어도 제2 환급 코드를 결정하는 것을 더 포함할 수 있으며, 적어도 제1 환급 코드는 적어도 제2 환급 코드와 상이하다. 사용 타입은 의료 디바이스의 임의의 기법 또는 조작, 이를테면 절개, 이미징, 봉합술, 표면 치료, 방사선 치료, 화학 치료, 절단, 및/또는 다른 치료 모달리티(modality)일 수 있다. 다양한 실시예에서, 사용 타입은 수술 절차 동안 캡처된 비디오 프레임(즉, 수술 푸티지)을 분석함으로써 분석될 수 있다.
본원에서 설명된 다양한 실시예에 따르면, 이전에 논의된 바와 같이, 사용 타입의 검출은 이미지 인식을 통해 발생할 수 있다. 일부 경우에, 해부학적 구조에 대한 디바이스의 위치가 의료 디바이스와 해부학적 구조의 상호작용을 결정하는 데 사용될 수 있다. 다양한 실시예에서, 의료 디바이스를 사용하는 각각의 치료 타입에 대해, 대응하는 환급 코드가 사용될 수 있다. 일부 경우에, 상이한 연관된 환급 코드를 가질 수 있는 상이한 치료 타입에 동일한 의료 디바이스가 사용될 수 있다. 예컨대, 겸자는 먼저 해부학적 구조를 클램핑하는 데 사용될 수 있고, 그런 다음, 해부학적 구조를 추출하는 데 사용될 수 있다. 일부 예에서, 특정 의료 디바이스의 사용 타입은 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정될 수 있다. 예컨대, 머신 러닝 모델은 수술 절차의 이미지 및/또는 비디오로부터 의료 디바이스의 사용 타입을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수술 절차 동안 캡처된 비디오 프레임을 분석하고 특정 의료 디바이스의 사용 타입을 결정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는 수술 절차에서의 특정 의료 디바이스의 사용 타입을 표시하는 라벨과 함께, 수술 절차의 적어도 일부의 이미지 및/또는 비디오를 포함할 수 있다.
일부 예에서, 머신 러닝 모델은 수술 절차에 관련된 정보에 기반하여 수술 절차에 대한 환급 코드를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있다. 이러한 트레이닝 예시의 예는 특정 수술 절차에 대한 원하는 환급 코드를 표시하는 라벨과 함께, 특정 수술 절차와 관련된 정보를 포함할 수 있다. 수술 절차와 관련된 이러한 정보의 일부 비-제한적인 예는 수술 절차의 이미지 및/또는 비디오, 수술 절차의 이미지 및/또는 비디오의 분석에 기반한 정보(이러한 분석 및 정보의 일부 비-제한적인 예가 본원에서 설명됨), 수술 절차와 관련된 해부학적 구조, 수술 절차와 관련된 해부학적 구조의 상태, 수술 절차에 사용되는 의료 기구, 수술 절차에서 의료 기구와 해부학적 구조 간의 상호작용, 수술 절차의 페이즈, 수술 절차에서 발생한 이벤트, 수술 절차의 수술후 리포트의 분석에 기반한 정보 등을 포함할 수 있다. 추가로, 일부 예에서, 트레이닝된 머신 러닝 모델은 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하기 위해 수술 절차 동안 캡처된 비디오 프레임을 분석하는 데 사용될 수 있다. 다른 예에서, 트레이닝된 머신 러닝 모델은 수술 절차에 관련된 임의의 정보, 이를테면 수술 절차에서 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 적어도 하나의 상호작용(예컨대, 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 식별된 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 적어도 하나의 상호작용), 수술 절차의 수술후 수술 리포트의 분석, 환자의 해부학적 구조의 상태(예컨대, 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정된 환자의 해부학적 구조의 상태), 수술 절차 동안의 환자의 해부학적 구조의 상태의 변화(예컨대, 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정된 수술 절차 동안의 환자의 해부학적 구조의 상태의 변화), 특정 의료 디바이스의 사용(예컨대, 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정된 특정 의료 디바이스의 사용), 특정 의료 디바이스의 사용 타입(예컨대, 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정된 특정 의료 디바이스의 사용 타입), 수술 절차에서 사용되는 특정 타입에 대한 의료 용품의 양(예컨대, 수술 절차에서 사용되고 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정되는 특정 타입의 의료 용품의 양) 등에 기반하여 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 데 사용될 수 있다.
추가적으로, 실시예는 수술 절차에서 사용되는 특정 타입에 대한 의료 용품의 양을 결정하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것, 및 결정된 양에 기반하여 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것을 포함할 수 있다. 예시적인 실시예에서, 특정 타입의 의료 용품의 양은 수술 절차 동안 사용된 의료 용품의 양을 표시할 수 있는 수술 절차의 비디오 프레임을 관찰하기 위한 이미지 인식 알고리즘을 사용하여 결정될 수 있다. 의료 용품은 절차 동안 사용되는 임의의 재료, 이를테면 약제, 바늘, 카테터, 또는 임의의 다른 일회용 또는 소모성 재료일 수 있다. 용품의 양은 수술 절차의 비디오 프레임으로부터 결정될 수 있다. 예컨대, 환자에 의해 사용되는 약제의 양은 환자에게 약제 및 체액을 공급하기 위한 정맥 내(IV) 장치를 관찰함으로써 결정될 수 있다. 정맥 내 혈액 또는 체액의 백(bag)은 이들이 대체될 때 카운트될 수 있다. 다양한 실시예에서, 수술 절차 동안, 그 이전에 그리고/또는 그 후에 사용된 특정 타입의 의료 용품의 양을 식별하고, 결정된 양에 기반하여 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 데 적절한 머신-러닝 모델이 사용될 수 있다. 머신-러닝 모델은 이력 수술 절차의 이력 수술 푸티지 및 이력 수술 절차 동안 사용된 의료 용품의 양에 대한 이력 데이터를 사용하여 트레이닝될 수 있다. 일부 예에서, 수술 절차에서 사용되는 특정 타입의 의료 용품의 양은 수술 절차 동안 캡처된 비디오 프레임을 분석함으로써 결정될 수 있다. 예컨대, 머신 러닝 모델은 수술 절차의 이미지 및/또는 비디오로부터 수술 절차에서 사용되는 특정 타입의 의료 용품의 양을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수술 절차 동안 캡처된 비디오 프레임을 분석하고 수술 절차에서 사용되는 특정 타입에 대한 의료 용품의 양을 결정하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 특정 수술 절차에서 사용되는 특정 타입의 의료 용품의 양을 표시하는 라벨과 함께, 특정 수술 절차의 적어도 일부의 이미지 및/또는 비디오를 포함할 수 있다.
보험 환급 코드를 결정하기 위해 수술 이미지를 분석하는 방법의 양상이 도 22에 도시된 바와 같은 예시적인 프로세스(2201)에 의해 예시된다. 프로세스(2201)의 단계(2211)에서, 방법은 환자에 대한 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 단계를 포함할 수 있다. 비디오 프레임은 임의의 적절한 이미지 센서를 사용하여 캡처될 수 있고, 위에서 논의된 바와 같이, 머신-러닝 방법 및/또는 의료 서비스 제공자를 사용하여 액세스될 수 있다. 단계(2213)에서, 이 방법은 위에서 설명된 바와 같이, 비디오 프레임에서 적어도 하나의 의료 기구, 적어도 하나의 해부학적 구조, 및 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 적어도 하나의 상호작용을 식별하기 위해, 수술 절차 동안 캡처된 비디오 프레임 분석하는 단계를 포함할 수 있다. 예컨대, 프레임은 이전에 논의된 바와 같이, 적절한 머신-러닝 방법, 이를테면 이미지 인식 알고리즘을 사용하여 분석될 수 있다. 단계(2215)에서, 이 방법은 의료 기구, 해부학적 구조, 및 의료 기구와 해부학적 구조 간의 상호작용에 상관된 환급 코드의 데이터베이스에 액세스하는 단계를 포함할 수 있다. 단계(2217)에서, 이 방법은 이전에 설명된 바와 같이, 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하기 위해, 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 식별된 적어도 하나의 상호작용을 환급 코드 데이터베이스 내의 정보와 비교하는 단계를 포함할 수 있고, 단계(2219)에서, 이 방법은 수술 절차에 대한 보험 환급을 얻는 데 사용하기 위한 적어도 하나의 환급 코드를 출력하는 단계를 포함할 수 있다.
이전에 논의된 바와 같이, 본 개시내용은 보험 환급을 결정하기 위해 수술 이미지를 분석하기 위한 방법 및 시스템뿐만 아니라, 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금, 위에서 설명된 바와 같이, 보험 환급을 결정하기 위해 수술 이미지를 분석하는 것을 가능하게 하는 동작을 실행하게 하는 명령을 포함할 수 있는 비-일시적 컴퓨터-판독가능 매체에 관한 것이다.
개시된 시스템 및 방법은 수술의 특징, 환자 상태 및 수술중 이벤트를 식별하여 수술후 리포트를 채우기 위한 정보를 획득하기 위해 수술 푸티지를 분석하는 것을 수반할 수 있다. 수술의 특징, 환자 상태 및 외과 수술중 이벤트를 식별하기 위해 수술 절차로부터 획득된 수술 데이터를 분석하고 수술후 리포트를 채우기(populating) 위해 분석된 데이터로부터 정보를 추출함으로써 수술후 리포트가 채워질 수 있다. 따라서 수술 데이터를 분석하고, 수술후 리포트를 채우기 위해 사용될 수 있는 정보를 수술 데이터로부터 추출할 필요가 있다.
본 개시내용의 양상은 방법, 시스템, 디바이스 및 컴퓨터-판독가능 매체를 포함하는, 수술 절차의 수술후 리포트를 채우는 것에 관한 것일 수 있다. 논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자적 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 수단물로 제한되지 않고, 오히려 다수의 다양한 수단물을 사용하여 달성될 수 있다.
개시된 실시예에 따르면, 수술 절차의 수술후 리포트를 채우기 위한 방법은 환자의 식별자의 입력을 수신하는 단계를 포함할 수 있다. 추가로, 이 방법은 의료 서비스 제공자의 식별자의 입력을 수신하는 단계를 포함할 수 있다. 수술후 리포트는 수술 절차를 문서화하는 임의의 적절한 컴퓨터-기반 또는 종이-기반 리포트일 수 있다. 다양한 실시예에서, 수술후 리포트는 수술 푸티지, 오디오 데이터, 이미지 데이터, 텍스트 데이터(예컨대, 닥터 메모) 등의 다수의 프레임을 포함할 수 있다. 예시적인 실시예에서, 수술후 리포트는 채워지거나, 부분적으로 채워지거나, 채워지지 않을 수 있다. 예컨대, 수술후 리포트는 수술 절차 동안 획득된 다양한 세부사항을 홀딩하기 위한 필드(예컨대, 보고의 영역)를 포함할 수 있다. 예시적인 실시예에서, 적어도 일부 필드는, 어떤 타입의 정보가 필드에 입력될 수 있는지를 결정할 수 있는 연관된 특성(필드 이름으로 또한 지칭됨)을 가질 수 있다. 예컨대, "환자의 이름"이라는 연관된 이름을 갖는 필드는 환자의 이름이 그 필드에 입력되는 것을 허용할 수 있다. "맥박 플롯(Pulse Plot)"으로 명명된 필드는 시간의 함수로써 플롯팅되는, 수술 절차 동안 환자의 맥박을 디스플레이하기 위한 필드일 수 있다. 다양한 실시예에서, 리포트가 채워지지 않을 때는, 리포트 내의 모든 필드가 비어 있을 수 있고; 리포트가 부분적으로 채워질 때는, 필드 중 일부가 수술 절차로부터 획득된 정보를 보유할 수 있고; 리포트가 완전히 채워질(또는 대부분 채워질) 때는, 필드의 대부분이 연관된 수술 절차에 관련된 정보를 보유할 수 있다. 일부 예에서, 수술후 리포트의 적어도 일부는 자유 양식 포맷을 가질 수 있어, 사용자 및/또는 자동 프로세스가 다양한 조직 및/또는 포맷, 이를테면 자유 텍스트로 데이터를 입력하는 것을 허용할 수 있는데, 이는 일부 예에서는, 자유 텍스트에 자유롭게 임베딩된 또는 그에 수반되는 다른 엘리먼트, 이를테면 외부 엘리먼트에 대한 링크, 이미지, 비디오, 오디오 녹음, 디지털 파일 등을 포함할 수 있다. 특정 필드 내의 수술후 리포트에 포함된 것과 같은 본원에서 설명된 임의의 세부사항은 이러한 자유 텍스츄얼 정보의 일부로서 수술후 리포트에 동등하게 포함될 수 있거나, 자유 텍스트에 임베딩되거나, 그에 수반될 수 있다는 것이 인지된다.
예시적인 수술후 리포트(2301)가 도 23에 도시된다. 리포트(2301)는 다수의 필드, 섹션 및 서브섹션을 포함할 수 있다. 상이한 필드는 상이한 타입의 정보를 보유할 수 있다. 예컨대, 필드(2310)는 수술 절차의 이름을 보유할 수 있고, 필드(2312)는 환자의 이름을 보유할 수 있고, 필드(2314)는 의료 서비스 제공자의 이름을 보유할 수 있다. 필드(2316)는 수술 절차의 페이즈의 이름을 포함할 수 있고, 필드(2318)는 페이즈의 순차적인 번호(예컨대, 수술 절차의 제1 페이즈)를 포함할 수 있다. 수술 절차의 복수의 페이즈를 설명하기 위해 수술후 리포트(2301)에 필드(2314 및/또는 2316)의 다수의 예시가 포함될 수 있다. 리포트(2301)는 수술 절차 동안 특정 이벤트를 설명할 수 있는 섹션(2315)을 포함할 수 있다. 다수의 이벤트를 설명하기 위한 다수의 섹션이 리포트(2301)에 존재할 수 있다. 이벤트 중 하나 이상은 특정 수술 페이즈에 연결될 수 있는 한편, 다른 이벤트는 어떠한 수술 페이즈에도 연결되지 않을 수 있다. 예시적인 실시예에서, 섹션(2315)은 이벤트의 이름을 보유하는 필드(2320), 이벤트에 대한 시작 시간을 보유하는 필드(2321A), 이벤트에 대한 마무리 시간을 보유하는 필드(2321B), 및 이벤트의 설명을 보유하는 필드(2324)(예컨대, 필드(2324)는 이벤트를 설명하는 의료 서비스 제공자로부터의 메모를 보유할 수 있음)를 포함할 수 있다. 섹션(2315)은 이미지에 대한 필드, 이를테면 IMAGE 1 내지 IMAGE N 필드를 보유하기 위한 서브섹션(2326)뿐만 아니라 이벤트-관련 수술 푸티지를 보유하기 위한 서브섹션(2328)을 포함할 수 있다. 예컨대, 서브섹션(2328)은 필드 V1-VN을 포함할 수 있다. 추가적으로, 섹션(2315)은 수술 절차와 관련된 다양한 다른 데이터에 대한 링크를 보유할 수 있는 서브섹션(2329)을 포함할 수 있다. 다양한 실시예에서, 수술후 리포트는 도 23에 도시된 바와 같이, 탭(tab)(2331, 2333)에 의해 표시된 상이한 부분으로 파티셔닝(partition)될 수 있다. 예컨대, 사용자가 탭(2331)을 선택할 때, 수술 리포트의 제1 부분과 관련된 정보가 디스플레이될 수 있고, 사용자가 탭(2333)을 선택할 때, 수술 리포트의 제2 부분과 관련된 정보가 디스플레이될 수 있다. 다양한 실시예에서, 수술 리포트는 임의의 적절한 수의 부분을 포함할 수 있다.
도 23은 또한, 정보가 업로드 입력 양식(2337)을 통해 리포트(2301)에 업로드될 수 있음을 도시한다. 예컨대, 사용자는 필드(예컨대, 도 23에 도시된 바와 같은 필드(V1))를 클릭할 수 있고, 필드(V1)에 대한 데이터를 업로드하기 위해 사용자에게 양식(2337)이 제공될 수 있다. 다양한 실시예에서, 도 23에 도시된 바와 같은 필드, 섹션, 서브섹션 및 탭은 단지 예시일 뿐이며, 임의의 다른 적절한 필드, 섹션, 서브섹션 및 탭이 사용될 수 있다. 또한, 필드, 섹션, 서브섹션, 및 탭의 수 및 타입은 수술후 리포트(2301)에 입력된 정보에 의존할 수 있다.
다양한 실시예에서, 수술후 리포트의 적어도 일부를 채우기 위한 정보가 수술 절차의 수술 푸티지로부터 획득될 수 있다. 이러한 정보는 이미지-기반 정보로 지칭될 수 있다. 추가적으로, 의료 서비스 제공자 또는 사용자의 메모, 환자에 대해 이전에 제출된 양식(예컨대, 환자에 대한 병력), 수술 절차 동안 사용되는 의료 디바이스 등으로부터 수술 절차에 관한 정보가 획득될 수 있다. 이러한 정보는 보조 정보로 지칭될 수 있다. 예시적인 실시예에서, 보조 정보는 바이탈 징후, 이를테면 수술 절차 동안 사용되는 다양한 의료 디바이스에 의해 보고되는 맥박, 혈압, 체온, 호흡수, 산소 레벨 등을 포함할 수 있다. 이미지-기반 정보 및 보조 정보는 적절한 컴퓨터-기반 소프트웨어 애플리케이션에 의해 프로세싱될 수 있고, 프로세싱된 정보는 수술후 리포트를 채우는 데 사용될 수 있다. 예컨대, 도 24a는 정보를 프로세싱하고 수술후 리포트(2301)를 채우기 위한 프로세스(2401)의 예를 도시한다. 예시적인 실시예에서, 이미지-기반 정보(2411) 및 보조 정보(2413)가 컴퓨터-기반 소프트웨어 애플리케이션(2415)에 대한 입력으로서 사용될 수 있고, 애플리케이션(2415)은 정보(2411, 2413)를 프로세싱하고, 수술후 리포트(예컨대, 도 24a에 도시된 바와 같은 리포트(2301))에 존재하는 다양한 필드에 대한 데이터를 추출하고, 그리고 (화살표(2430A-2430D)에 의해 개략적으로 표시된 바와 같이) 다양한 필드를 채우도록 구성될 수 있다. 도 24b는 정보를 프로세싱하고 수술후 리포트(2301)를 채우기 위한 예시적인 시스템(2402)을 도시한다. 2402는, 애플리케이션(2415)에 의해 프로세싱된 다양한 데이터가 수술후 리포트(2301)를 채우기 이전에 데이터베이스(2440)에 저장될 수 있다는 점에서 시스템(2401)과 상이할 수 있다. 데이터베이스(2440)에 데이터를 저장함으로써, 데이터는 다양한 다른 리포트를 생성하는 데 사용하기 위해 쉽게 액세스될 수 있다. 데이터베이스(2440)는 화살표(2431A-2431D)에 의해 개략적으로 도시된 바와 같이 데이터베이스(2440)로부터의 데이터를 리포트(2301)의 필드에 맵핑하기 위한 소프트웨어 애플리케이션을 실행하도록 구성될 수 있다.
위에서 설명된 바와 같이, 수술후 리포트를 채우기 위한 실시예는 환자 및 의료 서비스 제공자의 식별자의 입력을 수신하는 것을 포함할 수 있다. 환자의 식별자는 임의의 적절한 데이터 또는 신체적 표시자(예컨대, 환자의 이름, 생년월일, 사회 보장 번호 또는 다른 정부 식별자, 환자 번호 또는 다른 고유 코드, 환자 이미지, DNA 시퀀스, 보컬(vocal) ID, 또는 환자를 고유하게 식별하는 임의의 다른 표시자일 수 있다. 일부 경우에, 한 그룹의 식별자가 조합된 식별자로서 사용될 수 있다. 예시적인 실시예에서, 식별자는 환자를 고유하게 식별하는 영숫자 스트링일 수 있다.
다양한 실시예에서, 환자 식별자가 입력으로서 수신될 수 있다. 이는 임의의 적절한 송신 프로세스(예컨대, 유선 또는 무선 네트워크를 통한 데이터의 송신 프로세스, 키보드, 마우스, 조이스틱 등과 같은 적절한 입력 디바이스를 사용하는 데이터의 송신 프로세스)를 사용하여 발생할 수 있다. 일부 경우에, "입력을 수신하는 것"은 우편 또는 택배(예컨대, 직접 전달된 종이 문서)를 통한 수신을 포함할 수 있다.
환자 식별자와 유사하게, 의료 서비스 제공자의 식별자는 이름, 코드, 소속, 주소, 직원 번호, 닥터 면허 번호, 또는 의료 서비스 제공자를 식별하는 임의의 다른 메커니즘과 같은 임의의 적절한 신원의 표시일 수 있다. 예시적인 실시예에서, 식별자는 의료 서비스 제공자를 고유하게 식별하는 영숫자 스트링일 수 있다.
개시된 실시예는 의료 서비스 제공자에 의해 환자에 대해 수행된 수술 절차의 수술 푸티지의 입력을 수신하는 것을 더 포함할 수 있다. 수술 푸티지는 입력을 분석하기 위한 컴퓨터-기반 소프트웨어 애플리케이션(예컨대, 도 24a에 도시된 바와 같은 애플리케이션(2415))에 의해 입력으로서 수신될 수 있고, 그리고/또는 일부 경우에, 입력을 수신하는 것은 의료 서비스 전문가 또는 사용자에 의한 입력을 수신하는 것을 포함할 수 있다. 이는 예컨대, 의료 서비스 전문가 또는 사용자가 저장 위치로부터 그리고/또는 비디오 푸티지를 캡처하는 센서로부터 직접적으로 비디오 푸티지를 업로드할 때 발생할 수 있다.
수술 절차의 수술 푸티지는 사운드 데이터를 또한 포함할 수 있는 기록된 이미지 및/또는 비디오 데이터를 포함하는 임의의 형태의 기록된 시각적 데이터를 포함할 수 있다. 시각적 데이터는, 도 1과 관련하여 위에서 설명된 바와 같이, 카메라(115, 121, 123, 및/또는 125)와 같은 이미지 센서들에 의해 캡처된 하나 이상의 이미지의 시퀀스를 포함할 수 있다. 카메라(예컨대, 카메라(115, 121, 125)) 중 일부는 수술대(141)의 비디오/이미지 데이터를 캡처할 수 있고, 카메라(121)는 수술을 수행하는 의사(131)의 비디오/이미지 데이터를 캡처할 수 있다. 일부 경우에, 카메라는 수술실(101)에 위치하고 있는 마취과 의사, 간호사, 수술 기술자 등과 같은 수술 팀 직원과 연관된 비디오/이미지 데이터를 캡처할 수 있다.
다양한 실시예에서, 이미지 센서는 가시광, (예컨대, 형광 투시법을 통해) x-레이 광, 적외선 광 또는 자외선 광을 이미지, 이미지의 시퀀스, 비디오 등으로 변환함으로써 수술 푸티지를 캡처하도록 구성될 수 있다. 이미지/비디오 데이터는 임의의 적절한 포맷, 이를테면 JPEG, PNG, TIFF, AVI(Audio Video Interleave), FLV(Flash Video Format), MOV(QuickTime File Format), MPEG (MPG, MP4, M4P 등), WMV(Windows Media Video), MXF(Material Exchange Format) 등을 사용하는 컴퓨터 파일로서 저장될 수 있다.
수술 절차는, 환자의 신체에 대한 매뉴얼 또는 수술 절차와 연관된 또는 이를 수반하는 임의의 의료 절차를 포함할 수 있다. 수술 절차는, 절단, 삭마, 봉합술, 및/또는 신체 조직 및 장기를 물리적으로 변경하는 것을 수반하는 다른 기법을 포함할 수 있다. 수술 절차는 또한, 환자를 진단하거나 환자에게 약물을 투여하는 것을 포함할 수 있다. 이러한 수술 절차의 일부 예는, 복강경 수술, 흉부 내시경 시술, 기관지경 시술, 현미경 시술, 개복술, 로봇 수술, 충수염 수술, 동맥내막 절제술, 수근관 유리술, 백내장 수술, 제왕절개, 담낭절제술, 대장절제술(이를테면, 부분 대장 절제술, 대장전절제술 등), 관상동맥 성형술, 관상동맥 우회술, (예컨대, 상처, 화상, 감염 등의) 변연절제술, 유리 식피, 치핵 절제술, 고관절 대체술, 자궁절제술, 자궁경 수술, 사타구니 탈장 수술, 무릎 관절경, 슬관절 치환술, 유방절제술(이를테면, 부분 유방절제술, 전유방절제술, 변형 근치 유방절제술 등), 전립선 절제술, 전립선 제거, 어깨 관절경, 척추 수술(이를테면, 척추 고정술, 추궁절제술, 추간공 확장술, 추간판절제술, 디스크 치환술, 추궁판간 이식 등), 편도 절제술, 인공와우 시술, 뇌종양(예컨대, 뇌수막종 등) 절제술, 중재 시술, 이를테면, 경피적 관상동맥 확장술, 경피적 대동맥판막 치환술, 뇌내 출혈 배출을 위한 최소 침습적 수술, 또는 일부 형태의 절개를 수반하는 임의의 다른 의료 절차를 포함할 수 있다. 본 개시내용은 수술 절차를 참조로 설명되지만, 다른 형태의 의료 절차, 또는 일반적인 절차에도 또한 적용될 수 있음을 이해해야 한다.
다양한 실시예에서, 수술 절차는 의료 서비스 제공자에 의해 환자에 대해 수행될 수 있으며, 환자는 위에서 설명된 바와 같이 식별자에 의해 식별된다. 의료 서비스 제공자는 사람, 한 그룹의 사람, 조직, 또는 환자에게 의료 서비스를 제공하도록 인가된 임의의 엔티티일 수 있다. 예컨대, 의료 서비스 제공자는 의사, 마취과 의사, 임상 간호사, 일반 소아과 의사, 또는 인가될 수 있는 그리고/또는 수술 절차를 수행하는 것이 가능할 수 있는 임의의 다른 사람 또는 한 그룹의 사람일 수 있다. 다양한 실시예에서, 의료 서비스 제공자는 수술 절차를 수행하기 위한 수술 팀일 수 있고, 책임 의사, 조수 의사, 마취과 의사, 간호사, 기술자 등을 포함할 수 있다. 의료 서비스 제공자는 수술 절차를 관리하고, 환자를 위한 수술 절차를 보조하는 등을 할 수 있다. 개시된 실시예에 따라, 병원, 진료소, 또는 다른 조직 또는 설비가 또한 의료 서비스 제공자로서 특징지어질 수 있다. 마찬가지로, 환자는 수술 절차가 수행되는 사람(또는 임의의 살아있는 생물)일 수 있다.
개시된 실시예의 양상은, 수술 절차의 수술후 리포트를 채우기 위한 이미지-기반 정보를 도출하기 위해 수술 푸티지의 복수의 프레임을 분석하는 것을 포함할 수 있다. 다양한 실시예에서, 이미지-기반 정보는 수술 절차 동안 발생한 이벤트에 관한 정보, 수술 절차의 페이즈에 관한 정보, 수술 절차 동안 사용된 수술 도구에 관한 정보, 수술 절차가 수행된 해부학적 구조에 관한 정보, 다양한 디바이스로부터의 데이터(예컨대, 바이탈 징후, 이를테면 맥박, 혈압, 체온, 호흡수, 산소 레벨 등), 또는 이미지로부터 획득될 수 있으며 수술후 리포트로 문서화되도록 적용 가능할 수 있는 임의의 다른 적절한 정보를 포함할 수 있다. 수술 푸티지의 분석에 기반한 정보 및/또는 수술 푸티지를 분석하고 정보를 결정하기 위한 알고리즘의 일부 다른 비-제한적인 예가 본 개시내용에서 설명된다.
다양한 실시예에서, 이미지-기반 정보는 예컨대, 위에서 설명된 바와 같이, 이벤트, 수술 절차의 페이즈, 수술 도구, 수술 푸티지 내의 해부학적 구조 등을 식별하기 위한 임의의 적절한 트레이닝된 머신-러닝 모델(또는 다른 이미지 인식 알고리즘)을 사용하여 수술 푸티지로부터 도출될 수 있다. 일부 경우에, 머신 러닝 방법은 이벤트, 페이즈, 수술 도구, 해부학적 구조 등의 다양한 속성을 식별할 수 있다. 예컨대, 절개와 같은 이벤트의 속성은 절개의 길이를 포함할 수 있고, 해부학적 구조의 속성은 구조의 사이즈 또는 구조의 형상을 포함할 수 있다. 다양한 실시예에서, 임의의 적절한 속성은 예컨대, 위에서 설명된 바와 같이, 머신-러닝 방법을 사용하여 식별될 수 있고, 일단 식별되면 수술 리포트를 채우는 데 사용될 수 있다.
다양한 실시예에서, 도출된 이미지-기반 정보는 수술 절차의 수술후 리포트를 채우기 위해 사용될 수 있다. 수술후 리포트를 채우는 프로세스는 필드에 특정된 정보로 보고의 필드를 채우는 것을 포함할 수 있다. 예시적인 실시예에서, 수술후 리포트를 채우는 것은 컴퓨터-기반 애플리케이션(예컨대, 도 24a에 도시된 바와 같은 애플리케이션(2415))에 의해 수행될 수 있다. 예컨대, 컴퓨터-기반 애플리케이션은 수술후 리포트로부터 필드를 리트리브하고, 필드와 연관된 이름을 결정하고, 결정된 이름에 기반하여 필드에 어떤 타입의 정보(예컨대, 이미지-기반 정보 또는 임의의 다른 적절한 정보)가 입력되는 것이 필요한지를 결정하고, 수술 푸티지로부터 또는 보조 정보(예컨대, 도 24a에 도시된 바와 같은 보조 정보(2413))로부터 이러한 정보를 리트리브하도록 구성될 수 있다. 예시적인 실시예에서, 정보를 리트리브하는 것은 수술 푸티지로부터 이미지-기반 정보를 도출하는 것을 포함할 수 있다. 예컨대, 필드 이름이 "사용된 수술 도구"인 경우, 정보를 리트리브하는 것은 수술 절차 동안 사용된 수술 도구를 (수술 푸티지에서) 식별하기 위한 이미지 인식 알고리즘을 사용하는 것, 및 식별된 도구의 이름으로 수술 리포트를 채우는 것을 포함할 수 있다. 따라서, 도출된 이미지-기반 정보가 수술 절차의 수술후 리포트를 채우기 위해 사용될 수 있다. 리포트를 채우기 위해 사용될 수 있는 이미지-기반 정보의 다른 예는 절차 또는 절차의 일부의 시작 및 종료 시간, 직면한 합병증, 장기의 상태, 및 비디오 데이터의 분석을 통해 도출될 수 있는 다른 정보를 포함할 수 있다. 이들은 또한, 환자의 특성, 하나 이상의 의료 서비스 제공자의 특성, 수술실에 관한 정보(예컨대, 수술실에 존재하는 디바이스의 타입, 수술실에서 이용 가능한 이미지 센서의 타입 등) 또는 임의의 다른 관련 데이터를 포함할 수 있다.
수술 절차의 수술후 리포트를 채우는 방법의 양상은 도 25에 도시된 바와 같은 예시적인 프로세스(2501)에 의해 예시된다. 위에서 설명된 바와 같이, 프로세스(2501)의 단계(2511)에서, 이 방법은 환자의 식별자의 입력을 수신하는 단계를 포함할 수 있고, 단계(2513)에서, 이 방법은 의료 서비스 제공자의 식별자의 입력을 수신하는 단계를 포함할 수 있다. 단계(2515)에서, 이 방법은 의료 서비스 제공자에 의해 환자에 대해 수행된 수술 절차의 수술 푸티지의 입력을 수신하는 단계를 더 포함할 수 있다. 수술 푸티지의 입력을 수신하는 단계는 위에서 논의된 바와 같이, 적절한 컴퓨터-기반 소프트웨어 애플리케이션 또는 의료 서비스 전문가에 의한 입력을 수신하는 단계를 포함할 수 있다. 이전에 설명된 바와 같이, 단계(2517)에서, 이 방법은 본원에서 설명되는 바와 같이, 수술 절차의 수술후 리포트를 채우기 위한 이미지-기반 정보를 도출하기 위해 수술 푸티지의 복수의 프레임을 분석하는 단계를 포함할 수 있고, 단계(2519)에서, 이 방법은 도출된 이미지-기반 정보를 수술 절차의 수술후 리포트에 채우는 단계를 포함할 수 있다.
수술 절차의 수술후 리포트를 채우는 방법의 양상은, 수술 절차의 하나 이상의 페이즈를 식별하기 위해 수술 푸티지를 분석하는 단계를 포함할 수 있다. 페이즈는 예컨대, 본원에서 설명된 바와 같이, 수술 절차의 하나의 부분을 다른 부분과 구별하도록 트레이닝된 트레이닝 모델에 기반하여 자동으로 서로 구별될 수 있다.
본 개시내용의 목적을 위해, 페이즈는, 프로세스 또는 일련의 이벤트의 특정 기간 또는 스테이지를 지칭할 수 있다. 그에 따라서, 수술 페이즈는 수술 절차의 하위 부분을 지칭할 수 있다. 예컨대, 복강경 담낭절제술 수술의 수술 페이즈는, 트로카 배치, 준비, 칼로트 삼각형 해부, 담낭관 및 동맥의 클립핑 및 절단, 쓸개 해부, 쓸개 패키징, 간 상의 세척 및 응집, 쓸개 수축 등을 포함할 수 있다. 다른 예에서, 백내장 수술의 수술 페이즈는, 준비, 포비돈-요오드 주입, 각막 절개, 수정체낭 절개, 수정체 유화, 피질 흡인, 안구내 렌즈 삽입, 안구내-렌즈 조정, 상처 봉합 등을 포함할 수 있다. 또 다른 예에서, 뇌하수체 수술의 수술 페이즈는, 준비, 코 절개, 코 견인기 설치, 종양에 대한 액세스, 종양 제거, 콧대 교체, 봉합술, 코 압박대 장착 등을 포함할 수 있다. 수술 페이즈의 일부 다른 예는 준비, 절개, 복강경 포지셔닝, 봉합 등을 포함할 수 있다.
일부 예에서, 사용자는 페이즈의 타입 또는 이름을 식별하는 단어/문장/스트링으로 수술 푸티지의 섹션을 마킹함으로써 페이즈를 식별할 수 있다. 사용자는 또한, 사용된 이벤트, 절차 또는 디바이스, (예컨대, 예를 들어 검색표 또는 다른 데이터 구조를 통해) 어떤 입력이 특정 비디오 푸티지와 연관될 수 있는지를 식별할 수 있다. 사용자 입력은, 데스크탑 컴퓨터, 랩톱, 태블릿, 모바일 폰, 웨어러블 디바이스, IoT 디바이스, 또는 사용자로부터의 입력을 수신하기 위한 수단과 같은, 사용자 디바이스의 사용자 인터페이스를 통해 수신될 수 있다. 인터페이스는 예컨대, 페이즈 이름에 대한 하나 이상의 선택 리스트가 있는 하나 이상의 드롭다운 메뉴; 사용자가 페이즈 이름을 입력할 수 있도록 하고 그리고/또는 몇 글자만 입력되면 페이즈 이름을 제안하는 데이터 엔트리 필드; 페이즈 이름을 선택할 수 있는 선택 리스트; 각각 다양한 페이즈와 연관된 한 그룹의 선택가능한 아이콘, 또는 사용자가 페이즈를 식별하거나 선택하도록 허용하는 임의의 다른 메커니즘을 제공할 수 있다.
일부 실시예에서, 수술 절차의 하나 이상의 페이즈를 식별하기 위해 수술 절차를 분석하는 것은, 예컨대 위에서 설명된 바와 같이, 비디오 푸티지의 프레임을 분석하기 위해 컴퓨터 분석(예컨대, 머신-러닝 모델)을 사용하는 것을 수반할 수 있다. 컴퓨터 분석은 컴퓨팅 디바이스를 사용하는 임의의 형태의 전자 분석을 포함할 수 있다. 일부 실시예에서, 컴퓨터 분석은 비디오 푸티지의 하나 이상의 프레임의 특징을 식별하기 위해 하나 이상의 이미지 인식 알고리즘을 사용하는 것을 포함할 수 있다. 컴퓨터 분석은, 개별 프레임에 대해 수행될 수 있거나 예컨대, 프레임 간의 모션 또는 다른 변화를 검출하기 위해 다수의 프레임에 걸쳐 수행될 수 있다.
일부 실시예에서, 수술 절차의 적어도 하나의 페이즈를 식별하기 위해 수술 절차를 분석하는 것은, 적어도 하나의 페이즈에 이름을 연관시키는 것을 수반할 수 있다. 예컨대, 식별된 페이즈가 쓸개 해부를 포함하는 경우, "쓸개 해부(gallbladder dissection)"라는 이름이 그 페이즈와 연관될 수 있다. 다양한 실시예에서, (페이즈를 식별함으로써 수술 절차의 수술 푸티지로부터 도출된) 도출된 이미지-기반 정보는, 위에서 설명된 바와 같이, 연관된 페이즈 이름을 포함할 수 있다.
추가로, 수술 절차의 수술후 리포트를 채우는 방법의 양상은 식별된 페이즈 중 적어도 하나의 페이즈의 속성을 식별하는 단계를 포함할 수 있다. 페이즈의 속성은 페이즈의 임의의 특성, 이를테면 페이즈의 지속기간, 수술 절차 동안 페이즈의 시퀀스에서의 페이즈의 위치, 페이즈 복잡성, 사용된 기법의 식별, 페이즈에 사용된 의료 기구와 관련된 정보, 페이즈에서 수행된 액션과 관련된 정보, 페이즈 동안의 해부학적 구조의 상태의 변화, 또는 페이즈를 특징지을 수 있는 임의의 다른 정보일 수 있다. 페이즈 속성은 영숫자 스트링의 형태로 표현될 수 있다. 예컨대, "제1 페이즈"는 수술 절차 동안 페이즈의 시퀀스에서 제1 페이즈로서 그 페이즈를 식별할 수 있고, "1시간"은 그 페이즈가 1시간의 지속기간을 갖는다고 설명할 수 있고, "기관지경 검사(bronchoscopy)"는 페이즈를 기관지경 검사로서 식별할 수 있는 식이다. 추가적으로 또는 대안적으로, 페이즈의 속성은 수술 절차 동안 수집된 비-구조적 데이터(예컨대, 이미지, 오디오, 수치 및/또는 비디오 데이터)일 수 있다. 예컨대, 수술 절차의 페이즈 동안 수행되는 해부학적 구조(또는 수술 기구, 또는 수술 기구와 예시적인 해부학적 구조의 상호작용)의 대표 이미지가 페이즈의 속성으로서 사용될 수 있다. 일 예에서, 머신 러닝 모델은 이미지 및/또는 비디오로부터 수술 페이즈의 속성을 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차의 수술 페이즈의 적어도 일부의 이미지 및/또는 비디오를, 수술 페이즈의 하나 이상의 속성을 표시하는 라벨과 함께 포함할 수 있다. 이러한 속성의 일부 비-제한적인 예는 수술 페이즈의 이름, 수술 페이즈의 텍스츄얼 설명, 또는 위에서 설명된 수술 페이즈의 임의의 다른 속성을 포함할 수 있다. 추가로, 일부 예에서, 트레이닝된 머신 러닝 모델은 식별된 페이즈 중 적어도 하나의 페이즈의 속성을 식별하기 위해 수술 푸티지를 분석하는 데 사용될 수 있다. 다양한 실시예에서, (수술 기록을 채우기 위해 사용되는) 도출된 이미지-기반 정보는 식별된 적어도 하나의 페이즈 및 적어도 하나의 페이즈의 식별된 속성에 기반할 수 있다. 예컨대, 페이즈 및 속성 둘 모두의 조합이 함께, 페이즈가 더 의미있는 방식으로 기록되는 것을 가능하게 할 수 있다. 예컨대, 판막의 봉합술의 페이즈 동안, 수술중 누출이 검출되면(페이즈의 속성), 페이즈/속성 조합이 수술 기록에 기록될 수 있다. 일부 경우에, 도출된 이미지-기반 정보는 수술 절차의 페이즈 동안 캡처된 비디오의 세그먼트를 포함할 수 있다.
수술 절차의 수술후 리포트를 채우는 방법의 양상은, 적어도 하나의 페이즈의 적어도 개시를 결정하는 단계를 포함할 수 있으며; 도출된 이미지-기반 정보는 결정된 개시에 기반한다. 적어도 하나의 페이즈의 개시는 예컨대, 위에서 설명된 바와 같이, 수술 푸티지에 대해 컴퓨터 이미지 분석을 수행함으로써 결정될 수 있다. 예컨대, 트레이닝된 머신 러닝 모델(이를테면, 순환 컨볼루셔널 뉴럴 네트워크)을 사용하면, 특정 페이즈의 개시가 이전 페이즈의 종료와 구별될 수 있고, 위치가 식별되어 수술 기록에 저장될 수 있다. 다른 예에서, 특정 의료 기구가 비디오 푸티지에 처음 나타날 때 페이즈가 시작될 수 있고, 객체 검출 알고리즘은 수술 푸티지에서 특정 의료 기구의 첫 번째 출현을 식별하는 데 사용될 수 있다.
일부 경우에, 시간 마커가 적어도 하나의 페이즈와 연관될 수 있고, 도출된 이미지-기반 정보는 적어도 하나의 페이즈와 연관된 시간 마커를 포함할 수 있다. 시간 마커는 수술 절차의 개시로부터 경과된 시간, 시각으로 측정된 시간, 또는 일부 다른 수술중 기록된 시간과 관련된 시간을 포함하는 다수의 방식으로 기록될 수 있다. 다양한 실시예에서, 시간 마커는 각각의 식별된 페이즈의 개시와 연관될 수 있다(예컨대, 시간 마커는 수술 푸티지 내의 수술 페이즈의 개시 위치와 연관될 수 있음). 시간 마커는 임의의 적절한 영숫자 식별자, 또는 임의의 다른 데이터 식별자(예컨대, 오디오 신호 또는 이미지)일 수 있고, 식별된 페이즈의 개시와 연관된 시간(및/또는 가능하게는 시간 범위)에 관한 정보를 포함할 수 있다.
예컨대, 위에서 논의된 바와 같이, 액션 검출 알고리즘을 사용하여 예시적인 수술 이벤트, 이를테면 절개가 검출될 수 있다. 이러한 식별된 수술 이벤트는 수술 페이즈의 개시를 식별할 수 있다. 예시적인 실시예에서, 수술 페이즈를 시작하는 이벤트는 머신 러닝 기법에 기반하여 검출될 수 있다. 예컨대, 머신 러닝 모델은 수술 페이즈를 시작하는 알려진 이벤트를 포함하는 이력 수술 푸티지를 사용하여 트레이닝될 수 있다.
추가로, 개시된 실시예는 적어도 하나의 페이즈의 적어도 하나의 종료를 결정하는 것을 포함할 수 있고, 도출된 이미지-기반 정보는 결정된 종료에 기반할 수 있다. 수술 페이즈의 종료는 수술 푸티지 내에서 수술 페이즈의 종료 위치를 검출함으로써 결정될 수 있다. 다양한 실시예에서, 시간 마커는 각각의 식별된 페이즈의 종료와 연관될 수 있다(예컨대, 시간 마커는 수술 푸티지 내의 수술 페이즈의 종료 위치와 연관될 수 있음). 위에서 논의된 바와 같이, 종료 마커는 시작 마커와 동일한 방식으로 기록될 수 있고, 임의의 적절한 영숫자 식별자 또는 임의의 다른 데이터 식별자에 의해 특징지어질 수 있다. 예컨대, 수술 푸티지는 연속적인 수술 페이즈의 개시를 식별하기 위해 분석될 수 있고, 하나의 페이즈의 종료는 연속적인 수술 페이즈의 개시와 동일할 수 있다. 다른 예에서, 특정 의료 기구가 비디오 푸티지에 마지막으로 나타날 때 페이즈가 종료될 수 있고, 객체 검출 알고리즘은 수술 푸티지에서 특정 의료 기구의 마지막 출현을 식별하는 데 사용될 수 있다.
수술 절차의 수술후 리포트를 자동으로 채우기 위한 실시예는 또한, 의료 서비스 제공자에게 데이터를 송신하는 것을 포함할 수 있으며, 송신된 데이터는 환자 식별자 및 도출된 이미지-기반 정보를 포함한다. 수술 절차 동안 또는 그 후에, 수술 절차 동안 캡처된 비디오가 환자의 연관된 수술 기록을 채우기 위해 의료 서비스 제공자에게 송신될 수 있다. 비디오가 적합한 기록을 채우는 것을 보장하기 위해, 환자 식별자는 송신에서 비디오를 동반할 수 있다. 일부 실시예에서, 이는, 인간의 개입 없이, 수술 기록이 비디오로 자동으로 업데이트되는 것을 가능하게 할 수 있다. 다른 실시예에서는, 송신 및/또는 수신 단에서, 인간이 송신할 비디오를 선택하거나, 환자의 의료 기록으로의 통합을 위해 비디오를 받아들일 수 있다. 일부 경우에, 데이터를 송신하는 것은 데이터를 설명하는 문서의 물리적 카피(copy)(예컨대, 종이 카피, CD-ROM, 하드 드라이브, DVD, USB 드라이브 등)를 우편 발송(또는 직접 전달)하는 것을 수반할 수 있다. 추가적으로 또는 대안적으로, 데이터를 송신하는 것은 건강 보험 제공자 또는 의료 과실 보험업자(medical malpractice carrier) 중 적어도 하나에 데이터를 송신하는 것을 포함할 수 있다.
본 개시내용의 양상은 수술후 치료를 위한 적어도 하나의 추천을 식별하기 위해 수술 푸티지를 분석하는 것; 및 식별된 적어도 하나의 추천을 제공하는 것을 포함할 수 있다. 앞서 설명된 바와 같이, 수술 푸티지는 다양한 방식으로(예컨대, 머신-러닝 방법을 사용하여, 의료 서비스 제공자 등에 의해) 분석될 수 있다. 다양한 실시예에서, 머신-러닝 방법은 비디오 프레임 내의 이벤트를 인식하도록 구성될 수 있을 뿐만 아니라, 수술 푸티지의 분석에 기반하여 수술 절차의 다양한 양상에 관한 결론을 형성하도록 구성될 수 있다. 예컨대, 수술후 상처 관리는 수술 상처의 성질에 의존하여 변할 수 있다. 비디오 분석은 그 성질을 결정할 수 있고, 또한 상처 부위의 수술후 치료에 대한 추천을 제공할 수 있다. 이러한 정보는 수술 기록에 송신되어 저장될 수 있다. 일부 경우에, 머신-러닝 방법은 수술중 이벤트(예컨대, 부작용 이벤트)를 식별할 수 있고, 특정 수술후 치료가 필요한 이러한 이벤트에 대한 표시를 제공할 수 있다. 이는 머신 러닝을 통해 분석될 수 있고, 수술후 치료에 대한 추천이 자동으로 제공될 수 있다. 일 예에서, 수술 푸티지에서 식별된 제1 수술 이벤트에 대한 응답으로, 수술후 치료에 대한 제1 추천이 식별될 수 있고, 수술 푸티지에서 식별된 제2 이벤트에 대한 응답으로, 수술후 치료에 대한 제2 추천이 식별될 수 있으며 제2 추천은 제1 추천과 상이할 수 있다. 일 예에서, 수술 푸티지에서 식별된 해부학적 구조의 제1 상태에 대한 응답으로, 수술후 치료에 대한 제1 추천이 식별될 수 있고, 수술 푸티지에서 식별된 해부학적 구조의 제2 상태에 대한 응답으로, 수술후 치료에 대한 제2 추천이 식별될 수 있으며, 제2 추천은 제1 추천과 상이할 수 있다. 일부 예에서, 머신 러닝 모델은 수술 이미지 및/또는 수술 비디오로부터 수술후 치료에 대한 추천을 생성하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수술 푸티지를 분석하고 적어도 수술 푸티지를 식별하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는 수술 절차에 대응하는 수술후 치료에 대한 원하는 추천을 표시하는 라벨과 함께, 수술 절차의 적어도 일부의 이미지 또는 비디오를 포함할 수 있다.
이러한 추천은 물리 치료, 약제 추가 신체 검사, 수술 절차에 대한 후속 조치 등을 제안하는 것을 포함할 수 있다. 일부 경우에, 추천은 의료 활동과 직접적으로 관련될 수 있는 것이 아니라, 식이 추천, 수면 추천, 신체 활동에 대한 추천, 또는 스트레스 관리에 대한 추천을 포함할 수 있다. 다양한 실시예에서, 식별된 추천은 환자에 대한 수술후 치료를 담당하는 의료 서비스 전문가에게 제공될 수 있다. 추가적으로 또는 대안적으로, 추천은 환자, 가족 구성원, 친구 등일 수 있는 제3 자에게 제공될 수 있다.
일 실시예에서, 수술 푸티지의 분석은 수술 절차의 정해진 시간 동안, 의사가 예컨대, 에너지(energy) 디바이스를 사용하여 환자의 장에 너무 가깝게 작업했을 수 있음을 식별하는 것을 포함할 수 있다. 이러한 이벤트가 (예컨대, 객체 검출 알고리즘을 사용하여, 트레이닝된 머신 러닝 모델 등을 사용하여) 식별될 때, 수술 푸티지를 추가로 분석하고 치명적인 수술후 이벤트(예컨대, 출혈, 심정지 등)를 피하기 위해 계획된 특별한 절차를 갖도록 의사(또는 환자의 수술후 치료를 감독하는 임의의 다른 의료 서비스 전문가)에게 경고하기 위해 통지(예컨대, 푸시 통지)가 전송될 수 있다.
다양한 실시예에서, 수술 절차의 수술후 리포트를 채우는 것은, 의료 서비스 제공자가 수술후 리포트에서 도출된 이미지-기반 정보의 적어도 일부를 변경하는 것을 가능하게 하는 것을 포함할 수 있다. 예컨대, 의료 서비스 제공자(또한 의료 서비스 전문가로 지칭됨)는 수술후 리포트에 정보를 디스플레이하도록 구성된 소프트웨어 애플리케이션을 통해 수술후 리포트에 액세스할 수 있다. 다양한 실시예에서, 의료 서비스 전문가는 수술후 리포트 내의 일부 또는 모든 필드를 변경하는 것이 가능해질 수 있다. 일부 실시예에서, 특정 필드는 관리 권한 없이는 변경 불가능한 것으로 잠길 수 있다. 변경 가능한 필드의 예는 (예컨대, 키보드, 마우스, 마이크로폰 등을 통해 새로운 데이터를 입력함으로써 변경 가능한) 텍스트-기반 데이터, (예컨대, 수술 절차와 관련된 하나 이상의 이미지를 업로드하거나, 하나 이상의 이미지 위에 정보를 오버레이하는 등에 의해) 이미지 데이터, (예컨대, 수술 절차와 관련된 하나 이상의 비디오를 업로드하거나, 하나 이상의 비디오의 하나 이상의 프레임 위에 정보를 오버레이하는 등에 의해) 비디오 데이터, 오디오 데이터(예컨대, 수술 절차 동안 캡처된 오디오 데이터 등)를 보유하는 필드들일 수 있다.
다양한 실시예에서, 수술후 리포트에 대한 업데이트는 버전 추적 시스템을 사용하여 추적될 수 있다. 예시적인 실시예에서, 버전 추적 시스템은 수술후 리포트를 채우기 위해 이전에 사용된 모든 데이터를 유지할 수 있다. 버전 추적 시스템은 수술후 리포트의 상이한 버전 간의 차이를 추적하도록 구성될 수 있고, 보고를 변경한 당사자에 관한 정보(예컨대, 의료 서비스 전문가의 이름, 업데이트 시간 등)를 추적하도록 구성될 수 있다.
일부 실시예에서, 수술 절차의 수술후 리포트를 채우는 것은, 도출된 이미지-기반 정보의 적어도 일부가 수술후 리포트에서 자동으로 생성된 데이터로서 식별되게 하도록 구성될 수 있다. 다양한 실시예에서, 도출된 이미지-기반 정보가 수술후 리포트를 채우기 위해 사용되므로, 리포트를 채우는 것은 도출된 이미지-기반 정보가 어떻게 생성되었는지를 식별하는 것을 포함할 수 있다. 예컨대, 상승된 심박수가 혈관에서 검출된 맥박의 컴퓨터 비전 분석을 사용하여 결정되었다면, 그 결정의 소스는 비디오 결정에 기반하는 것으로 노트될 수 있다. 유사하게, 비디오 분석은 파열의 결과로서 혈액 손실의 볼륨을 자동으로 추정할 수 있고, 수술 리포트는 추정된 손실과 함께, 손실의 볼륨이 비디오 분석에 기반한 추정임을 노트할 수 있다. 실제로, 비디오 분석으로부터 도출된 임의의 표시는 데이터의 소스를 반영하기 위해 임의의 텍스츄얼, 그래픽 또는 아이콘 기반 정보를 사용하여 수술후 리포트에서 그렇게 노트될 수 있다. 예컨대, 비디오로부터 도출된 데이터 옆에 영화 아이콘이 나타날 수 있다. 대안적으로, 의료 서비스 전문가가 수술 푸티지 내에서 이벤트를 식별하고 식별된 이벤트에 대응하는 수술 푸티지의 세그먼트를 도출된 이미지-기반 정보로서 제공하면, 이러한 정보는 의료 서비스 전문가에 의해 생성된 것으로 간주될 수 있고, 자동으로 생성된 데이터로 분류되지 않을 수 있다.
개시된 실시예는 예컨대, 위에서 설명된 바와 같이, 수술 푸티지 내의 수술 이벤트를 식별하기 위해 수술 푸티지를 분석하는 것을 포함할 수 있다. 이전에 논의된 바와 같이, 분석은 머신 러닝 모델을 사용하여 발생할 수 있다. 식별은 이벤트에 대한 이름과 함께 수술 이벤트가 이미 식별된 이력 데이터로부터 도출될 수 있다. 따라서 머신 러닝을 통해 유사한 이벤트가 검출될 때, 그 이벤트에 대해 이전에 식별된 이름이 현재 이벤트 식별에 유사하게 적용될 수 있다.
추가로, 개시된 실시예에 따르면, 이벤트가 식별될 수 있을 뿐만 아니라, 수술 이벤트의 속성이 또한 식별될 수 있다. 수술 이벤트의 속성은 이벤트의 타입 또는 이벤트를 특징짓는 임의의 다른 정보일 수 있다. 예컨대, 이벤트가 절개라면, 머신-러닝 모델은 이벤트의 타입으로서 "절개"라는 이름, 및 이벤트의 속성으로서 절개의 길이 및 깊이를 리턴하도록 구성될 수 있다. 일부 경우에, 다양한 이벤트에 대한 가능한 타입의 사전결정된 리스트가 머신-러닝 모델에 제공될 수 있고, 머신-러닝 모델은 이벤트를 정확하게 특징짓기 위해 이벤트 타입의 리스트로부터 타입을 선택하도록 구성될 수 있다. 속성의 수는 식별된 이벤트의 타입에 기반하여 변할 수 있다. 일부 다소 간단한 이벤트는 연관된 특성의 비교적 짧은 리스트를 가질 수 있는 한편, 다른 이벤트는 다수의 더 연관된 대안적인 속성을 가질 수 있다.
논의된 바와 같이, 머신-러닝 모델은 이벤트를 식별(또는 결정)하기 위해 예시를 사용하여 트레이닝된 모델로, 이벤트를 식별하기 위한 하나의 방법이다. 트레이닝은 임의의 적절한 접근법, 이를테면 예컨대, 지도 학습 접근법을 수반할 수 있다. 예컨대, 이벤트에 대응하는 특징을 보유하는 이력 수술 푸티지가 머신 러닝 모델에 대한 입력 데이터로서 제공될 수 있고, 머신-러닝 모델은 푸티지 내의 특징에 대응하는 이벤트의 이름을 출력할 수 있다. 머신-러닝 모델의 다양한 파라미터는 이력의 시각적 데이터 내의 특징에 대응하는 이벤트를 정확하게 식별하기 위해 머신-러닝 모델을 트레이닝하도록 조정될 수 있다. 예컨대, 머신-러닝 모델이 뉴럴 네트워크인 경우, 이러한 뉴럴 네트워크의 파라미터(예컨대, 네트워크의 가중치, 뉴런의 수, 활성화 함수, 네트워크의 바이어스, 네트워크 내의 층의 수 등))가 임의의 적절한 접근법을 사용하여 조정될 수 있다(예컨대, 뉴럴 네트워크의 가중치는 역전파 프로세스를 사용하여 조정될 수 있음).
일 실시예에서, 이벤트는 의료 전문가(예컨대, 의사)에 의해 식별될 수 있고, 이벤트는 이벤트의 발생 시에 태깅될 수 있다. 머신 러닝 모델이 수술 활동을 잠재적으로 관심있는 것으로 식별하지만 활동에 대한 연관된 이름이 없는 경우, 연관된 푸티지가 저장될 수 있고, 사용자는 나중에 연관된 이름을 제공하도록 촉구될 수 있다.
일부 경우에, 의사는 후속 식별을 위해 수술 절차 동안 이벤트를 마킹할 수 있다. 예컨대, 의사는, 하나 이상의 이미지 센서/오디오 센서에 의해 캡처되고 이벤트에 대한 트리거로서 인식될 수 있는 시각적 또는 오디오 신호(예컨대, 손 제스처, 신체 제스처, 의료 기구에 의해 생성된 광원에 의해 생성된 시각적 신호, 발화된 단어 등)를 사용하여 이벤트를 마킹할 수 있다.
다양한 실시예에서, 도출된 이미지-기반 정보는 식별된 수술 이벤트 및 이벤트의 식별된 속성에 기반할 수 있다. 이벤트 및 이벤트의 하나 이상의 속성이 앞서 논의된 바와 같이 식별된 후에, 이벤트 또는 속성 단독으로부터 도출 가능하지 않았을 수 있는 이미지-기반 정보를 결정하기 위해, 이들의 조합이 분석될 수 있다. 예컨대, 특정 이벤트의 특정 특성이 수술후 합병증의 알려진 위험과 연관되면, 그 위험이 결정되어 이미지-기반 정보에 포함될 수 있다. 대안적으로, 예로서, 도출된 이미지-기반 정보는 이벤트의 이름, 이벤트에 대응하는 수술 푸티지의 세그먼트, 이벤트 동안 사용된 수술 기구의 이름 및/또는 이미지, 이벤트 동안 수술되는 해부학적 구조의 이름 및/또는 이미지, 수술 기구와 해부학적 구조의 상호작용의 이미지, 이벤트에 대한 지속기간 시간, 및/또는 비디오로부터 도출된 임의의 다른 정보 중 하나 이상을 포함할 수 있다.
언급된 바와 같이, 수술 푸티지는 식별된 수술 이벤트의 이벤트 이름을 결정하기 위해 분석될 수 있다. 위에서 설명된 바와 같이, 이벤트 이름은 적절한 머신-러닝 모델을 사용하여 결정될 수 있다. 대안적으로, 이벤트의 이름은 의료 서비스 전문가에 의해 식별될 수 있다. 다양한 실시예에서, 도출된 이미지-기반 정보는 결정된 이벤트 이름을 포함할 수 있다.
개시된 실시예의 양상은 또한, 식별된 수술 이벤트와 시간 마커를 연관시키는 것을 포함할 수 있다. 시간 마커를 식별된 수술 이벤트와 연관시키는 프로세스는 시간 마커를 수술 절차의 페이즈와 연관시키는 프로세스와 유사할 수 있다. 예컨대, 시간 마커는 수술 절차의 이벤트의 개시(예컨대, 수술 푸티지 내의 수술 이벤트의 개시 또는 일부 다른 중간 위치 또는 위치의 범위)와 연관될 수 있다. 시간 마커는 임의의 적절한 영숫자 식별자, 또는 임의의 다른 그래픽 또는 데이터 식별자일 수 있다. 예컨대, 시간 마커는 수술 절차의 일부 또는 전부의 활성 또는 정적 타임라인 상에 나타나는 아이콘 또는 다른 그래픽일 수 있다. 활성인 경우, 시간 마커는 연관된 이벤트의 푸티지가 제공되게 하기 위해 클릭 가능(또는 그렇지 않으면 선택가능)할 수 있다. 마커는, 푸티지 상의 텍스츄얼 또는 그래픽 오버레이를 통해 또는 재생 프리젠테이션을 위해 임베딩된 식별 오디오 표시자를 통해, 푸티지에 나타나게 될 수 있다. 이러한 표시자는 시간 데이터(발생 시간 또는 시간 범위), (이벤트가 발생한) 위치 데이터 또는 (발생의 속성을 설명하는) 특징 데이터와 같은 하나 이상의 정보를 포함할 수 있다. 일부 상황에서, 시간 마커는 이벤트의 종료와 연관될 수 있다(예컨대, 시간 마커는 수술 푸티지 내의 이벤트의 종료 위치와 연관될 수 있음). 도출된 이미지-기반 정보는 다수의 이벤트에 대한 그리고/또는 이벤트 내의 다수의 위치에 대한 다수의 시간 마커를 포함할 수 있다.
일부 실시예에서, 도출된 이미지-기반 정보를 제공하는 것은 전자 의료 기록을 업데이트하는 것을 가능하게 하는 형태로 발생할 수 있다. 예컨대, 도출된 이미지-기반 정보는, 전자 의료 기록을 저장하고 디스플레이할 수 있는 소프트웨어 애플리케이션(예컨대, 의료 기록을 저장 및 디스플레이하기 위한 독립형 애플리케이션, 데이터베이스에 저장된 정보를 사용하여 의료 기록을 디스플레이하기 위한 웹-인터페이스 등)에 업로드될 수 있는 형태일 수 있는 텍스트 데이터, 이미지 데이터, 비디오 데이터, 오디오 데이터 등을 포함할 수 있다. 다양한 실시예에서, 의료 기록을 저장 및 디스플레이하기 위한 소프트웨어 애플리케이션은 도출된 이미지-기반 정보를 사용하여 전자 의료 기록을 업데이트하기 위한 인터페이스를 포함할 수 있다. 인터페이스는 이미지, 비디오 및 오디오 데이터를 업로드하기 위한, 텍스트 데이터를 업로드하기 위한, 텍스트 데이터를 전자 의료 기록에 타이핑하기 위한, 컴퓨터 마우스를 사용하여 전자 의료 기록을 업데이트하기 위한 등의 그래픽 사용자 엘리먼트를 포함할 수 있다.
다양한 실시예에서, 도출된 이미지-기반 정보는 사용자 입력에 부분적으로 기반할 수 있다. 예컨대, 의료 서비스 전문가와 같은 사용자는 예컨대, 위에서 설명된 바와 같이, 수술 푸티지가 캡처되고 있는 동안 입력을 제공할 수 있고, 도출된 이미지-기반 정보는 이러한 입력에 부분적으로 기반할 수 있다. 예컨대, 이러한 입력은 수술 푸티지 내의 특정 시점을 표시할 수 있다.
다양한 실시예에서, 도출된 이미지-기반 정보는 수술 절차의 제1 부분과 연관된 제1 부분 및 수술 절차의 제2 부분과 연관된 제2 부분을 포함할 수 있다. 이미지-기반 정보를 부분으로 분리하는 것은 이미지-기반 정보를 분류하는 것을 가능하게 할 수 있다. 예컨대, 수술 절차의 제1 부분이 다수의 절개부를 만드는 것을 수반하고 수술 절차의 제2 부분이 봉합술을 수반하면, 이러한 부분은 수술 절차의 그러한 부분을 분류하는 데 사용될 수 있다. 일부 경우에, 수술 절차의 제1 부분 동안, 제1 세트의 센서가 이미지-기반 정보를 수집하는 데 사용될 수 있고, 수술 절차의 제2 부분 동안, 상이한 세트의 센서가 이미지-기반 정보를 수집하는 데 사용될 수 있다. 예컨대, 제1 부분 동안, 수술 기구 상에 위치된 이미지 센서가 수술 푸티지를 캡처하는 데 사용될 수 있고, 수술 절차의 제2 부분 동안, 오버헤드 이미지 센서(즉, 수술대 위에 위치된 이미지 센서)가 수술 푸티지를 캡처하는 데 사용될 수 있다.
다양한 실시예에서, 수술후 리포트는 수술 절차의 제1 부분에 대응하는 제1 부분 및 수술 절차의 제2 부분에 대응하는 제2 부분을 포함할 수 있다. 수술후 리포트의 제1 부분의 시작은 제1 포지션에 의해 표시될 수 있다(예컨대, 제1 포지션은 데이터 파일 내의 포인터, 텍스트 파일 내의 커서의 위치, 데이터베이스 내의 데이터 기록 등일 수 있음). 수술후 리포트의 제2 부분의 시작은 제2 포지션에 의해 표시될 수 있으며, 이는 수술후 리포트의 제2 부분의 시작 포인트인, 파일 내의 위치의 임의의 적절한 표시일 수 있다(예컨대, 제1 포지션은 데이터 파일 내의 포인터, 텍스트 파일 내의 커서의 위치, 데이터베이스 내의 데이터 기록 등일 수 있음). 다양한 실시예에서, 수술후 리포트는 수술 절차의 대응하는 부분에 기반하여 부분으로 분리될 수 있다. 예시적인 실시예에서, 머신-러닝 방법(또는 의료 서비스 제공자)은 수술 절차의 부분을 식별하고, 이러한 식별된 부분을 갖도록 수술후 리포트를 구성할 수 있다. 수술후 리포트는 2개의 부분으로 제한될 수 있는 것이 아니라, 2개보다 더 많은 또는 더 적은 부분을 포함할 수 있다.
개시된 실시예의 양상은 예비 수술후 리포트를 수신하는 것을 포함할 수 있다. 수술후 리포트는 조직이든, 개인이든, 또는 컴퓨터이든, 임의의 엔티티(예컨대, 보험 회사 또는 의료 서비스 조직, 의료 서비스 전문가, 또는 수술후 리포트를 채우기 위한 컴퓨터-기반 프로그램, 이를테면 도 24a에 도시된 바와 같은 애플리케이션(2415))에 의해 수신될 수 있다. 다양한 실시예에서, 예비 수술후 리포트를 분석하는 것은, 예비 수술후 리포트 내에서 제1 포지션 및 제2 포지션을 선택하는 것을 수반할 수 있으며, 제1 포지션은 수술 절차의 제1 부분과 연관되고 제2 포지션은 수술 절차의 제2 부분과 연관된다. 이러한 선택은 리포트를 분석하는 누군가(또는 머신)가 리포트의 관심 영역으로 직접 스킵하는 것을 가능하게 할 수 있다. 따라서 예비 수술후 리포트를 분석하는 것은 제1 포지션 및 제2 포지션 중 하나 이상에 대한 표시자를 식별하는 것을 포함할 수 있다. 표시자는 임의의 적절한 영숫자 또는 그래픽 표시자일 수 있다. 예컨대, 제1 포지션에 대한 표시자는 "이는 수술후 리포트의 제1 부분의 시작이다"라는 텍스트 스트링 또는 그래픽 시작 아이콘일 수 있다. 일 예에서, NLP(Natural Language Processing) 알고리즘은 예비 수술후 리포트에 포함된 텍스츄얼 정보를 분석하여, 수술 절차의 상이한 양상(이를테면, 상이한 수술 페이즈, 상이한 수술 이벤트, 상이한 의료 기구의 사용 등)을 논의하는 부분을 텍스트 정보에서 식별하고, 텍스츄얼 정보의 식별된 부분을 수술 절차의 상이한 부분과(예컨대, 대응하는 수술 페이즈, 대응하는 수술 이벤트, 대응하는 의료 기구의 사용 등과) 연관시키는 데 사용될 수 있다. 추가로, 일부 예에서, 예비 수술후 리포트 내의 제1 포지션 및 제2 포지션(뿐만 아니라 추가적인 포지션)은 텍스츄얼 정보의 식별된 부분에 기반하고 그리고/또는 그와 링크될 수 있다.
추가로, 실시예는, 도출된 이미지-기반 정보의 제1 부분이 선택된 제1 포지션에 삽입되게 하고, 도출된 이미지-기반 정보의 제2 부분이 선택된 제2 포지션에 삽입되게 하는 것을 포함할 수 있다. 예컨대, 수술후 리포트의 제1 부분은 수술 절차의 제1 부분 동안 캡처된 도출된 이미지-기반 정보에 의해 채워질 수 있는 제1 세트의 필드를 포함할 수 있고, 수술후 리포트의 제2 부분은 수술 절차의 제2 부분 동안 캡처된 도출된 이미지-기반 정보에 의해 채워질 수 있는 제2 세트의 필드를 포함할 수 있다. 다른 예에서, 도출된 이미지-기반 정보의 제1 부분은 수술 절차의 제1 부분에 대응할 수 있고, 도출된 이미지-기반 정보의 제2 부분은 수술 절차의 제2 부분에 대응할 수 있으며, 예비 수술후 리포트 내의 제1 포지션은 (위에서 설명된 바와 같이) 수술 절차의 제1 부분에 대응하는 것으로 식별될 수 있고, 예비 수술후 리포트 내의 제2 포지션은 (위에서 설명된 바와 같이) 수술 절차의 제2 부분에 대응하는 것으로 식별될 수 있으며, 응답으로, 도출된 이미지-기반 정보의 제1 부분은 제1 포지션에 삽입될 수 있고, 도출된 이미지-기반 정보의 제2 부분은 제2 포지션에 삽입될 수 있다. 수술 절차의 제1 부분 및 제2 부분의 일부 비-제한적인 예는 상이한 수술 페이즈, 상이한 수술 이벤트, 상이한 의료 기구의 사용, 상이한 액션 등을 포함할 수 있다.
본 개시내용의 양상은 또한, 수술 푸티지의 적어도 하나의 프레임의 적어도 일부를 선택하기 위해 수술 푸티지를 분석하는 것; 및 수술 푸티지의 적어도 하나의 프레임의 선택된 적어도 일부가 수술 절차의 수술후 리포트에 포함되게 하는 것을 포함할 수 있다. 예컨대, 수술후 리포트가 수술 절차 동안 사용되는 수술 기구의 하나 이상의 이미지를 홀딩하도록 구성된 필드를 포함하면, 예시적인 머신-러닝 모델은 수술 푸티지의 하나 이상의 프레임을 식별하고 수술 기구를 보유하는, 식별된 프레임의 부분을 선택하도록 구성될 수 있다. 추가로, 적어도 하나의 프레임의 선택된 부분(또는 부분들)은 수술후 리포트에 삽입(예컨대, 채워짐)될 수 있다. 머신-러닝 모델은 또한, 수술 푸티지의 다른 관련있는 프레임을 추출하도록 구성될 수 있다. 예컨대, 수술의 포커스인 해부학적 구조를 묘사하는 수술 푸티지의 프레임, 또는 수술 기구와 해부학적 구조 간의 상호작용을 묘사하는 프레임이 추출될 수 있다. 이러한 관련있는 프레임은 또한 수술후 리포트를 채울 수 있다.
개시된 실시예는 또한, 예비 수술후 리포트를 수신하는 것, 및 수술 푸티지의 적어도 하나의 프레임의 적어도 일부를 선택하기 위해 예비 수술후 리포트 및 수술 푸티지를 분석하는 것을 포함할 수 있다. 예컨대, 머신-러닝 모델은 수술후 리포트를 분석하고 부작용 이벤트(예컨대, 출혈)의 논의를 식별하도록 구성될 수 있다. 부작용 이벤트는 예컨대, 수술후 리포트에 저장된 표시를 통해, NLP 알고리즘을 사용하는 등으로 식별될 수 있다. 표시는 예컨대, 부작용 이벤트의 이름의 표시일 수 있다. 이는 수술 절차 동안 부작용 이벤트가 발생한 시간을 포함할 수 있다. 부작용 이벤트는, 수술 절차에 대한 수술 푸티지를 리트리브하고, 부작용 이벤트를 표현하는 시각적 데이터를 보여주는 프레임의 부분(예컨대, 출혈을 보여주는 프레임의 부분)을 식별하도록 구성된 머신-러닝 모델을 사용하여 결정될 수 있다. 추가로, 일부 예에서, 프레임의 식별 부분은 부작용 이벤트의 논의와 관련하여 수술후 리포트에 삽입될 수 있거나, 다른 방식으로 부작용 이벤트의 논의와 연관될 수 있다.
개시된 실시예의 추가적인 양상은, 예비 수술후 리포트와 수술 푸티지 간의 적어도 하나의 불일치를 식별하기 위해 예비 수술후 리포트 및 수술 푸티지를 분석하는 것을 포함할 수 있다. 다양한 실시예에서, 불일치는 보고에 저장된 정보를 에러를 결정하는 머신 러닝 모델을 통해 도출된 정보와 비교함으로써 결정될 수 있다. 예시 목적으로, 의료 전문가가 리포트에서 수술 부위가 봉합으로 닫혔음을 표시할 때, 가상의 무한한 수의 잠재적인 불일치 중 하나가 발생할 수 있는 한편, 비디오는 그 부위가 스테이플(staple)로 닫혔음을 드러낸다. 비디오 폭로(revelation)는 예컨대, 수술후 리포트가 연관된 절차의 비디오 푸티지와 비교되는 컴퓨터-기반 소프트웨어 애플리케이션(예컨대, 도 24a에 도시된 바와 같은 애플리케이션(2415))으로 발생할 수 있다. 차이가 주목되면, 컴퓨터-기반 소프트웨어 애플리케이션은 에러의 소스를 결정할 수 있고, 에러를 노트할 수 있고, 에러의 통지를 전송할 수 있고, 그리고/또는 에러를 자동으로 보정할 수 있다. 예컨대, 애플리케이션은 예비 수술후 리포트를 생성하는 어떤 단계에서 차이가 처음 나타났는지를 식별하기 위해 (예컨대, 위에서 설명된 바와 같이, 버전 추적 시스템을 사용하여) 예비 수술후 리포트의 다양한 버전을 분석할 수 있다.
이전에 언급된 바와 같이, 본 개시내용의 실시예는 식별된 적어도 하나의 불일치의 표시를 제공하는 것을 포함할 수 있다. 위에서 논의된 바와 같이, 임의의 적절한 수단을 사용하여 의료 서비스 전문가에게 통지를 송신함으로써 표시가 제공될 수 있다.
다양한 실시예는 이전에 설명된 바와 같이, 환자 식별자의 입력 및 의료 서비스 제공자의 식별자의 입력을 수신하는 것을 포함할 수 있다. 추가로, 이 방법은 이전에 설명된 바와 같이, 의료 서비스 제공자에 의해 환자에 대해 수행된 수술 절차의 수술 푸티지의 입력을 수신하는 단계를 포함할 수 있다. 이 방법은 또한, 의료 기구와 생물학적 구조 간의 검출된 상호작용에 기반하여 수술 절차의 페이즈를 식별하고, 상호작용에 기반하여, 각각의 식별된 페이즈와 이름을 연관시키기 위해 수술 푸티지의 복수의 프레임을 분석하는 단계를 포함할 수 있다. 예컨대, 수술 푸티지의 프레임 중 적어도 일부는, 생물학적 구조(본원에서는, 해부학적 구조로 또한 지칭됨)에 대해 외과 수술이 수행되고 있는 수술 푸티지의 부분을 표시할 수 있다. 위에서 논의된 바와 같이, 상호작용은 생물학적 구조에 영향을 줄 수 있는 의료 기구에 의한 임의의 액션을 포함할 수 있거나, 그 반대의 경우도 마찬가지이다. 예컨대, 상호작용은 의료 기구와 생물학적 구조 간의 접촉, 생물학적 구조에 대한 의료 기구에 의한 액션(이를테면, 절단, 클램핑, 파지, 압력 인가, 스크래핑 등), 생물학적 구조에 의한 생리학적 반응, 생물학적 구조를 향해 광을 방출하는 의료 기구(예컨대, 수술 기구는 생물학적 구조를 향해 광을 방출하는 레이저일 수 있음), 해부학적 구조를 향해 방출되는 사운드, 생물학적 구조에 근접하게 생성되는 전자기장, 생물학적 구조로 유도되는 전류, 또는 임의의 다른 적절한 형태의 상호작용을 포함할 수 있다.
일부 경우에, 상호작용을 검출하는 것은 생물학적 구조에 대한 의료 기구의 근접도를 식별하는 것을 포함할 수 있다. 예컨대, 수술 비디오 푸티지를 분석함으로써, 이미지 인식 모델은 의료 기구와 생물학적 구조 상의 포인트(또는 한 세트의 포인트) 간의 거리를 결정하도록 구성될 수 있다.
본 개시내용의 양상은 의료 기구와 생물학적 구조 간의 검출된 상호작용에 기반하여 각각의 식별된 페이즈와 이름을 연관시키는 것을 수반할 수 있다. 이름은 임의의 적절한 수단을 사용하여 각각의 식별된 페이즈와 연관될 수 있다. 예컨대, 위에서 설명된 바와 같이, 이름은 사용자에 의해 공급될 수 있거나, 위에서 설명된 바와 같이, 적합한 머신 러닝 방법을 사용하여 자동으로 결정될 수 있다. 특히, 수술 절차의 페이즈를 식별하는 프로세스는 이름을 각각의 식별된 페이즈와 연관시키는 것을 수반한다. 다양한 실시예에서, 페이즈와 연관된 이름은 생물학적 구조에 대한 이름 및 구조와 상호작용하는 수술 기구의 이름을 포함할 수 있다.
다양한 실시예에서, 식별된 페이즈와 연관된 이름은 진행중인 수술 페이즈 동안 또는 수술 페이즈의 완료 후에 업데이트, 수정, 정량화 또는 달리 변경될 수 있다. 예컨대, 머신 러닝 모델은 초기에 수술 페이즈에 대한 이름을 "절개(incision)"로서 결정할 수 있고, 나중에 의료 기구와 생물학적 구조 간의 검출된 상호작용에 기반하여, 수술 페이즈의 이름을 예시적인 이름인 "복강경 가위를 사용하여 복강경 수술을 통해 이루어지는, 복직근을 향해 내측으로 확장되는 란츠 절개(a Lanz incision extending medially towards rectus abdominis, made via laparoscopic surgery using laparoscopic scissors)"로 업데이트할 수 있다. 추가적으로 또는 대안적으로, 수술 페이즈를 식별하는 이름에 별개의 기록(본원에서는 또한 메모로 지칭됨)이 추가될 수 있으며, 메모는 수술 페이즈의 다양한 세부사항 및/또는 특성을 보유한다. 이러한 세부사항은 수술 페이즈 동안 사용된 기구, 수술 페이즈 동안 사용된 광, 예시적인 생물학적 구조에 인가된 압력에 대한 압력 값, 압력이 인가된 영역, 생물학적 구조의 하나 이상의 이미지 및/또는 수술 페이즈 동안의 의료 기구, 이벤트(예컨대, 출혈과 같은 부작용 이벤트)에 대한 식별, 또는 수술 페이즈를 특징짓는 임의의 다른 관련된 정보를 포함할 수 있다.
본 개시내용의 양상은 또한, 데이터를 의료 서비스 제공자에게 송신하는 것을 수반할 수 있고, 송신된 데이터는 환자 식별자, 수술 절차의 식별된 페이즈의 이름, 및 식별된 페이즈와 연관된 시간 마커를 포함한다.
실시예는 위에서 논의된 바와 같이, 각각의 식별된 페이즈의 적어도 개시를 결정하는 것, 및 시간 마커를 각각의 식별된 페이즈의 개시와 연관시키는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 시간 마커는 위에서 논의된 바와 같이, 식별된 페이즈의 종료를 식별할 수 있다. 송신된 데이터는 텍스트, 그래픽, 비디오 데이터, 애니메이션, 오디오 데이터 등을 포함할 수 있다. 일부 경우에, 송신된 데이터는 다양한 의료 서비스 제공자(예컨대, 다양한 의료인, 관리자, 및 다른 관심있는 개인 또는 시스템) 소유의 임의의 적절한 디바이스(예컨대, 스마트폰, 랩톱, 데스크톱, TV 등)에 전달되는 SMS 메시지, 이메일 등일 수 있다. 일부 경우에, 송신된 데이터는 또한 환자, 환자의 친척 또는 친구에게 제공될 수 있다.
추가로, 본 개시내용의 양상은, 의료 서비스 제공자가 수술후 리포트에서 페이즈 이름을 변경할 수 있게 하는 방식으로 수술후 리포트를 송신된 데이터로 채우는 것을 포함할 수 있다. 이러한 변경은 수술후 리포트 변경을 가능하게 하는 인터페이스를 통해 발생할 수 있다. 예컨대, 인터페이스는 의료 서비스 제공자가 키보드를 사용하여 새로운 페이즈 이름을 타이핑함으로써 페이즈 이름을 업데이트하는 것을 허용할 수 있다. 다양한 실시예에서, 인터페이스는 또한 수술 푸티지에서 식별되고 수술후 리포트에 기록되는 다양한 이벤트의 이름을 변경하도록 구성될 수 있다.
개시된 시스템 및 방법은 수술 절차 동안 이벤트를 식별하기 위해 수술 푸티지를 분석하는 것, 이벤트를 추천된 이벤트의 시퀀스와 비교하는 것, 및 추천된 이벤트의 시퀀스로부터의 임의의 이벤트가 수술 절차 동안 수행되지 않았는지 여부를 결정하는 것을 수반할 수 있다. 생략된 수술 이벤트는 수술 절차 동안 또는 수술 절차 후에 식별되는 것이 필요할 수 있다. 이벤트는 추천된 이벤트의 시퀀스와 비교될 수 있고, 추천된 이벤트의 시퀀스와 비교함으로써 결정된 바와 같이, 수술 절차 동안 일부 이벤트가 수행되지 않았을 때, 어느 이벤트가 생략되었는지를 표시하기 위한 통지가 제공될 수 있다. 따라서 수술 푸티지를 분석하고 수술 절차 동안 생략된 이벤트를 식별할 필요가 있다.
본 개시내용의 양상은, 관련된 방법, 시스템, 장치, 및 컴퓨터-판독가능 매체를 포함하는, 수술 절차에서 생략된 이벤트의 결정 및 통지를 가능하게 하는 것에 관한 것일 수 있다.
논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자적 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 기구로 제한되지 않고, 오히려 다수의 다양한 기구를 사용하여 달성될 수 있다.
개시된 실시예는 생략된 이벤트의 결정 및 통지를 가능하게 하는 것을 포함할 수 있고, 이는 특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것을 수반할 수 있다. 본원에서 사용되는 바와 같이, 비디오의 프레임은 이미지 캡처 디바이스에 의해 캡처된 순차적인 또는 비-순차적인 이미지를 포함할 수 있다. 이러한 이미지는, 도 1과 관련하여 위에서 설명된 바와 같이, 예컨대 카메라(115, 121, 123 및/또는 125)에 의해 캡처될 수 있다. 일부 경우에, 비디오의 프레임은 비디오에 대한 사운드트랙을 형성하는 대응하는 오디오 신호를 가질 수 있으며, 오디오 신호는 오디오 캡처 디바이스(예컨대, 도 1에 도시된 바와 같은 마이크로폰(D111))에 의해 캡처된다. 비디오 프레임은 개별 파일로 저장되거나, 또는 대응하는 오디오 데이터를 포함할 수 있는 결합된 포맷(이를테면, 비디오 파일)으로 저장될 수 있다. 일부 실시예에서, 비디오는 원시 데이터 및/또는 이미지 캡처 디바이스로부터 출력된 이미지로 저장될 수 있다. 다른 실시예에서, 비디오 프레임이 프로세싱될 수 있다. 예컨대, 비디오 파일은 AVI(Audio Video Interleave), FLV(Flash Video Format), MOV(QuickTime File Format), MPEG (MPG, MP4, M4P 등), WMV(Windows Media Video), MXF(Material Exchange Format), 비-압축 비디오 파일, 무손실 압축 비디오 파일, 손실 압축 비디오 파일, 또는 임의의 다른 적절한 비디오 파일 포맷을 포함할 수 있다.
본원에서 사용되는 바와 같은 특정 수술 절차는 임의의 의료 액션, 수술, 진단, 또는 다른 의료 관련 절차 또는 액션을 포함할 수 있다. 이러한 절차는, 절단, 절제, 봉합술, 또는 신체 조직 및 장기를 물리적으로 변경하는 것을 수반하는 다른 기법을 포함할 수 있다. 이러한 수술 절차의 일부 예는, 복강경 수술, 흉부 내시경 시술, 기관지경 시술, 현미경 시술, 개복술, 로봇 수술, 충수염 수술, 동맥내막 절제술, 수근관 유리술, 백내장 수술, 제왕절개, 담낭절제술, 대장절제술(이를테면, 부분 대장 절제술, 대장전절제술 등), 관상동맥 우회술, (예컨대, 상처, 화상, 감염 등의) 변연절제술, 유리 식피, 치핵 절제술, 고관절 대체술, 자궁경 수술, 사타구니 탈장 수술, 위소매절제술, 복부 탈장 회복, 무릎 관절경, 슬관절 치환술, 유방절제술(이를테면, 부분 유방절제술, 전유방절제술, 변형 근치 유방절제술 등), 전립선 절제술, 전립선 제거, 어깨 관절경, 척추 수술(이를테면, 척추 고정술, 추궁절제술, 추간공 확장술, 추간판절제술, 디스크 치환술, 추궁판간 이식 등), 편도 절제술, 인공와우 시술, 뇌종양(예컨대, 뇌수막종 등) 절제술, 중재 시술, 이를테면, 경피적 관상동맥 확장술, 경피적 대동맥판막 치환술, 뇌내 출혈 배출을 위한 최소 침습적 수술, 흉부 내시경 시술, 기관지경 검사, 탈장 회복, 자궁절제술(예컨대, 단순 자궁절제술 또는 근치 자궁절제술), 근치 전립선 절제술, 부분 신장 절제술, 갑상선 절제술, 대장반절제술, 또는 일부 형태의 절개, 진단, 치료 또는 조직 변경을 수반하는, 또는 예컨대, 치료, 진단, 약물 투여, 절제, 회복, 이식, 재건 또는 개선을 수반하는 임의의 다른 의료 절차를 포함할 수 있다.
특정 수술 절차와 추천된 이벤트 시퀀스 간의 편차는 수술 절차에 특정할 수 있는데, 이는 각각의 타입의 수술 절차가 그 자신의 추천된 이벤트 시퀀스 중 하나 이상을 수반할 수 있기 때문이다. 하나의 이러한 추천된 시퀀스를 따르지 않을 때, 편차가 발생했다고 할 수 있고, (예컨대, 아래에서 설명되는 바와 같이) 통지가 제공될 수 있다. 예컨대, 일부 쓸개 수술(이를테면, 복강경 또는 로봇 담낭절제술)에서, 편차는 지방 및 섬유질 조직의 간세포 삼각형을 제거하는 것, 간으로부터 쓸개를 분리하는 것, 담낭판을 노출시키는 것을 무시하거나, 쓸개에 들어가는 담낭 동맥 및 담낭관를 식별하는 것의 실패를 포함할 수 있다. 다른 예로서, 일부 충수 수술(이를테면, 복강경 또는 로봇 충수염 수술)에서, 편차는 주변 유착으로부터 충수를 해부하는 것을 무시하는 것을 포함할 수 있거나, 충수에서 원주방향으로 기저부를 식별하는 것의 실패를 포함할 수 있다. 일부 탈장 수술(이를테면, 복강경 복부 탈장 회복)에서, 편차는 탈장 함량을 감소시키는 것을 무시하는 것, 메쉬(mesh)를 앵커링(anchoring)하기 전에 탈장을 둘러싸는 근막을 시각화하는 것을 무시하는 것, 탈장을 둘러싸는 근막을 격리하는 것을 무시하는 것 또는 서혜관(inguinal canal) 엘리먼트를 식별 및/또는 격리하는 것을 무시하는 것 등을 포함할 수 있다. 이러한 서혜관 엘리먼트의 예는 고환 동맥, 덩굴정맥얼기의 정맥, 신경, 맥관 등일 수 있다. 일부 자궁 수술, 이를테면 복강경 단순 자궁절제술에서, 편차는 자궁 동맥을 식별 및/또는 결찰하는 것을 무시하는 것, 요관을 식별하는 것을 무시하는 것 등을 포함할 수 있다. 일부 다른 자궁 수술, 이를테면 로봇 근치 자궁절제술에서, 편차는 장골 혈관을 식별하는 것을 무시하는 것, 폐쇄 신경을 식별하는 것을 무시하는 것 등을 포함할 수 있다. 일부 전립선 수술, 이를테면 로봇 근치 전립선 절제술에서, 편차는 전측 방광 벽에서 방광 목을 식별하는 것을 무시하는 것, 후측 방광 벽에서 방광 목을 식별하는 것을 무시하는 것, 요관 오리피스(orifice)를 식별하는 것을 무시하는 것, 및/또는 다른 해부학적 구조를 식별하는 것을 무시하는 것을 포함할 수 있다. 신장을 수반하는 절차, 이를테면 복강경 또는 로봇 부분 신장 절제술에서, 편차는 신장문(renal hilum)을 식별하는 것을 무시하는 것을 포함할 수 있으며, 여기서 신장문을 식별하는 것을 무시하는 것은 동맥, 정맥, 및 요관을 포함하는 수집 시스템 중 적어도 하나를 식별하는 것을 무시하는 것을 포함할 수 있다. 갑상선 수술, 이를테면 개복 또는 로봇 갑상선 절제술에서, 편차는 반회 신경(recurrent laryngeal nerve)을 식별하는 것을 무시하는 것을 포함할 수 있다. 결장 절차(이를테면, 개복이든, 복강경이든 또는 로봇이든 대장절제술 또는 대장반절제술)에서, 편차는 후복강으로부터 결장을 해부하는 것을 무시하는 것, 간으로부터 결장을 해부하는 것을 무시하는 것, 비장 굴곡으로부터 결장을 해부하는 것을 무시하는 것, 또는 문합(anastomosis)을 수행하는 것을 무시하는 것, 유착이 없는 그리고/또는 장력이 없는 결장을 시각화하는 것을 무시하는 것, 문합을 수행하는 것을 무시하는 것, 장력이 없고 그리고/또는 잘 관류된 그리고/또는 기술적으로 잘 봉합된 문합을 시각화하는 것을 무시하는 것 등을 포함할 수 있다. 앞서 말한 것은 단지 몇 가지 예일 뿐이다. 보다 광범위하게, 예상된 또는 인식된 액션 방침으로부터의 임의의 발산은 편차로 간주될 수 있다.
수술실 또는 임의의 다른 적절한 위치에서 수술 절차가 이루어질 수 있다. 수술실은 무균 환경에서 외과 수술이 수행되는 설비(예컨대, 병원 내의 병실)일 수 있다. 수술실은 조명이 잘되고 오버헤드 무영등을 갖도록 구성될 수 있다. 수술실은 제어된 온도 및 습도를 특징으로 할 수 있고, 창문이 없을 수 있다. 예시적인 실시예에서, 수술실은 오염을 방지하기 위해 공기를 필터링하고 수술실 내에서 약간 상승된 압력을 유지하는 공기 처리기를 포함할 수 있다. 수술실은 정전의 경우에 전기 백업 시스템을 포함할 수 있고, 산소 및 마취 가스의 공급을 포함할 수 있다. 수술실은, 공통 수술 용품을 위한 저장 공간, 일회용품을 위한 용기, 마취 카트, 수술대, 카메라, 모니터, 및 수술을 위한 다른 아이템을 포함할 수 있다. 수술 이전에 의사, 마취사, ODP(operating department practitioner) 및 간호사에 의해 사용되는 전용 스크러빙 영역이 수술실의 일부일 수 있다. 추가적으로, 수술실에 포함된 맵은 단말 세척기가 세척 동안 수술대 및 장비를 원하는 레이아웃으로 재정렬하는 것을 가능하게 할 수 있다. 다양한 실시예에서, 하나 이상의 수술실은 의료 서비스 설비 내에서 별개의 섹션을 형성할 수 있는 수술 스위트의 일부일 수 있다. 수술 스위트는 하나 이상의 세면실, 준비 및 회복실, 저장 및 세척 설비, 사무실, 전용 회랑, 및 가능하게는 다른 지원 유닛을 포함할 수 있다. 다양한 실시예에서, 수술 스위트는 기후 및/또는 공기-제어될 수 있고, 다른 부서로부터 분리될 수 있다.
특정 수술 절차 동안 캡처된 비디오의 비디오 프레임에 액세스하는 것은, 수술실에 위치된 이미지 센서(또는 다수의 이미지 센서)로부터 프레임을 수신하는 것을 포함할 수 있다. 이미지 센서는 이미지 또는 비디오 데이터를 캡처할 수 있는 임의의 검출기일 수 있다. 비디오 프레임은 움직이는 사진, 임의의 지속기간의 클립을 구성하는 다수의 스틸 이미지 중 하나의 적어도 일부를 포함할 수 있다. 비디오의 캡처는 하나 이상의 스틸 이미지 또는 그 부분이 이미지 센서로부터 수신될 때 발생할 수 있다. 대안적으로 또는 추가적으로, 캡처는 하나 이상의 스틸 이미지 또는 그 부분이 저장 위치의 메모리로부터 리트리브될 때 발생할 수 있다. 예컨대, 비디오 프레임은 로컬 하드 드라이브와 같은 로컬 메모리로부터 액세스될 수 있거나, 또는 예를 들어, 네트워크 연결을 통해 원격 소스로부터 액세스될 수 있다. 예시적인 실시예에서, 비디오 프레임은 도 14에 도시된 바와 같이 데이터베이스(1411)로부터 리트리브될 수 있다. 예컨대, 시스템(1410)의 프로세서(1412)는 데이터베이스(1411)로부터 비디오 프레임을 리트리브하기 위한 명령(예컨대, 소프트웨어(1416)로서 구현된 명령)을 실행하도록 구성될 수 있다. 비디오 프레임은 특정 수술 절차를 위해 리트리브될 수 있다.
생략된 이벤트의 결정 및 통지를 가능하게 하기 위한 실시예의 양상은, 수술 절차에 대한 추천된 이벤트 시퀀스를 식별하는 저장된 데이터에 액세스하는 것을 더 포함할 수 있다. 본원에서 사용되는 바와 같이, 수술 절차에 대한 이벤트(수술 이벤트로 또한 지칭됨)는, 의사, 수술 기술자, 간호사, 보조 의사, 마취과 의사, 닥터 또는 임의의 다른 의료 서비스 전문가에 의해 수행되는 액션과 같이, 수술 절차의 일부로서 수행되는 액션(예컨대, 수술중 수술 이벤트)을 지칭할 수 있다. 수술중 수술 이벤트는 계획된 이벤트, 이를테면 절개, 약물 투여, 수술 기구의 사용, 절제, 절제술, 결찰, 이식, 봉합술, 스티칭, 또는 수술 절차 또는 페이즈와 연관된 임의의 다른 계획된 이벤트일 수 있다.
복강경 담낭절제술 수술에서의 수술 이벤트의 예는, 트로카 배치, 칼로트 삼각형 해부, 담낭관 및 동맥의 클립핑 및 절단, 쓸개 해부, 쓸개 패키징, 간 상의 세척 및 응집, 쓸개 수축 등을 포함할 수 있다. 다른 예에서, 백내장 수술의 수술 이벤트는, 포비돈-요오드 주입, 각막 절개, 수정체낭 절개, 수정체 유화, 피질 흡인, 안구내 렌즈 삽입, 안구내-렌즈 조정, 상처 봉합 등을 포함할 수 있다. 또 다른 예에서, 뇌하수체 수술의 수술 특성 이벤트는, 준비, 코 절개, 코 견인기 설치, 종양에 대한 액세스, 종양 제거, 콧대 교체, 봉합술, 코 압박대 장착 등을 포함할 수 있다. 앞서 말한 내용은 수술 절차와 수술 절차 내의 이벤트 간의 구별을 예시하기 위한 단지 몇 가지 예이며, 본원에서 설명되는 실시예의 제한인 것으로 의도되지 않는다. 공통 수술 이벤트의 일부 다른 예는 절개, 복강경 포지셔닝, 봉합 등을 포함할 수 있다.
일부 실시예에서, 수술 이벤트는 계획되지 않은 이벤트, 부작용 이벤트 또는 합병증을 포함할 수 있다. 부작용 수술 이벤트의 일부 예는, 출혈, 장간막 폐기종, 상해, 계획되지 않은 개복술(예컨대, 복부 벽 절개)로의 변환, 계획된 것보다 상당히 큰 절개 등을 포함할 수 있다. 수술중 합병증의 일부 예는, 고혈압, 저혈압, 서맥, 저산소증, 유착, 탈장, 비정형 해부, 경막 찢어짐, 천공 상해, 동맥 폐색 등을 포함할 수 있다. 일부 경우에, 수술 이벤트는, 기술적 에러, 통신 에러, 관리 에러, 판정 에러, 상황 인식 에러, 의사 결정 에러, 의료 장비 활용과 관련된 에러 등을 포함하는 다른 에러를 포함할 수 있다. 다양한 실시예에서, 이벤트는 짧을 수 있거나 일정 시간 지속기간 동안 지속될 수 있다. 예컨대, 짧은 이벤트(예컨대, 절개)는 수술 절차 동안 특정 시간에 발생하는 것으로 결정될 수 있고, 연장된 이벤트(예컨대, 출혈)는 시간 범위에 걸쳐 발생하는 것으로 결정될 수 있다. 일부 경우에, 연장된 이벤트는 잘 정의된 개시 이벤트 및 잘 정의된 종료 이벤트(예컨대, 봉합술의 개시 및 봉합술의 종료)를 포함할 수 있으며, 봉합술은 연장된 이벤트이다. 일부 경우에, 연장된 이벤트는 또한 수술 절차 동안 페이즈로 지칭된다.
다양한 실시예에서, 추천된 이벤트는 수술 절차 동안 요구되는 이벤트일 수 있다. 유사하게, 추천된 이벤트는 수술 절차 동안 발생하도록 제안되는 이벤트일 수 있다. 예컨대, 기관지경 검사 동안 추천된 이벤트는 환자의 코 또는 입을 통해 환자의 목 아래에서 환자의 폐로 기관지경을 삽입하는 것을 포함할 수 있다. 추천된 이벤트 시퀀스는 추천된 이벤트의 추천된 시퀀스를 포함할 수 있다. 일부 경우에, 수술 이벤트는 한 그룹의 서브-이벤트(즉, 2개 이상의 서브-이벤트 또는 단계)를 식별할 수 있다. 예컨대, 환자에게 전신 마취를 투여하는 이벤트는 몇 개의 단계, 이를테면 무의식을 유도하기 위해 IV 라인을 통해 환자에게 약제를 제공하는 제1 단계, 및 전신 마취를 유지하기 위해 적절한 가스(예컨대, 이소푸루란(isoflurane) 또는 데스플루란(desflurane))를 투여하는 제2 단계를 포함할 수 있다.
예시적인 실시예에서, 추천된 이벤트는 환자에게 진통제를 투여하는 것, 환자를 선호된 포지션에 배치하는 것, 환자로부터 생체 검사 샘플을 획득하는 것, 또는 요구되지 않는 임의의 다른 제안된 이벤트를 포함할 수 있다.
추천된 이벤트 시퀀스는 수술 절차 동안 사용되는 임의의 적절한 확립된 이벤트 시퀀스를 포함할 수 있다. 추천된 이벤트 시퀀스는, 이력 수술 절차를 분석하고 수술 절차에 대한 가이드라인을 결정함으로써 의료 서비스 전문가(예컨대, 의사, 마취과 의사 또는 다른 의료 서비스 전문가)에 의해 확립될 수 있다. 추천된 이벤트 시퀀스의 예는 예컨대, 원주 뷰(circumferential view)에서 충수 기저부를 검사하는 것을 포함할 수 있다. 일부 경우에, 추천된 이벤트 시퀀스는 당해 기술분야에서 알려진 바와 같이 CVS(critical view of safety)에 기반할 수 있다. 예컨대, 복강경 담낭절제술 동안, 담즙관에 대한 상해를 최소화하기 위해서 담낭관 및 담낭 동맥을 식별하기 위해, CVS가 사용될 수 있다. 다른 실시예에서, 필수 그리고 추천된 이벤트 시퀀스의 결정은 이력 수술 비디오 푸티지에 대한 인공 지능의 적용을 통해 자동으로 결정될 수 있다.
예시로서, 일부 실시예에서, CVS는 쓸개 손상을 피하는 데 사용될 수 있다. CVS는 담낭절제술에서 분할되는 2개의 관형 구조, 즉 담낭관 및 담낭 동맥을 식별하는 데 사용될 수 있다. CVS는, 담낭 구조 둘 모두가 추정적으로 식별되고, 그 후에 쓸개가 담낭판으로부터 제거되어, 2개의 담낭 구조에 의해 자유롭게 매달려 있고 부착되는 개복 담낭절제술에서 프로세스로서 사용될 수 있다. 복강경 수술에서, 담낭판으로부터 쓸개의 바디의 완전한 분리는 담낭 구조의 클립핑을 어렵게 만든다. 따라서 복강경 검사의 경우, 쓸개의 하부 부분(약 1/3)이 담낭판으로부터 분리될 수 있다는 것이 요건일 수 있다. 다른 2개의 요건은, 간세포 삼각형이 지방 및 섬유질 조직으로부터 제거되는 것과, 쓸개에 부착된 2개의 그리고 단지 2개의 구조만이 존재하는 것일 수 있다. CVS의 모든 3개의 엘리먼트가 달성된 이후에야, 담낭 구조가 클립핑되고 분할될 수 있다. CVS의 3개의 엘리먼트가 입증되는 "타임-아웃(time-out)"에서 수술중 CVS가 확인되어야 한다. CVS는 해부 방법이 아니라, 안전 추구 절차에서 사용되는 개념과 유사한 타겟 식별 방법이라는 것이 주목되어야 한다.
추천된 이벤트 시퀀스는 조건절(clauses)을 포함할 수 있다. 예시적인 예로서, 우회 수술을 위한 추천된 이벤트 시퀀스는 (1) 환자에 대한 전신 마취를 투여하는 것, (2) 우회 이식으로서 사용될 동맥을 준비하는 것, (3) 환자의 심장 및 관상 동맥에 액세스하기 위해 흉골(유방 뼈)을 통해 환자의 흉부 중앙에 절개를 하는 것, (4) 심장-폐 우회 머신을 연결하는 것, (5) 환자의 심장이 뛰고 있는 동안 병든 관상 동맥의 막힘 아래의 개구 주위에 동맥의 한 섹션을 꿰매는 것, (6) 환자의 심장이 계속해서 혈액을 펌핑하는지 여부를 체크하는 것, (7) 환자의 심장이 뛰는 것을 중단하면, 심장-폐 우회 머신을 활성화하는 것, (8) 대동맥에 만들어진 개구에 다른 단부를 부착하는 것 등을 포함할 수 있다. 위에서 설명된 바와 같이, 심장-폐 우회 머신을 활성화하는 이벤트는 추천된 이벤트 시퀀스의 일부일 수 있고, 임의의 적절한 수술 이벤트(또는 이것의 결여), 이를테면 심장 박동의 중단의 수술 이벤트에 의해 트리거될 수 있다. 일부 경우에, 추천된 이벤트 시퀀스는 이벤트 시퀀스에서 다음 이벤트를 결정하기 위한 의사결정 트리를 포함할 수 있다. 일부 예에서, 추천된 이벤트 시퀀스는 추천된 이벤트 시퀀스에서 특정될 수 있는 특정 시간 인터벌 내에서 발생하도록 요구되는 이벤트를 포함할 수 있다. 예컨대, 수술 절차의 특정 시간 인터벌 이내, 수술 절차의 개시 이후 특정 시간 인터벌 이내, 수술 절차의 완료 전 특정 시간 인터벌 이내, 제2 이벤트의 발생 후(예컨대, 제2 이벤트의 완료 후, 제2 이벤트의 개시 후 등) 수술 절차의 특정 시간 인터벌 이내, 제2 이벤트의 발생 전 수술 절차의 특정 시간 인터벌 이내 등에 이벤트가 발생하도록 요구될 수 있다.
추천된 이벤트 시퀀스를 식별하는 저장된 데이터에 액세스하는 것은, 적절한 저장 위치(예컨대, 메모리, 하드 드라이브, 데이터베이스, 서버 등과 같은 데이터 저장 디바이스)로부터 저장된 데이터를 리트리브하는 것을 포함할 수 있다. 예시적인 실시예에서, 저장된 데이터는 도 14에 도시된 바와 같이 데이터베이스(1411)로부터 리트리브될 수 있다. 예컨대, 시스템(1410)의 프로세서(1412)는 데이터베이스(1411)로부터 저장된 데이터를 리트리브하기 위한 명령(예컨대, 소프트웨어(1416)로서 구현된 명령)을 실행하도록 구성될 수 있다. 저장된 데이터는 특정 수술 절차를 위해 리트리브될 수 있다. 일부 예에서, 추천된 이벤트 시퀀스를 식별하는 것은, 복수의 대안적인 시퀀스 중 추천된 이벤트 시퀀스를 선택하는 것을 포함할 수 있다. 예컨대, 수술 절차의 타입에 기반하여, 수술 절차에서 사용되도록 프로젝팅되는 또는 사용되고 있는 의료 기구에 기반하여, 수술 절차와 관련된 해부학적 구조의 상태에 기반하여, 수술 절차와 연관된 환자의 특성(이러한 특성의 일부 예가 위에서 설명됨)에 기반하여, 수술 절차와 연관된 의사 또는 의료 관리 전문가의 특성에 기반하여(이러한 특성의 일부 예가 위에서 설명됨), 수술 절차와 연관된 수술실의 특성에 기반하는 식으로 추천된 이벤트 시퀀스가 선택될 수 있다. 일부 예에서, 추천된 이벤트 시퀀스는 수술 절차에서 이미 발생한 하나 이상의 이벤트에 따라 수술 절차 동안 선택(또는 수정)될 수 있다. 예컨대, 수술 절차에서의 특정 이벤트의 발생은 수술 절차의 타입(예컨대, 절개의 위치 및/또는 길이는, 수술 절차가 개복 수술 절차인지 또는 복강경 수술 절차인지를 나타낼 수 있고, 특정 의료 기구의 사용은 특정 이벤트 시퀀스를 요구할 수 있는 특정 기법의 선택을 나타낼 수 있는 식임) 또는 특정 수술 절차에 대해 의사가 선택한 기법을 나타낼 수 있고, 대응하는 추천된 이벤트 시퀀스가 선택될 수 있다. 다른 예에서, 수술 절차에서의 특정 이벤트의 발생은 상이한 추천된 이벤트 시퀀스를 필요로 하는 합병증을 나타낼 수 있고, 대응하는 이벤트 시퀀스가 선택될 수 있다. 또 다른 예에서, 특정 진행중인 수술 절차에서 발생하는 제1 이벤트에 대한 응답으로, 특정 진행중인 수술 절차의 나머지 부분에 대해, 제1 추천된 이벤트 시퀀스가 선택될 수 있고, 특정 진행중인 수술 절차에서 발생하는 제2 이벤트에 대한 응답으로, 특정 진행중인 수술 절차의 나머지 부분에 대해 제2 추천된 이벤트 시퀀스가 선택될 수 있으며, 제2 추천된 이벤트 시퀀스는 제1 추천된 이벤트 시퀀스와 상이할 수 있다. 일부 예에서, 특정 진행중인 수술 절차의 나머지 부분에 대한 추천된 이벤트 시퀀스를 선택하기 위해 특정 진행중인 수술 절차로부터 캡처된 이미지 데이터가 분석될 수 있다. 예컨대, (예컨대, 위에서 설명된 바와 같이) 특정 진행중인 수술 절차에서 이벤트 및/또는 상태를 검출하기 위해 이미지 데이터가 분석될 수 있고, 검출된 이벤트 및/또는 상태에 기반하여 추천된 이벤트 시퀀스가 선택될 수 있다. 다른 예에서, 머신 러닝 모델은 이미지 및/또는 비디오에 기반하여 추천된 이벤트 시퀀스를 선택하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 이미지 데이터를 분석하고 특정 진행중인 수술 절차의 나머지 부분에 대해 추천된 이벤트 시퀀스를 선택하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차의 나머지 부분에 대한 추천된 이벤트 시퀀스의 원하는 선택을 표시하는 라벨과 함께, 수술 절차의 제1 부분을 묘사하는 비디오 및/또는 이미지를 포함할 수 있다.
예시적인 추천된 이벤트 시퀀스(2601)가 도 26에 개략적으로 예시된다. 예컨대, (예컨대, 심장-폐 우회 머신을 연결하는) 이벤트(E1)가 추천된 시퀀스의 제1 이벤트일 수 있다. 이벤트(E1)는 수술 절차의 시간 인터벌(T1A-T1B) 동안 발생하도록 요구될 수 있다. 이벤트(E2)(예컨대, 봉합)는 제2 이벤트일 수 있고, 수술 절차의 시간 인터벌(T2A-T2B) 동안(또는 다른 예에서는, 이벤트(E1)의 완료 후 시간 인터벌(T2A-T2B) 동안, 이벤트(E1)의 개시 후 시간 인터벌(T2A-T2B) 동안 등) 발생하도록 요구될 수 있다. 이벤트(E2)의 완료 후에, (예컨대, 환자의 심장의 맥박을 결정하는) 조건문(C1)이 평가될 수 있다. 조건문(C1)이 값(V1)으로 평가되면(예컨대, 환자가 맥박이 없으면), 시간 인터벌(T3A-T3B) 동안 (예컨대, 심장-폐 우회 머신을 활성화하는) 이벤트(E3)가 요구될 수 있다. 조건문(C1)이 값(V2)(예컨대, 분당 10회 박동의 맥박)으로 평가되면, 시간 인터벌(T4A-T4B) 동안 (예컨대, 환자에게 제1 약을 투여하는) 이벤트(E4)가 요구될 수 있고, 조건문(C1)이 값(V3)(예컨대, 분당 100회 박동의 맥박)으로 평가되면, 시간 인터벌(T5A-T5B) 동안 (예컨대, 환자에게 제2 약을 투여하는) 이벤트(E5)가 요구될 수 있다.
생략된 이벤트의 결정 및 통지를 가능하게 하기 위한 방법의 양상은, 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하기 위해, 액세스된 비디오 프레임을 추천된 이벤트 시퀀스와 비교하는 단계를 더 포함할 수 있다. 일부 예에서, 머신 러닝 모델은 이미지 및/또는 비디오로부터 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 비디오 프레임을 분석하고 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는, 수술 절차가 이벤트의 시퀀스로부터 벗어났는지 여부를 표시하는 라벨과 함께, 수술 절차를 묘사하는 이미지 및/또는 비디오 그리고 이벤트 시퀀스를 포함할 수 있다.
일부 예에서, 액세스된 비디오 프레임을 추천된 이벤트 시퀀스와 비교하는 것은 예컨대, 위에서 설명된 바와 같이, 비디오 프레임을 분석하고 비디오 프레임 내의 이벤트를 식별하는 것을 포함할 수 있다. 예컨대, 비디오 프레임 내의 이벤트를 식별하는 것은 예컨대, 위에서 설명된 바와 같이, 트레이닝된 머신-러닝 모델을 사용하여 달성될 수 있다. 일 예에서, 이벤트를 식별하는 것은, 이벤트의 타입을 식별하는 것, 이벤트의 이름을 식별하는 것, 이벤트의 속성을 식별하는 것(이러한 속성의 일부 예는 위에서 설명됨), 이벤트의 발생 시간(또는 시간 인터벌)을 식별하는 것 등 중 적어도 하나를 포함할 수 있다. 추가로, 일부 예에서, 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하기 위해, 식별된 이벤트가 추천된 이벤트 시퀀스와 비교될 수 있다. 일부 예에서, 특정 수술 절차가 진행중인 동안 비디오 프레임의 분석 및 비디오 프레임 내의 이벤트의 식별이 발생할 수 있고, 특정 수술 절차가 진행중인 동안 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차가 식별될 수 있다. 다른 예에서, 특정 수술 절차의 완료 후에 비디오 프레임의 분석 및 비디오 프레임 내의 이벤트의 식별이 발생할 수 있고, 그리고/또는 특정 수술 절차가 완료된 후에 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차가 식별될 수 있다.
머신-러닝 방법을 사용하여 특성 이벤트를 검출하는 것은 하나의 가능한 접근법일 수 있다. 추가적으로 또는 대안적으로, 특성 이벤트는 다양한 다른 접근법을 사용하여 이미지 센서로부터 수신된 비디오 프레임에서 검출될 수 있다. 일 실시예에서, 특성 이벤트는 수술 절차 동안 의료 전문가(예컨대, 의사)에 의해 식별될 수 있다. 예컨대, 하나 이상의 이미지 센서/오디오 센서에 의해 캡처되고 특성 이벤트에 대한 트리거로서 인식될 수 있는, 의사로부터의 시각적 또는 오디오 신호(예컨대, 손 제스처, 신체 제스처, 의료 기구에 의해 생성된 광원에 의해 생성된 시각적 신호, 발화된 단어 등)를 사용하여 특성 이벤트가 식별될 수 있다.
추가로, 액세스된 비디오 프레임을 추천된 이벤트 시퀀스와 비교하는 것은, 비디오 프레임 내의 식별된 이벤트의 시퀀스를 수술 절차에 대한 추천된 이벤트 시퀀스와 비교하는 것을 포함할 수 있다. 예컨대, 도 27은 추천된(또는 필수) 이벤트의 시퀀스(2701) 및 비디오 프레임 내의 식별된 이벤트의 시퀀스(2702)를 도시한다. 시퀀스(2701)와 시퀀스(2702)를 비교할 때, 시퀀스(2701)로부터의 시퀀스(2702)의 편차가 결정될 수 있다. 시퀀스(2702)는 다양한 방식으로 시퀀스(2701)로부터 벗어날 수 있다. 일부 경우에, 시퀀스(2702)는 시퀀스(2701)와 상이한 이벤트를 가질 수 있다. 예컨대, 도 27에 도시된 바와 같이, 시퀀스(2701)는 이벤트(E1-E4)를 가질 수 있고, 시퀀스(2702)는 이벤트(S1-S5)를 가질 수 있다. 도 27에 도시된 바와 같이, 인터벌(I1-I4) 각각 동안 시퀀스(2701, 2702)가 비교될 수 있다. 예컨대, 시퀀스의 인터벌(I1) 동안 시퀀스(2701)의 이벤트(E1)가 이벤트(S1)와 비교될 수 있다. 예시적인 실시예에서, 이벤트(E1)는 이벤트(S1)로부터 벗어날 수 있다. 대안적으로, 이벤트(E1)는 이벤트(S1)와 실질적으로 동일할 수 있다. 일부 경우에, 이벤트(E1)는 이벤트(S1)와 실질적으로 상이할 수 있다.
다양한 실시예에서, 이벤트(E1)와 이벤트(S1) 간의 차이를 정량화하기 위해, 일정 범위의 값을 가질 수 있는 적절한 측정 함수 F(E1,S1)가 정의될 수 있다. 예시적인 실시예에서, 측정 함수(F)는 이벤트(E1)와 이벤트(S1) 간의 차이를 결정하는 단일 수(single number)를 리턴할 수 있다. 예컨대, F(E1,S1) < F 0(E1)이라면, 이벤트 E1, S1은 실질적으로 동일한 것으로 결정되는 반면, F(E1,S1) > F 1(E1)이라면, 이벤트 E1, S1은 실질적으로 상이한 것으로 결정된다. 본원에서, 값 F 0, F 1은 각각의 이벤트 타입에 대해 선택될 수 있는 임의의 적절한 사전결정된 임계 값일 수 있다(즉, 이벤트(E1)에 대한 임계 값 F 0(E1), F 1(E1)은 이벤트(E2)에 대한 임계 값 F 0(E2), F 1(E 2)과 상이할 수 있다). 다양한 경우에서, 이벤트 E1, S1은 한 세트의 파라미터(이벤트 특성으로 또한 지칭됨)에 의해 특징지어질 수 있다. 예컨대, 이벤트(E1)는 도 27에 도시된 바와 같이 파라미터(P1E1 -PNE1)에 의해 특징지어질 수 있다. 파라미터(P1E1 -PNE1)는 단어, 수, 또는 수(예컨대, 이미지)의 어레이에 의해 표현될 수 있는 데이터를 포함할 수 있다. 예컨대, 파라미터(P1E1)는 텍스트 스트링(예컨대, "절개")에 의해 특징지어지는 이벤트(E1)의 타입을 표시할 수 있고, 파라미터(P2E1)는 절개부의 길이(예컨대, 1센티미터)를 특징짓는 수일 수 있고, 파라미터(P3E1)는 절개부의 깊이(예컨대, 3밀리미터)일 수 있고, 파라미터(P4E1)는 2개의 수(예컨대, {10, 20})에 의해 특징지어질 수 있는 절개부의 위치일 수 있다. 절개부의 위치는 수술 절차 동안 캡처된 비디오 프레임 중 하나 이상에서 절개부를 식별함으로써 특정될 수 있고, 파라미터(PNE1)는 절개에 사용되는 수술 도구의 타입(예컨대, "CO2 레이저(CO2 laser)")을 표시할 수 있다. 이벤트(E1)는 이벤트를 완전히 특징짓는 데 필요한 만큼의 파라미터를 가질 수 있다. 추가로, 이벤트(E1)는 임의의 적절한 정밀도로(예컨대, 밀리초의 정밀도로) 정의될 수 있는 시작 시간(TSE1) 및 마무리 시간(TFE1)에 의해 특징지어질 수 있다. TSE1 및 TFE1은 임의의 적절한 시간 포맷을 사용하여 표현될 수 있다(예컨대, 포맷은 시:분:초:밀리초일 수 있음). 유사하게, 이벤트(S1)는 도 27에 도시된 바와 같이, 파라미터(P1S1-PNS1), 시작 시간(TSS1) 및 마무리 시간(TFS1)에 의해 특징지어질 수 있다. 예시적인 예로서, 파라미터 {P1E1 , P2E1 , P3E1 , P4E1 , PNE1 , TSE1 , TFE1}은 임의의 적절한 데이터 구조(예컨대, {P1E1 , P2E1 , P3E1 , P4E1 , PNE1 , TSE1 , TFE1} ={"절개", 1 [cm]., 3 [mm]., {10,20}, "CO2 레이저", 13:20:54:80, 13:20:59:76})에 의해 표현될 수 있다.
다양한 실시예에서, 측정 함수 F(E1,S1)는 임의의 적절한 방식으로 정의될 수 있다. 예시적인 실시예로서, 측정 함수는 로서 정의될 수 있으며, 과 은 관련된 수치적 파라미터이고, 여기서 이벤트(E1)와 이벤트(S1)가 동일한 타입(예컨대, 두 이벤트 모두 "절개" 타입)일 때, 파라미터 및 은 텍스트 스트링(또는 수의 어레이로 표현될 수 있는 데이터, 이를테면 이미지)이며, 함수(M)는 텍스트 스트링 및 이 동일한 의미를 보유한다면 0을 리턴하고, 또는 텍스트 스트링 및 이 상이한 의미를 보유한다면 1을 리턴한다. 및 이 이미지에 대응하는 경우, 함수(M)는 이미지가 실질적으로 동일하다면 0을 리턴할 수 있고 또는 이미지가 상이하다면 1을 리턴할 수 있다. 다양한 실시예에서, 이미지는 아래에서 추가로 설명되는 임의의 적절한 이미지 인식 알고리즘을 사용하여 비교될 수 있다. 대안적으로, 함수(M)는 파라미터 및 에 의해 표현된 데이터의 타입의 따라 과 을 비교하기 위한 임의의 적절한 알고리즘을 실행하도록 구성될 수 있으며, 여기서 데이터는 텍스트 스트링, 수의 어레이, 이미지, 비디오, 오디오 신호 등을 포함할 수 있다.
이벤트 E1, S1이 동일한 타입이 아닌(예컨대, 이벤트(E1)는 "절개"에 대응할 수 있고 이벤트(S1)는 "약제 투여"에 대응할 수 있는) 경우, 그리고 시퀀스(2702)가 이벤트(E1)와 동일한 타입의 이벤트를 보유하지 않는 경우, 측정 함수 F(E1,S1)은 이벤트 E1, S1이 실질적으로 상이함을 표시하는 큰 사전결정된 수(또는 스트링)로 평가될 수 있다.
위에서 설명된 바와 같이, 수술 절차(I1-I4)의 각각의 인터벌 동안 적절한 측정 함수 F(E i ,S i )를 평가함으로써 이벤트 시퀀스(2701, 2702) 간의 편차가 결정될 수 있다. 측정 함수의 합(들) ∑ i (E i ,S i )로서 완벽한 편차가 계산될 수 있으며, 여기서 i = {l1…l4}이다. 그러나 다양한 실시예에서, 대응하는 이벤트(E1-E4)로부터 모든 이벤트(S1-S4)에 대한 모든 편차를 계산하는 것은 중요하지 않을 수 있고 그리고/또는 필요하지 않을 수 있다. 다양한 경우에, 큰 편차(즉, F(E i ,S i ) > F 1(E i )인 편차)만이 중요할 수 있다. 이러한 편차의 경우, 이벤트 E i , S i 가 식별되고 추가적인 분석을 위해 저장될 수 있다. 추가적으로, 측정 함수 F(E i ,S i )의 값이 또한 추가적인 분석을 위해 저장될 수 있다. 다양한 실시예에서, 이벤트 E i , S i 및 측정 함수 F(E i ,S i )와 관련된 데이터는 임의의 적절한 수단(예컨대, 하드 드라이브, 데이터베이스(111) 등)을 사용하여 저장될 수 있다.
측정 함수를 사용하는 것은 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하는 하나의 가능한 접근법일 수 있다. 예컨대, 리스트 및/또는 그래프를 비교하기 위한 임의의 알고리즘이, 실제 이벤트 시퀀스를 추천된 이벤트 시퀀스와 비교하고 그리고 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하는 데 사용될 수 있다. 대안적으로 또는 추가적으로, 편차의 표시를 식별하는 것은 예컨대, 위에서 설명된 바와 같이, 이벤트 시퀀스와 수술 푸티지 간의 편차의 표시를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하여 발생한다. 예시적인 실시예에서, 예시적인 트레이닝 예시는, 특정 타입의 수술 절차(예컨대, 담낭절제술) 동안 캡처된 비디오의 프레임뿐만 아니라 그러한 타입의 수술 절차에 대한 추천된 이벤트 시퀀스와 같은 수술 푸티지를 포함할 수 있다. 트레이닝 예시는 머신-러닝 트레이닝 알고리즘에 대한 입력으로서 사용될 수 있고, 결과적인 머신 러닝 모델은 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 적절한 측정일 수 있다. 편차의 측정은 임의의 적절한 측정일 수 있다. 예시적인 실시예에서, 측정은 수술 절차 동안의 이벤트를 나열 또는 분류할 수 있으며, 이러한 이벤트는 추천된 이벤트와 실질적으로 상이하다. 예컨대, 추천된 이벤트가 봉합술을 요구하지만, 수술 절차 동안 수술용 아교가 대신 사용되었다면, 이러한 이벤트는 추천된 이벤트와 실질적으로 상이한 것으로서 분류 또는 나열될 수 있다. 추가적으로 또는 대안적으로, 측정은 수술 절차 동안 수행되지 않은 추천된 이벤트를 나열할 수 있다(예컨대, 봉합술이 요구되었지만 수행되지 않은 경우, 이러한 이벤트는 수행되지 않음으로써 나열될 수 있다). 또한, 측정은 수술 절차 동안 수행되었지만 추천된 이벤트가 아닌 이벤트를 나열할 수 있다. 예컨대, 수술 절차 동안 환자에게 진통제를 투여하는 이벤트가 수행될 수 있고 추천되지 않을 수 있다. 추가적으로, 머신-러닝 모델은 위에서 설명된 바와 같이, 수술 동안 수행되는 이벤트와 대응하는 추천 이벤트의 특성 간의 편차를 출력할 수 있다. 예컨대, 수술 절차 동안의 절개 이벤트 동안에, 절개부 길이가 추천된 이벤트에 의해 설명된 절개부보다 짧다면, 이러한 편차가 머신-러닝 방법에 의해 식별되고 추가적인 분석을 위해 기록(예컨대, 저장)될 수 있다.
다양한 실시예에서, 편차의 표시를 식별하는 것은, 추천된 이벤트 시퀀스를 묘사하는 기준 프레임과 프레임을 비교하는 것을 포함한다. 기준 프레임은 이력 수술 절차 동안 캡처된 이력 프레임일 수 있다. 예시적인 실시예에서, 추천된 이벤트 시퀀스를 묘사하는 기준 프레임 및 비디오 프레임이, 추천된(또는 필수) 이벤트 시퀀스의 대응하는 시작 이벤트와 동일(또는 실질적으로 유사)할 수 있는 이벤트(또한 본원에서 시작 이벤트로 지칭됨)에 의해 동기화될 수 있다. 일부 경우에서, 시작 이벤트의 개시를 묘사하는 프레임은 추천된 이벤트 시퀀스의 시작 이벤트를 묘사하는 기준 프레임과 동기화될 수 있다. 일부 경우에서, 수술 절차의 이벤트는 먼저, 위에서 설명된 임의의 적절한 접근법을 사용하여(예컨대, 이벤트를 인식하기 위한 이미지 인식 알고리즘을 사용하여), 추천된 시퀀스의 대응하는 기준 이벤트와 상관될 수 있다. 예시적인 수술 이벤트를 추천된 시퀀스의 대응하는 기준 이벤트와 상관시킨 후에, 수술 이벤트의 시작을 묘사하는 프레임이 대응하는 추천된 이벤트의 시작을 묘사하는 기준 프레임과 동기화될 수 있다.
추가적으로 또는 대안적으로, 편차의 표시를 식별하는 것은, 수술중 수술 절차와 연관된 경과된 시간에 기반할 수 있다. 예컨대, 수술 절차와 연관된 경과된 시간이, 추천된 이벤트 시퀀스를 갖는, 수술 절차와 연관된 평균 경과 시간보다 상당히 더 길다면(또는 더 짧다면), 이 방법은 추천된 이벤트로부터의 편차가 발생했다고 결정하도록 구성될 수 있다.
방법의 양상은 또한, 편차와 연관된 수술 절차의 프레임의 세트를 식별하는 단계, 및 편차가 발생했다는 통지를 제공하는 단계를 포함할 수 있다. 통지는 편차와 연관된 식별된 프레임 세트를 디스플레이하는 것을 포함할 수 있다. 예컨대, 편차와 연관된 한 세트의 프레임은 기준인 대응하는 추천 이벤트와 상이한(예컨대, 상이한 특징을 갖는) 수술 절차 동안의 특정 이벤트를 묘사할 수 있다. 대안적으로, 편차와 연관된 프레임 세트는 추천된 이벤트 시퀀스에 존재하지 않는 이벤트에 대한 프레임을 포함할 수 있다. 다양한 실시예에서, 통지는 프레임을 스틸 이미지로서 디스플레이하는 것 또는 프레임을 비디오 데이터로서 디스플레이하는 것을 포함할 수 있다. 프레임은 전자 디바이스의 임의의 적절한 스크린 상에 디스플레이될 수 있거나, (일부 경우에는) 인쇄될 수 있다. 일부 실시예에서, 프레임 중 일부는 프레임 세트로부터 선택되고 임의의 적절한 수단을 사용하여(예컨대, 전자 디바이스의 디스플레이 스크린을 사용하여) 디스플레이될 수 있다.
생략된 이벤트의 결정 및 통지를 가능하게 하기 위한 방법의 양상은 예컨대, 위에서 설명된 바와 같이, 이벤트 시퀀스와 수술 푸티지 간의 편차를 식별하기 위해 트레이닝 예시를 사용하여 머신 러닝 모델을 트레이닝하는 것을 더 포함할 수 있다. 예컨대, 트레이닝 예시는 머신-러닝 모델에 대한 입력으로서 사용될 수 있고, 모델에 의해 리턴된 편차의 측정이 분석될 수 있다(예컨대, 편차의 측정은 의료 서비스 전문가와 같은 모델 트레이닝 전문의에 의해 분석될 수 있다). 모델에 의해 리턴된 편차의 측정이 원하는 편차의 측정과 일치하지 않으면, 머신-러닝 모델의 다양한 파라미터는 편차의 측정을 정확하게 예측하기 위해 머신-러닝 모델을 트레이닝하도록 조정될 수 있다. 예컨대, 머신-러닝 모델이 뉴럴 네트워크인 경우, 이러한 뉴럴 네트워크의 파라미터(예컨대, 네트워크의 가중치, 뉴런의 수, 활성화 함수, 네트워크의 바이어스, 네트워크 내의 층의 수 등))가 임의의 적절한 접근법을 사용하여 조정될 수 있다(예컨대, 뉴럴 네트워크의 가중치는 역전파 프로세스를 사용하여 조정될 수 있음). 다양한 실시예에서, 이러한 조정은 (예컨대, 역전파 프로세스를 사용하여) 자동으로 이루어질 수 있거나, 일부 경우에, 조정은 트레이닝 전문의에 의해 이루어질 수 있다.
다양한 실시예에서, 편차의 측정이 편차의 원하는 측정과 얼마나 잘 일치하는지가, 임의의 적절한, 적합한 수학적 측정 함수(G)를 사용하여 어서트(assert)될 수 있다. 예컨대, 이벤트에 대한 편차의 측정값이 수(예컨대, d)이고, 편차의 원하는 측정값이 다른 수(예컨대, d 0)이면, 정해진 이벤트(E I )에 대한 예시적인 수학적 측정 함수는 G I (d, d 0) = d - d 0일 수 있고, 측정 함수는 예컨대, 수 일 수 있다. 대안적으로, 다른 예시적인 실시예에서, G는 벡터 일 수 있다.
시퀀스(2701)로부터의 시퀀스(2702)의 편차를 결정하는 프로세스를 추가로 예시하기 위해, 도 27은 시퀀스(2701)의 이벤트(E1-E4)가 시퀀스(2702)의 이벤트(S1-S5)와 비교될 수 있는 인터벌(I1-I4)을 도시한다. 예컨대, 인터벌(I1) 동안, 이벤트(S1)는 이벤트(E1)와 실질적으로 동일할 수 있고, 인터벌(I2) 동안 이벤트(S2)는 이벤트(E2)로부터 벗어날 수 있지만, 이벤트(E2)와 충분히 유사할 수 있다. 예컨대, 이벤트(S2)는 3센티미터의 절개부 길이를 갖는 "절개"에 대응할 수 있고, 이벤트(E2)는 2센티미터의 절개부 길이를 갖는 "절개"에 대응할 수 있다. 예시적인 실시예에서, 수술 절차의 인터벌(I3) 동안, 이벤트(E3)는 이벤트(S3)와 실질적으로 상이할 수 있다(예컨대, 이벤트(E3)는 "절개"로서 식별될 수 있고 이벤트(S3)는 "봉합술"로서 식별될 수 있다). 인터벌(I4) 동안, 이벤트(E4)는 이벤트(S4)와 실질적으로 상이할 수 있지만, 인터벌(I5) 동안 식별된 이벤트(S5)와 실질적으로 동일할 수 있다(도 27에 도시된 바와 같이 화살표(2711)로 표시됨). 2701로부터의 시퀀스(2702)의 편차를 계산할 때, 시퀀스(2702)의 이벤트(S4)는 시퀀스(2701)에서 대응하는 상대 부분을 갖지 않는 "삽입" 이벤트로서 식별될 수 있다. 이벤트(S4)의 이러한 특징은 추가적인 분석을 위해 기록(예컨대, 하드 드라이브, 데이터베이스(111) 또는 일부 다른 위치에 저장)될 수 있다.
개시된 실시예의 양상은, 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하는 것을 더 포함할 수 있다. 일부 경우에, 편차의 표시를 식별하는 것은 진행중인 수술 절차 동안, 이를테면 예컨대, 수술 절차 동안 실시간으로, 편차의 표시를 식별하는 것을 포함할 수 있다. 다양한 실시예에서, 편차의 표시를 식별하는 것과 관련된 프로세싱으로 인해, 수술 절차의 진행중인 시간으로부터 측정된 작은 지연으로 편차가 식별될 수 있다. 지연은 1밀리초, 1초, 수 초, 수 십 초, 1분, 수 분 등일 수 있다. 일단 편차가 식별되면, 개시내용의 실시예는 진행중인 수술 절차 동안 통지를 제공하는 것을 포함할 수 있다. (예컨대, 편차가 식별되자마자 통지를 제공한다). 예컨대, 통지를 제공하는 것은 수술 절차 동안 실시간으로 발생할 수 있다.
개시된 실시예의 양상은 특정 수술 절차에서 특정 액션이 곧 발생할 것이라는 표시를 수신하는 것을 포함할 수 있다. 특정 액션이 곧 발생할 것이라는 표시는 수술 절차의 프레임의 분석에 기반할 수 있다. 예시적인 실시예에서, 표시는 컴퓨터-기반 소프트웨어 애플리케이션, 이를테면 진행중인 수술 절차의 수술 푸티지를 분석하기 위한 머신-러닝 모델로부터 수신될 수 있다. 예컨대, 머신-러닝 모델은 본원에서 설명된 개시된 실시예에 따른 이미지 인식 알고리즘일 수 있다.
일부 실시예에서, 이미지 인식 알고리즘은 해부학적 구조에 근접한 수술 도구를 인식하고, 인식된 수술 도구에 기반하여, 수술 절차에서 특정 액션이 곧 발생할 것이라고 결정할 수 있다. 일부 실시예에서, 수술 도구, 해부학적 구조, 및 /또는 수술 도구와 해부학적 구조 간의 상호작용의 존재는 특정 액션이 곧 발생할 것이라는 표시자로서의 역할을 할 수 있다. 본원에 개시된 바와 같이, 이미지 인식 알고리즘은 앞서 말한 것 중 임의의 것을 식별하기 위해 수술 절차의 프레임을 분석할 수 있다. 예컨대, 이미지 인식 알고리즘은 기구와 해부학적 구조 간의 상호작용의 타입, 상호작용의 이름, 상호작용에 수반되는 해부학적 구조의 이름, 또는 상호작용의 임의의 다른 식별 가능한 양상을 결정할 수 있다.
추가적으로 또는 대안적으로, 수술실에서의 의료 서비스 전문가의 위치, 의료 서비스 전문가 중 임의의 의료 서비스 전문가의 움직임, 의료 서비스 전문가 중 임의의 의료 서비스 전문가의 손 모션, 환자의 위치 및/또는 포지션, 의료 디바이스의 배치, 및 의료 서비스 전문가, 환자 또는 기구의 다른 공간적 특징은, 특정 액션이 곧 발생할 것임을 추가로 표시할 수 있다. 일부 경우에, 특정 액션이 곧 발생할 것이라는 표시는, 특정 수술 절차를 수행하는 의사로부터의 입력에 기반할 수 있다. 예컨대, 의료 서비스 전문가 중 임의의 의료 서비스 전문가로부터의 오디오 사운드, 제스처, 또는 수술 푸티지 내에서 식별 가능한 임의의 다른 신호, 오디오 데이터, 이미지 데이터 또는 디바이스-기반 데이터(예컨대, 환자의 바이탈 징후와 관련된 데이터)가, 특정 액션이 곧 발생할 것이라는 표시로서 사용될 수 있다.
개시된 실시예는, 추천된 이벤트 시퀀스를 사용하여, 특정 액션에 대한 예비 액션을 식별하는 것을 포함할 수 있다. 예컨대, 봉합술과 같은 특정 액션의 경우, 예비 액션은 겸자로 해부학적 구조의 부분을 움켜쥐는 것, 환자에게 약제를 투여하는 것, 수술실 내에 이미지 센서를 재포지셔닝하는 것, 바이탈 신호를 측정하는 것, 의료 디바이스를 환자에게 연결하는 것(예컨대, ECMO 머신을 환자에게 연결하는 것) 또는 특정 액션을 수행하기 이전에 수행되는 것이 필요한 임의의 다른 동작일 수 있다.
개시된 실시예는, 액세스된 프레임의 분석에 기반하여, 식별된 예비 액션이 아직 발생하지 않았다고 결정하는 것, 그리고 응답으로, 편차의 표시를 식별하는 것을 더 포함할 수 있다. 일 예에서, 식별된 예비 액션이 아직 발생하지 않았다고 결정하는 것은 이전에 논의된 바와 같이, 이미지 인식을 사용하여 달성될 수 있다. 예컨대, 이미지 인식은 (수술 푸티지를 분석함으로써 식별된 바와 같이) 수술 기구가 수술 푸티지에 나타나지 않았다고 또는 수술 기구와 해부학적 구조 간의 상호작용이 없다고 결정하거나, 해부학적 구조에 어떠한 변화도 없다고 결정(예컨대, 해부학적 구조의 형상, 컬러, 사이즈 또는 포지션이 변경되지 않는다고 결정)함으로써 예비 액션이 아직 발생하지 않았음을 식별할 수 있다. 추가적으로 또는 대안적으로, 이미지 인식은 다른 방식으로(예컨대, 의료 서비스 전문가가 아직 환자에게 접근하지 않았다고 결정함으로써, ECMO 머신이 아직 환자에게 연결되지 않았다고 결정함으로써) 또는 수술 푸티지에서 식별될 수 있는 임의의 다른 표시를 사용함으로써 예비 액션의 부재를 결정할 수 있다. 예시적인 실시예에서, 특정 수술 절차와 추천된 이벤트 시퀀스 간의 편차의 표시는 예비 액션의 부재일 수 있다. 대안적으로, 예비 액션이 식별되면, 예비 액션의 하나 이상의 특성은 편차의 표시일 수 있다. 예컨대, 예비 액션이 절개일 때, 절개부의 길이가 예비 액션의 특성일 수 있다. 예컨대, 절개부 길이가 10-20cm의 범위에 있을 것으로 예상되고, 길이가 3cm인 것으로 식별되면, 예비 액션의 이러한 특성은 편차를 표시할 수 있다.
개시된 실시예의 양상은, 특정 액션이 수행되기 전에 특정 수술 절차와 추천된 이벤트 시퀀스 간의 편차의 통지를 제공하는 것을 포함할 수 있다. 통지는 본원에서 설명된 바와 같이 그리고 개시된 실시예에 따라 임의의 적절한 전자 통지일 수 있다. 대안적으로, 통지는 임의의 적절한 사운드 신호, 시각 신호, 또는 의료 서비스 전문가(예컨대, 수술 절차를 관리하는 의사)에게 송신될 수 있는 임의의 다른 신호(예컨대, 진동과 같은 촉각 신호)일 수 있다.
개시된 실시예의 양상은 수술후에(즉, 수술 절차의 완료 후에) 통지를 제공하는 것을 포함할 수 있다. 예컨대, 편차는 수술 절차 동안 또는 그 후에 식별될 수 있고, 위에서 설명된 접근법 중 임의의 접근법(또는 이들의 임의의 조합)을 사용하여 편차가 평가된 후에 통지가 제공될 수 있다. 추가적으로 또는 대안적으로, 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차는 의료 서비스 전문가에 의해 분석 및/또는 평가될 수 있다.
개시된 실시예의 양상은 편차와 연관된 수술중 수술 이벤트의 이름을 결정하는 것을 포함할 수 있다. 예컨대, 특정 수술 절차와 추천된 이벤트 시퀀스 간의 편차가 식별될 때, 편차를 발생시킨 이벤트의 이름 및/또는 타입이 식별될 수 있다. 예컨대, (예컨대, 이벤트(E3)가 이벤트(S3)와 실질적으로 상이할 때) 시퀀스(2702)의 이벤트와 추천된 시퀀스(2701) 간의 편차가 식별되며, 이벤트(S3)의 이름 및/또는 타입(예컨대, 이름이 "봉합술"일 수 있음)이 결정될 수 있다. 추가적으로, 이벤트(E3)의 이름 및/또는 타입이 결정될 수 있다. 예시적인 실시예에서, 이벤트(S3)의 이름은 위에서 설명된 바와 같이, 머신-러닝 이미지 인식 모델을 사용하여 식별될 수 있다.
다양한 실시예에서, 편차와 연관된 수술중 수술 이벤트의 이름은 수술 이벤트에서 식별된 특정 액션 이전의 예비 액션의 이름일 수 있다. 대안적으로, 편차와 연관된 수술중 수술 이벤트의 이름은 특정 액션의 이름일 수 있다. 일부 경우에, 수술중 수술 이벤트의 이름은 편차에 기여하는 이벤트 또는 액션의 다수의 이름을 보유하는 텍스트 스트링일 수 있다. 일부 경우에, 텍스트 스트링 내의 상이한 이름을 분리하기 위해 구두점(또는 임의의 다른 적절한 수단, 이를테면 문자, 단락 마크 또는 새로운 라인)이 사용될 수 있다. 예컨대, 편차와 연관된 수술중 수술 이벤트의 이름은 "겸자로 동맥을 움켜쥐는 것; 레이저 빔을 인가하는 것; 동맥을 봉합하는 것"일 수 있다.
일부 실시예에서, 이름을 결정하는 것은 이름을 비디오 푸티지 특성과 상관시키는 데이터 구조에 액세스하는 것을 포함한다. 데이터 구조는 도 17a에 도시된 바와 같은 임의의 적절한 데이터 구조, 이를테면 구조(1701)일 수 있다. 예컨대, 이름을 결정하는 것은, 본 개시내용에서 설명되는 바와 같이 그리고 본 개시내용의 다양한 실시예에 따라, 수술 푸티지(본원에서는, 비디오 푸티지로 또한 지칭됨)에 액세스하는 것, 그리고 비디오 푸티지 특성, 이를테면 이벤트, 액션 또는 이벤트 특성을 결정하는 것을 포함할 수 있다.
다양한 실시예에서, 결정된 편차와 연관된 수술중 수술 이벤트의 이름을 결정할 때, 편차와 연관된 수술중 수술 이벤트의 이름을 포함하는 편차의 통지가 제공될 수 있다. 예시적인 실시예에서, 통지는 다양한 사용자(예컨대, 의료인, 관리자 등)에게 제공될 수 있다. 일부 경우에, 통지는 환자, 환자의 친척 또는 친구 등에게 제공될 수 있다. 통지는 텍스트 데이터, 그래픽 데이터, 또는 임의의 다른 적절한 데이터(예컨대, 비디오 데이터, 애니메이션, 또는 오디오 데이터)를 포함할 수 있다. 추가적으로 또는 대안적으로, 통지는 경고 신호(예컨대, 광 신호, 오디오 신호 등)로서 구현될 수 있다. 일부 경우에, 통지는 통지를 수신하도록 인가된 다양한 사용자(예컨대, 다양한 의료인, 관리자, 환자, 환자의 친척 또는 친구 등) 소유의 임의의 적절한 디바이스(예컨대, 스마트폰, 랩톱, 데스크톱, 모니터, 페이저, TV 등)에 전달되는 SMS 메시지, 이메일 등일 수 있다.
개시된 실시예의 양상은, 의료 서비스 전문가가 곧 액션을 수행하려고 한다는 것을 표시하는 입력을 수신하는 것을 포함할 수 있다. 이러한 입력은 의사에 의해 액션이 취해지기 전에 (예컨대, 추천된 이벤트 시퀀스에 따라 요구되는 스킵된 단계의) 편차의 통지를 제공하는 것을 가능하게 할 수 있다. 일부 경우에, 의사로부터의 또는 다른 의료 서비스 전문가로부터의 이러한 입력은 위에서 논의된 바와 같이, 버튼 누름, 가청 입력, 제스처, 또는 임의의 다른 적절한 입력을 포함할 수 있으며, 이들은 의사가 곧 특정 액션을 수행하려고 함을 표시한다.
(의료 서비스 전문가에 의해 곧 수행될) 액션은 임의의 절차-관련 액션일 수 있다. 예컨대, 액션은 봉합술, 절개, 해부, 흡인, 환자의 신체에 인접하게 또는 내부에 카메라의 배치, 또는 절차 동안 발생할 수 있는 다른 어떤 것을 포함할 수 있다. 일부 경우에, 액션은 환자에게 약을 투여하는 것 또는 맥박, 혈압, 산소 레벨 등과 같은 환자의 바이탈 신호를 측정하는 것을 포함할 수 있다.
다양한 경우에, 입력을 수신하는 것은 의료 서비스 전문가로부터 입력을 수신하는 것을 포함할 수 있다. 예컨대, 의사는, 하나 이상의 이미지 센서/오디오 센서에 의해 캡처되고 의료 서비스 전문가가 곧 액션을 수행하려고 한다는 것을 표시하는 입력으로서 인식될 수 있는 시각적 또는 오디오 신호를 통해(예컨대, 손 제스처, 신체 제스처, 의료 기구에 의해 생성된 광원에 의해 생성된 시각적 신호, 발화된 단어 등을 사용하여) 입력을 제공할 수 있다. 일부 경우에, 의료 서비스 전문가가 입력을 제공하기 위해 버튼을 누르거나 임의의 다른 디바이스(예컨대, 스마트폰, 랩톱 등)를 사용할 수 있다.
일부 경우에, 입력은 어떤 타입의 액션이 수행될지를 표시할 수 있다. 예컨대, 의사는 막 수행되려고 하는 액션의 이름을 발음할 수 있고, 의사로부터의 오디오 신호가 마이크로폰을 사용하여 캡처될 수 있다. 예시적인 실시예에서, 의사에 의해 발음된 하나 이상의 단어를 인식하는 데 스피치 인식 모델이 사용될 수 있다.
일부 경우에, 의료 서비스 전문가가 곧 액션을 수행하려고 한다는 것을 표시하는 입력을 수신하는 것은, 의료 서비스 전문가가 아닌 사용자로부터 입력을 수신하는 것을 포함할 수 있다. 예컨대, 입력은 수술 절차를 관찰하는 사람으로부터 수신될 수 있다.
추가적으로 또는 대안적으로, 입력은 수술 절차 동안 가능한 미래의 액션으로 이어지는 다양한 수술 이벤트를 인식하도록 트레이닝되는 머신-러닝 알고리즘으로부터 수신될 수 있다. 예컨대, 머신-러닝 알고리즘은 특정 수술 이벤트, 이를테면 의사가 해부학적 구조에 근접하게 외과용 메스를 홀딩 및/또는 움직이는 것에 기반하여 절개가 수행되려고 한다는 것을 인식하도록 구성될 수 있다.
다양한 실시예에서, 특정 액션이 곧 발생할 것이라는 표시는, 선택된 ROI(region of interest)로의 특정 의료 기구의 진입일 수 있다. 예컨대, 이러한 표시는 선택된 ROI에서 특정 의료 기구의 존재를 검출하기 위해 객체 검출 알고리즘을 사용하여 결정될 수 있다. 다양한 실시예에서, 수술 절차의 시간(또는 시간 인터벌) 동안 정해진 ROI에 근접한 수술 도구의 존재는 (예컨대, 머신-러닝 모델에 의해) 특정 액션이 곧 취해질 것임을 인식하는 데 사용될 수 있다. 수술 절차 동안의 상이한 시간 동안, ROI에 근접한 수술 도구의 존재는 곧 취해질 상이한 액션을 표시할 수 있다. 일부 경우에, 이 방법은, 정해진 수술 도구가 ROI 인근에 존재할 때 통지를 제공하는 것, 및 수술 도구가 ROI에 없을 때 통지를 제공하는 것을 보류하는 것을 포함할 수 있다. 위에서 설명된 바와 같이, 통지는 의료 서비스 전문가, 의료 서비스 관리자, 또는 이러한 정보를 수신하도록 인가된 다른 어떤 사람에게 제공되는 임의의 적절한 통지일 수 있다.
다양한 실시예에서, 특정 의료 기구가 선택된 관심 영역(ROI)에 진입한 것을 식별하는 것은, 본원에서 설명된 바와 같이 그리고 개시된 실시예에 따라, 임의의 적절한 접근법을 사용하여, 이를테면 수술 절차의 프레임을 분석하기 위한 이미지 인식을 사용하여 달성될 수 있다. 일부 경우에, ROI는 해부학적 구조의 위치에 기반하여 선택될 수 있다. 또는, 수술 절차 동안 제2 의료 기구가 사용되는 경우, ROI는 제2 의료 기구의 위치에 기반하여 선택될 수 있다. 추가적으로 또는 대안적으로, ROI는 이미지 센서의 시야에 기반하여 선택될 수 있다. 예컨대, 특정 이미지 센서(예컨대, 해부학적 구조의 확대된 부분을 디스플레이하는 센서)의 시야가 ROI를 선택하는 데 사용될 수 있다.
다양한 실시예에서, 의료 서비스 전문가가 곧 액션을 수행하려고 한다는 것을 표시하는 입력에 기반하여, 이 방법은 추천된 이벤트 시퀀스를 식별하는 저장된 데이터 구조에 액세스하는 것을 포함할 수 있다. 저장된 데이터 구조는 임의의 적절한 데이터 구조, 이를테면 어레이, 연관 어레이, 링크된 리스트, 이진 트리, 평형 트리, 힙, 스택, 큐, 세트, 해시 테이블, 기록, 태깅된 유니온, XML 코드, XML 데이터베이스, RDBMS 데이터베이스, SQL 데이터베이스 등일 수 있다. 데이터 구조는 추천된 이벤트 시퀀스를 포함할 수 있다. 예컨대, 데이터 구조는 표에 이벤트의 이름을 나열할 수 있는데, 하나의 이벤트 다음에 다른 하나의 이벤트를 갖는다. 대안적으로, 이벤트는 링크된 리스트를 통해 구성 및 링크될 수 있다. 다양한 실시예에서, 데이터 구조는, 추천된 이벤트를 식별하도록 그리고 이벤트를 순서화하여 시퀀스를 형성하도록 구성되는 임의의 적절한 데이터 구조일 수 있다.
개시된 실시예의 양상은 사전결정된 해부학적 구역에서 수술 도구의 존재를 검출하는 것을 더 포함할 수 있다. 본원에서 사용되는 바와 같이, 수술 도구는, 수술 절차 동안 사용될 수 있는 임의의 기구 또는 디바이스일 수 있으며, 이는, 이로 제한되는 것은 아니지만, 절단 기구(이를테면, 해부용 칼, 가위, 톱 등), 파지 및/또는 홀딩 기구(이를테면, 빌로트 클램프, 헤모스태틱 “모스키토(mosquito)" 겸자, 무외상 지혈 겸자, 데샹 바늘, 호프너 지혈 겸자 등), 견인기(파라베프 C-형상 층상 후크, 무딘 치형 후크, 날카로운 치형 후크, 홈형 프로브, 탬프 겸자 등), 조직 통합 기구 및/또는 재료(이를테면, 바늘, 홀더, 수술 바늘, 스테이플러, 클립, 접착제 테이프, 메쉬 등), 보호 장비(이를테면, 얼굴 및/또는 호흡기 보호 장비, 헤드웨어, 풋웨어, 글러브 등), 복강경, 내시경, 환자 모니터링 디바이스 등을 포함할 수 있다. 수술 도구(또한, 의료 도구 또는 의료 기구로 지칭됨)는 의료 절차의 일부로서 사용되는 임의의 장치 또는 장비를 포함할 수 있다.
해부학적 구역은 살아있는 유기체의 해부학적 구조를 포함하는 임의의 구역일 수 있다. 예컨대, 해부학적 구역은 강(예컨대, 수술 강), 기관, 조직, 관, 동맥, 세포, 또는 임의의 다른 해부학적 부분을 포함할 수 있다. 일부 경우에서, 보철물, 인공 장기 등이 해부학적 구조로서 간주될 수 있으며 해부학적 구역 내에 나타날 수 있다. 일 예에서, 머신 러닝 모델은, 이미지 및/또는 비디오에서 해부학적 구역을 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수술 절차의 다양한 캡처된 프레임을 분석하고 해부학적 구역을 검출하는 데 사용될 수 있다. 이러한 트레이닝 예시의 예는 이미지 내에 그리고/또는 비디오 내에 해부학적 구역을 표시하는 라벨과 함께 이미지 및/또는 비디오를 포함할 수 있다.
사전결정된 해부학적 구역에서의 수술 도구의 존재는 임의의 적절한 수단을 사용하여 검출될 수 있다. 예시적인 실시예에서, 트레이닝된 머신 러닝 모델은, 사전결정된 해부학적 구역에서 수술 도구의 존재를 검출하기 위해 수술 절차의 다양한 캡처된 프레임을 분석하는 데 사용될 수 있다. 트레이닝된 머신-러닝 모델은 사전결정된 해부학적 구역에서 수술 도구와 같은 이미지 특징을 인식하기 위한 이미지 인식 모델일 수 있다. 다양한 실시예에서, 사전결정된 해부학적 구역에서의 수술 도구의 존재에 기반하여, 이 방법은 위에서 논의된 바와 같이, 추천된 이벤트 시퀀스를 식별하는 저장된 데이터 구조에 액세스하는 단계를 포함할 수 있다.
선호된 실시예의 양상은, 수술 도구가 특정 해부학적 구역에 있다고 결정함으로써 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하는 것을 더 포함할 수 있다. 예컨대, 수술 도구가 특정 해부학적 구역에 존재한다고 (예컨대, 머신-러닝 방법을 사용하여 또는 의료 서비스 전문가로부터의 표시를 사용하여) 결정되면, 일부 실시예는 편차가 발생했다고 결정할 수 있다. 일부 경우에서, 수술 도구가 존재하지 않아야 하는 수술 절차의 시간(또는 시간 인터벌) 동안 특정 해부학적 구역에 수술 도구가 존재하면, 일부 실시예는 편차가 발생했다고 결정할 수 있다. 대안적으로, 일부 경우에서, 편차의 표시를 식별하는 것은 수술 도구가 특정 해부학적 구역에 없는 것으로 결정하는 것을 포함할 수 있다. 예컨대, 수술 절차의 시간(또는 시간 인터벌) 동안, 수술 도구가 특정 해부학적 구역에 존재하지 않는다면, 일부 실시예는 편차가 발생된 것으로 결정하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 편차의 표시를 식별하는 것은 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 것을 포함할 수 있다. 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 프로세스는 예컨대, 위에서 설명된 바와 같이, 상호작용을 식별하기 위해 수술 절차의 프레임을 분석하는 것을 수반할 수 있다. 예컨대, 수술 절차의 프레임 중 적어도 일부는 해부학적 구조에 대해 외과 수술이 수행되고 있는 수술 절차의 일부를 표시할 수 있다. 위에서 논의된 바와 같이, 상호작용은 해부학적 구조에 영향을 줄 수 있는 수술 도구에 의한 임의의 액션을 포함할 수 있거나, 또는 그 반대의 경우도 가능하다. 예컨대, 상호작용은 수술 도구와 해부학적 구조 간의 접촉, 해부학적 구조에 대한 수술 도구에 의한 액션(이를테면, 절단, 클램핑, 파지, 압력 인가, 스크래핑 등), 해부학적 구조에 의한 생리학적 반응, 해부학적 구조를 향해 광을 방출하는 수술 도구(예컨대, 수술 도구는 해부학적 구조를 향해 광을 방출하는 레이저일 수 있음), 해부학적 구조를 향해 방출되는 사운드, 해부학적 구조에 근접하게 생성되는 전자기장, 해부학적 구조로 유도되는 전류, 또는 임의의 다른 인식가능한 형태의 상호작용을 포함할 수 있다.
일부 경우에서, 상호작용을 식별하는 것은 해부학적 구조에 대한 수술 도구의 근접도를 식별하는 것을 포함할 수 있다. 예컨대, 수술 절차의 수술 비디오 푸티지를 분석함으로써, 이미지 인식 모델은 해부학적 구조의 표면 상의 또는 해부학적 구조 내의 포인트(또는 포인트 세트)와 수술 도구 간의 거리를 결정하도록 구성될 수 있다.
다양한 실시예에서, 수술 절차 동안 수술 도구와 해부학적 구조 간의 상호작용이 식별되고, 그러한 상호작용이 기준 수술 절차(즉, 추천된 이벤트 시퀀스가 후속되는 수술 절차)에 대해 예상되지 않는다면, 실시예는 편차가 발생했다고 결정하도록 구성될 수 있다. 대안적으로, 수술 도구와 해부학적 구조 간의 상호작용이 식별되지 않고(예컨대, 수술 절차 동안 상호작용이 존재하지 않는다면), 상호작용이 기준 수술 절차에 대해 예상되면, 실시예는 편차가 발생했다고 결정하도록 구성될 수 있다. 일부 실시예는, 수술 도구와 해부학적 구조 간의 상호작용이 수술 절차 및 기준 수술 절차 둘 모두에서 존재하는 경우(또는 부재하는 경우), 수술 절차 및 기준 수술 절차의 실질적인 편차가 없다고 결정하도록 구성될 수 있다.
수술 절차에서 생략된 이벤트의 결정 및 통지를 가능하게 하기 위한 실시예의 양상은 도 28에 프로세스(2801)로 예시된다. 단계(2811)에서, 프로세스(2801)는 임의의 적절한 수단을 사용하여 특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것을 포함할 수 있다. 예컨대, 액세스하는 것은 입력 디바이스(예컨대, 키보드, 마우스 등)를 통해 유선 또는 무선 네트워크를 통해 또는 데이터를 판독/기록하는 것을 허용하기 위한 임의의 다른 수단을 통해 액세스하는 것을 포함할 수 있다.
단계(2813)에서, 프로세스(2801)는 위에서 설명된 바와 같이, 수술 절차에 대한 추천된 이벤트 시퀀스를 식별하는 저장된 데이터에 액세스하는 것을 포함할 수 있다. 단계(2815)에서, 프로세스(2801)는 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하기 위해, 액세스된 프레임을 추천된 이벤트 시퀀스와 비교하는 것을 포함할 수 있다. 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차는, 위에서 설명된 임의의 적절한 접근법을 사용하여(예컨대, 적절한 측정 함수를 사용하여 상이한 이벤트 간의 차이를 계산함으로써, 머신-러닝 모델을 사용함으로써 등) 결정될 수 있다. 단계(2817)에서, 프로세스(2801)는 위에서 설명된 임의의 적절한 접근법을 사용하여(예컨대, 수술중 수술 이벤트를 식별하기 위해 머신-러닝 모델을 사용하여) 편차와 연관된 수술중 수술 이벤트의 이름을 결정하는 것을 포함할 수 있다. 프로세스(2801)는 편차와 연관된 수술중 수술 이벤트의 이름을 포함하는, 편차의 통지를 제공하기 위한 단계(2819)로 종결될 수 있다. 위에서 설명된 바와 같이, 통지는 임의의 적절한 통지(예컨대, SMS 텍스트, 비디오, 이미지 등)일 수 있고, 의료 서비스 전문가, 관리자, 또는 임의의 다른 인가된 개인에게 전달될 수 있다.
이전에 논의된 바와 같이, 본 개시내용은 수술 절차에서 생략된 이벤트의 결정 및 통지를 가능하게 하기 위한 방법 및 시스템뿐만 아니라, 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금, 수술 절차에서 생략된 이벤트의 결정 및 통지를 가능하게 하는 동작을 실행하게 하는 명령을 포함할 수 있는 비-일시적 컴퓨터-판독가능 매체에 관한 것이다. 동작은 위에서 설명된 바와 같이, 수술 절차에서 생략된 이벤트의 결정 및 통지를 가능하게 하기 위한 방법의 다양한 단계를 포함할 수 있다.
개시된 시스템 및 방법은 수술 결과를 예측하고 개선하기 위해 수술의 특징, 환자 상태 및 다른 특징을 식별하기 위해 현재 및/또는 이력 수술 푸티지를 분석하는 것을 수반할 수 있다. 수술 절차에 대한 의사결정 지원을 제공하기 위한 종래의 접근법은, 실시간으로 수행되는 것이 불가능할 수 있거나, 수술 비디오에서 의사 결정 분기점을 결정하고 수술 결과를 개선하는 특정 액션을 수행하기 위한 추천을 개발하는 것이 불가능할 수 있다. 이러한 상황에서, 의사는 임계 의사 결정 포인트를 놓치고 그리고/또는 결과를 개선할 수 있는 특정 액션을 수행하는 데 실패할 수 있으며, 수술이 환자에 대해 차선의 결과를 야기할 수 있다. 대조적으로, 본 개시내용의 일부 실시예는 수술 절차에 대한 의사결정 지원을 효율적으로, 효과적으로 그리고 실시간으로 제공하는 신규한 접근법을 제공한다.
본 개시내용에 따르면, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법이 개시된다. 수술 절차는 한 명 이상의 의사에 의해 수행되는 절차를 포함할 수 있다. 의사는 닥터 또는 다른 의료 전문가를 포함하여 수술 절차를 수행하는 임의의 사람, 수술 절차를 보조하는 임의의 사람, 및/또는 수술 로봇을 포함할 수 있다. 환자는 수술 절차를 겪는 임의의 사람을 포함할 수 있다. 수술 절차의 비-제한적인 예는 환자에게 임플란트를 삽입하는 것, 절단, 스티칭, 조직 제거, 이식, 소작(cauterizing), 장기 제거, 장기 삽입, 사지 또는 다른 신체 부위 제거, 보철물 추가, 종양 제거, 생체 검사 수행, 변연절제술 수행, 우회, 및/또는 환자를 치료 또는 진단하기 위한 임의의 다른 액션을 포함할 수 있다. 이식 또는 이식 유닛은 스텐트(stent), 모니터링 유닛, 및/또는 신체 내에서 누락된 생물학적 구조를 대체하거나, 손상된 생물학적 구조를 지지하거나, 기존 생물학적 구조를 향상시키는 데 사용되는 임의의 다른 재료를 포함할 수 있다. 복강경, 카메라, 절단기, 바늘, 드릴, 및/또는 임의의 다른 디바이스 또는 이식과 같은 수술 도구가 수술 절차 동안 사용될 수 있다. 추가로, 수술 절차 동안, 약제(이를테면, 마취제, 정맥 내 체액, 치료 약물, 및/또는 임의의 다른 화합물 또는 제제)가 사용될 수 있다.
의사결정 지원은 의사 결정 시에 의사를 가이드할 수 있는 추천을 제공하는 것을 포함할 수 있다. 의사결정 지원은 이전의 유사한 수술 절차의 비디오 푸티지를 분석하는 것, 긍정적 결과를 야기할 가능성이 가장 높은 액션 방침을 식별하는 것, 및 수술 의사에게 대응하는 추천을 제공하는 것을 포함할 수 있다. 보다 일반적으로, 수술 절차에 대한 의사결정 지원은, 수술 절차 동안 의료 전문가에게 (의사결정을 조명하는 정보에서) 액션을 취하거나 회피하기 위한 추천과 같은 정보를 제공하는 것을 포함할 수 있다. 일부 실시예에서, 의사결정 지원은 의료 전문가에게 상황을 경고하기 위한 컴퓨터화된 인터페이스를 제공하는 것을 포함할 수 있다. 인터페이스는 예컨대, 디스플레이, 스피커, 광, 햅틱 피드백 컴포넌트, 및/또는 임의의 다른 입력 및/또는 피드백 메커니즘을 포함할 수 있다. 일부 실시예에서, 수술 절차에 대한 의사결정 지원을 제공하는 것은, 의사에게 실시간 추천을 제공하는 것을 포함할 수 있다(즉, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은 수술 절차 동안 실시간으로 수행될 수 있다). 실시간 추천은 수술실(예컨대, 도 1에 묘사된 수술실)에서 인터페이스를 통해 추천을 제공하는 것을 포함할 수 있다. 실시간 추천은 수술 절차 동안 업데이트될 수 있다.
일부 실시예에서, 방법은 수술실에서 환자에 대해 의사에 의해 수행된 수술 절차의 비디오 푸티지를 수신하는 단계를 포함할 수 있다. 비디오 푸티지는 하나 이상의 카메라 및/또는 센서에 의해 캡처된 비디오를 포함할 수 있다. 비디오 푸티지는 연속적인 비디오, 비디오 클립, 비디오 프레임, 강내 비디오 및/또는 임의의 다른 비디오 푸티지를 포함할 수 있다. 비디오 푸티지는 수술 절차의 임의의 양상을 묘사할 수 있고, 환자(내부적으로 또는 외부적으로), 의료 전문가, 로봇, 의료 도구, 액션, 및/또는 수술 절차의 임의의 다른 양상을 묘사할 수 있다. 일부 실시예에서, 비디오 푸티지는 내시경 또는 체내 카메라 중 적어도 하나로부터의 이미지(예컨대, 강내 비디오의 이미지)를 포함할 수 있다. 내시경은 강성 또는 플렉시블한 관, 광, 광섬유, 렌즈, 접안렌즈, 카메라, 통신 컴포넌트(예컨대, 유선 또는 무선 연결), 및/또는 환자의 신체 내에서부터 이미지를 수집하고 송신하는 것을 보조하기 위한 임의의 다른 컴포넌트를 포함할 수 있다. 체내 카메라는 수술 절차 전에, 수술 도중 또는 수술 후에 환자의 신체 내에서부터 이미지를 수집하는 데 사용되는 임의의 이미지 센서를 포함할 수 있다.
비디오 푸티지를 수신하는 것은, 센서(예컨대, 환자 위, 환자 내 또는 수술실 내의 다른 곳에 위치된 이미지 센서), 수술 로봇, 카메라, 모바일 디바이스, 통신 디바이스를 사용하는 외부 디바이스, 공유 메모리, 및/또는 이미지를 캡처 및/또는 송신할 수 있는 임의의 다른 연결된 하드웨어 및/또는 소프트웨어 컴포넌트를 통해 발생할 수 있다. 비디오 푸티지는 네트워크를 통해 그리고/또는 유선 및/또는 무선 연결을 통해 디바이스로부터 직접적으로 수신될 수 있다. 비디오 푸티지를 수신하는 것은, 데이터 저장부, 이를테면 데이터베이스, 디스크, 메모리, 원격 시스템, 온라인 데이터 저장부, 및/또는 정보가 유지될 수 있는 임의의 위치 또는 매체로부터 비디오 푸티지를 판독, 리트리브 및/또는 다른 방식으로 액세스하는 것을 포함할 수 있다.
개시된 실시예에 따르면, 수술실은 병원, 치료소, 임시 치료소(예컨대, 재난 구호 또는 전쟁 이벤트 동안 수술을 위해 구성된 룸 또는 텐트), 및/또는 수술 절차가 수행될 수 있는 임의의 다른 위치 내의 룸을 포함하여 수술을 수행하도록 구성된 임의의 룸을 포함할 수 있다. 예시적인 수술실이 도 1에 도시된다.
개시된 실시예에 따르면, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은, 수술 절차를 특징짓는 이미지-관련 데이터를 포함하는 적어도 하나의 데이터 구조에 액세스하는 것을 포함할 수 있다. 데이터 구조에 액세스하는 것은, 네트워크를 통해 그리고/또는 유선 및/또는 무선 연결을 통해 디바이스로부터 직접적으로 데이터 구조의 데이터를 수신하는 것을 포함할 수 있다. 데이터 구조에 액세스하는 것은 일부 개시된 실시예에 따라, 데이터 저장부로부터 데이터 구조의 데이터를 리트리브하는 것을 포함할 수 있다.
본 실시예에 따르면, 데이터 구조는 원시 타입, 이를테면 부울(Boolean), 캐릭터, 부동 소수점, 정수, 기준 및 나열 타입을 포함할 수 있고; 복합 타입, 이를테면 컨테이너(container), 리스트, 튜플(tuple), 멀티맵(multimap), 연관 어레이, 세트, 멀티세트(multiset), 스택, 큐, 그래프, 트리, 힙; 임의의 형태의 해시-기반 구조 또는 그래프를 포함할 수 있다. 추가 예는 관계형 데이터베이스, 표 형식 데이터, 및/또는 리트리벌을 위해 구성된 다른 형태의 정보를 포함할 수 있다. 데이터 구조 내의 데이터는 데이터 타입, 키-값 쌍, 라벨, 메타데이터, 필드, 태그, 인덱스 및/또는 다른 인덱싱 특징을 포함하는 데이터 스키마에 따라 구성될 수 있다.
수술 절차를 특징짓는 비디오 및/또는 이미지-관련 데이터가 데이터 구조 내에 포함될 수 있다. 이러한 이미지-관련 데이터는 비디오-특성화 정보 및/또는 비디오 푸티지 자체, 이미지, 및/또는 비디오 및/또는 이미지 데이터의 사전 프로세싱된 버전의 일부 또는 전부를 포함할 수 있다. 다른 예에서, 이러한 비디오 및/또는 이미지-관련 데이터는 비디오 및/또는 이미지의 분석에 기반한 정보를 포함할 수 있다. 또 다른 예에서, 이러한 비디오 및/또는 이미지-관련 데이터는 이미지 데이터를 분석하기 위한 정보 및/또는 하나 이상의 규칙을 포함할 수 있다. 데이터 구조의 일 예가 도 17a에 예시된다.
개시된 실시예에 따르면, 수술 절차를 특징짓는 이미지-관련 데이터는 이벤트 특성, 이벤트 위치, 결과, 수술 절차와 이벤트의 필수 시퀀스 간의 편차, 스킬 레벨, 이벤트 위치, 수술중 수술 이벤트, 수술중 수술 이벤트 특성, 특성 이벤트, 누출 상황, 수술 페이즈 내의 이벤트, 태그, 이벤트의 필수 시퀀스, 생략된 이벤트, 추천된 이벤트 시퀀스, 해부학적 구조, 상태, 해부학적 구조와 의료 기구 간의 접촉, 상호작용에 관련된 데이터, 및/또는 수술 절차의 양상을 설명 또는 정의하는 임의의 다른 정보를 포함할 수 있다.
일부 실시예에서, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은, 수술 의사 결정 분기점의 존재를 결정하기 위해 이미지-관련 데이터를 사용하여, 수신된 비디오 푸티지를 분석하는 단계를 포함할 수 있다. 수술 의사 결정 분기점은 수술 비디오의 시간(예컨대, 시점 또는 시간 기간)을 포함할 수 있다. 예컨대, 이는 대안적 액션 방침을 추구할 기회를 제기하는 이벤트 또는 상황과 관련될 수 있다. 예컨대, 의사 결정 분기점은 의사가 수술 결과를 변경하고, 수술 절차를 따르고, 다른 수술 절차로 변경하고, 수술 절차에서 벗어나고, 그리고/또는 임의의 다른 접근법을 변경하기 위해 하나 이상의 액션을 취할 수 있는 시간을 반영할 수 있다.
수신된 비디오 푸티지를 분석하는 것은 개시된 실시예에 따라, 수신된 비디오 푸티지의 하나 이상의 프레임에 대한 이미지 분석 방법을 수행하는 것을 포함할 수 있다. 수신된 비디오 푸티지를 분석하는 것은 예컨대 위에서 설명된 바와 같이, 예컨대 객체 인식, 이미지 분류, 호모그래피(homography), 포즈(pose) 추정, 모션 검출, 및/또는 다른 비디오 분석 방법을 포함할 수 있다. 수신된 비디오 푸티지를 분석하는 것은 개시된 실시예에 따라, 트레이닝된 머신 러닝 모델을 사용하는 것, 및/또는 머신 러닝 모델을 트레이닝 및/또는 구현하는 것을 포함할 수 있다. 예컨대, 수신된 비디오 푸티지는 이미지 및/또는 비디오로부터 수술 의사결정 분기점을 검출 및/또는 식별하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하여 분석될 수 있다. 예컨대, 수신된 비디오 푸티지는 이미지 및/또는 비디오로부터 수술 의사결정 분기점을 검출 및/또는 식별하도록 구성된 인공 뉴럴 네트워크를 사용하여 분석될 수 있다. 일부 실시예에서, 수신된 비디오 푸티지는 수술 의사결정 분기점의 존재를 결정하기 위해 이미지-관련 데이터와 비교될 수 있다. 이는 예컨대, 비디오 분석을 통해 발생할 수 있고, 실시간으로 발생할 수 있다. (예컨대, 수술하는 의사의 비디오가 캡처될 때, 비디오에 대해 실시간으로 분석이 수행될 수 있고, 수술 분기점이 식별될 수 있다.) 일 예에서, 이미지-관련 데이터는 이미지 데이터를 분석하기 위한 하나 이상의 규칙(이를테면, 트레이닝된 머신 러닝 모델, 인공 뉴럴 네트워크 등)을 포함할 수 있으며, 하나 이상의 규칙은 수술 의사 결정 분기점의 존재를 결정하기 위해 수신된 비디오 푸티지를 분석하는 데 사용될 수 있다. 일 예에서, 수술 결정 분기점의 존재를 결정하기 위해, 수신된 비디오 푸티지로부터의 프레임의 분석에 기반하여 마르코프 모델이 활용될 수 있다. 다른 예에서, 수신된 비디오 푸티지를 분석하고 수술 의사 결정 분기점의 존재를 결정하기 위해 인공 뉴럴 네트워크(이를테면, 순환 뉴럴 네트워크 또는 장단기 메모리 뉴럴 네트워크)가 사용될 수 있다.
예로서, 의사 결정 분기점은 부적합한 액세스 또는 노출의 검출, 해부학적 구조의 수축, 해부학적 구조의 잘못된 해석(misinterpretation) 또는 체액 누출, 및/또는 대안적 액션 방침을 추구할 기회를 제기하는 임의의 다른 수술 이벤트 시에 발생할 수 있다. 부적합한 액세스 또는 노출은 잘못된 조직, 장기 및/또는 다른 해부학적 특징을 개방 및/또는 절단하는 것을 포함할 수 있다. 수축은 의사에 의한 뷰잉을 위한 조직 또는 장기, 및/또는 다른 해부학적 구조를 노출시키기 위한 조직의 움직임, 견인, 및/또는 역-견인(counter-traction)을 수반할 수 있다. 해부학적 구조의 잘못된 해석 또는 체액 누출은 오분류(예컨대, 잘못된 구조 또는 체액 타입의 분류) 및/또는 출처의 부정확한 추정 및/또는 체액 누출의 심각도를 포함할 수 있다. 보다 일반적으로, 잘못된 해석은 수술 절차 동안 시스템 또는 사람에 의해 도달된 임의의 부정확한 결론을 포함할 수 있다.
일부 실시예에서, 의사 결정 분기점은 공통 수술 상황 이후 다양한 액션 방침이 발생한 복수의 다양한 이력 절차의 분석에 의해 결정될 수 있다. 예컨대, 복수의 다양한 이력 절차가 이력 비디오 푸티지 및/또는 수신된 비디오 푸티지에 포함될 수 있다. 이력 절차는 하나 이상의 수술 절차, 하나 이상의 환자, 하나 이상의 상태, 하나 이상의 결과 및/또는 하나 이상의 의사를 묘사할 수 있다. 일부 실시예에서, 다양한 액션 방침은 본원에서 설명되는 바와 같이, 수술 절차 동안 다양한 액션을 포함할 수 있다. 다양한 액션 방침은 동일하지 않은 액션을 포함할 수 있다(예컨대, 열상을 봉합하기 위한 액션 및 열상을 스테이플링하기 위한 액션이 다양한 액션으로 간주될 수 있음). 상이한 액션 방침은 동일한 액션을 수행하는 상이한 방법을 포함할 수 있다(예컨대, 하나의 접촉력을 인가하는 것과 다른 접촉력을 인가하는 것이 동일한 액션을 수행하는 상이한 방법일 수 있음). 다양한 액션 방침은 상이한 의료 도구를 사용하는 것을 포함할 수 있다. 공통 수술 상황은 수술 절차의 타입(이를테면, 담낭절제술), 수술 이벤트(예컨대, 절개, 체액 누출 이벤트 등), 및/또는 복수의 이력 수술 절차에 공통적일 수 있는 수술의 임의의 다른 양상을 포함하는 상황을 지칭할 수 있다.
일부 실시예에서, 의사 결정 분기점의 존재를 결정하는 것은 해부학적 구조의 검출된 생리학적 반응 및/또는 수술 도구와 연관된 모션에 기반할 수 있다. 생리학적 반응은 해부학적 구조의 움직임, 누출, 및/또는 임의의 다른 생리적 활동을 포함할 수 있다. 생리학적 반응은 심박수, 호흡률, 혈압, 체온, 혈류의 변화, 및/또는 임의의 다른 생물학적 파라미터 또는 건강 상황의 변화를 포함할 수 있다. 가능한 생리학적 반응의 다른 비-제한적인 예가 위에서 설명된다. 수술 도구와 연관된 모션은 수술 도구의 임의의 움직임(예컨대, 전환 및/또는 회전)을 포함할 수 있다. 수술 도구는 본원에 개시된 바와 같이, 임의의 수술 도구를 포함할 수 있다. 수술 도구와 연관된 생리학적 반응 및/또는 모션을 검출하는 것은, 본원에서 또한 설명되는 바와 같이, 이미지 분석의 방법을 수행하는 것을 포함할 수 있다.
일부 실시예에서, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은, 적어도 하나의 데이터 구조에서, 의사 결정 분기점에서 취한 특정 액션과 결과 간의 상관관계에 액세스하는 단계를 포함할 수 있다. 상관관계에 액세스하는 단계는, 상관관계의 존재를 결정하는 단계, 메모리로부터 상관관계를 판독하는 단계, 및/또는 특정 액션과 결과 간에 상관관계가 존재한다고 임의의 다른 방식으로 결정하는 단계를 포함할 수 있다. 일부 실시예에서, 상관관계는 인덱스에 기반하여 데이터 구조에서 액세스될 수 있으며, 인덱스는 특정 액션, 의사 결정 분기점, 및/또는 결과의 태그, 라벨, 이름 또는 다른 식별자 중 적어도 하나를 포함한다. 일부 실시예에서, 상관관계에 액세스하는 단계는 모델, 공식 및/또는 임의의 다른 논리적 접근법과 같은 알고리즘을 사용하여 상관관계를 결정(예컨대, 생성, 검색 또는 식별)하는 단계를 포함할 수 있다. 개시된 실시예에 따르면, 상관관계는 특정 액션과 연관된 원하는 결과(예컨대, 긍정적 결과) 및/또는 원하지 않는 결과(예컨대, 부정적 결과)의 확률(예컨대, 가능성)을 표시할 수 있다. 상관관계는 상관 계수, 적합도 측정치(goodness of fit measure), 회귀 계수, 승산 비율, 확률, 및/또는 임의의 다른 통계적 또는 논리적 연관성을 포함할 수 있다. 일 예에서, 하나의 상관관계가 특정 타입의 모든 의사 결정 분기점에 대해 사용될 수 있는 한편, 다른 예에서는, 복수의 상관관계가 특정 타입의 모든 의사 결정 분기점의 그룹의 상이한 서브세트에 대해 사용될 수 있다. 예컨대, 이러한 서브세트는 특정 그룹의 환자, 특정 그룹의 의사(및/또는 다른 의료 서비스 전문가), 특정 그룹의 수술, 특정 그룹의 수술실, 수술 절차의 특정 이전 이벤트, 이러한 그룹의 임의의 유니온 또는 교차부 등에 대응할 수 있다.
특정 액션은 수술 절차 동안 의사(예컨대, 인간 또는 로봇 의사)에 의해 또는 수술 절차를 보조하는 사람 또는 로봇에 의해 수행되는 임의의 액션을 포함할 수 있다. 특정 액션의 예는 교정 조치, 진단 액션, 수술 절차 후의 액션, 수술 절차로부터 벗어난 액션, 및/또는 수술 절차 동안 발생할 수 있는 임의의 다른 활동을 포함할 수 있다. 이러한 액션은 생물학적 구조와 의료 기구의 결합, 약제 투여, 절단, 봉합술, 수술 접촉 변경, 의료 검사 수행, 해부학적 구조의 세척, 과도한 체액 제거, 및/또는 수술 절차 동안 발생할 수 있는 임의의 다른 액션을 포함할 수 있다.
특정 액션은 단일 단계 또는 복수의 단계(예컨대, 수술 동안 수행되는 복수의 액션)를 포함할 수 있다. 단계는 본원에서 설명되는 바와 같이 임의의 액션 또는 액션의 서브세트를 포함할 수 있다. 특정 액션의 비-제한적인 예는 절개를 하는 단계, 임플란트를 삽입하는 단계, 임플란트를 부착하는 단계, 및 절개부를 밀봉하는 단계 중 하나 이상을 포함할 수 있다.
일부 실시예에서, 특정 액션은 추가적인 의사를 수술실에 도입하는 것을 포함할 수 있다. 예컨대, 추가적인 의사는 수술실에 이미 존재하는 의사보다 더 많은 경험, 더 높은 스킬 레벨, 특정 전문 지식(예컨대, 기술적 전문 지식, 특정 문제점 해결 전문 지식, 및/또는 다른 전문 지식)을 가질 수 있다. 의사를 수술실로 안내하는 것은, 의사에게 수술실에 오도록 요청하거나 명령하는 통지를 송신하는 것을 포함할 수 있다. 일부 실시예에서, 추가적인 의사는 수술 로봇일 수 있고, 추가적인 의사를 수술실로 안내하는 것은 로봇을 활성화하는 것 및/또는 수술 절차를 수행 및/또는 보조하기 위한 명령을 로봇에 제공하는 것을 포함할 수 있다. 로봇에 명령을 제공하는 것은 하나 이상의 액션을 수행하기 위한 명령을 포함할 수 있다.
일부 실시예에서, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은, 특정 액션을 착수 및/또는 회피하기 위한 추천을 사용자에게 출력하는 것을 포함할 수 있다. 그러한 추천은, 가이던스(예컨대, 오디오, 비디오, 텍스트-기반, 수술 로봇에 대한 제어 커맨드, 또는 어드바이스 및/또는 지시를 제공하는 다른 데이터 송신)의 형태에 관계없이 임의의 가이던스를 포함할 수 있다. 일부 경우에서, 가이던스는 명령의 형태일 수 있고, 다른 경우에는, 추천의 형태일 수 있다. 그러한 가이던스를 위한 트리거는 의사 결정 분기점 및 액세스된 상관관계의 결정된 존재일 수 있다. 추천을 출력하는 것은 디바이스에 추천을 송신하는 것, 인터페이스 상에 추천을 디스플레이하는 것, 및/또는 정보를 의사결정권자(decision maker)에게 공급하기 위한 임의의 다른 메커니즘을 포함할 수 있다. 추천을 사용자에게 출력하는 것은 수술실에 있는 사람, 의사(예컨대, 인간 의사 및/또는 수술 로봇)에게, 수술 절차를 보조하는 사람(예컨대, 간호사)에게 추천을 출력하는 것을 포함할 수 있고, 및/또는 다른 사용자에게 임의의 것을 출력하는 것을 포함할 수 있다. 예컨대, 추천을 출력하는 것은 컴퓨터, 모바일 디바이스, 외부 디바이스, 스마트 안경, 프로젝터, 수술 로봇, 및/또는 사용자에게 정보를 전달할 수 있는 임의의 다른 디바이스에 추천을 송신하는 것을 포함할 수 있다. 일부 실시예에서, 의사는 수술 로봇일 수 있고, 추천은 수술 로봇에 대한 명령(예컨대, 특정 액션을 수행하고 그리고/또는 특정 액션을 회피하기 위한 명령)의 형태로 제공될 수 있다.
추천을 출력하는 것은 네트워크를 통해 그리고/또는 직접 연결을 통해 발생할 수 있다. 일부 실시예에서, 추천을 출력하는 것은 수술실의 인터페이스에서 출력을 제공하는 것을 포함할 수 있다. 예컨대, 추천을 출력하는 것은 인터페이스(예컨대, 수술실의 시각 및/또는 오디오 인터페이스)를 통해 추천이 제공되는 것을 유발하는 것을 포함할 수 있다. 일부 실시예에서, 추천을 출력하는 것은 사운드를 플레이하는 것, 광을 변경하는 것(예컨대, 광을 켜거나 끄는 것, 광을 펄싱하는 것), 햅틱 피드백 신호를 제공하는 것, 및/또는 사람에게 경고하거나 사람 또는 수술 로봇에 정보를 제공하는 임의의 다른 방법을 포함할 수 있다.
예로서, 추천은 의료 검사를 수행하기 위한 추천을 포함할 수 있다. 일부 실시예에서, 의료 검사는 환자의 혈액 분석, 의료 이미징, 소변 분석, 센서에 의한 데이터 수집, 및/또는 임의의 다른 분석을 포함할 수 있다. 의료 이미징은 수술중의 의료 이미징(즉, 수술 절차 동안 발생하는 이미징), 이를테면 X-선 이미징, 컴퓨터 단층촬영(computerized tomography; CT), 의료 공명 이미징(medical resonance imaging; MRI), 조영제(contrasting agent)를 수반하는 다른 절차, 초음파, 또는 진단 및/또는 치료 목적을 위한 신체 부위 이미지를 생성하기 위한 다른 기법을 포함할 수 있다.
일부 실시예에서, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은 결정된 의사 결정 분기점, 액세스된 상관관계, 및 의료 검사의 수신된 결과의 존재에 기반하여 특정 액션을 수행하거나 회피하기 위해 사용자에게 추천(예컨대, 제1 추천, 제2 추천, 및/또는 추가적인 추천)을 출력하는 것을 포함할 수 있다. 따라서, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은 의료 검사의 결과를 수신하는 것을 포함할 수 있다. 의료 검사의 결과는 의료 데이터, 센서 데이터, 기구 데이터, 및/또는 생물학적 상태를 반영하는 임의의 다른 정보를 포함할 수 있다. 의료 검사의 결과는 환자의 건강 상황 및/또는 상태의 표시자를 포함할 수 있다. 결과는, 예컨대, 바이오 마커의 존재 또는 부재, 종양의 존재 또는 부재, 해부학적 특징의 위치, 신진 대사 활동의 표시자(예컨대, 글루코스 흡수), 효소 레벨, 심장 상황(예컨대, 심박수), 온도, 호흡 표시자, 및/또는 임의의 다른 건강 또는 상태 표시자를 포함할 수 있다. 결과는 네트워크를 통해 그리고/또는 연결된 디바이스로부터 수신될 수 있다. 결과를 수신하는 것은 개시된 실시예에 따라, 데이터 저장부를 수신 및/또는 액세스하는 것을 포함할 수 있다. 예컨대, 의료 검사의 수신된 결과의 제1 값에 대한 응답으로, 제1 액션을 착수하기 위한 (또는 회피하기 위한) 추천이 출력될 수 있고, 의료 검사의 수신된 결과의 제2 값에 대한 응답으로, 제1 액션을 착수하기 위한 (또는 회피하기 위한) 추천을 출력하는 것은 보류될 수 있다.
일부 실시예에서, 추천은 추가적인 의사의 이름 및/또는 다른 식별자(예컨대, 직원 ID)를 포함할 수 있다. 일부 실시예에서, 추천을 출력하는 것은 추가적인 의사에게 표시를 제공하는 것을 포함할 수 있다. 표시는 통지, 경고, 수술실에 오라는 요청, 의료 검사의 결과, 수술 절차 동안 어시스턴스가 필요할 수 있다는 정보 표시, 및/또는 임의의 다른 표시를 포함할 수 있다. 일 예에서, 추가적인 의사는 수술 절차를 겪은 환자, 현재 수술 절차를 수행하고 있는 의사, 수술실, 수술 절차에서 사용되는 도구, 수술 절차와 관련된 해부학적 구조의 상태, 수술 절차에서 의료 기구와 해부학적 구조 간의 상호작용, 수술 절차와 관련된 생리학적 반응의 특성 중 하나 이상, 추가적인 의사의 특성 등 중 하나 이상에 기반하여 (예컨대, 복수의 대안의 추가적인 의사로부터) 선택될 수 있다.
본 실시예에 따라, 추천은 현재 수술 상황의 설명, 가이던스, 선제적 또는 교정 조치의 표시, 대안적 접근법의 표시, 위험 존 맵핑(danger zone mapping), 및/또는 수술 절차에 대해 의사에게 알릴 수 있는 임의의 다른 정보를 포함할 수 있다. 현재 수술 상황의 설명은 환자의 건강 상황 및/또는 상태(예컨대, 센서 데이터에 반영된 상태, 이를테면 심박수 모니터 데이터, 뇌 활동 데이터, 온도 데이터, 누출 데이터, 및/또는 임의의 다른 건강 데이터)를 포함할 수 있다. 현재 수술 상황의 설명은 또한 또는 대안적으로 현재 또는 가능한 미래 결과의 평가를 포함할 수 있다. 선제적 조치 및/또는 교정 조치는 수술 절차를 따르고 그리고/또는 변경하기 위한 액션을 포함할 수 있다. 선제적 조치 및/또는 교정 조치는 의사 및/또는 수술을 보조하는 사람에 의한 임의의 액션, 및/또는 부정적인 결과를 회피하는 것을 야기할 수 있는 액션을 포함할 수 있다. 교정 조치는 결과를 개선할 수 있는 액션을 포함할 수 있다. 일부 실시예에서, 위험 존 맵핑은 하나 이상의 특정 액션 및 가능성이 있는 결과(예컨대, 부정적인 결과 이를테면, 사망, 장애 또는 다른 원하지 않는 결과와 연관된 특정 액션의 세트)를 식별하는 것을 포함할 수 있다. 위험 존 맵핑은, 예컨대, 적절하게 접근되지 않으면, 환자의 안전 및 수술 결과에 악영향을 줄 수 있는 해부학적 구역의 식별을 포함할 수 있다. 예컨대, 사타구니 탈장에서, 위험 존은 남성의 정관(Vas deferens) 또는 여성의 자궁의 둥근 인대(내측)와 남성의 고환 혈관(testicular vessels)(측방) 사이에 놓이고 중요한 구조 이를테면, 장골 혈관, 대퇴 신경, 성기 대퇴 신경의 생식기 분지를 유지하는 '운명의 삼각형(triangle of doom)', 및/또는 고환 혈관(내측), 요근(측방) 및 회치관(상부) 사이에 놓이고, 중요한 구조 이를테면, 대퇴 비만 신경 및 측 대퇴 피부 신경의 대퇴부 분지를 유지하는 '통증의 삼각형(triangle of pain)'을 포함할 수 있고, 중요하다. "운명의 삼각형(triangle of doom)" 내의 구조에 대한 손상은 일부 경우에서 치명적일 수 있다. "통증의 삼각형(triangle of pain)" 내의 구조에 대한 손상은, 일부 경우에서 만성 통증(chronic pain)을 초래할 수 있다. 일부 예에서, 머신 러닝 모델은 수술 이미지 및/또는 수술 비디오에서 위험 존을 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 비디오 푸티지를 분석하고 위험 존을 식별 및/또는 맵핑하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 이미지 및/또는 비디오에 묘사된 위험 존을 표시하는 라벨과 함께 이미지 및/또는 비디오를 포함할 수 있다. 일 예에서, 위험 존 맵핑의 설명은 관련있는 식별된 위험 존의 텍스츄얼 설명을 포함할 수 있다. 다른 예에서, 위험 존 맵핑의 설명은, 예컨대, 증강 현실 시스템 등에서 비디오 푸티지의 적어도 하나의 프레임에 걸친 오버레이로서, 관련있는 식별된 위험 존의 시각적 마킹을 포함할 수 있다.
예로서, 추천은, 이를테면, 환자로부터의 염증성 체액, 혈액, 담즙 및/또는 다른 체액을 배출하기 위한 수술 배출구의 추천된 배치를 포함할 수 있다.
추천은, 특정 액션이 취해지면 원하는 수술 결과가 발생할 것이라는 신뢰도 레벨, 및/또는 특정 액션이 취해지지 않으면 원하는 결과가 발생하지 않을 것이라는 신뢰도 레벨을 포함할 수 있다. 신뢰도 레벨은 개시된 실시예에 따라 이력 수술 절차의 분석에 기반할 수 있고, 결과가 발생할 확률(즉, 가능성)을 포함할 수 있다. 원하는 결과는 긍정적 결과, 이를테면 개선된 건강 상황, 의료 임플란트의 성공적인 배치, 및/또는 임의의 다른 유익한 결과일 수 있다. 일부 실시예에서, 원하는 결과는, 의사 결정 분기점에 후속하는 가능한 원치 않는 상황의 회피(예컨대, 부작용의 회피, 수술 후 합병증, 체액 누출 이벤트, 환자의 건강 상황의 부정적인 변화 및/또는 임의의 다른 원하지 않는 상황)를 포함할 수 있다.
일부 실시예에서, 추천을 출력하는 것은 수술 절차의 특정 포인트 이후 경과된 시간에 기반할 수 있다. 예컨대, 추천은 개시된 실시예에 따라 수술 이벤트 이후 경과된 시간에 기반할 수 있다. 추천은, 적어도 의사 결정 분기점 이전에 특정된 수(분(minute)) 동안 발생한 수술 이벤트에 기반할 수 있다. 일부 실시예에서, 수술 이벤트는 의사 결정 분기점 이전에 의사에 의해 수행된 과거 액션을 포함할 수 있다. 추천은 또한 대안적 액션 방침을 포함할 수 있다. 액션 방침은 액션의 세트, 시퀀스, 및/또는 패턴을 포함할 수 있다. 대안적 액션 방침은 의사가 후속하는 진행중인 수술 절차와 연관된 액션과 상이할 수 있다.
일부 실시예에서, 추천은, 특정 액션이 착수되지 않으면 발생할 가능성이 있는 원하지 않는 수술 결과의 표시를 포함할 수 있다. 이러한 표시는 신뢰도 레벨, 원하지 않는 수술 결과의 설명(예컨대, 결과의 이름), 및/또는 임의의 다른 표시를 포함할 수 있다.
일부 실시예에서, 추천은 의사의 스킬 레벨에 기반할 수 있다. 예컨대, 높은 스킬 레벨을 갖는 의사는 더 낮은 스킬 레벨을 갖는 의사와는 상이한 추천을 받을 수 있다. 일부 실시예에서, 추천은 복수의 대안적 액션으로부터 선택된 특정 액션을 포함할 수 있고, 특정 액션의 선택은 의사의 스킬 레벨 및 복수의 대안적 액션과 연관된 복잡성 레벨에 기반할 수 있다. 스킬 레벨은 이력 성능 스코어, 수행된 수술의 수, 의사로서 소비된 전체 시간(예컨대, 수년; 수술에서 소비된 시간의 수), 트레이닝 레벨의 표시, 의사의 스킬의 분류, 및/또는 매뉴얼 입력, 데이터 분석, 또는 비디오 이미지 분석으로부터 도출되는 지의 여부의 의사의 스킬의 임의의 다른 평가에 기반할 수 있다.
일부 실시예에서, 추천은 의사 결정 분기점 이전에 수술 절차에서 발생된 수술 이벤트(즉, 이전 수술 이벤트)에 기반할 수 있다. 이전의 수술 이벤트는 본원에서 설명되는 바와 같이 임의의 수술 이벤트를 포함할 수 있으며, 이는 의사 결정 분기점에 선행했다. 이전의 수술 이벤트는 의사 결정 분기점 이후의 긍정적 또는 부정적 결과와 상관될 수 있고, 추천은 나중의 긍정적 결과를 달성하거나 나중의 부정적 결과를 회피할 가능성을 증가시키는 특정 액션을 수행하기 위한 추천을 포함할 수 있다. 따라서, 그러한 방법은 이전 수술 이벤트가 나중의 결과와 상관된다고 결정하는 것을 포함할 수 있다. 그러한 상관관계는, 수술 이벤트와 의사 결정 분기점 간의 경과된 시간에 기반하여 결정될 수 있다는 점에서, 시간-기반일 수 있다.
일부 실시예에서, 추천을 출력하는 것은 제1 단계를 수행하기 위한 제1 명령을 제공하는 것, 제1 단계가 성공적으로 수행되었다는 표시를 수신하는 것, 그리고 제1 단계가 성공적으로 수행되었다는 수신된 표시에 대한 응답으로, 제2 단계를 수행하기 위한 제2 명령을 제공하는 것을 포함할 수 있다. 일부 실시예에서, 추천을 출력하는 것은 제1 단계를 수행하기 위한 제1 명령을 제공하는 것 및 제1 단계가 성공적으로 수행되지 않았다는 표시를 수신하는 것을 포함할 수 있다. 일부 실시예에서, 추천을 출력하는 것은, 제1 단계가 성공적으로 수행되지 않았다는 수신된 표시에 대한 응답으로 제2 명령을 제공하는 것을 보류하는 것을 포함할 수 있다. 일부 실시예에서, 제1 단계가 성공적으로 수행되지 않았다는 수신된 표시에 대한 응답으로, 추천을 출력하는 것은 대안적인 단계를 수행하기 위한 대안적인 명령을 제공하는 것을 포함할 수 있으며, 대안적인 단계는 제2 단계와 상이하다.
제1 단계가 성공적으로 수행되었거나 또는 성공적으로 수행되지 않았다는 표시는, 개시된 실시예에 따라 비디오 푸티지의 분석에 기반할 수 있다. 표시를 수신하는 것은, 제1 단계를 수행하라는 명령을 제공한 후 비디오 푸티지를 수신하는 것, 및 비디오 푸티지의 분석에 기반하여 표시를 생성하는 것을 포함할 수 있다.
일부 실시예에서, 수술 절차에 대한 의사결정 지원을 제공하기 위한 방법은 환자의 바이탈 징후를 수신하는 것을 포함할 수 있고, 추천은 액세스된 상관관계 및 바이탈 징후에 기반할 수 있다. 바이탈 징후는 의료 기구, 디바이스, 외부 디바이스, 데이터 저장부, 센서 및/또는 임의의 다른 컴퓨팅 컴포넌트로부터 수신될 수 있고, 그리고 환자 건강 상황(예컨대, 심박수, 호흡 레이트, 뇌 활동, 및/또는 다른 바이탈 징후)의 상태인 임의의 표시자를 포함할 수 있다. 일부 실시예에서, 바이탈 징후는 연결된 디바이스로부터 네트워크를 통해 수신될 수 있고, 통상의 센서를 통해 또는 비디오 푸티지의 분석을 통해 검출될 수 있다.
일부 실시예에서, 추천은 환자의 조직의 상태 및/또는 환자의 장기의 상태에 기반할 수 있다. 일반적으로, 조직 또는 장기의 상태는 조직 또는 장기의 상태 또는 특성을 표시하는 임의의 정보를 지칭할 수 있다. 예컨대, 상태는, 조직 또는 장기가 정상인지, 비정상인지, 손상되었는지, 누출되는지, 수화되었는지, 산화되었는지, 탈수되었는지, 수축되었는지, 확대되었는지, 줄어들었는지, 존재하는지, 부재하는지, 그리고/또는 임의의 다른 모양 또는 상황과 같은 평가에 기반할 수 있다. 개시된 실시예에 따라, 환자의 조직 및/또는 장기의 상태는 비디오 푸티지의 분석에 기반하여 결정될 수 있다. 예컨대, 이러한 분석은 조직의 컬러, 해부학적 구조의 텍스처, 심박수, 폐활량(lung capacity), 혹(lump) 또는 다른 불규칙성의 존재 및/또는 해부학적 구조의 임의의 다른 특성을 결정할 수 있다. 일부 실시예에서, 추천은 센서 데이터에 반영된 상태, 이를테면, 심박수 모니터 데이터, 뇌 활동 데이터, 온도 데이터, 누출 데이터, 및/또는 임의의 다른 건강 데이터에 기반할 수 있다.
다른 예로서, 특정 액션의 추천은 스토마, 또는 특정 타입의 스토마(예컨대, 루프 스토마, 말단 스토마, 루프 결장루, 말단 결장루, 루프 회장루, 회장루 말단부, 요루 조루술 및/또는 임의의 다른 타입의 스토마)를 형성하기 위한 제안 또는 지시를 포함할 수 있다. 추천은 스토마 생성 기법, 스토마의 생성을 위한 결장(colon) 및/또는 회장(ileum)의 일부의 표시, 및/또는 스토마의 생성을 위한 환자의 피부상의 위치를 제안할 수 있다. 또는, 예컨대, 스토마의 생성이 원하지 않는 결과와 상관될 때, 스토마가 생성되지 않는 것을 추천할 수 있다.
스토마를 생성하거나 또는 생성하는 것을 회피하기(또는 임의의 다른 액션 방침을 취하는 것) 위한 추천은, 환자에 대한 생리학적 영향력, 및 결과에 대한 가능한 개선의 척도의 임계치에 기반할 수 있다. 임계치는 환자 특성(예컨대, 나이, 이전 건강 상황, 가족력, 바이탈 징후 및/또는 다른 특성)에 기반하여 선택될 수 있다. 예컨대, 이전에 원하는 결과와 연관된 스토마를 가졌던 환자에 대해 더 낮은 임계치가 선택될 수 있다. 임계치는 또한, 수술 이전에 스토마의 가능성에 대해 환자에게 통지되었는지 여부에 기반할 수 있다.
의사 결정 분기점의 일 예는, 예컨대, 충수염 수술의 준비 페이즈에서, 회장 및/또는 맹장을 기동시킬지 여부를 판단하는 것을 포함할 수 있고, 추천은 회장 및/또는 맹장을 기동시키기 위한 제안 또는 회장 및/또는 맹장을 기동시키지 않기 위한 제안을 포함할 수 있다. 의사결정에 영향을 줄 수 있는 팩터의 일부 비-제한적인 예는 절차 복잡성 레벨, 환자의 나이, 환자의 성별, 이전의 염증 및 이전 수술을 포함할 수 있다. 추천은 이 팩터 중 적어도 하나에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은 질환이 있는 충수를 절제하는 능력에 영향을 줄 수 있다. 의사 결정 분기점의 다른 예는, 예컨대, 충수염 수술의 해부 및 백골화 페이즈(skeletonization phase)에서, 충수가 안전하게 분할될 수 있는지 여부를 판단하는 것을 포함할 수 있고, 그리고 추천은 충수를 해부하거나 해부하지 않기 위한 제안을 포함할 수 있다. 의사결정에 영향을 줄수 있는 팩터의 일부 비-제한적인 예는 절차 복잡성 레벨, 자유 충수 달성, 및 회장/맹장이 적절히 기동되었는지 여부를 포함할 수 있다. 추천은 이 팩터 중 적어도 하나에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은 맹장염('스텀프 맹장염(stump appendicitis)')의 재발 여부를 지시할 수 있다. 의사 결정 분기점의 다른 예는, 예컨대, 충수염 수술의 분할 페이즈에서, 어떤 기구를, 충수의 분할을 위해 사용할지를 판단하는 것을 포함할 수 있고, 추천은 분할을 위한 기구의 제안을 포함할 수 있다. 결정에 영향을 줄 수 있는 팩터의 일부 비-제한적인 예는, 절차 복잡성 레벨, 충수의 원형 뷰가 달성되었는지 여부, 및 환자 체질량 지수(patient body mass index)를 포함할 수 있다. 추천은 이 팩터 중 적어도 하나에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은 치료의 길이 및 비용에 영향을 줄 수 있다. 의사 결정 분기점의 다른 예는, 예컨대, 충수염 수술의 분할 페이즈에서, 충수 스텀프를 치료할지 여부를 판단하는 것을 포함할 수 있다. 일부 옵션은, 충수 스텀프를 치료하기 위한, 소작(cauterize)하기 위한, 또는 오버소잉(oversew)하기 위한 액션을 회피하는 것을 포함할 수 있다. 추천은, 충수 스텀프를 치료할지 여부의 제안, 및/또는 맹장 스텀프를 치료하기 위해 취해질 특정 액션의 제안을 포함할 수 있다. 결정에 영향을 줄 수 있는 팩터의 일부 비-제한적인 예는 절차 복잡성 레벨 및 어떤 기구가 충수를 분할하는 데 사용되었는지를 포함할 수 있다. 추천은 이 팩터 중 적어도 하나에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은 수술 후의 감염 및 누공 레이트(fistulae rates)에 영향을 줄 수 있다. 의사 결정 분기점의 다른 예는, 예컨대, 충수염 수술의 패키징 페이즈에서(예컨대, 엔도백에서 또는 트로카를 통해) 절제된 샘플을 제거하는 방법을 판단하는 것을 포함할 수 있고, 추천은 절제된 샘플을 제거하는 방법에 대한 제안을 포함할 수 있다. 예컨대, 의사결정은 절차 복잡성 레벨에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은 수술 부위 감염률(infection rate)에 영향을 줄 수 있다. 의사 결정 분기점의 다른 예는, 예컨대 충수염 수술의 최종 점검 페이즈에서, 관개(irrigation)를 수행할지 여부를 판단하는 것을 포함할 수 있고, 추천은 관개를 수행하는 제안 또는 관개를 수행하지 않는 제안을 포함할 수 있다. 의사결정에 영향을 줄 수 있는 팩터의 일부 비-제한적인 예는 절차 복잡성 레벨, 환자의 기존 동반 질환, 및 환자 성별을 포함할 수 있다. 추천은 이 팩터 중 적어도 하나에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은 감염률에 영향을 줄 수 있다. 의사 결정 분기점의 다른 예는, 예컨대 충수염 수술의 최종 점검 페이즈에서 배수관을 배치할지 여부를 결정하는 것을 포함할 수 있고, 추천은 배수관을 배치하는 제안 또는 배수관을 배치하지 않는 제안을 포함할 수 있다. 의사결정에 영향을 줄 수 있는 팩터의 일부 비-제한적인 예는 절차 복잡성 레벨, 환자 나이, 및 환자의 기존 동반 질환을 포함할 수 있다. 추천은 이 팩터 중 적어도 하나에 기반할 수 있다. 이 분기점에서 이루어진 의사결정은, 감염률, 합병증 비율(complication rate) 및 수술 후 체류 기간에 영향을 줄 수 있다.
복강경 담낭절제술의 액세스 페이즈에서의 의사 결정 분기점의 일 예는 삽입 방법(이를테면, Vres needle, Hasson 기법, OptiView)의 선택 및/또는 포트 배치 어레인지먼트(이를테면, '레귤러(Regular)' 및 '대안적인(Alternative)')의 선택, 그리고 추천은 삽입 방법의 제안 및/또는 포트 배치 어레인지먼트의 제안을 포함할 수 있다. 복강경 담낭절제술의 유착 용해 페이즈에서의 의사 결정 분기점의 일 예는 쓸개를 압축해제할지 여부의 선택을 포함할 수 있고, 추천은 쓸개를 압축해제할지 여부의 제안을 포함할 수 있다. 예컨대, 쓸개가 팽창되고 그리고/또는 긴장될 때, 또는 급성 담낭염의 다른 징후가 존재할 때, 추천은 쓸개를 압축해제하기 위한 제안을 포함할 수 있다. 복강경 담낭절제술에서의 의사 결정 분기점의 일 예는 쓸개 해부 접근법(이를테면, 통상의, 돔-다운 해부(Dome-down Dissection), 서브-토탈(Sub-total) 등)의 선택을 포함할 수 있고, 추천은 쓸개 해부 접근법의 제안을 포함할 수 있다. 예컨대, 심각한 담낭염의 경우, 돔-다운 해부의 추천이 제공될 수 있다. 다른 예에서, 노출을 획득할 수 없는 경우, 예컨대, 간 베드 내의 큰 측지(large collaterals)에 대한 증가된 위험으로 인해, 베일 아웃(bail out)에 대한 추천이 제공될 수 있다. 복강경 담낭절제술에서의 의사 결정 분기점의 일 예는 배수관을 배치할지 여부의 선택을 포함할 수 있고, 추천은 배수관을 배치하는 제안 또는 배수관을 배치하지 않는 제안을 포함할 수 있다.
일부 예에서, 출력될 특정 액션을 착수하고 그리고/또는 회피하기 위한 사용자에 대한 추천은 트레이닝된 머신 러닝 모델을 사용하여 결정될 수 있다. 예컨대, 머신 러닝 모델은 수술 의사 결정 분기점과 관련된 정보에 기반하여 추천을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수술 의사 결정 분기점의 특정 발생과 관련된 정보에 기반하여 수술 의사 결정 분기점의 특정 발생에 대한 특정 액션을 착수 및/또는 회피하도록 사용자에게 출력될 추천을 결정하는 데 사용될 수 있다. 수술 의사 결정 분기점의 발생과 관련된 그러한 정보의 일부 비-제한적인 예가 위에서 설명된다. 예컨대, 정보는 수술 의사 결정 분기점의 타입, 수술 의사 결정 분기점의 속성, (예컨대, 수술 절차 내의) 수술 의사 결정 분기점의 시간, 수술 절차를 겪은 환자의 특성, 수술 절차의 적어도 일부를 수행하는 의사(또는 다른 의료 서비스 전문가)의 특성, 수술 절차에 관련된 수술실의 특성, 수술 의사 결정 분기점과 관련된 해부학적 구조, 수술 의사 결정 분기점과 관련된 해부학적 구조의 상태, 수술 절차에서 사용되는 의료 기구, 수술 절차에서 의료 기구와 해부학적 구조 간의 상호작용, 수술 의사 결정 분기점과 관련된 생리학적 반응, 수술 의사 결정 분기점 이전에 수술 절차에서 발생된 하나 이상의 수술 이벤트, 수술 의사 결정 분기점 이전에 수술 절차에서 발생된 하나 이상의 수술 이벤트의 지속기간, 수술 절차에서의 수술 페이즈의 지속기간, 수술 의사 결정 분기점에서 취해질 수 있는 결과와 가능한 액션 간의 하나 이상의 상관관계, 이전에 제공된 추천에 대한 사용자의 과거 응답 등을 포함한다. 그러한 트레이닝 예시의 일 예는 원하는 추천을 표시하는 라벨과 함께, 수술 의사 결정 분기점에 관련된 정보를 포함할 수 있다. 예컨대, 라벨은 원하는 추천에 대한 원하는 텍스츄얼 및/또는 그래픽 콘텐츠를 포함할 수 있다. 다른 예에서, 라벨은 그러한 수술 의사 결정 분기점에서 취해진 특정 액션과 결과 간의 상관관계에 기반할 수 있다.
도 29는, 개시된 실시예에 따라, 수술 절차에 대한 의사결정 지원을 위한 예시적인 프로세스(2900)를 예시하는 흐름도이다. 프로세스(2900)는 적어도 하나의 프로세서, 이를테면 하나 이상의 마이크로프로세서를 사용하여 수행될 수 있다. 일부 실시예에서, 프로세스(2900)는 예시된 단계로 반드시 제한되는 것은 아니며, 본원에서 설명된 다양한 실시예 중 임의의 실시예가 또한 프로세스(2900)에 포함될 수 있다. 당업자가 인지할 바와 같이, 프로세스(2900)의 단계는 예컨대, 시스템(1401)의 컴포넌트를 포함하는 시스템에 의해 수행될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금, 프로세스(2900)에 따라 수술 절차에 대한 의사결정 지원을 제공하기 위한 동작을 실행하게 하는 명령을 포함하는 비-일시적 컴퓨터-판독가능 매체이다. 일부 실시예에서, 프로세스(2900)는 수술 절차 동안 실시간으로 수행될 수 있다. 프로세스(2900)에서 설명된 단계에 기반하여, 의사 또는 다른 사용자는 긍정적 결과를 갖는 수술 절차를 더 효과적으로 그리고 더 효율적으로 수행하고 그리고/또는 부정적 결과를 회피할 수도 있다.
단계(2902)에서, 프로세스는 개시된 실시예에 따라 그리고 예로서 이전에 설명된 바와 같이, 수술실에서 환자에 대해 의사에 의해 수행되는 수술 절차의 비디오 푸티지를 수신하는 것을 포함할 수 있다. 도 1은 수술실, 의사, 환자, 및 수술 절차의 비디오 푸티지를 캡처하도록 구성된 카메라의 예를 제공한다. 비디오 푸티지는 내시경 또는 체내 카메라 중 적어도 하나로부터의 이미지(예컨대, 강내 비디오의 이미지)를 포함할 수 있다.
단계(2904)에서, 프로세스는, 개시된 실시예에 따라 그리고 예로서 이전에 설명된 바와 같이, 수술 절차를 특성화하는 이미지-관련 데이터를 포함하는 적어도 하나의 데이터 구조에 액세스하는 것을 포함할 수 있다. 일부 실시예에서, 데이터 구조에 액세스하는 것은 네트워크를 통해 그리고/또는 연결을 통해 디바이스로부터 데이터 구조의 데이터를 수신하는 것을 포함할 수 있다. 데이터 구조에 액세스하는 것은 개시된 실시예에 따라, 데이터 저장부로부터 데이터를 리트리브하는 것을 포함할 수 있다.
단계(2906)에서, 프로세스는, 개시된 실시예에 따라 그리고 예로서 이전에 설명된 바와 같이, 수술 의사 결정 분기점의 존재를 결정하기 위해 이미지-관련 데이터를 사용하여, 수신된 비디오 푸티지를 분석하는 것을 포함할 수 있다. 수신된 비디오 푸티지를 분석하는 것은 개시된 실시예에 따라, 수신된 비디오 푸티지의 하나 이상의 프레임에 대한 이미지 분석 방법을 수행하는 것을 포함할 수 있다. 수신된 비디오 푸티지를 분석하는 것은 수술 의사 결정 분기점의 존재를 결정하도록 트레이닝된 모델을 구현하는 것을 포함할 수 있다. 이전에 설명된 바와 같이, 의사 결정 분기점은 부적절한 액세스 또는 노출, 해부학적 구조의 수축, 해부학적 구조의 잘못된 해석 또는 체액 누출, 및/또는 임의의 다른 수술 이벤트를 포함할 수 있다. 일부 실시예에서, 의사 결정 분기점은 공통 수술 상황 이후 다양한 액션 방침이 발생한 복수의 다양한 이력 절차의 분석에 의해 결정될 수 있다. 일부 실시예에서, 의사 결정 분기점의 존재를 결정하는 것은 해부학적 구조의 검출된 생리학적 반응 및/또는 수술 도구와 연관된 모션에 기반할 수 있다.
단계(2908)에서, 프로세스는, 예로서 이전에 설명된 바와 같이, 적어도 하나의 데이터 구조에서, 의사 결정 분기점에서 취해진 특정 액션과 결과 간의 상관관계에 액세스하는 것을 포함할 수 있다. 논의된 바와 같이, 특정 액션은 개시된 실시예에 따라, 긍정적 또는 부정적 결과와 상관될 수 있다. 상관관계에 액세스하는 것은 상관관계를 생성하는 것, 메모리로부터 상관관계를 판독하는 것, 및/또는 데이터 구조의 상관관계에 액세스하는 임의의 다른 방법을 포함할 수 있다. 특정 액션은 단일 단계 또는 복수의 단계(예컨대, 의사에 의해 수행되는 복수의 액션)을 포함할 수 있다. 특정 액션은 추가적인 의사를 수술실로 소환하는 것을 포함할 수 있다.
단계(2910)에서, 프로세스는, 예로서 이전에 설명된 바와 같이, 개시된 실시예에 따라, 특정 액션을 착수하도록 사용자에게 추천을 출력하는 것을 포함할 수 있다. 추천을 출력하는 것은 본 실시예에 따라, 의사 결정 분기점 및 액세스된 상관관계의 결정된 존재에 기반할 수 있다. 일부 실시예에서, 추천을 출력하는 것은 수술실의 인터페이스를 통해 출력을 제공하는 것을 포함할 수 있다. 일부 실시예에서, 의사는 수술 로봇이고, 추천은 수술 로봇에 대한 명령(예컨대, 특정 액션을 수행하고 그리고/또는 특정 액션을 회피하기 위한 명령)의 형태로 제공될 수 있다. 예로서, 추천은 의료 검사를 수행하기 위한 추천을 포함할 수 있다. 추천(예컨대, 제1 추천, 제2 추천, 및/또는 추가적인 추천)은, 의사 결정 분기점의 결정된 존재, 액세스된 상관관계, 및 의료 검사의 수신된 결과를 기반으로 특정 액션을 회피하거나 수행하기 위한 사용자에 대한 추천을 포함할 수 있다. 추천은 추가적인 의사의 이름 및/또는 다른 식별자(예컨대, 직원 ID)를 포함할 수 있다. 추천은 현재 수술 상황의 설명, 선제적 또는 교정 조치의 표시, 및/또는 위험 존 맵핑을 포함할 수 있다. 일 예에서, 이전에 언급된 바와 같이, 추천은 환자로부터 염증 체액, 혈액, 담즙 및/또는 다른 체액을 제거하기 위한 수술 배출관의 추천된 배치를 포함할 수 있다. 특정 액션이 취해지거나 취해지지 않으면 원하는 수술 결과가 발생하거나 발생하지 않을 신뢰도 레벨은 추천의 일부일 수 있다. 추천은 의사의 스킬 레벨, 상관관계 및 바이탈 징후, 및/또는 의사 결정 분기점 이전에 수술 절차에서 발생된 수술 이벤트(즉, 이전 수술 이벤트)에 기반할 수 있다. 일부 실시예에서, 추천은 환자의 조직의 상태 및/또는 환자의 장기의 상태에 기반할 수 있다. 다른 예로서, 특정 액션의 추천은 예로서 이전에 논의된 바와 같이 스토마의 생성을 포함할 수 있다.
개시된 시스템 및 방법은 수술의 특징, 환자 상태, 및 수술 접촉력을 추정하기 위한 다른 특징을 식별하기 위해 현재 및/또는 이력 수술 푸티지를 분석하는 것을 수반할 수 있다. 절차 동안 너무 많은 접촉력을 가하는 것은 환자에게 건강에 불리한 영향을 줄 수 있다. 반대로, 불충분한 접촉력은 일부 절차에 대해 차선의 결과를 야기할 수 있다. 임의의 정해진 수술 상황에서 적용하기 위한 적절한 레벨의 힘을 평가하는 것은 어려울 수 있으며, 그에 따라, 환자에 대해 차선의 결과를 야기할 수 있다. 따라서, 효율적으로, 효과적으로, 그리고 실시간으로 또는 수술 후 수술 접촉력을 결정하는 신규한 접근법이 필요하다.
본 개시내용에 따르면, 수술 절차 동안 해부학적 구조에 대한 접촉력을 추정하기 위한 방법이 개시된다. 접촉력은 수술 절차 동안 의사에 의해 또는 수술 도구에 의해 하나 이상의 해부학적 구조(예컨대, 조직, 사지, 장기 또는 환자의 다른 해부학적 구조)에 가해지는 임의의 힘을 포함할 수 있다. 본원에서 사용되는 바와 같은 "접촉력(contact force)"이라는 용어는, 그 힘이 중량 단위(예컨대, 적용된 킬로그램 또는 파운드), 힘의 단위(예컨대, 뉴턴), 영역에 적용되는 압력(예컨대, 제곱인치당 적용되는 파운드), 장력(예컨대, 당기는 힘), 또는 압력(예컨대, 미는 힘)으로 특징짓는지 여부에 관계 없이, 해부학적 구조에 적용될 수 있는 임의의 힘을 지칭한다.
접촉력은 많은 방식로 직접적으로 또는 간접적으로 적용될 수 있다. 예컨대, 접촉력은 (예컨대, 의사의 손에 의해 적용된) 해부학적 구조로 의사의 직접 접촉을 통해 적용될 수 있거나, 또는 의사의 손에 있는 수술 기구, 도구 또는 다른 구조를 통해 적용될 수 있다. 의사가 수술 로봇인 경우에서, 로봇은 직접적으로 또는 로봇에 의해 조작된 도구, 기구 또는 다른 구조를 통해 로봇 구조(로봇 암, 핑거, 그래스퍼)를 통해 접촉력을 가할 수 있다.
접촉력은 수직력(즉, 직교력), 전단력, 및/또는 수직력과 전단력의 조합을 포함할 수 있다. 보다 일반적으로, 접촉력은 수술 동안 환자의 신체의 임의의 부분에 적용되는 임의의 힘 또는 압력을 포함할 수 있다.
본 실시예에 따라, 접촉력을 추정하는 것은 스케일에 따라 실제 접촉력의 크기의 추정을 생성하기 위해 이미지 및/또는 수술 비디오를 분석하는 것을 포함할 수 있다. 이미지 분석을 통한 힘 추정은 조직에 대한 효과를 관찰하기 위한 조직/모달리티 인터페이스의 조사를 수반할 수 있다. 예컨대, 모달리티가 쓸개와 같은 장기를 누르는 겸자와 같은 의료 기구인 경우, 힘 적용 위치에 적용된 머신 비전 기법은 적용된 힘을 반영하는 장기의 움직임 및/또는 변화를 드러낼 수 있다. 힘 인가가 이전에 관찰된 이전 절차로부터의 이력 비디오 푸티지에 기반하여, 현재 비디오에 대해 인가된 힘의 크기의 추정이 이루어질 수 있다. 힘 크기 추정은 측정 단위(예컨대, 파운드, 제곱인치당 파운드, 뉴턴, 킬로그램, 또는 다른 물리적 단위)를 포함할 수 있고, 또는 상대적 스케일에 기반할 수 있다. 상대적 스케일은 범주형 스케일, 숫자 스케일, 및/또는 임의의 다른 척도를 포함할 수 있다. 범주형 스케일은 힘의 레벨(예컨대, 다수의 레벨, 이를테면, 높은 힘, 중간 힘, 낮은 힘, 또는 임의의 다른 수의 레벨을 포함하는 스케일)을 반영할 수 있다. 접촉력은 1-10의 스케일과 같은 수치적 스케일에 따라 추정될 수 있다. 게다가, 힘은 이산 포인트에서 추정될 수 있거나 또는 연속적으로 추정될 수 있다. 일부 실시예에서, 접촉력의 추정은 접촉 위치의 추정, 접촉 각도, 및/또는 접촉력의 임의의 다른 특징의 추정을 포함할 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은 수술실 내의 적어도 하나의 이미지 센서로부터 수술 절차의 이미지 데이터를 수신하는 것을 포함할 수 있다. 이미지 센서는 카메라 및/또는 임의의 다른 이미지 캡처 디바이스를 포함할 수 있다. 이미지 센서는 이미지 데이터 및/또는 비디오 데이터를 수집하도록 구성될 수 있고, 임의의 수술실, 이를테면, 예컨대 환자 위 또는 환자 내(예컨대, 체내 강(intracorporeal cavity)) 내의 임의의 위치에 포지셔닝될 수 있다. 이미지 데이터는 수술 비디오, 비디오 클립, 비디오 푸티지를, 이미지 프레임, 연속적인 비디오 및/또는 비디오로부터 도출된 임의의 다른 정보를 포함할 수 있다. 예컨대, 이미지 데이터는 저장 포맷에 관계 없이, 픽셀 데이터, 컬러 데이터, 채도 데이터, 및/또는 이미지를 표현하는 임의의 다른 데이터를 포함할 수 있다. 이미지 데이터는 시간 데이터(예컨대, 이미지가 센서에 의해 캡처된 시간), 위치 데이터, 수술 절차와 관련된 정보(예컨대, 환자 식별자, 수술 절차의 이름) 및/또는 임의의 다른 메타 데이터를 포함할 수 있다. 일부 실시예에서, 수술 절차의 이미지 데이터는 수술실에서 이미지 센서에 의해 수집되고, 수술실에서, 그 근처에서, 또는 심지어 수술실로부터 원격인 데이터 구조(예컨대, 도 17a의 데이터 구조)에 저장될 수 있다. 힘 추정은 실시간으로 발생할 수 있지만, 데이터가 데이터 구조로부터 리트리브될 때와 같이 비-실시간으로 또한 추정될 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은 이미지 데이터에 반영된 해부학적 구조의 정체를 결정하기 위해 수신된 이미지 데이터를 분석하는 것을 포함할 수 있다. 수신된 이미지 데이터를 분석하는 것은 본 실시예에 따라 임의의 이미지 분석 방법을 포함할 수 있다. 이미지 및/또는 비디오에서 해부학적 구조를 식별하기 위한 알고리즘의 일부 비-제한적인 예가 위에서 설명되었다. 수신된 이미지 데이터를 분석하는 것은, 예컨대, 객체 인식, 이미지 분류, 호모그래피, 포즈(pose) 추정, 모션 검출, 및/또는 다른 이미지 분석 방법을 포함할 수 있다. 수신된 이미지 데이터를 분석하는 것은, 개시된 실시예에 따라, 트레이닝 예를 사용하여 트레이닝된 머신 러닝 모델을 구현하는 것을 포함하는 인공 지능 방법을 포함할 수 있다. 예컨대, 수신된 이미지 데이터는, 예컨대 위에서 설명된 바와 같이 해부학적 구조를 검출 및/또는 식별하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하여 분석될 수 있다. 예컨대, 수신된 이미지 데이터는 이미지 및/또는 비디오로부터 해부학적 구조를 검출 및/또는 식별하도록 구성된 인공 뉴럴 네트워크를 사용하여 분석될 수 있다. 트레이닝 예시는 해부학적 구조를 묘사하는 것으로 라벨링되거나 달리 분류된 이미지 데이터(예컨대, 췌장을 묘사하는 것으로 분류된 이미지)를 포함할 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은 해부학적 구조의 상태를 결정하기 위해 수신된 이미지 데이터를 분석하는 것을 포함할 수 있다. 일반적으로, 해부학적 구조의 상태는 해부학적 구조의 상태 또는 특성을 표시하는 임의의 정보를 지칭할 수 있다. 예컨대, 상태는 해부학적 구조가 정상인지, 비정상인지, 손상되었는지, 누출되는지, 수화되었는지, 탈수되었는지, 산소화되었는지, 수축되었는지, 확대되었는지, 줄어들었는지, 존재하는지, 부재하는지, 그리고/또는 임의의 다른 평가를 반영할 수 있다. 상태는 해부학적 구조의 활력의 척도, 산소화의 레벨, 수화의 레벨, 고통의 레벨, 및/또는 해부학적 구조의 임의의 다른 상태의 척도를 포함할 수 있다. 일 예에서, 해부학적 구조의 상태는 수학적 공간의 포인트에 대응하는 수치 값의 벡터로서 표현될 수 있다. 일부 예에서, 머신 러닝 모델은 이미지 및/또는 비디오로부터 해부학적 구조의 상태를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 수신된 이미지 데이터를 분석하고 해부학적 구조의 상태를 결정하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 해부학적 구조의 상태를 표시하는 라벨과 함께, 해부학적 구조의 이미지 및/또는 비디오를 포함할 수 있다.
일부 실시예에서, 분석은 상태를 표시하는 해부학적 구조의 특성에 기반하여 상태를 결정할 수 있다. 비-제한적인 예로서, 분석은 조직의 컬러, 해부학적 구조의 텍스처, 심박수, 폐활량, 및/또는 해부학적 구조의 임의의 다른 특성을 결정할 수 있다. 일부 실시예에서, 추천은 센서 데이터에 반영된 특성, 이를테면, 심박수 모니터 데이터, 뇌 활동 데이터, 온도 데이터, 혈압 데이터, 혈류 데이터, 누출 데이터, 및/또는 임의의 다른 건강 데이터에 기반할 수 있다. 해부학적 구조의 그러한 특성은 해부학적 구조의 상태를 표시할 수 있고, 알려진 상태와 상관될 수 있다. 예컨대, 감소된 뇌 활동은 혈관 막힘을 나타낼 수 있거나 증가된 두개 압력(cranial pressure)은 뇌출혈을 나타낼 수 있다. 그러한 상관관계는 도 17a의 데이터 구조와 같은 데이터 구조에 저장될 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은 해부학적 구조와 연관된 접촉력 임계치를 선택하는 것을 포함할 수 있다. 접촉력 임계치는 최소 또는 최대 접촉력을 포함할 수 있다. 일부 실시예에서, 접촉력 임계치를 선택하는 것은 임계치 초과 또는 미만의 힘을 인가하는 것과 연관된 가능한 결과를 표시하는 정보에 기반할 수 있다. 접촉력 임계치를 선택하는 것은 추천된 접촉력(예컨대, 최대 안전력 또는 최소 유효력)을 표시하는 데이터에 기반할 수 있다. 예컨대, 접촉력 임계치를 선택하는 것은 대응하는 접촉력 임계치를 포함하는 해부학적 구조의 표에 기반할 수 있다. 표는 해부학적 구조의 상태의 표시를 포함할 수 있다. 일부 실시예에서, 선택된 접촉력 임계치는 해부학적 구조의 결정된 상태에 기반할 수 있다 예컨대, 선택된 접촉력 임계치는 해부학적 구조가 누출되고, 특정 컬러를 갖고, 특정 레벨의 수축 및/또는 임의의 다른 상태를 갖는 것을 표시하는 정보에 기반하여 증가 또는 감소할 수 있다. 다른 예에서, 해부학적 구조의 제1 결정된 상태에 대한 응답으로, 제1 접촉력 임계치가 선택될 수 있고, 해부학적 구조의 제2 결정된 상태에 대한 응답으로, 제2 접촉력 임계치가 선택될 수 있으며, 제2 접촉력 임계치는 제1 접촉력 임계치와 상이할 수 있다. 또 다른 예에서, 해부학적 구조의 결정된 상태는 (위에서 설명된 바와 같이) 벡터로서 표현될 수 있고, 접촉력 임계치는 결정된 상태의 벡터 표현의 함수를 사용하여 계산될 수 있다. 일부 예에서, 선택된 접촉력 임계치는 접촉력의 타입(이를테면, 장력, 압축 등)의 함수일 수 있다. 예컨대, 제1 타입의 접촉력에 대한 응답으로, 선택된 접촉력 임계치는 제1 값을 가질 수 있고, 제2 타입의 접촉력에 대한 응답으로, 선택된 접촉력 임계치는 제2 값을 가질 수 있고, 제2 값은 제1 값과는 다를 수 있다.
일부 실시예에서, 접촉력 임계치는 장력 레벨(즉, 해부학적 구조를 당기는 힘의 레벨) 또는 수축 레벨과 연관될 수 있다. 수축은 의사에 의한 뷰잉을 위한 조직, 장기, 및/또는 다른 해부학적 구조를 노출시키기 위한 조직의 움직임, 견인, 및/또는 역-견인을 수반할 수 있다. 일부 실시예에서, 접촉력 임계치는 압력 레벨(예컨대, 해부학적 구조를 푸시하는 접촉력의 양) 및/또는 압축 레벨과 연관될 수 있다. 압축 레벨은 해부학적 구조의 압축 정도 또는 양(예컨대, 접촉력으로 인한 해부학적 구조의 크기 감소)을 포함할 수 있다.
본 실시예에 따라, 접촉력을 선택하는 것은 해부학적 구조와 의료 기구 간의 접촉 방식에 관한 데이터에 기반할 수 있다. 예컨대, 일부 실시예에서, 접촉력 임계치를 선택하는 것은, 해부학적 구조의 일부 구역이 다른 구역보다 더 큰 힘 민감도를 가질 수 있기 때문에, 해부학적 구조와 의료 기구 간의 접촉 위치에 기반할 수 있다. 개시된 실시예에 따라, 수신된 이미지 데이터를 분석함으로써 위치가 결정될 수 있다. 따라서, 선택된 접촉력 임계치는 다른 곳에서보다 해부학적 구조와 의료 기구 간의 하나의 접촉 위치에서 더 높을 수 있다. 접촉력 임계치를 선택하는 것은 또한 해부학적 구조와 의료 기구 간의 접촉 각도에 기반할 수 있다. 접촉 각도는 해부학적 구조와 의료 기구 간의 입사 각도를 식별하기 위해 이미지 데이터를 분석함으로써 결정될 수 있다. 예컨대, 포즈 추정 알고리즘은 이미지 데이터를 분석하고, 해부학적 구조의 포즈 및/또는 의료 기구의 포즈를 결정하는 데 사용될 수 있고, 해부학적 구조와 의료 기구 간의 각도는 결정된 포즈에 기반하여 결정될 수 있다. 다른 예에서, 머신 러닝 알고리즘은 해부학적 구조와 의료 기구 간의 각도를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 이미지 데이터를 분석하고 해부학적 구조와 의료 기구 간의 각도를 결정하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 해부학적 구조와 의료 기구 간의 각도를 표시하는 라벨과 함께, 해부학적 구조 및 의료 기구를 묘사하는 이미지를 포함할 수 있다. 일부 예에서, 선택된 접촉력 임계치는 접촉력과 관련된 접촉 각도의 함수일 수 있다. 예컨대, 제1접촉각에 대한 응답으로, 선택된 접촉력 임계치는 제1 값을 가질 수 있고, 제2접촉각에 대한 응답으로, 선택된 접촉력 임계치는 제2 값을 가질 수 있고, 제2 값은 제1 값과 다를 수 있다.
일부 실시예에서, 접촉력 임계치를 선택하는 것은 모델(예컨대, 통계 모델 및/또는 머신 러닝 모델)을 구현하고 그리고/또는 사용하는 것을 포함할 수 있다. 예컨대, 접촉력 임계치를 선택하는 것은 입력으로서 해부학적 구조의 상태를 회귀 모델에 제공하는 것 및 회귀 모델의 출력에 기반하여 접촉력 임계치를 선택하는 것을 포함할 수 있다. 일부 실시예에서, 회귀 모델은 대응하는 상태 및 수술 결과를 갖는 해부학적 구조에 적용되는 접촉력을 포함하는 이력 데이터에 맞춰질 수 있다.
일부 실시예에서, 접촉력 임계치를 선택하는 것은 접촉력 임계치를 선택하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은 입력 데이터에 기반하여 접촉력 임계치를 선택하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있다. 이러한 입력 데이터는 수술 절차의 이미지 데이터, 해부학적 구조를 묘사하는 이미지 데이터, 수술 절차의 타입, 수술 절차의 페이즈, 액션의 타입, 해부학적 구조의 타입, 해부학적 구조의 상태, 의사의 스킬 레벨, 환자의 상태 등을 포함할 수 있다. 그러한 트레이닝 예시의 일 예는 원하는 접촉력 임계치를 표시하는 라벨과 함께 샘플 입력 데이터를 포함할 수 있다. 일 예에서, 원하는 접촉력 임계치는 알려진 의료 가이드 라인에 기반하여 선택될 수 있다. 다른 예에서, 원하는 접촉력 임계치는 수동으로 선택될 수 있다. 또 다른 예에서, 원하는 접촉력 임계치는, 이력 경우에서 또는 이력 경우의 그룹의 정의된 서브세트에서 적용된 접촉력 및 결과의 상관관계의 분석에 기반하여 선택될 수 있으며, 예컨대, (예컨대, 이력 데이터에 따라 긍정적인 결과를 보장하고, 이력 데이터에 따라 선택된 비율의 경우에서 긍정 결과 등을 보장하는) 긍정적인 결과와 크게 상관된 접촉력 임계치를 선택할 수 있다. 추가로, 일부 예에서, 트레이닝된 머신 러닝 모델은 특정 경우(이를테면, 특정 수술 절차, 수술 절차의 특정 페이즈, 수술 절차에서의 특정 액션, 특정 의사, 특정 환자, 특정 해부학적 구조 등)에 대응하는 이러한 입력 데이터를 분석하고 그리고 접촉력 임계치를 선택하는데 사용될 수 있다. 예컨대, 트레이닝되는 머신 러닝 모델은 수술 절차의 이미지 데이터 및/또는 해부학적 구조의 결정된 정체 및/또는 해부학적 구조의 결정된 상태 및/또는 접촉력 임계치를 선택하기 위한 수술 절차의 현재 상태의 특성을 분석하는 데 사용될 수 있다.
일부 실시예에서, 머신 러닝 모델은 이미지 및/또는 비디오로부터 접촉 속성(이를테면, 접촉 위치, 접촉 각도, 접촉력)을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 비디오 푸티지를 분석하고 그리고 실제 접촉 위치, 실제 접촉 각도, 실제 접촉력 등과 같은 수술 절차에서 발생하는 실제 접촉의 속성을 결정하기 위해 사용될 수 있다. 트레이닝 예시의 일 예는 특정 접촉의 속성, 이를테면 접촉 위치, 접촉 각도, 접촉력 등을 표시하는 라벨과 함께 특정 접촉을 묘사하는 이미지 데이터를 포함할 수 있다. 예컨대, 트레이닝 예는 센서(예컨대, 의료 기구에 임베딩된 센서)를 사용하여 수집된 접촉력의 측정을 포함할 수 있다. 다른 예에서, 트레이닝 예시는 의료 기록에 포함된 접촉력의 추정(예컨대, 기록에 저장된 접촉력의 추정, 센서 데이터 또는 의사의 의견에 기반한 추정)을 포함할 수 있다.
일부 실시예에서, 접촉력 임계치를 선택하는 것은 의사에 의해 수행되는 하나 이상의 액션에 기반할 수 있다. 예컨대, 방법은, 예컨대 액션 인식 알고리즘을 사용하여 의사(예컨대, 인간 또는 수술 로봇)에 의해 수행되는 액션을 식별하기 위해 이미지 데이터를 분석하는 것을 포함할 수 있다. 일 예에서, 선택된 접촉력 임계치는 의사에 의해 수행되는 하나 이상의 액션, 접촉력 및 결과를 상관시키는 이력 데이터에 기반할 수 있다. 예컨대, 긍정적 결과와 고도로 상관된 접촉력 임계치(예컨대, 이력 데이터에 따라 긍정적 결과를 보장하고, 이력 데이터에 따른 선택된 비율의 경우에서 긍정적 결과를 보장하는 등)가 선택될 수 있다. 일 예에서, 데이터 구조는 상이한 액션에 대한 접촉력 임계치를 특정할 수 있다. 일 예에서, 접촉력 임계치는 개시된 실시예에 따라, 의사의 스킬 레벨에 기반할 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은 해부학적 구조에 대한 실제 접촉력의 표시를 수신하는 것을 포함할 수 있다. 실제 접촉력의 표시는 의사(예컨대, 인간 또는 로봇 의사)와 해부학적 구조 간의 접촉과 직접적으로 또는 간접적으로 연관될 수 있다. 예컨대, 실제 접촉력은 의료 기구와 해부학적 구조(예컨대, 해부학적 구조와 반응기 사이에서, 외과용 메스, 수술 클램프, 드릴, 뼈 절단기, 톱, 가위, 겸자, 및/또는 임의의 다른 의료 기구) 간의 접촉과 연관될 수 있다. 일부 실시예에서, 실제 힘은 장력 레벨, 수축 레벨, 압력 레벨, 및/또는 압축 레벨과 연관될 수 있다. 표시는 개시된 실시예에 따라, 접촉 레벨을 포함하는 접촉력의 추정을 포함할 수 있다. 보다 일반적으로, 실제 힘의 표시는, 본원에서 설명되는 바와 같이, 수술 이벤트 동안 적용되는 임의의 접촉력의 임의의 표시를 포함할 수 있다. 일 예에서, 실제 접촉력의 표시는 접촉 각도의 표시, 접촉력의 크기 또는 레벨의 표시, 및 접촉력의 타입의 표시 등 중 적어도 하나를 포함할 수 있다.
일부 실시예에서, 실제 접촉력의 표시는 이미지 데이터의 이미지 분석에 기반하여 추정될 수 있다. 접촉력의 표시를 추정하기 위한 이미지 데이터의 이미지 분석은 본원에서 개시된 이미지 분석의 임의의 방법을 포함할 수 있다. 일부 실시예에서, 접촉력의 표시는 접촉력을 해부학적 구조의 변화(예컨대, 해부학적 구조의 변형), 의사 또는 수술 기구의 포지션, 의사 및/또는 수술 기구의 모션 및/또는 수술 이벤트의 임의의 다른 특징과 연관시키는 이미지 분석 방법에 기반할 수 있다. 일부 실시예에서, 실제 접촉력의 표시는 수술 이벤트의 특징과 접촉력을 연관시키는 이력 데이터에 대한 회귀 모델 맞춤을 사용하여 추정될 수 있다. 또한, 실제 접촉력의 표시는, 예컨대 위에서 설명된 바와 같이, 머신 러닝 모델을 사용하여 추정될 수 있다.
일부 실시예에서, 실제 접촉력의 표시는 힘을 직접적으로 또는 간접적으로 측정하는 센서 데이터에 기반할 수 있다. 예컨대, 실제 힘은 의료 기구 또는 수술 로봇과 해부학적 구조(예컨대, 의료 기구 또는 로봇에 임베딩된 힘 센서) 간의 접촉 위치에서의 힘을 측정하는 힘 센서에 기반할 수 있다. 예시적인 실시예에서, 실제 접촉력의 표시는 수술 도구 또는 다른 의료 기구로부터 수신될 수 있다. 유사하게, 실제 접촉력의 표시는 수술 로봇으로부터 수신될 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은 실제 접촉력의 표시를 선택된 접촉력 임계치와 비교하는 것을 포함할 수 있으며, 이는 실제 접촉력이 선택된 접촉력 임계치를 초과하는지 또는 초과하는 것을 실패하는지 여부를 결정하는 것을 포함할 수 있다. 실제 접촉력의 표시를 선택된 접촉력 임계치와 비교하는 것은, 실제 접촉력과 선택된 접촉력 임계치의 차이, 비율, 로그(logarithm), 및/또는 임의의 다른 함수를 계산하는 것을 포함할 수 있다.
일부 실시예에서, 해부학적 구조 상의 접촉력을 추정하기 위한 방법은, 실제 접촉력의 표시가 선택된 접촉력 임계치를 초과한다는 결정에 기반하여 통지를 출력하는 것을 포함할 수 있다. 통지를 출력하는 것은 디바이스에 추천을 송신하는 것, 인터페이스에서 통지를 디스플레이하는 것, 사운드를 플레이하는 것, 햅틱 피드백을 제공하는 것, 및/또는 적용된 과도한 힘을 개인에게 통지하는 임의의 다른 방법을 포함할 수 있다. 통지는 수술실의 디바이스, 의사(예컨대, 인간 의사 및/또는 수술 로봇)와 연관된 디바이스, 및/또는 임의의 다른 시스템에 출력될 수 있다. 예컨대, 통지를 출력하는 것은 컴퓨터, 모바일 디바이스, 외부 디바이스, 수술 로봇 및/또는 임의의 다른 컴퓨팅 디바이스에 통지를 송신하는 것을 포함할 수 있다. 다른 예에서, 통지를 출력하는 것은 통지를 파일에 로깅하는 것을 포함할 수 있다.
일부 실시예에서, 통지는 접촉력이 선택된 접촉력 임계치를 초과했거나 초과하는 것을 실패했음을 특정하는 정보를 포함할 수 있다. 일부 실시예에서, 통지는 접촉 각도의 표시, 접촉력의 크기, 접촉 위치, 및/또는 접촉력에 관한 다른 정보를 포함하는, 선택된 접촉력 및/또는 실제 접촉력의 추정에 관련된 정보를 포함할 수 있다.
일부 예에서, 상이한 세기(즉, 심각도 또는 크기)의 통지는 실제 힘의 표시에 따라 제공될 수 있다. 예컨대, 통지를 출력하는 것은 실제 힘의 표시와 선택된 힘 임계치 간의 차이 또는 실제 힘의 표시와 복수의 임계치의 비교에 기반할 수 있다. 통지는 실제 힘의 세기의 레벨 또는 실제 힘과 선택된 힘 임계치 간의 차이의 세기에 기초할 수 있다. 일부 실시예에서, 통지는 세기의 레벨을 특정하는 정보를 포함할 수 있다.
본 실시예에 따라, 이를테면 수술 절차를 수행하는 의사에게 경고를 제공하기 위해, 수술 절차 동안 실시간으로 통지가 출력될 수 있다. 일부 실시예에서, 통지는 힘 인가를 변경하는 수술 로봇에 대한 명령을 포함할 수 있다. 예시적인 예로서, 통지는 접촉력의 크기, 각도 및/또는 위치를 변경하기 위한 명령을 포함할 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은, 수술 절차가 파이트 모드(fight mode)에 있다는 것을 수신된 이미지 데이터로부터 결정하는 것을 포함할 수 있으며, 여기서 특별한 조치가 요구될 수 있다. 그러한 상황에서, 전형적인 접촉력 임계치가 유예될 수 있다. 수신된 이미지 데이터로부터 수술 절차가 파이트 모드에 있을 수 있음을 결정하는 것은 본원에 개시된 바와 같은 이미지 분석 방법을 사용하는 것을 포함할 수 있다. 예컨대, 비디오에 묘사된 특정 생리학적 반응 및/또는 수술 활동은 수술 절차가 파이트 모드에 있음을 표시할 수 있다. 파이트 모드 결정은 통계적 모델(예컨대, 회귀 모델) 및/또는 머신 러닝 모델, 이를테면, 파이트 모드이거나 파이트 모드가 아닌 수술의 부분을 묘사하는 것으로 분류된 수술 비디오의 이력 예를 사용하여 파이트 모드를 인식하도록 트레이닝된 모델을 사용하는 것을 포함할 수 있다. 일부 실시예에서, 통지는 파이트 모드 동안 유예될 수 있다. 예컨대, 통지를 출력하는 것은 무기한으로 또는 적어도 수술 절차가 파이트 모드에 있지 않을 수 있다는 결정이 이루어질 때까지 지연될 수 있다. 일부 실시예에서, 통지를 출력하는 것은 사전결정된 시간 기간(예컨대, 수(분) 또는 임의의 다른 시간 기간) 동안 지연될 수 있다. 다른 예에서, 출력된 통지의 타입은 수술 절차를 겪은 환자가 파이트 모드에 있는지 여부에 기반하여 결정될 수 있다. 일부 예에서, 접촉력 임계치는 수술 절차를 겪은 환자가 파이트 모드에 있는지 여부에 기반하여 선택될 수 있다.
일부 실시예에서, 해부학적 구조에 대한 접촉력을 추정하기 위한 방법은, 의사가 접촉력 통지를 무시하는 모드에서 동작하고 있을 수 있다는 것을 수신된 이미지 데이터로부터 결정하는 것을 포함할 수 있다. 접촉력 통지는 접촉력에 관련된 정보(예컨대, 실제 접촉력 및/또는 선택된 접촉력 임계치)를 포함하는 통지를 포함할 수 있다. 일부 실시예에서, 의사가 접촉력 통지를 무시하는 모드에서 동작하고 있을 수 있다는 결정은, 하나 이상의 접촉력 통지에 후속하는 실제 접촉력의 하나 이상의 표시를 분석하는 것을 포함할 수 있다. 예컨대, 실시예는 하나 이상의 접촉력 통지의 출력에 후속하여 하나 이상의 실제 접촉력 표시가 선택된 접촉력 임계치를 초과하는지 또는 초과하는 것을 실패하는지 여부를 결정하는 것을 포함할 수 있다. 의사가 접촉력 통지를 무시하는 모드에서 동작하고 있을 수 있음을 수신된 이미지 데이터로부터 결정하는 것은 이미지 분석의 방법을 사용하는 것을 포함할 수 있고, 통계 모델(예컨대, 회귀 모델) 및/또는 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 그러한 머신 러닝 모델은, 의사가 접촉력 통지를 무시하고 그리고 무시하지 않는 의사로 분류된 수술 비디오의 이력 예시를 사용하여 접촉력 통지를 무시하는 모드에서 동작하고 있을 수 있음을 결정하도록 트레이닝될 수 있다.
실시예는, 의사가 접촉력 통지를 무시하는 모드에서 동작하고 있을 수 있다는 결정에 기반하여, 적어도 일시적으로, 추가적인 접촉력 통지를 유예(지연)시키는 것을 포함할 수 있다. 일부 실시예에서, 접촉력 통지는 사전결정된 시간 기간(예컨대, 수(분) 또는 임의의 다른 시간 기간) 후에 재개될 수 있다.
도 30은, 개시된 실시예에 따라, 해부학적 구조에 대한 접촉력을 추정하기 위한 예시적인 프로세스(3000)를 예시하는 흐름도이다. 프로세스(3000)는 하나 이상의 마이크로프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있다. 일부 실시예에서, 프로세스(3000)는 예시된 단계로 반드시 제한되지 않으며, 본원에 설명된 다양한 실시예 중 임의의 것이 또한 프로세스(3000)에 포함될 수 있다. 당업자가 인지할 바와 같이, 프로세스(3000)의 단계는 예컨대, 시스템(1401)의 컴포넌트를 포함하는 시스템에 의해 수행될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금, 프로세스(3000)에 따라 해부학적 구조에 대한 접촉력을 추정하기 위한 동작을 실행하게 하는 명령을 포함하는 비-일시적 컴퓨터-판독가능 매체이다. 일부 실시예에서, 프로세스(3000)는 수술 절차 동안 실시간으로 수행될 수 있다.
단계(3002)에서, 프로세스는, 다양한 예를 통해 이전에 설명된 바와 같이, 수술실 내의 적어도 하나의 이미지 센서로부터, 수술 절차의 이미지 데이터를 수신하는 것을 포함할 수 있다. 이미지 센서는 임의의 수술실의 임의의 위치에 배치될 수 있고, 이미지 데이터는 임의의 비디오 데이터, 이미지를 표현하는 데이터, 및/또는 메타 데이터를 포함할 수 있다.
단계(3004)에서, 프로세스는, 예를 통해 이전에 설명된 바와 같이, 개시된 실시예에 따라, 해부학적 구조의 정체를 결정하고 그리고 이미지 데이터에 반영된 해부학적 구조의 상태를 결정하기 위해, 수신된 이미지 데이터를 분석하는 것을 포함할 수 있다. 수신된 이미지 데이터를 분석하는 것은 이전에 설명된 바와 같은 이미지 분석의 임의의 방법을 포함할 수 있고, 해부학적 구조의 상태는 해부학적 구조의 상태 또는 특성을 표시하는 임의의 정보를 지칭할 수 있다. 이전에 논의된 바와 같이, 수신된 이미지 데이터를 분석하는 것은 이미지 데이터에서 해부학적 구조의 상태를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다.
단계(3006)에서, 프로세스는 해부학적 구조와 연관된 접촉력 임계치를 선택하는 것을 포함할 수 있으며, 선택된 접촉력 임계치는 해부학적 구조의 결정된 상태에 기반한다. 이전에 더 상세히 논의된 바와 같이, 접촉력 임계치를 선택하는 것은 추천된 접촉력(예컨대, 최대 안전력 또는 최소 유효력)을 표시하는 데이터에 기반할 수 있다. 접촉력 임계치를 선택하는 것은 접촉력의 위치 및/또는 각도에 기반할 수 있고, 모델(예컨대, 통계 모델, 이를테면 회귀 모델 및/또는 머신 러닝 모델)을 구현하는 것을 포함할 수 있다. 추가로, 대응하는 접촉력 임계치를 포함하는 해부학적 구조의 표는 접촉력 임계치를 선택하는 부분으로서 사용될 수 있다. 접촉력 임계치는 장력 레벨 또는 압축 레벨과 연관될 수 있다. 일부 예에서, 접촉력 임계치를 선택하는 것은 접촉력 임계치를 선택하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 추가로, 접촉력 임계치를 선택하는 것은 의사에 의해 수행되는 하나 이상의 액션에 기반할 수 있다. 접촉력 임계치의 선택의 다른 비-제한적인 예가 위에서 설명되었다.
단계(3008)에서, 프로세스는, 이를테면 의료 기구와 해부학적 구조 간의 접촉과 연관된 힘과 함께(예컨대, 이전에 논의된 바와 같이) 해부학적 구조에 대한 실제 접촉력의 표시를 수신하는 것을 포함할 수 있다. 실제 힘은 장력 레벨, 수축 레벨, 압력 레벨, 및/또는 압축 레벨과 연관될 수 있다. 실제 접촉력의 표시는 이미지 데이터의 이미지 분석에 기반하여 추정될 수 있다. 실제 접촉력의 표시는 힘을 직접적으로 또는 간접적으로 측정하는 센서 데이터에 기반할 수 있다. 일부 실시예에서, 실제 접촉력의 표시는 이미지 데이터의 이미지 분석에 기반하여 추정될 수 있고 그리고/또는 수술 도구, 수술 로봇 또는 다른 의료 기구로부터 수신된 실제 접촉력의 표시일 수 있다.
단계(3010)에서, 프로세스는 이전에 논의된 바와 같이, 실제 접촉력의 표시를 선택된 접촉력 임계치와 비교하는 것을 포함할 수 있다. 실제 접촉력의 표시를 선택된 접촉력 임계치와 비교하는 것은, 실제 접촉력과 선택된 접촉력 임계치의 차이, 비율, 로그, 및/또는 임의의 다른 함수를 계산하는 것을 포함할 수 있다.
단계(3012)에서, 프로세스는 이전에 설명된 바와 같이, 실제 접촉력의 표시가 선택된 접촉력 임계치를 초과한다는 결정에 기반하여 통지를 출력하는 것을 포함할 수 있다. 통지를 출력하는 것은 진행중인 수술 절차 동안 실시간으로 수행될 수 있다. 예컨대, 통지를 출력하는 것은 수술 절차를 수행하는 의사에게 실시간 경고를 제공하거나 수술 로봇에 대한 명령을 제공하는 것을 포함할 수 있다.
개시된 시스템 및 방법은 수술의 특징, 환자 상태, 및 예측된 수술 결과를 업데이트하기 위한 다른 특징을 식별하기 위해 현재 및/또는 이력의 수술 푸티지를 분석하는 것을 수반할 수 있다. 수술 절차의 과정 동안, 상태가 변할 수 있거나, 수술 절차의 예측된 결과를 변화시키는 이벤트가 발생할 수 있다. 수술을 수행하기 위한 종래의 접근법은, 수술 이벤트가 발생함에 따라 실시간으로 업데이트된 예측 결과에 대한 의사결정 지원 시스템이 없을 수 있다. 결과적으로, 의사는 가능한 수술 결과를 인식하지 못할 수 있고, 이로써 결과를 개선할 수 있거나 결과의 악화를 회피할 수 있는 액션을 수행하지 못할 수도 있다. 따라서, 본 개시내용의 양상은 예측된 수술 결과를 효율적으로, 효과적으로 그리고 실시간으로 업데이트하는 신규한 접근법에 관한 것이다.
본 개시내용에 따르면, 수술 절차가 개시되는 동안 예측된 결과를 업데이트하기 위한 시스템, 방법 및 컴퓨터-판독가능 매체가 제공될 수 있다. 예컨대, 이미지 데이터는 예측된 결과의 변화를 검출하기 위해 분석될 수 있고, 교정 조치가 의사에게 통신될 수 있다. 예측된 결과는 연관된 신뢰도 또는 확률(예컨대, 가능성)로 발생할 수 있는 결과를 포함할 수 있다. 예컨대, 예측된 결과는 합병증, 건강 상황, 회복 기간, 사망, 장애, 내부 출혈, 수술 후의 병원 재입원, 및/또는 임의의 다른 수술 결과를 포함할 수 있다. 일부 실시예에서, 예측된 결과는 스코어, 이를테면 하부 요로 증상(LUTS: lower urinary tract symptom) 결과 스코어를 포함한다. 보다 일반적으로, 예측된 결과는 수술 절차와 연관된 임의의 건강 표시자를 포함할 수 있다.
일부 실시예에서, 예측된 결과는 병원 재입원의 가능성, 이를테면, 환자가 수술 절차 후에 병원으로부터 퇴원한 후 특정된 시간 간격 내에 수술 절차를 겪은 환자의 병원 재입원의 가능성을 포함할 수 있다. 병원 재입원은 수술 절차와 관련된 건강 상태에 기반할 수 있거나, 또는 다른 팩터에 기반할 수 있다. 예컨대, 수술후 합병증(예컨대, 부종, 출혈, 알레르기 반응, 파열된 봉합사, 및/또는 임의의 다른 합병증)으로 인해 병원 재입원이 발생할 수 있다. 일부 실시예에서, 병원 재입원의 가능성은 (예컨대, 본원에서 설명된 바와 같이 이미지 분석 방법을 사용하여) 이미지 데이터의 분석에 기반하여 결정될 수 있다. 추가로, 일부 실시예에서, 병원 재입원의 가능성은 수술 절차를 겪은 환자의 정보에 기반하여 결정될 수 있다. 예컨대, 병원 재입원 가능성은 환자 특성(예컨대, 나이, 이전 건강 상황, 가족력, 바이탈 징후 및/또는 다른 환자-관련 데이터)에 기반할 수 있다. 병원 재입원은 상이한 시간 인터벌(예컨대, 24시간 이내, 1주일 이내, 한 달 이내 또는 다른 시간 기간 내의 재입원)에 대해 정의될 수 있다.
일부 실시예에서, 예측된 결과는 적어도 하나의 모델, 이를테면 통계적 모델 및/또는 머신 러닝 모델에 기반할 수 있다. 예컨대, 예측된 결과는 수술 절차와 연관된 정보(예컨대, 환자 특성 및/또는 수술 이벤트)와 이력 결과 간의 통계적 상관관계에 기반할 수 있다. 예측된 결과는 트레이닝 예를 사용하여(예컨대, 이력 데이터에 기반한 트레이닝 예를 사용하여) 결과를 수술 절차와 연관된 정보(예컨대, 환자 특성 및/또는 수술 이벤트)와 연관시키도록 트레이닝된 머신 러닝 모델에 의해 생성될 수 있다.
개시된 실시예는, 개시된 실시예에 따라, 수술 절차의 이미지를 캡처하도록 배열된 적어도 하나의 이미지 센서로부터, 수술 절차 동안의 제1 이벤트와 연관된 이미지 데이터를 수신하는 것을 포함할 수 있다. 제1 이벤트와 연관된 이미지 데이터는 수술 절차와 연관된 스틸 이미지, 이미지 프레임, 클립 및/또는 비디오-관련된 데이터를 포함할 수 있다. 제1 이벤트는 개시된 실시예에 따라 임의의 수술 이벤트를 포함할 수 있다. 예시적인 실시예에서, 제1 이벤트는 의사(예컨대, 인간 또는 로봇 의사)에 의해 수행되는 액션을 포함할 수 있다. 다른 예에서, 제1 이벤트는 액션에 대한 생리학적 반응을 포함할 수 있다. 또 다른 예에서, 제1 이벤트는 해부학적 구조의 상태의 변화를 포함할 수 있다. 그러한 수술 이벤트의 일부 다른 비-제한적인 예가 위에서 설명되었다. 제1 이벤트와 연관된 이미지 데이터는 본원에서 예로서 설명된 바와 같이, 메모리 및/또는 데이터 구조에서 수신될 수 있다.
이미지 센서는 본원에서 또한 설명된 바와 같은 임의의 이미지 센서(예컨대, 카메라 또는 다른 검출기)를 포함할 수 있다. 일부 실시예에서, 이미지 센서는 수술실에 포지셔닝될 수 있다. 예컨대, 이미지 센서는 수술 절차를 겪은 환자 위에 또는 수술 절차를 겪은 환자내에 (예컨대, 강내 카메라) 포지셔닝될 수 있다.
개시된 실시예는, 제1 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 개시된 실시예에 따라, 수술 절차와 연관된 예측된 결과를 결정하는 것을 포함할 수 있다. 예측된 결과는 위에서 설명된 바와 같이, 수술 절차와 연관된 임의의 건강 결과를 포함할 수 있다. 예컨대, 이는 제1 이벤트와 일부 방식으로든 상관되는 결과를 포함할 수 있다. 예측은 바이너리(binary)일 수 있거나(예컨대, 파열을 초래할 가능성이 있음 대 파열을 초래할 가능성이 없음) 또는 상대적인 신뢰도 또는 확률(예컨대, 파열 가능성 퍼센트; 1-5의 스케일 상의 파열 가능성 등)을 제공할 수 있다. 결정된 예측된 결과는 수술후 건강 상황과 같은 결과의 속성을 반영하는 스코어(예컨대, LUTS 결과 스코어)를 포함할 수 있다. 예측된 결과는 신뢰도 또는 확률과 연관될 수 있다.
선행 단락에서 언급된 바와 같이, 제1 이벤트는 임의의 수술중의 발생을 포함할 수 있다. 예컨대, 제1 이벤트는 의사에 의해 수행되는 액션, 환자 특성의 변화, 해부학적 구조의 상태의 변화, 및/또는 임의의 다른 상황을 포함할 수 있다. 일부 실시예에서, 제1 이벤트와 연관된 적어도 하나의 시점이 수신될 수 있어서, 이벤트 자체의 표시자에 부가하여, 이벤트가 발생한 시간의 표시자가 또한 수신된다. 시점은 비디오 타임라인 상의 카운터와 일치할 수 있거나, 또는 이벤트가 발생했을 때 절대적 또는 상대적 시간을 반영하는 임의의 다른 마커 또는 표시자를 포함할 수 있다.
일부 실시예는 제1 이벤트와 같은 이벤트를 식별하는 것을 수반할 수 있다. 그러한 식별은, 예컨대, 의료 기구의 검출, 해부학적 구조, 및/또는 의료 기구와 해부학적 구조 간의 상호작용에 기반할 수 있다. 검출은 본 개시내용 전반에 걸쳐 설명된 비디오 분석 기법을 사용하여 발생할 수 있다. 예컨대, 이벤트는 위에서 설명된 바와 같이 머신 러닝 모델을 사용하여 이미지 데이터를 분석함으로써 식별될 수 있다.
일부 실시예에서, 예측된 결과를 결정하는 것은 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 것 및 식별된 상호작용에 기반하여 예측된 결과를 결정하는 것을 포함할 수 있다. 예컨대, 수술 도구와 해부학적 구조 간의 상호작용은, 예컨대 위에서 설명된 바와 같이 이미지 데이터를 분석함으로써 식별될 수 있다. 추가로, 일 예에서, 제1 식별된 상호작용에 대한 응답으로, 제1 결과가 예측될 수 있고, 제2 식별된 상호작용에 대한 응답으로, 제2 결과가 예측될 수 있고, 제2 결과는 제1 결과와 상이할 수 있다. 다른 예에서, 머신 러닝 모델은 수술 도구와 해부학적 구조 간의 상호작용에 기반하여 수술 절차의 결과를 예측하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 식별된 상호작용에 기반하여 결과를 예측하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 원하는 예측된 결과를 표시하는 라벨과 함께, 수술 도구와 해부학적 구조 간의 상호작용의 표시를 포함할 수 있다. 원하는 예측된 결과는 이력 데이터의 분석, 사용자 입력(이를테면, 전문가 의견) 등에 기반할 수 있다.
일부 실시예에서, 예측된 결과를 결정하는 것은 이미지 데이터, 이를테면 데이터 구조에 이전에 저장된 데이터에 묘사된 의사의 스킬 레벨에 기반할 수 있다. 의사의 스킬 레벨은, 예컨대 위에서 설명된 바와 같이, 이미지 데이터의 분석에 기반하여 결정될 수 있다. 예컨대, 알려진 의사를 식별하기 위해 얼굴 인식 알고리즘이 이미지 데이터에 적용될 수 있고, 대응하는 스킬 레벨은 데이터베이스와 같은 데이터 구조로부터 리트리브될 수 있다. 일부 실시예에서, 의사의 스킬 레벨은 이미지 데이터에서 식별된 이벤트 시퀀스에 기반하여(예컨대, 하나 이상의 액션을 수행하기 위한 시간의 길이에 기반하여, 수술 동안 이미지 데이터에서 검출된 환자 응답에 기반하여 그리고/또는 의사의 스킬 레벨을 표시하는 다른 정보에 기반하여) 결정될 수 있다. 일 예에서, 제1 결정된 스킬 레벨에 대한 응답으로, 제1 결과가 예측될 수 있고, 제2 결정된 스킬 레벨에 대한 응답으로, 제2 결과가 예측될 수 있고, 제2 결과는 제1 결과와 상이할 수 있다. 다른 예에서, 머신 러닝 모델은 의사의 스킬 레벨에 기반하여 수술 절차의 결과를 예측하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 결정된 스킬 레벨에 기반하여 결과를 예측하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는, 원하는 예측된 결과를 표시하는 라벨과 함께 의사의 스킬 레벨의 표시를 포함할 수 있다. 원하는 예측된 결과는 이력 데이터의 분석, 사용자 입력(이를테면, 전문가 의견) 등에 기반할 수 있다.
예측된 결과를 결정하는 것은 또한, 일부 예시에서, 이미지 데이터에 묘사된 해부학적 구조의 상태에 기반할 수 있다. 예컨대, 예측된 결과는 장기 상태와 상관된 이력 결과에 기반하여 결정될 수 있다. 불량한 상태의 장기에 대한 합병증은, 예컨대 양호한 상태의 장기에 대한 것보다 더 클 수 있다. 일부 실시예에서, 본 개시내용 전반에 걸쳐 설명된 바와 같은 이미지 데이터의 분석에 기반하여, 해부학적 구조의 상태가 결정될 수 있다. 해부학적 구조의 상태는 일시적이거나 또는 장기적일 수 있고 그리고/또는 의학적 상태, 이를테면 수술 절차에 의해 치료되는 상태 또는 별개의 의학적 상태를 포함할 수 있다. 해부학적 구조의 상태는 컬러, 텍스처, 사이즈, 수화 레벨, 및/또는 임의의 다른 관찰 가능한 특성에 의해 표시될 수 있다. 일 예에서, 해부학적 구조의 제1 결정된 상태에 대한 응답으로, 제1 결과가 예측될 수 있고, 해부학적 구조의 제2 결정된 상태에 대한 응답으로, 제2 결과가 예측될 수 있고, 제2 결과는 제1 결과와 상이할 수 있다. 다른 예에서, 머신 러닝 모델은 해부학적 구조의 상태에 기반하여 수술 절차의 결과를 예측하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 해부학적 구조의 결정된 상태에 기반하여 결과를 예측하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 원하는 예측된 결과를 표시하는 라벨과 함께 해부학적 구조의 상태의 표시를 포함할 수 있다. 원하는 예측된 결과는 이력 데이터의 분석, 사용자 입력(이를테면, 전문가 의견) 등에 기반할 수 있다.
추가적으로 또는 대안적으로, 예측된 결과는 해부학적 구조에 대한 추정된 접촉력에 기반하여 결정될 수 있다. 예컨대, 해부학적 구조에 적용된 과도한 힘은 유리한 결과의 가능성이 덜하게 할 수 있다. 예컨대, 접촉력은, 예컨대 위에서 설명된 바와 같이, 이미지 데이터를 분석함으로써 추정될 수 있다. 다른 예에서, 접촉력은, 예컨대 위에서 설명된 바와 같이 센서로부터 수신될 수 있다. 일 예에서, 제1 추정된 접촉력에 대한 응답으로, 제1 결과가 예측될 수 있고, 제2 추정된 접촉력에 대한 응답으로, 제2 결과가 예측될 수 있고, 제2 결과는 제1 결과와 상이할 수 있다. 다른 예에서, 머신 러닝 모델은 해부학적 구조에 대한 접촉력에 기반하여 수술 절차의 결과를 예측하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 추정된 접촉력에 기반하여 결과를 예측하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 원하는 예측된 결과를 표시하는 라벨과 함께 접촉력의 표시를 포함할 수 있다. 원하는 예측된 결과는 이력 데이터의 분석, 사용자 입력(이를테면, 전문가 의견) 등에 기반할 수 있다.
예측된 결과를 결정하는 것은 다양한 방식으로 수행될 수 있다. 이는 이력 수술 비디오 및 이력 수술 비디오에 대응하는 수술 결과를 표시하는 정보에 기반하여 예측된 결과를 결정하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예컨대, 제1 이벤트의 수신된 이미지 데이터는 이미지 및/또는 비디오로부터 수술 절차의 결과를 예측하도록 구성된 인공 뉴럴 네트워크를 사용하여 분석될 수 있다. 다른 예로서, 예측된 결과를 결정하는 것은, 수신된 이미지 데이터에 기반하여 제1 이벤트를 식별하는 것 및 결과를 예측하기 위해 제1 이벤트와 관련된 정보에 모델(예컨대, 통계 모델 또는 머신 러닝 모델)을 적용하는 것을 포함할 수 있다. 이러한 모델은 제1 이벤트에 관련된 정보(예컨대, 제1 이벤트의 식별자, 제1 이벤트의 지속기간, 및/또는 수술 접촉력과 같은 제1 이벤트의 다른 속성) 및/또는 수술 절차와 관련된 정보(예컨대, 환자 특성, 의사의 스킬 레벨, 또는 다른 정보)를 포함하는 입력을 수신할 수 있다. 위에서 제공된 예과 같은 입력에 기반하여, 시스템은 예측된 결과를 출력으로서 리턴할 수 있다.
개시된 실시예는, 개시된 실시예에 따라, 수술 절차의 이미지를 캡처하도록 배열된 적어도 하나의 이미지 센서로부터, 수술 절차 동안의 제2 이벤트와 연관된 이미지 데이터를 수신하는 것을 포함할 수 있다. 제2 이벤트는 제1 이벤트 후에 발생할 수 있고, 제1 이벤트와 상이할 수 있다. 제2 이벤트와 연관된 적어도 하나의 시점이 수신될 수 있다. 제2 이벤트와 연관된 데이터를 캡처하기 위한 이미지 센서는 제1 이벤트와 연관된 데이터를 캡처하는 데 사용되는 이미지 센서와 동일할 수 있거나 상이할 수 있다.
개시된 실시예는, 제2 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 예측된 결과의 변화를 결정하여, 예측된 결과로 하여금 임계치 아래로 떨어지게 하는 것을 포함할 수 있다. 예컨대, 예측된 결과를 결정하기 위해 위에서 설명된 방법 중 임의의 방법을 사용하여, 새로운 예측된 결과가 결정되고 이전에 결정된 예측된 결과(이를테면, 제1 이벤트와 연관된 수신된 이미지 데이터에 기반하여 결정된 예측된 결과)와 비교될 수 있고, 이로써, 예측된 결과의 변화를 결정한다. 다른 예에서, 새로운 예측된 결과는 이전에 결정된 예측된 결과(이를테면, 제1 이벤트와 연관된 수신된 이미지 데이터에 기반하여 결정된 예측된 결과) 및 제2 이벤트와 연관된 수신된 이미지 데이터의 분석에 기반하여 결정될 수 있다. 예컨대, 머신 러닝 모델은 이전의 예측된 결과 및 이미지 및/또는 비디오에 기반하여 새로운 예측된 결과를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 이전에 결정된 예측된 결과 및 새로운 예측된 결과를 결정하기 위해 제2 이벤트와 연관된 수신된 이미지 데이터를 분석하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 새로운 예측된 결과를 표시하는 라벨과 함께, 이전에 결정된 예측된 결과 및 이벤트를 묘사하는 이미지 데이터를 포함할 수 있다. 다른 예에서, 이전에 결정된 예측된 결과를 업데이트하고 새로운 예측된 결과를 획득하기 위해 마르코프 모델(Markov model)이 사용될 수 있으며, 여기서, 마르코프 모델에서의 트랜지션은 제2 이벤트와 연관된 수신된 이미지 데이터를 분석함으로써 결정된 값에 기반할 수 있다. 논의된 바와 같이, 예측된 결과는 수술후 건강 상황(예컨대, LUTS 결과 스코어)와 같은 결과의 속성을 반영하는 확률, 신뢰도, 및/또는 스코어를 포함할 수 있다. 예측된 결과의 변화를 결정하는 것은 그러한 신뢰도, 확률 또는 스코어의 변화를 수반할 수 있다. 일부 예에서, 새로운 예측된 결과를 계산하지 않고서 예측된 결과의 변화가 결정될 수 있다. 예컨대, 머신 러닝 모델은 이전의 예측된 결과 및 이미지 및/또는 비디오에 기반하여 예측된 결과의 변화를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝된 머신 러닝 모델은 이전에 결정된 예측된 결과 및 예측된 결과의 변화의 발생을 결정하기 위해 제2 이벤트와 연관된 수신된 이미지 데이터를 분석하는데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는, 예측된 결과가 제2 이벤트에 대한 응답으로 변경되었는지 여부를 표시하는 라벨과 함께, 이벤트를 묘사하는 이미지 데이터 및 이전에 결정된 예측된 결과를 포함할 수 있다.
일부 실시예에서, 신뢰도, 확률 및/또는 스코어의 변화는 예측된 결과로 하여금 임계치(예컨대, 임계 신뢰도, 임계 확률, 임계 스코어) 아래로 떨어지게 할 수 있다. 그러한 임계치는 인공 지능 방법을 사용하여 자동으로 생성될 수 있고, 사용자 입력 등에 기반하여 결정될 수 있다. 임계치는 부정적 결과(이를테면, 병원 재입원, 합병증, 사망 또는 임의의 바람직하지 않은 결과) 또는 긍정적 결과에 대응할 수 있다.
일부 예시적인 실시예에서, 예측된 결과의 변화를 결정하는 것은 2개의 마커 간의 경과된 시간에 기반할 수 있다. 예컨대, 임계치를 초과하는 절개와 봉합술 간의 지속기간은 증가된 감염 가능성의 표시자로서의 역할을 할 수 있다. 예컨대, 제1경과된 시간에 대한 응답으로, 예측된 결과의 변화가 결정될 수 있고, 제2 경과된 시간에 대한 응답으로, 예측된 결과의 변화없음이 결정될 수 있다.
일부 예에서, 둘 이상의 변수는, 예컨대 통계적 방법을 사용하는 것, 머신 러닝 방법을 사용하는 것 등으로 긍정 또는 부정 결과에 상관될 수 있다. 변수는 무한할 수 있다. 그러한 변수는 환자의 상태, 의사, 절차의 복잡성, 합병증, 사용된 도구, 둘 이상의 이벤트 간의 경과된 시간, 또는 예측된 결과에 대해 일부 직접적 또는 간접적 영향을 미칠일 수 있는 임의의 다른 변수 또는 변수의 조합과 관련될 수 있다. 하나의 그러한 변수는 체액 누출(예컨대, 크기, 지속기간, 또는 결정된 출처)일 수 있다. 예컨대, 예측된 결과의 변화를 결정하는 것은 출혈의 크기에 기반할 수 있다. 체액 누출 이벤트의 특징(예컨대, 출혈의 크기, 출혈의 출처)은 이미지 데이터의 분석에 기반하여 결정될 수 있다.
개시된 실시예는 이미지 데이터에 묘사된 의사의 스킬 레벨을 결정하는 것을 포함할 수 있고, 예측된 결과의 변화를 결정하는 것은 스킬 레벨에 기반할 수 있다. 예컨대, 예측된 결과의 변화를 결정하는 것은 의사의 스킬 레벨의 업데이트된 추정에 기반할 수 있다(예컨대, 이미지 분석은 의사가 하나 이상의 실수를 범했다고 결정할 수 있고, 이는 스킬 레벨의 추정의 감소를 유발함). 다른 예로서, 이전에 결정된 예측된 결과는 제1 의사의 스킬 레벨에 기반할 수 있고, 예측된 결과의 변화는 보조하기 위해 개입하는 제2 의사의 스킬 레벨에 기반할 수 있다. 스킬 레벨은 본원에서 설명되는 바와 같이 다양한 방식으로(예컨대, 위에서 설명된 바와 같은 이미지 분석을 통해 그리고/또는 데이터 구조로부터 스킬 레벨을 리트리브함으로써) 결정될 수 있다.
추가적인 예를 통해, 예측된 결과의 변화를 결정하는 것은 해부학적 구조의 적어도 일부의 컬러, 텍스처, 사이즈, 상태, 또는 다른 모양 또는 특성에서의 하나 이상의 변화에 기반할 수 있다. 결과 예측을 위해 사용될 수 있는 해부학적 구조의 상태의 예는 활력, 산소화의 레벨, 수화의 레벨, 고통의 레벨, 및/또는 해부학적 구조의 상태의 임의의 다른 표시자일 수 있다.
해부학적 구조의 상태는 다양한 방식으로, 이를테면, 알려진 상태의 예로 트레이닝된 머신 러닝 모델을 통해 결정될 수 있다. 일부 실시예에서, 객체 인식 모델 및/또는 이미지 분류 모델은 이력 예시를 사용하여 트레이닝되고 해부학적 구조의 상태를 결정하도록 구현될 수 있다. 트레이닝은 지도 그리고/또는 비지도일 수 있다. 해부학적 구조의 상태를 결정하기 위한 방법의 일부 다른 비-제한적인 예가 위에서 설명되었다.
실시예는 해부학적 구조 및/또는 임의의 다른 입력 데이터의 상태에 기반하여 예측된 결과를 결정하는 다양한 방식을 포함할 수 있다. 예컨대, 회귀 모델은 해부학적 구조 및 결과의 상태를 포함하는 이력 데이터에 맞출 수 있다. 보다 일반적으로, 이력 데이터를 사용하여, 회귀 모델은 해부학적 구조의 상태, 환자 특성, 의사의 스킬 레벨, 추정된 접촉력, 체액 누출의 출처, 체액 누출 특성의 정도, 및/또는 수술 절차와 관련된 임의의 다른 입력 데이터를 포함하는 다양한 입력 데이터 중 하나 이상에 기반하여 결과를 예측하도록 맞출 수 있다. 결과는, 예컨대 수술 절차와 관련된 입력 데이터와 결과 데이터 간의 상관관계에 기반하는 것을 포함하는 다른 알려진 통계 분석에 기반하여 예측될 수 있다.
개시된 실시예는 개시된 실시예에 따라, 이전 수술 절차에 기반하여 이미지-관련 데이터의 데이터 구조에 액세스하는 것을 포함할 수 있다. 액세스하는 것은 데이터 구조로부터 데이터를 판독 및/또는 기록하는 것을 포함할 수 있다. 일부 실시예에서, 이는 도 17에 제공된 바와 같은 데이터 구조 또는 도 6에 제공된 바와 같은 데이터 구조를 사용하여 달성될 수 있다. 이미지-관련 데이터는 이미지로부터 직접적으로 또는 간접적으로 도출된 임의의 데이터를 포함할 수 있다. 이 데이터는, 예컨대, 환자 특성, 의사 특성(예컨대, 스킬 레벨), 및/또는 수술 절차 특성(예컨대, 수술 절차의 식별자, 수술 절차의 예상되는 지속기간)을 포함할 수 있다. 이미지-관련 데이터는 이력 수술중 수술 이벤트와 이력 결과 간의 통계적 관계를 설명하는 상관관계 또는 다른 데이터를 포함할 수 있다. 일부 실시예에서, 데이터 구조는 추천된 액션, 대안적 액션 방침, 및/또는 수술 결과의 확률, 가능성 또는 신뢰도를 변경시킬 수 있는 다른 액션에 관련된 데이터를 포함할 수 있다. 예컨대, 데이터 구조는 수술 절차로부터의 휴식과 개선된 결과를 상관시키는 정보를 포함할 수 있다. 구현에 따라, 데이터 구조는 의사의 스킬 레벨, 다른 의사로부터의 어시스턴스에 대한 요청, 및 결과를 상관시키는 정보를 포함할 수 있다. 유사하게, 데이터 구조는 수술 이벤트, 액션(예컨대, 교정 조치) 및 결과 간의 관계를 저장할 수 있다. 본 개시내용 전반에 걸쳐 논의된 바와 같이, 상관관계 모델의 호스트(host)가 예측을 위해 사용될 수 있지만, 예시적 예측 모델은 이력 이미지-관련 데이터(예컨대, 교정 조치에 관련된 정보) 및 결과에 맞춘 통계적 모델; 및 이력 예시에 기반하여 트레이닝 데이터를 사용하는 이미지-관련 데이터에 기반하여 결과를 예측하도록 트레이닝된 머신 러닝 모델을 포함할 수 있다.
개시된 실시예는 액세스된 이미지-관련 데이터에 기반하여, 추천된 교정 조치를 식별하는 것을 포함할 수 있다. 예컨대, 추천된 교정 조치는 의사가 상이한 도구 또는 절차를 사용하고; 약물을 투여하고, 다른 의사로부터 어시스턴스를 요청하고, 수술 절차를 수정하고, (예컨대, 경보를 증가시키기 위해) 수술 절차로부터 휴식을 취하고, 그리고/또는 결과에 영향을 줄 수 있는 임의의 다른 액션을 취하기 위한 추천을 포함할 수 있다. 추천된 교정 조치가 어시스턴스를 요청하기 위한 제안을 포함할 때, 제안은 의사가 수술하는 의사보다 더 높은 또는 상이한 레벨의 경험으로 소환될 것을 추천할 수 있다. 수술 절차에 대한 수정을 제안하는 교정 조치는 이전에 수술 절차의 일부가 아닌 추가적인 액션을 수행하거나 특정 예상되는 액션을 회피하기 위한 제안을 포함할 수 있다.
교정 조치를 식별하는 것은 이미지-관련 데이터로부터 적어도 부분적으로 도출된, 교정 조치가 예측된 결과를 임계치 초과로 올릴 가능성이 있다는 표시에 기반할 수 있다. 예컨대, 데이터 구조는 이력 교정 조치와 예측된 결과 간의 상관관계를 보유할 수 있고, 교정 조치는 상관관계에 기반하여 식별될 수 있다. 일부 실시예에서, 교정 조치를 식별하는 것은 교정 조치 및 수술 결과의 이력 예시를 사용하여 교정 조치를 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 트레이닝은 지도 또는 비지도일 수 있다. 예컨대, 머신 러닝 모델은 교정 조치를 식별하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 트레이닝 예시는 교정 조치 및 수술 결과의 이력 예시의 분석에 기반할 수 있다.
개시된 실시예는 추천된 교정 조치를 출력하는 것을 포함할 수 있다. 추천된 교정 조치를 출력하는 것은 디바이스에 추천을 송신하는 것, 인터페이스 상에 통지가 디스플레이되게 하는 것, 사운드를 플레이하는 것, 햅틱 피드백 및/또는 원하는 메시지를 수술실, 의사(예컨대, 인간 의사 및/또는 수술 로봇)와 연관된 디바이스 및/또는 임의의 다른 시스템 어디로든 전달하는 임의의 다른 방법을 제공하는 것을 포함할 수 있다. 예컨대, 추천된 교정 조치를 출력하는 것은 컴퓨터, 모바일 디바이스, 외부 디바이스, 수술 로봇 및/또는 임의의 다른 컴퓨팅 디바이스에 통지를 송신하는 것을 포함할 수 있다.
추가로, 일부 실시예에서, 방법은, 예측된 결과가 임계치 아래로 떨어지는 것에 대한 응답으로 수술 절차와 관련된 수술실과 연관된 스케줄링 기록을 업데이트하는 단계를 포함할 수 있다. 예컨대, 수술의 예상되는 지속기간의 변화는 스케줄링 기록의 자동화된 변화를 트리거할 수 있고, 그에 따라, 다음 환자에 대한 수술이 현재 수술의 지연을 설명하기 위해 적시에 푸시백된다. 보다 일반적으로, 임의의 예측된 결과의 변화는 예상되는 지속기간의 증가 또는 감소와 연관될 수 있다. 일부 실시예에서, 데이터 구조(예컨대, 도 17의 데이터 구조)는 예측된 결과를 수술의 개개의 예상되는 지속기간과 상관시킬 수 있다. 모델(예컨대, 회귀 모델 또는 트레이닝된 머신 러닝 모델)은 본 실시예에 따라, 예측된 결과에 기반하여 예상되는 지속기간을 생성하는 데 사용될 수 있다. 따라서, 예측된 결과 변화가 수술의 지속기간에 영향을 미친다면, 수술실 스케줄의 변화를 후속 의료진에게 알리기 위해 수술 스케줄이 자동으로 업데이트될 수 있다. 업데이트는 전자적 수술실 스케줄링 보드 상에 자동으로 디스플레이될 수 있다. 대안적으로 또는 추가적으로, 업데이트는 영향을 받는 의료 전문가와 연관된 계정에 이메일 또는 다른 메시징 앱을 통해 브로드캐스트될 수 있다 스케줄링은 논의된 바와 같이 예측된 결과와 상관될 수 있지만, 또한 다른 팩터와 상관될 수 있다. 예컨대, 예측된 결과가 변경되지 않더라도, 수술 절차의 비디오 푸티지에 대해 수행된 머신 비전 분석은 수술 스케줄이 뒤처지고 있는(또는 스케줄보다 앞서 있음) 것을 드러낼 수 있고, 스케줄에 대한 업데이트가 이전에 논의된 바와 같이 자동으로 푸시될 수 있다.
도 31은, 개시된 실시예에 따라, 수술 절차 동안 예측된 결과를 업데이트하기 위한 예시적인 프로세스(3100)를 예시하는 흐름도이다. 프로세스(3100)는 하나 이상의 마이크로프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있다. 일부 실시예에서, 프로세스(3100)는 예시된 단계로 반드시 제한되지 않으며, 본원에 설명된 다양한 실시예 중 임의의 것이 또한 프로세스(3100)에 포함될 수 있다. 당업자가 인지할 바와 같이, 프로세스(3100)의 단계는 예컨대, 시스템(1401)의 컴포넌트를 포함하는 시스템에 의해 수행될 수 있다. 일부 실시예에서, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 프로세스(3100)에 따라 예측된 결과를 업데이트하기 위한 동작을 실행하게 하는 명령을 포함하는 비-일시적 컴퓨터-판독가능 매체이다. 일부 실시예에서, 프로세스(3100)는 수술 절차 동안 실시간으로 수행될 수 있다.
단계(3102)에서, 프로세스는 개시된 실시예에 따라, 수술 절차의 이미지를 캡처하도록 배열된 적어도 하나의 이미지 센서로부터, 수술 절차 동안 제1 이벤트와 연관된 이미지 데이터를 수신하는 것을 포함할 수 있다. 이전에 논의된 바와 같이, 이미지 센서는 수술실의 임의의 위치(예컨대, 환자 위, 환자 내)에 포지셔닝될 수 있다.
단계(3104)에서, 프로세스는, 이전에 논의되고 예와 함께 예시된 바와 같이, 제1 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 수술 절차와 연관된 예측된 결과를 결정하는 것을 포함할 수 있다. 논의된 바와 같이, 예컨대, 예측된 결과를 결정하는 것은 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 것 및 식별된 상호작용에 기반하여 예측된 결과를 결정하는 것을 포함할 수 있다. 예측된 결과를 결정하는 것은 이미지 데이터에서 묘사된 의사의 스킬 레벨에 기반할 수 있다. 일부 실시예에서, 예측된 결과를 결정하는 것은 이미지 데이터에 묘사된 해부학적 구조의 상태에 기반할 수 있고, 이력 수술 비디오 및 이력 수술 비디오에 대응하는 수술 결과를 표시하는 정보에 기반하여 예측된 결과를 결정하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예측된 결과의 일 예는 병원 재입원의 가능성을 포함할 수 있다. 다른 예가 이전에 제공되었다.
단계(3106)에서, 프로세스는 이전에 논의되고 예로 조명되는 바와 같이, 수술 절차의 이미지를 캡처하도록 배열된 적어도 하나의 이미지 센서로부터, 수술 절차 동안 제2 이벤트와 연관된 이미지 데이터를 수신하는 것을 포함할 수 있다.
단계(3108)에서, 프로세스는 제2 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 이전에 또한 논의된 바와 같이, 예측된 결과가 임계치 아래로 떨어지게 하는, 예측된 결과의 변화를 결정하는 것을 포함할 수 있다. 예컨대, 예측된 결과의 변화를 결정하는 것은 수술 절차의 특정 포인트와 제2 이벤트 사이에 경과된 시간에 기반할 수 있다. 다른 예에서, 예측된 결과의 변화를 결정하는 것은 출혈의 크기, 해부학적 구조의 적어도 일부의 컬러 변화, 해부학적 구조의 적어도 일부의 모양 변화에 기반할 수 있다. 해부학적 구조의 상태를 결정하는 것은 해부학적 구조의 상태를 결정하기 위해 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다.
단계(3110)에서, 프로세스는 이전에 논의된 바와 같이 그리고 예에서 예시된 바와 같이, 이전 수술 절차에 기반하여 이미지-관련 데이터의 데이터 구조에 액세스하는 것을 포함할 수 있다. 언급된 바와 같이, 도 17에 예시된 것과 같은 데이터 구조가 액세스될 수 있다. 이는 단지 일 예일뿐이며, 개시된 실시예에 따라 많은 다른 타입 및 형태의 데이터 구조가 이용될 수 있다.
단계(3112)에서, 프로세스는 이전에 설명된 바와 같이, 액세스된 이미지-관련 데이터에 기반하여, 추천된 교정 조치를 식별하는 것을 포함할 수 있다. 예컨대, 추천된 교정 조치는 수술 프로세스를 변경하고, 상이한 수술 도구를 사용하고, 다른 의사에게 전화를 걸고, 수술 절차를 수정하고, 휴식을 취하고, 그리고/또는 수술 절차의 결과에 영향을 미칠 수 있는 임의의 다른 액션을 포함할 수 있다. 교정 조치를 식별하는 것은 교정 조치 및 수술 결과의 이력 예를 사용하여 교정 조치를 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다.
단계(3114)에서, 프로세스는 이전에 설명된 바와 같이, 추천된 교정 조치를 출력하는 것을 포함할 수 있다.
개시된 시스템 및 방법은 수술의 특징, 환자 상태, 및 체액 누출을 검출하기 위한 다른 특징을 식별하기 위해 현재 및/또는 이력 수술 푸티지를 분석하는 것을 수반할 수 있다. 수술중에 체액이 누출될 수 있다. 예컨대, 혈액, 담즙 또는 다른 체액이 해부학적 구조로부터 누출될 수 있다. 종종, 체액 누출의 출처 또는 정도가 알려지지 않을 수 있다. 체크되지 않은 채로 두면, 체액 누출은 부정적 건강 결과를 유발할 수 있다. 따라서, 본 개시내용의 양상은 수술 동안 체액 누출의 범위 및/또는 출처를 자동으로 그리고 효과적으로 결정하는 신규한 접근법에 관한 것이다.
본 개시내용에 따르면, 수술 동안 체액 누출의 분석을 위해 시스템, 방법 및 컴퓨터-판독가능 매체가 제공될 수 있다. 분석은 진행중인 수술 절차 동안 실시간으로 수행될 수 있다. 실시예는 체액 누출과 관련된 정보를 의사에게 실시간으로 제공하는 것을 포함할 수 있다. 예컨대, 체액 누출의 분석은 의사가 체액 누출의 크기 및/또는 출처를 식별하는 것을 가능하게 하며, 이로써 의사가 체액 누출을 완화시키는 교정 조치를 수행하는 것을 허용한다. 체액 누출은 장기 또는 조직 내부로부터 조직 또는 장기 외부의 공간으로(예컨대, 혈관 내부에서 외부로, 담낭 내부에서 외부로 등) 체액의 누출을 포함할 수 있다. 누출된 체액은 혈액, 담즙, 미즙(chyme), 소변, 및/또는 임의의 다른 타입의 신체 체액을 포함할 수 있다.
수술 동안의 체액 누출의 분석은 개시된 실시예에 따라, 수술 절차의 실시간 강내 비디오를 수신하는 것을 포함할 수 있다. 개시된 실시예에 따라, 강내 비디오는 환자 내에 위치된 이미지 센서에 의해 캡처될 수 있다. 예컨대, 환자 외부에 위치된 이미지 센서는(예컨대, 수술 동안 강이 개방될 때) 강내 비디오를 수집할 수 있다. 강내 비디오를 실시간으로 수신하는 것은 네트워크를 통해 또는 이미지 센서로부터 직접적으로 비디오를 수신하는 것을 포함할 수 있다.
본 실시예에 따라, 강내 비디오는 수술 절차의 다양한 양상을 묘사할 수 있다. 예컨대, 강내 비디오는 수술 절차의 일부 또는 전부를 수행하는 수술 로봇 및/또는 인간 의사를 묘사할 수 있다. 강내 비디오는 개시된 실시예에 따라, 의료 기구, 해부학적 구조, 체액 누출 상황, 수술 이벤트, 및/또는 수술 절차의 임의의 다른 양상을 묘사할 수 있다.
수술 동안의 체액 누출의 분석은 개시된 실시예에 따라, 강내 비디오에서 비정상 체액 누출 상황을 결정하기 위해 강내 비디오의 프레임을 분석하는 것을 수반할 수 있다. 프레임을 분석하는 것은 비정상 체액 누출을 결정하기 위해 임의의 이미지 분석 방법을 사용하는 것을 포함할 수 있다. 예컨대, 이미지를 분석하는 것은 차이 이미지(예컨대, 후속적 이미지의 픽셀 데이터로부터 선행 이미지의 픽셀 데이터를 감산함으로써 생성된 이미지)를 분석하는 것, 호모그래피의 방법을 사용하는, 이미지 등록 기법을 적용하는 것, 및/또는 다른 이미지 프로세싱을 포함할 수 있다. 분석은 객체 인식 모델, 머신 러닝 모델, 회귀 모델, 및/또는 임의의 다른 모델을 이용할 수 있다. 이러한 모델은 이력 예시를 포함하는 트레이닝 데이터를 사용하여 비정상 체액 누출 상황을 결정하도록 트레이닝될 수 있다. 예컨대, 머신 러닝 모델은 비정상 체액 누출 상황을 검출하고 그리고/또는 이미지 및/또는 비디오로부터 비정상 체액 누출 상황의 속성을 결정하기 위해 트레이닝 예시를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은 비정상 체액 누출 상황 및/또는 비정상 체액 누출 상황의 속성을 결정하기 위한 강내 비디오를 분석하는 데 사용될 수 있다. 그러한 속성의 일부 비-제한적인 예는 체액의 타입, 체액 누출의 크기, 체액 누출의 출처 위치, 체액 누출과 관련된 해부학적 구조 등을 포함할 수 있다. 그러한 트레이닝 예시의 일 예는 비정상 체액 누출 상황이 강내 이미지에 그리고/또는 강내 비디오에 묘사되는지 여부를 표시하는 라벨과 함께, 그리고/또는 강내 이미지 및/또는 강내 비디오에 묘사된 비정상 체액 누출 상황의 속성을 표시하는 라벨과 함께 강내 이미지 및/또는 강내 비디오를 포함할 수 있다.
비정상 체액 누출 상황(즉, 비정상 체액 누출 이벤트)을 결정하는 것은 체액 누출의 다양한 양상을 결정하는 것을 포함할 수 있고, 해부학적 구조 내에 또는 그 상의 체액의 존재, 임계치를 초과하는 체액 누출의 크기(예컨대, 사전결정된 변위치(quantile)에 걸쳐, 다수의 표준 편차에 걸쳐), 체액의 타입(예컨대, 혈액, 담즙, 소변, 미즙, 및/또는 다른 타입), 체액 누출의 출처 위치, 및/또는 체액 누출 상황의 임의의 다른 특징을 포함할 수 있다. 일부 체액 누출은 정상(예컨대, 임계 크기 미만, 정상 체액 누출과 연관된 위치, 특정 수술 이벤트에 대한 정상 체액 타입 등)일 수 있는 반면, 다른 체액 누출은 비정상(예컨대, 임계 크기 초과, 원하지 않는 위치에서, 정상 체액 누출과 연관된 수술 이벤트에 연결되지 않고 그리고/또는 비정상적 유체 타입)이다.
누출 출처를 결정하기 위한 개시된 기법은 파열된 해부학적 장기, 혈관 및/또는 다른 해부학적 구조를 식별하는 것을 포함할 수 있다. 파열된 해부학적 구조는 체액 누출 속성(예컨대, 크기, 유량, 유동 방향, 컬러 또는 다른 체액 누출 속성)의 분석에 기반하여 식별될 수 있다. 파열된 해부학적 구조는 임의의 장기, 혈관(예컨대, 동맥), 통로(예컨대, 기관), 조직(예컨대, 라이닝(lining)) 및/또는 임의의 다른 해부학적 구조를 포함할 수 있다. 본원에서 사용되는 바와 같은 파열이라는 용어는 해부학적 구조에 대한 임의의 파손, 찢어짐, 천공 또는 다른 손상을 지칭할 수 있다.
일부 실시예에서, 식별된 파열된 해부학적 구조는 수술실(예컨대, 도 1에 묘사된 바와 같은 룸)에서 이미지 센서에 의해 캡처된 강내 비디오의 이미지 프레임에서 볼 수 있다. 대안적으로 또는 추가적으로, 파열된 해부학적 구조는 강내 비디오의 프레임에서 보이지 않을 수 있고(예컨대, 이는 다른 해부학적 구조에 의해 차폐될 수 있음), 그리고 이는 프레임에 반영된 정보(예컨대, 체액 누출 상황과 관련된 정보)에 기반하여 식별될 수 있다. 파열된 구조를 식별하는 것은, 회귀 모델을 사용함으로써, 머신 러닝 모델을 사용함으로써, 객체 인식 방법을 수행함으로써, 그리고/또는 임의의 다른 이미지 분석 방법에 의해 강내 비디오의 이전 프레임을 후속적 프레임과 비교하는 것을 수반할 수 있다. 예컨대, 머신 러닝 모델은 강내 이미지 및/또는 강내 비디오로부터 파열된 해부학적 장기, 혈관 및/또는 다른 해부학적 구조를 식별하기 위해 트레이닝 예를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은 파열된 해부학적 장기, 혈관, 및/또는 다른 해부학적 구조를 식별하기 위해 강내 비디오를 분석하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는, 파열된 해부학적 장기, 혈관 및/또는 다른 해부학적 구조가 강내 이미지 및/또는 강내 비디오에 대해 식별되어야 하는지 여부를 표시하는 라벨과 함께 강내 이미지 및/또는 강내 비디오를 포함할 수 있다.
실시예는 혈액 스플래시(blood splash) 및 혈액 스플래시의 적어도 하나의 속성을 식별하기 위해 강내 비디오의 프레임을 분석하는 것을 포함할 수 있다. 혈액 스플래시는 혈액의 존재 및/또는 혈액의 누출을 지칭할 수 있다. 혈액 스플래시를 식별하는 것은 강내 비디오의 컬러 데이터에 기반할 수 있다. 일부 실시예에서, 혈액 스플래시의 속성은 혈액 스플래시의 출처, 혈액 스플래시의 세기(레이트), 혈액 스플래시의 컬러, 혈액 스플래시의 점도, 및/또는 혈액 스플래시의 볼륨(크기)과 연관될 수 있다. 보다 일반적으로, 혈액 스플래시의 속성은 혈액 스플래시의 임의의 특성을 포함할 수 있다. 예컨대, 머신 러닝 모델은 혈액 스플래시를 식별하고 그리고/또는 이미지 및/또는 비디오로부터 혈액 스플래시의 속성을 결정하기 위해 트레이닝 예를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은 혈액 스플래시 및/또는 혈액 스플래시의 속성을 식별하기 위해 강내 비디오를 분석하도록 사용될 수 있다. 혈액 스플래시의 그러한 속성의 일부 비-제한적인 예는, 혈액 스플래시의 출처, 혈액 스플래시의 세기, 혈액 스플래시의 레이트, 혈액 스플래시의 컬러, 혈액 스플래시의 점도, 혈액 스플래시의 볼륨, 혈액 스플래시의 크기 등을 포함할 수 있다. 그러한 트레이닝 예시의 일 예는 혈액 스플래시가 강내 이미지에 그리고/또는 강내 비디오에 묘사되는지 여부를 표시하는 라벨과 함께, 그리고/또는 강내 이미지 및/또는 강내 비디오에 묘사된 혈액 스플래시의 속성을 표시하는 라벨과 함께 강내 이미지 및/또는 강내 비디오를 포함할 수 있다.
실시예는 혈액 스프레이를 식별하고 그리고/또는 혈액 스프레이(spray)의 적어도 하나의 속성을 식별하기 위해 강내 비디오의 프레임을 분석하는 것을 포함할 수 있다. 일부 예에서, 혈액 스프레이를 식별하는 것은 강내 비디오의 컬러 데이터, 강내 비디오 내의 모션 등에 기반할 수 있다. 일부 실시예에서, 혈액 스프레이의 속성은 혈액 스프레이의 출처, 혈액 스프레이의 세기(레이트), 스프레이된 혈액의 컬러, 스프레이된 혈액의 모션(이를테면, 속도, 방향 등), 및/또는 스프레이된 혈액의 볼륨(크기)과 연관될 수 있다. 보다 일반적으로, 혈액 스프레이의 속성은 스프레이된 혈액 및/또는 스프레이의 임의의 특성을 포함할 수 있다. 예컨대, 머신 러닝 모델은 혈액 스프레이를 식별하고 그리고/또는 이미지 및/또는 비디오로부터 혈액 스프레이의 속성을 결정하기 위해 트레이닝 예를 사용하여 트레이닝될 수 있고, 그리고 트레이닝된 머신 러닝 모델은 혈액 스프레이 및/또는 혈액 스프레이의 속성을 식별하기 위해 강내 비디오를 분석하도록 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 혈액 스프레이가 강내 이미지에 그리고/또는 강내 비디오에 묘사되는지 여부를 표시하는 라벨과 함께, 그리고/또는 강내 이미지 및/또는 강내 비디오에 묘사된 혈액 스프레이의 속성을 표시하는 라벨과 함께 강내 이미지 및/또는 강내 비디오를 포함할 수 있다.
추가로, 강내 비디오의 프레임을 분석하는 것은 비정상 체액 누출 상황의 속성을 결정하는 것을 포함할 수 있다. 예컨대, 속성은 체액 누출의 볼륨, 체액 누출의 컬러, 체액 누출과 연관된 체액의 타입, 체액 누출 레이트, 체액의 점도, 체액의 반사율 및/또는 체액의 임의의 다른 관찰 가능한 특징과 연관될 수 있다. 추가로, 프레임을 분석하는 것은 체액 누출 상황과 연관된 유량을 결정하는 것, 체액 누출 상황과 연관된 체액 손실의 볼륨을 결정하는 것, 및/또는 체액 누출 상황의 임의의 다른 속성을 결정하는 것을 포함할 수 있다. 체액 또는 체액 누출 상황의 속성은 색조, 채도, 픽셀 값 및/또는 다른 이미지 데이터에 기반하여 결정될 수 있다. 보다 일반적으로, 체액의 속성 또는 체액 누출 상황을 결정하는 것은 본원에 개시된 바와 같은 임의의 이미지 분석 방법을 포함할 수 있다. 예컨대, 체액의 속성 또는 체액 누출 상황을 결정하는 것은 위에서 설명된 바와 같이, 트레이닝된 머신 러닝 모델의 사용을 포함할 수 있다.
본 실시예에 따라, 체액 누출 분석은 강내 비디오를 저장하는 것, 및 현재 비디오에서 비정상적 누출 상황이 결정된 때, 개시된 실시예에 따라, 예컨대 비교를 통해, 누출 출처를 결정하기 위해, 저장된 강내 비디오의 이전 이력 프레임을 분석하는 것을 포함할 수 있다. 강내 비디오는 메모리, 데이터 구조(예컨대, 도 17a의 데이터 구조) 등에 저장될 수 있다. 예컨대, 누출된 체액의 양이 선택된 수량을 초과할 때(예컨대, 정상 누출 상황과 비정상 누출 상황을 구별하기 위해 사용되는 선택된 임계치를 초과하는 경우), 비정상 누출 상황은 결정될 수 있고, 그 지점에서 누출 출처는 현재의 비디오에서 보이지 않을 수 있다(예컨대, 누출 출처는 누출된 체액으로 커버될 수 있고, 현재 비디오의 현재 시야를 벗어나 있을 수 있음). 그러나, 누출 출처는 저장된 강내 비디오의 이전 이력 프레임에서 보일 수 있고, 저장된 강내 비디오의 이전 이력 프레임은, 예컨대 위에서 설명된 바와 같이 누출 출처를 식별하기 위해 분석될 수 있다. 다른 예에서, 비정상 누출 상황은 제1 알고리즘을 사용하여 현재 비디오를 분석함으로써 결정될 수 있고, 그 포인트에서 누출 출처는 현재 비디오에서 보이지 않을 수 있다. 그러한 결정에 대한 응답으로, 누출 출처를 식별하기 위해 저장된 강내 비디오의 이전 이력 프레임을 분석하기 위해 제2 알고리즘(이는 제1 알고리즘과 더 계산적으로 집약적일 수 있거나 이와 달리 상이할 수 있음)이 사용될 수 있으며, 이는 저장된 강내 비디오의 이전 이력 프레임에서 보일 수 있다. 또 다른 예에서, 트리거(이를테면, 사용자 입력, 현재 비디오에서의 이벤트 검출, 수술 절차를 겪은 환자에 연결된 센서로부터의 입력 등)는 현재 비디오의 분석으로 하여금 비정상 누출 상황을 결정하게 할 수 있다. 추가로, 일부 예에서, 그러한 결정에 대한 응답으로, 저장된 강내 비디오의 이전 이력 프레임은, 예컨대 위에서 설명된 바와 같이 누출 출처를 식별하기 위해 분석될 수 있다.
누출 출처를 결정하기 위해 이전 프레임을 분석하는 것은 상이한 시점(예컨대, 둘 이상의 시점)에서 프레임을 비교하는 것을 포함할 수 있다. 예컨대, 실시예는(예컨대, 2개의 상이한 시점에서 프레임의 픽셀 데이터를 감산함으로써) 차이 이미지를 생성하는 것 및 생성된 차이 이미지를 분석하는 것을 포함할 수 있다. 다른 예에서, 프레임을 비교하는 것은 상이한 시점에서 체액 누출 상황의 속성을 결정하고 속성의 변화를 결정하는 것을 수반할 수 있다.
실시예는, 비정상 체액 누출 상황이 결정될 때 교정 조치를 실시하는 것을 포함할 수 있다. 교정 조치는 비정상 체액 누출 상황과 연관된 임의의 통지, 제안된 응답, 또는 대응책을 포함할 수 있다. 교정 조치는 체액 누출의 가변 특성에 관계 없이 동일할 수 있거나 또는 체액 누출의 가변 특성에 기반하여 변화될 수 있다. 후자의 상황에서, 교정 조치를 실시하는 것은 다양한 옵션으로부터 교정 조치를 선택하는 것을 포함할 수 있다. 따라서, 후자의 상황에서, 교정 조치의 선택은 체액 누출 상황의 결정된 속성 또는 특성에 의존할 수 있다. 예컨대, 결정된 출혈 정도가 특정 임계치 미만이고 출혈 출처가 식별되면, 연관된 교정 조치는 출혈 출처에 압력을 인가하기 위한 추천 또는 명령일 수 있다. 보다 상당한 파열이 검출되면, 교정 조치는 출혈 출처를 봉합하라는 추천 또는 명령을 수반할 수 있다. 누출과 연관된 체액의 타입, 누출의 정도, 및 누출 상황의 특성에 따라, 많은 상이한 잠재적인 교정 조치가 가능할 수 있다. 적절한 교정 조치를 선택하는 것을 보조하기 위해, 데이터 구조는 체액 누출 상황, 교정 조치 및 결과 간의 관계를 저장할 수 있다. 추가로, 통계적 모델은 이력 체액 누출 상황, 교정 조치 및 결과에 기반하여 맞춰질 수 있고, 교정 조치는 모델 출력에 기반하여 선택될 수 있다. 대안적으로 또는 추가적으로, 선택은 이력 체액 누출 상황, 교정 조치 및 결과에 기반하여 교정 조치를 선택하도록 트레이닝된 머신 러닝 모델의 출력에 기반할 수 있다. 다른 예에서, 데이터 구조는 체액 누출 상황과 추천된 교정 조치 간의 관계를 저장할 수 있고, 교정 조치는 체액 누출 상황의 속성 및/또는 특성에 기반하여 데이터 구조로부터 선택될 수 있다. 그러한 데이터 구조는 사용자 입력에 기반할 수 있다. 예컨대, 식별된 누출 출처를 갖는 체액 누출 상황에 대한 응답으로, 제1 교정 조치(이를테면, 수술 로봇을 사용하여 누출 출처를 봉합함)가 선택될 수 있는 한편, 식별된 누출 출처가 없는 체액 누출 상황에 대한 응답으로, 제2 교정 조치(이를테면, 사용자에게 통지를 제공함)가 선택될 수 있다.
본 실시예에 따라, 교정 조치를 실시하는 것은 누출 출처의 통지를 제공하는 것을 포함할 수 있다. 통지는 파열된 혈관, 파열된 장기 및/또는 임의의 다른 파열된 해부학적 구조와 같은 누출 출처를 식별하는 메시지를 포함할 수 있다. 예컨대, 통지는 식별된 누출 해부학적 구조, 체액 누출 특성(예컨대, 볼륨, 유량, 체액 타입, 체액 누출의 지속기간), 및/또는 체액 누출 상황과 관련된 임의의 다른 정보를 포함할 수 있다. 추가로, 통지는 누출을 교정하거나 이와 달리 누출에 대응하기 위해 취해질 수 있는 제안된 액션 방침을 포함할 수 있다. 다른 예에서, 통지는, 예컨대, 수술 절차로부터 캡처된 이미지 및/또는 비디오 위의 오버레이, 증강 현실 디바이스에서의 표시자 등으로서 누출 출처의 시각적 표시자를 포함할 수 있다. 통지를 제공하는 것은 디바이스에 통지를 송신하는 것, 통지로 하여금 인터페이스에 디스플레이되게 하는 것, 사운드를 플레이하는 것, 햅틱 피드백, 및/또는 위에서 개시된 것과 같은 정보를 출력하는 임의의 다른 방법을 제공하는 것을 수반할 수 있다. 통지는 수술실의 디바이스(예컨대, 도 1에 묘사됨), 의사(예컨대, 인간 의사 및/또는 수술 로봇)와 연관된 디바이스, 및/또는 임의의 다른 시스템에 제공될 수 있다. 예컨대, 통지를 출력하는 것은 컴퓨터, 모바일 디바이스, 외부 디바이스, 수술 로봇 및/또는 임의의 다른 컴퓨팅 디바이스에 통지를 송신하는 것을 포함할 수 있다.
일부 실시예에서, 교정 조치는 로봇에 명령을 전송하는 것을 포함할 수 있다. 그러한 명령은 누출을 교정하거나 교정하는 것을 보조하는 액션을 수행하도록 로봇에 지시할 수 있다. 대안적으로 또는 추가적으로, 명령은 인간의 개입을 허용하기 위해 로봇에게 현재의 액션 방침을 중단하고 그리고/또는 옆으로 이동하도록 지시할 수 있다.
교정 조치는 다양한 입력에 기반할 수 있다. 예컨대, 교정 조치를 실시하는 것은, 예컨대, 위에서 설명된 바와 같이, 체액 또는 체액 누출 상황의 유량, 체액 손실 볼륨, 및/또는 임의의 특성에 기반할 수 있다. 교정 조치는 체액의 속성 또는 체액 누출 상황의 통계적 분석에 기반할 수 있다. 예컨대, 체액 누출 상황의 특성과 결과 간의 알려진(또는 결정된) 상관관계에 기반하여 교정 조치가 선택될 수 있다. 추가로, 도 17a의 데이터 구조와 같은 데이터 구조는 체액 누출 상황의 특성을 결과와 상관시킬 수 있다. 통계적 분석은 교정 조치(예컨대, 체액 누출 데이터, 교정 조치 데이터 및 결과 데이터를 포함하는 이력 데이터에 맞춘 회귀 모델)를 식별하기 위해 회귀 모델을 사용하는 것을 포함할 수 있다.
본 실시예에 따라, 강내 비디오에서 비정상 체액 누출 상황을 결정하기 위해 강내 비디오의 프레임을 분석하는 것은 체액 누출 상황이 비정상인지 여부를 결정하는 것을 포함할 수 있다. 일부 체액 누출 상황은 정상일 수 있다(예컨대, 정상 체액 누출과 연관된 위치에서, 특정 수술 이벤트에 대한 정상 유체 타입의 임계 크기 미만 등). 일부 체액 누출 상황은 비정상일 수 있다(예컨대, 비정상 체액 누출과 연관된 위치에서, 특정 수술 이벤트에 대한 비정상 유체 타입의 임계 크기 초과 등). 정상 및/또는 비정상으로 분류된 체액 누출 상황의 특성은 도 17a에 묘사된 것과 같은 데이터 구조에 저장될 수 있다. 체액 누출 상황이 비정상인지 여부를 결정하는 것은 회귀 모델(예컨대, 이력 예에 맞춰진 모델) 및/또는 트레이닝된 머신 러닝 모델(예컨대, 이력 예를 사용하여 결정된 체액 누출 상황이 비정상인지 여부를 결정하도록 트레이닝된 모델)을 사용하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은 체액 누출 상황과 관련된 정보(체액 누출 상황의 이미지 및/또는 비디오, 위에서 설명된 바와 같은 체액 누출 상황을 묘사하는 비디오를 분석함으로써 결정되는 체액 누출의 속성, 체액 누출 상황의 출처, 누출의 양, 체액 누출 상황의 타입, 체액의 타입, 환자의 특성, 누출 상황이 발생한 수술 페이즈 등)에 기반하여 체액 누출 상황이 정상인지 또는 비정상인지 여부를 결정하기 위해 트레이닝 예를 사용하여 트레이닝될 수 있고 그리고 트레이닝된 머신 러닝 모델은 체액 누출 상황과 관련된 정보를 분석하고 체액 누출 상황이 비정상인지 여부를 결정하는 데 사용될 수 있다. 그러한 트레이닝 예시의 일 예는 특정 체액 누출 상황이 비정상인지 여부를 표시하는 라벨과 함께 특정 체액 누출 상황과 관련된 정보를 포함할 수 있다.
일부 실시예는, 예컨대 위에서 설명된 바와 같이, 검출된 체액 누출 상황의 속성을 결정하기 위해 강내 비디오의 프레임을 분석하는 것을 포함할 수 있다. 결정된 속성은 체액 누출의 볼륨, 체액 누출의 타입, 체액 누출의 레이트, 체액 누출의 출처, 및/또는 수술 절차의 임의의 다른 관찰 가능한 특징과 연관될 수 있다. 그런다음, 결정된 속성은, 예컨대 체액 누출이 정상인지 또는 비정상인지 여부를 확인하는 데 사용될 수 있다. 그러한 속성을 결정하기 위해 프레임을 분석하는 것은 본원에서 설명되는 바와 같은 임의의 이미지 분석 방법을 포함할 수 있다.
일부 실시예에서, 체액 누출 상황이 비정상 체액 누출 상황인지 여부를 결정하는 것은 수술 절차를 겪고 있는 환자의 임의의 다른 바이탈 징후 및/또는 혈압의 측정에 기반할 수 있다. 바이탈 징후는 본원에서 설명된 이미지 분석 기법을 통해 수술 비디오로부터 도출될 수 있고, 그리고/또는 바이탈 징후를 측정하도록 구성된 센서로부터 도출될 수 있다. 추가로, 이상의 가능한 표시자로서 바이탈 징후를 사용하는 것에 대해, 이상은 수술 이벤트, 수술의 타입, 및/또는 수술 절차의 임의의 다른 양상과 같은 수술 절차의 임의의 특성에 기반할 수 있다. 예컨대, 수술 절차를 겪고 있는 환자의 혈압의 제1측정에 대한 응답으로, 특정 체액 누출 상황이 정상인 것으로 결정될 수 있고, 그리고 수술 절차를 겪고 있는 환자의 혈압의 제2측정에 대한 응답으로, 특정 체액 누출 상황이 비정상인 것으로 결정될 수 있다.
개시된 실시예는 검출된 체액 누출 상황이 비정상 체액 누출 상황이라는 결정에 대한 응답으로 교정 조치를 실시하는 것을 포함할 수 있다. 추가로, 일부 실시예는 체액 누출이 정상이라는 결정에 대한 응답으로 교정 조치의 실시를 보류하는 것을 포함할 수 있다. 교정 조치를 보류하는 것은 일정 시간 기간 동안 또는 무기한으로 교정 조치를 지연시키는 것을 포함할 수 있다. 예컨대, 누출의 분석이 교정 조치가 필요하지 않다는 결정을 초래하면, 교정 조치가 보류될 수 있다. 또는, 교정 조치가 이미 시작되었고 추가 분석이 교정 조치가 불필요한 것으로 드러나면, 교정 조치를 보류하는 것은 업데이트된 통지를 제공하는 것을 포함할 수 있다(예컨대, 통지는 추천된 교정 조치를 변경하거나 또는 이와 달리 이전 통지와 상이한 정보를 제공할 수 있다).
도 32는 개시된 실시예에 따라, 수술 동안 체액 누출 검출을 가능하게 하기 위한 예시적인 프로세스(3200)를 예시하는 흐름도이다. 프로세스(3200)는 하나 이상의 마이크로프로세서와 같은 하나 이상의 프로세서에 의해 수행될 수 있다. 일부 실시예에서, 프로세스(3200)는 예시된 단계로 반드시 제한되지 않으며, 본원에 설명된 다양한 실시예 중 임의의 것이 또한 프로세스(3200)에 포함될 수 있다. 프로세스(3200)의 단계는 예컨대, 시스템(1401)의 컴포넌트를 포함하는 시스템에 의해 수행될 수 있다. 일부 실시예에서, 프로세스(3200)는, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금, 수술 동안 체액 누출의 분석을 위한 동작을 실행하게 하는 명령을 포함하는 비-일시적 컴퓨터-판독가능 매체로 구현될 수 있다. 일부 실시예에서, 프로세스(3200)는 수술 절차 동안 실시간으로 수행될 수 있다.
단계(3202)에서, 프로세스는 개시된 실시예에 따라, 수술 절차의 강내 비디오를 실시간으로 수신하는 것을 포함할 수 있다. 강내 비디오를 실시간으로 수신하는 것은 네트워크를 통해 또는 이미지 센서로부터 직접적으로 비디오를 수신하는 것을 포함할 수 있다. 일부 실시예에서, 강내 비디오는 이전에 논의된 바와 같이 수술 절차의 일부 또는 전부를 수행하는 수술 로봇을 묘사할 수 있다.
단계(3204)에서, 프로세스는 이전에 논의되고 예에 예시된 바와 같이 강내 비디오에서 비정상 체액 누출 상황을 결정하기 위해 강내 비디오의 프레임을 분석하는 것을 포함할 수 있다. 논의된 바와 같이, 예컨대, 체액은 혈액, 담즙, 소변, 및/또는 임의의 다른 타입의 신체 체액을 포함할 수 있다. 누출 출처를 결정하는 것은 파열된 해부학적 장기를 식별하는 것, 파열된 혈관을 식별하는 것, 및/또는 임의의 다른 파열된 해부학적 구조를 식별하는 것을 포함할 수 있다. 일부 실시예에서, 단계(3204)는 혈액 스플래시 및 혈액 스플래시의 적어도 하나의 속성을 식별하기 위해 강내 비디오의 프레임을 분석하는 것을 포함할 수 있다. 혈액 스플래시의 속성은 혈액 스플래시의 출처, 혈액 스플래시의 세기(레이트), 혈액 스플래시의 컬러, 혈액 스플래시의 점도, 및/또는 혈액 스플래시의 볼륨(크기)와 연관될 수 있다. 강내 비디오의 프레임을 분석하는 것은 비정상 체액 누출 상황의 속성을 결정하는 것을 포함할 수 있다. 예컨대, 속성은 체액 누출의 볼륨, 체액 누출의 컬러, 체액 누출과 연관된 체액의 타입, 체액 누출 레이트, 체액의 점도, 체액의 반사율 및/또는 체액의 속성과 연관될 수 있다. 추가로, 프레임을 분석하는 것은 체액 누출 상황과 연관된 유량을 결정하는 것, 체액 누출 상황과 연관된 체액 손실의 볼륨을 결정하는 것, 및/또는 체액 누출 상황의 임의의 다른 속성을 결정하는 것을 포함할 수 있다. 방법은 강내 비디오를 저장하는 단계, 및 비정상 누출 상황을 결정한 때, 누출 출처를 결정하기 위해 저장된 강내 비디오의 이전 프레임을 분석하는 단계를 추가로 포함할 수 있다.
단계(3206)에서, 프로세스는 비정상 체액 누출 상황이 결정될 때 교정 조치를 실시하는 것을 포함할 수 있다. 교정 조치의 선택은, 예컨대, 식별된 혈액 스플래시의 적어도 하나의 속성에 의존할 수 있다. 일부 실시예에서, 교정 조치의 선택은 체액 누출 상황의 결정된 속성에 의존할 수 있다.
개시된 시스템 및 방법은 수술 절차 동안에 이벤트를 식별하기 위해 수술 푸티지를 분석하는 것을 수반할 수 있으며, 이는 환자에 대한 퇴원후 위험에 영향을 미칠 수 있다. 환자에 대한 퇴원후 위험은 수술 절차 동안의 수술중 이벤트에 기반하여 그리고 환자 특성에 기반하여 수술 절차 후에 식별되는 것이 필요할 수 있다. 퇴원후 위험은 수술 절차 동안 이벤트를 식별하고 이력 데이터를 사용하여, 식별된 이벤트가 환자에 대한 퇴원후 위험에 어떻게 영향을 줄 수 있는지를 결정함으로써 결정될 수 있다. 따라서, 환자에 대한 퇴원후 위험에 영향을 줄 수 있는 수술 절차 동안 수술 푸티지를 분석하고 이벤트를 식별할 필요가 있다.
본 개시내용의 양상은 방법, 시스템, 디바이스, 및 컴퓨터-판독가능 매체를 포함하는, 수술 절차 후에 퇴원후 위험을 예측하는 것에 관한 것일 수 있다.
논의의 편의를 위해, 방법의 양상이 시스템, 디바이스 및 컴퓨터-판독가능 매체에 동일하게 적용된다는 것을 조건으로, 방법이 아래에서 설명된다. 예컨대, 그러한 방법의 일부 양상은, 유선이거나 무선인 또는 이 둘 다인 네트워크를 통해 전자식으로 발생할 수 있다. 이러한 방법의 다른 양상은 비-전자적 수단을 사용하여 발생할 수 있다. 가장 넓은 의미에서, 이 방법은 특정 물리적 및/또는 전자적 기구로 제한되지 않고, 오히려 다수의 다양한 기구를 사용하여 달성될 수 있다.
개시된 실시예에 따라, 퇴원후 위험을 예측하기 위한 방법은 환자에 대한 특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것을 수반할 수 있다. 본원에서 사용되는 바와 같이, 비디오는 기록된 이미지 및/또는 사운드를 포함하는 임의의 형태의 기록된 시각적 매체를 포함할 수 있다. 예컨대, 비디오는, 도 1과 관련하여 위에서 설명된 바와 같이, 카메라(115, 121, 123, 및/또는 125)와 같은 이미지 캡처 디바이스에 의해 캡처된 하나 이상의 이미지의 시퀀스를 포함할 수 있다. 이미지는 개별 파일로 저장되거나, 또는 대응하는 오디오 데이터를 포함할 수 있는 결합된 포맷(이를테면, 비디오 파일)으로 저장될 수 있다. 일부 실시예에서, 비디오는 원시 데이터(raw data) 및/또는 이미지 캡처 디바이스로부터 출력된 이미지로 저장될 수 있다. 다른 실시예에서, 비디오가 프로세싱될 수 있다. 예컨대, 비디오 파일은, AVI(Audio Video Interleave), FLV(Flash Video Format), MOV(QuickTime File Format), MPEG(MPG, MP4, M4P 또는 임의의 다른 포맷), WMV(Windows Media Video), MXF(Material Exchange Format), 또는 임의의 다른 적절한 비디오 파일 포맷을 포함할 수 있다.
비디오 푸티지는 이미지 캡처 디바이스에 의해 캡처된 일정 길이의 비디오를 지칭할 수 있다. 일부 실시예에서, 비디오 푸티지는, 처음에(originally) 캡처되었던 순서대로의 이미지의 시퀀스를 포함하는 비디오를 지칭할 수 있다. 예컨대, 비디오 푸티지는 비디오 편집물을 형성하기 위해 편집되지 않은 비디오를 포함할 수 있다. 다른 실시예에서, 비디오 푸티지는, 이를테면 수술 절차 동안 비활성과 연관된 프레임을 제거하기 위해, 또는 이와 달리 처음에 순차적으로 캡처되지 않은 프레임을 컴파일링하기 위해 하나 이상의 방식으로 편집될 수 있다. 비디오 푸티지에 액세스하는 것은, 메모리 디바이스와 같은 저장 위치로부터 비디오 푸티지를 리트리브하는 것을 포함할 수 있다. 비디오 푸티지는 로컬 하드 드라이브와 같은 로컬 메모리로부터 액세스될 수 있거나, 또는 예컨대, 네트워크 연결을 통해 원격 소스로부터 액세스될 수 있다. 본 개시내용에 따라, 인덱싱은 데이터가 보다 효율적으로 그리고/또는 효과적으로 리트리브될 수 있도록 데이터를 저장하기 위한 프로세스를 지칭할 수 있다. 비디오 푸티지를 인덱싱하는 프로세스는, 비디오 푸티지가 속성 또는 표시자에 기반하여 식별될 수 있도록 하나 이상의 속성 또는 표시자를 비디오 푸티지와 연관시키는 것을 포함할 수 있다.
수술 절차는, 환자의 신체에 대한 매뉴얼 또는 수술 절차와 연관된 또는 이를 수반하는 임의의 의료 절차를 포함할 수 있다. 수술 절차는, 절단, 삭마, 봉합술, 또는 신체 조직 및/또는 장기를 물리적으로 변경하는 것을 수반하는 다른 기법을 포함할 수 있다. 수술 절차는 또한 환자를 진단하거나 환자에게 약물을 투여하는 것을 포함할 수 있다. 이러한 수술 절차의 일부 예는, 복강경 수술, 흉부 내시경 시술, 기관지경 시술, 현미경 시술, 개복술, 로봇 수술, 충수염 수술, 동맥내막 절제술, 수근관 유리술, 백내장 수술, 제왕절개, 담낭절제술, 대장절제술(이를테면, 부분 대장 절제술, 또는 대장전절제술), 관상동맥 형성술, 관상동맥 우회술, (예컨대, 상처, 화상, 감염의) 변연절제술, 유리 식피, 치핵 절제술, 고관절 대체술, 자궁절제술, 자궁경 수술, 사타구니 탈장 수술, 무릎 관절경, 슬관절 치환술, 유방절제술(이를테면, 부분 유방절제술, 전유방절제술, 또는 변형 근치 유방절제술), 전립선 절제술, 전립선 제거, 어깨 관절경, 척추 수술(이를테면, 척추 고정술, 추궁절제술, 추간공 확장술, 추간판절제술, 디스크 치환술, 또는 추궁판간 이식), 편도 절제술, 인공와우 시술, 뇌종양(예컨대, 뇌수막종) 절제술, 중재 시술, 이를테면, 경피적 관상동맥 확장술, 경피적 대동맥판막 치환술, 뇌내 출혈 배출을 위한 최소 침습적, 또는 일부 형태의 절개를 수반하는 임의의 다른 의료 절차를 포함할 수 있다. 본 개시내용은 수술 절차를 참조로 설명되지만, 다른 형태의 의료 절차, 또는 일반적인 절차에도 또한 적용될 수 있음을 이해해야 한다.
일부 예시적인 실시예에서, 액세스된 비디오 푸티지는, 수술대 위의 포지션, 환자의 수술 강, 환자의 장기 내부 또는 환자의 맥관구조 내부 중 적어도 하나에 위치된 적어도 하나의 이미지 센서를 통해 캡처된 비디오 푸티지를 포함할 수 있다. 이미지 센서는 비디오를 기록할 수 있는 임의의 센서일 수 있다. 수술대 위의 포지션에 위치한 이미지 센서는, 환자 위에서 이미지를 캡처하도록 구성된, 환자 외부에 배치된 이미지 센서를 포함할 수 있다. 예컨대, 이미지 센서는, 도 1에 도시된 바와 같이, 카메라(115 및/또는 121)를 포함할 수 있다. 다른 실시예에서, 이미지 센서는, 환자 내부에, 예컨대, 이를테면 강에 배치될 수 있다. 본원에서 사용되는 바와 같이, 강은 객체 내부의 임의의 상대적으로 빈 공간을 포함할 수 있다. 그에 따라서, 수술 강은 수술 절차 또는 수술이 수행되고 있는 환자의 신체 내부의 공간을 지칭할 수 있다. 수술 강은, 완전히 비어 있지 않을 수 있지만 신체 내에 존재하는 조직, 장기, 혈액 또는 다른 체액을 포함할 수 있다는 것이 이해된다. 장기는 독립된 구역 영역 또는 유기체의 일부를 지칭할 수 있다. 인간 환자의 장기의 일부 예는 심장 또는 간을 포함할 수 있다. 맥관구조는 유기체 내의 혈관(blood vessel) 시스템 또는 그룹(grouping)을 지칭할 수 있다. 수술 캐비티, 장기 및/또는 맥관구조에 위치된 이미지 센서는 환자에게 삽입되는 수술 도구에 포함된 카메라를 포함할 수 있다.
특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것은 프레임, 프레임에 의해 관련된 메타데이터, 프레임의 픽셀의 픽셀 값, 프레임의 분석에 기반한 정보 등 중 적어도 하나에 액세스하는 것을 포함할 수 있다. 예컨대, 특정 수술 절차 동안 캡처된 비디오의 프레임은, 예컨대 적어도 하나의 프로세싱 디바이스에 의한 프로세싱을 위해 메모리로부터 정보를 판독하는 컴퓨터화된 디바이스에 의해 액세스될 수 있다. 예컨대, 프로세싱 디바이스는, 예컨대 위에서 설명된 바와 같이, 비디오 데이터의 다양한 양상을 분석하도록 구성된 머신 러닝 방법을 사용하여 액세스 프레임을 분석할 수 있다. 예컨대, 머신 러닝 방법은 비디오 프레임 내의 이벤트를 인식하거나 또는 비디오 프레임을 분석함으로써 수술기구, 해부학적 구조 및 수술 기구와 해부학적 구조 간의 상호작용을 인식하도록 구성될 수 있다. 일부 경우에서, 비디오의 프레임에 액세스하는 것은 의사, 마취과 의사 또는 임의의 다른 의료 서비스 전문가와 같은 의료 서비스 전문가에 의해 프레임에 액세스하는 것을 포함할 수 있다. 일부 경우에서, 비디오 프레임은 환자, 환자의 가족 구성원, 또는 임의의 다른 인가된 당사자에 의해 액세스될 수 있다.
본 개시내용의 양상은 수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것을 포함할 수 있다. 본원에서 사용되는 바와 같이, 수술 절차에 대한 수술중 이벤트(또한, 수술 이벤트로 지칭됨)는 의사, 수술 기술자, 간호사, 보조 의사, 마취과 의사, 닥터, 임의의 다른 의료 서비스 전문가, 수술 로봇 등 의해 수행되는 액션과 같은 수술 절차의 일부로서 수행되는 액션을 지칭할 수 있다. 수술중 수술 이벤트는 계획된 이벤트, 이를테면 절개, 약물 투여, 수술 기구의 사용, 절제, 절제술, 결찰, 이식, 봉합술, 스티칭, 또는 수술 절차 또는 페이즈와 연관된 임의의 다른 계획된 이벤트일 수 있다. 추가적으로 또는 대안적으로, 수술중 이벤트는 또한, 이벤트가 의료 서비스 전문가에 의해 수행되는 액션을 포함하는지 여부에 관계 없이, 해부학적 구조 및/또는 수술 절차와 관련된 의료 기구에 발생하는 이벤트를 지칭할 수 있다. 그러한 수술중 이벤트의 일 예는 해부학적 구조의 상태의 변화를 포함할 수 있다. 그러한 수술중 이벤트의 다른 예는 의료 기구의 상태의 변화(예컨대, '부분적으로 채워짐(partly filled)'에서 '채워짐(filled)'으로)를 포함할 수 있다.
복강경 담낭절제술 수술의 예시적 수술중 이벤트는, 트로카 배치, 칼로트 삼각형 해부, 담낭관 및 동맥의 클립핑 및 절단, 쓸개 해부, 쓸개 패키징, 간 상의 세척 및 응집, 쓸개 수축 등을 포함할 수 있다. 다른 예에서, 백내장 수술의 수술 이벤트는, 포비돈-요오드 주입, 각막 절개, 수정체낭 절개, 수정체 유화, 피질 흡인, 안구내 렌즈 삽입, 안구내-렌즈 조정, 상처 봉합 등을 포함할 수 있다. 또 다른 예에서, 뇌하수체 수술의 수술 특성 이벤트는, 준비, 코 절개, 코 견인기 설치, 종양에 대한 액세스, 종양 제거, 콧대 교체, 봉합, 코 압박대 장착 등을 포함할 수 있다. 수술 특성 이벤트의 일부 다른 예는 절개, 복강경 포지셔닝, 봉합 등을 포함할 수 있다.
일부 실시예에서, 수술 수술중 이벤트는 부작용 이벤트 또는 합병증을 포함할 수 있다. 수술 부작용 이벤트의 일부 예는, 출혈, 장간막 폐기종, 상해, 계획되지 않은 개복술(예컨대, 복부 벽 절개)로의 변환, 계획된 것보다 상당히 큰 절개 등을 포함할 수 있다. 수술중 합병증의 일부 예는, 고혈압, 저혈압, 서맥, 저산소증, 유착, 탈장, 비정형 해부, 경막 찢어짐, 천공 상해, 동맥 폐색 등을 포함할 수 있다. 일부 경우에서, 수술 이벤트는 기술적 에러, 통신 에러, 관리 에러, 판정 에러, 의사 결정 에러, 의료 장비 활용과 관련된 에러, 잘못된 통신 등을 포함한 다른 에러를 포함할 수 있다. 다양한 실시예에서, 이벤트는 짧을 수 있거나 또는 일정 시간 지속기간 동안 지속될 수 있다. 예컨대, 짧은 이벤트(예컨대, 절개)는 수술 절차 동안 특정 시간에 발생하는 것으로 결정될 수 있고, 연장된 이벤트(예컨대, 출혈)는 시간 범위에 걸쳐 발생하는 것으로 결정될 수 있다. 일부 경우에서, 연장된 이벤트는 잘 정의된 개시 이벤트 및 잘 정의된 종료 이벤트(예컨대, 봉합술의 개시 및 봉합술의 종료)를 포함할 수 있으며, 봉합술은 연장된 이벤트이다. 일부 경우에서, 연장된 이벤트는 또한 수술 절차 동안 페이즈로 지칭된다.
일부 경우에서, 수술 이벤트는 서브-이벤트의 그룹(즉, 2개 이상의 서브-이벤트 또는 단계)을 식별할 수 있다. 예컨대, 환자에게 전신 마취를 투여하는 이벤트는 몇개의 단계, 이를테면, 무의식을 유도하기 위해 IV 라인을 통해 환자에게 약제를 제공하는 제1 단계, 및 전신 마취를 유지하기 위해 적절한 가스(예컨대, 이소플루란 또는 데스플루란)를 투여하는 제2 단계를 포함한다.
이력 데이터는 이력(즉, 이전에 수행된) 수술 절차와 관련된 또는 그에 기반하는 임의의 정보를 포함할 수 있다. 예컨대, 이력 데이터는 이력 수술 푸티지, 이력 수술 푸티지의 분석에 기반한 정보, 하나 이상의 의료 서비스 제공자로부터의 이력 노트, 의료 디바이스로부터의 이력 데이터(예컨대, 이력 수술 절차 동안 수집된 이력 바이탈 신호), 이력 오디오 데이터, 다양한 센서(예컨대, 이미지 센서, 화학 센서, 온도 센서, 전기 센서)로부터 수집된 이력 데이터, 또는 하나 이상의 이력 수술 절차와 관련될 수 있는 임의의 다른 이력 데이터를 포함할 수 있다.
수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것은, 수술중 이벤트 및 연관된 결과에 관한 정보를 보유하는 데이터베이스에 액세스하는 것을 포함할 수 있다. 예컨대, 데이터베이스는 표, 데이터베이스, 또는 수술중 이벤트 및 수술중 이벤트와 연관된 이력 결과를 유지하는 데이터의 다른 구성과 같은 데이터 구조를 포함할 수 있다. 예컨대, 수술중 이벤트는 "출혈"일 수 있고, 이력적으로 연관된 결과는 "빈혈"일 수 있다. 일부 경우에서, 하나의 수술중 이벤트는 상이한 특성을 갖는 연관된 결과를 가질 수 있다. 예컨대, 수술중 이벤트 "출혈"은 제1특성 "16g/dL에서 13g/dL로 떨어짐"을 갖는 제1연관된 결과 "헤모글로빈 손실"및 제2특성 "15g/dL에서 12g/dL로 떨어짐"을 갖는 제2연관된 결과 "헤모글로빈 손실"를 가질 수 있다. 일부 경우에서, "출혈"과 같은 수술중 이벤트는 제1 결과 "헤모글로빈 손실" 및 제1 결과와 상이할 수 있는 제2 결과(예컨대, "심정지")를 가질 수 있다.
추가적으로 또는 대안적으로, 수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것은, 예컨대 적어도 하나의 프로세싱 디바이스에 의한 프로세싱을 위해 메모리로부터 이력 데이터의 적어도 일부를 판독하는 컴퓨터화된 디바이스에 의해 이력 데이터에 액세스하는 것을 포함할 수 있다. 이력 데이터는 이력 수술 푸티지, 이력 수술중 이벤트 등에 관한 정보 및 연관된 이력 결과를 포함할 수 있다. 일부 경우에서, 액세스된 이력 데이터를 프로세싱하는 것은 이력 수술 푸티지(뿐만 아니라 임의의 다른 이력 수술 데이터)의 다양한 양상을 분석하도록 구성된 머신 러닝 모델에 의해 수행될 수 있다. 예컨대, 머신 러닝 방법은 수술기구, 해부학적 구조, 및 이력 수술 푸티지에서 수술 기구와 해부학적 구조 간의 상호작용을 인식함으로써, 이력 수술 푸티지의 비디오 프레임 내에서 수술중 이벤트를 식별하도록 구성될 수 있다.
일부 경우에서, 수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것은 의사, 마취과 의사, 간호사 또는 임의의 다른 의료 서비스 전문가에 의한 이력 데이터에 액세스하는 것을 포함할 수 있다. 일부 경우에서, 이력 데이터는 환자, 환자의 가족 구성원, 또는 이력 데이터에 액세스하도록 인가된 임의의 다른 당사자에 의해 액세스될 수 있다.
다양한 실시예에서, 머신 러닝 모델은, 예컨대 위에서 설명된 바와 같이, 수술 절차의 액세스된 비디오 프레임에서, 적어도 하나의 특정 수술중 이벤트를 식별하는 데 사용될 수 있다. 트레이닝된 머신 러닝 모델은 이벤트를 식별하기 위한 이미지 인식 모델일 수 있다. 예컨대, 머신 러닝 모델은 비디오의 프레임으로서 표현된 이미지 내에서 모션 또는 다른 변화를 검출하기 위해 다수의 비디오 프레임을 분석할 수 있다. 일부 실시예에서, 이미지 분석은 객체 검출 알고리즘, 이를테면, Viola-Jones 객체 검출, CNN, 또는 임의의 다른 형태의 객체 검출 알고리즘을 포함할 수 있다. 머신 러닝 모델은 이벤트의 이름, 이벤트의 타입, 및 이벤트의 특성을 리턴하도록 구성될 수 있다. 예컨대, 이벤트가 절개이면, 머신 러닝 모델은 이벤트를 특성화하기 위한 이름 "절개", 및 이벤트의 특성으로서 절개의 길이 및 깊이를 리턴하도록 구성될 수 있다. 일부 경우에서, 다양한 이벤트에 대한 가능한 이름의 사전결정된 리스트가 머신 러닝 모델에 제공될 수 있고, 머신 러닝 모델은 이벤트의 정확한 특성화를 위해 이벤트의 리스트로부터 이름을 선택하도록 구성될 수 있다.
개시된 실시예의 일부 양상은 적어도 하나의 특정 수술중 이벤트의 발생을 식별하기 위해 머신 러닝 모듈을 사용하는 것을 포함할 수 있다. 예컨대, 머신 러닝 모델은 이벤트의 개시를 식별함으로써 특정 수술중 이벤트가 발생함을 식별할 수 있다. 일부 경우에서, 머신 러닝 모델은 이벤트 및/또는 특정 수술중 이벤트의 종료의 특성을 식별할 수 있다.
머신 러닝 모델은 예시적인 트레이닝 데이터를 사용하여 수술중 이벤트를 식별하도록 트레이닝될 수 있다. 예시적인 트레이닝 입력 데이터는 수술중 이벤트를 포함하는 수술 절차의 이력 푸티지를 포함할 수 있다. 다양한 경우에서, 트레이닝 데이터의 다수의 샘플이 생성되어 머신 러닝 모델을 트레이닝시키는 데 사용될 수 있다. 트레이닝 프로세스 동안, 트레이닝 데이터(예컨대, 제1 트레이닝 데이터)는 모델에 대한 입력 데이터로서 사용될 수 있고, 모델은 컴퓨테이션을 수행하고 그리고 수술중 이벤트에 대한 이벤트 식별 스트링(예컨대, 이벤트의 이름)을 출력할 수 있다. 다양한 실시예에서, 이벤트 식별 스트링은 모델에 대한 연관된 에러를 평가하기 위해 대응하는 수술중 이벤트의 알려진 이력 이름과 비교될 수 있다. 에러가 사전결정된 임계 값 미만이면, 모델은 다른 입력 데이터를 사용하여 트레이닝될 수 있다. 대안적으로, 에러가 임계 값을 초과하면, 모델 파라미터가 수정될 수 있고, 트레이닝 단계는 제1 트레이닝 데이터를 사용하여 반복될 수 있다.
머신 러닝 모델을 이용한 검출에 부가하여 또는 그에 대한 대안으로서, 특성 이벤트는 다양한 다른 접근법을 사용하여 이미지 센서로부터 수신된 비디오 프레임에서 검출될 수 있다. 일 실시예에서, 특성 이벤트는 수술 절차 동안 의료 전문가(예컨대, 의사)에 의해 식별될 수 있다. 예컨대, 의사는 의사로부터의 시각 또는 오디오 신호(예컨대, 손 제스처, 신체 제스처, 의료 기구에 의해 생성된 광원에 의해 발생된 시각 신호, 발화된 단어(spoken word), 또는 임의의 다른 적절한 신호)를 사용하여 특징적인 이벤트를 식별할 수 있으며, 신호는 하나 이상의 이미지 센서/오디오 센서에 의해 캡처되고 특성 이벤트에 대한 트리거로서 인식될 수 있다.
본 개시내용의 양상은 또한, 액세스된 프레임에서 검출된 수술 도구, 액세스된 프레임에서 검출된 해부학적 구조, 수술 도구와 해부학적 구조 간의 액세스된 프레임에서의 상호작용 또는 액세스된 프레임에서 검출된 비정상 체액 누출 상황중 적어도 하나에 기반하여 적어도 하나의 특정 수술중 이벤트를 식별하는 것을 포함할 수 있다.
수술 도구는, 수술 절차 동안 사용될 수 있는 임의의 기구 또는 디바이스일 수 있으며, 이는, 이로 제한되는 것은 아니지만, 절단 기구(이를테면, 해부용 칼, 가위, 또는 톱), 파지 및/또는 홀딩 기구(이를테면, 빌로트 클램프, 헤모스태틱 "모스키토" 겸자, 무외상 지혈 겸자, 데샹 바늘, 또는 호프너 지혈 겸자), 견인기(파라베프 C형상 층상 후크, 무딘 치형 후크, 날카로운 치형 후크, 홈형 프로브, 또는 탬프 겸자), 조직 통합 기구 및/또는 재료(이를테면, 바늘, 홀더, 수술 바늘, 스테이플러, 클립, 접착제 테이프, 또는 메쉬), 보호 장비(이를테면, 얼굴 및/또는 호흡기 보호 장비, 헤드웨어, 풋웨어, 또는 글러브), 복강경, 내시경, 환자 모니터링 디바이스 등을 포함할 수 있다. 수술 도구(또한, 의료 도구 또는 의료 기구로 지칭됨)은 의료 절차의 일부로서 사용되는 임의의 장치 또는 장비를 포함할 수 있다.
수술 도구는, 예컨대 위에서 설명된 바와 같이 임의의 적절한 수단을 사용하여 수술 비디오 푸티지에서 검출될 수 있다.
유사하게, 수술 도구를 검출하기 위해, 머신 러닝 모델을 사용하여 수술 푸티지에서 해부학적 구조가 검출될 수 있다. 해부학적 구조는, 예컨대 장기, 조직, 관, 동맥, 또는 임의의 다른 해부학적 부분을 포함하는, 살아있는 유기체의 임의의 특정 부분일 수 있다. 일부 경우에서, 보철물, 임플란트, 또는 인공 장기는 해부학적 구조로 간주될 수 있다.
머신 러닝 방법을 사용하여 수술 도구 및/또는 해부학적 구조를 검출하는 것은, 예컨대 위에서 설명된 바와 같이 하나의 가능한 접근법일 수 있다. 추가적으로 또는 대안적으로, 수술 도구(또는 해부학적 구조)는 다양한 다른 접근법을 사용하여 이미지 센서로부터 수신된 수술 비디오 푸티지에서 검출될 수 있다. 일 실시예에서, 수술 도구(또는 해부학적 구조)는 수술 절차 동안 의료 전문가(예컨대, 의사)에 의해 식별될 수 있다. 예컨대, 의사는 수술 도구 및/또는 해부학적 구조의 이름을 말함으로써 수술 도구(또는 해부학적 구조)를 식별할 수 있어, 의사로부터의 오디오 사운드가 하나 이상의 오디오 센서에 의해 캡처되고 스피치 인식 컴퓨터 기반 모델(또는 수술 절차 동안 정보를 기록하기 위한 인간 조작자)에 의해 인식될 수 있다.
본 개시내용의 일부 양상은, 예컨대 위에서 설명된 바와 같이, 의료 도구와 해부학적 구조 간의 상호작용을 식별하기 위해 수술 푸티지의 프레임을 분석하는 것을 수반할 수 있다. 예컨대, 수술 푸티지의 프레임 중 적어도 일부는 외과 수술이 해부학적 구조에 대해 수행되고 있는 수술 푸티지의 일부를 표시할 수 있다. 위에서 논의된 바와 같이, 상호작용은 해부학적 구조에 영향을 줄 수 있는 의료 기구에 의한 임의의 액션을 포함할 수 있거나, 또는 그 반대의 경우도 가능하다. 예컨대, 상호작용은 의료 기구와 해부학적 구조 간의 접촉, 해부학적 구조에 대한 의료 기구에 의한 액션(이를테면, 절단, 클램핑, 파지, 압력 적용, 또는 긁힘), 해부학적 구조에 의한 생리학적 반응, 해부학적 구조를 향해 광을 방출하는 수술 도구(예컨대, 수술 도구는 해부학적 구조를 향해 광을 방출하는 레이저일 수 있음), 해부학적 구조를 향해 방출되는 사운드, 해부학적 구조 근처에서 생성되는 전자기장, 해부학적 구조에 도출되는 전류, 또는 임의의 다른 적절한 형태의 상호작용을 포함할 수 있다.
일부 경우에서, 상호작용을 식별하는 것은 해부학적 구조에 대한 수술 도구의 근접도를 식별하는 것을 포함할 수 있다. 예컨대, 예시적인 수술 절차의 수술 비디오 푸티지를 분석함으로써, 이미지 인식 모델은 수술 도구와 해부학적 구조의 포인트(또는 포인트의 세트) 간의 거리를 결정하도록 구성될 수 있다.
본 개시내용의 양상은 또한, 예컨대 위에서 설명된 바와 같이, 액세스된 프레임에서 비정상 체액 누출 상황을 검출하는 것을 수반할 수 있다. 비정상 체액 누출은 출혈, 소변 누출, 담즙 누출, 림프 누출, 또는 임의의 다른 누출을 포함할 수 있다. 비정상 체액 누출은 수술 절차 동안 캡처된 수술 비디오 푸티지 내에서 비정상 체액 누출 이벤트를 검출하도록 트레이닝된 대응하는 머신 러닝 모델에 의해 검출될 수 있다. 수술 기구를 검출하기 위한 머신 러닝 모델(예컨대, 제1 머신 러닝 모델)은 해부학적 구조를 검출하기 위한 머신 러닝 모델(예컨대, 제2 머신 러닝 모델)과 상이하게 구성 및/또는 트레이닝될 수 있고, 그리고 비정상 누출을 검출하기 위해 머신 러닝 모델(예컨대, 제3 머신 러닝 모델)과 상이하게 구성 및/또는 트레이닝될 수 있이 주목되어야 한다. 추가로, 제2 머신 러닝 모델은 제3 머신 러닝 모델과 다르게 구성 및/또는 트레이닝될 수 있다. 다양한 실시예에서, 머신 러닝 모델을 구성하는 것은 머신 러닝 모델의 임의의 적절한 파라미터를 구성하는 것(예컨대, 선택하는 것)을 포함할 수 있다. 예컨대, 머신 러닝 모델이 뉴럴 네트워크인 경우, 뉴럴 네트워크를 구성하는 것은 뉴럴 네트워크에 대한 다수의 계층, 각각의 계층에 대한 다수의 노드, 뉴럴 네트워크의 가중치, 또는 뉴럴 네트워크의 임의의 다른 적절한 파라미터를 선택하는 것을 포함할 수 있다.
개시된 실시예의 양상은 액세스된 프레임을 분석하고, 그리고 이력 데이터로부터 획득된 정보에 기반하여, 액세스된 프레임에서 적어도 하나의 특정 수술중 이벤트를 식별하는 것을 포함할 수 있다. 이전에 설명된 바와 같이 그리고 다양한 실시예에 따라, 액세스된 프레임을 분석하는 프로세스는, 개시된 실시예에 따라, 위에서 설명된 바와 같이, 이미지 인식 알고리즘과 같은 적절한 머신 러닝 모델에 의해 수행될 수 있다. 다양한 실시예에서, 이전에 설명된 바와 같이, 이력 데이터로부터 획득된 정보는 수술 푸티지의 액세스된 프레임에 기반하여 특정 수술중 이벤트를 인식하도록 이미지 인식 알고리즘을 트레이닝시키는 데 사용될 수 있다. 일 예에서, 이력 데이터는 (예컨대, 위에서 설명된 바와 같이) 이력 수술 절차로부터의 정보 및/또는 비디오 푸티지의 분석에 기반하여 통계 모델 및/또는 머신 러닝 모델을 포함할 수 있으며, 통계 모델 및/또는 머신 러닝 모델은 액세스된 프레임을 분석하고 액세스된 프레임에서 적어도 하나의 특정 수술중 이벤트를 식별하는 데 사용될 수 있다.
본 개시내용의 양상은, 이력 데이터 및 식별된 적어도 하나의 수술중 이벤트로부터 획득된 정보에 기반하여, 특정 수술 절차와 연관된 예측된 결과를 결정하는 것을 포함할 수 있다. 예컨대, 데이터 구조는 수술중 이벤트와 예측된 결과 간의 관계를 표현하는 이력 데이터를 포함할 수 있다. 그러한 데이터 구조는 특정 수술 절차와 연관된 예측된 결과를 획득하기 위해 사용될 수 있다. 예컨대, 도 32a는 연결(n11-n32)을 사용하여 가능한 결과(C1-C3)에 연결된 수술중 이벤트(E1-E3)의 예시적인 그래프(3200)를 도시한다. 예시적인 실시예에서, 연결(n11)은 결과(C1)의 확률을 표시하는 정보(즉, 이벤트(E1)를 포함하는 수술 절차에서 결과(C1)가 얼마나 자주 발생하는지를 표시하는 정보)를 포함할 수 있다. 예컨대, 연결(n11)은 수술중 이벤트(E1)의 발생이 정해지면, 결과(C1)가 30% 의 시간을 발생시킬 수 있음을 표시할 수 있고, 연결(n12)은 결과(C2)가 50%의 시간을 발생시킬 수 있음을 표시할 수 있고, 그리고 연결(n13)은 결과(C3)가 20%의 시간을 발생시킬 수 있음을 표시할 수 있다. 유사하게, 연결(n22)는 수술중 이벤트(E2)의 발생이 정해지면, 결과(C2)의 확률을 표시할 수 있고, 연결(n23)은 수술중 이벤트(E2)의 발생이 정해지면 결과(C3)의 확률을 표시할 수 있다. 연결(n32)은 수술중 이벤트(E3)의 발생이 정해지면, 결과(C2)의 확률을 표시할 수 있다. 따라서, 일단 이력 데이터로부터 획득된 정보를 사용하여 (예컨대, 그래프(C100)로부터의 정보를 사용하여) 수술중 이벤트가 알려지면, 연결(n11-n13)에 할당된 확률에 기반하여 가장 가능성 있는 결과(예컨대, 결과(C2))가 결정될 수 있다. 다른 예에서, 이력 정보는 하이퍼 그래프를 포함할 수 있고, 하이퍼 그래프의 하이퍼 에지는 복수의 수술중 이벤트를 결과와 연결할 수 있고, 복수의 이벤트를 포함하는 수술 절차에서 결과의 특정 확률을 표시할 수 있다. 따라서, 일단 복수의 수술중 이벤트가 알려지면, (예컨대, 하이퍼 그래프로부터) 이력 데이터로부터 획득된 정보를 사용하여, 가장 가능성있는 결과가 하이퍼 에지에 할당된 확률에 기반하여 결정될 수 있다. 일부 예에서, 그래프(C100)의 에지에 또는 하이퍼 그래프의 하이퍼 에지에 할당된 확률은, 예컨대 특정 에지 또는 특정 하이퍼 에지에 대응하는 특정 수술중 이벤트 그룹을 포함하는 이력 수술 절차의 그룹에서 결과의 통계적 확률을 계산함으로써, 이력 수술 절차의 분석에 기반할 수 있다. 일부 다른 예에서, 이력 정보는 수술중 이벤트에 기반하여 결과를 예측하기 위한 트레이닝된 머신 러닝 모델을 포함할 수 있고, 트레이닝된 머신 러닝 모델은 식별된 적어도 하나의 수술중 이벤트 절차에 기반하여 특정 수술 절차와 연관된 결과를 예측하는 데 사용될 수 있다. 일 예에서, 트레이닝된 머신 러닝 모델은 트레이닝 예를 사용하여 머신 러닝 알고리즘을 트레이닝함으로써 획득될 수 있고, 트레이닝 예는 이력 수술 절차에 기반할 수 있다. 그러한 트레이닝 예시의 일 예는 수술중 수술 이벤트의 리스트에 대응하는 결과를 표시하는 라벨과 함께 수술중 수술 이벤트의 리스트를 포함할 수 있다. 일 예에서, 2개의 트레이닝 예는 수술중 수술 이벤트의 동일한 리스트를 가질 수 있는 한편, 상이한 결과를 표시하는 상이한 라벨을 가질 수 있다.
일부 경우에서, 예측된 결과는 수술 절차에 후속하는 특정 예측된 이벤트일 수 있다. 예컨대, 예측된 결과는 퇴원후 사고, 퇴원후 부작용 이벤트, 퇴원후 합병증, 또는 재입원의 위험의 추정일 수 있다. 일부 경우에서, 예측된 결과는 한 세트의 이벤트일 수 있다. 예컨대, 그러한 한 세트의 이벤트는 환자의 "웰빙(well-being)"이 평가되는 이벤트를 포함할 수 있다. 환자의 "웰빙"이 평가될 때, 이러한 이벤트는 특정 시점(예컨대, 수술 절차 다음날의 특정 시간, 수술 절차 다음의 특정 날, 수술 절차 다음의 특정 주, 월, 년 또는 다른 시간 간격)에서 발생할 수 있다. "웰빙"은, 임의의 적절한 객관적인 조치(objective measure)를 사용하여 이를테면, 예컨대, 이미징, 이를테면, CAT 스캔, 초음파 이미징, 시각적 검사, 신체 검사 동안 결정될 수 있는 합병증의 존재, 또는 임의의 다른 적절한 방식 또는 (예컨대, 혈액 검사를 통해) 환자의 웰빙을 평가하기 위한 검사를 사용하여 평가될 수 있다. 웰빙은 또한, 이를테면 환자에게 자신의 전체 상태를 설명하도록 요청함으로써 주관적인 조치로부터 결정될 수 있다.
결정된 수술중 이벤트에 기반하여 수술 절차와 연관된 예측된 결과의 결정은 통계적 분석을 사용하여 달성될 수 있다. 예컨대, 수술중 이벤트를 보유하는 과거(또한, 이력으로 지칭됨) 수술 절차에 대한 이력 수술 데이터는, 그러한 과거 수술 절차에 대한 이력 결과를 결정하기 위해 분석될 수 있다. 예컨대, 정해진 타입의 이력 수술 절차에 대해, 도 32b에 도시된 바와 같이, 수술 결과 통계가 수집될 수 있다. 예컨대, 막대(bar)(3211A-3217A)에 의해 표현된 확률 분포(3201A)(또한, 본 명세서에서 확률 바로 지칭됨)는 수술중 이벤트가 존재하지 않을 때(예컨대, 수술중 이벤트, 이를테면, 출혈, 심정지 또는 임의의 다른 부작용 이벤트가 존재하지 않을 때) 대응하는 결과(C1-C4)의 확률을 결정할 수 있다. 유사하게, 확률 막대(3211B-3217B)에 의해 표현되는 확률 분포(3201B)는 수술중 이벤트(예컨대, 부작용 수술중 이벤트)가 존재할 때 대응하는 결과(C1-C4)의 확률을 결정할 수 있다. 예시적인 실시예에서, 결과(C1)는 특정 퇴원후 사고(예컨대, 거즈와 같은 이물질이 환자의 신체에 남음)에 대응할 수 있고, 결과(C2)는 특정 퇴원후 부작용 이벤트(예컨대, 출혈, 고통, 메스꺼움, 혼돈 또는 임의의 다른 부작용 이벤트)에 대응할 수 있으며, 결과(C3)는 퇴원후 합병증(예컨대, 마비, 고통, 출혈 또는 임의의 다른 합병증)에 대응할 수 있고, 결과(C4)는 상승된 재입원 위험에 대응할 수 있다. 수술 절차를 평가하기 위해 임의의 다른 적절한 결과(예컨대, 수술 절차 후 며칠 동안 환자의 "웰빙(well-being"의 객관적인 측정치를 평가하는 결과)가 사용될 수 있음을 주목해야 한다. 예시적인 실시예에서, 확률 막대(3211A-3217A 및 3211B-3217B)의 높이는 대응하는 결과(C1-C4)의 발생 확률과 관련될 수 있다.
예시적인 실시예에서, 수술중 이벤트는, 대응하는 막대(3211A-3217A)와 상이한 높이를 갖는 막대(3211B-3217B)에 의해 도시된 바와 같이, 결과(C1-C4)의 발생 확률에 영향을 줄 수 있다. 예시적인 예에서, 수술중 이벤트가 수술 절차 동안의 심정지에 대응하면, 결과의 확률(C2)(예컨대, 혼동)에 대응하는 막대(3213B)는 수술중 이벤트가 수술 절차 동안 검출되지 않을 때의 결과의 확률(C2)에 대응하는 막대(3211B)보다 더 높을 수 있다.
일부 경우에서, 수술 절차 동안 발생할 수 있는 몇 개의 수술중 이벤트의 결정에 기반하여 수술 절차와 연관된 예측된 결과를 결정하기 위해 통계 분석이 사용될 수 있다. 예컨대, 도 33은 (위에서 설명된 바와 같이) 어떠한 부작용 수술중 이벤트도 존재하지 않을 때 결과의 확률(C1-C4)에 대응하는 확률 막대(3211A-3217A)를 갖는 확률 분포(3201A)를 도시한다. 도 33은 또한, 수술 절차 동안 존재하는 "B"로 라벨링된 제1 부작용 이벤트가 존재할 때 결과의 확률(C1-C4)에 대응하는 확률 막대(3211B-3217B)를 갖는 확률 분포(3201B)를 도시한다. 마찬가지로, 도 33은 또한, 수술 절차 동안 "C"로 라벨링된 제2 부작용 이벤트가 존재할 때 결과의 확률(C1-C4)에 대응하는 확률 막대(3211C-3217C)를 갖는 확률 분포(3201C)를 도시한다. 추가로, 이벤트 "B" 및 이벤트 "C"를 포함하는 수술 절차에 대한 통계 데이터를 사용하여, 이벤트 "B"가 이벤트 "C"의 시작 이전에 시작됨에 따라, 확률 분포(3201BC)는 결과의 확률(C1-C4)에 대응하는 막대(3211BC-3217BC)에 의해 도시된 바와 같이 결정될 수 있다.
추가적으로 또는 대안적으로, 이벤트 "B" 및 이벤트 "C"를 포함하는 수술 절차에 대한 통계 데이터를 사용하여, 이벤트 "B"가 이벤트 "C"의 시작 이후에 시작됨에 따라, 확률 분포(3201CB)는 결과의 확률(C1-C4)에 대응하는 막대(3211CB-3217CB)에 의해 도시된 바와 같이 결정될 수 있다. 이벤트 "B" 및/또는 "C"의 다양한 특성 및/또는 이의 조합에 따라 적절한 통계 데이터를 사용하여 (분포(3201B, 3201C, 3201BC, 및 3201CB) 이외의) 다른 확률 분포가 결정될 수 있음을 주목해야 한다. 예컨대, 이벤트 특성은 이벤트에 대한 시간의 지속기간, 이벤트에 대한 시작 시간, 이벤트에 대한 마무리 시간, 또는 임의의 다른 적절한 특성을 포함할 수 있다(예컨대, 이벤트가 절개이면, 이벤트 특성은 절개의 길이일 수 있고; 이벤트가 심정지이면, 이벤트 특성은 심정지 동안의 혈압 값; 또는 임의의 다른 적절한 특성일 수 있음). 확률 분포가 이벤트 특성에 의해 어떻게 영향을 받는지의 예시적인 실시예는, 3차원 직교 좌표계에서 결과의 확률(C1-C4)에 대응하는 막대(3411-3417)의 높이를 플로팅함으로써 도 34에 도시된다. 도 34에 도시된 바와 같이, 하나의 축은 결과의 확률(C1-C4)이고, 다른 축은 결과(예컨대, 결과(C1-C4))를 나타내고, 제3 축은 수술중 이벤트의 "이벤트 특성(Event Characteristic)"을 나타내며, 예컨대 절개인 수술중 이벤트에 대한 절개 길이와 같은 수치 값(본원에서 이벤트 특성 값으로 지칭됨)에 의해 표현된다. 도 34는 막대(3411-3417)에 대한 막대 높이가 이벤트 특성 값이 변함에 따라 계속해서 변할 수 있는 반면, 다른 예에서 이벤트 특성 값은 이산적일 수 있음을 도시한다. 정해진 이벤트 특성 값(예컨대, 도 34에 도시된 바와 같이 V1)에 대해, 이벤트 특성( V1)의 경우의 결과의 확률(C3)에 대응하는 예시적인 막대(예컨대, 3415)에 대한 높이 값(예컨대, H1)은, 높이 값(H1)이 값(V1)에 대해 알려지지 않은 경우, 막대(3415)에 대한 인근 높이 값을 사용하여 보간될 수 있다.
본 개시내용의 양상은 환자의 특성, 전자 의료 기록 또는 수술후 수술 리포트 중 적어도 하나에 기반하여 예측된 결과를 결정하는 것을 포함할 수 있다. 환자 특성은, 이러한 특성이 수술 절차의 예측된 결과에 영향을 줄 수 있는 정도까지, 나이, 성별, 체중, 키, 및/또는 환자를 직접적으로 또는 간접적으로 특성화하는 임의의 다른 정보(예컨대, 환자가 환자를 돌볼 수 있는 친척을 갖는지의 여부는 수술 절차의 예측된 결과에 간접적으로 영향을 미치는 특성일 수 있음)를 포함할 수 있다. 환자 특성의 일부 다른 비-제한적인 예가 위에서 설명되었다. 일 예에서, (예컨대, k-최근접 이웃 알고리즘을 사용하여, 철저한 서치 알고리즘을 사용하는 것 등을 사용하여) 특정 수술 절차와 유사한 (예컨대, 이력 데이터에서) 수술 절차를 식별하기 위해 유사성 척도가 사용될 수 있으며, 식별된 유사한 수술 절차는, 예컨대, 식별된 유사한 수술 절차의 결과의 통계적 함수(이를테면, 평균, 중앙값, 모드 등)를 계산함으로써 예측된 결과를 결정하는 데 사용될 수 있다. 유사성 척도는 환자의 특성, 전자 의료 기록, 수술후 수술 리포트, 수술 절차에서 발생된 수술중 이벤트, 수술 절차의 페이즈의 지속기간 등 중 적어도 하나에 기반할 수 있다.
전자 의료 기록(또는 임의의 다른 적절한 의료 기록, 이를테면, 종이 의료 기록)은 환자에 대한 의료 정보(예컨대, 환자에 대한 이전 수술 절차, 환자에 대한 이전 또는 현재 질환, 환자에 대한 알레르기, 환자의 부모의 질환, 환자의 동생의 질환, 환자의 정신 건강, 또는 환자에 관한 임의의 다른 의료 정보)를 보유할 수 있다. 의료 정보는 임의의 적절한 방식으로 구성될 수 있다(예컨대, 정보는 표, 링크된 리스트 또는 임의의 다른 적절한 데이터 구조를 사용하여 구성될 수 있음). 일부 경우에서, 환자와 관련된 다른(비의료) 정보(예컨대, 환자의 위치, 식이 요법, 종교, 인종, 직업, 피트니스 기록, 혼인 여부, 알코올 또는 담배 사용, 또는 이전의 약물 사용)가 전자 의료 기록에 보유(기록)될 수 있다. 다양한 실시예에서, 전자 의료 기록 내의 그러한 정보는 수술 절차에 대한 예측된 결과를 결정하는 데 사용될 수 있다.
다양한 실시예에서, 수술 절차의 결과를 결정하기 위해 수술후 수술 리포트가 추가로 사용될 수 있다. 수술후 수술 리포트는 수술 절차와 관련된 임의의 적절한 정보를 포함할 수 있다. 예컨대, 리포트는, 위에서 논의된 바와 같이, 수술 절차의 이름, 환자 특성, 환자에 대한 의료 리포트를 포함하는 환자의 병력, 위에서 논의된 바와 같이, 환자와 관련된 다른 정보, 수술 절차 동안 취해진 액션과 같은 절차적 수술 이벤트에 관한 정보뿐만 아니라, 부작용 또는 긍정적 수술 이벤트에 관한 정보를 포함하는 수술 절차 동안 발생된 수술 이벤트에 관한 정보를 포함할 수 있다. 예시적인 실시예에서, 수술 이벤트는 의사에 의해 수행되는 액션, 이를테면, 절개, 봉합술, 또는 임의의 다른 활동을 포함할 수 있다. 부작용 수술 이벤트는 수술 및 수술 절차에 대한 예측된 결과에 부정적으로 영향을 줄 수 있는 임의의 이벤트, 이를테면, 출혈, 조직의 파열, 혈전, 심정지 또는 임의의 다른 부작용 수술 결과를 포함할 수 있다. 긍정적 수술 이벤트는 수술 절차의 적어도 일부 단계가 필요하지 않을 수 있다는 결정을 포함할 수 있다. 예컨대, 수술 절차 동안, 환자가 종양을 갖지 않는다는 것으로 결정되면, 종양의 제거가 필요하지 않을 수 있다. 다양한 실시예에서, 수술후 수술 리포트 내의 정보는 수술 절차를 묘사하는 수술 푸티지, 오디오 데이터, 텍스트 데이터, 또는 수술 절차 전에, 그 동안 또는 그 후에 기록된 임의의 다른 적절한 데이터를 포함할 수 있다.
다양한 실시예에서, 환자의 특성, 전자 의료 기록, 또는 수술후 수술 리포트 중 적어도 하나에 기반하여 예측된 결과를 결정하는 것은, 환자 특성, 전자 의료 기록에서 발견된 병력 데이터, 또는 수술후 수술 리포트에 설명된 다양한 이벤트 및 이벤트 특성과 같은 다양한 파라미터에 기반하여 이력 수술 결과를 분석함으로써 달성될 수 있다.
다양한 실시예에서, 예측된 결과를 결정하는 것은, 수술중 이벤트에 기반하여 특정 수술 절차와 연관된 예측된 결과를 결정하도록 트레이닝된 머신 러닝 모델 (또한, 본원에서 이벤트 기반 머신 러닝 모델로 지칭됨)을 사용하는 것을 포함할 수 있다. 추가적으로, 이벤트 기반 머신 러닝 방법은 환자 특성, 환자의 병력, 수술 절차를 관리하는 하나 이상의 의료 서비스 전문가의 특성과 같은(수술중 이벤트 외에도) 다양한 다른 파라미터 또는 임의의 다른 적절한 파라미터에 기반하여 수술 결과를 예측하도록 트레이닝될 수 있다.
도 35a는 입력(3510)을 취하고 수술 절차(3515)에 대한 예측된 결과를 출력하는 예시적인 이벤트 기반 머신 러닝 모델(3513)을 도시한다. 입력(3510)은 도 35b에 도시된 바와 같이, 입력 파라미터(3523), 이를테면 이전에 논의된 바와 같은 의료 기록으로부터의 정보 및 환자 특성을 포함할 수 있다. 추가로, 입력(3510)은 도 35b에 도시된 바와 같이, 이벤트 데이터(3521)를 포함할 수 있는 수술후 수술 보고로부터의 정보를 포함할 수 있다. 예시적인 실시예에서, 이벤트 데이터(3521)는 이벤트(예컨대, 이벤트(E1-EN))의 리스트, 및 이벤트(E1-EN)에 대응하는 수술 푸티지 세그먼트(V1-VN)를 포함할 수 있다. 추가로, 도 35b의 데이터(3521)는 이벤트 시작 시간(T1A-TNA) 및 마무리 시간(T1B-TNB)을 포함할 수 있다. 수술 푸티지(예컨대, V1)는 이벤트(예컨대, E1)에 대응하는 수술 절차의 한 세트의 프레임일 수 있다. 예시적인 실시예에서, 예시적인 수술 절차에 대해, 이벤트(E1)는 T1A 및 T1B가 거의 동일한 시간일 수 있는 짧은 이벤트(예컨대, 절개)일 수 있고; 이벤트(E2)는 T2A가 봉합술이 시작된 시간이고 T2B가 봉합술이 종료된 시간인 연장된 시간(예컨대, 봉합술)일 수 있고; 그리고 이벤트(EN)는 대응하는 시작 시간(TNA) 및 마무리 시간(TNB)을 갖는 마취를 역전시키기 위해 약제를 투여하는 프로세스일 수 있다.
다양한 실시예에서, 이벤트 기반 머신 러닝 방법은, 예컨대 위에서 설명된 바와 같이, 트레이닝 예를 사용하여 트레이닝될 수 있다. 예컨대, 트레이닝 예는 이력 데이터에 기반할 수 있다. 다른 예에서, 트레이닝 예는 결과를 표시하는 라벨과 함께 (예컨대, 위에서 설명된 바와 같이) 수술 절차에 관련된 정보를 포함할 수 있다.
개시된 실시예의 양상은, 식별된 수술중 이벤트 및 환자의 식별된 특성에 기반하여 수술 결과를 예측하기 위해, 트레이닝된 머신 러닝 모델을 사용하여 예측된 결과를 결정하는 것을 포함할 수 있다. 예컨대, 수술중 이벤트는 "절개"일 수 있고, 환자의 식별된 특성 중 하나는 "65세 여성"일 수 있다. 예시적인 실시예에서, 식별된 수술중 이벤트 및 환자의 하나 이상의 식별된 특성은 트레이닝된 머신 러닝 모델에 대한 입력 데이터로서 사용될 수 있다. 예컨대, 입력 데이터는 도 35b에 도시된 바와 같이 입력(3510)일 수 있다. 일부 경우에서, 식별된 수술중 이벤트 및 환자의 식별된 특성 외에도, 트레이닝된 머신 러닝 모델에 대한 추가적인 입력 데이터는 의료 서비스 전문가 데이터, 환자 의료 데이터, 및 수술 절차의 결과에 영향을 미치는 임의의 다른 적절한 데이터를 포함할 수 있다. 이벤트 기반 모델은, 예컨대, 이력 이벤트를 포함할 수 있거나 또는 그에 기반할 수 있는 다양한 트레이닝 데이터를 사용하여, 위에서 설명된 바와 같이 트레이닝될 수 있다. 위에서 설명된 바와 같이, 개시된 실시예는 수술 결과를 예측하기 위해 트레이닝된 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 다양한 실시예에서, 예측된 수술 결과는, 예컨대, 도 33에 도시된 바와 같이 플롯(3201A)에 의해 도시된 바와 같이, 상이한 세트의 결과에 대한 확률의 분포일 수 있다.
퇴원후 위험을 예측하기 위한 실시예의 양상은 또한, 환자의 특성을 식별하는 것, 및 식별된 환자 특성에 기반하여 수술 절차와 연관된 예측된 결과를 결정하는 것을 포함할 수 있다. 식별된 환자 특성에 기반하여 수술 절차와 연관된 예측된 결과는, 예컨대, 도 35a에 도시된 바와 같이 모델(3513)과 같은 적절한 머신 러닝 모델을 사용하여 결정될 수 있다.
일부 실시예에서, 식별된 환자 특성은 수술전 환자 데이터(예컨대, 수술전 혈액 검사 값, 수술전 바이탈 징후, 또는 임의의 다른 수술전 특성)에 기반할 수 있다. 추가적으로 또는 대안적으로, 식별된 환자 특성은 수술후 환자 데이터(예컨대, 수술후 혈액 검사 값, 수술후 바이탈 징후, 수술후 체중, 또는 임의의 다른 수술후 특성)에 기반할 수 있다.
다양한 실시예에서, 환자 특성을 식별하는 것은 수술 푸티지의 프레임을 분석하기 위해 머신 러닝 모델을 사용하는 것을 포함할 수 있다. 예시적인 머신 러닝 모델은, 이전에 설명된 바와 같이, 수술 절차 동안 캡처된 수술 비디오 푸티지의 프레임 내의 특징을 인식하기 위한 이미지 인식 알고리즘일 수 있다. 예컨대, 이미지 인식 알고리즘은 특징, 이를테면, 수술되고 있는 해부학적 구조의 크기, 환자의 사이즈, 환자의 추정된 나이, 환자의 성별, 환자의 인종, 또는 환자와 관련된 임의의 다른 특성을 인식하는 데 사용될 수 있다. 환자 특성을 식별하기 위한 머신 러닝 모델은, 예컨대, 위에서 설명된 바와 같이, 이력 수술 절차(관련된 이력 수술 비디오 푸티지를 포함) 및 대응하는 이력 환자 특성의 트레이닝 예를 사용하여 환자 특성을 식별하도록 트레이닝될 수 있다. 환자 특성을 식별하기 위한 머신 러닝 방법의 트레이닝은 위에서 설명된 바와 같이 임의의 적절한 접근법을 사용할 수 있다. 다양한 실시예에서, 머신 러닝 방법을 트레이닝하는 것은, 이력 수술 푸티지에 대응하는 출력된 하나 이상의 환자 특성에 기반하여 라벨을 갖는 이력 수술 푸티지에 기반하여 트레이닝 예를 사용할 수 있다.
추가적으로 또는 대안적으로, 환자 특성을 식별하는 것은 전자 의료 기록으로부터 도출될 수 있다. 예컨대, 전자 의료 기록은 적절한 컴퓨터 기반 소프트웨어 애플리케이션을 사용하여 판독될(또는 파싱될(parsed)) 수 있고, 환자 특성은 판독된(파싱된) 데이터로부터 식별될 수 있다. 예컨대, 전자적 기록이 "제임스는 폐 질환이 있는 65세의 코카서스인 남성이다"를 포함하면, 컴퓨터 기반 소프트웨어 애플리케이션은 "나이: 65", "이름: 제임스", "성별:남성", "의학적 상태: 폐 질환" 및/또는 "인종: 코카서스인"과 같은 예시적인 기록에 의해 표현되는 환자 특성을 식별할 수 있다.
퇴원후 위험을 예측하기 위한 실시예의 양상은 또한, 수술 절차에 후속하는 실현된 수술 결과를 식별하는 정보(또한, 본원에서 수술후 정보로 지칭됨)를 수신하는 것, 및 수신된 정보를 사용하여 머신 러닝 모델을 트레이닝시킴으로써 머신 러닝 모델을 업데이트하는 것을 포함할 수 있다. 예컨대, 온라인 머신 러닝 알고리즘 및/또는 강화 머신 러닝 알고리즘은 수신된 정보에 기반하여 머신 러닝 모델을 업데이트하는 데 사용될 수 있다. 예시적인 실시예에서, 수술후 정보를 수신하는 것은 수술 절차 후에 신체적 조사 동안 시각적 또는 오디오 데이터를 수신하는 것, 수술 절차 후에 실험실 결과(예컨대, 혈액 검사 결과, 소변 결과, 의료 이미징 데이터, 또는 임의의 다른 적절한 검사)를 수신하는 것, 환자의 바이탈 징후(예컨대, 환자의 맥박, 환자의 혈압, 또는 임의의 다른 바이탈 징후)와 관련된 데이터를 수신하는 것, 및/또는 의료 서비스 제공자(예컨대, 환자의 신체적 조사를 실시하는 닥터)로부터 노트를 수신하는 것을 포함할 수 있다. 일부 경우에서, 수신된 수술후 정보는 실현된 수술 결과를 결정하는 데 사용될 수 있다. 예컨대, 수신된 정보는 의료 서비스 제공자(예컨대, 닥터)에 의해 분석될 수 있고, 닥터는 실현된 수술 결과를 식별할 수 있다(예컨대, 실현된 수술 결과는 환자가 어떠한 더 많은 의료 개입도 요구하지 않는다는 닥터에 의한 결정을 포함할 수 있음). 대안적으로, 수신된 수술후 정보는 실현된 수술 결과를 결정하기 위해 적절한 결과 결정 머신 러닝 모델에 의해 사용될 수 있다. 다양한 실시예에서, 수술후 정보를 입력으로서 취하는 결과 결정 머신 러닝 모델은, 수술 절차 동안 획득된 정보 및 다른 관련 정보, 이를테면 위에서 설명된 바와 같이, 의료 서비스 제공자 특성, 또는 환자의 병력에 기반하여 수술의 결과를 예측하기 위한 머신 러닝 모델과 상이할 수 있다.
다양한 실시예에서, 수신된 정보는 실현된 수술 결과를 결정하는 데 사용될 수 있고, 식별된 수술중 이벤트 및 식별된 환자 특성에 기반하여 수술 결과를 예측하기 위한 머신 러닝 모델은, 실현된 수술 결과를 식별하는 수신된 정보를 사용하여 머신 러닝 방법을 트레이닝시킴으로써 업데이트될 수 있다. 머신 러닝 방법의 트레이닝은 위에서 설명된 바와 같이 임의의 적절한 접근법이 사용될 수 있다.
일부 실시예에서, 수술 결과를 예측하기 위한 머신 러닝 모델의 출력은 예측된 결과의 확률일 수 있다. 일부 경우에서, 모델은, 모델에 의해 출력되는 확률을 이력 수술 절차의 이력 수술 데이터(예컨대, 이력 수술 푸티지 데이터)로부터 추론되는 예측된 결과의 대응하는 확률과 비교함으로써 트레이닝될 수 있다. 예컨대, 다양한 이력 수술 데이터를 사용하여, 정해진 타입의 수술 절차에 대한 수술 절차의 정해진 결과의 이력 확률이 획득될 수 있다. 일부 경우에서, 이력 편차(즉, 이력 수술 절차와 수술 절차에 대해 추천된 이벤트 시퀀스 간의 편차)는 이력 편차가 정해진 결과의 이력 확률의 변화에 어떻게 영향을 미치는지를 결정하는 데 사용될 수 있다.
방법의 에러를 결정하기 위해, 이력 확률 값은 머신 러닝 방법에 의해 리턴된 확률 값과 비교될 수 있다. 다양한 실시예에서, 머신 러닝 방법에 의해 리턴된 예측된 결과가 확률 또는 확률 벡터이면, 적절한 척도는 확률과 이력 확률 간의 차이 또는 확률 벡터와 이력 확률 벡터 간의 차이일 수 있다. 예컨대, 확률 벡터는 한 세트의 이벤트에 대한 예측된 결과의 확률을 결정하기 위해 사용될 수 있다. 예컨대, 한 세트의 예측된 결과가 예시적인 결과(C1-C4)를 포함하면, 이를테면, "C1: 마비됨", "C2: 3달 내에 사망", "C3: 2주 내에 수혈이 필요함", "C4: 의료 개입을 필요로 하지 않음"이면, 결과 벡터{C1, C2, C3, C4}에 대한 확률 벡터는 {p1, p2, p3, p4}일 수 있는데, p1-p4는 결과(C1-C4)의 확률을 표시한다.
퇴원후 위험을 예측하기 위한 실시예의 양상은 또한, 예측된 결과를 환자와 연관시키는 방식으로 예측된 결과를 출력하는 것을 포함할 수 있다. 일부 실시예에서, 출력 프로세스는 예측된 결과를 수신 당사자에게 송신하는 것을 포함할 수 있다. 수신 당사자는 하나 이상의 의료 서비스 전문가, 환자, 가족 구성원, 또는 임의의 다른 사람, 조직, 또는 데이터 저장부를 포함할 수 있다. 송신 프로세스는 임의의 적절한 전자적 접근법을 사용하여(예컨대, 위에서 설명된 바와 같이, 유선 또는 무선 통신을 사용하여) 정보를 임의의 적절한 전자적 디바이스에 송신하는 것을 포함할 수 있다. 예컨대, 예측된 결과를 송신하는 것은, 예측된 결과를 의료 서비스 제공자와 연관된 데이터 수신 디바이스(예컨대, 랩탑, 스마트폰 또는 임의의 다른 적절한 전자적 디바이스)에 송신하는 것을 포함할 수 있다. 일부 경우에서, 정보를 송신하는 것은 예측된 결과를 상세히 설명하는 문서의 물리적 카피(예컨대, 종이 카피, CD-ROM, 하드 드라이브, DVD, USB 드라이브, 또는 임의의 다른 전자적 저장 디바이스)를 우편 발송(또는 직접 전달)하는 것을 수반할 수 있다. 추가적으로 또는 대안적으로, 예측된 결과를 송신하는 것은 예측된 결과를 건강 보험 제공자 또는 의료 과실 보험업자 중 적어도 하나에 송신하는 것을 포함할 수 있다.
다양한 실시예에서, 예측된 결과를 출력하는 것은 예측된 결과를 환자와 연관시키는 방식으로 수행될 수 있다. 예컨대, 환자의 이름 및/또는 환자에 관한 임의의 다른 적절한 정보는 예측된 결과를 설명하는 문서에 나열될 수 있다.
일부 실시예에서, 예측된 결과를 송신하는 것은 환자와 연관된 전자 의료 기록을 업데이트하는 것을 포함할 수 있다. 전자 의료 기록을 업데이트하는 프로세스는 전자 의료 기록 내의 임의의 적합한 데이터를 대체 또는 수정하는 것을 포함할 수 있다. 예컨대, 의료 기록을 업데이트하는 것은 예측된 결과를 "2주간의 물리 치료 후에 손과 발을 사용할 것으로 예상됨"으로부터 "환자의 나머지 수명 동안 마비될 것으로 예상됨"으로 변경하는 것을 포함할 수 있다.
본 개시내용의 양상은 추천된 수술 이벤트 시퀀스를 보유하는 데이터 구조에 액세스하는 것, 및 데이터 구조에서 식별된 수술 절차에 대한 추천된 이벤트된 시퀀스와 액세스된 프레임에서 검출된 실제 이벤트 시퀀스 간의 편차의 식별에 기반하여 적어도 하나의 특정 수술중 이벤트를 식별하는 것을 포함할 수 있다. 데이터 구조에 액세스하는 프로세스는 본 개시내용에서 논의된 바와 같이, 편차를 식별하도록 구성된 임의의 적절한 알고리즘 및/또는 머신 러닝 모델에 의해 수행될 수 있다. 예컨대, 머신 러닝 모델은, 데이터 구조에 액세스하고 그리고 수술 동안 수행되는 실제 이벤트와 수술 이벤트의 추천된 시퀀스 간의 편차를 출력하기 위해 사용될 수 있다. 예컨대, 실제 절개 이벤트 동안, 절개 길이가 대응하는 추천된 이벤트에 의해 설명된 절개보다 짧으면, 그러한 편차는 머신 러닝 방법에 의해 식별될 수 있다. 추천된 수술 이벤트의 시퀀스를 보유하는 데이터 구조는 개시된 실시예에 따라, 본원에서 설명된 임의의 적절한 데이터 구조일 수 있다. 예컨대, 데이터 구조는 하나 이상의 데이터베이스 표를 갖는 관계 데이터베이스일 수 있다. 데이터 구조는 추천된 이벤트 시퀀스를 보유할 수 있고, 그리고 이벤트의 이름, 이벤트에 대응하는 이미지, 이벤트와 관련된 비디오 데이터, 또는 이벤트를 설명할 수 있는 임의의 다른 적절한 데이터를 포함할 수 있다. 데이터 구조는 시퀀스 내의 이벤트의 순서와 연관된 수를 각각의 이벤트에 할당함으로써 추천된 이벤트 시퀀스를 정의할 수 있다.
다양한 실시예에서, 수술 절차에 대한 추천된 이벤트 시퀀스와 실제 이벤트 시퀀스 간의 편차를 식별하는 것은, 예컨대, 도 26-도 28과 관련하여 설명되고 그리고 이러한 도면에 대한 설명과 관련된 바와 같이 본 개시내용에서 논의된 다양한 접근법을 포함할 수 있다. 예시적인 실시예에서, 수술 절차의 이벤트는 이전에 설명된 바와 같이 수술 절차의 수술 푸티지를 분석함으로써 식별될 수 있다. 수술 절차와 추천된 이벤트 시퀀스 간의 편차를 식별하는 것은, 본 개시내용에서 설명된 바와 같이, 머신 러닝 접근법을 활용하는 것을 포함할 수 있다. 편차의 식별에 기반하여 적어도 하나의 특정 수술중 이벤트를 식별하는 것은, 수술 절차에 대한 추천된 이벤트 시퀀스로부터 벗어난, 액세스된 프레임에서 검출된 적어도 하나의 실제 이벤트를 식별하는 것을 포함할 수 있고, 그러한 식별은 편차를 식별하기 위한 머신 러닝 방법에 의해 수행될 수 있다.
편차 기반 모델은 이력 편차를 포함하는 다양한 트레이닝 데이터를 사용하여 트레이닝될 수 있다. 예시적인 실시예에서, 비이력 편차(ahistorical deviation)는, 정해진 타입의 예시적인 이력 수술 절차(예컨대, 기관지경 검사(bronchoscopy))의 이력 이벤트 시퀀스에 대한 편차 및 동일한 타입의 수술 절차에 대한 대응하는 추천된 이벤트 시퀀스를 평가함으로써 결정될 수 있다. 편차 기반 모델은, 예컨대 위에서 설명된 바와 같이, 임의의 적절한 트레이닝 프로세스를 사용하여 트레이닝될 수 있다.
다양한 실시예에서, 편차를 식별하는 것은, 이력 수술 비디오 푸티지, 이력의 추천된 이벤트 시퀀스, 및 이력 비디오 푸티지에서의 이력의 추천된 이벤트 시퀀스로부터의 편차를 식별하는 정보에 기반하여, 추천된 이벤트 시퀀스로부터의 편차를 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함한다. 이력 수술 비디오 푸티지에 기반하여 편차를 식별하기 위해 머신 러닝 방법을 사용하는 것, 및 이력의 추천된 이벤트 시퀀스가 본원에서 설명되며, 간결성을 위해 반복되지 않는다.
다양한 실시예에서, 편차를 식별하는 것은, 수술 절차의 프레임(예컨대, 위에서 논의된 바와 같이, 프레임 내의 정보를 분석하기 위해 임의의 적절한 컴퓨터 기반 소프트웨어 애플리케이션 또는 의료 서비스 전문가에 의해 액세스되는 프레임)을 추천된 이벤트 시퀀스를 묘사하는 기준 프레임과 비교하는 것을 포함한다. 이전에 설명된 바와 같이, 기준 프레임은 이력 수술 절차 동안 캡처된 이력 프레임일 수 있다. 예시적인 실시예에서, 이벤트의 필수 시퀀스를 묘사하는 비디오 프레임 및 기준 프레임은, 이벤트의 필수 (또는 추천된) 시퀀스의 대응하는 시작 이벤트와 동일할 수 있는(또는 실질적으로 유사한) 이벤트(또한 본원에서 시작 이벤트로 지칭됨)에 의해 동기화될 수 있다. 일부 경우에서, 시작 이벤트의 개시를 묘사하는 프레임은 이벤트의 필수(추천된) 시퀀스의 시작 이벤트를 묘사하는 기준 프레임과 동기화될 수 있다. 일부 경우에서, 수술 절차의 이벤트는 먼저 (예컨대, 이벤트를 인식하기 위한 이미지 인식 알고리즘을 사용하여), 위에서 설명된 임의의 적절한 접근법을 사용하여, 필수 시퀀스의 대응하는 기준 이벤트와 상관될 수 있다. 수술 이벤트를 필수 시퀀스의 대응하는 기준 이벤트와 상관시킨 후에, 수술 이벤트의 시작을 묘사하는 프레임은 대응하는 필수 이벤트의 시작을 묘사하는 기준 프레임과 동기화될 수 있다.
다양한 실시예에서, 수술 절차에 대한 추천된 이벤트 시퀀스와 특정 수술 절차 간의 편차를 식별하는 것은, 수술 푸티지의 액세스된 프레임에서 검출된 수술 도구, 액세스된 프레임에서 검출된 해부학적 구조 또는 검출된 수술 도구와 검출된 해부학적 구조 간의 상호작용 중 적어도 하나에 기반할 수 있다. 일부 경우에서, 편차를 식별하는 것은 수술 비디오 푸티지에서 검출된 비정상 체액 누출 상황에 기반할 수 있다.
예컨대, 수술 도구가 특정 해부학적 구역에 존재한다고 (예컨대, 머신 러닝 방법을 사용하여, 시각적 객체 검출기를 사용하여, 의료 서비스 전문가로부터의 표시를 사용하는 것 등을 사용하여) 결정되면, 방법은 편차가 발생된 것으로 결정할 수 있다. 일부 경우에서, 수술 도구가 존재하지 않아야 하는 수술 절차의 시간(또는 시간 인터벌) 동안 특정 해부학적 구역에 (수술 푸티지에서 식별된 바와 같이) 수술 도구가 존재하면, 방법은 편차가 발생된 것으로 결정할 수 있다. 대안적으로, 일부 경우에서, 편차를 식별하는 것은 수술 도구가 특정 해부학적 구역에 없는 것으로 결정하는 것을 포함할 수 있다. 예컨대, 수술 절차의 시간(또는 시간 인터벌) 동안, 수술 도구가 특정 해부학적 구역에 존재하지 않는다면, 방법은 편차가 발생된 것으로 결정하도록 구성될 수 있다.
일부 경우에서, 해부학적 구조가 수술 푸티지에 존재한다고 (예컨대, 머신 러닝 방법을 사용하여, 시각적 객체 검출기를 사용하여, 의료 서비스 전문가로부터의 표시를 사용하는 것 등을 사용하여) 결정될 때, 방법은 추가로, 편차가 발생된 것으로 결정될 수 있다. 예컨대, 존재하지 않아야 하는 수술 절차의 시간(또는 시간 인터벌) 동안 수술 푸티지에서 해부학적 구조가 식별되면, 방법은 편차가 발생된 것으로 결정할 수 있다. 대안적으로, 일부 경우에서, 편차를 식별하는 것은 해부학적 구조가 수술 푸티지에 존재하지 않는다고 결정하는 것을 포함할 수 있다. 예컨대, 수술 절차의 시간(또는 시간 인터벌) 동안, 해부학적 구조가 수술 푸티지에 존재하지 않는다면, 방법은 편차가 발생된 것으로 결정하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 편차를 식별하는 것은 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 것을 포함할 수 있다. 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 프로세스는, 위에서 설명된 바와 같이, 상호작용을 식별하기 위해 수술 절차의 프레임을 분석하는 것을 수반할 수 있다.
다양한 실시예에서, 수술 절차 동안 수술 도구와 해부학적 구조 간의 상호작용이 식별되고, 그러한 상호작용이 기준 수술 절차(즉, 필수(또는 추천된) 이벤트 시퀀스가 후속되는 수술 절차)에 대해 추천(또는 예상)되지 않는다면, 방법은 편차가 발생된 것으로 결정하도록 구성될 수 있다. 대안적으로, 수술 도구와 해부학적 구조 간의 상호작용이 식별되지 않고(예컨대, 수술 절차 동안 상호작용이 존재하지 않는다면), 상호작용이 기준 수술 절차에 대해 추천되면, 방법은 편차가 발생된 것으로 결정하도록 구성될 수 있다. 방법은, 수술 도구와 해부학적 구조 간의 상호작용이 수술 절차 및 기준 수술 절차 둘 모두에서 존재하는 경우(또는 부재하는 경우), 수술 절차 및 기준 수술 절차의 실질적인 편차가 없는 것으로 결정하도록 구성될 수 있다.
본 개시내용의 양상은 또한, 수술 비디오 푸티지에서 검출된 비정상 체액 누출 상황에 기반하여 편차를 식별하는 것을 수반할 수 있다. 위에서 설명된 바와 같이, 비정상 체액 누출은 출혈, 소변 누출, 담즙 누출, 림프 누출, 또는 임의의 다른 누출을 포함할 수 있고, 그리고 위에서 설명된 바와 같이 (예컨대, 대응하는 머신 러닝 모델에 의해) 검출될 수 있다. 예컨대, 존재하지 않아야 하는 수술 절차의 시간(또는 시간 인터벌) 동안 특정 해부학적 구역에 (수술 푸티지에서 식별된 바와 같이) 비정상 체액 누출이 검출되면, 방법은 편차가 발생된 것으로 결정할 수 있다. 대안적으로, 일부 경우에서, 편차를 식별하는 것은 비정상 체액 누출이 특정 해부학적 구역에 존재하지 않는다고 결정하는 것을 포함할 수 있다. 예컨대, 수술 절차의 시간(또는 시간 인터벌) 동안, 비정상 체액 누출이 특정 해부학적 구역에 존재하지 않는다면, 방법은 편차가 발생된 것으로 결정하도록 구성될 수 있다.
개시된 실시예의 양상은 액세스된 프레임(예컨대, 수술 푸티지의 프레임)에 기반하여 예측된 결과를 개선할 가능성이 있는 적어도 하나의 액션을 결정하는 것, 및 결정된 적어도 하나의 액션에 기반하여 추천을 제공하는 것을 포함할 수 있다. 다양한 실시예에서, 적어도 하나의 액션을 결정하는 것은 수술 절차의 프레임에 액세스하고 분석하기 위한 적절한 머신 러닝 방법을 사용하는 것을 포함할 수 있다. 일부 예에서, 머신 러닝 모델은 수술 절차의 현재 상태에 관련된 정보에 기반하여 수술 절차의 결과를 개선할 가능성이 있는 액션 및/또는 결과에 대한 가능성이 있는 개선을 결정하기 위해 트레이닝 예를 사용하여 트레이닝될 수 있다. 그러한 트레이닝 예시의 일 예는, 특정 수술 절차의 결과를 개선시킬 가능성이 있는 액션 및/또는 예측된 결과에 대한 가능성이 있는 개선을 표시하는 라벨과 함께, 특정 수술 절차의 상태에 관련된 정보를 포함할 수 있다. 이러한 라벨은 이력 수술 절차에 관련된 이력 데이터의 분석, 사용자 입력 등에 기반할 수 있다. 수술 절차의 현재 상태에 관련된 정보의 일부 비-제한적인 예는 수술 절차의 이미지 및/또는 비디오, 수술 절차의 이미지 및/또는 비디오의 분석에 기반한 정보, 수술 절차를 겪고 있는 환자의 특성, 수술 절차의 적어도 일부를 수행하는 의료 서비스 전문가의 특성, 수술 절차에서 사용되는 의료 기구의 특성, 수술 절차에 관련된 수술실의 특성, 수술 절차에서 발생된 수술중 이벤트, 현재 시간, 수술 절차에서의 수술 페이즈의 지속기간 등을 포함할 수 있다. 추가로, 일부 예에서, 트레이닝된 머신 러닝 모델은 수술 절차의 현재 상태에 관련된 정보를 분석하고, 예측된 결과 및/또는 예측된 결과에 대한 가능성이 있는 개선을 개선할 가능성이 있는 적어도 하나의 액션을 결정하는 데 사용될 수 있다.
개시된 실시예의 양상은 특정 액션이 수행되기 전에 추천을 제공하는 것을 포함할 수 있다. 추천은 본원에서 설명되는 바와 같이 그리고 개시된 실시예에 따라 임의의 적절한 전자적 통지일 수 있다. 대안적으로, 추천은 임의의 적절한 사운드 신호, 시각 신호, 또는 의료 서비스 전문가(예컨대, 수술 절차를 관리하는 의사)에게 송신될 수 있는 임의의 다른 신호(예컨대, 진동과 같은 촉각 신호)일 수 있다.
다양한 개시된 실시예는, 결정된 적어도 하나의 액션으로 인한 예측된 결과에 대한 가능성이 있는 개선이 선택된 임계치 미만일 때, 추천을 제공하는 것을 보류하는 것을 포함할 수 있다. 예컨대, 개선 가능성이 50% 미만이면, 추천이 제공되지 않을 수 있다. 일부 경우에서, 제1 예측된 결과의 개선은 불리한 제2 예측된 결과에 의해 상쇄될 수 있고, 제1 예측된 결과를 개선하기 위한 추천은 제공되지 않을 수 있다. 예컨대, 제1 예측된 결과가 "환자에 대한 발진을 제거"하는 것으로 식별되고 제2 예측된 결과가 "심정지"로서 식별되면, 제1 예측된 결과의 개선의 가능성이 충분히 높은 경우일지라도 (예컨대, 환자에 대한 발진을 제거할 가능성이 99%임), "심정지"의 제2 결과가 가능하기 때문에 (제2 결과의 가능성이 작더라도, 예컨대, 1%이라도), 추천이 제공되지 않을 수 있다. 따라서, 추천을 제공하도록 선택하는 것 또는 추천을 제공하는 것을 보류하는 것은 하나 이상의 예측된 결과에 기반할 수 있다. 추가로, 선택된 임계치는 하나 이상의 선택된 결과에 기반할 수 있다. 예컨대, 제1 결과가 사람이 다음 20년 동안 생명의 가능성을 가질 수 있는 능력이고, 제2 불리한 결과가 심정지인 경우, 심정지의 가능성이 충분히 낮을 때(예컨대, 30% 미만), 추천이 여전히 제공될 수 있다. 일부 경우에서, 임계치는 환자의 특성에 기반하여 선택될 수 있다. 예컨대, 환자가 과체중이면, 비만 수술을 위한 추천을 제공하는 것을 보류하기 위해, 선택된 임계치는 더 적은 과체중인 사람에 대한 동일한 임계치와 비교하여 낮아질 수 있다. 일부 경우에서, 예측된 결과를 개선하기 위한 적어도 하나의 액션을 결정하는 것은 추가로 환자의 특성에 기반할 수 있다. 예컨대, 환자가 고령자인 경우, 우회 절차는 추천되지 않을 수 있는 반면, 그러한 절차는 더 어린 사람에게 추천될 수 있다.
퇴원후 위험을 예측하기 위한 실시예의 양상은 프로세스(3601)에 의해 도 36에 예시된다. 단계(3611)에서, 프로세스(3601)는 임의의 적절한 수단을 사용하여 환자에 대한 특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것을 포함할 수 있다. 예컨대, 액세스하는 것은 유선 또는 무선 네트워크를 통해, 머신 러닝 모델을 통해, 또는 데이터의 판독/기록을 허용하기 위한 임의의 다른 수단을 통해 발생할 수 있다. 일부 경우에서, 프레임에 액세스하는 것은 의료 서비스 전문가에 의한 액세스를 포함할 수 있다. 그러한 경우에서, 의료 서비스 전문가는 프레임에 액세스하기 위해 입력 디바이스(예컨대, 키보드, 마우스 또는 임의의 다른 입력 디바이스)를 사용할 수 있다.
단계(3613)에서, 프로세스(3601)는 위에서 설명된 바와 같이, 수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것을 포함할 수 있다. 단계(3615)에서, 프로세스(3601)는 액세스된 프레임(예컨대, 수술용 푸티지의 프레임)을 분석하는 것을 포함할 수 있고, 그리고 이력 데이터로부터 획득된 정보에 기반하여, 액세스된 프레임에서 적어도 하나의 특정 수술중 이벤트를 식별할 수 있다. 액세스된 프레임을 분석하고 액세스된 프레임에서 특정 수술중 이벤트를 식별하는 프로세스는 위에서 설명된 바와 같이 적절한 머신 러닝 모델에 의해 수행될 수 있다.
단계(3617)에서, 프로세스(3601)는, 위에서 설명된 바와 같이, 식별된 적어도 하나의 수술중 이벤트 및 이력 데이터로부터 획득된 정보에 기반하여, 특정 수술 절차와 연관된 예측된 결과를 결정하는 것을 포함할 수 있다. 프로세스(3601)는 이전에 설명된 바와 같이, 예측된 결과를 환자와 연관시키는 방식으로 예측된 결과를 출력하기 위한 단계(3619)로 종료될 수 있다.
프로세스(3601)는 단계(3611-3619)로 제한되지 않으며, 새로운 단계가 추가될 수 있거나, 또는 단계(3611-3619) 중 일부가 대체되거나 생략될 수 있다는 것을 주목해야 한다. 예컨대, 단계(3613)는 생략될 수 있다.
이전에 논의된 바와 같이, 본 개시내용은 퇴원후 위험을 예측하기 위한 방법 및 시스템뿐만 아니라, 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금 퇴원후 위험을 예측하는 것을 가능하게 하는 동작을 실행하게 하는 명령을 포함할 수 있는 비-일시적 컴퓨터-판독가능 매체에 관한 것이다.
개시된 실시예는, 적어도 하나의 프로세서에 의해 방법으로 구현되든 그리고/또는 비-일시적 컴퓨터-판독가능 매체에 실행가능한 명령을 저장되든, 다음의 항목-기호(bullet-pointed) 특징 중 임의의 하나를 단독으로 또는 하나 이상의 다른 항목-기호 특징과의 조합을 포함할 수 있다:
● 수술 절차의 적어도 하나 이상의 비디오에 액세스하는 것
● 디스플레이를 위해 적어도 하나의 비디오가 출력되게 하는 것
● 디스플레이를 위해 출력된 적어도 하나의 비디오 상에 수술 타임라인을 오버레이하는 것 ―수술 타임라인은, 수술 페이즈, 수술중 수술 이벤트, 및 의사 결정 분기점 중 적어도 하나를 식별하는 마커를 포함함―
● 의사가, 적어도 하나의 비디오의 재생을 보면서 수술 타임라인 상의 하나 이상의 마커를 선택하고, 이로써, 비디오의 디스플레이가, 선택된 마커와 연관된 위치로 스킵하게 하는 것을 가능하게 하는 것
● ―마커는 컬러 또는 임계성 레벨 중 적어도 하나에 의해 코딩되고,
● 수술 타임라인은 수술 절차의 부분을 식별하는 텍스츄얼 정보를 포함하고,
● 적어도 하나의 비디오는, 절차상 연대순으로 배열된, 복수의 수술 절차로부터의 푸티지의 편집물을 포함하고,
● 푸티지의 편집물은 복수의 수술 절차로부터의 합병증을 묘사하고,
● 하나 이상의 마커는 복수의 수술 절차와 연관되며 공통 타임라인에 디스플레이되고,
● 하나 이상의 마커는 수술 절차의 의사 결정 분기점에 대응하는 의사 결정 분기점 마커를 포함하고,
● 의사 결정 분기점 마커의 선택은, 의사가 2개 이상의 대응하는 다른 수술 절차로부터의 2개 이상의 대안적 비디오 클립을 보는 것을 가능하게 하고,
● 2개 이상의 비디오 클립은 다양한 행동방식을 제공하고,
● 하나 이상의 마커는 수술 절차의 의사 결정 분기점에 대응하는 의사 결정 분기점 마커를 포함하고,
● 의사 결정 분기점 마커의 선택은, 선택된 의사 결정 분기점 마커와 관련된 하나 이상의 대안적인 가능한 의사결정의 디스플레이를 유발하고,
● 하나 이상의 대안적인 가능한 의사결정과 연관된 하나 이상의 추정된 결과가 하나 이상의 대안적인 가능한 의사결정의 디스플레이와 함께 디스플레이되고,
● 하나 이상의 추정된 결과는, 개개의 유사한 의사 결정 분기점을 포함하는 과거 수술 절차의 복수의 비디오의 분석 결과이고,
● 개개의 유사한 과거 의사 결정 분기점에서 이루어진 과거 의사결정의 분포와 관련된 정보는 대안적인 가능한 의사결정의 디스플레이와 함께 디스플레이되고,
● 수술 절차의 의사 결정 분기점이 제1 환자와 연관되고, 개개의 유사한 과거 의사 결정 분기점이 제1 환자와 유사한 특성을 가진 환자와 연관된 과거 수술 절차로부터 선택되고,
● 수술 절차의 의사 결정 분기점은 제1 의료 전문가와 연관되고, 개개의 유사한 과거 의사 결정 분기점은 제1 의료 전문가와 유사한 특성을 갖는 의료 전문가와 연관된 과거 수술 절차로부터 선택되고,
● 수술 절차의 의사 결정 분기점은 수술 절차의 제1 이전 이벤트와 연관되고, 유사한 과거 의사 결정 분기점은 제1 이전 이벤트와 유사한 이전 이벤트를 포함하는 과거 수술 절차로부터 선택되고,
● 마커는 수술중 수술 이벤트 마커를 포함하고,
● 수술중 수술 이벤트 마커의 선택은 의사가 다양한 수술 절차로부터의 대안적 비디오 클립을 보는 것을 가능하게 하고,
● 대안적 비디오 클립은, 선택된 수술중 수술 이벤트가 다뤄진 다양한 방식을 제공하고,
● 비디오 출력 상에서의 오버레이는 디스플레이된 비디오에 묘사된 수술 절차가 끝나기 전에 디스플레이되고,
● 분석은 과거 수술 절차의 복수의 비디오와 연관된 하나 이상의 전자 의료 기록에 기반하고,
● 개개의 유사한 의사 결정 분기점은 유사성 메트릭에 따라 수술 절차의 의사 결정 분기점과 유사하고,
● 분석은 컴퓨터 비전 알고리즘의 구현의 사용을 포함하고,
● 마커는 수술중 수술 이벤트와 관련되고, 수술중 수술 이벤트 마커의 선택은 의사가 다양한 수술 절차로부터의 대안적 비디오 클립을 보는 것을 가능하게 함―
● 인덱싱될 비디오 푸티지에 액세스하는 것 ―인덱싱될 비디오 푸티지는 특정 수술 절차의 푸티지를 포함함―
● 특정 수술 절차의 수술 페이즈와 연관된 비디오 푸티지 위치를 식별하기 위해 비디오 푸티지를 분석하는 것
*● 수술 페이즈와 연관된 페이즈 태그를 생성하는 것
● 페이즈 태그를 비디오 푸티지 위치와 연관시키는 것
● 수술 페이즈 내에서 특정 수술중 수술 이벤트의 이벤트 위치를 식별하기 위해 비디오 푸티지를 분석하는 것
● 이벤트 태그를 특정 수술중 수술 이벤트의 이벤트 위치와 연관시키는 것
● 특정 수술중 수술 이벤트와 연관된 이벤트 특성을 저장하는 것
● 특정 수술 절차의 비디오 푸티지의 적어도 일부를, 다른 수술 절차의 추가적인 비디오 푸티지를 보유하는 데이터 구조에서의 페이즈 태그, 이벤트 태그 및 이벤트 특성과 연관시키는 것
● ―데이터 구조는 또한, 다른 수술 절차 중 하나 이상의 것과 연관된 개개의 페이즈 태그, 개개의 이벤트 태그, 및 개개의 이벤트 특성을 포함함―
● 사용자가, 디스플레이를 위한 비디오 푸티지의 선택된 페이즈 태그, 선택된 이벤트 태그 및 선택된 이벤트 특성의 선택을 통해 데이터 구조에 액세스하는 것을 가능하게 하는 것
● 저장된 비디오 푸티지의 매칭 서브세트를 식별하기 위해, 적어도 하나의 선택된 페이즈 태그, 선택된 이벤트 태그, 및 선택된 이벤트 특성과 매칭하는 수술 비디오 푸티지의 데이터 구조에서 검색을 수행하는 것
● 저장된 비디오 푸티지의 매칭 서브세트가 사용자에게 디스플레이되게 하고, 이로써 선택된 이벤트 특성이 없는 비디오 푸티지의 재생을 생략하면서, 사용자가, 선택된 이벤트 특성을 공유하는 적어도 하나의 수술중 수술 이벤트의 수술 푸티지를 보는 것을 가능하게 하는 것
● ―선택된 이벤트 특성이 없는 선택된 수술 이벤트 부분의 재생을 생략하면서, 사용자가, 선택된 이벤트 특성을 갖는 적어도 하나의 수술중 수술 이벤트ㅇ의 수술 푸티지를 보는 것을 가능하게 하는 것은,
선택된 이벤트 특성이 없는 선택된 수술 이벤트 부분의 재생을 생략하면서, 선택된 이벤트 특성을 공유하는 복수의 수술중 수술 이벤트의 수술 푸티지의 부분을 사용자에게 순차적으로 제공하는 것을 포함하고,
● 저장된 이벤트 특성은 수술 이벤트의 부작용 결과를 포함하고,
● 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 부작용 결과가 없는 수술 이벤트의 재생을 생략하면서, 사용자가, 선택된 부작용 결과의 수술 푸티지를 보는 것을 가능하게 하는 것을 포함하고,
● 저장된 이벤트 특성은 수술 기법을 포함하고,
● 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 수술 기법과 연관되지 않은 수술 푸티지의 재생을 생략하면서, 사용자가, 선택된 수술 기법의 수술 푸티지를 보는 것을 가능하게 하는 것을 포함하고,
● 저장된 이벤트 특성은 의사 스킬 레벨을 포함하고,
● 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 의사 스킬 레벨이 없는 푸티지의 재생을 생략하면서, 사용자가, 선택된 의사 스킬 레벨을 보여주는 푸티지를 보는 것을 가능하게 하는 것을 포함하고,
● 저장된 이벤트 특성은 물리적 환자 특성을 포함하고,
● 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 물리적 환자 특성이 없는 푸티지의 재생을 생략하면서, 사용자가, 선택된 물리적 환자 특성을 보여주는 푸티지를 보는 것을 가능하게 하는 것을 포함하고,
● 저장된 이벤트 특성은 특정 의사의 신원을 포함하고,
● 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 의사에 의한 활동이 없는 푸티지의 재생을 생략하면서, 사용자가, 선택된 의사에 의한 활동을 보여주는 푸티지를 보는 것을 가능하게 하는 것을 포함하고,
● 저장된 이벤트 특성은 생리학적 반응을 포함하고,
● 매칭 서브세트가 디스플레이되게 하는 것은, 선택된 생리학적 반응이 없는 푸티지의 재생을 생략하면서, 사용자가, 선택된 생리학적 반응을 나타내는 푸티지를 보는 것을 가능하게 하는 것을 포함하고,
● 수술 이벤트 또는 수술 페이즈 중 적어도 하나와 연관된 비디오 푸티지 위치를 식별하기 위해 비디오 푸티지를 분석하는 것은, 재생을 위한 수술 페이즈의 개시 위치 또는 재생을 위한 수술 이벤트의 개시부 중 적어도 하나를 식별하기 위해 비디오 푸티지에 대한 컴퓨터 이미지 분석을 수행하는 것을 포함함―
● 특정 수술 절차와 유사한 복수의 수술 절차와 관련된 집계 데이터에 액세스하는 것
● 선택된 이벤트 특성과 연관된 통계 정보를 사용자에게 제공하는 것
● ―액세스된 비디오 푸티지는, 수술대 위의 포지션, 환자의 수술 강 내, 환자의 장기 내부 또는 환자의 맥관구조 내부 중 적어도 하나에 위치된 적어도 하나의 이미지 센서를 통해 캡처된 비디오 푸티지를 포함하고,
● 비디오 푸티지 위치를 식별하는 것은 사용자 입력에 기반하고,
● 비디오 푸티지 위치를 식별하는 것은 비디오 푸티지의 프레임을 분석하기 위해 컴퓨터 분석을 사용하는 것을 포함하고,
● 컴퓨터 이미지 분석은 이전에 식별된 수술 페이즈를 포함하는 예시 비디오 프레임을 사용하여 트레이닝된 뉴럴 네트워크 모델을 사용하고, 이로써 비디오 푸티지 위치 또는 페이즈 태그 중 적어도 하나를 식별하는 것을 포함함―
● 사용자 입력에 기반하여, 저장된 이벤트 특성을 결정하는 것
● 특정 수술중 수술 이벤트를 묘사하는 비디오 푸티지의 컴퓨터 분석에 기반하여, 저장된 이벤트 특성을 결정하는 것
● ―페이즈 태그를 생성하는 것은 수술 페이즈를 묘사하는 비디오 푸티지의 컴퓨터 분석에 기반하고,
*● 저장된 비디오 푸티지의 매칭 서브세트를 식별하는 것은, 저장된 비디오의 매칭 서브세트와 선택된 이벤트 특성 간의 유사성 정도를 결정하기 위해 컴퓨터 분석을 사용하는 것을 포함함―
● 적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임 및 수술 활동과 연관되지 않은 제2 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하는 것
● 이전 수술 절차의 이력 수술 푸티지에 기반하여 이력 데이터에 액세스하는 것 ―이력 데이터는, 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임 및 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함함―
● 특정 수술 푸티지에서, 이력 데이터의 정보에 기반하여 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것
● 사용자의 요청시, 제2 그룹의 프레임의 사용자에 대한 프리젠테이션을 생략하면서, 특정 수술 푸티지의 제1 그룹의 프레임의 집계를 사용자에게 제공하는 것
● ―이력 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 수술 도구의 존재 또는 움직임 중 적어도 하나의 것에 대한 표시자를 포함하고,
● 이력 수술 푸티지의 부분을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 연관된 프레임에 검출된 도구 및 해부학적 특징을 포함하고,
● 사용자의 요청은 관심대상의 수술중 수술 이벤트의 적어도 하나의 타입의 표시를 포함하고,
● 제1 그룹의 프레임은, 관심대상의, 적어도 하나의 타입의 수술중 수술 이벤트 중 적어도 하나의 수술중 수술 이벤트를 묘사하고,
● 사용자의 요청은 특정 수술 푸티지에서 복수의 수술중 수술 이벤트를 보기 위한 요청을 포함하고,
● 제1 그룹의 프레임의 집계를 사용자에게 제공하는 것은, 제2 그룹의 연대순 프레임이 생략된 상태로, 연대순으로 제1 그룹의 프레임을 디스플레이하는 것을 포함하고,
● 이력 데이터는 이력 수술 결과 데이터 및 개개의 이력 원인 데이터를 더 포함하고,
● 제1 그룹의 프레임은 원인 프레임 세트 및 결과 프레임 세트를 포함하고,
● 제2 그룹의 프레임은 중간 프레임 세트를 포함함―
● 수술 결과 및 수술 결과의 개개의 원인을 식별하기 위해 특정 수술 푸티지를 분석하는 것 ―식별하는 것은 이력 결과 데이터 및 개개의 이력 원인 데이터에 기반함―
● 분석에 기반하여, 특정 수술 푸티지에서 결과 프레임 세트를 검출하는 것 ―결과 프레임 세트는 수술 절차의 결과 페이즈 내에 있음―
● 분석에 기반하여, 특정 수술 푸티지에서 원인 프레임 세트를 검출하는 것 ―원인 프레임 세트는 결과 페이즈로부터 시간적으로 멀리 떨어진 수술 절차의 원인 페이즈 내에 있고,
● 중간 프레임 세트는 원인 프레임 세트와 결과 프레임 세트 사이에 삽입된 중간 페이즈 내에 있음―
● 수술 푸티지의 원인-결과 요약을 생성하는 것
● 원인-결과 요약은 원인 프레임 세트 및 결과 프레임 세트를 포함하며, 중간 프레임 세트는 생략하고,
*● 사용자에게 제공되는 제1 그룹의 프레임의 집계는 원인 효과 요약을 포함하고,
● 원인 페이즈는 원인이 발생된 수술 페이즈를 포함하고,
● 원인 프레임 세트는 원인 페이즈에서의 프레임의 서브세트이고,
● 결과 페이즈는, 결과를 관찰할 수 있는 수술 페이즈를 포함하고,
● 결과 프레임 세트는 결과 페이즈에서의 프레임의 서브세트임―
● 특정 수술 푸티지를 분석하기 위해, 이력 데이터를 사용하여 수술 결과 및 수술 결과의 개개의 원인을 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것
● ―특정 수술 푸티지는, 환자에 대해 수행되고 수술실에서 적어도 하나의 이미지 센서에 의해 캡처되는 수술 절차를 묘사함―
● 환자의 의료 기록에 저장할 제1 그룹의 프레임을 내보내는 것
● 적어도 하나의 수술중 수술 이벤트의 인덱스를 생성하는 것 ―제1 그룹의 프레임을 내보내는 것은, 제1 그룹의 프레임의 편집물을 생성하는 것을 포함하고, 편집물은, 인덱스를 포함하고 그리고 하나 이상의 인덱스 아이템의 선택에 기반하여 적어도 하나의 수술중 수술 이벤트를 보는 것을 가능하게 하도록 구성되고,
● 편집물은 연속 비디오로서 저장된 다양한 수술중 이벤트의 일련의 프레임을 보유함―
● 제1 그룹의 프레임을 고유한 환자 식별자와 연관시키는 것 및 고유한 환자 식별자를 포함하는 의료 기록을 업데이트하는 것
● ―적어도 하나의 이미지 센서의 위치는 수술실의 수술대 위 또는 환자 내부 중 적어도 하나이고,
● 특정 수술 푸티지에서 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은, 의료 기구를 검출하기 위해 특정 수술 푸티지를 분석하는 것,
● 해부학적 구조를 검출하기 위해 특정 수술 푸티지를 분석하는 것,
● 검출된 의료 기구와 검출된 해부학적 구조 간의 상대적인 움직임을 검출하기 위해 비디오를 분석하는 것을 포함함―
● 상대적인 움직임에 기반하여 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것
● ―제1 그룹의 프레임은 수술 활동 프레임을 포함하고 제2 그룹의 프레임은 비-수술 활동 프레임을 포함하고,
● 이로써, 집계를 제공하는 것은 수술을 준비하는 의사가 요약된 프리젠테이션의 비디오 검토 동안 비-수술 활동 프레임을 생략하는 것을 가능하게 하고,
● 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은 추가로, 의료 기구와 해부학적 구조 간의 검출된 상대적 포지션에 기반하고,
● 제1 그룹의 프레임을 제2 그룹의 프레임과 구별하는 것은 추가로, 의료 기구와 해부학적 구조 간의 검출된 상호작용에 기반하고,
● 비-수술 활동 프레임을 생략하는 것은 비-수술 활동을 캡처하는 대부분의 프레임을 생략하는 것을 포함함―
● 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성 및 수술중 수술 이벤트 특성을 포함하며 다양한 환자에 대해 수행된 복수의 수술 절차를 반영하는 복수의 세트의 수술 비디오 푸티지의 저장소에 액세스하는 것
● 고려된 수술 절차를 준비하는 의사가 고려된 수술 절차에 대응하는 사례별 정보를 입력하는 것을 가능하게 하는 것
● 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트 그룹을 식별하기 위해 복수의 세트의 수술 비디오 푸티지와 연관된 데이터를 사례별 정보와 비교하는 것
● 식별된 수술중 이벤트 그룹에 대응하는 복수의 세트의 수술 비디오 푸티지 중 특정 세트에서의 특정 프레임을 식별하기 위해, 사례별 정보 및 직면할 가능성이 있는 식별된 수술중 이벤트 그룹을 사용하는 것
● ―식별된 특정 프레임은 다양한 환자에 대해 수행된 복수의 수술 절차로부터의 프레임을 포함함―
● 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지가 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 보유한다는 것을 결정하는 것
● 의사에게 제공될 편집물로부터 제2 세트의 포함을 생략하고 의사에게 제공될 편집물에 제1 세트를 포함시키는 것
● 의사가 다양한 환자에 대해 수행된 다양한 수술 절차로부터의 프레임을 보유하는 편집물을 포함하는 프리젠테이션을 보는 것을 가능하게 하는 것
● 프리젠테이션을 따라 식별된 특정 프레임 중 하나 이상에 대응하는 하나 이상의 연대순 마커를 포함하는 공통 수술 타임라인의 디스플레이를 가능하게 하는 것
● ―의사가 프리젠테이션을 보는 것을 가능하게 하는 것은, 다양한 환자에 대해 수행된 다양한 수술 절차의 이산 세트의 비디오 푸티지를 순차적으로 디스플레이하는 것을 포함하고,
● 이산 세트의 비디오 푸티지를 순차적으로 디스플레이하는 것은, 의사가 이산 세트의 비디오 푸티지 중 하나 이상을 선택하는 것을 가능하게 하는 이산 세트의 비디오 푸티지의 인덱스를 디스플레이하는 것을 포함하고,
● 인덱스는 이산 세트를 대응하는 수술 페이즈 및 텍스츄얼 페이즈 표시자로 파싱하는 타임라인을 포함하고,
● 타임라인은 수술중 수술 이벤트에 대응하는 수술중 수술 이벤트 마커를 포함하고,
● 의사는, 수술중 수술 이벤트 마커를 클릭하여 대응하는 수술중 수술 이벤트를 묘사하는 적어도 하나의 프레임을 표시하는 것이 가능해지고,
● 고려된 수술 절차에 대응하는 사례별 정보는 외부 디바이스로부터 수신되고,
● 사례별 정보를 복수의 세트의 수술 비디오 푸티지와 연관된 데이터와 비교하는 것은, 고려된 수술 절차 동안 직면할 가능성이 있는 수술중 이벤트의 그룹을 식별하기 위해 인공 뉴럴 네트워크를 사용하는 것을 포함하고,
● 인공 뉴럴 네트워크를 사용하는 것은, 사례별 정보를 인공 뉴럴 네트워크에 입력으로서 제공하는 것을 포함하고,
● 사례별 정보는 고려된 절차와 연관된 환자의 특성을 포함하고,
● 환자의 특성은 환자의 의료 기록으로부터 수신되고,
● 사례별 정보는 수술 도구와 관련된 정보를 포함하고,
● 수술 도구와 관련된 정보는 도구 타입 또는 도구 모델 중 적어도 하나를 포함하고,
● 공통 특성은 다양한 환자의 특성을 포함하고,
● 공통 특성은 고려된 수술 절차의 수술중 수술 이벤트 특성을 포함하고,
● 다양한 환자로부터의 제1 세트의 그리고 제2 세트의 비디오 푸티지가 공통 특성을 공유하는 수술중 이벤트와 연관된 프레임을 보유한다고 결정하는 것은, 공통 특성을 식별하기 위해 머신 러닝 모델의 구현을 사용하는 것을 포함함―
● 2개 세트의 비디오 푸티지가 공통 특성을 공유하는지 여부를 결정하기 위해 머신 러닝 모델을 트레이닝시키는 데 예시 비디오 푸티지를 사용하는 것
● ―머신 러닝 모델을 구현하는 것은 트레이닝된 머신 러닝 모델을 구현하는 것을 포함함―
● 수술중 수술 이벤트, 수술 결과, 환자 특성, 의사 특성 및 수술중 수술 이벤트 특성에 기반하여 저장소의 인덱스를 생성하기 위해, 머신 러닝 모델을 트레이닝시키는 것
● 저장소의 인덱스를 생성하는 것
● ―사례별 정보를 복수의 세트와 연관된 데이터와 비교하는 것은, 인덱스를 검색하는 것을 포함함―
● 제1 세트의 프레임에서 해부학적 구조를 식별하기 위해 수술 푸티지의 프레임을 분석하는 것
● 제1 이력 데이터에 액세스하는 것 ―제1 이력 데이터는 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터를 분석하는 것에 기반함―
● 제1 세트의 프레임과 연관된 제1 수술 복잡성 레벨을 결정하기 위해, 제1 이력 데이터를 사용하여 그리고 식별된 해부학적 구조를 사용하여 제1 세트의 프레임을 분석하는 것
● 제2 세트의 프레임에서 의료 도구, 해부학적 구조, 및 의료 도구와 해부학적 구조 간의 상호작용을 식별하기 위해, 수술 푸티지의 프레임을 분석하는 것
● 제2 이력 데이터에 액세스하는 것 ―제2 이력 데이터는 제2 그룹의 이전 수술 절차로부터 캡처된 제2 프레임 데이터의 분석에 기반함―
● 제2 세트의 프레임과 연관된 제2 수술 복잡성 레벨을 결정하기 위해, 제2 이력 데이터를 사용하여 그리고 식별된 상호작용을 사용하여 제2 세트의 프레임을 분석하는 것
● ―제1 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임에서 의료 도구를 식별하는 것을 더 포함하고,
● 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임으로부터 제2 세트의 프레임까지 경과된 시간에 기반하고,
● 제1 복잡성 레벨 또는 제2 복잡성 레벨을 결정하는 것 중 적어도 하나는 생리학적 반응에 기반함―
● 수술 푸티지에서 의료 서비스 제공자에 의해 시연된 스킬 레벨을 결정하는 것
● ―제1 복잡성 레벨 또는 제2 복잡성 레벨을 결정하는 것 중 적어도 하나는, 의료 서비스 제공자에 의해 시연된 결정된 스킬 레벨에 기반함―
● 제1 수술 복잡성 레벨이 선택된 임계치보다 작다는 것을 결정하는 것, 제2 수술 복잡성 레벨이 선택된 임계치를 초과한다는 것을 결정하는 것, 및 제1 수술 복잡성 레벨이 선택된 임계치보다 작다는 결정 및 제2 수술 복잡성 레벨이 선택된 임계치를 초과한다는 결정에 대한 응답으로, 데이터 구조로부터 제1 세트의 프레임을 생략하면서, 제2 세트의 프레임을 데이터 구조에 저장하는 것
● ―제1 세트의 프레임에서 해부학적 구조를 식별하는 것은, 의료 도구의 식별 및 의료 도구와 해부학적 구조 간의 제1 상호작용에 기반함―
● 제1 세트의 프레임을 제1 수술 복잡성 레벨로 태깅하는 것
● 제2 세트의 프레임을 제2 수술 복잡성 레벨로 태깅하는 것
● 의사가 제2 수술 복잡성 레벨을 선택하는 것을 가능하게 하고, 이로써, 제1 세트의 프레임의 디스플레이를 생략하면서, 제2 세트의 프레임이 디스플레이되게 하기 위해, 제1 태그를 갖는 제1 세트의 프레임 및 제2 태그를 갖는 제2 세트의 프레임을 포함하는 데이터 구조를 생성하는 것
● 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하기 위해, 이전 수술 절차로부터 캡처된 프레임 데이터를 사용하여 수술 복잡성 레벨을 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것
● ―제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임과 제2 세트의 프레임 사이에서 발생된 이벤트에 기반하고,
● 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은 해부학적 구조의 상태에 기반하고,
● 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은 전자 의료 기록의 분석에 기반하고,
● 제1 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임 이후에 발생된 이벤트에 기반하고,
● 제1 수술 복잡성 레벨 또는 제2 수술 복잡성 레벨 중 적어도 하나를 결정하는 것은 수술 푸티지와 연관된 의사의 스킬 레벨에 기반하고,
● 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임 이후에 추가적인 의사가 호출되었다는 표시에 기반하고,
● 제2 수술 복잡성 레벨을 결정하는 것은 제1 세트의 프레임 이후에 특정 의약품이 투여되었다는 표시에 기반하고,
*● 제1 이력 데이터는 제1 그룹의 이전 수술 절차로부터 캡처된 제1 프레임 데이터를 사용하여 트레이닝된 머신 러닝 모델을 포함하고,
● 제1 이력 데이터는 특정 해부학적 구조와 특정 수술 복잡성 레벨 간의 통계적 관계의 표시를 포함하고,
● 외과 수술실에 포지셔닝된 이미지 센서로부터, 진행중인 수술 절차를 추적하는 시각적 데이터를 수신하는 것
● 이력 수술 데이터에 기반한 정보를 보유하는 데이터 구조에 액세스하는 것
● 진행중인 수술 절차의 추정된 완료 시간을 결정하기 위해, 데이터 구조를 사용하여 진행중인 수술 절차의 시각적 데이터를 분석하는 것
● 진행중인 수술 절차의 완료와 연관된 스케줄링된 시간을 포함하는, 외과 수술실에 대한 스케줄에 액세스하는 것
● 진행중인 수술 절차의 추정된 완료 시간에 기반하여, 예상된 완료 시간이 완료와 연관된 스케줄링된 시간으로부터 변동을 야기할 가능성이 있는지 여부를 계산하는 것.
● 변동의 계산시 통지를 출력하고, 이로써 외과 수술실의 후속 사용자가 통지에 따라 자신의 스케줄을 조정하는 것을 가능하게 하는 것
● ―통지는 업데이트된 수술실 스케줄을 포함하고,
● 업데이트된 수술실 스케줄은, 대기한 의료 서비스 전문가가 후속적 수술 절차를 준비하는 것을 가능하게 함―
● 외과 수술실의 후속적 스케줄링된 사용자와 연관된 디바이스에 통지를 전자식으로 송신하는 것
● 완료와 연관된 스케줄링된 시간으로부터의 변동 범위를 결정하는 것
● 제1 결정된 범위에 대한 응답으로, 통지를 출력하는 것
● 제2 결정된 범위에 대한 응답으로, 통지를 출력하는 것을 보류하는 것
● 예상된 완료 시간이 완료와 연관된 스케줄링된 시간으로부터 적어도 선택된 임계 시간량의 지연을 야기할 가능성이 있는지 여부를 결정하는 것
● 예상된 완료 시간이 적어도 선택된 임계 시간량의 지연을 야기할 가능성이 있다는 결정에 대한 응답으로, 통지를 출력하는 것
● 예상된 완료 시간이 적어도 선택된 임계 시간량의 지연을 야기할 가능성이 없다는 결정에 대한 응답으로, 통지를 출력하는 것을 보류하는 것
● ―추정된 완료 시간을 결정하는 것은 진행중인 수술 절차를 수행하는 의료 서비스 전문가와 연관된 하나 이상의 저장된 특성에 기반함―
● 진행중인 수술 절차를 완료하기 위해, 결정된 실제 시간에 기반하여 완료에 대한 이력 평균 시간을 업데이트하는 것
● ―이미지 센서는 환자 위에 포지셔닝되고,
● 이미지 센서는 수술 도구에 포지셔닝되고,
● 분석하는 것은, 수신된 시각적 데이터에서 특성 이벤트를 검출하는 것, 이력 수술 데이터에서 특성 이벤트의 발생 이후 수술 절차를 완료하기 위한 예상된 시간을 결정하기 위해 이력 수술 데이터에 기반한 정보를 평가하는 것, 및 완료에 대해 결정된 예상된 시간에 기반하여, 추정된 완료 시간을 결정하는 것을 더 포함함―
● 특성 이벤트를 검출하기 위해 머신 러닝 모델을 트레이닝시키는 데 이력 시각적 데이터를 사용하는 것
● 완료 시간을 추정하기 위해 머신 러닝 모델을 트레이닝시키는 데 이력 시각적 데이터를 사용하는 것
● ―추정된 완료 시간을 계산하는 것은 트레이닝된 머신 러닝 모델을 구현하는 것을 포함함―
● 추정된 완료 시간을 결정하기 위해 평균 이력 완료 시간을 사용하는 것
● 시각적 데이터에서 의료 도구를 검출하는 것
● ―추정된 완료 시간을 계산하는 것은 검출된 의료 도구에 기반하고,
● 분석하는 것은 시각적 데이터에서 해부학적 구조를 검출하는 것을 더 포함하고,
● 추정된 완료 시간을 계산하는 것은 검출된 해부학적 구조에 기반하고,
● 분석하는 것은 시각적 데이터에서 해부학적 구조와 의료 도구 간의 상호작용을 검출하는 것을 더 포함하고,
● 추정된 완료 시간을 계산하는 것은 검출된 상호작용에 기반하고,
● 분석하는 것은 시각적 데이터에서 의사의 스킬 레벨을 결정하는 것을 더 포함하고,
● 추정된 완료 시간을 계산하는 것은 결정된 스킬 레벨에 기반함―
● 환자에 대한 수술 절차 동안 캡처된 비디오 프레임에 액세스하는 것
● 비디오 프레임에서, 적어도 하나의 의료 기구, 적어도 하나의 해부학적 구조, 및 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 적어도 하나의 상호작용을 식별하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것
● 의료 기구, 해부학적 구조, 의료 기구와 해부학적 구조 간의 상호작용과 상관된 환급 코드 데이터베이스에 액세스하는 것
● 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하기 위해, 적어도 하나의 의료 기구와 적어도 하나의 해부학적 구조 간의 식별된 적어도 하나의 상호작용을 환급 코드 데이터베이스 내의 정보와 비교하는 것
● 수술 절차에 대한 보험 환급을 받는 데 사용하기 위해 적어도 하나의 환급 코드를 출력하는 것
● ―출력된 적어도 하나의 환급 코드는 복수의 출력된 환급 코드를 포함하고,
● 복수의 출력된 환급 코드 중 적어도 2개는 공통 해부학적 구조와의 다양한 상호작용에 기반하고,
● 적어도 2개의 출력된 환급 코드는 2개의 상이한 의료 기구의 검출에 부분적으로 기반하여 결정되고,
● 적어도 하나의 환급 코드를 결정하는 것은 또한, 수술 후 수술 리포트의 분석에 기반하고,
● 비디오 프레임은 환자 위에 포지셔닝된 이미지 센서로부터 캡처되고,
● 비디오 프레임은 의료 디바이스와 연관된 이미지 센서로부터 캡처됨―
*● 적어도 하나의 환급 코드를 수술 절차와 연관시킴으로써 데이터베이스를 업데이트하는 것
● 프로세싱된 환급 코드와, 이력 비디오 푸티지에서의 복수의 의료 기구, 이력 비디오 푸티지에서의 복수의 해부학적 구조, 또는 이력 비디오 푸티지에서의 의료 기구와 해부학적 구조 간의 복수의 상호작용 중 적어도 하나 간의 상관관계를 생성하는 것
● 생성된 상관관계에 기반하여 데이터베이스를 업데이트하는 것
● ―상관관계를 생성하는 것은 통계 모델을 구현하는 것을 포함함―
● 이력 비디오 푸티지에서, 적어도 하나의 복수의 의료 기구, 복수의 해부학적 구조, 또는 의료 기구와 해부학적 구조 간의 복수의 상호작용을 검출하기 위해 머신 러닝 모델을 사용하는 것
● 환자의 해부학적 구조의 상태를 결정하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것
● 결정된 해부학적 구조의 상태에 기반하여, 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것
● 수술 절차 동안 환자의 해부학적 구조의 상태에서의 변화를 결정하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것
● 결정된 해부학적 구조의 상태에서의 변화에 기반하여, 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것
● 특정 의료 기구의 사용을 결정하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것
● 결정된 특정 의료 기구의 사용에 기반하여, 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것
● 특정 의료 디바이스의 사용 타입을 결정하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것
● 제1 결정된 사용 타입에 대한 응답으로, 수술 절차와 연관된 적어도 제1 환급 코드를 결정하는 것
● 제2 결정된 사용 타입에 대한 응답으로, 수술 절차와 연관된 적어도 제2 환급 코드를 결정하는 것 ―적어도 제1 환급 코드는 적어도 제2 환급 코드와 상이함―
● 수술 절차와 연관된 프로세싱된 환급 코드를 수신하는 것, 및 프로세싱된 환급 코드에 기반하여 데이터베이스를 업데이트하는 것
● ―프로세싱된 환급 코드는 적어도 하나의 환급 코드 중 대응하는 환급 코드와 상이함―
● 수술 절차에 사용된 특정 타입에 대한 의료 용품의 양을 결정하기 위해, 수술 절차 동안 캡처된 비디오 프레임을 분석하는 것
● 결정된 양에 기반하여, 수술 절차와 연관된 적어도 하나의 환급 코드를 결정하는 것
● 환자의 식별자의 입력을 수신하는 것
● 의료 서비스 제공자의 식별자의 입력을 수신하는 것
● 의료 서비스 제공자에 의해 환자에 대해 수행된 수술 절차의 수술 푸티지의 입력을 수신하는 것
● 수술 절차의 수술 후 리포트를 채우기 위한 이미지-기반 정보를 도출하기 위해, 수술 푸티지의 복수의 프레임을 분석하는 것
● 도출된 이미지-기반 정보가 수술 절차의 수술 후 리포트에 채우게 하는 것
● 수술 절차의 하나 이상의 페이즈를 식별하고 그리고 식별된 페이즈 중 적어도 하나의 페이즈의 속성을 식별하기 위해, 수술 푸티지를 분석하는 것
● ―도출된 이미지-기반 정보는 식별된 적어도 하나의 페이즈 및 적어도 하나의 페이즈의 식별된 속성에 기반하고,
● 적어도 하나의 페이즈와 이름을 연관시키기 위해 수술 푸티지를 분석하는 것
● ―도출된 이미지-기반 정보는 적어도 하나의 페이즈와 연관된 이름을 포함함―
● 적어도, 적어도 하나의 페이즈의 개시부를 결정하는 것
● ―도출된 이미지-기반 정보는 결정된 개시부에 기반함―
● 시간 마커를 적어도 하나의 페이즈와 연관시키는 것
● ―도출된 이미지-기반 정보는 적어도 하나의 페이즈와 연관된 시간 마커를 포함함―
● 데이터를 의료 서비스 제공자에게 송신하는 것 ―송신된 데이터는 환자 식별자 및 도출된 이미지-기반 정보를 포함함―
● 수술 후 치료에 대한 적어도 하나의 추천을 식별하기 위해 수술 푸티지를 분석하는 것
● 식별된 적어도 하나의 추천을 제공하는 것
● ―수술 절차의 수술 후 리포트를 채우게 하는 것은, 의료 서비스 제공자가, 수술 후 리포트에서, 도출된 이미지-기반 정보의 적어도 일부를 변경하는 것을 가능하게 하도록 구성되고,
● 수술 절차의 수술 후 리포트를 채우게 하는 것은, 도출된 이미지-기반 정보의 적어도 일부가, 수술 후 리포트에서 자동으로 생성된 데이터로서 식별되게 하도록 구성됨―
● 수술 푸티지 내에서 수술 이벤트를 식별하고 그리고 식별된 수술 이벤트의 속성을 식별하기 위해, 수술 푸티지를 분석하는 것
● ―도출된 이미지-기반 정보는 식별된 수술 이벤트 및 식별된 속성에 기반함―
● 식별된 수술 이벤트의 이벤트 이름을 결정하기 위해 수술 푸티지를 분석하는 것
● ―도출된 이미지-기반 정보는 결정된 이벤트 이름을 포함함―
● 시간 마커를 식별된 수술 이벤트와 연관시키는 것
● ―도출된 이미지-기반 정보는 시간 마커를 포함함―
● 전자 의료 기록의 업데이트를 가능하게 하는 형태로, 도출된 이미지-기반 정보를 제공하는 것
● ―도출된 이미지-기반 정보는 사용자 입력에 부분적으로 기반하고,
● 도출된 이미지-기반 정보는, 수술 절차의 제1 부분과 연관된 제1 부분 및 수술 절차의 제2 부분과 관련된 제2 부분을 포함하고, 특징은, 예비 수술 후 리포트를 수신하는 것을 더 포함함―
● 예비 수술 후 리포트 내에서 제1 포지션 및 제2 포지션을 선택하기 위해, 예비 수술 후 리포트를 분석하는 것 ―제1 포지션은 수술 절차의 제1 부분과 연관되고, 제2 포지션은 수술 절차의 제2 부분과 연관됨―
● 도출된 이미지-기반 정보의 제1 부분이 선택된 제1 포지션에 삽입되게 하고, 도출된 이미지-기반 정보의 제2 부분이 선택된 제2 포지션에 삽입되게 하는 것
● 수술 푸티지의 적어도 하나의 프레임의 적어도 일부를 선택하기 위해 수술 푸티지를 분석하는 것
● 수술 푸티지의 적어도 하나의 프레임의 선택된 적어도 일부가 수술 절차의 수술 후 리포트에 포함되게 하는 것
● 예비 수술 후 리포트를 수신하는 것
*● 수술 푸티지의 적어도 하나의 프레임의 적어도 일부를 선택하기 위해 예비 수술 후 리포트 및 수술 푸티지를 분석하는 것
● 예비 수술 후 리포트를 수신하는 것
● 예비 수술 후 리포트와 수술 푸티지 간의 적어도 하나의 불일치를 식별하기 위해 예비 수술 후 리포트 및 수술 푸티지를 분석하는 것
● 식별된 적어도 하나의 불일치의 표시를 제공하는 것
● 특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것
● 수술 절차에 대한 추천된 이벤트 시퀀스를 식별하는 저장된 데이터에 액세스하는 것
● 특정 수술 절차와 수술 절차에 대한 추천된 이벤트 시퀀스 간의 편차의 표시를 식별하기 위해, 액세스된 프레임을 추천된 이벤트 시퀀스와 비교하는 것
● 편차와 연관된 수술중 수술 이벤트의 이름을 결정하는 것
● 편차와 연관된 수술중 수술 이벤트의 이름을 포함하는, 편차의 통지를 제공하는 것
● ―편차의 표시를 식별하는 것 및 통지를 제공하는 것은, 수술 절차 동안 실시간으로 발생함―
● 특정 수술 절차에서 특정 액션이 곧 발생할 것이라는 표시를 수신하는 것
● 추천된 이벤트 시퀀스를 사용하여, 특정 액션에 대한 예비 액션을 식별하는 것
● 액세스된 프레임의 분석에 기반하여, 식별된 예비 액션이 아직 발생되지 않았다는 것을 결정하는 것
● 식별된 예비 액션이 아직 발생하지 않았다는 결정에 대한 응답으로, 편차의 표시를 식별하는 것
● ―특정 수술 절차는 담낭절제술이고,
● 추천된 이벤트 시퀀스는 안전 중요 뷰에 기반하고,
● 특정 수술 절차는 충수절제술이고,
● 특정 수술 절차는 탈장 수술이고,
● 특정 수술 절차는 자궁절제술이고,
● 특정 수술 절차는 근치 전립선 절제술이고,
● 특정 수술 절차는 부분 신장 절제술이고, 편차는 신장문 식별을 무시하는 것을 포함하고,
● 특정 수술 절차는 갑상선 절제술이고, 편차는 반회 신경 식별을 무시하는 것을 포함함―
● 편차와 연관된 프레임 세트를 식별하는 것
● ―통지를 제공하는 것은 편차와 연관된 식별된 프레임 세트를 디스플레이하는 것을 포함하고,
● 특정 액션이 곧 발생할 것이라는 표시는, 특정 수술 절차를 수행하는 의사로부터의 입력에 기반하고,
● 특정 액션이 곧 발생할 것이라는 표시는, 선택된 관심대상의 구역으로의 특정 의료 기구의 진입이고,
● 편차를 식별하는 것은, 수술 도구가 특정 해부학적 구역에 있다는 것을 결정하는 것을 포함하고,
● 특정 수술 절차는 대장반절제술이고,
● 편차는 문합 식별을 무시하는 것을 포함하고,
● 편차의 표시를 식별하는 것은, 수술중 수술 절차와 연관된 경과된 시간에 기반함―
● 수술실에서 환자에 대해 의사에 의해 수행된 수술 절차의 비디오 푸티지를 수신하는 것
● 수술 절차를 특성화하는 이미지-관련 데이터를 포함하는 적어도 하나의 데이터 구조에 액세스하는 것
● 수술 의사 결정 분기점의 존재를 결정하기 위해, 이미지-관련 데이터를 사용하여, 수신된 비디오 푸티지를 분석하는 것
● 적어도 하나의 데이터 구조에서, 의사 결정 분기점에서 취한 특정 액션과 결과 간의 상관관계에 액세스하는 것
● 결정된 의사 결정 분기점의 존재 및 액세스된 상관관계에 기반하여, 특정 액션을 취하도록 사용자에게 추천을 출력하는 것
● ―명령은, 적어도 하나의 프로세서가, 수술 절차 동안 실시간으로 동작을 실행하게 하도록 구성되고,
● 사용자는 의사가고,
● 의사 결정 분기점은, 다양한 액션 방침이 공통 수술 상황 이후 발생한 경우, 복수의 다양한 이력 절차의 분석에 의해 결정되고,
● 비디오 푸티지는 내시경 및 체내 카메라 중 적어도 하나로부터의 이미지를 포함하고,
● 추천은 의료 검사를 수행하라는 추천을 포함함―
● 의료 검사의 결과를 수신하는 것
● 결정된 의사 결정 분기점의 존재, 액세스된 상관관계 및 수신된 의료 검사의 결과에 기반하여, 특정 액션을 취하도록 사용자에게 제2 추천을 출력하는 것
● ―특정 액션은, 추가적인 의사를 수술실로 데려오는 것을 포함하고
● 의사 결정 분기점은, 부적절한 액세스 또는 노출, 해부학적 구조의 수축, 해부학적 구조의 잘못된 해석 또는 체액 누설 중 적어도 하나를 포함하고,
● 추천은 특정 액션을 취하면 원하는 수술 결과가 발생할 것이라는 신뢰 레벨을 포함하고,
● 추천은 특정 액션을 취하지 않으면 원하는 결과가 발생하지 않을 것이라는 신뢰 레벨이 포함하고,
● 추천은 수술 절차에서의 특정 포인트 이후 경과된 시간에 기반하고,
● 추천은 특정 액션을 취하지 않는 경우 발생할 가능성이 있는 원하지 않는 수술 결과의 표시를 포함하고,
● 추천은 의사의 스킬 레벨에 기반하고,
● 추천은 의사 결정 분기점 이전의 수술 절차에서 발생한 수술 이벤트에 기반하고,
● 특정 액션은 복수의 단계를 포함하고,
● 수술 의사 결정 분기점의 존재의 결정은, 해부학적 구조의 검출된 생리학적 반응 및 수술 도구와 연관된 모션 중 적어도 하나에 기반함―
● 환자의 바이탈 징후를 수신하는 것, 그리고
● ―추천은 액세스된 상관관계 및 바이탈 징후에 기반하고,
● 의사는 수술 로봇이고, 추천은 수술 로봇에 대한 명령의 형태로 제공되고,
● 추천은 환자의 조직의 상태에 기반하고,
● 특정 액션의 추천은 스토마의 생성을 포함하고,
● 수술실에 있는 적어도 하나의 이미지 센서로부터, 수술 절차의 이미지 데이터를 수신하는 것
● 해부학적 구조의 정체를 결정하고 그리고 이미지 데이터에 반영된 해부학적 구조의 상태를 결정하기 위해, 수신된 이미지 데이터를 분석하는 것
● 해부학적 구조와 연관된 접촉력 임계치를 선택하는 것 ―선택된 접촉력 임계치는 해부학적 구조의 결정된 상태에 기반함―
● 해부학적 구조에 대한 실제 접촉력의 표시를 수신하는 것
● 실제 접촉력의 표시를 선택된 접촉력 임계치와 비교하는 것
● 실제 접촉력의 표시가 선택된 접촉력 임계치를 초과한다는 결정에 기반하여 통지를 출력하는 것
● ―접촉력 임계치는 장력 레벨과 연관되고,
● 접촉력 임계치는 압축 레벨과 연관되고,
● 실제 접촉력은, 의료 기구와 해부학적 구조 간의 접촉과 연관되고,
● 실제 접촉력의 표시는 이미지 데이터의 이미지 분석에 기반하여 추정되고,
● 통지를 출력하는 것은, 수술 절차를 수행하는 의사에게 실시간 경고를 제공하는 것을 포함하고,
● 통지는 수술 로봇에 대한 명령임―
● 이미지 데이터로부터, 수술 절차가 파이트 모드라는 것을 결정하는 것
● ―통지는 파이트 모드 동안 유예되고,
● 이미지 데이터로부터, 의사가 접촉력 통지를 무시하는 모드에서 동작하고 있다는 것을 결정하는 것, 그리고 의사가 접촉력 통지를 무시하는 모드에서 동작하고 있다는 결정에 기반하여, 적어도 일시적으로, 추가 접촉력 통지를 유예하는 것
● ―접촉력 임계치를 선택하는 것은 해부학적 구조와 의료 기구 간의 접촉 위치에 기반하고,
● 접촉력 임계치를 선택하는 것은 해부학적 구조와 의료 기구 간의 접촉 각도에 기반하고,
● 접촉력 임계치를 선택하는 것은, 해부학적 구조의 상태를 회귀 모델에 입력으로서 제공하는 것, 및 회귀 모델의 출력에 기반하여 접촉력 임계치를 선택하는 것을 포함하고,
● 접촉력 임계치를 선택하는 것은 대응하는 접촉력 임계치를 포함하는 해부학적 구조의 표에 기반하고,
● 접촉력 임계치를 선택하는 것은 의사에 의해 수행되는 액션에 기반하고,
● 실제 접촉력의 표시는 수술 도구로부터 수신되고,
● 실제 접촉력의 표시는 수술 로봇으로부터 수신됨―
● 이미지 데이터에서 해부학적 구조의 상태를 결정하기 위해, 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하는 것
● 접촉력 임계치를 선택하기 위해, 트레이닝 예시를 사용하여 트레이닝된 머신 러닝 모델을 사용하는 것
*● 수술 절차의 이미지를 캡처하도록 구성된 적어도 하나의 이미지 센서로부터, 수술 절차 동안의 제1 이벤트와 연관된 이미지 데이터를 수신하는 것
● 제1 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 수술 절차와 연관된 예측된 결과를 결정하는 것
● 수술 절차의 이미지를 캡처하도록 구성된 적어도 하나의 이미지 센서로부터, 수술 절차 동안의 제2 이벤트와 연관된 이미지 데이터를 수신하는 것
● 제2 이벤트와 연관된 수신된 이미지 데이터에 기반하여, 예측된 결과가 임계치 아래로 떨어지게 하는, 예측된 결과에서의 변화를 결정하는 것
● 이전 수술 절차에 기반한 이미지-관련 데이터의 데이터 구조에 액세스하는 것
● 액세스된 이미지-관련 데이터에 기반하여, 추천된 교정 조치를 식별하는 것
● 추천된 교정 조치를 출력하는 것
● ―추천된 교정 조치는 의사가 수술 절차로 휴식을 취하라는 추천을 포함하고,
● 추천된 교정 조치는 다른 의사로부터 어시스턴스를 요청하라는 추천을 포함하고,
● 추천된 교정 조치는 수술 절차에 대한 수정을 포함하고,
● 예측된 결과는 병원 재입원 가능성을 포함하고,
● 예측된 결과의 변화를 결정하는 것은 출혈의 크기에 기반하고,
● 교정 조치를 식별하는 것은, 교정 조치가 예측된 결과를 임계치 이상으로 높일 가능성이 있다는 표시에 기반하고,
● 교정 조치를 식별하는 것은, 수술 결과 및 교정 조치의 이력 예시를 사용하여 교정 조치를 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함하고,
● 예측된 결과를 결정하는 것은, 이력 수술 비디오 및 이력 수술 비디오에 대응하는 수술 결과를 나타내는 정보에 기반하여 예측된 결과를 결정하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함하고,
● 예측된 결과를 결정하는 것은, 수술 도구와 해부학적 구조 간의 상호작용을 식별하는 것, 및 식별된 상호작용에 기반하여 예측된 결과를 결정하는 것을 포함하고,
● 예측된 결과를 결정하는 것은 이미지 데이터에 묘사된 의사의 스킬 레벨에 기반함―
● 이미지 데이터에 묘사된 의사의 스킬 레벨을 결정하는 것
● ―예측된 결과의 변화를 결정하는 것은 스킬 레벨에 기반함―
● 예측된 결과가 임계치 아래로 떨어지는 것에 대한 응답으로, 수술 절차와 관련되는 수술실과 연관된 스케줄링 기록을 업데이트하는 것을 더 포함하는 것
● ―예측된 결과의 변화를 결정하는 것은, 수술 절차에서의 특정 포인트와 제2 이벤트 사이에서의 경과된 시간에 기반하고,
● 예측된 결과를 결정하는 것은 이미지 데이터에 묘사된 해부학적 구조의 상태에 기반함―
● 해부학적 구조의 상태를 결정하는 것
● ―예측된 결과의 변화를 결정하는 것은 해부학적 구조의 적어도 일부의 컬러 변화에 기반하고,
● 예측된 결과의 변화를 결정하는 것은 해부학적 구조의 적어도 일부의 모양 변화에 기반함―
● 수술 절차의 강내 비디오를 실시간으로 수신하는 것
● 강내 비디오에서 비정상 체액 누출 상황을 결정하기 위해, 강내 비디오의 프레임을 분석하는 것
● 비정상 체액 누출 상황이 결정될 때, 교정 조치를 실시하는 것
● ―체액은 혈액, 담즙 또는 소변 중 적어도 하나를 포함하고,
● 분석하는 것은, 혈액 스플래시(blood splash) 및 혈액 스플래시의 적어도 하나의 속성을 식별하기 위해 강내 비디오의 프레임을 분석하는 것을 포함하고,
● 교정 조치의 선택은 식별된 혈액 스플래시의 적어도 하나의 속성에 의존하고,
● 적어도 하나의 속성은 혈액 스플래시의 출처와 연관되고,
● 적어도 하나의 속성은 혈액 스플래시의 세기와 연관되고,
● 적어도 하나의 속성은 혈액 스플래시의 볼륨과 연관되고,
● 강내 비디오의 프레임을 분석하는 것은 비정상 체액 누출 상황의 속성을 결정하는 것을 포함하고,
● 교정 조치의 선택은 결정된 속성에 의존하고,
● 속성은 체액 누출의 볼륨과 연관되고,
● 속성은 체액 누출의 컬러와 연관되고,
● 속성은 체액 누출과 연관된 체액의 타입과 연관되고,
● 속성은 체액 누출률과 연관됨―
● 강내 비디오를 저장하는 것, 및 비정상 누출 상황이 결정되면, 누출 출처를 결정하기 위해, 저장된 강내 비디오의 이전 프레임을 분석하는 것
● ―교정 조치를 실시하는 것은 누출 출처의 통지를 제공하는 것을 포함하고,
● 누출 출처를 결정하는 것은 파열된 해부학적 장기를 식별하는 것을 포함함―
● 체액 누출 상황과 연관된 유량을 결정하는 것
● ―교정 조치를 실시하는 것은 유량에 기반함―
● 체액 누출 상황과 연관된 체액 손실의 볼륨을 결정하는 것
● ―교정 조치를 실시하는 것은 체액 손실의 볼륨에 기반하고,
● 강내 비디오에서의 비정상 체액 누출 상황을 결정하기 위해 강내 비디오의 프레임을 분석하는 것은, 결정된 체액 누출 상황이 비정상 체액 누출 상황인지 여부를 결정하는 것을 포함함―
● 결정된 체액 누출 상황이 비정상 체액 누출 상황이라는 결정에 대한 응답으로, 교정 조치를 실시하는 것
● 결정된 체액 누출 상황이 정상 체액 누출 상황이라는 결정에 대한 응답으로, 교정 조치의 실시를 보류하는 것
● ―강내 비디오는 수술 절차를 수행하는 수술 로봇을 묘사하고, 교정 조치는 로봇에게 명령을 전송하는 것을 포함함―
● 환자에 대한 특정 수술 절차 동안 캡처된 비디오의 프레임에 액세스하는 것
● 수술중 이벤트 및 연관된 결과를 식별하는 저장된 이력 데이터에 액세스하는 것
● 액세스된 프레임을 분석하는 것, 및 이력 데이터로부터 획득된 정보에 기반하여, 액세스된 프레임에서 적어도 하나의 특정 수술중 이벤트를 식별하는 것
● 식별된 적어도 하나의 수술중 이벤트 및 이력 데이터로부터 획득된 정보에 기반하여, 특정 수술 절차와 연관된 예측된 결과를 결정하는 것
● 예측된 결과를 환자와 연관시키는 방식으로 예측된 결과를 출력하는 것
● ―적어도 하나의 특정 수술중 이벤트를 식별하는 것은, 액세스된 프레임에서의 검출된 수술 도구, 액세스된 프레임에서의 검출된 해부학적 구조, 액세스된 프레임에서의 수술 도구와 해부학적 구조 간의 상호작용, 또는 액세스된 프레임에서의 검출된 비정상 체액 누출 상황 중 적어도 하나에 기반하고,
● 머신 러닝 모델은, 액세스된 프레임에서, 적어도 하나의 특정 수술중 이벤트를 식별하는 데 사용되며, 머신 러닝 모델은 예시 트레이닝 데이터를 사용하여 트레이닝되고,
● 예측된 결과를 결정하는 것은 환자의 특성, 전자 의료 기록 또는 수술 후 수술 리포트 중 적어도 하나에 기반하고,
● 머신 러닝 모델은 수술중 이벤트에 기반하여 특정 수술 절차와 연관된 예측된 결과를 결정하는 데 사용되며, 머신 러닝 모델은 트레이닝 예시를 사용하여 트레이닝되고,
● 예측된 결과를 결정하는 것은, 식별된 수술중 이벤트 및 환자의 식별된 특성에 기반하여 수술 결과를 예측하기 위해, 트레이닝된 머신 러닝 모델을 사용하는 것을 포함함―
● 수술 절차 이후 실현된 수술 결과를 식별하는 정보를 수신하는 것 및 수신된 정보를 사용하여 머신 러닝 모델을 트레이닝함으로써 머신 러닝 모델을 업데이트하는 것
● 환자의 특성을 식별하는 것
● ―예측된 결과는 또한, 식별된 환자 특성에 기반하여 결정되고,
● 환자 특성은 전자 의료 기록으로부터 도출되고,
● 환자 특성을 식별하는 것은, 액세스된 프레임을 분석하기 위해 머신 러닝 모델을 사용하는 것을 포함하고, 머신 러닝 모델은 이력 수술 절차 및 대응하는 이력 환자 특성의 트레이닝 예시를 사용하여 환자 특성을 식별하도록 트레이닝되고,
● 예측된 결과는 퇴원후 사고, 퇴원후 부작용 이벤트, 퇴원후 합병증, 또는 재입원 위험의 추정 중 적어도 하나를 포함함―
● 추천된 수술 이벤트 시퀀스를 보유하는 데이터 구조에 액세스하는 것
● ―적어도 하나의 특정 수술중 이벤트를 식별하는 것은, 데이터 구조에서 식별된 수술 절차에 대한 추천된 이벤트 시퀀스와 액세스된 프레임에서 검출된 실제 이벤트 시퀀스 간의 편차의 식별에 기반하고,
● 편차의 식별은, 액세스된 프레임에서의 검출된 수술 도구, 액세스된 프레임에서의 검출된 해부학적 구조, 또는 액세스된 프레임에서의 수술 도구와 해부학적 구조 간의 상호작용 중 적어도 하나에 기반하고,
● 편차의 식별은, 이력 수술 비디오 푸티지, 이력 추천된 이벤트 시퀀스, 및 이력 비디오 푸티지에서의 이력의 추천된 이벤트 시퀀스로부터의 편차를 식별하는 정보에 기반하여, 추천된 이벤트 시퀀스로부터 편차를 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 것을 포함하고,
● 편차를 식별하는 것은, 액세스된 프레임을 추천된 이벤트 시퀀스를 묘사하는 기준 프레임과 비교하는 것을 포함하고,
*● 예측된 결과를 출력하는 것은, 환자와 연관된 전자 의료 기록을 업데이트하는 것을 포함하고,
● 예측된 결과를 출력하는 것은, 예측된 결과를 의료 서비스 제공자와 연관된 데이터 수신 디바이스에 송신하는 것을 포함함―
● 액세스된 프레임에 기반하여, 예측된 결과를 개선할 가능성이 있는 적어도 하나의 액션을 결정하는 것
● 결정된 적어도 하나의 액션에 기반하여 추천을 제공하는 것
본원에서 개시된 시스템 및 방법은 종래의 접근법 비해 신규한 개선을 수반한다. 개시된 실시예의 설명은 완전하지 않으며, 개시된 정확한 형태 또는 실시예로 제한되지 않는다. 실시예의 수정 및 개조는 개시된 실시예의 명세서 및 실시를 고려함으로써 명백해질 것이다. 추가적으로, 개시된 실시예는 본원에서 논의된 예로 제한되지 않는다.
전술한 설명은 예시의 목적으로 제공되었다. 이는 완전하지 않으며, 개시된 정확한 형태 또는 실시예로 제한되지 않는다. 실시예의 수정 및 개조는 개시된 실시예의 명세서 및 실시를 고려함으로써 명백해질 것이다. 예컨대, 설명된 구현은 하드웨어 및 소프트웨어를 포함하지만, 본 개시내용에 따른 시스템 및 방법은 하드웨어 단독으로 구현될 수 있다.
본 명세서의 서면 설명과 방법에 기반하여 하는 컴퓨터 프로그램은 소프트웨어 개발자의 기술 범위 내에 있다. 다양한 함수, 스크립트(script), 프로그램 또는 모듈은 다양한 프로그래밍 기법을 사용하여 생성될 수 있다. 예컨대, 프로그램, 스크립트, 함수, 프로그램 섹션(program section) 또는 프로그램 모듈은 JAVASCRIPT, C, C++, JAVA, PHP, PYTHON, RUBY, PERL, BASH 또는 다른 프로그래밍 또는 스크립팅(scripting) 언어를 포함하는 언어로 또는 이를 통해 설계될 수 있다. 이러한 소프트웨어 섹션 또는 모듈 중 하나 이상은, 컴퓨터 시스템, 비-일시적 컴퓨터-판독가능 매체 또는 기존 통신 소프트웨어에 통합될 수 있다. 프로그램, 모듈 또는 코드는 또한, 펌웨어 또는 회로 논리로 구현되거나 복제될 수 있다.
더욱이, 예시적인 실시예가 본원에서 설명되었지만, 그 범위는 본 개시내용에 기반한 등가적 엘리먼트, 수정, 생략, (예컨대, 다양한 실시예에 걸친 양상의) 조합, 개조 또는 변경을 갖는 임의의 모든 실시예를 포함할 수 있다. 청구항에서의 엘리먼트는 청구항에서 사용된 언어에 기반하여 광범위하게 해석되어야 하며, 본 출원의 진행 중에 또는 본 명세서에 설명된 예로 제한되지 않으며, 이러한 예는 배타적이지 않은 것으로 해석되어야 한다. 추가로, 개시된 방법의 단계는, 단계를 재정렬하거나 단계를 삽입하거나 또는 삭제하는 것을 포함하여, 임의의 방식으로 수정될 수 있다. 따라서, 명세서 및 예는 단지 예시적인 것으로 간주되어야 하며, 진정한 범위와 정신은 다음의 청구항 및 이의 균등물의 전체 범위에 의해 표시되는 것으로 의도된다.

Claims (20)

  1. 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법으로서,
    적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임 및 수술 활동과 연관되지 않은 제2 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하는 단계;
    이전 수술 절차의 이력 수술 푸티지에 기반하여 이력 데이터에 액세스하는 단계 ―상기 이력 데이터는, 상기 수술 푸티지의 부분들을 수술중 수술 이벤트와 연관된 프레임 및 상기 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함함―;
    상기 특정 수술 푸티지에서, 상기 이력 데이터의 정보에 기반하여, 상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하는 단계; 및
    사용자의 요청시, 상기 제2 그룹의 프레임의 상기 사용자에 대한 프리젠테이션을 생략하면서, 상기 특정 수술 푸티지의 상기 제1 그룹의 프레임의 집계를 상기 사용자에게 제공하는 단계를 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  2. 청구항 1에 있어서,
    상기 이력 수술 푸티지의 부분들을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 수술 도구의 존재 또는 움직임 중 적어도 하나의 것에 대한 표시자(indicator)를 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  3. 청구항 1에 있어서,
    상기 이력 수술 푸티지의 부분들을 수술중 수술 이벤트와 연관된 프레임으로 구별하는 정보는, 연관된 프레임에 검출된 도구 및 해부학적 특징을 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  4. 청구항 1에 있어서,
    상기 사용자의 요청은 관심대상의 수술중 수술 이벤트의 적어도 하나의 타입의 표시를 포함하고, 그리고 상기 제1 그룹의 프레임은 상기 관심대상의 적어도 하나의 타입의 수술중 수술 이벤트 중 적어도 하나의 수술중 수술 이벤트를 묘사하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  5. 청구항 1에 있어서,
    상기 사용자의 요청은 상기 특정 수술 푸티지에서 복수의 수술중 수술 이벤트를 보기 위한 요청을 포함하고, 그리고 상기 제1 그룹의 프레임의 집계를 상기 사용자에게 제공하는 단계는, 상기 제2 그룹의 연대순의 프레임이 생략된 상태로, 연대순으로 상기 제1 그룹의 프레임을 디스플레이하는 단계를 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  6. 청구항 1에 있어서,
    상기 이력 데이터는 이력 수술 결과 데이터 및 개개의 이력 원인 데이터를 를 더 포함하고;
    상기 제1 그룹의 프레임은 원인 프레임 세트 및 결과 프레임 세트를 포함하고;
    상기 제2 그룹의 프레임은 중간 프레임 세트를 포함하고; 그리고
    상기 방법은,
    수술 결과 및 상기 수술 결과의 개개의 원인을 식별하기 위해 상기 특정 수술 푸티지를 분석하는 단계 ―상기 식별하는 것은 상기 이력 결과 데이터 및 개개의 이력 원인 데이터에 기반함―;
    상기 분석에 기반하여, 상기 특정 수술 푸티지에서 상기 결과 프레임 세트를 검출하는 단계 ―상기 결과 프레임 세트는 상기 수술 절차의 결과 페이즈 내에 있음―;
    상기 분석에 기반하여, 상기 특정 수술 푸티지에서 원인 프레임 세트를 검출하는 단계 ―상기 원인 프레임 세트는 상기 결과 페이즈로부터 시간적으로 떨어진 상기 수술 절차의 원인 페이즈 내에 있고, 그리고 상기 중간 프레임 세트는 상기 원인 프레임 세트와 상기 결과 프레임 세트 사이에 삽입된 중간 페이즈 내에 있음―;
    상기 수술 푸티지의 원인-효과 요약(cause-effect summary)을 생성하는 단계를 더 포함하며,
    상기 원인-효과 요약은 상기 원인 프레임 세트 및 상기 결과 프레임 세트를 포함하며, 상기 중간 프레임 세트를 생략하고, 그리고
    상기 사용자에게 제공되는 상기 제1 그룹의 프레임의 집계는 상기 원인-효과 요약을 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  7. 청구항 6에 있어서,
    상기 원인 페이즈는 상기 원인이 발생한 수술 페이즈를 포함하고, 그리고 상기 원인 프레임 세트는 상기 원인 페이즈에서의 프레임의 서브세트인, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  8. 청구항 6에 있어서,
    상기 결과 페이즈는 상기 결과를 관찰할 수 있는 수술 페이즈를 포함하고, 그리고 상기 결과 프레임 세트는 상기 결과 페이즈에서의 프레임의 서브세트인, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  9. 청구항 6에 있어서,
    상기 방법은, 상기 특정 수술 푸티지를 분석하기 위해, 상기 이력 데이터를 사용하여 수술 결과 및 수술 결과의 개개의 원인을 식별하도록 트레이닝된 머신 러닝 모델을 사용하는 단계를 더 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  10. 청구항 1에 있어서,
    상기 특정 수술 푸티지는, 환자에 대해 수행되고 수술실에서 적어도 하나의 이미지 센서에 의해 캡처되는 수술 절차를 묘사하고, 그리고 상기 방법은, 상기 환자의 의료 기록에 저장하기 위해 상기 제1 그룹의 프레임을 내보내는 단계를 더 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  11. 청구항 10에 있어서,
    상기 방법은, 상기 적어도 하나의 수술중 수술 이벤트의 인덱스를 생성하는 단계를 더 포함하며, 상기 제1 그룹의 프레임을 내보내는 단계는, 상기 제1 그룹의 프레임의 편집물을 생성하는 단계를 포함하고, 상기 편집물은 상기 인덱스를 포함하고 그리고 하나 이상의 인덱스 아이템의 선택에 기반하여 상기 적어도 하나의 수술중 수술 이벤트를 보는 것을 가능하게 하도록 구성되는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  12. 청구항 11에 있어서,
    상기 편집물은 연속 비디오로서 저장된 다양한 수술중 이벤트의 일련의 프레임을 보유하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  13. 청구항 11에 있어서,
    상기 적어도 하나의 이미지 센서의 위치는 상기 수술실의 수술대 위 또는 상기 환자 내부 중 적어도 하나인, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  14. 청구항 10에 있어서,
    상기 방법은, 상기 제1 그룹의 프레임을 고유한 환자 식별자와 연관시키는 단계 및 상기 고유한 환자 식별자를 포함하는 의료 기록을 업데이트하는 단계를 더 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  15. 청구항 1에 있어서,
    상기 특정 수술 푸티지에서 상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하는 단계는,
    의료 기구를 검출하기 위해 상기 특정 수술 푸티지를 분석하는 단계;
    해부학적 구조를 검출하기 위해 상기 특정 수술 푸티지를 분석하는 단계;
    검출된 의료 기구와 검출된 해부학적 구조 간의 상대적인 움직임을 검출하기 위해 비디오를 분석하는 단계; 및
    상기 상대적 움직임에 기반하여, 상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하는 단계를 포함하며,
    상기 제1 그룹의 프레임은 수술 활동 프레임을 포함하고, 상기 제2 그룹의 프레임은 비-수술 활동 프레임을 포함하고, 그리고 상기 집계를 제공하는 단계에 의해, 수술을 준비하는 의사가, 요약된 프리젠테이션의 비디오 검토 동안 상기 비-수술 활동 프레임을 생략하는 것을 가능하게 하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  16. 청구항 15에 있어서,
    상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하는 단계는 추가로, 상기 의료 기구와 상기 해부학적 구조 간의 검출된 상대적 포지션에 기반하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  17. 청구항 15에 있어서,
    상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하는 단계는 추가로, 상기 의료 기구와 상기 해부학적 구조 간의 검출된 상호작용에 기반하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  18. 청구항 15에 있어서,
    상기 비-수술 활동 프레임을 생략하는 것은 상기 비-수술 활동을 캡처하는 대부분의 프레임을 생략하는 것을 포함하는, 수술 요약 푸티지를 생성하기 위한, 컴퓨터로 구현되는 방법.
  19. 수술 요약 푸티지를 생성하기 위한 시스템으로서,
    적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임 및 수술 활동과 연관되지 않은 제2 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하고;
    이전 수술 절차의 이력 수술 푸티지와 연관된 이력 데이터에 액세스하고 ―상기 이력 데이터는, 상기 이력 수술 푸티지의 부분들을 상기 수술중 수술 이벤트와 연관된 프레임 및 상기 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함함―;
    상기 특정 수술 푸티지에서, 상기 이력 데이터의 정보에 기반하여, 상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하고; 그리고
    사용자의 요청시, 상기 제2 그룹의 프레임의 상기 사용자에 대한 프리젠테이션을 생략하면서, 상기 특정 수술 푸티지의 상기 제1 그룹의 프레임의 집계를 상기 사용자에게 제공하도록 구성되는, 수술 요약 푸티지를 생성하기 위한 시스템.
  20. 명령을 포함하는 비-일시적 컴퓨터-판독가능 매체로서,
    상기 명령은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금, 수술 요약 푸티지를 생성하는 것을 가능하게 하는 동작을 실행하게 하며,
    상기 동작은,
    적어도 하나의 수술중 수술 이벤트와 연관된 제1 그룹의 프레임 및 수술 활동과 연관되지 않은 제2 그룹의 프레임을 보유하는 특정 수술 푸티지에 액세스하고;
    이전 수술 절차의 이력 수술 푸티지와 연관된 이력 데이터에 액세스하고―상기 이력 데이터는, 상기 이력 수술 푸티지의 부분들을 상기 수술중 수술 이벤트와 연관된 프레임 및 상기 수술 활동과 연관되지 않은 프레임으로 구별하는 정보를 포함함―;
    상기 특정 수술 푸티지에서, 상기 이력 데이터의 정보에 기반하여 상기 제1 그룹의 프레임을 상기 제2 그룹의 프레임과 구별하고; 그리고
    사용자의 요청시, 상기 제2 그룹의 프레임의 상기 사용자에 대한 프리젠테이션을 생략하면서, 상기 특정 수술 푸티지의 상기 제1 그룹의 프레임의 집계를 상기 사용자에게 제공하는 것을 포함하는, 명령을 포함하는 비-일시적 컴퓨터-판독가능 매체.
KR1020237028290A 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법 KR102694422B1 (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201962808512P 2019-02-21 2019-02-21
US201962808500P 2019-02-21 2019-02-21
US62/808,512 2019-02-21
US62/808,500 2019-02-21
US201962838066P 2019-04-24 2019-04-24
US62/838,066 2019-04-24
US202062960466P 2020-01-13 2020-01-13
US62/960,466 2020-01-13
US202062967283P 2020-01-29 2020-01-29
US62/967,283 2020-01-29
PCT/US2020/019050 WO2020172414A1 (en) 2019-02-21 2020-02-20 Systems and methods for analysis of surgical videos
KR1020217030462A KR102572006B1 (ko) 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217030462A Division KR102572006B1 (ko) 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247026563A Division KR20240125989A (ko) 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230126744A true KR20230126744A (ko) 2023-08-30
KR102694422B1 KR102694422B1 (ko) 2024-08-14

Family

ID=69811980

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237028290A KR102694422B1 (ko) 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법
KR1020217030462A KR102572006B1 (ko) 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217030462A KR102572006B1 (ko) 2019-02-21 2020-02-20 수술 비디오의 분석을 위한 시스템 및 방법

Country Status (10)

Country Link
US (8) US20200273552A1 (ko)
EP (2) EP3928325B1 (ko)
JP (2) JP2022520701A (ko)
KR (2) KR102694422B1 (ko)
CN (1) CN113748468B (ko)
AU (1) AU2020224128B2 (ko)
BR (1) BR112021016621A2 (ko)
CA (1) CA3126444A1 (ko)
IL (5) IL283772B (ko)
WO (1) WO2020172414A1 (ko)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471899B2 (en) * 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
JP6936807B2 (ja) * 2016-04-06 2021-09-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイタルサイン検出器の特性を分析することを可能にするための方法、デバイス及びシステム
WO2018108740A1 (en) * 2016-12-12 2018-06-21 Koninklijke Philips N.V. A method and apparatus for segmenting two dimensional images of an anatomical structure
CN111226288B (zh) 2017-10-17 2022-03-29 威里利生命科学有限责任公司 用于对外科手术视频分段的系统和方法
AU2018350362B9 (en) 2017-10-22 2024-01-25 Todd Martin System and method for image recognition registration of an athlete in a sporting event
US11253206B2 (en) 2018-04-26 2022-02-22 Vektor Medical, Inc. Display of an electrical force generated by an electrical source within a body
US11259871B2 (en) 2018-04-26 2022-03-01 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
US11026585B2 (en) * 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11684401B2 (en) 2018-09-07 2023-06-27 Cilag Gmbh International Backplane connector design to connect stacked energy modules
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
CA3159332A1 (en) 2018-11-13 2020-05-22 Vektor Medical, Inc. Augmentation of images with source locations
US11628016B2 (en) * 2019-02-20 2023-04-18 OperVu, Inc. System and method to detect and track surgical instruments and/or surgical material
WO2020180566A1 (en) * 2019-03-01 2020-09-10 The Johns Hopkins University Data analytics for predictive modeling of surgical outcomes
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11348235B2 (en) * 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos
US11743665B2 (en) 2019-03-29 2023-08-29 Cilag Gmbh International Modular surgical energy system with module positional awareness sensing with time counter
US11935636B2 (en) * 2019-04-26 2024-03-19 Merative Us L.P. Dynamic medical summary
US11756681B2 (en) 2019-05-07 2023-09-12 Medtronic, Inc. Evaluation of post implantation patient status and medical device performance
US11701771B2 (en) * 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US10595736B1 (en) 2019-06-10 2020-03-24 Vektor Medical, Inc. Heart graphic display system
US10709347B1 (en) 2019-06-10 2020-07-14 Vektor Medical, Inc. Heart graphic display system
US11660057B2 (en) * 2019-07-10 2023-05-30 Stryker Corporation Systems and methods for persistent ureter visualization
KR20190098936A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 쿠킹 로봇 시스템 및 그 제어 방법
WO2021024594A1 (ja) * 2019-08-06 2021-02-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11367179B2 (en) * 2019-09-30 2022-06-21 GE Precision Healthcare LLC Determining degree of motion using machine learning to improve medical image quality
WO2021084763A1 (ja) * 2019-11-01 2021-05-06 日本電信電話株式会社 管理装置、管理方法及び管理プログラム
CN111298305B (zh) * 2020-02-18 2024-06-14 上海联影医疗科技股份有限公司 一种数据同步方法和系统
CN115136253A (zh) * 2020-02-20 2022-09-30 史密夫和内修有限公司 用于关节镜视频分析的方法及用于其的装置
US11475063B2 (en) * 2020-02-24 2022-10-18 Motorola Solutions, Inc. Device, system and method for providing indications of a discrepancy between a video and a textual description of an incident
WO2021176722A1 (ja) * 2020-03-06 2021-09-10 オリンパス株式会社 サーバ装置、ネットワークシステム、情報提供方法、及びプログラム
US20210287785A1 (en) * 2020-03-16 2021-09-16 Vanderbilt University Automatic Sensing for Clinical Decision Support
TW202137078A (zh) * 2020-03-24 2021-10-01 廣達電腦股份有限公司 資料處理系統及資料處理方法
US11295602B2 (en) * 2020-03-27 2022-04-05 Wipro Limited System and method for providing enhanced security of physical assets within a physical infrastructure
EP4128149A1 (en) 2020-04-03 2023-02-08 Smith&Nephew, Inc. Methods for arthroscopic surgery video segmentation and devices therefor
US11224485B2 (en) 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US20210344880A1 (en) * 2020-04-30 2021-11-04 Medtronic, Inc. Post operative implantation site monitoring
US20210370503A1 (en) * 2020-05-29 2021-12-02 Wipro Limited Method and system for providing dynamic cross-domain learning
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
US20220005199A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Image segmentation with kinematic data in a robotic surgical system
US11153657B1 (en) * 2020-07-15 2021-10-19 Gopro, Inc. Interface for editing multiple video clips
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
US12023044B2 (en) 2020-08-10 2024-07-02 Kunnskap Medical, LLC Endoscopic system with medium management system control
US20220101999A1 (en) * 2020-08-13 2022-03-31 P Tech, Llc Video Documentation System and Medical Treatments Used with or Independent Thereof
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US11818373B1 (en) * 2020-09-08 2023-11-14 Block, Inc. Machine-learning based data compression for streaming media
DE102020212000A1 (de) * 2020-09-24 2022-03-24 Siemens Healthcare Gmbh Vorrichtung zum Positionieren eines medizinischen Objekts und Verfahren zum Bereitstellen einer Korrekturvorgabe
US11568318B2 (en) * 2020-10-07 2023-01-31 Panasonic Intellectual Property Management Co., Ltd. Method for developing machine-learning based tool
WO2022092334A1 (ko) * 2020-10-27 2022-05-05 경상대학교병원 위암에 대한 위 절제술 중 조기 문합 합병증을 예방하기 위한 수술 중 내시경 검사의 안전성 및 효능
US20230419503A1 (en) * 2020-11-19 2023-12-28 Surgical Safety Technologies Inc. System and method for operating room human traffic monitoring
US20230368530A1 (en) * 2020-11-20 2023-11-16 Intuitive Surgical Operations, Inc. Systems and methods for surgical operation recognition
EP4247290A1 (en) * 2020-11-20 2023-09-27 Auris Health, Inc. Automated procedure evaluation
US12011163B2 (en) 2021-01-22 2024-06-18 Cilag Gmbh International Prediction of tissue irregularities based on biomarker monitoring
US11682487B2 (en) * 2021-01-22 2023-06-20 Cilag Gmbh International Active recognition and pairing sensing systems
US11694533B2 (en) 2021-01-22 2023-07-04 Cilag Gmbh International Predictive based system adjustments based on biomarker trending
US20220239577A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Ad hoc synchronization of data from multiple link coordinated sensing systems
US20220296301A1 (en) * 2021-03-22 2022-09-22 Biosense Webster (Israel) Ltd. Visualizing multiple parameters overlaid on an anatomical map
US20220313341A1 (en) * 2021-03-30 2022-10-06 Ethicon Llc Surgical proceduralization via modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US12040749B2 (en) 2021-03-30 2024-07-16 Cilag Gmbh International Modular energy system with dual amplifiers and techniques for updating parameters thereof
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
BR112023021246A2 (pt) 2021-04-14 2024-01-23 Cilag Gmbh Int Adaptação e ajustabilidade de informação de instrumento sobreposta para sistemas cirúrgicos
US12014479B2 (en) * 2021-05-17 2024-06-18 Stryker Corporation Medical imaging
JP2022179219A (ja) * 2021-05-21 2022-12-02 富士フイルム株式会社 医療画像処理システムおよびその作動方法
US20220375501A1 (en) * 2021-05-24 2022-11-24 Getac Technology Corporation Automated classification and indexing of events using machine learning
EP4104743A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
CN117836870A (zh) * 2021-07-04 2024-04-05 Ai瓦力股份有限公司 用于实时处理医学图像的系统和方法
KR102640314B1 (ko) * 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
CN117693318A (zh) * 2021-07-19 2024-03-12 奥瑞斯健康公司 经皮医疗规程的阶段分割
DE102021120300A1 (de) 2021-08-04 2023-02-09 Carl Zeiss Meditec Ag Fusion von räumlichem und zeitlichem kontext für eine lokalisierung für visualisierungssysteme
CA3228337A1 (en) 2021-08-09 2023-02-16 Vektor Medical, Inc. Tissue state graphic display system
CN113553460B (zh) * 2021-08-13 2022-06-28 北京安德医智科技有限公司 影像检索方法及装置、电子设备和存储介质
WO2023023509A1 (en) * 2021-08-17 2023-02-23 Theator inc. Automated analysis of video data during surgical procedures using artificial intelligence
KR102627401B1 (ko) * 2021-08-19 2024-01-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
CN113492410B (zh) * 2021-09-09 2022-03-18 成都博恩思医学机器人有限公司 显示机器人操作过程的方法、系统、机械设备及存储介质
CN113821681B (zh) * 2021-09-17 2023-09-26 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
DE102021210899A1 (de) * 2021-09-29 2023-03-30 Siemens Healthcare Gmbh Automatisiertes datenbasiertes Bereitstellen einer patientenspezifischen medizinischen Handlungsempfehlung
US20230114376A1 (en) * 2021-10-08 2023-04-13 Sanctuary Cognitive Systems Corporation Systems, robots, and methods for selecting classifiers based on context
CN113742527A (zh) * 2021-11-08 2021-12-03 成都与睿创新科技有限公司 一种基于人工智能检索和提取手术视频片段的方法及系统
CN114121208A (zh) * 2021-11-22 2022-03-01 华平祥晟(上海)医疗科技有限公司 一种基于可视化资料的手术记录质量控制方法
CN113822894B (zh) * 2021-11-25 2022-02-08 武汉大学 十二指肠胰头图像识别方法和十二指肠胰头图像识别装置
CN113888541B (zh) * 2021-12-07 2022-03-25 南方医科大学南方医院 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
WO2023111844A1 (en) * 2021-12-13 2023-06-22 Rapid Medical Ltd. Analyzing actions, automatic correction of actions, and decision support and automation during endovascular procedures
US20230200723A1 (en) * 2021-12-27 2023-06-29 Matrixcare, Inc. Wound management system for predicting and treating wounds
KR102642303B1 (ko) * 2021-12-27 2024-02-29 (주)헬스허브 인공지능 상황인지 녹화 시스템 및 그 방법
US11699519B1 (en) 2022-01-04 2023-07-11 Ix Innovation Llc System for maintaining and controlling surgical tools
US11457983B1 (en) * 2022-01-04 2022-10-04 Ix Innovation Llc Methods and systems for using voice input to control a surgical robot
CN114366085B (zh) * 2022-01-12 2024-07-26 武汉泰乐奇信息科技有限公司 基于双重感应骨骼模型的医学动作分析方法和装置
CN114267440B (zh) * 2022-03-01 2022-06-14 四川大学华西医院 医疗订单信息处理方法、装置和计算机可读存储介质
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room
US20240029881A1 (en) * 2022-07-15 2024-01-25 Optum, Inc. Planning system based on risks of surgical error
WO2024046938A1 (en) * 2022-08-31 2024-03-07 Koninklijke Philips N.V. Improving communication between local technologists
EP4332984A1 (en) * 2022-08-31 2024-03-06 Koninklijke Philips N.V. Systems and methods for improving communication between local technologists within a radiology operations command center (rocc) framework
WO2024111386A1 (ja) * 2022-11-21 2024-05-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
KR20240075418A (ko) * 2022-11-22 2024-05-29 (주)휴톰 시각적 다중 모달리티에 기초하여 수술 단계를 인식하는 방법 및 장치
WO2024137133A1 (en) * 2022-12-19 2024-06-27 Genesis Medtech (USA) Inc. Methods and apparatus for tracking anatomical structure in video assisted surgeries
WO2024145110A1 (en) * 2022-12-27 2024-07-04 Stryker Corporation Intelligent medical report generation
US20240207626A1 (en) * 2022-12-27 2024-06-27 Stryker Corporation Systems and methods for evaluating a medical workflow
US20240221895A1 (en) * 2022-12-30 2024-07-04 Cilag Gmbh International Surgical data specialty harmonization for training machine learning models
DE102023200231A1 (de) 2023-01-12 2024-07-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Evaluieren einer Steuerung einer Robotervorrichtung
CN116327372A (zh) * 2023-04-10 2023-06-27 极限人工智能有限公司 一种具有触力反馈的手术器械、方法及手术机器人
JP7403895B1 (ja) * 2023-05-10 2023-12-25 株式会社クオトミー 施術動画のタグ付け装置
CN116705215B (zh) * 2023-08-04 2023-09-29 南京诺源医疗器械有限公司 一种用于脑室检测的荧光标记系统
CN116884570B (zh) * 2023-09-06 2023-12-12 南京诺源医疗器械有限公司 一种基于图像处理的术中实时仿真疗效评估系统
CN117944070B (zh) * 2024-03-26 2024-06-04 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5791907A (en) 1996-03-08 1998-08-11 Ramshaw; Bruce J. Interactive medical training system
US20040078236A1 (en) 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
US6481381B2 (en) 2000-03-21 2002-11-19 Cats With An Attitude, Inc. Pet-play apparatus configured for interactive use
US7231135B2 (en) 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
JP2003263495A (ja) * 2002-03-08 2003-09-19 Hitachi Medical Corp 医療情報管理システム
US7460659B2 (en) * 2002-09-27 2008-12-02 Rockwell Electronic Commerce Best practices learning for agents in a communication system
JP3675437B2 (ja) * 2002-10-28 2005-07-27 ソニー株式会社 情報記録再生処理装置、および方法、並びにコンピュータ・プログラム
US7082572B2 (en) 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US8055323B2 (en) 2003-08-05 2011-11-08 Imquant, Inc. Stereotactic system and method for defining a tumor treatment region
US8675059B2 (en) 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US8095379B2 (en) 2003-12-30 2012-01-10 Cerner Innovation, Inc. System and method for preemptive determination of the potential for an atypical clinical event related to the administering of medication
EP1706837A2 (en) 2004-01-16 2006-10-04 Disease Management Services, Plc Disease management system
US20060143060A1 (en) 2004-12-28 2006-06-29 General Electric Company Integrated scheduling system for health care providers
US20060159325A1 (en) 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
US7966269B2 (en) * 2005-10-20 2011-06-21 Bauer James D Intelligent human-machine interface
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20080183068A1 (en) * 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
US20080243064A1 (en) 2007-02-15 2008-10-02 Hansen Medical, Inc. Support structure for robotic medical instrument
WO2008131362A2 (en) 2007-04-20 2008-10-30 Doheny Eye Institute Personal surgical center
US10032236B2 (en) 2007-04-26 2018-07-24 General Electric Company Electronic health record timeline and the human figure
JP2009077362A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
FR2920086A1 (fr) * 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
CA2723301C (en) 2008-05-27 2016-12-06 Stryker Corporation Wireless medical room control arrangement for control of a plurality of medical devices
KR101068916B1 (ko) 2008-07-03 2011-09-29 삼성메디슨 주식회사 의료 장치
US20100036676A1 (en) 2008-08-07 2010-02-11 E-Merge Health Solutions, Ltd. Computer implemented medical treatment management system
US8471899B2 (en) 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
US20120035963A1 (en) * 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
CN105342563B (zh) 2009-07-16 2019-03-05 瑞思迈有限公司 睡眠状况的检测
US20110225000A1 (en) * 2009-09-08 2011-09-15 Niazy Selim System for management and reporting of patient data
US8432472B2 (en) 2009-10-15 2013-04-30 Apple Inc. Camera for displaying digital images
US8392342B2 (en) 2009-11-18 2013-03-05 Empire Technology Development Llc Method and apparatus for predicting movement of a tool in each of four dimensions and generating feedback during surgical events using a 4D virtual real-time space
US20110264528A1 (en) * 2010-04-26 2011-10-27 Whale Peter Contextual recommendations through proposed actions
US10339270B2 (en) 2010-05-10 2019-07-02 Vascular Management Associates, Inc. Billing system for medical procedures
EP2577641A4 (en) * 2010-05-26 2015-11-18 Health Research Inc METHOD AND SYSTEM FOR AUTOMATIC DETERMINATION OF A TOOL POSITION FOR EXERCISING MINIMALLY INVASIVE SURGICAL PROCEDURES
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
US8948478B2 (en) * 2010-10-08 2015-02-03 Codonics, Inc. Multi-media medical record system
CN103370015B (zh) 2011-02-15 2016-12-21 直观外科手术操作公司 用于指示夹紧预测的系统
US9396533B2 (en) 2011-05-11 2016-07-19 Frank M. Skidmore Method, systems and computer program products for medical brain imaging analysis
CN103348374B (zh) 2011-10-11 2016-09-28 奥林巴斯株式会社 医疗信息管理系统和管理装置
AU2012340272B2 (en) 2011-11-17 2016-03-03 The Cleveland Clinic Foundation Graphical tool for managing a longitudinal patient episode
US20140328570A1 (en) 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
JP6382802B2 (ja) * 2012-06-28 2018-08-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット操作される内視鏡を使用した血管可視化の向上
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9094692B2 (en) 2012-10-05 2015-07-28 Ebay Inc. Systems and methods for marking content
US20140220527A1 (en) 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
KR102119534B1 (ko) 2013-03-13 2020-06-05 삼성전자주식회사 수술 로봇 및 그 제어방법
US9691428B2 (en) 2013-03-15 2017-06-27 Fitbit, Inc. Identifying available exercises for customizing an exercise session
WO2014139021A1 (en) 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Intramodal synchronization of surgical data
US9171477B2 (en) 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
US9619849B2 (en) 2013-03-26 2017-04-11 Eric Lee Rock Healthcare delivery system and method
US20150046182A1 (en) 2013-08-06 2015-02-12 Atigeo Llc Methods and automated systems that assign medical codes to electronic medical records
EP3060129B1 (en) 2013-10-25 2022-04-06 Philips Image Guided Therapy Corporation Systems for vessel assessment
CA2929282A1 (en) * 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system
JP6359264B2 (ja) * 2013-11-15 2018-07-18 キヤノンメディカルシステムズ株式会社 手術情報管理装置
US20150190208A1 (en) 2014-01-06 2015-07-09 Covidien Lp System and method for user interaction with medical equipment
US10373516B2 (en) 2014-03-07 2019-08-06 Global Vocabulary Llc Method for facilitating contextual vocabulary acquisition through association
US9747687B2 (en) * 2014-04-24 2017-08-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
US20210290046A1 (en) 2014-05-09 2021-09-23 X-Biomedical, Inc. Portable surgical methods, systems, and apparatus
CN106999257A (zh) 2014-09-23 2017-08-01 外科安全技术公司 手术室黑盒设备、系统、方法和计算机可读介质
US20190362859A1 (en) 2014-11-19 2019-11-28 Kiran K. Bhat System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US11275757B2 (en) 2015-02-13 2022-03-15 Cerner Innovation, Inc. Systems and methods for capturing data, creating billable information and outputting billable information
US10733267B2 (en) 2015-02-27 2020-08-04 Surgical Black Box Llc Surgical data control system
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
US11322248B2 (en) 2015-03-26 2022-05-03 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium for event and error prediction
KR20180005684A (ko) * 2015-05-07 2018-01-16 지멘스 악티엔게젤샤프트 해부학적 모델 증강을 통한 복강경 수술 절차들의 안내를 위한 시스템 및 방법
CA2986462A1 (en) 2015-05-20 2016-11-24 Gravitas Medical, Inc. Methods and apparatus for guiding medical care based on sensor data from the gastrointestinal tract
CN107667380A (zh) 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统
JP6912393B2 (ja) 2015-06-09 2021-08-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療環境におけるビデオの内容検索
US10692395B2 (en) 2015-08-17 2020-06-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
US20170053543A1 (en) * 2015-08-22 2017-02-23 Surgus, Inc. Commenting and performance scoring system for medical videos
US20170083665A1 (en) * 2015-09-23 2017-03-23 Siemens Healthcare Gmbh Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information
EP3367919A4 (en) 2015-10-29 2019-07-10 Sharp Fluidics LLC SYSTEMS AND METHOD FOR DATA COLLECTION IN AN OPERATING ROOM
CA3001622A1 (en) 2015-11-03 2017-05-11 Fresenius Medical Care Holdings, Inc. Method and apparatus of assessment of access flow in hemodialysis patients by video imaging processing
US20170132785A1 (en) 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
CN108472084B (zh) * 2015-11-12 2021-08-27 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
US20170177807A1 (en) 2015-12-21 2017-06-22 Gavin Fabian Enhanced user interface for a system and method for optimizing surgical team composition and surgical team procedure resource management
DE112016006135T5 (de) * 2015-12-30 2018-09-20 Koninklijke Philips N.V. Vorrichtung für medizinische Berichte
US20170300651A1 (en) 2016-03-16 2017-10-19 CRF Inc. Platform which correlates data for recommendation
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11370113B2 (en) 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
US10342410B2 (en) 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
CN109996509B (zh) 2016-11-11 2023-04-14 直观外科手术操作公司 带有基于外科医生技能水平的器械控制的远程操作手术系统
US10839221B2 (en) * 2016-12-21 2020-11-17 Facebook, Inc. Systems and methods for compiled video generation
KR20240059645A (ko) 2017-01-11 2024-05-07 매직 립, 인코포레이티드 의료 보조기
EP3574504A1 (en) 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US9836654B1 (en) 2017-02-28 2017-12-05 Kinosis Ltd. Surgical tracking and procedural map analysis tool
EP3613057A4 (en) 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
AU2018255892A1 (en) 2017-04-21 2019-11-07 Medicrea International A system for providing intraoperative tracking to assist spinal surgery
US11229496B2 (en) 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US20190019574A1 (en) * 2017-07-14 2019-01-17 TruConsent System and method for creating an electronic consent-based medical record
US10878966B2 (en) * 2017-08-13 2020-12-29 Theator inc. System and method for analysis and presentation of surgical procedure videos
EP3672496A4 (en) 2017-08-23 2021-04-28 The General Hospital Corporation SUPPORT OF A SURGICAL DECISION USING A THEORETICAL DECISION MODEL
EP3675743B1 (en) 2017-08-29 2024-04-17 Leavitt Medical, Inc. Biopsy tissue sample cassette and related systems and methods
CN111226288B (zh) * 2017-10-17 2022-03-29 威里利生命科学有限责任公司 用于对外科手术视频分段的系统和方法
US11911045B2 (en) * 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11166772B2 (en) * 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
KR101862360B1 (ko) * 2017-12-28 2018-06-29 (주)휴톰 수술결과에 대한 피드백 제공방법 및 프로그램
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
WO2019139478A1 (en) 2018-01-10 2019-07-18 Topic Ip3 B.V. A method of, and system for notifying medical staff involved in performing medical procedures in an operating room
US20190223961A1 (en) 2018-01-19 2019-07-25 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
US11967422B2 (en) 2018-03-05 2024-04-23 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US20190371456A1 (en) 2018-05-31 2019-12-05 General Electric Company Operating room status and predictive scheduling
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
US10987176B2 (en) 2018-06-19 2021-04-27 Tornier, Inc. Virtual guidance for orthopedic surgical procedures
EP3826525A4 (en) 2018-07-25 2022-04-20 The Trustees of The University of Pennsylvania METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE
US20180345129A1 (en) 2018-07-27 2018-12-06 Yogesh Rathod Display virtual objects within predefined geofence or receiving of unique code from closest beacon
WO2020056086A1 (en) 2018-09-12 2020-03-19 Orthogrid Systems, Inc. An artificial intelligence intra-operative surgical guidance system and method of use
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US10930395B2 (en) 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
US10910103B2 (en) 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
WO2020142537A1 (en) 2018-12-31 2020-07-09 Engauge LLC Surgical media streaming, archiving, and analysis platform
US11605161B2 (en) 2019-01-10 2023-03-14 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
US20200258616A1 (en) 2019-02-07 2020-08-13 The Regents Of The University Of Michigan Automated identification and grading of intraoperative quality
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US10791301B1 (en) 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
US10646156B1 (en) 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
US20210158845A1 (en) 2019-11-25 2021-05-27 Dell Products L. P. Automatically segmenting and indexing a video using machine learning

Also Published As

Publication number Publication date
EP3928325A1 (en) 2021-12-29
EP4235691A3 (en) 2023-12-27
US11763923B2 (en) 2023-09-19
BR112021016621A2 (pt) 2021-11-03
KR102572006B1 (ko) 2023-08-31
CA3126444A1 (en) 2020-08-27
IL283770A (en) 2021-07-29
IL283770B (en) 2022-01-01
US20240055088A1 (en) 2024-02-15
KR20210132130A (ko) 2021-11-03
US10729502B1 (en) 2020-08-04
JP2024054349A (ja) 2024-04-16
US20200273552A1 (en) 2020-08-27
CN113748468B (zh) 2023-03-10
US20220301674A1 (en) 2022-09-22
IL283769A (en) 2021-07-29
IL283767B (en) 2022-01-01
AU2020224128A1 (en) 2021-07-08
US10943682B2 (en) 2021-03-09
IL283773B (en) 2022-02-01
KR102694422B1 (ko) 2024-08-14
WO2020172414A1 (en) 2020-08-27
US20200268457A1 (en) 2020-08-27
US20210012868A1 (en) 2021-01-14
IL283772A (en) 2021-07-29
US10886015B2 (en) 2021-01-05
US11380431B2 (en) 2022-07-05
US20230401649A1 (en) 2023-12-14
IL283773A (en) 2021-07-29
IL283772B (en) 2022-02-01
JP2022520701A (ja) 2022-04-01
EP3928325C0 (en) 2023-07-05
CN113748468A (zh) 2021-12-03
AU2020224128B2 (en) 2021-09-30
EP3928325B1 (en) 2023-07-05
US20200273575A1 (en) 2020-08-27
IL283767A (en) 2021-07-29
EP4235691A2 (en) 2023-08-30
US20200273548A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102572006B1 (ko) 수술 비디오의 분석을 위한 시스템 및 방법
US11769207B2 (en) Video used to automatically populate a postoperative report
US11116587B2 (en) Timeline overlay on surgical video
KR20240125989A (ko) 수술 비디오의 분석을 위한 시스템 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant