JP2023508566A - 構造光を使用する可視化システム - Google Patents

構造光を使用する可視化システム Download PDF

Info

Publication number
JP2023508566A
JP2023508566A JP2022540479A JP2022540479A JP2023508566A JP 2023508566 A JP2023508566 A JP 2023508566A JP 2022540479 A JP2022540479 A JP 2022540479A JP 2022540479 A JP2022540479 A JP 2022540479A JP 2023508566 A JP2023508566 A JP 2023508566A
Authority
JP
Japan
Prior art keywords
surgical
tissue
visualization
imaging
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022540479A
Other languages
English (en)
Inventor
シェルトン・ザ・フォース・フレデリック・イー
ハリス・ジェイソン・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of JP2023508566A publication Critical patent/JP2023508566A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087—Tools
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112—Connection or coupling means
    • A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00126—Connectors, fasteners and adapters, e.g. on the endoscope handle optical, e.g. for light supply cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00154—Holding or positioning arrangements using guiding arrangements for insertion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/053—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion being detachable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072—Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)

Abstract

複数の光源と、複数の光源からの撮像データを検出するように構成されたイメージセンサと、制御回路と、を含む可視化システムが開示される。光源のうちの少なくとも１つは、構造光のパターンを放出するように構成される。制御回路は、イメージセンサから撮像データを受信することと、撮像データによって検出された構造光のパターンから解剖学的構造の三次元デジタル表現を生成することと、撮像データからメタデータを取得することと、メタデータを三次元デジタル表現上にオーバーレイすることと、イメージセンサから更新された撮像データを受信することと、更新された撮像データに基づいて解剖学的構造の更新された三次元デジタル表現を生成することと、を行うように構成される。可視化システムは、複数の外科用デバイスからの入力信号に基づいて外科的シナリオを決定するように構成された状況認識モジュールに通信可能に結合され得る。

Description

外科用システムは、例えばモニタなどの１つ又は２つ以上のディスプレイ上で、臨床医が手術部位及び／又はその１つ又は２つ以上の部分を観察することを可能にできる撮像システムを組み込むことが多い。ディスプレイは、手術現場に対してローカル及び／又はリモートであってもよい。撮像システムは、手術部位を観察し、かつ臨床医によって見ることができるディスプレイに画像を送信するカメラ付きのスコープを含むことができる。スコープとしては、関節鏡スコープ、血管内視鏡、気管支鏡、胆道鏡、結腸鏡、サイトスコープ（cytoscope）、十二指腸内視鏡、腸鏡、食道十二指腸鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識し、かつ／又は臨床医に伝達できる情報によって制限され得る。例えば、三次元空間内の特定の隠れた構造体、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識不可能である場合がある。加えて、特定の撮像システムは、手術中に臨床医に特定の情報を通信すること、及び／又は伝達することができない場合がある。
一般的な一態様では、第１の波長で構造光の第１のパターンを放出するように構成された第１の光源と、第１の波長とは異なる第２の波長で構造光の第２のパターンを放出するように構成された第２の光源と、解剖学的構造上で構造光の第１のパターン及び構造光の第２のパターンを検出するように構成されたイメージセンサと、制御回路と、を備える外科用可視化システムが開示される。制御回路は、イメージセンサから第１の撮像データを受信するように構成されている。第１の撮像データは、イメージセンサによって検出された構造光の第１のパターンからの解剖学的構造の外側表面輪郭を示す。制御回路は、イメージセンサから第２の撮像データを受信することを行うように更に構成されている。第２の撮像データは、構造光の第２のパターンからの解剖学的構造の表面下輪郭を示す。制御回路は、外側表面輪郭及び表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することを行うように更に構成されている。
別の一般的な態様では、コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、イメージセンサによって、解剖学的表面輪郭上の構造光の第１のパターン及び解剖学的表面輪郭の表面下輪郭上の構造光の第２のパターンを検出することを機械に行わせる、非一時的コンピュータ可読媒体が開示される。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、構造光の第１のパターンを示す第１の撮像データ及び構造光の第２のパターンを示す第２の撮像データを制御回路に送信することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、制御回路によって、第１の撮像データ及び第２の撮像データを処理することを更に機械に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、制御回路によって、解剖学的表面輪郭及び表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することを更に機械に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、解剖学的構造の三次元デジタル表現をモニタに送信することを更に機械に行わせる、非一時的コンピュータ可読媒体。
更に別の一般的な態様では、複数の外科用デバイスからの入力信号に基づいて外科的シナリオを決定するように構成された状況認識モジュールを備える外科用システムが開示される。外科用システムは、複数の光源と、複数の光源から撮像データを検出するように構成されたイメージセンサと、状況認識モジュールに通信可能に結合された制御回路と、を備える可視化システムを更に備える。複数の光源のうちの少なくとも１つは、構造光のあるパターンを解剖学的構造上に放出するように構成される。制御回路は、イメージセンサから撮像データを受信することと、撮像データによって検出された構造光のパターンから解剖学的構造の三次元デジタル表現を生成することと、撮像データからメタデータを取得することと、三次元デジタル表現上にメタデータをオーバーレイすることと、イメージセンサから更新された撮像データを受信することと、更新された撮像データに基づいて解剖学的構造の更新された三次元デジタル表現を生成することと、状況認識モジュールによって決定された外科的シナリオに応じて、解剖学的構造の更新された三次元デジタル表現上のオーバーレイされたメタデータを更新することと、を行うように構成されている。
様々な態様の新規特徴は、添付の「特許請求の範囲」に具体的に記載される。しかしながら、記載される態様は、構成及び操作の方法のいずれに関しても、以下の記載を添付の図面と共に参照することにより最良に理解され得る。
本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムであって、組織表面の下の重要構造を識別するように構成されている、外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている制御回路を示す図である。 本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている組み合わせ論理回路を示す図である。 本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている順序論理回路を示す図である。 本開示の少なくとも１つの態様による、組織表面の下の重要構造の深さｄａを決定するための、図１の外科用装置と、撮像装置と、重要構造との間の三角測量を示す概略図である。 本開示の少なくとも１つの態様による、組織表面の下の重要構造を識別するように構成されている外科用可視化システムの概略図であり、外科用可視化システムは、組織表面の下の重要構造の深さｄａを決定するためのパルス光源を含む。 本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムであって、組織表面の下の重要構造を識別するように構成されている、外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、三次元カメラを含む外科用可視化システムであって、組織内に埋め込まれた重要構造を識別するように構成されている、外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であって、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。 本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であって、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。 本開示の少なくとも１つの態様による、三次元カメラから重要構造までのカメラ－重要構造間距離ｄｗを決定することができる、図６の外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために２つのカメラを利用する外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、複数の既知の位置間を軸方向に移動するカメラを利用する外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、カメラが複数の既知の位置間を軸方向かつ回転方向に移動する、図１０Ａの外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの構造光源の概略図である。 本開示の少なくとも１つの態様による、様々な生物学的材料に対する吸収係数対波長のグラフである。 本開示の少なくとも１つの態様による、スペクトル外科用可視化システムを介した解剖学的構造の可視化の概略図である。 本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示す図であって、図１３Ｃは、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１３Ｄは、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１３Ｅは、神経シグネチャ対覆い隠すもののグラフ表示である。 本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示す図であって、図１３Ｃは、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１３Ｄは、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１３Ｅは、神経シグネチャ対覆い隠すもののグラフ表示である。 本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示す図であって、図１３Ｃは、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１３Ｄは、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１３Ｅは、神経シグネチャ対覆い隠すもののグラフ表示である。 本開示の少なくとも１つの態様による、重要な解剖学的構造までの距離を感知するように構成されている近赤外（ＮＩＲ）飛行時間測定システムであって、共通の装置上に配置された送信器（エミッタ）と、受信器（センサ）とを含む、飛行時間測定システムの概略図である。 本開示の少なくとも１つの態様による、図１７ＡのＮＩＲ飛行時間測定システムの放出された波、受信された波、及び放出された波と受信された波との間の遅延の概略図である。 本開示の少なくとも１つの態様による、重要構造までの距離を感知するように構成されているＮＩＲ飛行時間測定システムを示し、飛行時間測定システムは、別の装置上の送信器（エミッタ）と、受信器（センサ）とを含む。 本開示の少なくとも１つの態様による、コンピュータ実施インタラクティブ外科用システムのブロック図である。 本開示の少なくとも１つの態様による、手術室内で外科処置を実施するために使用される外科用システムの図である。 本開示の少なくとも１つの態様による、コンピュータ実施インタラクティブ外科用システムを示す図である。 本開示の少なくとも１つの態様による、状況認識外科システムの図である。 本開示の少なくとも１つの態様による、ハブの状況認識を示すタイムラインを示す図である。 本開示の少なくとも１つの態様による、適応型外科用可視化システムを含むコンピュータ実施インタラクティブ外科用システムの各部分を示す概略図である。 本開示の少なくとも１つの態様による、構造光プロジェクタとカメラとを含む外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、構造光プロジェクタとカメラとを含む外科用デバイスを含む外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、組織を可視化し、予想される屈折度を示すための外科用デバイスの概略図である。 本開示の少なくとも１つの態様による、実際の屈折性を示す図２５Ａの外科用デバイスの概略図である。 本開示の少なくとも１つの態様による、ビデオ支援胸腔鏡下手術（ＶＡＴＳ）処置のための外科用器具アクセス経路の図である。 本開示の少なくとも１つの態様による、ＶＡＴＳ処置に関連する様々な座標系の図である。 本開示の少なくとも１つの態様による、外科用器具の配向の変化に応答した、ディスプレイ及びユーザコントロールの配向の変化を示す図である。 本開示の少なくとも１つの態様による、表示される座標系に従ってディスプレイ及び／又はユーザコントロールを調整するプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、図２７の外科処置のカメラビューを示す図である。 本開示の少なくとも１つの態様による、手術部位の三次元（３Ｄ）表現が生成され得る画像ソースの図である。 本開示の少なくとも１つの態様による、撮像システムによって提供される図２７の外科処置の可視化表示及びグラフィカルユーザインターフェース（ＧＵＩ）の図である。 本開示の少なくとも１つの態様による、第１の視点（ＰＯＶ）に調整された図３２の可視化表示である。 本開示の少なくとも１つの態様による、第２の視点（ＰＯＶ）に調整された図３２の可視化表示である。 本開示の少なくとも１つの態様による、可視化表示を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、２つのカメラを利用するＶＡＴＳ処置の図である。 本開示の少なくとも１つの態様による、図３６のＶＡＴＳ処置中に撮像されている肺の図である。 本開示の少なくとも１つの態様による、図３６及び図３７のＶＡＴＳ処置の可視化表示及びＧＵＩである。 本開示の少なくとも１つの態様による、可視化表示を制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、三次元モデルを臨床医に伝達するプロセスの論理フロー図である。
本願の出願人は、同時に出願された以下の米国特許出願を所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・ 代理人整理番号ＥＮＤ９２２８ＵＳＮＰ１／１９０５８０－１Ｍ、発明の名称「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥＳ ＩＮ ＳＵＲＧＥＲＹ」、
・ 代理人整理番号ＥＮＤ９２２７ＵＳＮＰ１／１９０５７９－１、発明の名称「ＡＤＡＰＴＩＶＥ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＢＹ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」、
・ 代理人整理番号ＥＮＤ９２２６ＵＳＮＰ１／１９０５７８－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＳＥＮＳＥＤ ＰＡＲＡＭＥＴＥＲＳ」、
・ 代理人整理番号ＥＮＤ９２２５ＵＳＮＰ１／１９０５７７－１、発明の名称「ＡＤＡＰＴＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＡＣＣＯＲＤＩＮＧ ＴＯ ＳＵＲＧＩＣＡＬ ＳＭＯＫＥ ＰＡＲＴＩＣＬＥ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ」、
・ 代理人整理番号ＥＮＤ９２２４ＵＳＮＰ１／１９０５７６－１、発明の名称「ＡＤＡＰＴＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＡＣＣＯＲＤＩＮＧ ＴＯ ＳＵＲＧＩＣＡＬ ＳＭＯＫＥ ＣＬＯＵＤ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ」、
・ 代理人整理番号ＥＮＤ９２２３ＵＳＮＰ１／１９０５７５－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＣＯＲＲＥＬＡＴＩＮＧ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＤＡＴＡ ＡＮＤ ＰＯＷＥＲＥＤ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＤＡＴＡ」、
・ 代理人整理番号ＥＮＤ９２２２ＵＳＮＰ１／１９０５７４－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＮＳＴＲＵＣＴＳ ＯＦ ＡＮＡＴＯＭＩＣＡＬ ＯＲＧＡＮＳ ＡＮＤ ＣＯＵＰＬＩＮＧ ＩＤＥＮＴＩＦＩＥＤ」、
・ 代理人整理番号ＥＮＤ９２２１ＵＳＮＰ１／１９０５７３－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＦＯＲ ＯＶＥＲＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＤＡＴＡ ＯＮＴＯ Ａ ＶＩＲＴＵＡＬ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＮＳＴＲＵＣＴ ＯＦ ＡＮ ＯＲＧＡＮ」、
・ 代理人整理番号ＥＮＤ９２２０ＵＳＮＰ１／１９０５７２－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＰＲＯＰＯＳＩＮＧ ＡＮＤ ＣＯＲＲＯＢＯＲＡＴＩＮＧ ＯＲＧＡＮ ＰＯＲＴＩＯＮ ＲＥＭＯＶＡＬＳ」、
・ 代理人整理番号ＥＮＤ９２１９ＵＳＮＰ１／１９０５７１－１、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ，ＡＤＪＵＳＴＩＮＧ，ＡＮＤ ＭＡＮＡＧＩＮＧ ＲＥＳＥＣＴＩＯＮ ＭＡＲＧＩＮ ＡＢＯＵＴ Ａ ＳＵＢＪＥＣＴ ＴＩＳＳＵＥ」、
・ 代理人整理番号ＥＮＤ９２１７ＵＳＮＰ１／１９０５６９－１、発明の名称「ＤＹＮＡＭＩＣ ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ」、及び
・ 代理人整理番号ＥＮＤ９２１６ＵＳＮＰ１／１９０５６８－１、発明の名称「ＡＮＡＬＹＺＩＮＧ ＳＵＲＧＩＣＡＬ ＴＲＥＮＤＳ ＢＹ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」。
本願の出願人は、２０１９年３月１５日に出願された以下の米国特許出願を所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・ 米国特許出願第１６／３５４，４１７号、発明の名称「ＩＮＰＵＴ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」、
・ 米国特許出願第１６／３５４，４２０号、発明の名称「ＤＵＡＬ ＭＯＤＥ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」、
・ 米国特許出願第１６／３５４，４２２号、発明の名称「ＭＯＴＩＯＮ ＣＡＰＴＵＲＥ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」、
・ 米国特許出願第１６／３５４，４４０号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＭＥＣＨＡＮＩＳＭＳ ＦＯＲ ＳＣＡＬＩＮＧ ＳＵＲＧＩＣＡＬ ＴＯＯＬ ＭＯＴＩＯＮ ＡＣＣＯＲＤＩＮＧ ＴＯ ＴＩＳＳＵＥ ＰＲＯＸＩＭＩＴＹ」、
・ 米国特許出願第１６／３５４，４４４号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＭＥＣＨＡＮＩＳＭＳ ＦＯＲ ＳＣＡＬＩＮＧ ＣＡＭＥＲＡ ＭＡＧＮＩＦＩＣＡＴＩＯＮ ＡＣＣＯＲＤＩＮＧ ＴＯ ＰＲＯＸＩＭＩＴＹ ＯＦ ＳＵＲＧＩＣＡＬ ＴＯＯＬ ＴＯ ＴＩＳＳＵＥ」、
・ 米国特許出願第１６／３５４，４５４号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＳＥＬＥＣＴＩＶＥＬＹ ＬＯＣＫＡＢＬＥ ＥＮＤ ＥＦＦＥＣＴＯＲＳ」、
・ 米国特許出願第１６／３５４，４６１号、発明の名称「ＳＥＬＥＣＴＡＢＬＥ ＶＡＲＩＡＢＬＥ ＲＥＳＰＯＮＳＥ ＯＦ ＳＨＡＦＴ ＭＯＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭＳ」、
・ 米国特許出願第１６／３５４，４７０号、発明の名称「ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＲＯＬ ＩＮＰＵＴＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭＳ」、
・ 米国特許出願第１６／３５４，４７４号、名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ ＨＡＶＩＮＧ ＦＥＥＤＢＡＣＫ ＣＡＰＡＢＩＬＩＴＩＥＳ」、
・ 米国特許出願第１６／３５４，４７８号、名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＦＯＲＣＥ ＦＥＥＤＢＡＣＫ」、及び
・ 米国特許出願第１６／３５４，４８１号、発明の名称「ＪＡＷ ＣＯＯＲＤＩＮＡＴＩＯＮ ＯＦ ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ」。
本願の出願人は、２０１８年９月１１日に出願された以下の米国特許出願をも所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・ 米国特許出願第１６／１２８，１７９号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」、
・ 米国特許出願第１６／１２８，１８０号、発明の名称「ＣＯＮＴＲＯＬＬＩＮＧ ＡＮ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ ＰＵＬＳＥ ＳＥＱＵＥＮＣＥ」、
・ 米国特許出願第１６／１２８，１９８号、発明の名称「ＳＩＮＧＵＬＡＲ ＥＭＲ ＳＯＵＲＣＥ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ」、
・ 米国特許出願第１６／１２８，２０７号、発明の名称「ＣＯＭＢＩＮＡＴＩＯＮ ＥＭＩＴＴＥＲ ＡＮＤ ＣＡＭＥＲＡ ＡＳＳＥＭＢＬＹ」、
・ 米国特許出願第１６／１２８，１７６号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＷＩＴＨ ＰＲＯＸＩＭＩＴＹ ＴＲＡＣＫＩＮＧ ＦＥＡＴＵＲＥＳ」、
・ 米国特許出願第１６／１２８，１８７号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＭＵＬＴＩＰＬＥ ＴＡＲＧＥＴＳ」、
・ 米国特許出願第１６／１２８，１９２号、発明の名称「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」、
・ 米国特許出願第１６／１２８，１６３号、発明の名称「ＯＰＥＲＡＴＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＯＦ ＬＩＧＨＴ」、
・ 米国特許出願第１６／１２８，１９７号、発明の名称「ＲＯＢＯＴＩＣ ＬＩＧＨＴ ＰＲＯＪＥＣＴＩＯＮ ＴＯＯＬＳ」、
・ 米国特許出願第１６／１２８，１６４号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭ」、
・ 米国特許出願第１６／１２８，１９３号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＡＮＤ ＭＯＮＩＴＯＲＩＮＧ」、
・ 米国特許出願第１６／１２８，１９５号、発明の名称「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」、
・ 米国特許出願第１６／１２８，１７０号、発明の名称「ＲＯＢＯＴＩＣＡＬＬＹ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」、
・ 米国特許出願第１６／１２８，１８３号、発明の名称「ＳＡＦＥＴＹ ＬＯＧＩＣ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」、
・ 米国特許出願第１６／１２８，１７２号、発明の名称「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＳＥＰＡＲＡＴＥ ＰＨＯＴＯＡＣＯＵＳＴＩＣ ＲＥＣＥＩＶＥＲ」、及び
・ 米国特許出願第１６／１２８，１８５号、発明の名称「ＦＯＲＣＥ ＳＥＮＳＯＲ ＴＨＲＯＵＧＨ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ ＤＥＦＬＥＣＴＩＯＮ」。
本願の出願人は、２０１８年３月２９日に出願された以下の米国特許出願をも所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・ 米国特許出願第１５／９４０，６２７号、発明の名称「ＤＲＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」（現在は米国特許出願公開第２０１９／０２０１１１１号）、
・ 米国特許出願第１５／９４０，６７６号、発明の名称「ＡＵＴＯＭＡＴＩＣ ＴＯＯＬ ＡＤＪＵＳＴＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」（現在は米国特許出願公開第２０１９／０２０１１４２号）、
・ 米国特許出願第１５／９４０，７１１号、発明の名称「ＳＥＮＳＩＮＧ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」（現在は米国特許出願公開第２０１９／０２０１１２０号）、及び
・ 米国特許出願第１５／９４０，７２２号、発明の名称「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」（現在は米国特許出願公開第２０１９／０２００９０５号）。
本出願の出願人は、２０１８年１２月４日に出願された以下の米国特許出願を所有しており、これらの各開示は、それらの全体が参照により本明細書に組み込まれる。
・ 米国特許出願第１６／２０９，３９５号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ」（現在は米国特許出願公開第２０１９／０２０１１３６号）、
・ 米国特許出願第１６／２０９，４０３号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」（現在は、米国特許出願公開第２０１９／０２０６５６９号）、
・ 米国特許出願第１６／２０９，４０７号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」（現在は米国特許出願公開第２０１９／０２０１１３７号）、
・ 米国特許出願第１６／２０９，４１６号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＤＩＳＰＬＡＹ，ＡＮＤ ＣＬＯＵＤ ＡＮＡＬＹＴＩＣＳ」（現在は米国特許出願公開第２０１９／０２０６５６２号）、
・ 米国特許出願第１６／２０９，４２３号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」（現在は米国特許出願公開第２０１９／０２００９８１号）、
・ 米国特許出願第１６／２０９，４２７号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＲＥＩＮＦＯＲＣＥＤ ＦＬＥＸＩＢＬＥ ＣＩＲＣＵＩＴＳ ＷＩＴＨ ＭＵＬＴＩＰＬＥ ＳＥＮＳＯＲＳ ＴＯ ＯＰＴＩＭＩＺＥ ＰＥＲＦＯＲＭＡＮＣＥ ＯＦ ＲＡＤＩＯ ＦＲＥＱＵＥＮＣＹ ＤＥＶＩＣＥＳ」（現在は米国特許出願公開第２０１９／０２０８６４１号）、
・ 米国特許出願第１６／２０９，４３３号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＳＥＮＳＩＮＧ ＰＡＲＴＩＣＵＬＡＴＥ ＦＲＯＭ ＳＭＯＫＥ ＥＶＡＣＵＡＴＥＤ ＦＲＯＭ Ａ ＰＡＴＩＥＮＴ，ＡＤＪＵＳＴＩＮＧ ＴＨＥ ＰＵＭＰ ＳＰＥＥＤ ＢＡＳＥＤ ＯＮ ＴＨＥ ＳＥＮＳＥＤ ＩＮＦＯＲＭＡＴＩＯＮ，ＡＮＤ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＴＨＥ ＦＵＮＣＴＩＯＮＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＴＨＥ ＳＹＳＴＥＭ ＴＯ ＴＨＥ ＨＵＢ」（現在は米国特許出願公開第２０１９／０２０１５９４号）、
・ 米国特許出願第１６／２０９，４４７号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＳＭＯＫＥ ＥＶＡＣＵＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＨＵＢ」（現在は米国特許出願公開第２０１９／０２０１０４５号）、
・ 米国特許出願第１６／２０９，４５３号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」（現在は米国特許出願公開第２０１９／０２０１０４６号）、
・ 米国特許出願第１６／２０９，４５８号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥ ＩＮＦＲＡＳＴＲＵＣＴＵＲＥ」（現在は米国特許出願公開第２０１９／０２０１０４７号）、
・ 米国特許出願第１６／２０９，４６５号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＳＣＨＥＭＥＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＴＲＯＬ ＡＮＤ ＩＮＴＥＲＡＣＴＩＯＮ」（現在は米国特許出願公開第２０１９／０２０６５６３号）、
・ 米国特許出願第１６／２０９，４７８号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＮＥＣＴＥＤ ＤＥＶＩＣＥ ＣＡＰＡＢＬＥ ＯＦ ＡＤＪＵＳＴＩＮＧ ＦＵＮＣＴＩＯＮ ＢＡＳＥＤ ＯＮ Ａ ＳＥＮＳＥＤ ＳＩＴＵＡＴＩＯＮ ＯＲ ＵＳＡＧＥ」（現在は米国特許出願公開第２０１９／０１０４９１９号）、
・ 米国特許出願第１６／２０９，４９０号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＦＡＣＩＬＩＴＹ ＤＡＴＡ ＣＯＬＬＥＣＴＩＯＮ ＡＮＤ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ」（現在は米国特許出願公開第２０１９／０２０６５６４号）、及び
・ 米国特許出願第１６／２０９，４９１号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＣＩＲＣＵＬＡＲ ＳＴＡＰＬＥＲ ＣＯＮＴＲＯＬ ＡＬＧＯＲＩＴＨＭ ＡＤＪＵＳＴＭＥＮＴ ＢＡＳＥＤ ＯＮ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」（現在は米国特許出願公開第２０１９／０２００９９８号）。
外科用可視化プラットフォームの様々な態様を詳細に説明する前に、例示の実施例が、適用又は使用において、添付の図面及び明細書で例示される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実施されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ又は２つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ又は２つ以上と組み合わせることができるものと理解されたい。
外科用可視化システム
本開示は、患者の解剖学的構造及び／又は外科的処置に関する追加情報を取得するために「デジタル手術」を活用する外科用可視化プラットフォームを対象とする。外科用可視化プラットフォームは、データ及び／又は情報を、有用な方法で１人又は２人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び／又は外科処置の改善された可視化を提供する。
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な外科用可視化プラットフォームはロボット外科用システムと組み合わせて使用することができるが、外科用可視化プラットフォームはロボット外科用システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、高度な外科的可視化を起こすことができる。同様に、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を起こすことができる。
特定の例では、外科用可視化プラットフォームを組み込む外科用システムは、重要構造を識別し、回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。重要構造は、患者ごと及び／又は処置ごとに決定される場合がある。例示的な重要構造は、本明細書で更に説明される。スマート切開術は、切開のために改善された術中ガイダンスを提供することができ、及び／又は、例えば、重要な解剖学的検出及び回避技術によってよりスマートな決定を可能にすることができる。
外科用可視化プラットフォームを組み込んだ外科用システムはまた、改善されたワークフローによって最適な位置で更に確実な吻合を提供するスマート吻合術を可能にし得る。癌局在化法もまた、本明細書に記載される様々な外科用可視化プラットフォーム及び処置によって改善され得る。例えば、癌局在化法は、癌の位置、向き、及びそのマージンを特定し、追跡することができる。特定の例において、癌局在化法は、外科処置中に器具、患者、及び／又は患者の解剖学的構造の動きを補正し、臨床医を対象点に再誘導することができる。
本開示の特定の態様では、外科用可視化プラットフォームは、改善された組織特性評価及び／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特性評価技術は、特に切開時、及び／又は組織内のステープル留め装置の配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。本明細書に記載される特定の組織特性評価技術は、電離放射線及び／又は造影剤を使用せずに利用することができる。リンパ節診断及びマッピングに関して、外科用可視化プラットフォームは、例えば、癌診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置特定し、マッピングし、及び理想的には診断することができる。
外科処置中、臨床医が「裸眼」で及び／又は撮像システムを介して利用可能な情報は、不完全な手術部位の視界を提供する場合がある。例えば、器官内に埋め込まれた又は覆われた構造などの特定の構造は、視界から少なくとも部分的に隠される、つまり見えない場合がある。加えて、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認が難しく、及び／又は「裸眼」では把握が難しい場合がある。更に、特定の構造は、手術前（例えば、外科処置前であるが術前の走査後）、及び／又は手術中に移動することがある。そのような例では、臨床医は、手術中に重要構造の位置を正確に決定することができない場合がある。
重要構造の位置が不確定である場合、及び／又は重要構造と外科用ツールとの間の近接度が不明である場合、臨床医の意思決定プロセスが阻害され得る。例えば、臨床医は、重要構造が不注意によって切開されることを回避するために、特定の領域を回避することができる。しかしながら、回避された領域は、不必要に大きく、かつ／又は少なくとも部分的に位置が誤っている可能性がある。不確実性、及び／又は過度／過剰な用心に起因して、臨床医は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定の領域での臨床医の行為によって悪影響がない場合であっても、過剰な用心により、臨床医が、重要構造を避けようと努力して、腫瘍及び／又は他の望ましくない組織の一部を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まると共に向上される場合があり、これにより、外科医にとって、より正確で、特定の場合では特定の解剖学的領域に対してより控えめに／より積極的になることが可能になる。
様々な態様では、本開示は、重要構造の術中識別及び回避のための外科用可視化システムを提供する。一態様では、本開示は、強化された術中意思決定の製造及び改善された手術結果を可能にする、外科用可視化システムを提供する。様々な態様では、開示された外科用可視化システムは、臨床医が「裸眼」で見るもの、及び／又は撮像システムが認識し、及び／又は臨床医に伝達できるものを超えた、高度な可視化能を提供する。様々な外科用可視化システムは、臨床医が組織処理（例えば、切開）の前に知ることができることを補強かつ強化できることによって、様々な例における結果を改善することができる。
例えば、可視化システムは、複数のスペクトル波を放出するように構成された第１の光エミッタと、光パターンを放出するように構成された第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成された１つ又は２つ以上の受信器、又はセンサと、を含むことができる。以下の開示全体を通して、「光」へのいかなる言及も、可視光に関して特定的に言及されていない限り、電磁放射（ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分のＥＭＲ若しくは光子を含み得ることに留意されたい。外科用可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、すなわち三次元表面トポグラフィ、及び手術部位に対する１つ又は２つ以上の距離を決定することができる。特定の例では、制御回路は、少なくとも部分的に隠れた構造までの１つ以上の距離を決定することができる。更に、撮像システムは、幾何学的表面マップ及び１つ又は２つ以上の距離を臨床医に伝えることができる。そのような例において、臨床医に提供される手術部位の拡張画像は、手術部位に関連する背景内で隠れた構造の図を提供することができる。例えば、撮像システムは、表面の下のユーティリティ配管を示すために地上に描かれた線と同様に、隠している及び／又は妨害している組織の幾何学的表面マップ上に隠れた構造をバーチャルに拡張することができる。追加的に又は代替的に、撮像システムは、目に見える妨害している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの１つ又は２つ以上の外科用ツールの近接度、並びに／又は、妨害している組織の可視表面の下に隠れた構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張線に対する距離を判定し、撮像システムにその距離を伝えることができる。
本開示の様々な態様では、重要構造の術中識別及び回避のための外科用可視化システムが開示される。このような外科用可視化システムは、外科処置中に臨床医に有益な情報を提供することができる。結果として、外科用可視化システムが、例えば切開中に接近し得る、例えば、尿管、特定の神経、及び／又は重要な血管などの重要構造を追跡していることを知りながら、臨床医は、外科処置を通して操作を確実に維持することができる。一態様では、外科用可視化システムは、臨床医が外科処置を一時停止し、かつ／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間、臨床医に対して指示を提供することができる。外科用可視化システムは、理想的で、最適化された、かつ／又はカスタマイズ可能な量の情報を臨床医に提供して、健康な組織及び／又は重要構造への不注意による損傷を回避しつつ、臨床医が組織全体を確実かつ／又は迅速に操作することを可能にし、それによって、外科的処置により生じる損傷のリスクを最小限に抑えることができる。
図１は、本開示の少なくとも１つの態様による、外科用可視化システム１００の概略図である。外科用可視化システム１００は、解剖学的分野内の重要構造１０１の視覚的表示を作成することができる。外科用可視化システム１００は、例えば、臨床分析及び／又は医学的介入に使用され得る。特定の例では、外科用可視化システム１００を手術中に使用し、外科処置中の近接データ、寸法、及び／又は距離に関するリアルタイム若しくはほぼリアルタイムの情報を臨床医に提供することができる。外科用可視化システム１００は、重要構造の術中識別のため、及び／又は外科用装置による重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を識別することによって、臨床医は、外科処置中に、重要構造１０１及び／又は重要構造１０１の所定の近位の領域の周囲で外科用装置を操作することを回避できる。臨床医は、例えば重要構造１０１として特定される、例えば静脈、動脈、神経、及び／若しくは血管の切開、並びに／又はこれら付近の切開を回避することができる。様々な例において、重要構造１０１は、患者ごと及び／又は処置ごとに決定される場合がある。
外科用可視化システム１００は、距離センサシステム１０４と組み合わせた組織識別及び幾何学的表面マッピングを組み込む。組み合わせた外科用可視化システム１００の特徴により、解剖学的分野内の重要構造１０１の位置、並びに／又は、可視組織の表面１０５及び／若しくは重要構造１０１への外科用装置１０２の近接度を決定することができる。更に、外科用可視化システム１００は、例えば、手術部位のリアルタイムビューを提供するように構成されたカメラなどの撮像装置１２０を含む、撮像システムを含む。様々な例において、撮像装置１２０は、反射されたスペクトル波形を検出し、異なる波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されたスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）である。撮像装置１２０からのビューを臨床医に提供することができ、本開示の様々な態様では、組織識別、ランドスケープマッピング、及び距離センサシステム１０４に基づいて追加情報で増強することができる。そのような例において、外科用可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織識別サブシステム、及び／又は距離決定サブシステムを含む。これらのサブシステムは協働して、手術中に、高度なデータ合成及び統合された情報を臨床医に提供することができる。
撮像装置は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）を検出するように構成されたカメラ又は撮像センサを含むことができる。本開示の様々な態様において、撮像システムは、例えば内視鏡などの撮像装置を含むことができる。追加的に又は代替的に、撮像システムは、例えば、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃鏡）、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又は外視鏡などの撮像装置を含むことができる。開腹手術用途などの他の例では、撮像システムはスコープを含まなくてもよい。
本開示の様々な態様では、組織識別サブシステムは、スペクトル撮像システムで達成することができる。スペクトル撮像システムは、例えば、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像に依存することができる。組織のハイパースペクトル撮像は、参照によりその全体が本明細書に組み込まれる、２０１６年３月１日発行の「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｇｒｏｓｓ ａｎａｔｏｍｉｃ ｐａｔｈｏｌｏｇｙ ｕｓｉｎｇ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ」と題する米国特許第９，２７４，０４７号に更に記載されている。
本開示の様々な態様では、表面マッピングサブシステムは、本明細書で更に説明されるように、光パターンシステムで達成することができる。表面マッピングのための光パターン（又は構造光）の使用が知られている。既知の表面マッピング技術を、本明細書に記載される外科用可視化システムにおいて利用することができる。
構造光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、光源と光パターンを投影するためのプロジェクタとを備える外科用システムを開示している。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、それぞれの全体を参照することにより本明細書に組み込まれる。
本開示の様々な態様では、距離決定システムは、表面マッピングシステムに組み込むことができる。例えば、構造光を利用して、可視表面の三次元仮想モデルを生成し、可視表面に対する様々な距離を決定することができる。追加的に又は代替的に、距離決定システムは飛行時間測定に依存し、手術部位における識別された組織（又は他の構造）に対する１つ又は２つ以上の距離を決定することができる。
図２は、外科用可視化システム１００と共に利用され得る制御システム１３３の概略図である。制御システム１３３は、メモリ１３４と信号通信する制御回路１３２を含む。メモリ１３４は、重要構造（例えば、図１の重要構造１０１）を決定及び／又は認識し、１つ又は２つ以上の距離及び／又は三次元デジタル表示を決定及び／又は計算し、かつ、特定の情報を１人又は２人以上の臨床医に通信する、制御回路１３２によって実行可能な命令を記憶する。例えば、メモリ１３４は、表面マッピング論理１３６、撮像論理１３８、組織識別論理１４０、若しくは距離決定論理１４１、又は論理１３６、１３８、１４０、及び１４１の任意の組み合わせを記憶する。制御システム１３３はまた、１つ若しくは２つ以上のカメラ１４４（図１の撮像装置１２０のようなもの）、１つ若しくは２つ以上のディスプレイ１４６、又は１つ若しくは２つ以上のコントロール１４８、又はこれらの要素の任意の組み合わせを有する撮像システム１４２を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放出する様々な光源からの信号を受信するための１つ又は２つ以上のイメージセンサ１３５（例えば、なかでも、可視光、スペクトルイメージャ、三次元レンズ）を含むことができる。ディスプレイ１４６は、１人又は２人以上の臨床医に対して、現実、仮想、及び／又は仮想的に拡張された画像及び／又は情報を描写するための１つ以上のスクリーン又はモニタを含むことができる。
様々な態様では、カメラ１４４の中心部はイメージセンサ１３５である。一般に、最新のイメージセンサ１３５は、ピクセルと呼ばれる別個の光検出部位を最大で数百万個含む固体電子デバイスである。イメージセンサ１３５技術は、電荷結合素子（Charge-Coupled Device、ＣＣＤ）及び相捕型金属酸化膜半導体（Complementary Metal-Oxide Semiconductor、ＣＭＯＳ）イメージャの２つのカテゴリーの１つに分類され、より最近では、短波赤外線（ＳＷＩＲ）が撮像における新たな技術である。別のタイプのイメージセンサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳイメージセンサ１３５は、約３５０～１０５０ｎｍの波長に対する感度を有するが、この範囲は通常４００～１０００ｎｍである。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体イメージセンサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、共通の低コストの画像化ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを用いてフルカラー画像を解像する。次いで、各色は、異なる画素セットに誘導される。３チップカラーＣＣＤカメラは、プリズムを用いることによってより高い解像度を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を決定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い解像度を提供する。
制御システム１３３はまた、スペクトル光源１５０と構造光源１５２とを含む。特定の例では、単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造光源１５２の範囲内の光の波長をパルス放射することができる。あるいは、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長をパルス供給することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源であってよい。様々な例において、組織識別論理１４０は、カメラ１４４のイメージセンサ１３５部分によって受信されたスペクトル光源１５０からのデータを介して、重要構造を識別することができる。表面マッピング論理１３６は、反射された構造光に基づいて可視組織の表面の輪郭を決定することができる。飛行時間測定により、距離決定論理１４１は、可視組織及び／又は重要構造１０１までの１つ又は２つ以上の距離を決定することができる。表面マッピング論理１３６、組織識別論理１４０、及び距離決定論理１４１からの１つ又は２つ以上の出力は、撮像論理１３８に提供されることができ、撮像システム１４２のディスプレイ１４６を介して臨床医に伝達されるように組み合わされる、一体化される、かつ／又はオーバーレイされることができる。
ここで簡単に図２Ａ～図２Ｃを説明し、外科用可視化システム１００の様々な態様を制御するための制御回路１３２の様々な態様を述べる。図２Ａを見ると、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成された制御回路４００が示される。制御回路４００は、本明細書に説明される様々なプロセスを実装するように構成され得る。制御回路４００は、少なくとも１つのメモリ回路４０４に結合された１つ又は２つ以上のプロセッサ４０２（例えば、マイクロプロセッサ、マイクロコントローラ）を備えるマイクロコントローラを備えることができる。メモリ回路４０４は、プロセッサ４０２によって実行されると、本明細書に記載される様々なプロセスを実装するための機械命令をプロセッサ４０２に実行させる、機械実行可能命令を記憶する。プロセッサ４０２は、当該技術分野で既知の多数のシングルコア又はマルチコアプロセッサのうちの任意の１つであってもよい。メモリ回路４０４は、揮発性及び不揮発性の記憶媒体を備えることができる。プロセッサ４０２は、命令処理ユニット４０６及び演算ユニット４０８を含んでもよい。命令処理ユニットは、本開示のメモリ回路４０４から命令を受信するように構成されてもよい。
図２Ｂは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成された組み合わせ論理回路４１０を示す。組み合わせ論理回路４１０は、本明細書に説明される様々なプロセスを実装するように構成され得る。組み合わせ論理回路４１０は、入力４１４で外科用器具又はツールと関連付けられたデータを受信し、組み合わせ論理４１２によってデータを処理し、出力４１６を提供するように構成された組み合わせ論理４１２を備える有限状態マシンを含んでもよい。
図２Ｃは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成された順序論理回路４２０を示す。順序論理回路４２０又は組み合わせ論理４２２は、本明細書に記載される様々なプロセスを実装するように構成され得る。順序論理回路４２０は有限状態マシンを含んでもよい。順序論理回路４２０は、例えば、組み合わせ論理４２２、少なくとも１つのメモリ回路４２４、及びクロック４２９を含んでもよい。少なくとも１つのメモリ回路４２４は、有限状態マシンの現在の状態を記憶することができる。特定の例では、順序論理回路４２０は、同期式又は非同期式であってもよい。組み合わせ論理４２２は、入力４２６から外科用装置又はシステムと関連付けられたデータを受信し、組み合わせ論理４２２によってデータを処理し、出力４２８を提供するように構成される。他の態様では、回路は、プロセッサ（例えば、図２Ａのプロセッサ４０２）と、本明細書の様々なプロセスを実施する有限状態マシンと、の組み合わせを含んでもよい。他の態様では、有限状態マシンは、組み合わせ論理回路（例えば図２Ｂの組み合わせ論理回路４１０）と順序論理回路４２０との組み合わせを含むことができる。
図１の外科用可視化システム１００を再び参照すると、重要構造１０１は、目的とする解剖学的構造であり得る。例えば、重要構造１０１は、他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍であり得る。他の例では、重要構造１０１は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。例示的な重要構造は、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば２０１８年９月１１日出願の「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１２８，１９２号を含む前述の米国特許出願に更に記載されている。
一態様では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、重要構造１０１は、組織１０３の表面１０５の下に位置決めされ得る。そのような例では、組織１０３は臨床医の視界から重要構造１０１を隠している。重要構造１０１はまた、組織１０３によって撮像装置１２０の視界からも見えない。組織１０３は、例えば、脂肪、結合組織、癒着部、及び／又は器官であり得る。他の例では、重要構造１０１は、視野から部分的に隠されることもある。
図１はまた、外科用装置１０２も示す。外科用装置１０２は、外科用装置１０２のシャフトの遠位端から延びる対向するジョーを有するエンドエフェクタを含む。外科用装置１０２は、例えば、切開器具、ステープラ、把持器具、クリップアプライヤ、並びに／又は、単極プローブ、双極プローブ、アブレーションプローブ、及び／若しくは超音波エンドエフェクタを含むエネルギー装置などの任意の好適な外科用装置であり得る。追加的に又は代替的に、外科用装置１０２は、例えば超音波装置などの別の撮像又は診断様式を含むことができる。本開示の一態様では、外科用可視化システム１００は、１つ又は２つ以上の重要構造１０１の識別、及び外科用装置１０２の重要構造１０１への近接を達成するように構成され得る。
外科用可視化システム１００の撮像装置１２０は、例えば可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像装置１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含んでもよい。例えば、撮像装置１２０は、本明細書で更に説明するように、ハイパースペクトル、マルチスペクトル、又は選択的スペクトルカメラであり得る。撮像装置１２０はまた、波形センサ１２２（例えば、スペクトルイメージセンサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像装置１２０は、２つの二次元画像を同時に記録することによって、手術部位の三次元画像を生成し、手術部位の三次元画像をレンダリングし、及び／又は手術部位で１つ又は２つ以上の距離を決定するための、共に使用される右側レンズ及び左側レンズを含むことができる。追加的に又は代替的に、撮像装置１２０は、本明細書に更に記載されるように、可視組織のトポグラフィ、並びに隠された重要構造の識別及び位置を示す画像を受信するように構成され得る。例えば、図１に示すように、撮像装置１２０の視野を、組織の表面１０５上の光のパターン（構造光）と重ねることができる。
一態様では、外科用可視化システム１００はロボットシステム１１０に組み込まれてもよい。例えば、ロボットシステム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含んでもよい。ロボットアーム１１２、１１４は、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、外科用装置１０２を操作するように構成され、第２のロボットアーム１１４は、撮像装置１２０を操作するように構成されている。ロボット制御ユニットは、例えば、外科用装置１０２及び撮像装置１２０に作用し得るロボットアーム１１２、１１４への制御運動を発するように構成され得る。
外科用可視化システム１００はまた、表面１０５のトポグラフィ又はランドスケープの決定を可能にするために、縞、グリッド線、及び／又はドットなどの光のパターンを放出するように構成されているエミッタ１０６を含む。例えば、投影された光アレイ１３０は、表面１０５上の三次元走査及び位置合わせのために使用することができる。投影された光アレイ１３０は、例えば、外科用装置１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像装置１２０上に位置するエミッタ１０６から放射され得る。一態様では、投影された光アレイ１３０を使用し、組織１０３の表面１０５及び／又は表面１０５の動きにより手術中に画定される形状を決定する。撮像装置１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ及び表面１０５までの様々な距離を決定するように構成されている。
一態様では、撮像装置１２０はまた、組織１０３の表面１０５を貫通して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放出するように構成されている、光学波形エミッタ１２３を含んでもよい。撮像装置１２０及びその上の光学波形エミッタ１２３は、ロボットアーム１１４によって位置決め可能であり得る。撮像装置１２０上の対応する波形センサ１２２（例えば、イメージセンサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光学波形エミッタ１２３によって放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は物理的構造の種類の識別を可能にするように構成することができる。重要構造１０１の識別は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変であってもよい。波形センサ１２２及び光学波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含むことができる。他の例では、波形センサ１２２及び光波形エミッタ１２３は、例えば光音響撮像システムを含むことができる。他の例では、光波形エミッタ１２３は、撮像装置１２０から別個の外科用装置上に配置され得る。
外科用可視化システム１００はまた、手術部位において１つ又は２つ以上の距離を決定するように構成されている距離センサシステム１０４を含んでもよい。一態様では、飛行時間距離センサシステム１０４は、エミッタ１０６などのエミッタと受信器１０８とを含む飛行時間距離センサシステムであってもよく、外科用装置１０２上に配置され得る。他の例では、飛行時間エミッタは構造光エミッタとは別個であり得る。１つの一般的な態様では、飛行時間距離センサシステム１０４のエミッタ１０６部分は、非常に小さいレーザ源を含んでもよく、飛行時間距離センサシステム１０４の受信器１０８部分は、整合センサを含んでもよい。飛行時間距離センサシステム１０４は、「飛行時間」、つまり、エミッタ１０６によって放出されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出することができる。エミッタ１０６中で非常に狭い光源を使用することで、距離センサシステム１０４が、距離センサシステム１０４のすぐ前の組織１０３の表面１０５までの距離を決定することを可能にする。更に図１を参照すると、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、外科用装置１０２の遠位端から組織の表面１０５までの装置－組織間距離である。距離センサシステム１０４を使用して、エミッタ－組織間距離ｄｅを決定することができる。装置－組織間距離ｄｔは、外科用装置１０２の遠位端に対する、外科用装置１０２のシャフト上のエミッタ１０６の既知の位置から得ることができる。換言すれば、エミッタ１０６と外科用装置１０２の遠位端との間の距離が既知である場合、装置－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから決定され得る。特定の例において、外科用装置１０２のシャフトは、１つ又は２つ以上の関節継手を含むことができ、エミッタ１０６及びジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。特定の例では、三次元カメラを利用して、表面１０５までの１つ又は２つ以上の距離を三角測量することができる。
様々な例において、飛行時間距離センサシステム１０４のための受信器１０８は、外科用装置１０２の代わりに、別の外科用装置上に装着され得る。例えば、受信器１０８は、外科用装置１０２が中を通って手術部位に到達するように延びるカニューレ又はトロカール上に取り付けることができる。更に他の例では、飛行時間距離センサシステム１０４のための受信器１０８は、別のロボット制御アーム（例えばロボットアーム１１４）上、別のロボットによって操作される可動アーム上、及び／又は手術室（ＯＲ）のテーブル若しくは固定具に取り付けることができる。特定の例において、撮像装置１２０は、外科用装置１０２上のエミッタ１０６と撮像装置１２０との間の線を使用してエミッタ１０６から組織１０３の表面１０５までの距離を決定する、飛行時間受信器１０８を含む。例えば、距離ｄｅは、飛行時間距離センサシステム１０４のエミッタ１０６（外科用装置１０２上）及び受信器１０８（撮像装置１２０上）の既知の位置に基づいて三角測量され得る。受信器１０８の三次元位置は、手術中のロボット座標平面に対して既知であり、かつ／又は位置合わせされ得る。
特定の例では、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１のロボットアーム１１２によって制御することができ、飛行時間距離センサシステム１０４の受信器１０８の位置は、第２のロボットアーム１１４によって制御することができる。他の例では、外科用可視化システム１００は、ロボットシステムとは別に利用され得る。このような場合、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
特定の例では、ロボットアーム１１２、１１４のうちの１つ又は２つ以上は、外科処置で使用される主ロボットシステムとは別個であってもよい。ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置決めされ位置合わせされ得る。例えば、ロボットアーム１１０のための閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御及び／又は位置合わせすることができる。同様に、外科用装置１０２及び撮像装置１２０の位置は、特定の座標系に対して位置合わせされ得る。
更に図１を参照すると、ｄｗは、撮像装置１２０上に位置する光学波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下の重要構造１０１の深さ（すなわち、外科用装置１０２に最も近い表面１０５の部分と重要構造１０１との間の距離）である。様々な態様では、撮像装置１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを決定するように構成され得る。飛行時間センサと組み合わせたスペクトル撮像の使用について、本明細書で更に説明する。更に、ここで図３を参照すると、本開示の様々な態様において、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに外科用装置１０２上のエミッタ１０６及び撮像装置１２０上の光学波形エミッタ１２３の既知の位置（及び、したがって、これらの間の既知の距離ｄｘ）から三角測量によって決定され、距離ｄｅ及びｄＡの合計である距離ｄｙが決定され得る。
追加的に又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を決定するように構成することができる。例えば、第１の波形（又は波形の範囲）を利用して、カメラ－重要構造間距離ｄｗを決定でき、第２の波形（又は波形の範囲）を利用して、組織１０３の表面１０５までの距離を決定できる。そのような例において、異なる波形を利用して、組織１０３の表面１０５の下の重要構造１０１の深さを決定することができる。
追加的に又は代替的に、特定の例では、距離ｄＡは、超音波、登録磁気共鳴画像（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）スキャンから決定され得る。更に他の例では、距離ｄＡは、撮像装置によって受信された検出信号が材料の種類に基づいて変化し得るため、スペクトル撮像によって決定することができる。例えば、脂肪によって、検出信号が第１の方法又は第１の量で減少することがあり、コラーゲンによって、検出信号が異なる第２の方法又は第２の量で減少することがある。
ここで図４の外科用可視化システム１６０を参照すると、外科用装置１６２は、光学波形エミッタ１２３と、反射された波形を検出するように構成された波形センサ１２２とを含む。光波形エミッタ１２３は、本明細書に更に記載されるように、外科用装置１６２などの共通の装置から距離ｄｔ及びｄｗを決定するための波形を放出するように構成することができる。そのような例において、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように決定され得る：
ｄＡ＝ｄｗ－ｄｔ
本明細書に開示されるように、可視組織、埋め込まれた重要構造、及び外科用装置に関する様々な情報は、スペクトル波長及び構造光アレイを検出するように構成されているイメージセンサと組み合わせて、１つ又は２つ以上の飛行時間距離センサ、スペクトル撮像、及び／又は構造光アレイを組み込む組み合わせ法を利用することによって決定することができる。更に、イメージセンサは、可視光を受信することによって、手術部位の画像を撮像システムに提供するように構成することができる。論理又はアルゴリズムは、飛行時間センサ、スペクトル波長、構造光、及び可視光から受信した情報を識別し、表面組織及び下層の解剖学的構造の三次元画像をレンダリングするために使用される。様々な例において、撮像装置１２０は、複数のイメージセンサを含むことができる。
カメラ－重要構造間距離ｄｗはまた、１つ又は２つ以上の代替方法で検出することができる。一態様では、例えば蛍光インドシアニングリーン（indosciedine green）（ＩＣＧ）などの蛍光透視可視化技術を使用して、図６～図８に示されるような重要構造２０１を照らすことができる。カメラ２２０は、重要構造２０１の左側画像及び右側画像を同時に撮影する２つの光学波形センサ２２２、２２４を含むことができる（図７Ａ及び７Ｂ）。そのような例では、カメラ２２０は、組織２０３の表面２０５の下の重要構造２０１の光を描写することができ、距離ｄｗは、センサ２２２と２２４との間の既知の距離によって決定することができる。特定の例では、距離は、２つ以上のカメラを利用することによって、又は複数の位置間でカメラを移動させることによって、より正確に決定することができる。特定の態様では、１つのカメラは第１のロボットアームによって、第２のカメラは別のロボットアームによって制御され得る。このようなロボットシステムでは、１つのカメラは、例えば従動アーム上の従動カメラであり得る。従動アーム及びその上のカメラは、例えば、他のカメラを追跡し、特定の距離及び／又はレンズ角度を維持するようにプログラムすることができる。
更に他の態様では、外科用可視化システム１００は、２つの別個の波形受信器（すなわち、カメラ／イメージセンサ）を用いてｄｗを決定してもよい。ここで図９を参照すると、重要構造３０１又はその内容物（例えば、血管又は血管の内容物）が蛍光透視法などによって信号３０２を発し得る場合、実際の位置は、既知の位置で２つの別個のカメラ３２０ａ、３２０ｂから三角測量することができる。
ここで図１０Ａ及び図１０Ｂを参照すると、別の態様では、外科用可視化システムは、ディザリング又は移動カメラ４４０を用いて、距離ｄｗを決定してもよい。カメラ４４０は、カメラ４４０の異なる位置における三次元座標が既知であるように、ロボット制御される。様々な例において、カメラ４４０は、カニューレ又は患者インターフェースで枢動することができる。例えば、重要構造４０１又はその内容物（例えば、血管又は容器の内容物）が、例えば蛍光透視法などによって信号を発し得る場合、実際の位置は、２つ以上の既知の位置間で急速に移動するカメラ４４０から三角測量することができる。図１０Ａでは、カメラ４４０は軸Ａに沿って軸方向に移動される。より具体的には、カメラ４４０は、ロボットアーム上で行き来することなどによって、位置４４０’として示される位置まで、軸Ａに沿って重要構造４０１により接近して距離ｄ１だけを並進移動する。カメラ４４０が距離ｄ１を移動し、重要構造４０１に対するビューのサイズが変化すると、重要構造４０１までの距離を計算することができる。例えば、４．２８ｍｍの軸方向並進（距離ｄ１）は、６．２８度の角度θ１及び８．１９度の角度θ２に対応し得る。追加的に又は代替的に、カメラ４４０は、異なる位置の間の弧に沿って回転又は掃引することができる。ここで図１０Ｂを参照すると、カメラ４４０は軸Ａに沿って軸方向に移動され、軸Ａの周りに角度θ３だけ回転される。カメラ４４０の回転のための枢動点４４２が、カニューレ／患者インターフェースに位置決めされている。図１０Ｂでは、カメラ４４０は並進し、位置４４０’’まで回転する。カメラ４４０が移動し、重要構造４０１に対するビューの縁部が変化すると、重要構造４０１までの距離を計算することができる。図１０Ｂにおいて、距離ｄ２は、例えば９．０１ｍｍであってもよく、角度θ３は、例えば０．９度であってもよい。
図５は、多くの点で外科用可視化システム１００と類似している、外科用可視化システム５００を示す。様々な例において、外科用可視化システム５００は、外科用可視化システム１００の更なる例示であり得る。外科用可視化システム１００と同様に、外科用可視化システム５００は、外科用装置５０２と撮像装置５２０とを含む。撮像装置５２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放出するように構成されたスペクトル光エミッタ５２３を含む。撮像装置５２０はまた、様々な例において、三次元カメラと関連する電子処理回路とを含むことができる。外科用可視化システム５００は、表面からは見えない器官５０３（この例では子宮）内の尿管５０１ａ及び血管５０１ｂなどの特定の重要構造を識別し、それらの回避を促進するために手術中に利用されているところが示されている。
外科用可視化システム５００は、構造光を介して、外科用装置５０２上のエミッタ５０６から子宮５０３の表面５０５までのエミッタ－組織間距離ｄｅを決定するように構成されている。外科用可視化システム５００は、エミッタ－組織間距離ｄｅに基づいて、外科用装置５０２から子宮５０３の表面５０５まで装置－組織間距離ｄｔを外挿するように構成されている。また、外科用可視化システム５００は、尿管５０１ａから表面５０５までの組織－尿管間距離ｄＡ、及び撮像装置５２０から尿管５０１ａまでのカメラ－尿管間距離ｄｗを決定するように構成されている。図１に関して本明細書で説明するように、例えば、外科用可視化システム５００は、例えば、スペクトル撮像及び飛行時間センサによって距離ｄｗを決定することができる。様々な例において、外科用可視化システム５００は、本明細書に記載される他の距離及び／又は表面マッピング論理に基づいて、組織－尿管間距離ｄＡ（つまり深さ）を決定（例えば、三角測量）することができる。
ここで図１１を参照すると、例えば、外科用可視化システム１００などの外科用可視化システムのための制御システム６００の概略図が示されている。制御システム６００は、特に、例えば脂肪、結合組織、血液、及び／又は他の器官などの他の組織によって重要構造が隠されているときに、スペクトルシグネチャ組織識別及び構造光組織位置決めを統合して、これらの構造を識別する変換システムである。このような技術はまた、器官内の健康な組織から腫瘍及び／又は病的組織を区別するなどの、組織の多様性を検出するのに有用であり得る。
制御システム６００は、ハイパースペクトル撮像及び可視化システムを実施するように構成されており、このシステムでは、外科的視野内の解剖学的構造を検出及び識別するために分子応答が使用される。制御システム６００は、組織データを外科医が使用可能な情報に変換するための変換論理回路６４８を含む。例えば、隠れている物質に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を識別することができる。更に、制御システム６００は、識別されたスペクトルシグネチャと構造光データとを画像内で組み合わせる。例えば、制御システム６００を用いて、増強画像オーバーレイを有するシステムにおける外科的使用のための三次元データセットを作成することができる。技術は、追加の視覚情報を使用して、手術中及び手術前の両方で使用することができる。様々な例において、制御システム６００は、１つ又は２つ以上の重要構造の近接時に、臨床医に警告を提供するように構成されている。外科処置及び重要構造への近接に基づいて、ロボット自動化及び半自動化アプローチを誘導するための様々なアルゴリズムを採用することができる。
投影された光アレイを用いて、組織の形状及び運動を手術中に決定する。あるいは、フラッシュライダーを、組織の表面マッピングに利用してもよい。
制御システム６００は、重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／覆われた重要構造までの距離を測定するように構成されている。他の例では、制御システム６００は、可視組織の表面までの距離を測定するか、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
制御システム６００はスペクトル制御回路６０２を含む。スペクトル制御回路６０２は、例えば図２Ａ～図２Ｃに関連して本明細書に記載されるような、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は別の好適な回路構成であり得る。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッター時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオ入力端子を受容する。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、ビデオ出力信号を、例えばインターフェース制御（メタデータ）データのハイパースペクトルビデオ出力端子を含むビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供する。
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に結合される。前述したように、カメラ６１２は、固体イメージセンサ６３４を含む。患者隔離回路は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及びイメージセンサ６３４を介して術中画像を受信する。イメージセンサ６３４は、例えば、ＣＭＯＳイメージセンサを含むことができ、又は、例えば、図２に関連して本明細書で論じられるイメージセンサ技術のいずれかを含んでもよい。一態様では、カメラ６１２は、１４ビット／画素信号で画像を出力する。より高い又はより低いピクセル解像度が、本開示の範囲から逸脱することなく利用されてもよいことも理解されよう。分離カメラ出力信号６１３は、ハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を使用してカメラ出力信号６１３を処理する、カラーＲＧＢ融合回路６１６に提供される。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御する。レーザ光エンジン６２４は、近赤外（ＮＩＲ）を含む複数の波長（λ１，λ２，λ３．．．λｎ）で光を出力する。レーザ光エンジン６２４は、複数のモードで動作することができる。一態様では、レーザ光エンジン６２４は、例えば、２つのモードで動作することができる。第１のモード、例えば通常動作モードでは、レーザ光エンジン６２４は照明信号を出力する。第２のモード、例えば、識別モードでは、レーザ光エンジン６２４はＲＧＢＧ光及びＮＩＲ光を出力する。様々な例において、レーザ光エンジン６２４は、偏光モードで動作することができる。
レーザ光エンジン６２４からの光出力６２６は、手術中の手術部位６２７内の標的とする解剖学的構造を照明する。レーザパルス制御回路６２２はまた、手術部位６２７の手術組織又は器官上に所定の波長（λ２）で、線及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するレーザパターンプロジェクタ６３０用のレーザパルスコントローラ６２８を制御する。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信する。イメージセンサ６３４は、受信した光をデジタル信号に変換する。
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７で標的とする解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力する。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７での可視組織までの距離を表す第１のビデオ出力信号６４０を出力する。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位での標的とする解剖学的構造の組織又は器官の三次元レンダリング形状を表す第２のビデオ信号６４２を出力する。
第１及び第２のビデオ出力信号６４０、６４２は、集積モジュール６４３に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、覆われた重要構造までの距離ｄＡ（図１）を（例えば、三角測量アルゴリズム６４４を介して）決定することができ、距離ｄＡは、ビデオ出力プロセッサ６４６を介して映像オーバーレイコントローラ６１０に提供され得る。前述の変換論理は、変換論理回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置決めされたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
ＣＴ又はＭＲＩスキャンによる術前データ６５０を用いて、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には画像オーバーレイコントローラ６１０に提供することができ、そのため、このような情報はカメラ６１２からのビューとオーバーレイされ、ビデオモニタ６５２に提供され得る。術前データの位置合わせは、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば２０１８年９月１１日出願の「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号などの前述の米国特許出願に更に記載されている。
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張画像を出力することができる。臨床医は、１つ又は２つ以上のモニタ上の異なる画像を選択し、及び／又は切り替えることができる。第１のモニタ６５２ａ上で、臨床医は、（Ａ）可視組織の三次元レンダリングが示されているビューと、（Ｂ）１つ又は２つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描かれている拡張ビューとを切り替えることができる。第２のモニタ６５２ｂでは、臨床医は、例えば、１つ又は２つ以上の隠れた重要構造及び／又は可視組織の表面までの距離測定値を切り替えることができる。
制御システム６００及び／又はその様々な制御回路は、本明細書に開示される様々な外科用可視化システムに組み込むことができる。
図１２は、本開示の少なくとも１つの態様による、構造（又はパターン）光システム７００を示す。本明細書に記載されるように、例えばストライプ又は線の形態の構造光は、光源及び／又はプロジェクタ７０６から標的とする解剖学的構造の表面７０５上に投影されて、表面７０５の形状及び輪郭を特定することができる。例えば、撮像装置１２０（図１）と様々な点で類似し得るカメラ７２０は、表面７０５上の投影された光パターンを検出するように構成することができる。投影パターンが表面７０５に衝突すると変形する方法により、視覚システムが標的とする解剖学的構造の深さ及び表面情報を計算することを可能にする。
特定の例では、不可視（又は感知不能）構造光を利用することができ、構造光は、投影パターンが混乱し得る他のコンピュータの視覚的タスクと干渉することなく使用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。構造光は、ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｔｒｕｃｔｕｒｅｄ＿ｌｉｇｈｔで更に説明されている。
上記のように、本明細書に記載の種々の外科用可視化システムは、スペクトルの可視部分においてＥＭＲによって可視化が不明瞭化され得る組織及び／又は解剖学的構造を含めて、様々な異なるタイプの組織及び／又は解剖学的構造を可視化するために利用され得る。一態様では、外科用可視化システムは、構成物質の様々な組み合わせに基づいて異なるタイプの組織を可視化するために、スペクトル撮像システムを利用し得る。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化される組織内の様々な構成物質の存在を検出するように構成され得る。スペクトル撮像システムは、構成物質の特定の組み合わせに基づいて可視化されている組織の組織タイプを特徴付けるように更に構成され得る。説明のため、図１３Ａは、様々な生体物質の吸収係数がＥＭＲ波長スペクトルにわたってどのように変化するかを示すグラフ２３００である。グラフ２３００では、垂直軸２３０３は、生体物質の吸収係数（例えば、ｃｍ－１単位）を表し、水平軸２３０４はＥＭＲ波長（例えば、μｍ単位）を表す。グラフ２３００は、様々なＥＭＲ波長での水の吸収係数を表す第１の線２３１０、様々なＥＭＲ波長でのタンパク質の吸収係数を表す第２の線２３１２、様々なＥＭＲ波長でのメラニンの吸収係数を表す第３の線２３１４、様々なＥＭＲ波長での脱酸素化ヘモグロビンの吸収係数を表す第４の線２３１６、様々なＥＭＲ波長での酸素化ヘモグロビンの吸収係数を表す第５の線２３１８、及び様々なＥＭＲ波長でのコラーゲンの吸収係数を表す第６の線２３１９を更に示す。異なる組織タイプは、構成物質の異なる組み合わせを有し、したがって、外科的可視化システムによって可視化されている組織タイプは、検出された構成物質の特定の組み合わせに従って識別及び区別され得る。したがって、スペクトル撮像システムが、多くの異なる波長でＥＭＲを放出し、異なる波長における検出された吸収ＥＭＲ吸収応答に基づいて組織の構成物質を決定し、次いで、構成物質の特定の検出された組み合わせに基づいて組織タイプを特徴付けるように構成され得る。
異なる組織タイプ及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の例が図１３Ｂに示されている。図１３Ｂでは、スペクトルエミッタ２３２０（例えば、スペクトル光源１５０）が、手術部位２３２５を可視化するために撮像システムによって利用されている。スペクトルエミッタ２３２０によって放出され、手術部位２３２５において組織及び／又は構造から反射されたＥＭＲは、イメージセンサ１３５（図２）によって受容され、視認可能であり得るか（例えば、手術部位２３２５の表面に位置する）あるいは不明瞭であり得る（例えば、手術部位２３２５において他の組織及び／又は構造の下にある）組織及び／又は構造を可視化し得る。この例では、撮像システム１４２（図２）は、異なる組織／構造型の各々の構成物質の種々の吸収特性（例えば、吸収係数）を特徴とするスペクトルシグネチャに基づいて、腫瘍２３３２、動脈２３３４、及び様々な異常２３３８（すなわち、既知の又は予想されるスペクトルシグネチャが確認されない組織）を可視化し得る。可視化された組織及び構造は、撮像システムディスプレイ１４６（図２）、一次ディスプレイ２１１９（図１８）、非滅菌ディスプレイ２１０９（図１８）、ハブディスプレイ２２１５（図１９）、デバイス／器具ディスプレイ２２３７（図１９）などの撮像システム１４２に関連付けられた、又は結合されたディスプレイスクリーン上に表示され得る。
更に、撮像システム１４２は、識別された組織及び／又は構造タイプに従って、表示される手術部位の可視化を調整又は更新するように構成され得る。例えば、撮像システム１４２は、ディスプレイスクリーン（例えば、ディスプレイ１４６）上で可視化されている腫瘍２３３２と関連付けられたマージン２３３０ａを表示することができる。マージン２３３０ａは、腫瘍２３３２の完全な除去を確実にするために切除されるべき組織の面積又は量を示し得る。制御システム１３３（図２）は、撮像システム１４２によって識別された組織及び／又は構造に基づいて、マージン２３３０ａの寸法を制御又は更新するように構成され得る。図示の例では、撮像システム１４２は、ＦＯＶ内で複数の異常２３３８を識別した。したがって、制御システム１３３は、表示されたマージン２３３０ａを、異常２３３８を包含するのに十分な寸法を有する第１の更新済みマージン２３３０ｂに調整することができる。更に、撮像システム１４２はまた、（動脈２３３４の強調表示された領域２３３６によって示されるように）最初に表示されたマージン２３３０ａと部分的に重複する動脈２３３４を識別している。したがって、制御システム１３３は、表示されたマージン２３３０ａを、動脈２３３４の関連部分を包含するのに十分な寸法を有する第２の更新済みマージン２３３０ｃに調整することができる。
組織及び／又は構造はまた、図１３Ａ及び図１３Ｂに関して上述したそれらの吸収特性に加えて、又はそれに代わって、ＥＭＲ波長スペクトルにわたるそれらの反射特性に従って撮像又は特徴付けされ得る。例えば、図１３Ｃ～図１３Ｅは、異なるＥＭＲ波長にわたる異なるタイプの組織又は構造の反射率の様々なグラフを示す。図１３Ｃは、覆い隠すものに対する例示的な尿管シグネチャのグラフ表示１０５０である。図１３Ｄは、覆い隠すものに対する例示的な動脈シグネチャのグラフ表示１０５２である。図１３Ｅは、覆い隠すものに対する例示的な神経シグネチャのグラフ表示１０５４である。図１３Ｃ～図１３Ｅのプロットは、対応する波長での脂肪、肺組織、及び血液の対応する反射率に対する特定の構造（尿管、動脈、及び神経）の反射率を波長（ｎｍ）の関数として表す。これらのグラフは単に例示を目的としたものであり、他の組織及び／又は構造が、組織及び／又は構造を識別及び可視化することを可能にする、対応する検出可能な反射率シグネチャを有し得ることを理解されたい。
様々な例において、スペクトル撮像のための選択波長は、手術部位において予想される重要構造及び／又は覆い隠すものに基づいて特定及び利用することができる（すなわち、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイム又はほぼリアルタイムで取得し、手術中に利用することができるように、最小化することができる。様々な例において、臨床医によって、又は臨床医による入力に基づいて制御回路によって波長を選択することができる。特定の例では、波長を、例えば、クラウドを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
前述の組織へのスペクトル撮像の適用は、波形エミッタと組織によって覆い隠される重要構造との間の距離を測定するために、手術中に利用することができる。本開示の一態様では、ここで図１４及び図１５を参照すると、波形１１２４、１１２５を利用した飛行時間センサシステム１１０４が示されている。飛行時間センサシステム１１０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１１０４は、波形エミッタ１１０６と、同じ外科用装置１１０２上の波形受信器１１０８とを含む。放出された波１１２４は、エミッタ１１０６から重要構造１１０１まで延び、受信された波１１２５は、重要構造１１０１から受信器１１０８によって反射される。外科用装置１１０２は、患者の空洞１１０７内に延びるトロカール１１１０を通って位置決めされる。
波形１１２４、１１２５は、覆い隠している組織１１０３を透過するように構成される。例えば、波形１１２４、１１２５の波長は、ＮＩＲスペクトル又はＳＷＩＲスペクトルの波長であり得る。一態様では、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１１０６から放出することができ、重要構造１１０１を隠している組織１１０３を透過することができる。放出された波形１１２４は、重要構造１１０１によって反射され得る。受信された波形１１２５は、外科用装置１１０２の遠位端と重要構造１１０１との間の距離ｄに起因して遅延され得る。様々な例において、波形１１２４、１１２５は、本明細書に更に記載されるように、重要構造１１０１のスペクトルシグネチャに基づいて、組織１１０３内の重要構造１１０１を標的とするように選択され得る。様々な例において、エミッタ１１０６は、例えば図１５に示されるように、オン及びオフの二値信号を提供するように構成されており、この二値信号は受信器１１０８によって測定することができる。
放出された波１１２４と受信された波１１２５との間の遅延に基づいて、飛行時間センサシステム１１０４は距離ｄを決定するように構成される（図１４）。図１４のエミッタ１１０６及び受信器１１０８の飛行時間タイミング図１１３０を図１５に示す。遅延は距離ｄの関数であり、距離ｄは、以下の式で与えられる：
Figure 2023508566000002
 式中、
ｃ＝光速度であり、
ｔ＝パルスの長さであり、
ｑ１＝光が放射される間に蓄積された電荷であり、
ｑ２＝光が放射されていない間に蓄積された電荷である。
本明細書で提供されるように、波形１１２４、１１２５の飛行時間は、図１４の距離ｄに対応する。様々な例において、追加のエミッタ／受信器及び／又はエミッタ１１０６からのパルス信号は、非透過信号を発するように構成することができる。非透過組織は、エミッタから覆い隠している組織１１０３の表面１１０５までの距離を決定するように構成することができる。様々な例において、重要構造１１０１の深さは、以下の式によって決定することができる：
ｄＡ＝ｄｗ－ｄｔ
式中、
ｄＡ＝重要構造１１０１の深さであり、
ｄｗ＝エミッタ１１０６から重要構造１１０１までの距離（図１４のｄ）であり、
ｄｔ＝エミッタ１１０６（外科用装置１１０２の遠位端上）から覆い隠している組織１１０３の表面１１０５までの距離である。
本開示の一態様では、ここで図１６を参照すると、波１２２４ａ、１２２４ｂ、１２２４ｃ、１２２５ａ、１２２５ｂ、１２２５ｃを利用した飛行時間センサシステム１２０４が示されている。飛行時間センサシステム１２０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１２０４は、波形エミッタ１２０６と波形受信器１２０８とを含む。波形エミッタ１２０６は、第１の外科用装置１２０２ａ上に位置決めされ、波形受信器１２０８は第２の外科用装置１２０２ｂ上に位置決めされる。外科用装置１２０２ａ、１２０２ｂは、患者の空洞１２０７内に延びるそれぞれトロカール１２１０ａ、１２１０ｂを通して位置決めされる。放出された波１２２４ａ、１２２４ｂ、１２２４ｃは、エミッタ１２０６から手術部位に向かって延び、受信された波１２２５ａ、１２２５ｂ、１２２５ｃは、手術部位における様々な構造及び／又は表面から受信器１２０８に反射される。
異なる放出された波１２２４ａ、１２２４ｂ、１２２４ｃは、手術部位において異なる種類の物質を標的にするように構成されている。例えば、波１２２４ａは覆い隠している組織１２０３を標的とし、波１２２４ｂは第１の重要構造１２０１ａ（例えば、血管）を標的とし、波１２２４ｃは第２の重要構造１２０１ｂ（例えば、癌性腫瘍）を標的とする。波１２２４ａ、１２２４ｂ、１２２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長であってよい。例えば、可視光は、組織１２０３の表面１２０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織１２０３の表面１２０５を透過するように構成することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１２０６から放出することができる。様々な例において、波１２２４ｂ、１２２４ｃは、本明細書に更に記載されるように、重要構造１２０１ａ、１２０１ｂのスペクトルシグネチャに基づいて、組織１２０３内の重要構造１２０１ａ、１２０１ｂを標的とするように選択され得る。光音響撮像は、様々な米国特許出願に更に記載されており、それらは参照により本明細書に組み込まれる。
放出された波１２２４ａ、１２２４ｂ、１２２４ｃは、標的物質（すなわち、それぞれ表面１２０５、第１の重要構造１２０１ａ、及び第２の構造１２０１ｂ）から反射され得る。受信された波形１２２５ａ、１２２５ｂ、１２２５ｃは、図１６に示される距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃによって遅延され得る。
エミッタ１２０６及び受信器１２０８が独立して位置決め可能である（例えば、別個の外科用装置１２０２ａ、１２０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間センサシステム１２０４では、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃが、エミッタ１２０６及び受信器１２０８の既知の位置から計算され得る。例えば、外科用装置１２０２ａ、１２０２ｂがロボット制御されているとき、位置は既知であり得る。エミッタ１２０６及び受信器１２０８の位置、並びに、特定の組織を標的とするまでの光子流の時間及びその特定の応答の受信器１２０８によって受信された情報に関する知見によって、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの決定が可能となり得る。一態様では、覆い隠された重要構造１２０１ａ、１２０１ｂまでの距離は、透過波長を使用して三角測量することができる。光の速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間センサシステム１２０４は、様々な距離を決定することができる。
更に図１６を参照すると、様々な例において、臨床医に提供されたビューでは、受信器１２０８を、結果として得られる画像内の標的構造の質量中心が一定のままになるように、すなわち、選択された標的構造１２０３、１２０１ａ、又は１２０１ｂの軸に垂直な平面内で回転させることができる。そのような向きは、重要構造に対して、１つ又は２つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１６に示されるように、重要構造１２０１ａが視野平面に垂直である（すなわち、血管がページの内外に向いている）視点から、手術部位が表示される。様々な例において、そのような配向は、デフォルト設定であり得るが、しかしながら、ビューは、臨床医によって回転され得るか、あるいは別様に調整され得る。特定の例では、臨床医は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
様々な例において、受信器１２０８は、外科用装置１２０２ｂが中に配置される、例えばトロカール１２１０ｂなどのトロカール又はカニューレ上に取り付けられてもよい。他の例では、受信器１２０８は、三次元位置が既知である別個のロボットアームに取り付けることができる。様々な例において、受信器１２０８は、外科用装置１２０２ａを制御するロボットとは別個の可動アーム上に取り付けることができ、又は手術中にロボット座標平面に位置合わせ可能な手術室（ＯＲ）のテーブルに取り付けることができる。そのような例では、エミッタ１２０６及び受信器１２０８の位置は、飛行時間センサシステム１２０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
ナノ秒の分解能を有するＮＩＲ光の時間分解特性を測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる飛行時間センサシステム及び近赤外分光法（ＮＩＲＳ）の組み合わせは、その全体が参照により本明細書に組み込まれる、「ＴＩＭＥ－ＯＦ－ＦＬＩＧＨＴ ＮＥＡＲ－ＩＮＦＲＡＲＥＤ ＳＰＥＣＴＲＯＳＣＯＰＹ ＦＯＲ ＮＯＮＤＥＳＴＲＵＣＴＩＶＥ ＭＥＡＳＵＲＥＭＥＮＴ ＯＦ ＩＮＴＥＲＮＡＬ ＱＵＡＬＩＴＹ ＩＮ ＧＲＡＰＥＦＲＵＩＴ」と題するＪｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８の文献に見出すことができ、ｊｏｕｒｎａｌ．ａｓｈｓｐｕｂｌｉｃａｔｉｏｎｓ．ｏｒｇ／ｃｏｎｔｅｎｔ／１３８／３／２２５．ｆｕｌｌからアクセス可能である。
様々な例において、飛行時間スペクトル波形は、重要構造の深さ及び／又は外科用装置の重要構造への近接度を決定するように構成されている。更に、本明細書に開示される様々な外科用可視化システムは、可視組織の表面に三次元レンダリングを作成するように構成された表面マッピング論理を含む。そのような例では、可視組織が重要構造を覆い隠す場合であっても、臨床医は、重要構造への外科用装置の近接度（又は近接していないこと）を認識することができる。１つの例では、手術部位のトポグラフィは、表面マッピング論理によってモニタ上に提供される。重要構造が組織の表面に近い場合、スペクトル撮像は、臨床医に重要構造の位置を伝達することができる。例えば、スペクトル撮像は、表面の５ｍｍ又は１０ｍｍ以内の構造を検出することができる。他の例では、スペクトル撮像は、組織の表面の１０ｍｍ又は２０ｍｍ下の構造を検出することができる。スペクトル撮像システムの既知の限界に基づいて、システムは、スペクトル撮像システムによって単純に検出されない場合、重要構造が範囲外であることを伝えるように構成される。したがって、臨床医は、外科用装置を動かし続けること、及び／又は組織を操作し続けることができる。重要構造がスペクトル撮像システムの範囲内に移動すると、システムは構造を識別することができ、したがって、構造が範囲内にあることを通信することができる。そのような例では、構造が最初に識別され、かつ／又は既定の近接ゾーン内に更に移動されたときに、警告を提供することができる。そのような例では、既知の境界／範囲を有するスペクトル撮像システムによって重要構造が識別されない場合であっても、臨床医に近接度の情報（すなわち、近接していないこと）を提供することができる。
本明細書に開示される様々な外科用可視化システムは、手術中に、重要構造の存在及び／又は近接を特定し、不注意による切開及び／又は横切開によって重要構造を損傷する前に臨床医に警告するように構成され得る。様々な態様では、外科用可視化システムは、以下の重要構造、例えば、尿管、腸、直腸、神経（横隔神経、反回神経［ＲＬＮ］、突起顔面神経、迷走神経、及びそれらの分枝部を含む）、血管（肺及び肺葉の動脈及び静脈、下腸間膜動脈［ＩＭＡ］及びそれらの分枝部、上直腸動脈、Ｓ字結腸動脈、及び左結腸動脈を含む）、上腸間膜動脈（ＳＭＡ）及びそれらの分枝部（中結腸動脈、右結腸動脈、回腸結腸動脈を含む）、肝動脈及びそれらの分枝部、門脈及びそれらの分枝部、脾臓動脈／静脈及びそれらの分枝部、外腸骨血管及び内腸骨血管（下腹部）、短胃動脈、子宮動脈、正中仙骨血管、及びリンパ節のうちの１つ又は２つ以上を識別するように構成されている。更に、外科用可視化システムは、外科用装置の重要構造への近接度を示し、かつ／又は、外科用装置が重要構造に接近すると臨床医に警告するように構成されている。
本開示の様々な態様は、手術中の重要構造の識別（例えば、尿管、神経、及び／又は血管の識別）及び器具接近モニタリングを提供する。例えば、本明細書に開示される様々な外科用可視化システムは、例えば、組織の表面の１．０ｃｍ～１．５ｃｍ下などの組織の表面の下の重要構造の可視化を可能にする、スペクトル撮像及び外科用器具トラッキングを含み得る。他の例では、外科用可視化システムは、組織の表面の１．０ｃｍ未満又は１．５ｃｍ超下の構造を識別することができる。例えば、表面の０．２ｍｍ以内の構造のみを識別することができる外科用可視化システムであっても、例えば、深さによって本来は見えない場合に有用であり得る。様々な態様では、外科用可視化システムは、例えば、可視組織の表面上の可視白色光画像のオーバーレイとして重要構造をバーチャルに表示することによって、臨床医の視界を拡張することができる。外科用可視化システムは、外科用器具の遠位先端部のリアルタイムな三次元空間的トラッキングを提供することができ、外科用器具の遠位先端が重要構造のある範囲内、例えば、重要構造の１．０ｃｍ以内などに移動すると、近接警告を提供することができる。
本明細書に開示される様々な外科用可視化システムは、重要構造に対して切開が近すぎるときを識別することができる。温度（すなわち、重要構造を損傷／加熱／融解させる危険があり得る重要構造の近くで過度に熱い）、及び／又は、張力（すなわち、重要構造を損傷させる／裂傷させる／引く危険があり得る重要構造の近くで張力が過度に大きい）に基づくと、切開が重要構造に「近すぎる」場合がある。このような外科用可視化システムは、例えば結紮の前に血管周囲組織を剥離するときに、血管周囲の切開を容易にすることができる。様々な例において、熱画像化カメラを利用して、手術部位の熱を読み取り、検出された熱及びツールから構造までの距離に基づいて警告を臨床医に提供することができる。例えば、ツールの温度が所定の閾値（例えば１２０°Ｆなど）を超える場合、警告は、第１の距離（例えば１０ｍｍなど）で臨床医に提供され得、ツールの温度が既定の閾値以下である場合、警告は、第２の距離（例えば５ｍｍなど）で臨床医に提供され得る。既定の閾値及び／又は警告距離は、デフォルト設定である、及び／又は臨床医によってプログラム可能であり得る。追加的に又は代替的に、近接警告は、例えば、単極又は双極の切開器具又は血管シーラーの遠位ジョー内の熱を測定する熱電対などの、ツール自体によって行われる熱測定に連結され得る。
本明細書に開示される様々な外科用可視化システムは、臨床医が、注意基準及び／又は装置安全データに基づいて、自信を持って迅速でありながら安全な切開を進めることを可能にするために、重要構造に対する十分な感度と特異性を提供することができる。このシステムは、患者又は臨床医に対して最小限の電離放射線リスクで外科処置中の手術中にリアルタイムで機能し得、様々な例において、患者又は臨床医に対する電離放射線リスクはない。逆に、蛍光透視法において、患者及び臨床医は、例えば、解剖学的構造をリアルタイムで見るために利用されるＸ線ビームを介して電離放射線に曝露され得る。
本明細書に開示される様々な外科用可視化システムは、例えば、外科用装置の経路がロボット制御されるときなど、外科用装置の前方経路内の１つ又は２つ以上の所望の種類の重要構造を検出及び識別するように構成され得る。追加的に又は代替的に、外科用可視化システムは、例えば、外科用装置の周囲領域及び／又は複数の平面／範囲において、１つ又は２つ以上の種類の重要構造を検出及び識別するように構成され得る。
本明細書に開示される様々な外科用可視化システムは、容易に操作及び／又は解釈することができる。更に、様々な外科用可視化システムは、臨床医がデフォルト設定及び／又は動作をオーバーライドすることを可能にする「オーバーライド」特徴を組み込むことができる。例えば、臨床医は、外科用可視化システムからの警告を選択的にオフにして、かつ／又は、重要構造に対するリスクが、その領域を回避するリスクより低い場合（例えば、重要構造の周囲で癌を除去するとき、癌性組織を残すリスクは、重要構造の損傷のリスクよりも大きい場合がある）など、外科用可視化システムによって提示されるよりも重要構造に近付けることができる。
本明細書に開示される様々な外科用可視化システムは、外科用システムに組み込むことができ、かつ／又は、ワークフローに対する限定された影響を有する外科処置中に使用することができる。換言すれば、外科用可視化システムの実施は、外科処置が実施される方法を変更しなくてよい。更に、外科用可視化システムは、不注意な切断のコストと比較して経済的であり得る。データは、重要構造への不注意による損傷の低減が償還額の増加を促進することがあると示している。
本明細書に開示される様々な外科用可視化システムは、臨床医が重要構造を予想することを可能にするために、リアルタイム又はほぼリアルタイム、かつ十分事前に動作することができる。例えば、外科用可視化システムは、外科処置の効率を最大化するために、「減速、評価、及び回避」のため十分な時間を提供することができる。
本明細書に開示される様々な外科用可視化システムは、組織に注入される造影剤又は染料を必要としなくてよい。例えば、スペクトル撮像は、造影剤又は染料を使用することなく、隠れた構造を手術中に視覚化するように構成される。他の例では、造影剤は、他の可視化システムよりも組織の適切な層に注入するのが容易であり得る。造影剤の注入と重要構造の可視化との間の時間は、例えば、２時間未満であり得る。
本明細書に開示される様々な外科用可視化システムは、臨床データ及び／又は装置データと連結され得る。例えば、データは、外科医が損傷を望まない組織から、エネルギーを有効化する外科用装置（又は他の損傷可能性がある装置）までの距離の境界を提供することができる。本明細書に開示される外科用可視化システムとインターフェースする任意のデータモジュールは、例えば、観血的処置又は腹腔鏡処置における独立型外科用装置との使用を可能にするために、ロボットと一体的又は別個に提供することができる。外科用可視化システムは、様々な例においてロボット外科用システムと適合することができる。例えば、視覚化画像／情報は、ロボットコンソール内に表示され得る。
様々な例において、臨床医は、外科用ツールに対する重要構造の位置を知ることができない。例えば、重要構造が組織に埋め込まれている場合、臨床医は、重要構造の位置の確認が不可能な場合がある。特定の例において、臨床医は、重要構造を取り囲む位置の範囲外、及び／又は隠れた重要構造を覆う可視組織から離れて、外科用装置を維持することを望む場合がある。隠れた重要構造の位置が不明である場合、臨床医は、重要構造に過度に接近させる危険を冒しかねず、その結果、重要構造の不注意による外傷及び／若しくは切開が生じ、並びに／又は、重要構造付近での過度のエネルギー、熱、及び／若しくは張力をかける恐れがある。あるいは、臨床医は、重要構造である疑いのある場所から遠く離れたまま留まり、重要構造を避けようと努力して、望ましくない場所の組織に影響を及ぼすリスクもあり得る。
１つ又は２つ以上の重要構造に対する外科用装置の追跡を提示する、外科用可視化システムが提供される。例えば、外科用可視化システムは、重要構造に対する外科用装置の近接度を追跡することができる。このような追跡は、手術中、リアルタイムで、及び／又はほぼリアルタイムで行われ得る。様々な例において、追跡データは、撮像システムのディスプレイスクリーン（例えばモニタ）を介して臨床医に提供され得る。
本開示の一態様では、外科用可視化システムは、構造光パターンを可視表面上に放出するように構成されているエミッタを備える外科用装置と、埋め込まれた構造及び可視表面上の構造光パターンを検出するように構成されているカメラを備える撮像システムと、カメラ及び撮像システムと信号通信する制御回路と、を含み、制御回路は、外科用装置から埋め込まれた構造までの距離を決定することと、距離を示す信号を撮像システムに提供することと、を行うように構成されている。例えば、距離は、蛍光透視法によって光る重要構造までのカメラからの距離を計算することによって、カメラの複数のレンズ（例えば、左側レンズ及び右側レンズ）からの画像によって提供される照らされた構造の三次元ビューに基づいて決定することができる。外科用装置から重要構造までの距離は、例えば、外科用装置及びカメラの既知の位置に基づいて三角測量することができる。埋め込まれた重要構造までの距離を決定するための代替的な手段が、本明細書で更に説明される。例えば、ＮＩＲ飛行時間距離センサを使用することができる。追加的に又は代替的に、外科用可視化システムは、埋め込まれた重要構造にオーバーレイしている、／覆っている可視組織までの距離を決定することができる。例えば、外科用可視化システムは、隠れた重要構造を識別し、可視構造上に隠れた重要構造の概略、例えば可視組織の表面上の線を描くことによって、隠れた重要構造の画像を拡張することができる。外科用可視化システムは、可視組織上の拡張された線までの距離を更に決定することができる。
本明細書に開示される様々な外科用可視化システムによって提供されるように、隠れた重要構造及び／又は可視構造までの外科用装置の近接度に関する最新情報を臨床医に提供することによって、臨床医は、隠れた重要構造に対する外科用装置の配置について、より情報に基づく判断を行うことができる。例えば、臨床医は、外科用装置と重要構造との間の距離をリアルタイムで／手術中に見ることができ、特定の例において、外科用装置が重要構造の既定の近接度及び／又はゾーン内で移動するときに、撮像システムによってアラート及び／又は警告を提供することができる。特定の例において、アラート及び／又は警告は、外科用装置の軌道が、重要構造付近の「飛行禁止」区域に衝突する可能性（例えば、重要構造の１ｍｍ、２ｍｍ、５ｍｍ、１０ｍｍ、２０ｍｍ以上以内）を示すときに提供され得る。そのような例において、重要構造である疑いのある場所及びそこへの外科用装置の近接の臨床医による監視を必要とせずに、臨床医は、外科処置を通して操作を維持することができる。結果として、より少ない休止／中断、並びに／又は、改善された精度及び／若しくは確実性で、特定の外科処置をより迅速に実行することができる。一態様では、外科用可視化システムを利用して、健康な組織から腫瘍／癌組織／病的組織を区別するため、組織の多様性、例えば器官内の組織の多様性を検出することができる。このような外科用可視化システムは、健康な組織の除去を最小限に抑えながら、病的組織の除去を最大限にすることができる。
外科用ハブシステム
本明細書に記載の様々な可視化又は撮像システムは、図１７～図１９に関連して例示され、また以下で更に詳細に説明されるように、外科用ハブシステムに組み込まれ得る。
図１７を参照すると、コンピュータ実施インタラクティブ外科用システム２１００は、１つ又は２つ以上の外科用システム２１０２と、クラウドベースのシステム（例えば、ストレージ装置２１０５に結合されたリモートサーバ２１１３を含むことができるクラウド２１０４）と、を含む。各外科用システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの外科用ハブ２１０６を含む。一例では、図１７に示すように、外科用システム２１０２は、互いに、及び／又はハブ２１０６と通信するように構成された、可視化システム２１０８と、ロボットシステム２１１０と、ハンドヘルド式インテリジェント外科用器具２１１２と、を含む。いくつかの態様では、外科用システム２１０２は、Ｍ個のハブ２１０６と、Ｎ個の可視化システム２１０８と、Ｏ個のロボットシステム２１１０と、Ｐ個のハンドヘルド式インテリジェント外科用器具２１１２と、を含んでもよく、ここでＭ、Ｎ、Ｏ及びＰは１以上の整数である。
図１８は、外科手術室２１１６内の手術台２１１４上に横たわる患者に対して外科処置を実施するために使用される外科用システム２１０２の例を示す。ロボットシステム２１１０は、外科処置において外科用システム２１０２の一部として使用される。ロボットシステム２１１０は、外科医のコンソール２１１８と、患者側カート２１２０（外科用ロボット）と、外科用ロボットハブ２１２２と、を含む。外科医が外科医のコンソール２１１８を介して手術部位を見る間、患者側カート２１２０は、患者の身体の低侵襲切開部を介して、少なくとも１つの取り外し可能に結合された外科用ツール２１１７を操作することができる。手術部位の画像は医療用撮像装置２１２４によって得ることができ、医療用撮像装置２１２４は、患者側カート２１２０によって操作され、撮像装置２１２４を配向し得る。ロボットハブ２１２２は、手術部位の画像を処理し、その後外科医のコンソール２１１８を介して外科医に対して画像を表示させるために使用することができる。
他の種類のロボットシステムを、外科用システム２１０２と共に使用するために容易に適合させることができる。本開示での使用に好適なロボットシステム及び外科用ツールの様々な例が、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
クラウド２１０４によって実行され、本開示での使用に適しているクラウドベースの分析の様々な例が、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
様々な態様では、撮像装置２１２４は、少なくとも１つのイメージセンサと、１つ又は２つ以上の光学構成要素と、を含む。好適なイメージセンサとしては、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサが挙げられるが、これらに限定されない。
撮像装置２１２４の光学構成要素は、１つ若しくは２つ以上の照明光源及び／又は１つ若しくは２つ以上のレンズを含んでもよい。１つ若しくは２つ以上の照明光源は、手術野の一部を照明するように方向付けられてもよい。１つ又は２つ以上のイメージセンサは、組織及び／又は外科用器具から反射又は屈折された光を含む、手術野から反射又は屈折された光を受光することができる。
１つ若しくは２つ以上の照明光源は、可視スペクトル及び不可視スペクトル内の電磁エネルギーを放射するように構成され得る。光学スペクトル又は発光スペクトルと称されることもある可視スペクトルは、人間の目に可視の（すなわち、人間の目で検出可能な）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に反応する。
不可視スペクトル（すなわち、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
様々な態様では、撮像装置２１２４は、低侵襲性手術で使用するように構成されている。本開示と共に使用するのに好適な撮像装置の例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
一態様では、撮像装置は、トポグラフィと下層構造とを区別するためにマルチスペクトルモニタリングを用いる。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ及び紫外光を含む特定の波長の光を感知できる器具を使用することによって分離することができる。スペクトル撮像法は、人間の目がその赤色、緑色及び青色の受容体で捕捉することのできない追加情報の抽出を可能にすることができる。マルチスペクトル撮像法の使用については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。マルチスペクトルモニタリングは、治療される組織上で上述の試験の１つ又は２つ以上を実施するため、外科的タスクが完了した後に手術野を再配置するのに有用なツールであり得る。
いかなる手術においても手術室及び外科用設備の厳格な滅菌が必要であることは自明である。「外科施術の行われる現場（surgical theater）」、すなわち手術室（operating room）又は処置室（treatment room）に必要とされる厳格な衛生及び滅菌条件は、全ての医療装置及び設備の最大級の滅菌性を必要とする。上記の滅菌プロセスの一部としては、患者と接触する、又は滅菌野に侵入するあらゆるもの（撮像装置２１２４並びにその付属品及び構成要素を含む）を滅菌する必要が挙げられる。滅菌野は、トレイ内若しくは滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、又は滅菌野は、外科処置のために準備された患者のすぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
様々な態様では、可視化システム２１０８は、図１８に示されるように、滅菌野に対して戦略的に配置された１つ又は２つ以上の撮像センサと、１つ又は２つ以上の画像処理ユニットと、１つ又は２つ以上のストレージアレイと、１つ又は２つ以上のディスプレイと、を含む。一態様では、可視化システム２１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲのインターフェースを含む。可視化システム２１０８の様々な構成要素については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
図１８に示すように、一次ディスプレイ２１１９は、手術台２１１４のところにいるオペレータに可視であるように滅菌野内に位置決めされる。加えて、可視化タワー２１１２１が、滅菌野の外に位置決めされる。可視化タワー２１１２１は、互いに離れる方に面する第１の非滅菌ディスプレイ２１０７及び第２の非滅菌ディスプレイ２１０９を含む。ハブ２１０６によって誘導される可視化システム２１０８は、ディスプレイ２１０７、２１０９及び２１１９を利用して、滅菌野の内側及び外側のオペレータに対する情報フローを調整するように構成されている。例えば、ハブ２１０６は、可視化システム２１０８に一次ディスプレイ２１１９上の手術部位のライブ映像を維持させながら、撮像装置２１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ２１０７又は２１０９上に表示させることができる。非滅菌ディスプレイ２１０７又は２１０９上のスナップショットは、例えば、滅菌されていないオペレータにより、外科処置に関連する診断工程を実施可能とすることができる。
一態様では、ハブ２１０６は、可視化タワー２１１２１のところにいる滅菌されていないオペレータによって入力された診断入力又はフィードバックを滅菌領域内の一次ディスプレイ２１１９に送り、これを手術台のところにいる滅菌されているオペレータが見ることができるようにも構成されている。一例では、入力は、ハブ２１０６によって一次ディスプレイ２１１９に送ることのできる、非滅菌ディスプレイ２１０７又は２１０９上に表示されたスナップショットに対する修正の形態であってもよい。
図１８を参照すると、外科用器具２１１２は、外科処置において外科用システム２１０２の一部として使用されている。ハブ２１０６はまた、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されているように、外科用器具２１１２のディスプレイへの情報の流れを調整するように構成されている。可視化タワー２１１２１のところにいる滅菌されていないオペレータによって入力される診断入力又はフィードバックは、ハブ２１０６によって滅菌野内の外科用器具ディスプレイ２１１５に送られることができ、ここで診断入力又はフィードバックを、外科用器具２１１２のオペレータが見ることができる。外科用システム２１０２と共に使用するのに好適な例示的な外科用器具が、本開示において参照により本明細書に組み込まれる様々な特許出願に記載されている。
図１９は、コンピュータ実施インタラクティブ外科用システム２２００を示す。コンピュータ実施インタラクティブ外科用システム２２００は、多くの点で、コンピュータ実施インタラクティブ外科用システム２１００と類似している。外科用システム２２００は、リモートサーバ２２１３を含み得るクラウド２２０４と通信する少なくとも１つの外科用ハブ２２３６を含む。一態様では、コンピュータ実施インタラクティブ外科用システム２２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続された外科用ハブ２２３６を備える。外科用ハブ２２３６は、外科用ハブ２２３６をクラウド２２０４及び／又はリモートサーバ２２１３に通信可能に結合するための通信インターフェースを備える。図１９の実施例に示すように、外科用ハブ２２３６は、内視鏡２２３９に結合された撮像モジュール２２３８、エネルギー装置２４２１に結合された発生器モジュール２２４０、排煙器モジュール２２２６、吸引／灌注モジュール２２２８、通信モジュール２２３０、プロセッサモジュール２２３２、ストレージアレイ２２３４、任意選択的にディスプレイ２２３７に結合されたスマート装置／器具２２３５、及び非接触センサモジュール２２４２に連結されている。手術室装置は、外科用ハブ２２３６を介してクラウドコンピューティングリソース及びデータストレージに結合されている。ロボットハブ２２２２もまた、外科用ハブ２２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２２３５、可視化システム２２０９が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、外科用ハブ２２３６に結合されてもよい。外科用ハブ２２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２２１５（例えば、モニタ、スクリーン）に結合されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続された装置から受信したデータを、画像及びオーバーレイ画像と共に表示してもよい。
状況認識
本明細書に記載の可視化システムの様々な可視化システム又は態様は、外科用ハブ２１０６、２２３６（図１７～図１９）によって具体化又は実行され得る状況認識システムの一部として利用され得る。特に、外科器具又は他の外科用装置（それらの位置、向き、及び動作を含む）、組織、構造、ユーザ、及び手術野又は手術室内に位置する他のものを特徴付け、識別、及び／又は可視化することは、実施される外科処置のタイプ又はその工程、外科医によって操作される組織及び／又は構造のタイプなどを推測するために状況認識システムによって利用され得るコンテキストデータを提供することになり得る。このコンテキストデータは次いで、ユーザに警告を提供すること、ユーザがとるべき後続の工程又はアクションを提案すること、器具の使用を予測して外科用器具を準備すること（例えば、外科処置の後続の工程で利用される電気外科用器具を予測して電気外科用発生器を起動させること）、外科用器具をインテリジェントに制御すること（例えば、各患者の特定の健康プロファイルに基づいて外科用器具の動作パラメータをカスタマイズすること）などのために、状況認識システムによって利用され得る。
感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」装置は、感知されたデータを考慮することなく動作する「データ処理能力のない（dumb）」装置に改善を加えたものであり得るが、いくつかの感知されたデータは、単独で考慮される場合、すなわち、実施される外科処置のタイプ又は手術されている組織のタイプのコンテキストなしには、不完全又は決定的ではない可能性がある。処置コンテキストを知る（例えば、手術される組織のタイプ又は実施されている処置のタイプを知る）ことがなければ、制御アルゴリズムは、特定のコンテキストを含まない感知データが与えられると、モジュール式装置を不正確に又は最適ではなく制御することがある。モジュール式装置は、可視化システムデバイス（例えば、カメラ又はディスプレイスクリーン）、外科用器具（例えば、超音波外科用器具、電気外科用器具、又は外科用ステープラ）、及び他の外科用装置（例えば、煙排出器）など、状況認識システムによって制御可能な任意の外科用装置を含み得る。例えば、特定の感知されたパラメータに応答して外科用器具を制御するための制御アルゴリズムの最適な方法は、手術されている特定の組織のタイプによって変化する可能性がある。これは、異なる組織のタイプが異なる特性（例えば、引き裂きに対する抵抗）を有し、そのため、外科用器具によってとられたアクションに対して異なって応答するという事実に起因する。したがって、特定のパラメータについて同じ測定値が感知された場合であっても、外科用器具が異なるアクションをとることが望ましいことがある。１つの具体的な例として、外科用ステープル留め及び切断器具がそのエンドエフェクタを閉鎖するために予想外に高い力を感知することに応答してその器具を制御する最適な方法は、組織のタイプが引き裂きの影響を受けやすいか、又はこれに耐性があるかによって異なる。肺組織など、引き裂きの影響を受けやすい組織の場合、器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答してモータを最適にランプダウンさせる。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答してモータを最適にランプアップさせる。肺組織がクランプされているのか、胃組織がクランプされているのかを知らなければ、制御アルゴリズムは、最適ではない決定を行う可能性がある。
１つの解決策は、様々なデータソースから受信したデータに基づいて実施されている外科処置に関する情報を導出し、次いで、ペアリングされたモジュール式装置を適宜制御するように構成されたシステムを含む、外科用ハブを利用する。換言すれば、外科用ハブは、受信したデータから外科処置に関する情報を推測し、次いで、外科処置の推定されたコンテキストに基づいて、外科用ハブとペアリングされたモジュール式装置を制御するように構成されている。図２０は、本開示の少なくとも１つの態様による、状況認識外科用システム２４００の図を示す。いくつかの例示では、データソース２４２６は、例えば、モジュール式装置２４０２（患者及び／又はモジュール式装置自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る）、データベース２４２２（例えば、患者記録を含むＥＭＲデータベース）、及び患者監視装置２４２４（例えば、血圧（ＢＰ）モニタ及び心電図（ＥＫＧ）モニタ）を含む。
外科用ハブ２４０４は、多くの点でハブ１０６と類似していてよく、例えば、受信したデータの特定の組み合わせ又はデータソース２４２６からデータが受信される特定の順序に基づいて、外科処置に関するコンテキスト情報をデータから導出するように構成され得る。受信したデータから推定されるコンテキスト情報は、例えば、実施される外科処置のタイプ、外科医が実施している外科処置の特定の工程、手術されている組織のタイプ、又は処置の対象である体腔を含み得る。受信したデータから外科処置に関連する情報を導出又は推定するための外科用ハブ２４０４のいくつかの態様によるこの能力は、「状況認識」と称され得る。１つの例示では、外科用ハブ２４０４は、受信したデータから外科処置に関連するコンテキスト情報を導出する外科用ハブ２４０４に関連付けられたハードウェア及び／又はプログラミングである状況認識システムを組み込むことができる。
外科用ハブ２４０４の状況認識システムは、様々な異なる方法でデータソース２４２６から受信したデータからコンテキスト情報を導出するように構成され得る。１つの例示では、状況認識システムは、様々な入力（例えば、データベース２４２２、患者監視装置２４２４、及び／又はモジュール式装置２４０２からのデータ）を、外科処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含む。換言すれば、機械学習システムは、提供された入力から外科処置に関するコンテキスト情報を正確に導出するように訓練され得る。別の例示では、状況認識システムは、外科処置に関する事前に特徴付けされたコンテキスト情報を、コンテキスト情報に対応する１つ又は２つ以上の入力（又は入力の範囲）と対応させて記憶する、ルックアップテーブルを含み得る。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式装置２４０２を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。１つの例示では、外科用ハブ２４０４の状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式装置２４０２の特定の制御調整又は一連の制御調整に関連付けられる。別の例示では、状況認識システムは、コンテキスト情報を入力として提供されたときに１つ又は２つ以上のモジュール式装置２４０２の１つ又は２つ以上の制御調整を生成又は検索する、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
状況認識システムを組み込む外科用ハブ２４０４は、外科用システム２４００に多くの利益を提供する。１つの利益は、感知され収集されたデータの解釈を改善することを含み、これは、外科処置の過程中の処理精度及び／又はデータの使用を改善する。前の例に戻ると、状況認識した外科用ハブ２４０４は、どのタイプの組織が手術されているかを判定することができ、したがって、外科用器具のエンドエフェクタを閉じるために予想外に高い力が検出されると、状況認識した外科用ハブ２４０４は、組織のタイプに合わせて外科用器具のモータを正しくランプアップ又はランプダウンさせることができる。
別の実施例として、手術されている組織のタイプは、特定の組織間隙測定のための外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値になされる調整に影響を及ぼし得る。状況認識した外科用ハブ２４０４は、実施されている外科処置が胸部処置であるのか又は腹部処置であるのかを推定することができ、これにより外科用ハブ２４０４は、外科用ステープル留め及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか（胸部手術の場合）又は胃であるのか（腹部手術の場合）を判定することができる。次いで、外科用ハブ２４０４は、外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値を、組織のタイプに合わせて適切に調整することができる。
更に別の実施例として、送気処置中に手術されている体腔のタイプは、煙排出器の機能に影響を及ぼし得る。状況認識した外科用ハブ２４０４は、手術部位が（外科処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置タイプを判定することができる。処置タイプは概して特定の体腔内で実施されるため、外科用ハブ２４０４は、手術されている体腔に合わせて適切に煙排出器のモータ速度を制御することができる。したがって、状況認識した手術ハブ２４０４は、胸部手術及び腹部手術の両方のために一定量の煙排出を提供することができる。
更に別の実施例として、実施されている処置のタイプは、超音波外科用器具又は高周波（ＲＦ）電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。例えば、関節鏡処置は、超音波外科用器具又はＲＦ電気外科用器具のエンドエフェクタが流体中に浸漬されるため、より高いエネルギーレベルを必要とする。状況認識した外科用ハブ２４０４は、外科処置が関節鏡処置であるかどうかを判定することができる。次いで、外科用ハブ２４０４は、流体充填環境を補償するために、発生器のＲＦ電力レベル又は超音波振幅（すなわち、「エネルギーレベル」）を調整することができる。関連して、手術されている組織のタイプは、超音波外科用器具又はＲＦ電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識した外科用ハブ２４０４は、どのタイプの外科処置が実施されているかを判定し、次いで、外科処置に関する予想される組織プロファイルに従って超音波外科用器具又はＲＦ電気外用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識した外科用ハブ２４０４は、処置ごとにではなく、外科処置の過程にわたって、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルを調整するように構成され得る。状況認識した外科用ハブ２４０４は、外科処置のどの工程が実施されているか、又はその後に実施されるかを判定し、次いで発生器及び／又は超音波外科用器具若しくはＲＦ電気外科用器具の制御アルゴリズムを更新して、外科処置の工程に従って予想される組織タイプに適切な値にエネルギーレベルを設定することができる。
更に別の例として、外科用ハブ２４０４が１つのデータソース２４２６から引き出す結論を改善するために、追加のデータソース２４２６からデータを引き出してもよい。状況認識した外科用ハブ２４０４は、モジュール式装置２４０２から受信したデータを、他のデータソース２４２６から外科処置に関して構築したコンテキスト情報で増強することができる。例えば、状況認識した外科用ハブ２４０４は、医療用撮像装置から受信したビデオ又は画像データに従って、止血が発生したかどうか（すなわち、手術部位での出血が止まったかどうか）を判定するように構成され得る。しかしながら、場合によっては、ビデオ又は画像データは、決定的ではない可能性がある。したがって、１つの例示では、外科用ハブ２４０４は、生理学的測定（例えば、外科用ハブ２４０４に通信可能に接続されたＢＰモニタによって感知された血圧）を、（例えば、外科用ハブ２４０４に通信可能に結合された医療用撮像装置１２４（図２）からの）止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性についての判定を行うように更に構成され得る。換言すれば、外科用ハブ２４０４の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用であり得る。
別の利益としては、外科処置の過程中に医療関係者が外科用システム２４００と相互作用するか又はこれを制御するために必要とされる回数を低減するために、実施されている外科処置の特定の工程に従って、ペアリングされたモジュール式装置２４０２を積極的かつ自動的に制御することが挙げられる。例えば、状況認識した外科用ハブ２４０４は、処置の後続の工程が器具の使用を必要とすると判定した場合に、ＲＦ電気外科用器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行する工程が完了するとすぐに器具を使用準備完了にすることができる。
別の実施例として、状況認識した外科用ハブ２４０４は、外科処置の現在又は後続の工程が、ディスプレイ上の異なる視界又は拡大の度合いを必要とするかどうかを、外科医が見る必要があると予想される手術部位における特徴に従って判定することができる。次いで、外科用ハブ２４０４は、（例えば、可視化システム１０８のために医療用撮像装置によって供給される）表示されたビューを適切に積極的に変更することができ、その結果、ディスプレイは外科処置にわたって自動的に調整するようになる。
更に別の例として、状況認識した外科用ハブ２４０４は、外科処置のどの工程が実施されているか、又はその後に実施されるか、及び特定のデータ又はデータ間の比較が外科処置のその工程に必要とされるかどうかを判定することができる。外科用ハブ２４０４は、外科医が特定の情報を尋ねるのを待つことなく、実施されている外科処置の工程に基づいて、自動的にデータスクリーンを呼び出すように構成され得る。
別の利益としては、外科処置のセットアップ中又は外科処置の過程中にエラーをチェックすることが挙げられる。例えば、状況認識した外科用ハブ２４０４は、手術室が、実施される外科処置のために適切に又は最適にセットアップされているかどうかを判定することができる。外科用ハブ２４０４は、実施されている外科処置のタイプを判定し、対応するチェックリスト、製品位置、又はセットアップニーズを（例えば、メモリから）読み出し、次いで、現在の手術室のレイアウトを、外科用ハブ２４０４が実施されていると判定した外科処置のタイプの標準レイアウトと比較するように構成され得る。１つの例示では、外科用ハブ２４０４は、例えば、好適なスキャナによってスキャンされた処置のためのアイテムのリスト及び／又は外科用ハブ２４０４とペアリングされる装置のリストを、所与の外科処置のためのアイテム及び／又は装置の推奨又は予想されるマニフェストと比較するように構成され得る。リスト間に不連続性が存在する場合、外科用ハブ２４０４は、特定のモジュール式装置２４０２、患者監視装置２４２４、及び／又は他の外科用アイテムが欠落していることを示す警告を提供するように構成され得る。１つの例示では、外科用ハブ２４０４は、例えば、近接センサによってモジュール式装置２４０２及び患者監視装置２４２４の相対距離又は位置を判定するように構成され得る。外科用ハブ２４０４は、装置の相対位置を、特定の外科処置のための推奨される又は予想されるレイアウトと比較することができる。レイアウト間に不連続性が存在する場合、外科用ハブ２４０４は、外科処置の現在のレイアウトが推奨されるレイアウトから逸脱していることを示す警告を提供するように構成され得る。
別の例として、状況認識した外科用ハブ２４０４は、外科医（又は他の医療関係者）が誤りを犯しているか、又は別の方法で外科処置の過程中に求められる一連のアクションから逸脱しているかどうかを判定することができる。例えば、外科用ハブ２４０４は、実施されている外科処置のタイプを判定し、設備使用の工程又は順序の対応するリストを（例えば、メモリから）読み出し、次いで、外科処置の過程中に実施されている工程、又は使用されている設備を、外科用ハブ２４０４が実施されていると判定した外科処置のタイプの予想された工程又は設備と比較するように構成され得る。１つの例示では、外科用ハブ２４０４は、外科処置における特定の工程で、予期せぬアクションが実施されているか、又は予期せぬ装置が利用されていることを示す警告を提供するように構成され得る。
全体的に、外科用ハブ２４０４のための状況認識システムは、各外科処置の特定のコンテキストのために外科用器具（及び他のモジュール式装置２４０２）を調整し（例えば、異なる組織のタイプに調整する）、外科処置中のアクションを検証することによって、外科処置の結果を改善する。状況認識システムはまた、処置の特定のコンテキストに従って、次の工程を自動的に示唆すること、データを提供すること、及び手術現場内のディスプレイ及び他のモジュール式装置２４０２を調整することによって、外科処置を実施する際の外科医の効率を改善する。
ここで図２１を参照すると、例えば、外科用ハブ１０６又は２０６（図１～図１１）などのハブの状況認識を示すタイムライン２５００が示されている。タイムライン２５００は例示的な外科処置と、外科用ハブ１０６、２０６が、外科処置の各工程でデータソースから受信したデータから導き出すことができるコンテキスト情報と、を示す。タイムライン２５００は、手術室を設置することから開始し、患者を術後回復室に移送することで終了する肺区域切除処置の過程で、看護師、外科医及び他の医療関係者がとるであろう典型的な工程を示す。
状況認識外科用ハブ１０６、２０６は、外科処置の過程全体にわたって、医療関係者が外科用ハブ１０６、２０６とペアリングされたモジュール式装置を使用する度に生成されるデータを含むデータをデータソースから受信する。外科用ハブ１０６、２０６は、ペアリングされたモジュール式装置及び他のデータソースからこのデータを受信する。そして任意の所与の時間に処置のどの工程が実施されているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ１０６、２０６の状況認識システムは、例えば、レポートを生成するために処置に関するデータを記録すること、医療関係者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを（例えば、ディスプレイスクリーンを介して）提供すること、コンテキストに基づいてモジュール式装置を調節すること（例えば、モニタを起動する、医療用撮像装置の視野（ＦＯＶ）を調節する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更することなど）及び上述の任意の他のこうしたアクションを行うことが可能である。
この例示的な処置における第１の工程２５０２として、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを読み出す。ＥＭＲにおける選択された患者データに基づいて、外科用ハブ１０６、２０６は、実施される処置が胸郭処置であると判定する。
第２の工程２５０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ１０６、２０６は、スキャンされた用品を様々なタイプの処置で利用される用品のリストと相互参照し、用品の組み合わせが、胸郭処置に対応するものであることを確認する。更に、外科用ハブ１０６、２０６はまた、処置が楔状処置ではないと判定することができる（入来する用品が、胸郭楔状処置に必要な特定の用品を含まないか、又は別の点で胸郭楔状処置に対応していないかのいずれかであるため）。
第３の工程２５０６では、医療関係者は、外科用ハブ１０６、２０６に通信可能に接続されたスキャナを介して患者のバンドをスキャンする。続いて、外科用ハブ１０６、２０６は、スキャンされたデータに基づいて患者の識別情報を確認することができる。
第４の工程２５０８では、医療スタッフが補助装置をオンにする。利用される補助装置は、外科処置のタイプ及び外科医によって使用される技術に従って変わり得るが、この例示的な場合では、これらとしては、排煙器、吸入器及び医療用撮像装置が挙げられる。起動されると、モジュール式装置である補助装置は、その初期化プロセスの一部として、モジュール式装置の特定の近傍内に位置する外科用ハブ１０６、２０６と自動的にペアリングすることができる。続いて、外科用ハブ１０６、２０６は、この手術前又は初期化段階中にそれとペアリングされるモジュール式装置のタイプを検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の例では、外科用ハブ１０６、２０６は、ペアリングされたモジュール式装置のこの特定の組み合わせに基づいて、外科処置がＶＡＴＳ処置であると判定する。患者のＥＭＲからのデータ、手術に用いられる医療用品のリスト及びハブに接続するモジュール式装置のタイプの組み合わせに基づいて、外科用ハブ１０６、２０６は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ１０６、２０６が、何の特定の処置が実施されているかを認識すると、続いて外科用ハブ１０６、２０６は、メモリから、又はクラウドからその処置の工程を読み出して、次に接続されたデータソース（例えば、モジュール式装置及び患者監視装置）からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実施しているかを推定することができる。
第５の工程２５１０では、職員は、ＥＫＧ電極及び他の患者監視装置を患者に取り付ける。ＥＫＧ電極及び他の患者監視装置は、外科用ハブ１０６、２０６とペアリングすることができる。外科用ハブ１０６、２０６が患者監視装置からデータの受信を開始すると、外科用ハブ１０６、２０６は患者が手術室にいることを確認する。
第６の工程２５１２では、医療関係者は患者に麻酔をかける。外科用ハブ１０６、２０６は、例えば、ＥＫＧデータ、血圧データ、ベンチレータデータ又はこれらの組み合わせを含む、モジュール式装置及び／又は患者監視装置からのデータに基づいて、患者が麻酔下にあることを推定することができる。第６の工程２５１２が完了すると、肺区域切除処置の術前部分が完了し、手術部分が開始する。
第７の工程２５１４では、手術をされている患者の肺が虚脱される（他方、換気が対側肺に切り替えられる）。外科用ハブ１０６、２０６は、例えば、患者の肺が虚脱されたことをベンチレータデータから推定することができる。外科用ハブ１０６、２０６は、患者の肺が虚脱したのを検出したことを、処置の予期される工程（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が既に開始されたと推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術工程であると判定することができる。
第８の工程２５１６では、医療用撮像装置（例えば、スコープ）が挿入され、医療用撮像装置からのビデオ映像が開始される。外科用ハブ１０６、２０６は、医療用撮像装置への接続を通じて医療用撮像装置データ（すなわち、ビデオ又は画像データ）を受信する。医療用撮像装置データを受信すると、外科用ハブ１０６、２０６は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ１０６、２０６は、実施されている特定の処置が、肺葉切除とは異なり区域切除術であると判定することができる（処置の第２の工程２５０４で受信したデータに基づいて、外科用ハブ１０６、２０６によって楔状処置は既にその可能性がないと判断されていることに留意されたい）。医療用撮像装置１２４（図２）からのデータは、実施されている処置のタイプに関するコンテキスト情報を判定するために多くの異なる方法で用いられてもよい。例えば、患者の解剖学的構造を可視化したものに対して、医療用撮像装置が向いている角度を判定したり、用いられている（すなわち、起動されており、外科用ハブ１０６、２０６とペアリングされている）医療用撮像装置の数を監視したり、用いられている可視化装置のタイプを監視したりするために用いられてよい。例えば、ＶＡＴＳ肺葉切除術を実施するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実施するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。例えば、パターン認識又は機械学習技術を使用して、状況認識システムは、患者の解剖学的構造を可視化したものに基づいて、医療用撮像装置の位置を認識するように訓練され得る。別の例として、ＶＡＴＳ肺葉切除術を実施するための１つの技術は、単一の医療用撮像装置を利用するが、ＶＡＴＳ区域切除術を実施するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実施するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブに通信可能に結合され得る）を使用するが、これはＶＡＴＳ肺葉切除術では使用されない。医療用撮像装置からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ１０６、２０６は、実施されている特定のタイプの外科処置及び／又は特定のタイプの外科処置に使用されている技術を判定することができる。
第９の工程２５１８で、外科チームは、処置の切開工程を開始する。外科用ハブ１０６、２０６は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して動員するプロセスにあると推定することができる。外科用ハブ１０６、２０６は、受信されたデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が、切開工程に対応していると判定することができる。特定の例では、エネルギー器具は、ロボット外科システムのロボットアームに装着されたエネルギーツールであり得る。
第１０の工程２５２０で、外科チームは、処置の結紮工程に進む。外科用ハブ１０６、２０６は、外科用ステープル留め及び切断器具から、その器具が発射されていることを示すデータを受信するので、外科医が現在、動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ１０６、２０６は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。特定の例では、外科用器具は、ロボット外科システムのロボットアームに装着された外科用ツールであり得る。
第１１の工程２５２２では、処置の区域切除部分が実施される。外科用ハブ１０６、２０６は、そのカートリッジからのデータを含む、外科用ステープル留め及び切断器具からのデータに基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されるステープルのサイズ又はタイプに対応することができる。異なるタイプのステープルが異なるタイプの組織に利用されるため、カートリッジのデータは、ステープル留め及び／又は横切開されている組織のタイプを示すことができる。この場合、発射されるステープルのタイプは実質組織（又は他の同様の組織タイプ）に用いられ、これにより、外科用ハブ１０６、２０６は、処置の区域切除部分が実施されていると推定することができる。
続いて第１２の工程２５２４で、ノード切開工程が実施される。外科用ハブ１０６、２０６は、ＲＦ又は超音波器具が発射されていることを示す発生器から受信したデータに基づいて、外科チームがノードを切開し、漏れ試験を実施していると推定することができる。この特定の処置の場合、実質組織が横切開された後に用いられるＲＦ又は超音波器具は、ノード切開工程に対応しており、それにより、外科用ハブ１０６、２０６が上記の推定を行うことが可能となる。異なる器具が特定の作業に対してより良好に適合するため、外科医は、処置中の特定の工程に応じて、定期的に外科用ステープル留め／切断器具と外科用エネルギー（すなわち、ＲＦ又は超音波）器具とを、交互に切り替えることに留意されたい。したがって、ステープル留め／切断器具及び外科用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実施中であるかを示すことができる。更に、特定の例では、外科処置中の１つ又は２つ以上の工程にロボットツールを使用することができ、かつ／又は外科処置中の１つ以上の工程にハンドヘルド式外科用器具を使用することができる。外科医は、例えば、ロボットツールとハンドヘルド式外科用器具とを交互に使用することができ、かつ／又は装置を同時に使用することができる。第１２の工程２５２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
第１３の工程２５２６では、患者を麻酔から覚醒させる作業が行われる。外科用ハブ１０６、２０６は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。
最後に、第１４の工程２５２８は、医療関係者が患者から様々な患者監視装置を除去することである。したがって、外科用ハブ２１０６、２２３６は、ハブがＥＫＧ、ＢＰ及び患者監視装置からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明から分かるように、外科用ハブ２１０６、２２３６と通信可能に結合された各種データソースから受信されたデータに基づいて、外科用ハブ２１０６、２２３６は、所与の外科処置の各工程がいつ行われているかを判定又は推定することができる。
状況認識については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に更に説明されており、これは参照によりその全体が本明細書に組み込まれる。特定の例では、例えば本明細書で開示される様々なロボット外科システムを含むロボット外科システムの動作は、その状況認識及び／若しくはその構成要素からのフィードバックに基づいて、並びに／又はクラウド２０１４（図１７）からの情報に基づいて、ハブ２１０６、２２３６によって制御されてもよい。
撮像された組織からメタデータを外挿するための構造光による可視化
組織上の表面不規則性（例えば、変形及び／又は不連続部）は、可視化システム内で捕捉及び表現することが困難であり得る。加えて、組織は多くの場合、外科処置中に移動及び／又は変化する。言い換えれば、組織は動的である。例えば、組織は、外科的締結操作によって、歪んだり、応力を受けたり、あるいは別様に変形したりすることがある。組織はまた横切開されることもあり、かつ／又は組織の特定の部分及び／若しくは層が除去されることもある。下にある組織及び／又は構造は、外科処置中に露出され得る。組織が移動すると、解剖学的構造内の可視組織及び／又は隠れた組織マージンの下にある埋め込まれた構造も移動し得る。例えば、切除マージンは、組織変形前に腫瘍の周りに同心円状に位置決めされ得るが、しかしながら、解剖学的構造が外科処置中に変形すると、切除マージンも変形する可能性がある。場合によっては、以前に識別された物理的特性又は特性を有する部分を含めて、組織の隣接部分がシフトすることもある。外科処置中に変形、横切開、移動、又は別様に変化するときに組織の三次元デジタル表現又はモデルを生成することは、様々な問題を生じるが、しかしながら、そのような動的可視化撮像は、特定の例において臨床医に役立ち得る。
本開示の様々な態様では、可視化システムは、撮像された組織に関連する追加の組織特性又はメタデータを外挿するために、構造光パターンと組み合わせて複数の光源を含むことができる。例えば、組織の表面不規則性は、構造光と複数のコヒーレント光源との組み合わせで識別され得る。追加的に又は代替的に、表面不規則性は、構造光と非コヒーレント又は拡散光と立体イメージセンサとの組み合わせで識別され得る。一例では、複数の光源が、異なる波長で構造光のパターンを放出することができる。異なる波長は、外側表面及び下層表面などの解剖学的構造の異なる表面に到達することができる。可視化システムのイメージセンサは、解剖学的構造の異なる表面を示す撮像データをイメージセンサから受信することができる。次いで、可視化システムは、イメージセンサによって撮像された解剖学的構造の異なる表面上の構造光パターンに基づいて解剖学的構造の三次元デジタル表現を生成することができる。場合によっては、上にある組織の不規則性に起因する表面の可視化におけるギャップを埋めるために、表面下輪郭が利用され得る。追加的に又は代替的に、埋め込まれた構造及び／又は組織層の動きを決定及び追跡するために、表面下輪郭が分析され得る。
組織が外科処置中に移動するとき、特定の状況では、可視化表示内の情報を更新することが有用であり得る。例えば、組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び／又は１つ又は２つ以上の埋め込まれた構造の更新された識別情報を示すことが役立ち得る。異なる時点における組織の撮像フレームを比較することにより、外科用システムの制御回路は、追加の組織特性又はメタデータを分析し、臨床医に更新された可視化画像を提供してそれを通知することができる。
様々な例において、状況認識モジュールは、手術部位での予想に基づいて、組織不規則性の識別を通知することができる。例えば、状況認識モジュールは、例えば、外科処置のタイプ、外科処置の工程、組織のタイプ、及び／又は様々な組織特性に基づいて、特定の場所でステープルの行又は瘢痕を識別することを予想し得る。外科用システムの状況認識は、本明細書において更に開示され、また、それぞれの全体が参照により本明細書に組み込まれる米国仮特許出願第６２／６１１，３４１号、発明の名称「ＩＮＴＥＲＡＣＴＩＶＥ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭ」（２０１７年１２月２８日出願）、及び同第６２／６１１，３４０号、発明の名称「Ｃｌｏｕｄ－Ｂａｓｅｄ Ｍｅｄｉｃａｌ Ａｎａｌｙｔｉｃｓ」（２０１７年１２月２８日出願）に開示されている。
可視化システムによる撮像は、臨床医及び／又は外科用ハブのための測定可能なデータ及び情報に変換され得る。例えば、外科用装置の使用を分析するために、また特定の例において改善又は装置の最適化の機会を提供するために、可視化が利用され得る。様々な例において、状況認識は、可視化システムに通知することができる。例えば、本明細書に記載されるように、可視化システムに通信可能に結合された状況認識モジュールを含む外科用システムは、更新された組織特性及び／又はメタデータなどの更新された情報を、例えば、外科処置中にディスプレイを介して臨床医に提供するように構成され得る。更新された可視化撮像又は他のデータは、状況認識モジュールからの入力に基づいて自動的に提供されてもよく、かつ／又は、外科処置、患者、及び／若しくは組織の認識に基づいて状況認識モジュールによって提案されてもよい。そのような可視化システムは、外科的シナリオに適応する。
より具体的には、可視化画像は、状況認識モジュールからの入力に従って更新され得る。例えば、状況認識モジュールは、本明細書に更に記載されるように、外科処置のタイプ、外科処置における工程、組織のタイプ、及び／又は様々な組織特性を判定することができる。可視化画像に対する更新は、状況認識モジュールからの入力に基づいて自動化され、かつ／又は臨床医に推奨され得る。例えば、ステープルラインが組織内に発射されたことを状況認識モジュールが認識した場合、状況認識モジュールは、可視化撮像の更新を要求又は提案して、ステープルラインに沿った組織圧縮を示すことができる。別の例として、外科処置中に可視組織がシフトしたことを状況認識モジュールが認識した場合、状況認識モジュールは、可視化撮像の更新を要求又は提案して、切除マージンの更新された構成を示すことができる。追加の外科的シナリオが企図され、様々な実施例が本開示を通して提供される。
ここで図２２を参照すると、コンピュータ実施対話型外科用システムの各部分が示されている。コンピュータ実施対話型外科用システムは、クラウドベースのシステム６００４と、クラウドベースのシステム６００４と通信する少なくとも１つの外科用ハブ６００６と、を含む。コンピュータ実施対話型外科用システムの様々な要素は、コンピュータ実施対話型外科用システム２１００（図１７）のものと同一であってもよい。例えば、外科用ハブ６００６は、外科用ハブ２１０６と同一であってもよく、クラウドベースのシステム６００４は、クラウドベースのシステム２１０４と同一であってもよい。図２２のコンピュータ実施対話型外科用システムはまた、例えば、ハブ６００６及び／又はハブ６００６の状況認識モジュール６００７などの状況認識モジュールと通信するように構成された制御回路６０３２を有する可視化システム６００８を含む。
可視化システム６００８は、多くの態様で、可視化システム１００（図１）及び可視化システム２１０８（図１７）と類似し得る。例えば、可視化システム６００８は、制御回路６０３２に通信可能に結合されたメモリ６０３４を含む。可視化システム６００８はまた、複数の光源６０５０と、カメラ６０４４とディスプレイ６０４６とコントロール６０４８とを有する撮像システム６０４２と、を含む。カメラ６０４４は、少なくとも１つのイメージセンサ６０３５を含む。他の例では、適応型可視化システム６００８は、例えば、複数のカメラを含むことができる。
可視化システム６００８は、ハブ６００６からの入力に応答して適応するように構成されている。そのような例では、可視化システム６００８は、適応型可視化システムである。例えば、ハブ６００６は、状況認識モジュール６００７を含んでおり、これは、複数のソースからのデータを合成して、外科的事象に対する適切な対応を決定するように構成されている。例えば、状況認識モジュール６００７は、本明細書に更に記載されるように、外科処置のタイプ、外科処置における工程、組織のタイプ、及び／又は組織特性を判定することができる。更に、このような状況認識モジュール６００７は、合成されたデータに基づいて、システムに対する具体的な一連のアクション又は可能な選択肢を推奨することができる。様々な例において、外科用システム全体に分散された複数のセンサを包含するセンサシステムが、データ、画像、及び／又は他の情報を状況認識モジュール６００７に提供することができる。そのような状況認識モジュール６００７は、例えば、外科用ハブ６００６などの制御ユニットに組み込まれ得る。様々な例において、可視化システム６００８は、状況認識モジュール６００７からの入力に基づいて、臨床医に提供される可視化を更新するかあるいは別様に修正するように構成される。
光源６０５０は、解剖学的構造の表面幾何形状及び輪郭を決定するための少なくとも１つの構造光源を含み得る。３ＤＩｎｔｅｇｒａｔｅｄ，Ｉｎｃ．（３Ｄｉ）（Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ）は、リアルタイムで三次元データを取得するために、運動原理からの構造光、深層学習、及び構造に基づくプラットフォームを提供する。例えば、特定の例では、３Ｄｉソフトウェアは、例えば、外科用ツールの三次元位置を決定し、外科用表面の三次元再構成を生成し、コンピュータによる手術のための座標を取得するために利用され得る。様々な例において、単一の撮像アレイを利用する構造光パターンが、例えば表面輪郭を決定するために利用され得る。単一の構造光パターンに依存することで、不完全なデジタルモデルが提供されることになり得る。例えば、表面の不規則性がある場合、表面の特定の部分が覆い隠され得る。特定の例では、本明細書で更に説明されるように、例えば、より完全なデジタルモデルを生成するために、同じ腹腔鏡検査カメラ上の複数のアレイなどの複数の構造光アレイが用いられ得る。
可視化システム６００８は、例えば、撮像される組織の追加の態様、特徴付け、又はメタデータを外挿するために、構造光パターンと組み合わせて複数の光源を含み得る。本明細書で更に説明されるように、追加の態様は、例えば、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び埋め込まれた構造の識別であり得る。例えば、下にある移動粒子を追跡することによって、血管新生が分析され得る。一態様では、静脈、毛細管、又は動脈などの血管内を流れる血液細胞などの粒子の速度フローを決定するために、ドップラーイメージングが使用されてもよい。ドップラーイメージングは、血管を通る細胞の流れの方向及び速度を提供し得る。追加的に又は代替的に、赤外線（ＩＲ）吸収は、赤血球を酸素富化であるとして識別し、それによって血管を動脈として識別すること、又は、赤血球を酸素欠乏しているとして識別し、それによって血管を静脈として識別することを可能にする。組織特性評価は、それらのそれぞれの全体が参照により本明細書に組み込まれる、共に２０１８年３月２９日出願の米国特許出願第１５／９４０，７２２号、発明の名称「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」及び同第１５／９４，７０４号、発明の名称「ＵＳＥ ＯＦ ＬＡＳＥＲ ＬＩＧＨＴ ＡＮＤ ＲＥＤ－ＧＲＥＥＮ－ＢＬＵＥ ＣＯＬＯＲＡＴＩＯＮ ＴＯ ＤＥＴＥＲＭＩＮＥ ＰＲＯＰＥＲＴＩＥＳ ＯＦ ＢＡＣＫ ＳＣＡＴＴＥＲＥＤ ＬＩＧＨＴ」に更に記載されている。
本開示の特定の態様では、構造光を有する撮像フレームの特定の部分が、三次元的な組織変動を追加するために利用され得る。これらの部分は、撮像された組織の追加の組織特性及び／又はメタデータを提供することができる。様々な例において、構造光源は、マルチソース構造光を含み得る。例えば、光源６０５０（図２２）は複数のコヒーレント光源又はレーザであり得る。コヒーレント光の使用は、構造光パターンの三次元歪みからの表面屈折率の区別及び分離を可能にし得る。追加的に又は代替的に、複数のコヒーレント光源からの位相シフトデータが、組織特性を特徴付けるために利用され得る。
一例では、コヒーレント光は、所定の二次元構造光パターン（すなわち、一連の線又はグリッドなどの空間強度パターン）で可視組織上に投影され得る。コヒーレント光の構造光パターンは循環され得る。一態様では、コヒーレント光パターンは、異なる線間隔又は配向を有する様々なグリッド間で循環され得る。別の態様では、コヒーレント光パターンは、様々な線間隔で様々な平行線の間で循環され得る。更に別の態様では、光パターンは、様々な光波長の間で循環され得る。例えば、４８０フレーム毎秒（ＦＰＳ）では、８つの異なる色セグメント又は波長の各々に６０フレームが使用され得る。いくつかの態様では、複数の連続フレームが同じ光波長で取得され得る。それに代わって、連続フレームが、各フレームについて交互の光波長を使用して取得され得る。フレームの一部分は、三次元表面マッピング可視化からデジタル的に除去され得る。例えば、各波長の６０個のフレームの各々について１０個のフレームがデジタル的に除去され得る。可視化された組織がフレームのグループ全体を通して静止したままである場合、デジタル的に除去されたフレームが、平均画像を生成するために使用されてもよい。デジタル的に除去されたフレームは、三次元表面マッピングに利用されない場合があるが、それらの部分の表面屈折率（又は他の特性）は、追加の組織特性及び／又はメタデータを決定するために利用され得る。そのような組織特性の例としては、組織組成及び／又は組織下位構造の配向（例えば、コラーゲン又はエラスチン繊維の基礎的な配向）が挙げられ得るが、これらに限定されない。組織特性評価については、その全内容が参照により本明細書に組み込まれる、２０１８年３月２９日出願の米国特許出願第１５／９４０，７２２号、発明の名称「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」に更に記載されている。
様々な例において、光源６０５０は、赤、緑、青、赤外、及び紫外線レーザを含み得る。例えば、赤外線及び／又は紫外線などの特定の光に対して複数の波長が利用され得る。いくつかの態様では、約７００ｎｍ～約１４００ｎｍの範囲内の複数の赤外線光源が使用され得る。いくつかの例では、赤外線は、約７０５ｎｍ、約７３０ｎｍ、約７６１ｎｍ、約７８０ｎｍ、約７８５ｎｍ、約８００ｎｍ、約８３０ｎｍ、８５０ｎｍ、９４０ｎｍ、９８０ｎｍ、１０６４ｎｍ、又は１３７０ｎｍの波長を有し得る。いくつかの態様では、約２００ｎｍ～約４００ｎｍの範囲内の複数の紫外線源が使用され得る。いくつかの例では、紫外線は、約２１１ｎｍ、約２３６ｎｍ、約２６３ｎｍ、約２６６ｎｍ、約３５１ｎｍ、又は約３５１ｎｍの波長を有し得る。場合によっては、９つの光源が利用され得る。例えば、赤外線フレームセットと紫外線フレームセットは、６０Ｈｚの可視化部分でリアルタイムで表示されるときに交番されてもよく、また、これらのフレームセットから取得されたメタデータは、必要に応じて画像上に重ね合わされてもよい。
様々な例において、光源６０５０は、立体撮像センサで撮像され得る非コヒーレント又は広域スペクトル源を含み得る。構造光の立体撮像は、歪んだ構造光パターンの三次元画像を提供し得る。歪んだパターンの三次元画像は、例えば、二次元画像の計算調整の必要性を低減し得る。しかしながら、歪んだパターンは依然として、解剖学的構造の表面又は表面のすぐ下の組織が三次元的な不規則性を備えるかどうかを判定するために、表面屈折率と比較され得る。
本開示の特定の態様では、複数のＣＭＯＳアレイ及びＦＰＧＡ変換回路が可視化システムに組み込まれて、撮像された組織に関する時間同期された相互関連メタデータが取得され得る。例えば、ＣＭＯＳセンサによって得られた画像の解像度は、ＣＭＯＳセンサによって受信された多色構造光画像を、より高い解像度のグレースケール撮像センサによって得られた画像と組み合わせて、２つ以上のアレイが同じ腹腔鏡検査カメラ上に位置決めされ得るように特定のアレイの微細化を可能にすることによって強化され得る。複数のアレイは、同じ画像及び独立したＦＰＧＡ又は独立したセンサの立体複製を可能にして、画像又は関連するメタデータの異なる態様がリアルタイムで監視されるようにする。マルチアレイ撮像については、その全内容が参照により本明細書に組み込まれる、２０１８年３月２９日出願の米国特許出願第１５／９４０，７４２号、発明の名称「ＤＵＡＬ ＣＭＯＳ ＡＲＲＡＹ ＩＭＡＧＩＮＧ」に更に記載されている。
ここで図２３を参照すると、可視化システム６１０８の一部分が概略的に示されている。可視化システム６１０８は、多くの点で図２２の可視化システム６００８に類似している。例えば、可視化システム６１０８は、複数の異なる波長で組織Ｔ上に構造光パターンを投影するための構造光プロジェクタ６１５０と、少なくとも１つのイメージセンサを有するカメラ６１４４と、を含む。構造光プロジェクタ６１５０及びカメラ６１４４は、制御回路６０３２（図２２）などの制御回路に通信可能に結合されている。カメラ６１４４は、構造光プロジェクタ６１５０から撮像データを検出し、撮像データを処理のための制御回路に送るように構成されている。
様々な例において、組織Ｔの表面不規則性は、カメラ６１４４によって得られた撮像データで識別され、制御回路に送信され得る。例えば、組織Ｔの表面から反射された構造光パターンは、特定の例において、組織Ｔの表面に沿った不規則性が原因で、手術部位の不完全な写真を提供し得る。表面が、構造光パターンに干渉する引裂き、切断、及び／又は変形などの１つ又は２つ以上の不規則性を有する場合、構造光パターン全体が表面によって反射されず、したがって、カメラ６１４４のイメージセンサによって検出されないこともある。例えば、表面変形は、構造光パターンの一部分を覆い隠す影を落とすことがある。そのような場合、組織の表面を貫通し、その表面下から反射された構造光パターンが、三次元デジタルレンダリングの間隙を充填するために利用され得る。例えば、組織の表面を貫通するコヒーレント光の１つ又は２つ以上の波長が、表面下輪郭を決定するために利用され得る。本明細書で更に説明されるように、構造光パターンは、異なる波長で放出され、イメージセンサによって捕捉され得る。特定の表面下光パターンは、三次元デジタルレンダリングからデジタル的に除去されてもよいが、しかしながら、そのようなパターンは、組織表面の輪郭を外挿するために使用され得る。より具体的には、組織表面の幾何形状は、１つ又は２つ以上の組織下表面の曲率から外挿され得る。
再び図２３を参照すると、可視化システム６１０８は、例えば、本明細書で更に説明されるように、胃などの器官６１６０の表面幾何形状を識別するように構成され得る。しかしながら、器官６１６０の表面上の不規則性６１６４は、器官６１６０の完全な三次元モデルの生成を妨げることになり得る。例えば、瘢痕又は他の組織の不良であり得る不規則性６１６４は、構造光プロジェクタ６１５０によって放出された構造光パターンが組織Ｔ表面の各部分に到達することを妨げることになり得る。しかしながら、組織貫通波長における構造光のパターンは、不規則性６１６４を貫通するように構成され得、またカメラ６１４４のイメージセンサによって表面下層で検出され得る。組織貫通構造光パターンは、下にある組織表面の曲率を決定し、したがって、その不規則性６１６４を含む器官６１６０の表面を外挿するために、制御回路によって利用され得る。
場合によっては、組織貫通構造光パターンは、組織の圧縮を判定するために利用され得る。例えば、組織は、ステープルラインに沿って圧縮され得る。様々な例において、信頼性の高い組織シールを得るために、均一な組織圧縮が望まれる。組織貫通構造光パターンは、埋め込まれたステープルラインに沿った組織圧縮の表面下三次元可視化を生成するために、制御回路によって利用され得る。より具体的には、組織層の動きは、１つ又は２つ以上の表面下層を含み、ステープルラインに沿ったその圧縮を分析するために監視及び追跡され得る。
追加的に又は代替的に、カメラ６１４４のイメージセンサによって検出される構造光パターンの屈折率Ｒは、特定の例において、撮像された組織の組織特性に関する補足情報及び／又はメタデータを提供し得る。また、特定の例では、構造光プロジェクタ６１５０からの複数のコヒーレント光の位相シフトデータは、撮像された組織に関する補足情報及び／又はメタデータを提供し得る。例えば、不規則性６１６４は、屈折率及び／又は位相シフトデータに基づいて識別され得る。特定の例では、不規則性６１６４は１つ又は２つ以上の重要な解剖学的構造６１６２を含み得るが、この解剖学的構造は、その上に反射された構造光パターンによって追跡され、そのデジタルモデルにマッピングされ得る。
別の可視化システム６２０８が図２４に示されている。可視化システム６２０８は、可視化システム６１０８（図２３）と同様であってもよく、また、その表面及び／又は主要な解剖学的構造６１６２に沿った不規則性６１６４を含めて、器官６１６０を可視化するように構成され得る。可視化システム６２０８は、構造光源６２５０とカメラ６２４４との両方を含む単一の外科用装置を備える。様々な例において、構造光源６２５０は、コヒーレント光を放出するように構成されてもよく、カメラ６２４４は、組織Ｔの表面から反射されたコヒーレント光の位相シフトを検出するように構成されてもよい。組織は、位相シフトデータによって特徴付けられ得る。例えば、位相シフトデータは、可視化された組織に関する情報の補足的なソースであり得る。位相シフトの度が異なることは、物理的特性が異なることに対応し得る。いくつかの態様では、反射光の位相シフトは、表面構造又は表面下構造の動きを示し得る。他の態様では、反射光の位相シフトは、表面下層を示し得る。
ここで図４０を参照すると、三次元モデルを臨床医に伝達するプロセス６８００の論理フロー図が示されている。プロセス６８００の以下の説明では、制御回路１３２（図２）を参照及び／又は可視化システム６００８（図２２）が参照されるべきである。一態様では、プロセス６８００は、制御システム１３３の制御回路１３２及び／又は制御回路６０３２によって実行されるソフトウェア（例えば、メモリ１３４に記憶される）又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。
プロセス６８００を実行する可視化システム６００８は、ブロック６８０２で、例えば、イメージセンサ６０３５などのイメージセンサからの第１の撮像データを取得し得る。第１の撮像データは、イメージセンサ６０３５によって検出された構造光の第１のパターンからの解剖学的構造の外側表面輪郭を示し得る。ブロック６８０４において、可視化システム６００８は、イメージセンサ６０３５から第２の撮像データを取得し得る。第２の撮像データは、構造光の第２のパターンからの解剖学的構造の表面下輪郭を示し得る。構造光の第２のパターンは、構造光の第１のパターンとは異なる波長を含み得る。第１の撮像データ及び第２の撮像データは、例えば、それぞれブロック６８０６及び６８０８で制御回路６０３２に送信され得る。制御回路６０３２は、ブロック６８１２で解剖学的構造の三次元デジタル表現を生成し得る。デジタル表現又はモデルは、外側表面輪郭及び表面下輪郭を含み得る。様々な例において、組織の追加の層がプロセス６８００で撮像され得る。三次元モデルが完了すると、制御回路６０３２は、ブロック６８１４で、例えば、三次元モデルをディスプレイ６０４６に伝送することができる。
一態様では、制御回路６０３２はまた、外科用ハブ６００６の状況認識モジュール６００７から信号を受信し、状況認識モジュール６００７からの信号に応答して、解剖学的構造の三次元モデルを更新するように構成される。様々な態様において、制御回路６０３２は、処理ブロック６８１０で第１の撮像データ及び第２の撮像データのうちの少なくとも１つからメタデータを取得するように更に構成される。制御回路６０３２は、ブロック６８１２でメタデータを三次元モデルにオーバーレイし、ブロック６８１４で追加情報を臨床医に送信するように構成され得る。メタデータは、本明細書に更に記載されるように、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、又は埋め込まれた構造の識別のうちの少なくとも１つに対応し得る。一態様では、メタデータは、例えば、ステープルラインに沿った埋め込まれた組織などの組織圧縮を示し得る。状況認識モジュール６００７は、検出された外科的シナリオ及び各外科的シナリオにおいて臨床医に役立ち得る対応する情報に基づいてメタデータが処理され、臨床医に伝達されるときを、指示又は提案し得る。
様々な例において、適応型可視化システムは、手術部位での動きの可視化を提供し得る。構造光は、１つの時間フレームから別の時間フレームへと光パターンの歪みをマッピングするために、立体撮像センサ及びマルチソースコヒーレント光と共に使用され得る。フレーム間の光パターンの歪みのマッピングは、解剖学的歪みを可視化及び分析するために使用され得る。更に、三次元デジタル表現又はモデルが変形されると、埋め込まれた構造、組織の不規則性、並びに／又は隠れた境界及び／若しくは組織マージンなど、任意の重ね合わせられた三次元撮像が、三次元モデルと共に比例的に変形され得る。そのような例では、可視化システムは、組織が操作されるとき、例えば解剖及び／又は後退されるときに、重ね合わせられた三次元撮像の動きを臨床医に伝達し得る。
本開示の様々な態様において、適応型可視化システムは、状況認識（例えば、状況認識モジュール６００７からの入力）に基づいて、ベースライン可視化データを取得することができる。例えば、解剖学的構造及び／又は手術部位のベースライン可視化は、手術部位における組織の操作及び切開の前など、外科処置の開始前に取得され得る。解剖学的幾何形状のベースライン可視化画像は、解剖学的構造の表面及びその境界の可視化を含み得る。そのようなベースライン可視化画像は、解剖学的構造内の局所領域が外科処置中に徐々に破壊、変更、又は他の方法で操作されるときでも、手術部位及び解剖学的構造の全体的な配向を維持するために使用され得る。ベースライン可視化画像を維持することにより、他の撮像不規則性をマッピングするときに、破壊された領域を無視することが可能となり得る。例えば、他の撮像源によって取得された構造及び／又は特徴をマッピング又はオーバーレイする場合、ベースライン可視化画像を使用することができ、歪んだ領域は、更新された可視化画像内の追加の構造及び／又は特徴を適切に位置決めするために無視される。
状況認識は、ベースライン可視化画像に対する更新を指示及び／又は推奨するために使用され得る。例えば、図２２を再び参照すると、状況認識モジュール６００７は、特定のタイプの外科処置、外科処置の工程、組織のタイプ、及び／又は１つ若しくは２つ以上の特定の組織特性を識別すると、ベースライン可視化画像を更新するように制御回路６０３２に命令することができる。一例では、更新されたベースライン可視化画像は、横切開後、又は１つ若しくは２つ以上のステープル列の適用後に役立ち得る。特定の例において、元の解剖学的構造内の歪んだサブ領域は、新しいベースライン可視化画像を別々に作成し得るか、あるいは歪んだサブ領域の既存のベースライン可視化画像を更新して、画像オーバーレイを適切に通知し得る。例えば、患者の解剖学的構造の重要な領域は、腫瘍の除去又はその中での成長後に更新され得る。
様々な例において、フレーム間の比較が、組織の変形を計算するために使用され得る。例えば、表面特徴は、その後のフレームに対して、ユーザ又は外部データソースによって設定されたフレームと共に、追跡され比較され得る。例えば、表面上の構造光のパターンは、組織表面が移動するにつれて偏向したり移動したりし得る。立体イメージセンサは、構造光パターンの偏向を検出することができる。ユーザは、例えば、手動タイムスタンプで参照フレームを設定することができる。他の例において、ベンチレータ（すなわち、外部データソース）によって参照フレームが設定され得る。例えば、ベンチレータタイムスタンプは、息を吐いた肺を示すために呼気圧に対応し得る。非剛性反復最近点アルゴリズムを使用して、フレーム間の対応を計算することができる。一態様では、初期画像フレームは、ベースライン画像としてとられてもよく、後続の画像フレームは、後続の画像がベースライン画像を参照するように、幾何学的に変換され得る。この比較から、フレーム間の変形が計算され得る。そのような技術は、例えば、歪み速度の増加に伴ってより堅牢になり得る。
様々な例において、提案された切除のための変形の推定変化を計算するために、モデルが分析され得る。例えば、臨床医が組織の一部分を切除する前に、提案された切除線がデジタルモデルに追加されてもよく、このデジタルモデルは、仮想的な切除を伴って解剖学的構造を示すように更新され得る。再び図１３Ｂを参照すると、一例では、臨床医は、腫瘍２３３２を組織異常２３３８と共に除去するために、手術部位２３２５の組織から楔形部分を除去することを意図し得る。そのような場合、モデルは、楔形部分を取り除かれた器官を示すように更新され得る。更新されたモデルは、組織の変形、並びに既知の組織の機械的特性及び手術によって誘発される変形に基づいた組織内の計算された応力及び／又は歪みを描写することができる。例えば、組織は、特定の切除が組織上の歪みにどのように影響を与え得るかに関して臨床医が通知されるように、応力及び／又は歪みデータを伴って、影付き又は別様に層状にされ得る。いくつかの態様では、応力／歪みの値を示すために、応力／歪みデータが、応力／歪みの方向及び線タイプ又は色を示すベクトル線のセットとして、画像上にオーバーレイされてもよい。計算された応力及び歪みに基づいて、臨床医は、提案された切除を修正し、組織内の応力及び歪みを低減及び／又はより良好に分配するための代替戦略を検討し得る。例えば、切除の角度が修正されてもよい。特定の例では、臨床医は、好ましい歪み方向でステープルラインを再配向することができる。
様々な例において、変形データは、切除マージンを得るために使用され得る。例えば、切除マージンは、組織境界と同じ歪みパターンをなして歪み得る。再び図１３Ｂを参照すると、手術部位２３２５で組織の一部分を除去するための最初の横切開後、デジタルモデルは、フレームを比較し、組織の変形を計算することによって更新され得る。構造光で可視化された組織が移動すると、下層の切除マージン２３３０ａ、２３３０ｂ、２３３０ｃもシフト及び／又は移動し得る。様々な例において、デジタルモデルは、手術部位２３２５の可視組織と同じ歪みパターンでモデル化され得る切除マージン２３３０ａ、２３３０ｂ、２３３０ｃの計算された更新位置を含む手術部位２３２５を示すように更新され得る。例えば、切除マージン２３３０ａ、２３３０ｂ、２３３０ｃは、可視組織と共に変形すると想定され得る。更に、組織貫通レーザ光の使用によって、コラーゲン又はエラスチン繊維などの下層組織成分の構造又は配向が決定され得る。そのような繊維配向は、組織に適用される応力及び／又は歪みに関する追加情報を提供し得る。
投影された歪んだ切除マージン、すなわち、組織表面上の構造光パターンのフレーム間比較に基づく歪みは、組織の新しい下層が露出し、新たに露出した組織の屈折率もまた、屈折率変化について確認されるときに修正され得る。新たに識別された組織特性は、組織切開中及び／又は臨床医がマージン境界に近づくときに、ユーザにリアルタイムで示され得る。例えば、図２５Ａ及び図２５Ｂを参照すると、手術部位６３２５は組織Ｔを含み、外科用デバイスは、図２４の外科用デバイスと同様に、構造光源６３５０及びイメージセンサ６３４４を含む。第１の屈折率Ｒが予想され得るが（図２５Ａ）、しかしながら、実際の偏向反射光Ｒ’（図２５Ｂ）は、組織の新しい層が露出されると異なり得る。異なる屈折率は、異なる組織特性を示し得る。例えば、腫瘍２３３２及び／又は組織異常２３３８の完全な除去時に、屈折率は、異なる、すなわち健康な組織特性を示し得る。様々な例において、不規則性の境界６３３０内の屈折率は、不規則性の境界６３３０の外側の屈折率とは異なり得る。
ＰＯＶ座標系による外科用器具コントロールの調整
一般的な一態様では、器具／デバイスコントロールが局所可視化座標系に対する動きを制御するように適合されることを可能にするために、外科用システムは、局所的に表示される座標系を撮像システムから外科用器具又は他の医療デバイスに通信するように構成され得る。特に、撮像システムから導出された少なくとも１つの測定値が、ローカル座標系を定義するために利用され得る。更に、外科用器具又は他の医療デバイスは、外科用器具又は他の利用デバイスが標準的なグローバル座標系又は別の座標系ではなく、ローカル座標系に対してユーザコントロールを配向することを可能にするために、可視化システム２１０８及び／又は可視化システム２１０８に結合された外科用ハブ２１０６（例えば、図１７～図１９）からの変換関数を提供され得る。
一例として、回転可能なシャフト及び／又は関節運動可能なエンドエフェクタを有するハンドヘルド式外科用器具は、どの関節運動コントロール（例えば、左又は右関節運動コントロール）が患者に対してエンドエフェクタを所望の方向に関節運動させるかを判断するときに、シャフト及びエンドエフェクタが患者に対してどのように配向されているか理解することをユーザに要求する。したがって、外科用器具又は外科用器具に結合された制御システムは、ハンドルに対するシャフト及びエンドエフェクタの位置に基づいて、関節運動コントロールの機能を自動的に再配向するように構成され得る。しかしながら、ユーザに対するハンドルアセンブリ、シャフト、及び／又は他の外科用器具構成要素の特定の配向は、ＶＡＴＳ処置などのビデオ支援外科処置においてディスプレイスクリーン上にどのように配向されるかに必ずしも対応しないことがあるため、コントロールの再配向を直接、外科用器具ハンドルアセンブリの配向又は外科用器具シャフトの回転における変化にリンクすることは望ましくない場合もある。外科医は、ディスプレイスクリーン又はビデオモニタを、ビデオ支援外科処置中に外科用器具を制御するための唯一のＰＯＶとして利用する。外科用器具の再配向又は回転に応答して外科用器具コントロールを自動的に変化させることは、コントロールの機能をユーザにとって予測不能に変化させることになり得、外科医のためにディスプレイ上に提供されるＰＯＶに必ずしも対応しない。
この問題に対処するために、外科医のために撮像システムによってディスプレイスクリーン上に現在表示されている外科用器具（すなわち、外科用器具のシャフト及び／又はエンドエフェクタ）の配向は、患者と関連付けられたグローバル座標系に対する基準として利用され得る。したがって、グローバル座標系に対する外科用器具の表示される配向は、外科用器具上のコントロールの機能を調整するために利用され得るが、これは次に、ディスプレイスクリーンに表示される配向にコントロールを対応させることになる。外科用器具のコントロールを、それがどのようにディスプレイスクリーン上に示されるかに対応するように自動的に調整することは、外科用器具の関節運動又は動きを制御する前に、外科用器具のハンドル、シャフト、及び／又はエンドエフェクタが患者に対してどのように配向しているかを外科医が常に意識する必要性を排除することによって、外科用器具を使用する容易性を改善し、ユーザの混乱及び誤配向を低減することになる。更に、ディスプレイスクリーンを内蔵している外科用器具の場合、ディスプレイスクリーンの配向は、外科用器具のコントロールと同じ様式で同様に制御され得る。要するに、外科用器具の左／右関節運動コントロール及び／又はディスプレイスクリーンなどのコントロールの機能は、局所的に表示される座標系に従って、又はそれと一致するように、調整され得る。
一態様では、本開示は、ユーザコントロールを含む外科用器具のための制御システムを対象とする。制御システムは、撮像システムと、撮像システムに接続され、外科用器具に（例えば、有線又は無線接続を介して）接続可能な制御回路と、を含み得る。撮像システムは、上記のように、手術部位を可視化するように構成され得る。制御回路は、撮像システムを利用して手術部位の画像を生成することと、その画像に従って手術部位に対して第１の座標系を定義することと、外科用器具によって定義された第２の座標系を受信することと、第２の座標系内の座標を第１の座標系へと変換するための変換関数を定義することと、変換関数を外科用器具に提供して、変換関数に従ってユーザコントロールを調整することを外科用器具に行わせることと、を行うように構成され得る。別の態様では、本開示は、そこから反射された電磁放射（ＥＭＲ）に基づいて手術部位の画像を生成し、その画像に従って手術部位に対して第１の座標系を定義するように構成された撮像システムを含む、制御システムと動作可能に信号通信する外科用器具を対象とする。外科用器具は、外科用器具及び／又はディスプレイスクリーンの機能を制御するように構成されたユーザコントロールを含み得る。外科用器具は、ユーザコントロール及び／又はディスプレイスクリーンに結合された制御回路を更に含み得る。制御回路は、制御システムに提供され得る外科用器具に対する第２の座標系を決定することと、変換関数を受信して第２の座標系内の座標を制御システムから第１の座標系に変換することと、変換関数に従ってユーザコントロール及び／又はディスプレイスクリーンを調整することと、を行うように構成され得る。
前述のシステム及び方法の理解を助けるために、様々な例が、ＶＡＴＳ処置の文脈において説明される。これは単に例示を目的としたものであることを理解されたい。しかしながら、説明されるシステム及び方法は、他の状況及び／又は外科処置にも適用可能である。ＶＡＴＳ処置は、１つ又は２つ以上の外科用器具及び１つ又は２つ以上の胸腔鏡（すなわち、カメラ）が患者の肋骨間に位置決めされたスリットを通して患者の胸腔内に挿入される外科処置である。カメラが利用されて、患者の胸腔の内部の視野が外科医に提供され、外科医は、外科用器具を適切に位置決め／移動させ、胸腔内の組織／構造を操作することが可能となる。外科医は、カメラを介して撮像システムによって何が表示されるかに基づいて外科用器具を制御するため、また、外科用器具は、カメラの視点と位置合わせされないことがあるため、外科用器具と撮像システムによって表示されたＰＯＶとの空間的関係は、例えば、「可視化視野範囲を拡大するための異なるソースからの画像の融合」及び「可視化視野範囲を拡大するための重複画像の融合」の見出しに記載されているように、表示された可視化をユーザがパニング、操作、及び再配向することを可能にする撮像システムの場合は特に、潜在的に誤配向され得る。したがって、本開示は、外科用器具及び外科用器具に関連する制御システムを対象とし、制御システムは、外科用器具コントロールをインテリジェントに適合させ、それによって外科医に向けて表示されるＰＯＶに対応させるように構成される。
更に説明するために、図２６及び図２７は、ＶＡＴＳ処置の態様の図である。この特定のＶＡＴＳ処置では、外科医は、肺６５０８の上葉の頂端セグメント内に位置する腫瘍６５０６を除去しようとしている。この特定の例示的な処置では、外科医は、第２のリブ６５０１と第３のリブ６５０３との間にポート６５０２を配置して、ポート６５０２を通して挿入可能な外科用器具６５１０（例えば、外科用ステープラ）が腫瘍６５０６及び／又は胸腔内の周囲領域にアクセスするためのアクセス経路６５０４を設けている。外科用器具６５１０のアクセスの場所が選択されると、外科医は、カメラ６５２０ａ、６５２０ｂが手術部位の近傍で特許胸腔の内部を可視化することを可能にするように位置決めされた他のポート６５０２を通して、１つ又は２つ以上のカメラ６５２０ａ、６５２０ｂを配置することができる。この様式で手術部位を可視化することにより、外科医は、外科用器具６５１０のエンドエフェクタ６５１４を位置決め及び配向して、必要に応じて組織を操作する（例えば、腫瘍６５０６の周りの肺６５０８の一部分を切除する）ことが可能になる。特定の例示された例では、２つのカメラ６５２０ａ、６５２０ｂが利用されているが、異なる数のカメラが利用されてもよく、かつ／又は、カメラ６５２０ａ、６５２０ｂのうちの１つ若しくは２つ以上は、実行されている外科処置の特定タイプ及び／又は可視化される必要のある患者６５００の体内の領域に応じて、異なる様式で配向されてもよい。
図２７に示され、表１に以下に記載されるように、様々な異なる座標系が、患者、デバイス、又はデバイス構成要素の異なるＰＯＶに関して定義され得る。更に、例えば、「可視化視野範囲を拡大するための異なるソースからの画像の融合」及び「可視化視野範囲を拡大するための重複画像の融合」の見出しで以下に記載されるように、ユーザが表示された可視化を操作することを可能にする撮像システムの場合、外科医に表示されていた仮想又は予想可視化に対応する「仮想」ＰＯＶが定義され得ると共に、座標系もこれらのＰＯＶに従って定義され得る。そのような可視化の生成及び制御について、本明細書で更に説明される。
Figure 2023508566000003
一態様では、座標系は、センサ測定及び／又は撮像システム１４２（図２）による測定に基づいて定義され得る。例えば、外科用器具ハンドルアセンブリ６５１２、シャフト６５１３、又はエンドエフェクタ６５１４に関する座標系は、加速度計又はそれぞれの構成要素に関連付けられた別のそのようなセンサによる測定に従って定義され得る。別の例として、前述の座標系のいずれかは、互いに対する物体の相対距離及び／又は位置の測定値に基づいて定義されてもよく、あるいは、撮像システム１４２を介して物体を撮像することによって決定されるグローバル座標系であってもよい。
ここで図２９を参照すると、表示される座標系に従って外科用器具６５１０のディスプレイスクリーン６５１６及び／又はユーザコントロール６５１８（例えば、関節運動コントロール６５１９ａ、６５１９ｂ）を調整するプロセス６５５０の論理フロー図が示されている。プロセス６５５０の以下の説明では、図２の制御回路１３２も同様に参照されたい。一態様では、プロセス６５５０は、制御システム１３３の制御回路１３２によって実行されるソフトウェア（例えば、メモリ１３４に記憶される）又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。プロセスの以下の説明において、図２６～図２８の例示的な処置も同様に参照されたい。
プロセス６５５０を実行する制御回路１３２は、ブロック６５５２で、撮像システム１４２を利用して手術部位の画像を生成することができる。上記のように、撮像システム１４２は、画像（可視構造及び非可視構造の両方を含む）を生成し、可視スペクトル及び非可視スペクトルの両方で構造化又は非構造化ＥＭＲを放出することなどによって、撮像された物体を測定又は特徴付けするように構成され得る。生成された画像は、例えば、図３０に示されるように、カメラ６５２０ａ、６５２０ｂのうちの１つのＰＯＶを表すイメージセンサ１３５によって直接捕捉された画像を含み得る。それに代わって、生成された画像は、例えば、図３３及び図３４に示されるように、仮想画像を含んでもよい。
制御回路１３２は、ブロック６５５４で、生成された画像の撮像システム１４２に基づいてローカル又はＰＯＶ座標系を定義することができる。ローカル座標系は、センサ測定、撮像システム測定、確立された座標系（例えば、図３２に示されるようなカメラ座標系ｘｃ、ｙｃ、ｚｃ）に対する動きの追跡などに基づいて定義され得る。
制御回路１３２は、ブロック６５５６で、外科用器具６５１０から座標系を受信することができる。一態様では、制御回路１３２は、例えば、無線接続（例えば、Ｂｌｕｅｔｏｏｔｈ接続）を介して外科用器具６５１０と動作可能に信号通信する。一態様では、制御回路１３２は、外科用ハブ２１０６、２２３６（図１７～図１９）の制御回路として具体化されてもよく、また外科用器具６５１０は、外科用ハブ２１０６、２２３６とペアリングされてそれらの間にデータを伝送することができる。
制御回路１３２は、ブロック６５５８で、外科用器具の座標系又はローカル座標系のうちの一方の座標を他の座標系に並進させる変換関数を決定することができる。例えば、変換関数は、並進するように構成され得る。変換関数は、アルゴリズム、方程式、ルックアップテーブルなどとして具体化され得る。
制御回路１３２は、ブロック６５６０において、変換関数を外科用器具６５１０に提供することができる。上記のように、制御回路１３２は、例えば、それらの間でデータを転送するために、無線接続を介して外科用器具６５１０に通信可能に結合され得る。外科用器具６５１０によって受け取られると、外科用器具６５１０は、変換関数を利用してその座標系の座標を表示座標系に並進させ、更新された座標に基づいてそのコントロール６５１８及び／又はディスプレイスクリーン６５１６を調整するかどうかを判定することができ、それにより、外科器具６５１０又はその構成要素が外科医によってどのように可視化されているかが示される。
図２８に示される例では、外科用器具６５１０は、提供された変換関数を利用して、コントロール６５１８及びディスプレイスクリーン６５１６が更新された座標に基づいて調整されるべきであると判定する。様々な例において、状況認識は、本明細書で更に説明されるように、コントロール６５１８及び／又はディスプレイスクリーン６５１６が更新されるときに通知することができる。ディスプレイスクリーン６５１６は、図２８の左側に示される第１の向きから、図２８の右側に示される第２の配向に調整されたＧＵＩ６５１７を表示することができ、そのため、ＧＵＩ６５１７は外科医が外科用器具６５１０を制御するために適切に配向されることが確実となっている。一態様では、ＧＵＩ６５１７は、外科器具６５１０によって利用されているＰＯＶ又は座標系を示すＧＵＩ要素６５２４（例えば、アイコン）を更に含み得る。この例では、ＧＵＩ要素６５２４は、可視化システム２１０８によって表示されるＰＯＶが、デバイス座標系（「ＤＶＣ」）から、可視化システム２１０８によって表示される画像／ビデオと関連付けられたローカル座標系（「ローカル」）に変化したことを示すようにシフトする。
一例として、更新された座標に従って調整された外科用器具コントロール６５１８は、関節運動コントロールを含み得る。関節運動コントロールは、例えば、外科器具６５１０を第１の方向に関節運動させるように構成された第１のコントロール６５１９ａと、外科器具６５１０を第２の方向に関節運動させるように構成された第２のコントロール６５１９ｂと、を含み得る。関節運動コントロール６５１９ａ、６５１９ｂは、例えば、ロッカー、トグル、又は別個のアクチュエータ及び／又はボタンとして具体化され得る。この例では、外科用器具６５１０は、外科用器具６５１０の配向の変化に応答して、第１の関節運動コントロール６５１９ａと第２の関節運動コントロール６５１９ｂに機能を交換させている。言い換えれば、第１の関節運動コントロール６５１９ａを作動させることは、代わりに、外科器具６５１０を第２の方向に関節運動させることになり、第２の関節運動コントロール６５１９ｂを作動させることは、外科器具６５１０を第１の方向に関節運動させることになる。したがって、関節運動コントロール６５１９ａ、６５１９ｂの機能は、図３０及び図３２～図３４に示されるようにユーザに表示される外科用器具６５１０又はその構成要素（例えば、エンドエフェクタ６５１４）の配向に従って設定され得る。
追加的又は代替的に、特定の例では、ディスプレイスクリーン６５１６上のＧＵＩ６５１７が調整され得る。例えば、ＧＵＩ６５１７は、ハンドルアセンブリ６５１２が反転されたときに反転され得る。特定の例では、ＧＵＩ６５１７は、外科医がＧＵＩ６５１７と相互作用することによって座標系間を切り替えることができるように、タッチスクリーンを含み得る。例えば、外科医は、ＧＵＩ６５１７と相互作用することによって、デバイスＰＯＶ、ローカルＰＯＶ、及び／又は１つ若しくは２つ以上の他のＰＯＶの間で切り替えることができる。
可視化視野範囲を拡大するための異なるソースからの画像の融合
ビデオ支援外科処置中に発生し得る１つの問題は、カメラが必然的に数において限定され、処置の外科的制約によって所定の位置に固定されるため、可視化システムによって提供される視野（ＦＯＶ）が、特定の状況では不十分となり得ることである。特に、カメラによって提供されるＰＯＶは、外科処置の特定の工程（例えば、血管の切開）を実施すること、特定の組織及び／又は構造を視野から隠すことなどに関して理想的ではない可能性がある。一般的な一態様では、撮像システムを備える外科用システムは、撮像システムの可視化フィールド内の物体の３Ｄ表現を作成し、手術部位をより良好に可視化するために、確立された座標系に対して表示された可視化をユーザが変更することが可能となるよう３Ｄ形状を特徴付けるように構成され得る。３Ｄ表現は、リアルタイムソース（例えば、撮像システム１４２）又は非リアルタイムソース（例えば、ＣＴスキャン又はＭＲＩ）から生成された画像から生成され得る。一態様では、撮像システム１４２は、構造光又は構造化ＥＭＲを投影して、リアルタイムで追跡され得る構造化３Ｄ形状を作成するように構成され得る。これらの３Ｄ形状は、撮像システム１４２によって表示されるＰＯＶが、スキャンソースのローカル座標系から離れるように移動又は回転されて、ディスプレイを通じたユーザの視点を改善するように生成され得る。
本開示の様々な態様により、上記の様々な技術的問題が対処され得る。一態様では、本開示は、撮像システムと、ディスプレイスクリーンと、撮像システム及びディスプレイスクリーンに結合された制御回路と、を含む制御システムを対象とする。撮像システムは、構造化ＥＭＲを含む様々な異なる撮像技術を使用して、手術部位で組織、構造、及び物体を撮像するように構成され得る。更に、制御回路は、イメージセンサによって受信された、手術部位から反射された構造化ＥＭＲに基づいて手術部位の第１の画像を生成することと、手術部位の第２の画像を受信することと、位置合わせされた第１の画像及び第２の画像に基づいて手術部位の３Ｄ表現を生成することと、ディスプレイスクリーン上に３Ｄ表現を表示することと、３Ｄ表現を操作するためのユーザ選択を受信することと、ディスプレイスクリーン上に表示される３Ｄ表現をユーザ選択に従って第１の状態から第２の状態に更新することと、を行うように構成され得る。
様々な例が、ＶＡＴＳ処置の文脈で本明細書において説明されるが、しかしながら、代替的な外科処置も企図される。特に、図３０は、ＶＡＴＳ処置中のカメラ６５２０（図３２）のＦＯＶ６５７０を示す。この特定の例示的な処置の標的は、肺６５０８の上葉６５８０の頂端セグメント内に位置する腫瘍６５０６である。胸壁６５０９、静脈６５７４、動脈６５７６、気管支６５７８、上葉６５８０を描写する亀裂６５８２、肺動脈６５８４、及び肺静脈６５８６を含めて、多くの生物学的構造がこのＦＯＶ６５７０内で識別可能である。外科医によって制御される外科用器具６５１０のエンドエフェクタ６５１４及びシャフト６５１３を含めて、非生物学的物体はまたＦＯＶ６５７０内でも視認可能である。従来の撮像システムでは、そのようなビューは、利用されている任意の追加のカメラ６５２０からの任意の対応するビューと組み合わせて、ビデオ支援処置を実施する外科医に利用可能な唯一のビューとなろう。これらのカメラは、外科処置を実施するための適切な可視化視野範囲を外科医に提供することを意図して配置されているが、カメラ６５２０によって提供される可視化視野範囲は、究極的には、外科処置における各工程又はタスクを実施するための理想的なＦＯＶ６５７０を提供しない場合もあり、あるいは外科医の視野を妨げる予期せぬ障害物が手術部位に存在する場合もある。更に、カメラ６５２０を手術中に再位置決め又は再配向することは、処置の外科的制約が原因で、場合によっては非実用的又は不所望となり得る。
一態様では、外科用システムは、手術前画像及び手術中画像を含む手術部位の複数の画像を組み合わせて、手術部位又は手術部位に位置する組織及び／若しくは構造の３Ｄ表現を生成することによって、カメラ６５２０によって提供される可視化視野範囲を拡張するように構成され得る。外科処置の間、ユーザは次いで、撮像システム１４２によって表示される３Ｄ表現を操作して、処置で利用されるカメラ６５２０のＦＯＶ６５７０の範囲外の配向から手術部位を可視化することができる。そのような再配向されたビューは、上記のように「仮想ＰＯＶ」と呼ばれ得る。したがって、外科用システムは、カメラ６５２０によって提供されるＦＯＶ６５７０を補足し、外科医が外科処置中に手術部位の表示された可視化を動的に調整して、外科的タスクのうちの１つ又は２つ以上を実施するための理想的な視認ＰＯＶを見つけることができる。
図３１は、手術部位の３Ｄ表現が生成され得る画像ソースの図である。３Ｄ表現を生成し、それによってユーザがカメラ６５２０のＦＯＶ６５７０を越えて延びるＰＯＶに可視化視野範囲を操作することを可能にするために、患者の体洞は、複数の基準点（例えば、カメラ位置）から視認される必要がある。次に、これらの異なる基準点又は視点は、カメラ６５２０の固定視点を超えて可視化視野範囲を拡張するために外科医によって手術中に操作され得る３Ｄ表現を構築するために利用され得る。一態様では、画像の少なくともいくつかが、構造化ＥＭＲを利用して捕捉されて、３Ｄ表現を生成するために手術部位に位置する組織及び／又は構造の表面がマッピングされ得る。一態様では、手術中の画像６６００が３Ｄ表現を構築する際に利用され得る。例えば、カメラ６５２０が最初に配置されると、ユーザは、患者の空洞の周りでカメラ６５２０をパニングするよう外科用システムによって促されて、全ての解剖学的構造を観察し、それによって一緒に融合されて手術部位の３Ｄ表現を形成し得る画像のベースラインセットを確立することができる。このベースラインは、組織が操作されるとき、患者が移動されるときなどに、処置の全体にわたって自動的に更新され得る。代替的に、ベースラインは、カメラ６５２０が外科処置中にパニング及び／又は再配向されるときに自動的に生成され、また患者の解剖学的構造のより多くの領域がカメラ６５２０のＦＯＶ６５７０に曝露されるときに更新され得る。特定の例では、状況認識は、本明細書で更に説明されるように、検出された外科的シナリオに基づいて、外科医に更新命令及び／又は提案を提供し得る。別の態様では、ＣＴスキャン６６０２及びＭＲＩ６６０４などの術前画像が３Ｄ表現を構築する際に利用され得る。例えば、非リアルタイムソース（例えば、ＣＴスキャン６６０２及びＭＲＩ６６０４）からの画像が、そのベースライン座標系において手術部位のリアルタイムマッピングに組み込まれ得る。次いで、非リアルタイム画像ソースによって提供される対応する融合画像が、３Ｄ表現を生成するために利用され、上記と同様の方法で操作され得る。
３Ｄ表現は、手術前及び手術中画像ソースの任意の組み合わせから生成され得る。一態様では、３Ｄ表現は、二次元画像を位置合わせし、次いで、写真測量技術及び／又は３Ｄスキャンソフトウェアを使用して３Ｄ表現を構築することによって生成され得る。更に、いくつかの捕捉された画像は、構造化ＥＭＲを介して捕捉された画像などの３Ｄ表現を構築するのを支援し得る組織及び／又は構造の３Ｄトポグラフィを含むか、あるいは示すことができる。組織及び／又は構造の３Ｄ表現の生成に関する更なる詳細は、その全体が参照により本明細書に組み込まれる、２０１８年９月１１日出願の米国特許出願第１６／１２８，１９５号、発明の名称「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」に見出され得る。
様々な態様において、撮像システム１４２は、融合画像から生成された３Ｄ表現を表示し、表示された可視化ＰＯＶを操作するためのコントロール（例えば、ＧＵＩ）をユーザに提供することができる。一例として、図３２は、撮像システム１４２によって提供される、図２７の外科処置の可視化表示６６２０及びＧＵＩ６６２２である。可視化表示６６２０及びＧＵＩ６６２２は、例えば、ディスプレイ１４６（図２）に表示され得る。可視化表示６６２０は、例えば、手術部位の生成された３Ｄ表現で補足された、カメラ６５２０からのリアルタイムビデオフィードを含み得る。カメラ６５２０によって提供されるビデオフィードは、可視化表示６６２０上で、生成された３Ｄ表現上にオーバーレイされるか、又はそうでなければ３Ｄ表現と共に表示され得る。可視化表示６６２０は、ビデオフィードを表示し、カメラ６５２０によって提供されるリアルタイムビデオフィードＰＯＶとは異なるＰＯＶをユーザが可視化表示６６２０に表示させるときに３Ｄ表現に遷移するように構成され得る。この特定の例では、可視化表示６６２０は、肺６５０８、腫瘍６５０６、及び様々な構造６６１０（例えば、血管）の３Ｄ表現を表示する。３Ｄ表現は、例えば、カメラ６５２０を介して捕捉された非リアルタイム画像ソース及びリアルタイム画像６６００から生成され得る。３Ｄ表現は、図３２に示すように、カメラ６５２０のＦＯＶの少なくとも部分的に外側にあり、ユーザによって所望されるときに可視化表示６６２０に表示され得る部分を含み得る。
一態様では、ディスプレイ１４６は、ユーザが可視化表示６６２０、特定のカメラＰＯＶ、又は下層３Ｄ構造の一部分を選択し、次いで可視化表示６６２０をハイライト、ズームイン若しくはズームアウト、回転、又は別様に操作して、カメラ６５２０によって提供されるビューとは異なる視点又はアプローチから手術部位を可視化することを可能にする、ＧＵＩ６６２２などの対話型コントロールを含み得る。ＧＵＩ６６２２は、ユーザが表面、点、座標系、器具、又は重ね合わされる走査画像を選択し、次いで、その選択に関して可視化表示６６２０を調整して、撮像システム１４２に結合されたカメラ６５２０によって提供されるリアルタイム画像／ビデオと直接位置合わせされていないビュー又は可視化をもたらすように構成され得る。
例えば、図３３は、特定の外科処置の工程に対してより有益となり得る、異なる「ローカル」視点から、肺６５０８、腫瘍６５０６、及び／又は外科用器具６５１０のエンドエフェクタ６５１４の３Ｄ表現を視認するために、第１の仮想ＰＯＶ ｘＬ１、ｙＬ１、ｚＬ１に対応する第１の更新済み視点６５３０にユーザによってシフトされた可視化表示６６２０を示す。図３３に示されるように、第１の仮想ＰＯＶ ｘＬ１、ｙＬ１、ｚＬ１は、カメラＰＯＶ ｘｃ、ｙｃ、ｚｃに対してシフトされ（例えば、図３０に示すように）、したがってユーザは、表示される、対応する組織、構造、及び／又は物体の３Ｄ表現を少なくとも部分的に視認する。別の例として、図３４は、カメラＰＯＶ ｘｃ、ｙｃ、ｚｃ（例えば、図３０に示されるような）に対して同様にシフトされた更なる別の「ローカル」視点から、肺６５０８、腫瘍６５０６、及び／又は外科用器具６５１０のエンドエフェクタ６５１４を確認するために、第２の仮想ＰＯＶ ｘＬ２、ｙＬ２、ｚＬ２に対応する第２の更新済み視点６６３２にユーザによってシフトされた可視化表示６６２０を示す。一態様では、ＧＵＩ６６２２は、可視化表示６６２０上に示される視点をシフト、パニング、又は別様に操作するためにユーザによって作動され得る視点制御ウィジェット６６２８を含み得る。更に、ＧＵＩ６６２２は、基準視点（例えば、カメラＰＯＶｘｃ、ｙｃ、ｚｃ）に対する表示される視点のシフトを示し得る座標ＧＵＩ要素６６２６を含み得る。ＧＵＩ６６２２はまた、可視化表示６６２０に可視化表示６６２０内の特定の点、構造、又は物体上にズームイン又はズームアウトさせるように構成されたズームウィジェット６６２５など、可視化表示６６２０を制御するための様々な他のコントロールを含み得る。
一態様では、撮像システム１４２は、３Ｄ表現をリアルタイムビデオフィードとは異なる色で表示し、３Ｄ表現の構造を強調するか、また別様にユーザが可視化表示６６２０の表示されたＰＯＶを、カメラ６５２０によって提供されるリアルタイムビデオフィードＰＯＶから離れるようにシフトさせるときに、ユーザがリアルタイムビデオフィードをもはや視認しないことを示すように構成され得る。更に、撮像システム１４２は、ユーザがカメラ６５２０によって提供されるリアルタイムビデオフィードＰＯＶに再びシフトすることを可能にするように構成され得る。一態様では、ＧＵＩ６６２２は、ユーザが、カメラＰＯＶ（「カメラ」）、デバイスＰＯＶ（「デバイス１」及び「デバイス２」）を含む様々なＰＯＶと、ユーザによって定義される仮想ＰＯＶ（「ローカル」）との間でシフトすることを可能にするＰＯＶ選択ウィジェット６６２４を含む。様々な例において、ＰＯＶ選択ウィジェット６６２４からＰＯＶのうちの１つを選択することによって、可視化画像は、選択されたＰＯＶにスナップし得る。
可視化表示６６２０は、表示される組織、構造、及び物体に関連付けられた様々な測定値又はパラメータを計算及び／又は表示するように更に構成され得る。一態様では、外科用システムは、腫瘍６５０６の周りの腫瘍マージン６５７２を決定及び表示するように構成され得る。腫瘍マージン６５７２は、腫瘍６５０６の完全な除去を確実にするために外科医によって切除されるべき組織の最小体積を定義し得る。腫瘍マージン６５７２は、三次元で腫瘍６５０６の周りに延びる設定距離として計算され得るか、あるいは腫瘍６５０６に関連するサイズ、幾何形状、位置、及び他のそのような要因によって変動し得る。一態様では、外科用システムは、可視化表示６６２０内に組織、構造、及び物体間の相対距離を決定及び表示するように構成され得る。図示の例では、可視化表示６６２０は、外科用器具６５１０と腫瘍マージン６５７２との間の距離ｄ１、及び外科用器具６５１０と外科用器具エンドエフェクタ６５１４がその上に位置する組織の表面（図示の例では、肺６５０８である）との間の距離ｄ２を含む。別の態様では、ＧＵＩ６６２２は、可視化されている様々な組織、構造、及び／又は物体の間、すなわち列Ａ及び列Ｂの対応する要素の間の計算された距離を示す距離ＧＵＩ要素６６２７を含み得る。前述の測定値は、例示を目的として提示されたものであり、外科用システムは、様々な他の測定値又はパラメータを計算及び表示することができる。
ここで図３５を参照すると、可視化表示６６２０を制御するプロセス６６５０の論理フロー図が示されている。プロセス６６５０の以下の説明では、図２の制御回路１３２も同様に参照されたい。一態様では、プロセス６６５０は、制御システム１３３の制御回路１３２によって実行されるソフトウェア（例えば、メモリ１３４に記憶される）又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。以下のプロセスの説明においては図３０～図３４も参照されたい。
プロセス６６５０を実行する制御回路１３２は、ブロック６６５２で、手術部位の第１の画像を生成することができる。第１の画像は、撮像された領域の３Ｄ表面マップを生成するための構造化又は非構造化ＥＭＲ、不可視の組織及び／又は構造を識別及び特徴付けするためのマルチスペクトル撮像技術、並びに上述の任意の他の可視化技術を利用して、撮像システム１４２を介して生成され得る。更に、第１の画像は、例えば、図３１に示されるように、手術部位の周りでカメラをパニングして、手術部位の３Ｄ表現を生成することによって取得される一連の画像として生成され得る。
制御回路１３２は、ブロック６６５４で、手術部位の第２の画像を受信し得る。第２の画像は、例えば、図３１に示されるように、ＣＴスキャン６６０２又はＭＲＩ６６０４などの非リアルタイム画像であり得る。
制御回路１３２は、ブロック６６５６で、第１の画像、第２の画像、及び様々な画像ソースから取得された任意の他の画像から手術部位の３Ｄ表現を生成し、次いでブロック６６５８で、撮像システムディスプレイ１４６（図２）、一次ディスプレイ２１１９（図１８）、非滅菌ディスプレイ２１０９（図１８）、ハブディスプレイ２２１５（図１９）、デバイス／器具ディスプレイ２２３７（図１９）などの撮像システムに結合されたディスプレイスクリーン上に３Ｄ表現を表示し得る。
３Ｄ表現が表示されると（単独で、あるいはカメラ６５２０からのビデオフィードと併せて）、制御回路１３２は、ブロック６６６０で、ユーザ選択に従って、３Ｄ表現のＰＯＶ又は状態を更新することができる。例えば、ユーザは、図３０に示されるカメラＰＯＶから、図３３に示される第１の仮想ＰＯＶ又は図３４に示される第２の仮想ＰＯＶに、可視化表示６６２０を更新することができる。ユーザは、例えば、可視化表示６６２０に関連付けられたＧＵＩ６６２２を介して提供される視点制御ウィジェット６６２８を介して、可視化表示６６２０を更新するための入力を提供することができる。
可視化視野範囲を拡大するための重複画像の融合
上記のように、ビデオ支援外科処置中に発生し得る１つの問題は、カメラが必然的に数において限定され、処置の外科的制約によって所定の位置に固定されるため、可視化システムによって提供されるＦＯＶが、特定の状況では不十分となり得ることである。この技術的問題及び他の技術的問題に対処するためのシステム及び方法は、一態様では、少なくとも部分的に重複するか又は交差する走査領域を有する２つの独立した画像スキャン源及びセンサ（例えば、カメラ）の使用を含み得る。これにより、外科用システムは、固定画像スキャン源のうちの１つのみでは完全に捕捉されない態様を有する３Ｄ表面及び体積を生成することができる。したがって、外科用システムは、手術部位に対して移動され得る仮想表示可視化ＰＯＶを作成することができ、ユーザは、撮像装置のうちの１つを妨げ得る、手術部位にある構造、組織、又は物体（例えば、外科器具）の周囲を見ることが可能となる。
本開示の様々な態様により、上記の様々な技術的問題が対処され得る。一態様では、本開示は、撮像システムと、ディスプレイスクリーンと、撮像システム及びディスプレイスクリーンに結合された制御回路と、を含む制御システムを対象とする。撮像システムは、第１のＦＯＶを有する第１のイメージセンサと、第１のＦＯＶと少なくとも部分的に重複する第２のＦＯＶを有する第２のイメージセンサと、を含み得る。撮像システムは、構造化ＥＭＲを含む様々な異なる撮像技術を使用して、手術部位で組織、構造、及び物体を撮像するように構成され得る。制御回路は、第１のイメージセンサに基づいて手術部位の第１の画像を生成することと、第２のイメージセンサに基づいて手術部位の第２の画像を生成することと、第１の画像と第２の画像とをそれらの重複する部分に従って位置合わせすることと、位置合わせされた第１の画像及び第２の画像に基づいて構造の３Ｄ表現を生成することと、３Ｄ表現を表示することをディスプレイスクリーンに行わせることと、ユーザ選択に従って３Ｄ表現のうちの表示された部分を調整することをディスプレイスクリーンに行わせることと、を行うように構成され得る。
一態様では、撮像装置間のクリア画像フレームを選択するために、また撮像装置のＦＯＶが重複する領域にクリア画像フレームのみを表示するために、計算画像生成器もまた使用され得る。別の態様では、外科用システムは、可視化表示から障害物を除去するか、あるいは撮像装置のＦＯＶが重複する領域において障害物を半透明にレンダリングするように構成され得る。可視化表示６６２０（図３８）及び／又はこれに関連するＧＵＩ６６２２（図３８）は、可視化表示６６２０の各部分がシミュレートされるか、あるいはカメラカメラ６５２０ａ、６５２０ｂ（図３８）によって提供される「実際の」ビデオフィードから調整されていることをユーザに気付かせるために、前進された可視化機構がアクティブであるときに、ユーザに指示するように構成され得る。
一態様では、カメラ６５２０ａ、６５２０ｂのうちの１つは、デフォルト又は一次カメラとして指定されてよく、またそれから生成された画像も同様に、可視化表示６６２０を介して表示されるデフォルト又は一次画像であると見なされてもよい。この態様では、一次撮像装置からの画像又は他の感知された情報（例えば、マルチスペクトル組織データ）は、第１の撮像装置によって生成された画像の一貫性を確認するために、二次撮像装置のものと比較され得る。更に、特定の大きさの範囲に収まる２つの画像セット間の違いは、外科用システムによって補間され得る。更にまた、閾値を超える２つの画像セット間の違いは、計算された情報がユーザに表示されることを防止することになり得る（例えば、一次画像セット内の画像間の一貫性の欠如によって引き起こされる、計算された情報の精度の懸念による）。特定の例では、本明細書で更に説明される状況認識は、例えば、検出された外科的シナリオに基づいて、適切な精度範囲又は許容値を決定することができる。
一態様では、撮像装置によって得られた手術部位表面情報は、別の撮像源（例えば、ＣＴスキャン）を介して撮像された下層構造（例えば、腫瘍）の重ね合わせを通知するために使用され得る。下層構造の重ね合わせは、撮像された表面に対する下層構造の投影位置を確認するために、代替又は二次撮像源からのデータに対する計算画像の組織変形を考慮するように調整され得る。
ここで図３６～図３８を参照すると、重複するＦＯＶを有する２つのカメラ６５２０ａ、６５２０ｂを利用して実施されているＶＡＴＳ処置の様々な図及び可視化表示６６２０が示されている。特に、第１のカメラ６５２０ａは第１のＦＯＶ６７００を有し得、第２のカメラ６５２０ｂは、第２のＦＯＶ６７０２を有し得る。ＦＯＶ６７００、６７０２は、それらの間に重複部分６７０４を更に画定し得る。カメラ６５２０ａ、６５２０ｂによって生成された画像の重複部分６７０４により、画像は位置合わせされ得、次いで、上述の様々な技術を使用して手術部位の３Ｄ表現を生成するために利用され得る。更に、制御システム１３３（図２）は、障害物を除去するか、あるいは生成された画像のうちの１つの重複部分６７０４内に存在する撮像アーチファクトを補正し、問題となる画像部分を、他の画像の対応する妨げられていない又は正しい部分で置き換えるように構成され得る。このようにして、制御システム１３３は、可視化表示６６２０によって提供される可視化範囲を動的に更新及び最大化することができる。例えば、制御システム１３３は、図３８に示されるようなカメラ６５２０ａ、６５２０ｂ、又は手術部位に存在する他の外科用デバイスなどの可視化ＦＯＶ６７００、６７０２の一方又は両方のＦＯＶ内に存在する物体を可視化表示６６２０から除去するように構成され得る。
ここで図３９を参照すると、可視化表示６６２０（図３８）を制御するプロセス６７５０の論理フロー図が示されている。プロセス６７５０の以下の説明では、図２の制御回路１３２も同様に参照されたい。一態様では、プロセス６７５０は、制御システム１３３の制御回路１３２によって実行されるソフトウェア（例えば、メモリ１３４に記憶される）又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。以下のプロセスの説明においては図３６～図３８も参照されたい。
プロセス６７５０を実行する制御回路１３２は、ブロック６７５２で、手術部位の第１の画像を生成することができ、ブロック６７５４で、手術部位の第２の画像を生成することができる。これらの画像は、撮像された領域の３Ｄ表面マップを生成するための構造化又は非構造化ＥＭＲ、不可視の組織及び／又は構造を識別及び特徴付けするためのマルチスペクトル撮像技術、並びに上述の任意の他の可視化技術を利用して、撮像システム１４２を介して生成され得る。更に、第１の画像及び第２の画像は、重複するＦＯＶを有するそれぞれのカメラ６５２０ａ、６５２０ｂによって生成され得る。したがって、第１の画像及び第２の画像は、それに対応して互いに重複し得る。
制御回路１３２は、ブロック６７５６で、第１の画像、第２の画像、及び様々な画像ソースから取得された任意の他の画像から手術部位の３Ｄ表現を生成し、次いでブロック６７５８で、撮像システムディスプレイ１４６（図２）、一次ディスプレイ２１１９（図１８）、非滅菌ディスプレイ２１０９（図１８）、ハブディスプレイ２２１５（図１９）、デバイス／器具ディスプレイ２２３７（図１９）などの撮像システムに結合されたディスプレイスクリーン上に３Ｄ表現を表示し得る。
３Ｄ表現が表示されると（単独で、あるいはカメラ６５２０ａ、６５２０ｂの少なくとも一方からのビデオフィードと併せて）、制御回路１３２は、ブロック６７６０で、ユーザ選択に従って、３Ｄ表現のＰＯＶ又は状態を更新することができる。ユーザは、例えば、可視化表示６６２０に関連付けられたＧＵＩ６６２２を介して提供される視点制御ウィジェット６６２８を介して、可視化表示６６２０を更新するための入力を提供することができる。
例示の臨床用途
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの１つ又は２つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの１つ又は２つ以上に対する単に例示的な用途である。
外科用可視化システムは、本明細書に開示されるように、例えば、泌尿器科、婦人科、腫瘍科、大腸直腸科、胸部外科、肥満／胃治療科、及び肝胆膵科（ＨＰＢ）などの異なる専門における多くの異なるタイプの処置に使用することができる。例えば、前立腺切除術などの泌尿器手術では、尿路が脂肪若しくは結合組織中で検出される場合があり、及び／又は、神経が、例えば脂肪中で検出される場合がある。例えば、子宮摘出術などの婦人科腫瘍手術、及び低位前方切除術（ＬＡＲ）などの大腸直腸手術では、尿管が、例えば脂肪及び／又は結合組織内で検出される場合がある。例えば、肺葉切除術などの胸部手術では、血管が肺若しくは結合組織内で検出される場合があり、及び／又は、神経が結合組織内で検出される場合がある（例えば、食道瘻造設術）。肥満手術では、血管が脂肪中に検出される場合がある。例えば、肝切除術又は膵切除術などのＨＰＢ手術では、血管が、脂肪（肝外）、結合組織（肝外）中に検出される場合があり、胆管が、実質組織（肝臓又は膵臓）中に検出される場合がある。
一例では、臨床医は、子宮内膜筋腫の除去を望む場合がある。手術前の磁気共鳴画像（ＭＲＩ）スキャンから、臨床医は、子宮内膜筋腫が腸の表面上に位置することを知ることができる。したがって、臨床医は、どの組織が腸の一部分を構成しており、どの組織が直腸の一部を構成しているかを手術中に知ることを望む場合がある。そのような例において、外科用可視化システムは、本明細書に開示されるように、異なるタイプの組織（腸対直腸）を示し、その情報を撮像システムを介して臨床医に伝達することができる。更に、撮像システムは、選択された組織に対する外科用装置の近接度を決定及び通信することができる。そのような例では、外科用可視化システムは、重大な合併症を伴わずに、処置効率を向上することができる。
別の例では、臨床医（例えば、婦人科医）は、重要構造に近付きすぎることを回避するために特定の解剖学的領域から離れたまま留まることができるため、臨床医は、例えば子宮内膜症の全てを除去しない場合がある。外科用可視化システムは、本明細書に開示されるように、婦人科医が、外科用装置が全ての子宮内膜症を除去するのに十分に接近することができ、患者の転帰を改善することができる（民主化手術）ように、婦人科医が重要構造に接近しすぎるリスクを軽減することを可能にすることができる。このようなシステムは、外科医が、例えば、特に超音波又は電気手術エネルギーなどの治療用エネルギーの印加中に、避けるべき領域を特定するため停止と再開とを繰り返す代わりに、外科処置中に「移動し続ける」ことを可能にできる。婦人科用途では、子宮動脈及び尿管は大切な重要構造であり、システムは、関与する組織の提示及び／又は厚さを考慮すると、子宮摘出術及び子宮内膜手術に特に有用であり得る。
別の例では、臨床医は、近すぎるために、標的とする葉以外の葉への血液供給に影響を及ぼし得る場所で、血管を切開するリスクがある場合がある。更に、患者間の解剖学的差異が、特定の患者に基づくと異なる葉に影響を及ぼす血管（例えば分岐血管）の切開をもたらし得る。外科用可視化システムは、本明細書に開示されるように、所望の位置で正しい血管の識別を可能にすることができ、これにより、臨床医が適切な解剖学的物を確実に切開することを可能にする。例えば、システムは、正しい血管が正しい位置にあることを確認することができ、その後臨床医が血管を安全に分割することができる。
別の例では、臨床医は、血管の解剖学的構造が不確実であるために、最良の場所での切開前に、複数の切開を行うことがある。しかしながら、より多くの切開が出血のリスクを増大させることがあるため、最初の工程で最良の場所を切開することが望ましい。外科用可視化システムは、本明細書に開示されるように、正しい血管及び切開のための最良の位置を示すことによって、切開の数を最小化することができる。例えば、尿管及び基靱帯は密集しており、切開中に固有の課題をもたらす。そのような例では、切開の数を最小化することが特に望ましい場合がある。
別の例では、癌組織を除去する臨床医（例えば、腫瘍外科医）は、重要構造の識別、癌の局在、癌のステージ分類、及び／又は組織の正常性の評価を知ることを望む場合がある。このような情報は、臨床医が「肉眼」で見られるものではない。外科用可視化システムは、本明細書に開示されるように、手術中に臨床医にそのような情報を決定及び／又は伝達し、手術中の決定を強化し、外科結果を改善することができる。特定の例では、外科用可視化システムは、低侵襲手術（ＭＩＳ）、観血的手術、及び／又は、例えば内視鏡又は外視鏡のいずれかを使用するロボットアプローチと互換性があり得る。
別の例では、臨床医（例えば、腫瘍外科医）は、外科処置中に保守的になり過ぎることを回避するために、１つ又は２つ以上の重要構造への外科用ツールの近接度に関する１回又は２回以上の警告をオフにすることを望む場合がある。他の例では、臨床医は、１つ又は２つ以上の重要構造から十分に遠く離れたままであるように、近接度及び／又は「飛行禁止区域」を示すための触覚フィードバック（例えば、振動／ブザー）などの特定のタイプの警告の受信を望む場合がある。外科用可視化システムは、本明細書に開示されるように、例えば、臨床医の経験及び／又は処置の所望の積極性に基づいて順応性を提供することができる。そのような例では、システムは、重要構造を予測して回避するために、「知りすぎる」と「十分に知っている」との間のバランスを提供する。外科用可視化システムは、外科処置中の次工程の計画を支援することができる。
本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
実施例１－第１の波長で構造光の第１のパターンを放出するように構成された第１の光源と、第１の波長とは異なる第２の波長で構造光の第２のパターンを放出するように構成された第２の光源と、解剖学的構造上で構造光の第１のパターン及び構造光の第２のパターンを検出するように構成されたイメージセンサと、制御回路と、を備える、外科用可視化システム。制御回路は、イメージセンサから第１の撮像データを受信することを行うように構成されている。第１の撮像データは、イメージセンサによって検出された構造光の第１のパターンからの解剖学的構造の外側表面輪郭を示す。制御回路は、イメージセンサから第２の撮像データを受信することを行うように更に構成されている。第２の撮像データは、構造光の第２のパターンからの解剖学的構造の表面下輪郭を示す。制御回路は、外側表面輪郭及び表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することを行うように更に構成されている。
実施例２－制御回路は、状況認識モジュールから信号を受信することと、状況認識モジュールからの信号に応答して、解剖学的構造の三次元デジタル表現を更新することと、を行うように更に構成されている、実施例１に記載の外科用可視化システム。
実施例３－イメージセンサは、第１の光源の位相シフトデータを検出するように構成されている、実施例１又は２に記載の外科用可視化システム。
実施例４－イメージセンサは、第２の光源の位相シフトデータを検出するように構成されている、実施例１、２、又は３に記載の外科用可視化システム。
実施例５－制御回路は、第１の撮像データ及び第２の撮像データからメタデータを取得することと、メタデータを三次元デジタル表現とオーバーレイすることと、を行うように更に構成されている、実施例１、２、３、又は４に記載の外科用可視化システム。
実施例６－メタデータは、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、又は埋め込まれた構造の識別のうちの少なくとも１つを含む、実施例５に記載の外科用可視化システム。
実施例７－メタデータは、ステープルラインに沿った組織圧縮を示す、実施例５又は６に記載の外科用可視化システム。
実施例８－コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、イメージセンサによって、解剖学的表面輪郭上の構造光の第１のパターン及び解剖学的表面輪郭の表面下輪郭上の構造光の第２のパターンを検出することを機械に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、構造光の第１のパターンを示す第１の撮像データ及び構造光の第２のパターンを示す第２の撮像データを制御回路に送信することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、制御回路によって、第１の撮像データ及び第２の撮像データを処理することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、制御回路によって、解剖学的表面輪郭及び表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、解剖学的構造の三次元デジタル表現をモニタに送信することを機械に更に行わせる、非一時的コンピュータ可読媒体。
実施例９－コンピュータ可読命令は、実行されると、制御回路によって、イメージセンサによって検出された構造光の第１のパターンの変化及び構造光の第２のパターンの変化に応答して、リアルタイムで解剖学的構造の三次元デジタル表現を更新することと、解剖学的構造の更新された三次元デジタル表現をリアルタイムでモニタに送信することと、を機械に更に行わせる、実施例８に記載の非一時的コンピュータ可読媒体。
実施例１０－複数の外科用デバイスからの入力信号に基づいて、外科的シナリオを決定するように構成された状況認識モジュールを備える外科用システム。外科用システムは、複数の光源と、複数の光源から撮像データを検出するように構成されたイメージセンサと、状況認識モジュールに通信可能に結合された制御回路と、を備える可視化システムを更に備える。複数の光源のうちの少なくとも１つは、構造光のパターンを解剖学的構造上に放出するように構成される。制御回路は、イメージセンサから撮像データを受信することと、撮像データによって検出された構造光のパターンから解剖学的構造の三次元デジタル表現を生成することと、撮像データからメタデータを取得することと、メタデータを三次元デジタル表現とオーバーレイすることと、イメージセンサから更新された撮像データを受信することと、更新された撮像データに基づいて、解剖学的構造の更新された三次元デジタル表現を生成することと、状況認識モジュールによって決定された外科的シナリオに応答して、解剖学的構造の更新された三次元デジタル表現上のオーバーレイされたメタデータを更新することと、を行うように構成されている。
実施例１１－複数の光源は、複数のコヒーレント光源を含む、実施例１０に記載の外科用システム。
実施例１２－メタデータは、複数のコヒーレント光源の位相シフトデータを含む、実施例１１に記載の外科用システム。
実施例１３－複数のコヒーレント光源は、構造光のパターンを放出するように構成されている、実施例１１又は１２に記載の外科用システム。
実施例１４－構造光のパターンは、異なる組織侵入深さを有する複数の異なる波長でコヒーレント光源から放出される、実施例１３に記載の外科用システム。
実施例１５－イメージセンサは、異なる組織侵入深さで構造光のパターンを捕捉するように構成され、三次元デジタル表現は、構造光の表面パターン及び構造光の表面下パターンから生成される、実施例１４に記載の外科用システム。
実施例１６－オーバーレイされたメタデータは、組織の不規則性を示す、実施例１０、１１、１２、１３、１４、又は１５に記載の外科用システム。
実施例１７－組織の不規則性は表面下の不規則性を含む、実施例１６に記載の外科用システム。
実施例１８－オーバーレイされたメタデータは、ステープルラインに沿った組織の圧縮を示す、実施例１０、１１、１２、１３、１４、１５、１６、又は１７に記載の外科用システム。
実施例１９－オーバーレイされたメタデータは、埋め込まれた構造の周りのマージンを示す、実施例１０、１１、１２、１３、１４、１５、１６、１７、又は１８に記載の外科用システム。
実施例２０－オーバーレイされたメタデータは、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び埋め込まれた構造の識別のうちの少なくとも１つを含む、実施例１０、１１、１２、１３、１４、１５、１６、１７、１８、又は１９に記載の外科用システム。
実施例２１－ユーザコントロールを備える外科用器具のための制御システム。制御システムは、撮像システムと、制御回路と、を備える。撮像システムは、電磁放射（ＥＭＲ）を放出するように構成されたエミッタと、手術部位から反射されたＥＭＲを受信するように構成されたイメージセンサと、を備える。制御回路は、撮像システム及び外科用器具と動作可能に信号通信する。制御回路は、イメージセンサによって受信されたＥＭＲに基づいて、手術部位の画像を生成することと、画像に従って手術部位に対して第１の座標系を定義することと、外科用器具によって定義された第２の座標系を受信することと、第２の座標系内の座標を第１の座標系へと並進させるための変換関数を決定することと、変換関数を外科用器具に提供して、変換関数に従ってユーザコントロールを調整することを外科用器具に行わせることと、を行うように構成されている。
実施例２２－外科用ハブを更に備え、外科用ハブは制御回路を含む、実施例２１に記載の制御システム。
実施例２３－外科用ハブは、状況認識モジュールによって決定された外科的状況に従って変換関数を外科用器具に提供するように構成された、状況認識モジュールを含む、実施例２２に記載の制御システム。
実施例２４－変換関数は、外科用器具の少なくとも１つの関節運動制御アクチュエータを調整することを外科用器具に行わせるように構成されている、実施例２１、２２、又は２３に記載の制御システム。
実施例２５－変換関数は、外科用器具のグラフィカルユーザインターフェースを調整することを外科用器具に行わせるように構成されている、実施例２１、２２、２３、又は２４に記載の制御システム。
実施例２６－撮像システムと、ディスプレイスクリーンと、制御回路と、を備える制御システム。撮像システムは、構造化電磁放射（ＥＭＲ）を放出するように構成されたエミッタと、手術部位から反射された構造化ＥＭＲを受信するように構成されたイメージセンサと、を備える。制御回路は、撮像システム及びディスプレイスクリーンに通信可能に結合されている。制御回路は、イメージセンサによって受信された構造化ＥＭＲに基づいて、手術部位の第１の画像を生成することと、手術部位の第２の画像を受信することと、第１の画像と第２の画像とを位置合わせすることと、位置合わせされた第１の画像及び第２の画像に基づいて、手術部位の三次元表現を生成することと、ディスプレイスクリーン上に三次元表現を表示することと、三次元表現を操作するためのユーザ選択を受信することと、表示されたスクリーン上に表示される三次元表現をユーザ選択に従って第１の状態から第２の状態に更新することと、を行うように構成されている。
実施例２７－三次元表現に対する更新は、拡大又は第１の画像に対する回転のうちの少なくとも１つを含む、実施例２６に記載の制御システム。
実施例２８－制御回路は、第１の画像又は第２の画像のうちの少なくとも一方の不規則性を、第１の画像又は第２の画像のうちの他方に基づいて分離するように更に構成され、第１の画像及び第２の画像から生成された三次元表現は不規則性を欠いている、実施例２６又は２７に記載の制御システム。
実施例２９－不規則性は、組織、生物学的構造、又は物体のうちの少なくとも１つを含む、実施例２８に記載の制御システム。
実施例３０－制御回路は、イメージセンサによって受信された構造化ＥＭＲに基づいて、手術部位の第３の画像を生成することと、第３の画像に基づいて、三次元表現を更新することと、を行うように更に構成されている、実施例２６、２７、２８、又は２９に記載の制御システム。
実施例３１－第２の画像は、非リアルタイム画像ソースから受信される、実施例２６、２７、２８、２９、又は３０に記載の制御システム。
実施例３２－非リアルタイム画像ソースは、ＣＴスキャン又はＭＲＩのうちの少なくとも一方を含む、実施例３１に記載の制御システム。
実施例３３－撮像システムと、ディスプレイスクリーンと、制御回路と、を備える制御システム。撮像システムは、手術部位の第１の視野を含む第１のイメージセンサと、手術部位の第２の視野を含む第２のイメージセンサと、を備える。第１の視野と第２の視野とは、少なくとも部分的に重複する。制御回路は、撮像システム及びディスプレイスクリーンと動作可能に信号通信する。制御回路は、第１のイメージセンサに基づいて手術部位の第１の画像を生成することと、第２のイメージセンサに基づいて手術部位の第２の画像を生成することと、第１の画像と第２の画像とを、それらの重複する部分に従って位置合わせすることと、位置合わせされた第１の画像及び第２の画像に基づいて、構造の三次元表現を生成することと、三次元表現を表示することをディスプレイスクリーンに行わせることと、ユーザ選択に従って三次元表現のうちの表示された部分を調整することをディスプレイスクリーンに行わせることと、を行うように構成されている。
実施例３４－制御回路は、手術部位の第３の画像を受信することと、第３の画像に基づいて、構造の三次元表現を更新することと、を行うように更に構成されている、実施例３３に記載の制御システム。
実施例３５－第３の画像は、第１のイメージセンサ又は第２のイメージセンサのうちの１つによって検出された組織メタデータを含む、実施例３４に記載の制御システム。
実施例３６－第３の画像は、非リアルタイム画像ソースから受信される、実施例３４又は３５に記載の制御システム。
実施例３７－非リアルタイム画像ソースは、ＣＴスキャン又はＭＲＩのうちの少なくとも１つを含む、実施例３６に記載の制御システム。
実施例３８－制御回路は、第２の画像との比較に基づいて、第１の画像の精度を決定することと、三次元表現において第１の画像の精度を伝達することをディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施例３３、３４、３５、３６、又は３７に記載の制御システム。
実施例３９－制御回路は、第１の画像の不規則性を除去することと、第１の画像の不規則性を、第２の画像の対応する部分の補間で置き換えて、更新された第１の画像を生成することと、更新された第１の画像を表示することをディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施例３３、３４、３５、３６、３７、又は３８に記載の制御システム。
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
上記の詳細な説明は、ブロック図、フローチャート及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フローチャート及び／又は実施例が１つ若しくは２つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フローチャート及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台若しくは２台以上のコンピュータ上で稼働する１つ若しくは２つ以上のコンピュータプログラムとして（例えば、１台若しくは２台以上のコンピュータシステム上で稼働する１つ若しくは２つ以上のプログラムとして）、１つ若しくは２つ以上のプロセッサ上で稼働する１つ若しくは２つ以上のプログラムとして（例えば、１つ若しくは２つ以上のマイクロプロセッサ上で稼働する１つ若しくは２つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ又は２つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ又は２つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、プログラマブル論理装置（programmable logic device、ＰＬＤ）、プログラマブル論理アレイ（programmable logic array、ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。
本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」などという用語は、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかであるコンピュータ関連エンティティを指すことができる。
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶され、転送され、組み合わされ、比較され、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
１つ又は２つ以上の構成要素が、本明細書中で、「ように構成される（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成される」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ又は２つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ又は２つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆するものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ又は２つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ若しくは３つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンスで示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する」、「～に関連する」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
「一態様」、「態様」、「例示」、「１つの例示」などへの任意の参照は、その態様に関連して記載される特定の機構、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「１つの例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ又は２つ以上の態様において任意の好適な様態で組み合わせることができる。
本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ又は２つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ又は２つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択され記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。
〔実施の態様〕
（１） 外科用可視化システムであって、
第１の波長で構造光の第１のパターンを放出するように構成された第１の光源と、
第２の波長で構造光の第２のパターンを放出するように構成された第２の光源であって、前記第２の波長は前記第１の波長とは異なる、第２の光源と、
解剖学的構造上の構造光の前記第１のパターン及び構造光の前記第２のパターンを検出するように構成されたイメージセンサと、
制御回路であって、
前記イメージセンサから第１の撮像データを受信することであって、前記第１の撮像データは、前記イメージセンサによって検出された構造光の前記第１のパターンからの前記解剖学的構造の外側表面輪郭を示す、第１の撮像データを受信することと、
前記イメージセンサから第２の撮像データを受信することであって、前記第２の撮像データは、構造光の前記第２のパターンからの前記解剖学的構造の表面下輪郭を示す、第２の撮像データを受信することと、
前記外側表面輪郭及び前記表面下輪郭を含む前記解剖学的構造の三次元デジタル表現を生成することと、を行うように構成された制御回路と、を備える、外科用可視化システム。
（２） 前記制御回路は、
状況認識モジュールからの信号を受信することと、
前記状況認識モジュールからの前記信号に応答して、前記解剖学的構造の前記三次元デジタル表現を更新することと、を行うように更に構成されている、実施態様１に記載の外科用可視化システム。
（３） 前記イメージセンサは、前記第１の光源の位相シフトデータを検出するように構成されている、実施態様１に記載の外科用可視化システム。
（４） 前記イメージセンサは、前記第２の光源の位相シフトデータを検出するように構成されている、実施態様３に記載の外科用可視化システム。
（５） 前記制御回路は、
前記第１の撮像データ及び前記第２の撮像データからメタデータを取得することと、
前記メタデータを前記三次元デジタル表現とオーバーレイすることと、を行うように更に構成されている、実施態様１に記載の外科用可視化システム。
（６） 前記メタデータは、前記解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、又は埋め込まれた構造の識別のうちの少なくとも１つを含む、実施態様５に記載の外科用可視化システム。
（７） 前記メタデータは、ステープルラインに沿った組織圧縮を示す、実施態様５に記載の外科用可視化システム。
（８） コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、
イメージセンサによって、解剖学的表面輪郭上の構造光の第１のパターン及び前記解剖学的表面輪郭の表面下輪郭上の構造光の第２のパターンを検出することと、
構造光の前記第１のパターンを示す第１の撮像データ及び構造光の前記第２のパターンを示す第２の撮像データを制御回路に送信することと、
前記制御回路によって、前記第１の撮像データ及び前記第２の撮像データを処理することと、
前記制御回路によって、前記解剖学的表面輪郭及び前記表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することと、
前記解剖学的構造の前記三次元デジタル表現をモニタに送信することと、を機械に行わせる、非一時的コンピュータ可読媒体。
（９） 前記コンピュータ可読命令は、実行されると、
前記制御回路によって、前記イメージセンサによって検出された構造光の前記第１のパターンの変化及び構造光の前記第２のパターンの変化に応答して、リアルタイムで前記解剖学的構造の前記三次元デジタル表現を更新することと、
前記解剖学的構造の前記更新された三次元デジタル表現をリアルタイムで前記モニタに送信することと、を前記機械に更に行わせる、実施態様８に記載の非一時的コンピュータ可読媒体。
（１０） 外科用システムであって、
複数の外科用デバイスからの入力信号に基づいて、外科的シナリオを決定するように構成された状況認識モジュールと、
複数の光源と、前記複数の光源からの撮像データを検出するように構成されたイメージセンサと、前記状況認識モジュールに通信可能に結合された制御回路と、を備える可視化システムであって、前記複数の光源のうちの少なくとも１つは、構造光のパターンを解剖学的構造上に放出するように構成されており、前記制御回路は、
前記イメージセンサから前記撮像データを受信することと、
前記撮像データによって検出された構造光の前記パターンから前記解剖学的構造の三次元デジタル表現を生成することと、
前記撮像データからメタデータを取得することと、
前記メタデータを前記三次元デジタル表現上にオーバーレイすることと、
前記イメージセンサから更新された撮像データを受信することと、
前記更新された撮像データに基づいて、前記解剖学的構造の更新された三次元デジタル表現を生成することと、
前記状況認識モジュールによって決定された外科的シナリオに応答して、前記解剖学的構造の前記更新された三次元デジタル表現上の前記オーバーレイされたメタデータを更新することと、を行うように構成されている、可視化システムと、を備える、外科用システム。
（１１） 前記複数の光源は、複数のコヒーレント光源を含む、実施態様１０に記載の外科用システム。
（１２） 前記メタデータは、前記複数のコヒーレント光源の位相シフトデータを含む、実施態様１１に記載の外科用システム。
（１３） 前記複数のコヒーレント光源は、構造光の前記パターンを放出するように構成されている、実施態様１１に記載の外科用システム。
（１４） 構造光の前記パターンは、異なる組織侵入深さを有する複数の異なる波長で前記コヒーレント光源から放出される、実施態様１３に記載の外科用システム。
（１５） 前記イメージセンサは、前記異なる組織侵入深さで構造光の前記パターンを捕捉するように構成され、前記三次元デジタル表現は、構造光の表面パターン及び構造光の表面下パターンから生成される、実施態様１４に記載の外科用システム。
（１６） 前記オーバーレイされたメタデータは、組織の不規則性を示す、実施態様１５に記載の外科用システム。
（１７） 前記組織の不規則性は表面下の不規則性を含む、実施態様１６に記載の外科用システム。
（１８） 前記オーバーレイされたメタデータは、ステープルラインに沿った組織圧縮を示す、実施態様１０に記載の外科用システム。
（１９） 前記オーバーレイされたメタデータは、埋め込まれた構造の周りのマージンを示す、実施態様１０に記載の外科用システム。
（２０） 前記オーバーレイされたメタデータは、前記解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び埋め込まれた構造の識別のうちの少なくとも１つを含む、実施態様１０に記載の外科用システム。

Claims (20)

  1. 外科用可視化システムであって、
    第１の波長で構造光の第１のパターンを放出するように構成された第１の光源と、
    第２の波長で構造光の第２のパターンを放出するように構成された第２の光源であって、前記第２の波長は前記第１の波長とは異なる、第２の光源と、
    解剖学的構造上の構造光の前記第１のパターン及び構造光の前記第２のパターンを検出するように構成されたイメージセンサと、
    制御回路であって、
    前記イメージセンサから第１の撮像データを受信することであって、前記第１の撮像データは、前記イメージセンサによって検出された構造光の前記第１のパターンからの前記解剖学的構造の外側表面輪郭を示す、第１の撮像データを受信することと、
    前記イメージセンサから第２の撮像データを受信することであって、前記第２の撮像データは、構造光の前記第２のパターンからの前記解剖学的構造の表面下輪郭を示す、第２の撮像データを受信することと、
    前記外側表面輪郭及び前記表面下輪郭を含む前記解剖学的構造の三次元デジタル表現を生成することと、を行うように構成された制御回路と、を備える、外科用可視化システム。
  2. 前記制御回路は、
    状況認識モジュールからの信号を受信することと、
    前記状況認識モジュールからの前記信号に応答して、前記解剖学的構造の前記三次元デジタル表現を更新することと、を行うように更に構成されている、請求項１に記載の外科用可視化システム。
  3. 前記イメージセンサは、前記第１の光源の位相シフトデータを検出するように構成されている、請求項１に記載の外科用可視化システム。
  4. 前記イメージセンサは、前記第２の光源の位相シフトデータを検出するように構成されている、請求項３に記載の外科用可視化システム。
  5. 前記制御回路は、
    前記第１の撮像データ及び前記第２の撮像データからメタデータを取得することと、
    前記メタデータを前記三次元デジタル表現とオーバーレイすることと、を行うように更に構成されている、請求項１に記載の外科用可視化システム。
  6. 前記メタデータは、前記解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、又は埋め込まれた構造の識別のうちの少なくとも１つを含む、請求項５に記載の外科用可視化システム。
  7. 前記メタデータは、ステープルラインに沿った組織圧縮を示す、請求項５に記載の外科用可視化システム。
  8. コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、
    イメージセンサによって、解剖学的表面輪郭上の構造光の第１のパターン及び前記解剖学的表面輪郭の表面下輪郭上の構造光の第２のパターンを検出することと、
    構造光の前記第１のパターンを示す第１の撮像データ及び構造光の前記第２のパターンを示す第２の撮像データを制御回路に送信することと、
    前記制御回路によって、前記第１の撮像データ及び前記第２の撮像データを処理することと、
    前記制御回路によって、前記解剖学的表面輪郭及び前記表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することと、
    前記解剖学的構造の前記三次元デジタル表現をモニタに送信することと、を機械に行わせる、非一時的コンピュータ可読媒体。
  9. 前記コンピュータ可読命令は、実行されると、
    前記制御回路によって、前記イメージセンサによって検出された構造光の前記第１のパターンの変化及び構造光の前記第２のパターンの変化に応答して、リアルタイムで前記解剖学的構造の前記三次元デジタル表現を更新することと、
    前記解剖学的構造の前記更新された三次元デジタル表現をリアルタイムで前記モニタに送信することと、を前記機械に更に行わせる、請求項８に記載の非一時的コンピュータ可読媒体。
  10. 外科用システムであって、
    複数の外科用デバイスからの入力信号に基づいて、外科的シナリオを決定するように構成された状況認識モジュールと、
    複数の光源と、前記複数の光源からの撮像データを検出するように構成されたイメージセンサと、前記状況認識モジュールに通信可能に結合された制御回路と、を備える可視化システムであって、前記複数の光源のうちの少なくとも１つは、構造光のパターンを解剖学的構造上に放出するように構成されており、前記制御回路は、
    前記イメージセンサから前記撮像データを受信することと、
    前記撮像データによって検出された構造光の前記パターンから前記解剖学的構造の三次元デジタル表現を生成することと、
    前記撮像データからメタデータを取得することと、
    前記メタデータを前記三次元デジタル表現上にオーバーレイすることと、
    前記イメージセンサから更新された撮像データを受信することと、
    前記更新された撮像データに基づいて、前記解剖学的構造の更新された三次元デジタル表現を生成することと、
    前記状況認識モジュールによって決定された外科的シナリオに応答して、前記解剖学的構造の前記更新された三次元デジタル表現上の前記オーバーレイされたメタデータを更新することと、を行うように構成されている、可視化システムと、を備える、外科用システム。
  11. 前記複数の光源は、複数のコヒーレント光源を含む、請求項１０に記載の外科用システム。
  12. 前記メタデータは、前記複数のコヒーレント光源の位相シフトデータを含む、請求項１１に記載の外科用システム。
  13. 前記複数のコヒーレント光源は、構造光の前記パターンを放出するように構成されている、請求項１１に記載の外科用システム。
  14. 構造光の前記パターンは、異なる組織侵入深さを有する複数の異なる波長で前記コヒーレント光源から放出される、請求項１３に記載の外科用システム。
  15. 前記イメージセンサは、前記異なる組織侵入深さで構造光の前記パターンを捕捉するように構成され、前記三次元デジタル表現は、構造光の表面パターン及び構造光の表面下パターンから生成される、請求項１４に記載の外科用システム。
  16. 前記オーバーレイされたメタデータは、組織の不規則性を示す、請求項１５に記載の外科用システム。
  17. 前記組織の不規則性は表面下の不規則性を含む、請求項１６に記載の外科用システム。
  18. 前記オーバーレイされたメタデータは、ステープルラインに沿った組織圧縮を示す、請求項１０に記載の外科用システム。
  19. 前記オーバーレイされたメタデータは、埋め込まれた構造の周りのマージンを示す、請求項１０に記載の外科用システム。
  20. 前記オーバーレイされたメタデータは、前記解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び埋め込まれた構造の識別のうちの少なくとも１つを含む、請求項１０に記載の外科用システム。
JP2022540479A 2019-12-30 2020-10-28 構造光を使用する可視化システム Pending JP2023508566A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/729,744 2019-12-30
US16/729,744 US11219501B2 (en) 2019-12-30 2019-12-30 Visualization systems using structured light
PCT/IB2020/060091 WO2021136995A1 (en) 2019-12-30 2020-10-28 Visualization systems using structured light

Publications (1)

Publication Number Publication Date
JP2023508566A true JP2023508566A (ja) 2023-03-02

Family

ID=73139079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540479A Pending JP2023508566A (ja) 2019-12-30 2020-10-28 構造光を使用する可視化システム

Country Status (6)

Country Link
US (2) US11219501B2 (ja)
EP (1) EP3845118A3 (ja)
JP (1) JP2023508566A (ja)
CN (1) CN115279252A (ja)
BR (1) BR112022012871A2 (ja)
WO (1) WO2021136995A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021510327A (ja) * 2018-01-10 2021-04-22 コヴィディエン リミテッド パートナーシップ コンピュータビジョンを利用したロボット外科システムのツールの位置および状態の判定
US11754712B2 (en) 2018-07-16 2023-09-12 Cilag Gmbh International Combination emitter and camera assembly
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US11937799B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US20230240790A1 (en) * 2022-02-03 2023-08-03 Medtronic Navigation, Inc. Systems, methods, and devices for providing an augmented display
US20230346199A1 (en) * 2022-04-29 2023-11-02 3Dintegrated Aps Anatomy measurement
WO2024015513A1 (en) * 2022-07-13 2024-01-18 Mercury Alert, Inc. Systems and methods for detecting a position of a subject
WO2024058965A1 (en) * 2022-09-12 2024-03-21 Intuitive Surgical Operations, Inc. Determination of a contour physical distance within a subject based on a deformable three-dimensional model
EP4338653A1 (en) * 2022-09-19 2024-03-20 Universitätsklinikum Hamburg-Eppendorf (UKE) Apparatus and method for facilitating a three-dimensional histological reconstruction
CN116047412B (zh) * 2023-03-28 2023-06-02 深圳惟德精准医疗科技有限公司 标记物的伪影坐标去除方法及相关装置

Family Cites Families (353)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3611337A1 (de) 1986-04-04 1987-10-22 Deutsche Forsch Luft Raumfahrt In einer kunststoffkugel untergebrachte, opto-elektronische anordnung
US4986262A (en) 1987-03-31 1991-01-22 Kabushiki Kaisha Toshiba Measuring endoscope
US4753641A (en) 1987-09-10 1988-06-28 Vaslow Dale F Emergency medical needle
US5460182A (en) 1992-09-14 1995-10-24 Sextant Medical Corporation Tissue penetrating apparatus and methods
US5609562A (en) 1993-11-16 1997-03-11 Worldwide Optical Trocar Licensing Corporation Visually directed trocar and method
TW455482B (en) 1998-07-30 2001-09-21 David Lubowski Sigmoidoscope
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
DE10005628B4 (de) 2000-02-09 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur Ausrichtung eines medizinischen Instruments am Körper eines Patienten unter Verwendung eines Computer-Tomographen
JP4723156B2 (ja) 2000-03-31 2011-07-13 アンジオ ダイナミクス インコーポレイテッド 組織生検および処置の装置
DE60124574T2 (de) 2000-09-12 2007-06-21 Law, Peter K., Richmond Hill Katheter für den myogenen zelltransfer
US6826424B1 (en) 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
US7740623B2 (en) 2001-01-13 2010-06-22 Medtronic, Inc. Devices and methods for interstitial injection of biologic agents into tissue
US6632183B2 (en) 2001-02-12 2003-10-14 Thermal Technologies, Inc. Perfusion sensitive biopsy extractor
US7547307B2 (en) 2001-02-27 2009-06-16 Smith & Nephew, Inc. Computer assisted knee arthroplasty instrumentation, systems, and processes
US20050113846A1 (en) 2001-02-27 2005-05-26 Carson Christopher P. Surgical navigation systems and processes for unicompartmental knee arthroplasty
DE60232315D1 (de) 2001-02-27 2009-06-25 Smith & Nephew Inc Chirurgisches navigationssystem zur teilweisen kniegelenkrekonstruktion
NO20011769D0 (no) 2001-04-06 2001-04-06 Bjoern Franc Iversen Anordning og system for gjensidig posisjonering av protesedeler
US8231639B2 (en) 2001-11-28 2012-07-31 Aptus Endosystems, Inc. Systems and methods for attaching a prosthesis within a body lumen or hollow organ
DE10158775B4 (de) 2001-11-30 2004-05-06 3Dconnexion Gmbh Anordnung zum Erfassen von Relativbewegungen oder Relativpositionen zweier Objekte
US7831292B2 (en) 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US8996169B2 (en) 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US7206627B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for intra-operative haptic planning of a medical procedure
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US6887247B1 (en) 2002-04-17 2005-05-03 Orthosoft Inc. CAS drill guide and drill tracking system
JP4106991B2 (ja) 2002-07-15 2008-06-25 ブラザー工業株式会社 ミシン制御装置、ミシン制御方法およびミシン制御プログラム
US20040176751A1 (en) 2002-08-14 2004-09-09 Endovia Medical, Inc. Robotic medical instrument system
DE60326608D1 (de) 2002-10-04 2009-04-23 Orthosoft Inc Computergestützte hüftersatz chirurgie
US20040082842A1 (en) 2002-10-28 2004-04-29 Lumba Vijay K. System for monitoring fetal status
US20090149871A9 (en) 2002-11-01 2009-06-11 Jonathan Kagan Devices and methods for treating morbid obesity
CA2563459A1 (en) 2003-04-18 2004-11-04 Medispectra, Inc. Systems for identifying, displaying, marking, and treating suspect regions of tissue
US20100081875A1 (en) 2003-07-15 2010-04-01 EndoRobotics Inc. Surgical Device For Minimal Access Surgery
US7905840B2 (en) 2003-10-17 2011-03-15 Nuvasive, Inc. Surgical access system and related methods
EP1722705A2 (en) 2004-03-10 2006-11-22 Depuy International Limited Orthopaedic operating systems, methods, implants and instruments
EP1734856A2 (en) 2004-03-11 2006-12-27 Medrad, Inc. Energy assisted medical devices, systems and methods
ATE361491T1 (de) 2004-03-17 2007-05-15 3Dconnexion Gmbh Benutzerschnittstellenvorrichtung
US20050279354A1 (en) 2004-06-21 2005-12-22 Harvey Deutsch Structures and Methods for the Joint Delivery of Fluids and Light
DE502004007253D1 (de) 2004-09-15 2008-07-03 Ao Technology Ag Kalibriervorrichtung
US20060079841A1 (en) 2004-10-07 2006-04-13 University Technologies International Inc. Rapid insufflation drug compartment
US9161820B2 (en) 2004-10-28 2015-10-20 Nico Corporation Surgical access assembly and method of using same
US8103331B2 (en) 2004-12-06 2012-01-24 Cambridge Research & Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
EP1677099A1 (en) 2004-12-30 2006-07-05 Danmarks Tekniske Universitet Method and apparatus for classification of surfaces
WO2006095027A1 (en) 2005-03-11 2006-09-14 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
US20060206007A1 (en) 2005-03-14 2006-09-14 Bala John L Disposable illuminator endoscope
US7842027B2 (en) 2005-03-21 2010-11-30 Lieponis Jonas V Multi-purpose surgical instrument with integral optical system
US20060224045A1 (en) 2005-03-31 2006-10-05 Depuy Spine, Inc. Integrated access device and light source for surgical procedures
EP1864624B1 (en) 2005-03-31 2015-04-01 Olympus Medical Systems Corp. Surgery assisting apparatus
JP4766902B2 (ja) 2005-03-31 2011-09-07 オリンパスメディカルシステムズ株式会社 手術支援装置
US7510524B2 (en) 2005-04-04 2009-03-31 Invuity, Inc. Optical waveguide sheath
US9005115B2 (en) 2005-04-04 2015-04-14 Invuity, Inc. Illuminated telescoping cannula
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8932208B2 (en) 2005-05-26 2015-01-13 Maquet Cardiovascular Llc Apparatus and methods for performing minimally-invasive surgical procedures
WO2006129087A1 (en) 2005-06-02 2006-12-07 Depuy International Ltd Surgical system and method
US20120143341A1 (en) 2006-12-12 2012-06-07 Arthrodisc, L.L.C. Devices and methods for visual differentiation of intervertebral spaces
US20070042016A1 (en) 2005-06-23 2007-02-22 Medtronic Vascular, Inc. Methods and Systems for Treating Injured Cardiac Tissue
US20070172472A1 (en) 2005-06-23 2007-07-26 Asha Nayak Methods and Systems for Treating Injured Cardiac Tissue
US20100280493A1 (en) 2005-06-23 2010-11-04 Asha Nayak Methods and Systems for Treating Injured Cardiac Tissue
US20070093748A1 (en) 2005-06-23 2007-04-26 Medtronic Vascular, Inc. Methods and systems for treating injured cardiac tissue
DE102005034684B4 (de) 2005-07-25 2014-10-16 Siemens Aktiengesellschaft Computertomographisches System zur kontrollierten Durchführung eines interventionellen Eingriffs
US8451327B2 (en) 2005-08-18 2013-05-28 Hoya Corporation Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system
EP1933692B1 (en) 2005-09-13 2012-07-04 The Trustees of Columbia University in the City of New York Insertable device and system for minimal access procedure
US20070156021A1 (en) 2005-09-14 2007-07-05 Bradford Morse Remote imaging apparatus having an adaptive lens
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US7874982B2 (en) 2005-11-02 2011-01-25 Depuy Spine, Inc. Illuminated surgical access system including a surgical access device and coupled light emitter
US20070100210A1 (en) 2005-11-02 2007-05-03 Depuy Spine, Inc. Illuminated surgical access system including a surgical access device and coupled light emitter
US20070265495A1 (en) 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US8820603B2 (en) 2006-01-31 2014-09-02 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US7766210B2 (en) 2006-01-31 2010-08-03 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with user feedback system
US8763879B2 (en) 2006-01-31 2014-07-01 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of surgical instrument
US20070175955A1 (en) 2006-01-31 2007-08-02 Shelton Frederick E Iv Surgical cutting and fastening instrument with closure trigger locking mechanism
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
US7770775B2 (en) 2006-01-31 2010-08-10 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with adaptive user feedback
US8161977B2 (en) 2006-01-31 2012-04-24 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US8623026B2 (en) 2006-02-06 2014-01-07 Conformis, Inc. Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief
US8989528B2 (en) 2006-02-22 2015-03-24 Hansen Medical, Inc. Optical fiber grating sensors and methods of manufacture
EP1843243B1 (en) 2006-04-05 2012-02-22 Société Civile "GALILEO 2011" Opto-electronic device for determining relative movements or relative positions of two objects
JP2009537231A (ja) 2006-05-19 2009-10-29 マコ サージカル コーポレーション 触覚デバイスを制御するための方法および装置
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US10376314B2 (en) 2006-07-14 2019-08-13 Neuwave Medical, Inc. Energy delivery systems and uses thereof
US20080144906A1 (en) * 2006-10-09 2008-06-19 General Electric Company System and method for video capture for fluoroscopy and navigation
US11389171B2 (en) 2006-11-21 2022-07-19 David S. Goldsmith Integrated system for the infixion and retrieval of implants
US20140163664A1 (en) 2006-11-21 2014-06-12 David S. Goldsmith Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting
EP1925256A1 (de) 2006-11-24 2008-05-28 BrainLAB AG Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern
US20080194930A1 (en) 2007-02-09 2008-08-14 Harris Melvyn L Infrared-visible needle
WO2008112942A2 (en) 2007-03-13 2008-09-18 Harris Peter S Methods and devices for reducing gastric volume
WO2008122008A1 (en) 2007-04-02 2008-10-09 Stryker Corporation Medical/surgical tool for both identifying subcutaneous target tissue by means of emitting an interrrogation signal and positioning a catheter at the target
US7832611B2 (en) 2007-05-16 2010-11-16 The Invention Science Fund I, Llc Steerable surgical stapler
US7810691B2 (en) 2007-05-16 2010-10-12 The Invention Science Fund I, Llc Gentle touch surgical stapler
US7798385B2 (en) 2007-05-16 2010-09-21 The Invention Science Fund I, Llc Surgical stapling instrument with chemical sealant
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
US7516675B2 (en) 2007-07-03 2009-04-14 Kulite Semiconductor Products, Inc. Joystick sensor apparatus
US8706211B2 (en) 2007-08-17 2014-04-22 The Invention Science Fund I, Llc Systems, devices, and methods including catheters having self-cleaning surfaces
WO2009039391A1 (en) 2007-09-21 2009-03-26 The Methodist Hospital System Systems, methods and apparatuses for generating and using representations of individual or aggregate human medical data
US8224484B2 (en) 2007-09-30 2012-07-17 Intuitive Surgical Operations, Inc. Methods of user interface with alternate tool mode for robotic surgical tools
US9522046B2 (en) 2010-08-23 2016-12-20 Gip Robotic surgery system
BRPI0901282A2 (pt) 2008-02-14 2009-11-17 Ethicon Endo Surgery Inc instrumento cirúrgico de corte e fixação dotado de eletrodos de rf
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US9282878B2 (en) 2008-08-13 2016-03-15 Invuity, Inc. Cyclo olefin polymer and copolymer medical devices
US20100152539A1 (en) 2008-12-17 2010-06-17 Ethicon Endo-Surgery, Inc. Positionable imaging medical devices
US8992558B2 (en) 2008-12-18 2015-03-31 Osteomed, Llc Lateral access system for the lumbar spine
WO2010085073A2 (ko) 2009-01-20 2010-07-29 주식회사 래보 지방흡입 수술용 로봇
US8632468B2 (en) 2009-02-25 2014-01-21 Koninklijke Philips N.V. Method, system and devices for transjugular intrahepatic portosystemic shunt (TIPS) procedures
KR101761935B1 (ko) 2009-05-29 2017-08-04 스미스 앤드 네퓨, 인크. 슬관절 치환술을 수행하기 위한 방법 및 장치
US9259290B2 (en) 2009-06-08 2016-02-16 MRI Interventions, Inc. MRI-guided surgical systems with proximity alerts
US20110014181A1 (en) 2009-07-20 2011-01-20 Medtronic Vascular, Inc. Microneedle Delivery Device and Methods of Using Same
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
EP2521507B1 (en) 2010-01-08 2015-01-14 Koninklijke Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
EP2359745A1 (en) 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
US20110201881A1 (en) 2010-02-16 2011-08-18 Frederick Emch Laser guided endoscopic surgical tool
US8652148B2 (en) 2010-02-25 2014-02-18 Zimmer, Inc. Tracked cartilage repair system
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US20110257611A1 (en) 2010-04-16 2011-10-20 Kci Licensing, Inc. Systems, apparatuses, and methods for sizing a subcutaneous, reduced-pressure treatment device
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
FR2959409B1 (fr) 2010-05-03 2012-06-29 Gen Electric Procede de determination d'un trajet d'insertion d'un outil dans une matricee tissulaire pouvant se deformer et systeme robotise mettant en oeuvre le procede
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
CA2803278C (en) 2010-06-25 2018-07-24 Suturenetics, Inc. Endoscopic suturing device, system and method
EP2595587B1 (en) 2010-07-20 2017-11-08 The Johns Hopkins University Interferometric force sensor for surgical instruments
US20120071922A1 (en) 2010-09-20 2012-03-22 Shanley John F System for providing surgical access
US9295773B2 (en) 2010-11-09 2016-03-29 Frank Prosl Hemodialysis access system
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US8523043B2 (en) 2010-12-07 2013-09-03 Immersion Corporation Surgical stapler having haptic feedback
KR20120068597A (ko) 2010-12-17 2012-06-27 주식회사 이턴 수술 로봇 시스템 및 적응 제어 방법
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
WO2012123029A1 (en) 2011-03-17 2012-09-20 Brainlab Ag Method for preparing the reconstruction of a damaged bone structure
US20120265022A1 (en) 2011-04-18 2012-10-18 Tyco Healthcare Group Lp Trocar with integrated light and/or scope optical fibers
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
JP2013013050A (ja) 2011-05-27 2013-01-17 Ricoh Co Ltd 撮像装置及びこの撮像装置を用いた表示方法
WO2013001388A1 (en) * 2011-06-27 2013-01-03 Koninklijke Philips Electronics N.V. Live 3d angiogram using registration of a surgical tool curve to an x-ray image
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
AU2012296556B2 (en) 2011-08-15 2016-08-11 Conformis, Inc. Revision systems, tools and methods for revising joint arthroplasty implants
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US20140228632A1 (en) 2011-08-21 2014-08-14 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - rule based approach
US20130274673A1 (en) 2011-08-24 2013-10-17 Ablative Solutions, Inc. Intravascular ablation catheter with enhanced fluoroscopic visibility
US20130053792A1 (en) 2011-08-24 2013-02-28 Ablative Solutions, Inc. Expandable catheter system for vessel wall injection and muscle and nerve fiber ablation
US20130274674A1 (en) 2011-08-24 2013-10-17 Ablative Solutions, Inc. Intravascular ablation catheter with precision depth of penetration calibration
CN102961166A (zh) 2011-08-31 2013-03-13 通用电气公司 用于检测和跟踪针的方法
US8755576B2 (en) 2011-09-09 2014-06-17 Calgary Scientific Inc. Determining contours of a vessel using an active contouring model
GB201121963D0 (en) 2011-12-20 2012-02-01 Smiths Medical Int Ltd Imaging and illumination apparatus
US9801685B2 (en) 2011-12-23 2017-10-31 Orthosoft Inc. Connection method for MEMS navigation unit for computer-assisted surgery
EP2804532B1 (en) 2012-01-18 2016-04-13 Koninklijke Philips N.V. Ultrasonic guidance of a needle path during biopsy
US20140378843A1 (en) 2012-01-20 2014-12-25 The Trustees Of Dartmouth College Method And Apparatus For Quantitative Hyperspectral Fluorescence And Reflectance Imaging For Surgical Guidance
US20130211244A1 (en) 2012-01-25 2013-08-15 Surgix Ltd. Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools
US9044230B2 (en) 2012-02-13 2015-06-02 Ethicon Endo-Surgery, Inc. Surgical cutting and fastening instrument with apparatus for determining cartridge and firing motion status
CN113974689A (zh) 2012-03-07 2022-01-28 齐特奥股份有限公司 空间对准设备
EP2822380B1 (en) 2012-03-07 2022-12-21 Blue River Technology, Inc. Method and apparatus for automated plant necrosis
EP2822445B1 (en) 2012-03-07 2021-05-05 TransEnterix Europe Sàrl Overall endoscopic control system
WO2013134623A1 (en) 2012-03-08 2013-09-12 Neutar, Llc Patient and procedure customized fixation and targeting devices for stereotactic frames
US20150051460A1 (en) 2012-04-04 2015-02-19 Noopur Saxena System and method for locating blood vessels and analysing blood
WO2013158636A1 (en) 2012-04-16 2013-10-24 Azizian Mahdi Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
US9788851B2 (en) 2012-04-18 2017-10-17 Ethicon Llc Surgical instrument with tissue density sensing
WO2013163391A1 (en) 2012-04-25 2013-10-31 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20140336461A1 (en) 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20130296712A1 (en) 2012-05-03 2013-11-07 Covidien Lp Integrated non-contact dimensional metrology tool
EP2852352B1 (en) 2012-05-04 2021-09-01 Roger Khouri Surgical tools
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9141868B2 (en) 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
US9289185B2 (en) 2012-07-23 2016-03-22 ClariTrac, Inc. Ultrasound device for needle procedures
KR102235965B1 (ko) 2012-08-03 2021-04-06 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US10945787B2 (en) 2012-10-29 2021-03-16 Ablative Solutions, Inc. Peri-vascular tissue ablation catheters
US10881458B2 (en) 2012-10-29 2021-01-05 Ablative Solutions, Inc. Peri-vascular tissue ablation catheters
US20190076186A1 (en) 2012-10-29 2019-03-14 Ablative Solutions, Inc. Peri-vascular tissue ablation catheters
DE102012025100A1 (de) * 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
DE202014010578U1 (de) 2013-01-10 2016-01-07 M.S.T. Medical Surgery Technologies Ltd. Chirurgisches Steuersystem
EP2950735B1 (en) 2013-01-29 2018-04-11 Brainlab AG Registration correction based on shift detection in image data
US9649109B2 (en) 2013-03-14 2017-05-16 C.R. Bard, Inc. Surgical instrument with an actuation lockout
US9072501B2 (en) 2013-03-15 2015-07-07 Regents Of The University Of Minnesota Micro-orifice surgical access system
WO2014138923A1 (en) 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Insert imaging device for surgical procedures
EP2967350A4 (en) 2013-03-15 2017-03-01 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2015135058A1 (en) 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Methods and systems for intraoperatively confirming location of tissue structures
CA2906034C (en) 2013-03-15 2021-08-10 Convergent Dental, Inc. System and method for imaging in laser dental treatment
US9827054B2 (en) 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
US9788906B2 (en) 2013-03-15 2017-10-17 Synaptive Medical (Barbados) Inc. Context aware surgical systems for intraoperatively configuring imaging devices
US11278353B2 (en) 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
JP6049518B2 (ja) 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6265627B2 (ja) 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US10070929B2 (en) 2013-06-11 2018-09-11 Atsushi Tanji Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
KR101427973B1 (ko) 2013-07-09 2014-08-07 현대자동차 주식회사 차량 조립용 체결 보증 시스템 및 그 제어 방법
EP2976989A4 (en) 2013-07-11 2017-03-15 Olympus Corporation Light source device
US10170205B2 (en) 2013-07-24 2019-01-01 Karl Storz Endoscopy-America, Inc. Multi-dimensional surgical safety countermeasure system
CN109954196B (zh) 2013-08-15 2021-11-09 直观外科手术操作公司 用于导管定位和插入的图形用户界面
US11013858B2 (en) 2016-01-12 2021-05-25 David S. Goldsmith Nonjacketing side-entry connectors and prosthetic disorder response systems
JPWO2015029537A1 (ja) 2013-08-28 2017-03-02 コニカミノルタ株式会社 器官画像撮影装置
WO2015035058A1 (en) 2013-09-04 2015-03-12 Northwestern University System and method for animal-human neural interface
US10433911B2 (en) 2013-09-18 2019-10-08 iMIRGE Medical INC. Optical targeting and visualization of trajectories
US20140035762A1 (en) 2013-10-01 2014-02-06 Ethicon Endo-Surgery, Inc. Providing Near Real Time Feedback To A User Of A Surgical Instrument
US20140175150A1 (en) 2013-10-01 2014-06-26 Ethicon Endo-Surgery, Inc. Providing Near Real Time Feedback To A User of A Surgical Instrument
CN110123448A (zh) 2013-10-09 2019-08-16 纽文思公司 在手术脊椎程序期间术中设计并评定脊椎畸形矫正的方法
US20160256101A1 (en) 2013-10-14 2016-09-08 Avraham Aharoni Device and System Device and System for Imaging Veins
WO2015066243A2 (en) 2013-10-29 2015-05-07 Entourage Medical Technologies, Inc. System for providing surgical access
US10089737B2 (en) 2013-11-27 2018-10-02 Children's National Medical Center 3D corrected imaging
TWI548388B (zh) 2013-12-30 2016-09-11 國立臺灣大學 骨科手術之手持式機器人以及其控制方法
US10531828B2 (en) 2014-01-31 2020-01-14 The Johns Hopkins University Method and system for transcranial photoacoustic imaging for guiding skull base surgeries
EP3102141B1 (en) 2014-02-04 2019-08-14 Koninklijke Philips N.V. A system for visualising an anatomical target
CN105992568B (zh) 2014-02-12 2018-06-08 皇家飞利浦有限公司 手术仪器可见性的机器人控制
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
DK3228254T3 (da) 2014-02-21 2020-03-23 3Dintegrated Aps Sæt omfattende et kirurgisk instrument
US20150245878A1 (en) 2014-02-28 2015-09-03 Branislav Jaramaz System and methods for positioning bone cut guide
EP3125808B1 (en) 2014-03-28 2023-01-04 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
WO2015151098A2 (en) 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
US10335116B2 (en) 2014-04-17 2019-07-02 The Johns Hopkins University Robot assisted ultrasound system
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US10068173B2 (en) 2014-05-22 2018-09-04 Invuity, Inc. Medical device featuring cladded waveguide
US20170202624A1 (en) 2014-06-08 2017-07-20 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery utilizing a touch screen
US10105186B2 (en) 2014-06-09 2018-10-23 The Johns Hopkins University Virtual rigid body optical tracking system and method
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
JP6371847B2 (ja) 2014-06-30 2018-08-08 富士フイルム株式会社 光音響画像生成装置、信号処理装置、及び光音響画像生成方法
CN107072717B (zh) 2014-08-22 2020-01-03 直观外科手术操作公司 用于自适应输入映射的系统和方法
US9720076B2 (en) 2014-08-29 2017-08-01 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
WO2016048911A1 (en) 2014-09-22 2016-03-31 Invuity, Inc. Hyperspectral imager
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
EP3212057B1 (en) 2014-10-29 2021-12-01 Spectral MD, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
JP2018514748A (ja) 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ 光学撮像システムおよびその方法
US10806346B2 (en) 2015-02-09 2020-10-20 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
EP3056137B1 (en) 2015-02-13 2017-11-01 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH Device and method for multispectral optoacoustic imaging
WO2016176333A1 (en) 2015-04-27 2016-11-03 Reflex Medical, Inc. Systems and mehtods for sympathetic cardiopulmonary neuromodulation
US10722293B2 (en) 2015-05-29 2020-07-28 Covidien Lp Surgical device with an end effector assembly and system for monitoring of tissue before and after a surgical procedure
WO2016201123A1 (en) 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
RU2017128027A (ru) 2015-06-15 2019-02-08 Хаим АМИР Системы и способы для адаптивной обработки кожи
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
WO2017014691A1 (en) 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
JP6776327B2 (ja) 2015-07-21 2020-10-28 スリーディインテグレイテッド アーペーエス３Ｄｉｎｔｅｇｒａｔｅｄ Ａｐｓ カニューレアセンブリキット、套管針アセンブリキット、スリーブアセンブリ、低侵襲性手術システム及び方法
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
US10194981B2 (en) 2015-07-29 2019-02-05 Medlumics S.L. Radiofrequency ablation catheter with optical tissue evaluation
JP6526908B2 (ja) 2015-08-14 2019-06-05 ティモシー・アール・ウィリスＴｉｍｏｔｈｙ Ｒ． Ｗｉｌｌｉｓ 眼内レンズアセンブリ
WO2017037705A1 (en) 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
JP6129439B1 (ja) 2015-09-17 2017-05-17 オリンパス株式会社 内視鏡用処置具
WO2017047147A1 (ja) 2015-09-17 2017-03-23 オリンパス株式会社 内視鏡用処置具
JP6116776B1 (ja) 2015-09-17 2017-04-19 オリンパス株式会社 内視鏡用処置具
EP3351187B1 (en) 2015-09-17 2020-05-06 Olympus Corporation Endoscope treatment instrument
DE102015115903A1 (de) 2015-09-21 2017-03-23 Karl Storz Gmbh & Co. Kg Mikroinvasives medizinisches Instrument
US20190053691A1 (en) 2015-10-09 2019-02-21 3Dintegrated Aps A laparoscopic tool system for minimally invasive surgery
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
WO2017066493A1 (en) 2015-10-13 2017-04-20 Hypermed Imaging, Inc. Compact light sensors for surgical applications and shock detection
US20170189006A1 (en) 2015-10-13 2017-07-06 Entourage Medical Technologies, Inc. Surgical closure configurations
US10531074B2 (en) 2015-10-16 2020-01-07 CapsoVision, Inc. Endoscope employing structured light providing physiological feature size measurement
US11523869B2 (en) 2015-11-20 2022-12-13 Stichting Het Nederlands Kanker Instituut—Antoni van Leeuwenhoek Ziekenhuis Method and system of providing visual information about a location and shape of a tumour under a body surface of a human or animal body
US10390835B2 (en) 2015-12-10 2019-08-27 Covidien Lp Surgical fastener apparatus with linear position sensor
EP3389544A4 (en) 2015-12-14 2019-08-28 Nuvasive, Inc. 3D VISUALIZATION DURING OPERATION WITH REDUCED RADIATION EXPOSURE
WO2017119078A1 (ja) 2016-01-06 2017-07-13 オリンパス株式会社 組織締付具留置装置
US10855682B2 (en) 2016-01-22 2020-12-01 Hewlett Packard Enterprise Development Lp Virtual address for controller in a controller cluster
WO2017127929A1 (en) 2016-01-26 2017-08-03 Novadaq Technologies Inc. Configurable platform
CN108430372B (zh) 2016-01-29 2022-01-18 直观外科手术操作公司 用于可变速度手术器械的系统和方法
WO2017138291A1 (ja) 2016-02-09 2017-08-17 富士フイルム株式会社 距離画像取得装置及びその応用
WO2017144934A1 (en) 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
EP3422992A4 (en) 2016-03-02 2019-10-30 Covidien LP SYSTEMS AND METHOD FOR REMOVING OCCLUSION OBJECTS IN SURGICAL IMAGES AND / OR VIDEOS
US9861446B2 (en) 2016-03-12 2018-01-09 Philipp K. Lang Devices and methods for surgery
EP3438646A1 (en) 2016-03-28 2019-02-06 Sony Corporation Imaging device, imaging method
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10806518B2 (en) 2016-04-27 2020-10-20 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10813700B2 (en) 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11432878B2 (en) 2016-04-28 2022-09-06 Intellijoint Surgical Inc. Systems, methods and devices to scan 3D surfaces for intra-operative localization
CN108882968B (zh) 2016-06-09 2022-05-13 直观外科手术操作公司 计算机辅助远程操作手术系统和方法
JP6834184B2 (ja) 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
US20170366773A1 (en) 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
CN211433450U (zh) 2016-07-27 2020-09-08 阿莱恩技术有限公司 透照适配器套筒设备和透照适配器
AU2017309817A1 (en) 2016-08-10 2019-04-04 Australian Institute of Robotic Orthopaedics Pty Ltd Robot-assisted laser surgical system
JP6833444B2 (ja) 2016-10-17 2021-02-24 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
IL248913B (en) 2016-11-10 2022-01-01 Imagesat Int N V Identification and tracking of objects using multiple satellites
US10702186B2 (en) 2016-12-06 2020-07-07 Siemens Healthcare Gmbh Method and apparatus for identifying an organ structure of an examined object in magnetic resonance image data
US11213364B2 (en) 2016-12-07 2022-01-04 Koninklijke Philips N.V. Image guided motion scaling for robot control
EP3554381A1 (en) 2016-12-19 2019-10-23 Koninklijke Philips N.V. Ultrasound guidance of actuatable medical tool
WO2018119683A1 (en) 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Methods and systems of multi-camera
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
CN116128937A (zh) 2017-01-09 2023-05-16 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US20200397266A1 (en) 2017-03-10 2020-12-24 Transenterix Surgical, Inc. Apparatus and method for enhanced tissue visualization
WO2018185560A2 (en) 2017-04-04 2018-10-11 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
WO2018200767A1 (en) 2017-04-27 2018-11-01 Arthrology Consulting, Llc Method for augmenting a surgical with virtual guidance content
CA3061329A1 (en) 2017-04-27 2018-11-01 Curadel, LLC Range-finding in optical imaging
EP3639766A4 (en) 2017-05-16 2020-12-23 Olympus Corporation INSERTION SYSTEM FOR TISSUE CLAMPING INSTRUMENT
US20180368883A1 (en) 2017-05-17 2018-12-27 The Governors Of The University Of Alberta Hand-held device and computer-implemented system and method for assisted steering of a percutaneously inserted needle
WO2018222615A1 (en) 2017-05-30 2018-12-06 Endochoice, Inc. Illuminator window for a multiple viewing element endoscope
US11298128B2 (en) 2017-06-28 2022-04-12 Cilag Gmbh International Surgical system couplable with staple cartridge and radio frequency cartridge, and method of using same
US20200405395A1 (en) 2017-07-03 2020-12-31 Spine Align, Llc Intraoperative alignment assessment system and method
EP3649250A4 (en) 2017-07-05 2021-03-24 The Regents of the University of California ASSAY FOR PREOPERATIVE PREDICTION OF RESTORATION OF ORGAN FUNCTION
US20190008579A1 (en) 2017-07-10 2019-01-10 Covidien Lp Energy-based surgical devices facilitating breakdown of tissue specimens for removal
CN111148547A (zh) 2017-07-18 2020-05-12 胜赛斯医疗有限责任公司 术中放射治疗中的实时x射线剂量测定
US10506991B2 (en) 2017-08-31 2019-12-17 Biosense Webster (Israel) Ltd. Displaying position and optical axis of an endoscope in an anatomical image
WO2019051464A1 (en) 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
US11147636B2 (en) 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization
US10987247B2 (en) 2017-10-18 2021-04-27 Jesus Moreno Opthalmic microsurgical instrument
US20190117319A1 (en) 2017-10-20 2019-04-25 Massachusetts Institute Of Technology Medical probes and methods of use
JP7401429B2 (ja) 2017-11-13 2023-12-19 コーニンクレッカ フィリップス エヌ ヴェ ロボットツール制御
CN111093516B (zh) 2017-11-21 2023-01-10 深圳迈瑞生物医疗电子股份有限公司 用于规划消融的超声系统及方法
US11147547B2 (en) 2017-12-21 2021-10-19 Cilag Gmbh International Surgical stapler comprising storable cartridges having different staple sizes
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US20190201045A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for smoke evacuation for surgical hub
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US20190205567A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Data pairing to interconnect a device measured parameter with an outcome
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US20190206564A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation
BR112020013095A2 (pt) 2017-12-28 2020-12-01 Ethicon Llc sistemas de segurança para grampeamento cirúrgico inteligente equipado com motor
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US20190200906A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Dual cmos array imaging
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US20190201118A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Display arrangements for robot-assisted surgical platforms
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
WO2019153352A1 (zh) 2018-02-12 2019-08-15 深圳迈瑞生物医疗电子股份有限公司 一种超声介入的显示方法及系统
US20190311542A1 (en) 2018-04-10 2019-10-10 Robert E. Douglas Smart operating room equipped with smart surgical devices
US11006100B1 (en) 2018-04-10 2021-05-11 Robert Edwin Douglas Smart glasses system
US10058396B1 (en) 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
US20190388157A1 (en) 2018-06-21 2019-12-26 Acclarent, Inc. Surgical navigation system with pattern recognition for fail-safe tissue removal
CN112334076A (zh) 2018-06-29 2021-02-05 皇家飞利浦有限公司 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法
US20200037858A1 (en) 2018-07-01 2020-02-06 Luiz Lanat Pedreira de Cerqueira Filho Fairing for free scar instrument and method
US11754712B2 (en) 2018-07-16 2023-09-12 Cilag Gmbh International Combination emitter and camera assembly
CN109011149B (zh) 2018-09-04 2021-01-08 清华大学 植入式医疗器械的固定装置、加工方法和植入式医疗器械
EP3863527A1 (en) 2018-10-12 2021-08-18 Sony Group Corporation Surgical support system, data processing apparatus and method
US20220000565A1 (en) 2018-11-15 2022-01-06 Comofi Medtech Private Limited System for renal puncturing assistance
WO2020105049A1 (en) 2018-11-22 2020-05-28 Vuze Medical Ltd. Apparatus and methods for use with image-guided skeletal procedures
KR102188176B1 (ko) 2018-12-06 2020-12-07 한국 한의학 연구원 침 시술 가이드 기능을 가진 초음파 영상 기기
US11583350B2 (en) 2019-03-15 2023-02-21 Cilag Gmbh International Jaw coordination of robotic surgical controls
US11213361B2 (en) 2019-03-15 2022-01-04 Cilag Gmbh International Robotic surgical systems with mechanisms for scaling surgical tool motion according to tissue proximity
US11284957B2 (en) 2019-03-15 2022-03-29 Cilag Gmbh International Robotic surgical controls with force feedback
US11471229B2 (en) 2019-03-15 2022-10-18 Cilag Gmbh International Robotic surgical systems with selectively lockable end effectors
US11992282B2 (en) 2019-03-15 2024-05-28 Cilag Gmbh International Motion capture controls for robotic surgery
US11666401B2 (en) 2019-03-15 2023-06-06 Cilag Gmbh International Input controls for robotic surgery
US11690690B2 (en) 2019-03-15 2023-07-04 Cilag Gmbh International Segmented control inputs for surgical robotic systems
US11490981B2 (en) 2019-03-15 2022-11-08 Cilag Gmbh International Robotic surgical controls having feedback capabilities
US20200289228A1 (en) 2019-03-15 2020-09-17 Ethicon Llc Dual mode controls for robotic surgery
US20200289205A1 (en) 2019-03-15 2020-09-17 Ethicon Llc Robotic surgical systems with mechanisms for scaling camera magnification according to proximity of surgical tool to tissue
US20210196098A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Surgical system control based on multiple sensed parameters
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US20210196383A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Surgical systems correlating visualization data and powered surgical instrument data
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US20210199557A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Adaptive surgical system control according to surgical smoke particulate characteristics
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US20210196108A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Adaptive surgical system control according to surgical smoke cloud characteristics
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US20220000559A1 (en) 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Providing surgical assistance via automatic tracking and visual feedback during surgery
US20220047259A1 (en) 2020-08-13 2022-02-17 Covidien Lp Endoluminal robotic systems and methods for suturing

Also Published As

Publication number Publication date
WO2021136995A1 (en) 2021-07-08
US20210196424A1 (en) 2021-07-01
US11219501B2 (en) 2022-01-11
BR112022012871A2 (pt) 2022-09-06
US11589731B2 (en) 2023-02-28
CN115279252A (zh) 2022-11-01
EP3845118A3 (en) 2021-07-14
US20210212794A1 (en) 2021-07-15
EP3845118A2 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
US11908146B2 (en) System and method for determining, adjusting, and managing resection margin about a subject tissue
EP3845118A2 (en) Visualization systems using structured light
US11864729B2 (en) Method of using imaging devices in surgery
EP3845194B1 (en) Analyzing surgical trends by a surgical system and providing user recommandations
US20210199557A1 (en) Adaptive surgical system control according to surgical smoke particulate characteristics
US20210196109A1 (en) Adaptive visualization by a surgical system
US20210196108A1 (en) Adaptive surgical system control according to surgical smoke cloud characteristics
US20210196098A1 (en) Surgical system control based on multiple sensed parameters
JP2023508569A (ja) 臓器の一部分の除去を提案、及び裏付ける手術システム
EP3845189A2 (en) Dynamic surgical visualization system
EP4066771A1 (en) Visualization systems using structured light
US12002571B2 (en) Dynamic surgical visualization systems
EP4066772A1 (en) System and method for determining, adjusting, and managing resection margin about a subject tissue

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230926