JP2023508569A - 臓器の一部分の除去を提案、及び裏付ける手術システム - Google Patents

臓器の一部分の除去を提案、及び裏付ける手術システム Download PDF

Info

Publication number
JP2023508569A
JP2023508569A JP2022540488A JP2022540488A JP2023508569A JP 2023508569 A JP2023508569 A JP 2023508569A JP 2022540488 A JP2022540488 A JP 2022540488A JP 2022540488 A JP2022540488 A JP 2022540488A JP 2023508569 A JP2023508569 A JP 2023508569A
Authority
JP
Japan
Prior art keywords
surgical
visualization
tissue
data
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022540488A
Other languages
English (en)
Inventor
エッカート・チャド・イー
シェルトン・ザ・フォース・フレデリック・イー
ハリス・ジェイソン・エル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of JP2023508569A publication Critical patent/JP2023508569A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/3205—Excision instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/091—Measuring volume of inspired or expired gases, e.g. to determine lung capacity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/0003—Accessories therefor, e.g. sensors, vibrators, negative pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/40—Respiratory characteristics
    • A61M2230/43—Composition of exhalation
    • A61M2230/432—Composition of exhalation partial CO2 pressure (P-CO2)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)

Abstract

外科手術において使用するための手術システムが、開示される。この手術システムは、手術可視化システムと、制御回路とを、含む。手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を提案することと、上記一部分の切除前の臓器の非可視化パラメータの第１値を決定することと、上記一部分の切除後の臓器の非可視化パラメータの第２値を決定することと、を行うように構成されている。上記一部分の切除は、臓器の推定容量減少をもたらすように構成されている。

Description

手術システムは、臨床医（単数又は複数）が、例えば、モニタなどの１つ以上のディスプレイ上で、手術部位及び／又はその１つ以上の部分を見ることを可能にできる撮像システムを組み込んでいることが多い。ディスプレイ（単数又は複数）は、手術現場（surgical theater）に局所的であっても、かつ／又は、遠隔であってもよい。撮像システムは、手術部位見て、かつ臨床医が見ることができるディスプレイにビューを送信する、カメラを備えたスコープを含むことができる。スコープとしては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、食道胃十二指腸鏡、腸鏡、食道十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医（単数又は複数）を認識することができ、かつ／又は臨床医に伝達することができる情報によって制限される場合がある。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識できないことがある。追加的に、特定の撮像システムは、手術中に特定の情報を臨床医（単数又は複数）に通信すること、及び／又は伝達することできない場合がある。
１つの一般的態様では、外科手術において使用するための手術システムが開示されている。この手術システムは、手術可視化システムと、制御回路であって、この手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を提案すること、上記一部分の切除前の臓器の非可視化パラメータの第１値を決定することと、上記一部分の切除後の臓器の非可視化パラメータの第２値を決定することと、を行うように構成されている制御回路とを、含む。上記一部分の切除は、臓器の推定容量減少をもたらすように構成されている。
別の一般的態様では、外科手術において使用するための手術システムが開示されている。この手術システムは、手術可視化システムと、制御回路であって、この手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を示す入力をユーザから受信し、上記一部分を除去することによる臓器の容量減少を推定するように構成されている制御回路とを、含む。
更に別の一般的態様では、外科手術において使用するための手術システムが開示されている。この手術システムは、手術可視化システムと、制御回路であって、上記手術可視化システムから、臓器の第１状態における第１可視化データを受信し、上記第１状態における上記臓器の非可視化パラメータの第１値を決定し、上記手術可視化システムから、上記臓器の第２状態における第２可視化データを受信し、上記第２状態における上記臓器の上記非可視化パラメータの第２値を決定し、上記第１可視化データ、上記第２可視化データ、非可視化パラメータの上記第１値、及び上記非可視化パラメータの上記第２値に基づいて、組織異常を検出する、ように構成されている制御回路と、を含む。
様々な態様の新規特徴は、添付の「特許請求の範囲」に具体的に記載される。しかしながら、記載される態様は、編成と動作法の両方について、以下の記載を添付の図面と共に参照することにより、最も良く理解され得る。
本開示の少なくとも１つの態様に係る、撮像デバイスと手術デバイスとを含む手術可視化システムの概略図であり、この手術可視化システムは、組織表面の下方の重要構造を特定するように構成されている。 本開示の少なくとも１つの態様に係る、手術可視化システムの制御システムの概略図である。 本開示の少なくとも１つの態様に係る、手術可視化システムの態様を制御するように構成されている制御回路を示す。 本開示の少なくとも１つの態様に係る、手術可視化システムの態様を制御するように構成されている組み合わせ論理回路を示す。 本開示の少なくとも１つの態様に係る、手術可視化システムの態様を制御するように構成されている順序論理回路を示す。 本開示の少なくとも１つの態様に係る、組織表面の下方の重要構造の深さｄａを決定するための、図１の手術デバイス、撮像デバイス、及び重要構造間の三角測量を示す概略図である。 本開示の少なくとも１つの態様に係る、組織表面の下方の重要構造を特定するように構成された手術可視化システムの概略図であり、この手術可視化システムは、組織表面下の重要構造の深さｄａを決定するパルス化光源を含む。 本開示の少なくとも１つの態様に係る、撮像デバイスと手術デバイスとを含む手術可視化システムの概略図であり、この手術可視化システムは、組織表面の下方の重要構造を特定するように構成されている。 本開示の少なくとも１つの態様に係る、三次元カメラを含む手術可視化システムの概略図であり、この手術可視化システムは、組織内に埋め込まれている重要構造を特定するように構成されている。 本開示の少なくとも１つの態様に係る、図６の三次元カメラによって撮影された重要構造のビューであり、図７Ａは、三次元カメラの左側レンズからのビューであり、図７Ｂは、三次元カメラの右側レンズからのビューである。 本開示の少なくとも１つの態様に係る、図６の三次元カメラによって撮影された重要構造のビューであり、図７Ａは、三次元カメラの左側レンズからのビューであり、図７Ｂは、三次元カメラの右側レンズからのビューである。 本開示の少なくとも１つの態様に係る、三次元カメラから重要構造までのカメラ－重要構造間距離ｄｗを決定することができる、図６の手術可視化システムの概略図である。 本開示の少なくとも１つの態様に係る、埋め込まれた重要構造の位置を決定するために２つのカメラを利用する手術可視化システムの概略図である。 本開示の少なくとも１つの態様に係る、埋め込まれた重要構造の位置を決定するために、複数の既知の位置の間で軸方向に移動されるカメラを利用する手術可視化システムの概略図である。 本開示の少なくとも１つの態様に係る、埋め込まれた重要構造の位置を決定するために、カメラが複数の既知の位置の間で軸方向に及び回転方向に移動される、図１０Ａの手術可視化システムの概略図である。 本開示の少なくとも１つの態様に係る、手術可視化システムの制御システムの概略図である。 本開示の少なくとも１つの態様に係る、手術可視化システムの構造化光源の概略図である。 本開示の少なくとも１つの態様に係る、様々な生体材料に関する吸収係数対波長のグラフを示す図である。 本開示の少なくとも１つの態様に係る、スペクトル手術可視化システムによる解剖学的構造の可視化の概略図である。 本開示の少なくとも１つの態様に係る、解剖学的構造を遮蔽物から差別化するための例示的なハイパースペクトル特定シグネチャを示す図であり、図１３Ｃは、尿管シグネチャ対遮蔽物のグラフ表示であり、図１３Ｄは、動脈シグネチャ対遮蔽物のグラフ表示であり、図１３Ｅは、神経シグネチャ対遮蔽物のグラフ表示である。 本開示の少なくとも１つの態様に係る、解剖学的構造を遮蔽物から差別化するための例示的なハイパースペクトル特定シグネチャを示す図であり、図１３Ｃは、尿管シグネチャ対遮蔽物のグラフ表示であり、図１３Ｄは、動脈シグネチャ対遮蔽物のグラフ表示であり、図１３Ｅは、神経シグネチャ対遮蔽物のグラフ表示である。 本開示の少なくとも１つの態様に係る、解剖学的構造を遮蔽物から差別化するための例示的なハイパースペクトル特定シグネチャを示す図であり、図１３Ｃは、尿管シグネチャ対遮蔽物のグラフ表示であり、図１３Ｄは、動脈シグネチャ対遮蔽物のグラフ表示であり、図１３Ｅは、神経シグネチャ対遮蔽物のグラフ表示である。 本開示の少なくとも１つの態様に係る、重要解剖学的構造までの距離を検知するように構成された近赤外線（ＮＩＲ）飛行時間測定システムの概略図であり、この飛行時間測定システムは、共通デバイス上に配置された送信器（エミッタ）及び受信器（センサ）を含む。 本開示の少なくとも１つの態様に係る、図１７ＡのＮＩＲ飛行時間測定システムの放射された波、受信された波、及び放射された波と受信された波との間の遅延の概略図である。 本開示の少なくとも１つの態様に係る、異なる構造までの距離を検知するように構成されたＮＩＲ飛行時間測定システムを示し、この飛行時間測定システムは、別個のデバイス上の送信器（エミッタ）及び受信器（センサ）を含む。 本開示の少なくとも１つの態様に係る、コンピュータ実装インタラクティブ手術システムのブロック図である。 本開示の少なくとも１つの態様に係る、手術室内で外科手術を実行するために使用される手術システムの図である。 本開示の少なくとも１つの態様に係る、コンピュータ実装インタラクティブ手術システムを示す。 本開示の少なくとも１つの態様に係る、状況認識手術システムの図を示す。 本開示の少なくとも１つの態様に係る、ハブの状況認識を図示するタイムラインを示す。 本開示の少なくとも１つの態様に係る、可視化データと器具データとを相関させるための制御プログラム又は論理構成を示すプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、手術器具の概略図である。 本開示の少なくとも１つの態様に係る、複合データセットと、閉鎖力（Force-to-Close、「ＦＴＣ」）及び発射力（Force-to-Fire、「ＦＴＦ」）の仮想ゲージを示すグラフの図である。 本開示の少なくとも１つの態様に係る、外科手術の術野におけるエンドエフェクタのライブ映像を表示する可視化システムのスクリーンの標準ビューを示す。 本開示の少なくとも１つの態様に係る、外科手術の術野におけるエンドエフェクタのライブ映像を表示する可視化システムのスクリーンの拡張ビューを示す。 本開示の少なくとも１つの態様に係る、エンドエフェクタ構成要素の仮想表示の動きとエンドエフェクタ構成要素の実際の動きとを同期させるための制御プログラム又は論理構成を示すプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、体壁、及び体壁下方の腔にある解剖学的構造を示し、トロカールは体壁を通って腔内に侵入し、スクリーンは、解剖学的構造からのトロカールの距離、トロカールを通して手術器具を提示することに関連するリスク、及びこれに関連する推定手術時間を表示する。 本開示の少なくとも態様に係る、構造化光プロジェクタからの構造化光に露光された胃の仮想三次元（「３Ｄ」）構造体を示す。 本開示の少なくとも１つの態様に係る、可視化データと器具データとを相関させるための制御プログラム又は論理構成を示すプロセスの論理フロー図であり、破線のボックスは、プロセスの代替的な実装形態を示している。 本開示の少なくとも態様に係る、構造化光プロジェクタからの構造化光に露光された胃の仮想３Ｄ構造体を示す。 本開示の少なくとも１つの態様に係る、解剖学的臓器の一部分を除去するための切除経路を提案するための制御プログラム又は論理構成を示すプロセスの論理フロー図であり、破線のボックスは、プロセスの代替的な実装形態を示している。 本開示の少なくとも１つの態様に係る、外科手術の開始時における可視化システムのスクリーン上の術野のライブビューを示す。 本開示の少なくとも１つの態様に係る、術野上に重ね合わせられた提案された手術切除経路について概説する、図３２Ａの術野の一部分の拡大ビューである。 本開示の少なくとも１つの態様に係る、外科手術の開始後４３分における、図３２Ｂの術野のライブビューを示す。 本開示の少なくとも１つの態様に係る、提案された手術切除経路の修正について概説する、図３２Ｃの術野の拡大ビューを示す。 本開示の少なくとも１つの態様に係る、手術器具のパラメータを提案された手術切除経路上、又はその付近に提示するための制御プログラム又は論理構成を示すプロセスの論理フロー図であり、破線のボックスは、プロセスの代替的な実装形態を示している。 本開示の少なくとも１つの態様に係る、スリーブ状胃切除術を受ける患者の胃の仮想３Ｄ構造体を示す。 図３４の胃の完了後の仮想切除を示す。 本開示の少なくとも１つの態様に係る、手術用ステープリング器具の発射を示す。 本開示の少なくとも１つの態様に係る、手術用ステープリング器具の発射を示す。 本開示の少なくとも１つの態様に係る、手術用ステープリング器具の発射を示す。 本開示の少なくとも１つの態様に係る、手術器具の発射速度を調節するための制御プログラム又は論理構成を示すプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、提案された手術切除経路に沿った提案されたステープルカートリッジ配置のための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、臓器の一部分の手術切除を提案するための制御プログラム又は論理構成を図示するプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、臓器の選択部分の除去から生じる臓器の容量減少を推定するための制御プログラム又は論理構成を示すプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、外科手術中に切除すべき一部分を含む、構造化光に露光された患者の肺を示す。 本開示の少なくとも１つの態様に係る、一部分の切除後の図４１Ａの患者の肺を示す。 本開示の少なくとも１つの態様に係る、肺の一部分の切除前及び切除後における、図４１Ａ及び図４１Ｂの患者の肺の最大肺容量を測定するグラフを示す。 本開示の少なくとも１つの態様に係る、肺の一部分を切除する前、直後、並びに切除１分後における、患者の肺の二酸化炭素分圧（partial pressure of carbon dioxide、「ＰＣＯ２」）を測定するグラフを示す。 本開示の少なくとも１つの態様に係る、可視化データ及び非可視化データを使用して、組織異常を検出するための制御プログラム又は論理構成を示すプロセスの論理フロー図である。 本開示の少なくとも１つの態様に係る、第１状態における右肺を、撮像デバイスがその表面上に光パターンを照射している状態で示す。 本開示の少なくとも１つの態様に係る、第２状態における図４４の右肺を、撮像デバイスがその表面に光パターンを照射している状態で示す。 本開示の少なくとも１つの態様に係る、図４４Ａの右肺の頂部を示す。 本開示の少なくとも１つの態様に係る、図４４Ｂの右肺の頂部を示す。
本願の出願人は、同時出願された以下の米国特許出願を所有しており、その各々は、参照によりその全体が本明細書に組み込まれる。
・「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥＳ ＩＮ ＳＵＲＧＥＲＹ」と題された、代理人整理番号第ＥＮＤ９２２８ＵＳＮＰ１／１９０５８０－１Ｍ号；
・「ＡＤＡＰＴＩＶＥ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＢＹ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」と題された、代理人整理番号第ＥＮＤ９２２７ＵＳＮＰ１／１９０５７９－１号；
・「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＳＥＮＳＥＤ ＰＡＲＡＭＥＴＥＲＳ」と題された、代理人整理番号第ＥＮＤ９２２６ＵＳＮＰ１／１９０５７８－１号；
・「ＡＤＡＰＴＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＡＣＣＯＲＤＩＮＧ ＴＯ ＳＵＲＧＩＣＡＬ ＳＭＯＫＥ ＰＡＲＴＩＣＬＥ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ」と題された、代理人整理番号第ＥＮＤ９２２５ＵＳＮＰ１／１９０５７７－１号；
・「ＡＤＡＰＴＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＡＣＣＯＲＤＩＮＧ ＴＯ ＳＵＲＧＩＣＡＬ ＳＭＯＫＥ ＣＬＯＵＤ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ」と題された、代理人整理番号第ＥＮＤ９２２４ＵＳＮＰ１／１９０５７６－１号；
・「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＣＯＲＲＥＬＡＴＩＮＧ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＤＡＴＡ ＡＮＤ ＰＯＷＥＲＥＤ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＤＡＴＡ」と題された、代理人整理番号第ＥＮＤ９２２３ＵＳＮＰ１／１９０５７５－１号；
・「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＮＳＴＲＵＣＴＳ ＯＦ ＡＮＡＴＯＭＩＣＡＬ ＯＲＧＡＮＳ ＡＮＤ ＣＯＵＰＬＩＮＧ ＩＤＥＮＴＩＦＩＥＤ」と題された、代理人整理番号第ＥＮＤ９２２２ＵＳＮＰ１／１９０５７４－１号；
・「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＦＯＲ ＯＶＥＲＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＤＡＴＡ ＯＮＴＯ Ａ ＶＩＲＴＵＡＬ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＮＳＴＲＵＣＴ ＯＦ ＡＮ ＯＲＧＡＮ」と題された、代理人整理番号第ＥＮＤ９２２１ＵＳＮＰ１／１９０５７３－１号；
・「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ，ＡＤＪＵＳＴＩＮＧ，ＡＮＤ ＭＡＮＡＧＩＮＧ ＲＥＳＥＣＴＩＯＮ ＭＡＲＧＩＮ ＡＢＯＵＴ Ａ ＳＵＢＪＥＣＴ ＴＩＳＳＵＥ」と題された、代理人整理番号第ＥＮＤ９２１９ＵＳＮＰ１／１９０５７１－１号；
・「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ ＵＳＩＮＧ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ」と題された、代理人整理番号第ＥＮＤ９２１８ＵＳＮＰ１／１９０５７０－１号；
・「ＤＹＮＡＭＩＣ ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ」と題された、代理人整理番号第ＥＮＤ９２１７ＵＳＮＰ１／１９０５６９－１号；
・「ＡＮＡＬＹＺＩＮＧ ＳＵＲＧＩＣＡＬ ＴＲＥＮＤＳ ＢＹ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」と題された、代理人整理番号第ＥＮＤ９２１６ＵＳＮＰ１／１９０５６８－１号。
本願の出願人は、２０１９年３月１５日に出願された以下の米国特許出願を所有し、その各々は、参照によりその全体が本明細書に組み込まれる。
・「ＩＮＰＵＴ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」と題された、米国特許出願第１６／３５４，４１７号；
・「ＤＵＡＬ ＭＯＤＥ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」と題された、米国特許出願第１６／３５４，４２０号；
・「ＭＯＴＩＯＮ ＣＡＰＴＵＲＥ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」と題された、米国特許出願第１６／３５４，４２２号；
・「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＭＥＣＨＡＮＩＳＭＳ ＦＯＲ ＳＣＡＬＩＮＧ ＳＵＲＧＩＣＡＬ ＴＯＯＬ ＭＯＴＩＯＮ ＡＣＣＯＲＤＩＮＧ ＴＯ ＴＩＳＳＵＥ ＰＲＯＸＩＭＩＴＹ」と題された、米国特許出願第１６／３５４，４４０号；
・「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＭＥＣＨＡＮＩＳＭＳ ＦＯＲ ＳＣＡＬＩＮＧ ＣＡＭＥＲＡ ＭＡＧＮＩＦＩＣＡＴＩＯＮ ＡＣＣＯＲＤＩＮＧ ＴＯ ＰＲＯＸＩＭＩＴＹ ＯＦ ＳＵＲＧＩＣＡＬ ＴＯＯＬ ＴＯ ＴＩＳＳＵＥ」と題された、米国特許出願第１６／３５４，４４４号；
・「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＳＥＬＥＣＴＩＶＥＬＹ ＬＯＣＫＡＢＬＥ ＥＮＤ ＥＦＦＥＣＴＯＲＳ」と題された、米国特許出願第１６／３５４，４５４号；
・「ＳＥＬＥＣＴＡＢＬＥ ＶＡＲＩＡＢＬＥ ＲＥＳＰＯＮＳＥ ＯＦ ＳＨＡＦＴ ＭＯＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１６／３５４，４６１号；
・「ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＲＯＬ ＩＮＰＵＴＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１６／３５４，４７０号；
・「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ ＨＡＶＩＮＧ ＦＥＥＤＢＡＣＫ ＣＡＰＡＢＩＬＩＴＩＥＳ」と題された、米国特許出願第１６／３５４，４７４号；
・「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＦＯＲＣＥ ＦＥＥＤＢＡＣＫ」と題された、米国特許出願第１６／３５４，４７８号、及び
・「ＪＡＷ ＣＯＯＲＤＩＮＡＴＩＯＮ ＯＦ ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ」と題された、米国特許出願第１６／３５４，４８１号。
本願の出願人は、２０１８年９月１１日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」と題された、米国特許出願第１６／１２８，１７９号；
・「ＣＯＮＴＲＯＬＬＩＮＧ ＡＮ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ ＰＵＬＳＥ ＳＥＱＵＥＮＣＥ」と題された、米国特許出願第１６／１２８，１８０号；
・「ＳＩＮＧＵＬＡＲ ＥＭＲ ＳＯＵＲＣＥ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ」と題された、米国特許出願第１６／１２８，１９８号；
・「ＣＯＭＢＩＮＡＴＩＯＮ ＥＭＩＴＴＥＲ ＡＮＤ ＣＡＭＥＲＡ ＡＳＳＥＭＢＬＹ」と題された、米国特許出願第１６／１２８，２０７号；
・「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＷＩＴＨ ＰＲＯＸＩＭＩＴＹ ＴＲＡＣＫＩＮＧ ＦＥＡＴＵＲＥＳ」と題された、米国特許出願第１６／１２８，１７６号；
・「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＭＵＬＴＩＰＬＥ ＴＡＲＧＥＴＳ」と題された、米国特許出願第１６／１２８，１８７号；
・「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題された、米国特許出願第１６／１２８，１９２号；
・「ＯＰＥＲＡＴＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＯＦ ＬＩＧＨＴ」と題された、米国特許出願第１６／１２８，１６３号；
・「ＲＯＢＯＴＩＣ ＬＩＧＨＴ ＰＲＯＪＥＣＴＩＯＮ ＴＯＯＬＳ」と題された、米国特許出願第１６／１２８，１９７号；
・「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭ」と題された、米国特許出願第１６／１２８，１６４号；
・「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＡＮＤ ＭＯＮＩＴＯＲＩＮＧ」と題された、米国特許出願第１６／１２８，１９３号；
・「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題された、米国特許出願第１６／１２８，１９５号；
・「ＲＯＢＯＴＩＣＡＬＬＹ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１６／１２８，１７０号；
・「ＳＡＦＥＴＹ ＬＯＧＩＣ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」と題された、米国特許出願第１６／１２８，１８３号；
・「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＳＥＰＡＲＡＴＥ ＰＨＯＴＯＡＣＯＵＳＴＩＣ ＲＥＣＥＩＶＥＲ」と題された、米国特許出願第１６／１２８，１７２号；
・「ＦＯＲＣＥ ＳＥＮＳＯＲ ＴＨＲＯＵＧＨ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ ＤＥＦＬＥＣＴＩＯＮ」と題された、米国特許出願第１６／１２８，１８５号。
本願の出願人は、２０１８年３月２９日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・「ＤＲＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題された、米国特許出願第１５／９４０，６２７号、現在、米国特許出願公開第２０１９／０２０１１１１号；
・「ＡＵＴＯＭＡＴＩＣ ＴＯＯＬ ＡＤＪＵＳＴＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題された、米国特許出願第１５／９４０，６７６号、現在、米国特許出願公開第２０１９／０２０１１４２号；
・「ＳＥＮＳＩＮＧ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題された、米国特許出願第１５／９４０，７１１号、現在、米国特許出願公開第２０１９／０２０１１２０号；
・「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」と題された、米国特許出願第１５／９４０，７２２号、現在、米国特許出願公開第２０１９／０２００９０５号。
本出願の出願人は、２０１８年１２月４日に出願された以下の米国特許出願を所有しており、これらの各開示は、それらの全体が参照により本明細書に組み込まれる。
・「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ」と題された、米国特許出願第１６／２０９，３９５号、現在、米国特許出願公開第２０１９／０２０１１３６号；
・「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題された、米国特許出願第１６／２０９，４０３号、現在、米国特許出願公開第２０１９／０２０６５６９号；
・「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題された、米国特許出願第１６／２０９，４０７号、現在、米国特許出願公開第２０１９／０２０１１３７号；
・「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＤＩＳＰＬＡＹ，ＡＮＤ ＣＬＯＵＤ ＡＮＡＬＹＴＩＣＳ」と題された、米国特許出願第１６／２０９，４１６号、現在、米国特許出願公開第２０１９／０２０６５６２号；
・「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題された、米国特許出願第１６／２０９，４２３号、現在、米国特許出願公開第２０１９／０２００９８１号；
・「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＲＥＩＮＦＯＲＣＥＤ ＦＬＥＸＩＢＬＥ ＣＩＲＣＵＩＴＳ ＷＩＴＨ ＭＵＬＴＩＰＬＥ ＳＥＮＳＯＲＳ ＴＯ ＯＰＴＩＭＩＺＥ ＰＥＲＦＯＲＭＡＮＣＥ ＯＦ ＲＡＤＩＯ ＦＲＥＱＵＥＮＣＹ ＤＥＶＩＣＥＳ」と題された、米国特許出願第１６／２０９，４２７号、現在、米国特許出願公開第２０１９／０２０８６４１号；
・「ＭＥＴＨＯＤ ＯＦ ＳＥＮＳＩＮＧ ＰＡＲＴＩＣＵＬＡＴＥ ＦＲＯＭ ＳＭＯＫＥ ＥＶＡＣＵＡＴＥＤ ＦＲＯＭ Ａ ＰＡＴＩＥＮＴ，ＡＤＪＵＳＴＩＮＧ ＴＨＥ ＰＵＭＰ ＳＰＥＥＤ ＢＡＳＥＤ ＯＮ ＴＨＥ ＳＥＮＳＥＤ ＩＮＦＯＲＭＡＴＩＯＮ，ＡＮＤ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＴＨＥ ＦＵＮＣＴＩＯＮＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＴＨＥ ＳＹＳＴＥＭ ＴＯ ＴＨＥ ＨＵＢ」と題された、米国特許出願第１６／２０９，４３３号、現在、米国特許出願公開第２０１９／０２０１５９４号；
・「ＭＥＴＨＯＤ ＦＯＲ ＳＭＯＫＥ ＥＶＡＣＵＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＨＵＢ」と題された、米国特許出願第１６／２０９，４４７号、現在、米国特許出願公開第２０１９／０２０１０４５号；
・「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題された、米国特許出願第１６／２０９，４５３号、現在、米国特許出願公開第２０１９／０２０１０４６号；
・「ＭＥＴＨＯＤ ＦＯＲ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥ ＩＮＦＲＡＳＴＲＵＣＴＵＲＥ」と題された、米国特許出願第１６／２０９，４５８号、現在、米国特許出願公開第２０１９／０２０１０４７号；
・「ＭＥＴＨＯＤ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＳＣＨＥＭＥＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＴＲＯＬ ＡＮＤ ＩＮＴＥＲＡＣＴＩＯＮ」と題された、米国特許出願第１６／２０９，４６５号、現在、米国特許出願公開第２０１９／０２０６５６３号；
・「ＭＥＴＨＯＤ ＦＯＲ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＮＥＣＴＥＤ ＤＥＶＩＣＥ ＣＡＰＡＢＬＥ ＯＦ ＡＤＪＵＳＴＩＮＧ ＦＵＮＣＴＩＯＮ ＢＡＳＥＤ ＯＮ Ａ ＳＥＮＳＥＤ ＳＩＴＵＡＴＩＯＮ ＯＲ ＵＳＡＧＥ」と題された、米国特許出願第１６／２０９，４７８号、現在、米国特許出願公開第２０１９／０１０４９１９号；
・「ＭＥＴＨＯＤ ＦＯＲ ＦＡＣＩＬＩＴＹ ＤＡＴＡ ＣＯＬＬＥＣＴＩＯＮ ＡＮＤ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ」と題された、米国特許出願第１６／２０９，４９０号、現在、米国特許出願公開第２０１９／０２０６５６４号；
・「ＭＥＴＨＯＤ ＦＯＲ ＣＩＲＣＵＬＡＲ ＳＴＡＰＬＥＲ ＣＯＮＴＲＯＬ ＡＬＧＯＲＩＴＨＭ ＡＤＪＵＳＴＭＥＮＴ ＢＡＳＥＤ ＯＮ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」と題された、米国特許出願第１６／２０９，４９１号、現在、米国特許出願公開第２０１９／０２００９９８号。
手術用可視化プラットフォームの様々な態様を詳細に説明する前に、例示的な実施例は、適用又は使用において、添付の図面及び明細書で例示される部品の構造及び配置の詳細に限定されないことに留意されたい。例示的な実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で採用される用語及び表現は、読者の便宜のために例示的な実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記載される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。
手術可視化システム
本開示は、患者の解剖学的構造及び／又は外科手術に関する追加の情報を取得するために「デジタル手術」を活用する手術用可視化プラットフォームを対象とする。手術用可視化プラットフォームは、データ及び／又は情報を、有用な様式で１人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び／又は外科手術の改善された可視化を提供する。
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な手術用可視化プラットフォームは、ロボット手術システムと組み合わせて使用することができるが、手術用可視化プラットフォームは、ロボット手術システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／又は任意である状態で、高度な手術可視化を実施することができる。同様に、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を実施することができる。
特定の例では、手術用可視化プラットフォームを組み込む手術システムは、重要構造を特定し、それらを回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的領域における異物構造、例えば、手術デバイス、手術用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。重要構造は、患者ごと及び／又は処置ごとに決定される場合がある。例示的な重要構造は、本明細書で更に説明される。スマート切開術は、切開のために改善された術中ガイダンスを提供することができ、及び／又は、例えば、重要な解剖学的構造の検出及び回避技術によってよりスマートな判断を可能にすることができる。
手術用可視化プラットフォームを組み込んだ手術システムはまた、改善されたワークフローによって最適な位置（単数又は複数）でより一貫した吻合を提供するスマート吻合術を可能にし得る。癌局在化法もまた、本明細書で記載される様々な手術用可視化プラットフォーム及び処置によって改善され得る。例えば、癌局在化法は、癌の位置、向き、及びそのマージンを特定し、追跡することができる。特定の例では、癌局在化法は、外科手術中に器具、患者、及び／又は患者の解剖学的構造の動きを補償し、臨床医を対象の点に戻す誘導を提供することができる。
本開示の特定の態様では、手術用可視化プラットフォームは、改善された組織特性評価、並びに／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特性評価技術は、特に切開時、及び／又は組織内のステープリングデバイスの配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特性評価することができる。本明細書に記載される特定の組織特性評価技術は、電離放射線及び／又は造影剤を使用せずに利用することができる。リンパ節診断及びマッピングに関して、手術用可視化プラットフォームは、例えば、癌診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置特定し、マッピングし、理想的には、診断することができる。
外科手術中、「肉眼」及び／又は撮像システムを介して臨床医が利用可能な情報は、不完全な手術部位のビューを提供する場合がある。例えば、臓器内に埋め込まれた又は埋もれた構造などの特定の構造は、ビューから少なくとも部分的に隠され、つまり見えない場合がある。追加的に、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「肉眼」では把握が難しい場合がある。更に、特定の構造は、手術前（例えば、外科手術前であるが術前のスキャン後）、及び／又は手術中に移動することがある。そのような例では、臨床医は、手術中に重要構造の位置を正確に決定することができない場合がある。
重要構造の位置が不確定である場合、及び／又は重要構造と手術具との間の近接度が不明である場合、臨床医の意思決定プロセスが阻害することができる。例えば、臨床医は、重要構造の不注意による切開を回避するために、特定の領域を回避することができる。しかしながら、回避された領域は、不必要に大きく、かつ／又は、少なくとも部分的に場所を誤っている可能性がある。不確実性、及び／又は過度／過剰な用心に起因して、臨床医は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定領域での臨床医の行為によって悪影響がない場合であっても、用心のし過ぎにより、臨床医が、重要構造を回避しようと努力して、腫瘍及び／又は他の望ましくない組織の一部分を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まると共に向上される場合があり、これにより、外科医にとって、より正確で、特定の例では、特定の解剖学的領域に対してより抑えて／より積極的になることが可能になる。
様々な態様では、本開示は、重要構造の術中特定及び回避のための手術可視化システムを提供する。一態様では、本開示は、術中意思決定の強化、及び手術転帰の改善を可能にする、手術可視化システムを提供する。様々な態様では、開示された手術可視化システムは、臨床医が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、かつ／又は臨床医に伝達できるものを超えた、高度な可視化能を提供する。様々な手術可視化システムは、臨床医が組織治療（例えば、切開）の前に知ることができることを補強かつ強化できることによって、様々な例における転帰を改善することができる。
例えば、可視化システムは、複数のスペクトル波を放射するように構成されている第１光エミッタと、光パターンを放射するように構成されている第２光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成されている１つ以上の受信器又はセンサと、を含むことができる。以下の開示を通じて、特に可視光に言及しない限り、「光」への言及は全て、電磁放射線（ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分における電磁波又は光子を含み得ることに留意されたい。手術可視化システムはまた、撮像システムと、受信器（単数又は複数）及び撮像システムとを信号通信する制御回路とを含むことができる。受信器（単数又は複数）からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、すなわち三次元表面トポグラフィ、及び手術部位に対する１つ以上の距離を決定することができる。特定の例では、制御回路は、少なくとも部分的に隠れた構造までの１つ以上の距離を決定することができる。更に、撮像システムは、幾何学的表面マップ及び１つ以上の距離を臨床医に伝達することができる。そのような例では、臨床医に提供される手術部位の拡張ビューは、手術部位に関連するコンテキスト内で隠れた構造の表示を提供することができる。例えば、撮像システムは、が表面の下方のユーティリティ配管を示すために地面に引かれた線と同様に、隠している及び／又は遮断している組織の幾何学的表面マップ上に隠れた構造を仮想的に強化することができる。追加的に、又は、代替的に、撮像システムは、可視の遮断している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの１つ以上の手術具の近接度、並びに／又は、遮蔽している組織の可視表面の下方に隠れた構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張された線に対する距離を決定し、その距離を撮像システムに伝達することができる。
本開示の様々な態様では、重要構造の術中特定及び回避のための手術可視化システムが開示されている。このような手術可視化システムは、外科手術中に臨床医に有益な情報を提供することができる。結果として、手術可視化システムが、例えば、切開中に接近し得る、尿管、特定の神経、及び／又は重要な血管などの重要構造を追跡していることを認識しながら、臨床医は、外科手術を通して勢いを確実に維持することができる。一態様では、手術可視化システムは、臨床医が外科手術を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、臨床医に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を臨床医に提供して、健康な組織及び／又は重要構造（単数又は複数）への不注意による損傷を回避しつつ、臨床医が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、外科手術から生じる損傷のリスクを最小限に抑えることができる。
図１は、本開示の少なくとも１つの態様に係る、手術可視化システム１００の概略図である。手術可視化システム１００は、解剖学的領域内の重要構造１０１の視覚的表示を作り出すことができる。手術可視化システム１００は、例えば、臨床分析及び／又は医学的介入で使用することができる。特定の例では、手術可視化システム１００を手術中に使用し、外科手術中の近接データ、寸法、及び／又は距離に関するリアルタイム若しくはほぼリアルタイムの情報を臨床医に提供することができる。手術可視化システム１００は、重要構造（単数又は複数）の術中特定のために、及び／又は手術デバイスによる重要構造（単数又は複数）１０１の回避を容易にするように構成されている。例えば、重要構造１０１を特定することによって、臨床医は、外科手術中に、重要構造１０１及び／又は重要構造１０１の既定の近位の領域の周囲で手術デバイスを操作することを回避できる。臨床医は、例えば重要構造１０１として特定される、例えば静脈、動脈、神経、及び／若しくは血管、並びに／又はこれら付近の切開を回避することができる。様々な例では、重要構造１０１は、患者ごと及び／又は処置ごとに決定される場合がある。
手術可視化システム１００は、距離センサシステム１０４と組み合わせた組織特定及び幾何学的表面マッピングを組み込む。組み合わせると、手術可視化システム１００のこれらの特徴は、解剖学的領域内の重要構造１０１の位置、並びに／又は、可視組織の表面１０５及び／若しくは重要構造１０１への手術デバイス１０２の近接度を決定することができる。更に、手術可視化システム１００は、例えば、手術部位のリアルタイムのビューを提供するように構成された、カメラなどの撮像デバイス１２０を含む、撮像システムを含む。様々な例では、撮像デバイス１２０は、反射されたスペクトル波形を検出し、様々な波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）である。撮像デバイス１２０からのビューを臨床医に提供することができ、本開示の様々な態様では、組織特定、ランドスケープマッピング、及び距離センサシステム１０４に基づく追加情報で強化することができる。そのような例では、手術可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織特定サブシステム、及び／又は距離決定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に臨床医（単数又は複数）に対して提供することができる。
撮像デバイスは、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）を検出するように構成されているカメラ、又は撮像センサを含むことができる。本開示の様々な態様では、撮像システムは、例えば内視鏡などの撮像デバイスを含むことができる。追加的に、又は、代替的に、撮像システムは、例えば、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又は外視鏡などの撮像デバイスを含むことができる。開腹手術用途などの他の例では、撮像システムはスコープを含まなくてもよい。
本開示の様々な態様では、組織特定サブシステムは、スペクトル撮像システムを用いて達成することができる。スペクトル撮像システムは、例えば、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像に依存することができる。組織のハイパースペクトル撮像は、２０１６年３月１日に発行された、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｇｒｏｓｓ ａｎａｔｏｍｉｃ ｐａｔｈｏｌｏｇｙ ｕｓｉｎｇ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ」と題された米国特許第９，２７４，０４７号に更に記載されており、その全体を参照により本明細書に援用する。
本開示の様々な態様では、表面マッピングサブシステムは、本明細書で更に説明されるように、光パターンシステムを用いて達成することができる。表面マッピングのための光パターン（又は構造化光）の使用が知られている。既知の表面マッピング技術を、本明細書に記載される手術可視化システムで利用することができる。
構造化光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ）と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、光源と光パターンを投影するためのプロジェクタとを備える手術システムを開示している。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、それらの各全体を参照することにより本明細書に組み込まれる。
本開示の様々な態様では、距離決定システムは、表面マッピングシステムに組み込むことができる。例えば、構造化光を利用して、可視表面の三次元仮想モデルを生成し、可視表面に対する様々な距離を決定することができる。追加的に、又は、代替的に、距離決定システムは飛行時間測定に依存し、手術部位における特定された組織（又は他の構造）に対する１つ以上の距離を決定することができる。
図２は、手術可視化システム１００と共に利用することができる制御システム１３３の概略図である。制御システム１３３は、メモリ１３４と信号通信する制御回路１３２を含む。メモリ１３４は、重要構造（例えば、図１の重要構造１０１）を決定及び／又は認識する、１つ以上の距離及び／又は三次元デジタル表示を決定及び／又は計算する、及び、特定の情報を１人以上の臨床医に通信するための、制御回路１３２により実行可能な命令を記憶する。例えば、メモリ１３４は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、若しくは距離決定ロジック１４１、又はロジック１３６、１３８、１４０、及び１４１の任意の組み合わせを記憶する。また、制御システム１３３は、（図１の撮像デバイス１２０のような）１つ以上のカメラ１４４、１つ以上のディスプレイ１４６、又は１つ以上のコントロール１４８、又はこれらの要素の任意の組み合わせを有する撮像システム１４２を含む。カメラ１４４は、様々な可視スペクトル及び不可視スペクトルで光を放射する様々な光源からの信号を受信するための１つ以上の画像センサ１３５（とりわけ、例えば、可視光、スペクトルイメージャ、三次元レンズ）を含むことができる。ディスプレイ１４６は、１人以上の臨床医に対して、現実、仮想、及び／又は仮想的に拡張された画像及び／又は情報を描写するための１つ以上のスクリーン又はモニタを含むことができる。
様々な態様では、カメラ１４４の中心部は画像センサ１３５である。一般に、最新の画像センサ１３５は、ピクセルと呼ばれる別個の光検出器部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５の技術は、電荷結合素子（ＣＣＤ）イメージャ及び相捕型金属酸化膜半導体（ＣＭＯＳ）イメージャの２つの範疇のうちの１つに分類され、より直近になると、短波赤外線（ＳＷＩＲ）が撮像における新技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約３５０～１０５０ｎｍの波長に対する感度を有するが、この範囲は通常４００～１０００ｎｍである。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、よく採用される低コストの画像化ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを採用してフルカラー画像を解像する。次いで、各色は、異なるピクセルセットに方向付けられる。３チップカラーＣＣＤカメラは、プリズムを採用することによってより高い分解能を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を決定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い分解能を提供する。
制御システム１３３はまた、スペクトル光源１５０と構造化光源１５２とを含む。特定の例では、単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造化光源１５２の範囲内の光の波長を放射するようにパルス化することができる。あるいは、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長を供給するようにパルス化することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源であってよい。様々な例では、組織特定ロジック１４０は、カメラ１４４の画像センサ１３５部分によって受信されたスペクトル光源１５０からのデータを介して、重要構造（単数又は複数）を特定することができる。表面マッピングロジック１３６は、反射された構造化光に基づいて、可視組織の表面の輪郭を決定することができる。飛行時間測定により、距離決定ロジック１４１は、可視組織及び／又は重要構造１０１までの１つ以上の距離を決定することができる。表面マッピングロジック１３６、組織特定ロジック１４０、及び距離決定ロジック１４１からの１つ以上の出力は、撮像ロジック１３８に提供され、撮像システム１４２のディスプレイ１４６を介して臨床医に伝達されるように組み合わされ、一体化され、及び／又は重ね合わせられてもよい。
これから簡単に図２Ａ～図２Ｃを説明し、手術可視化システム１００の様々な態様を制御するための制御回路１３２の様々な態様について述べる。図２Ａを参照すると、本開示の少なくとも１つの態様に係る、手術可視化システム１００の態様を制御するように構成されている制御回路４００が図示されている。制御回路４００は、本明細書に記載される様々なプロセスを実装するように構成することができる。制御回路４００は、少なくとも１つのメモリ回路４０４に連結された１つ以上のプロセッサ４０２（例えば、マイクロプロセッサ、マイクロコントローラ）を備えるマイクロコントローラを備えてもよい。メモリ回路４０４は、プロセッサ４０２によって実行されると、プロセッサ４０２に、本明細書に記載される様々なプロセスを実装するための機械命令を実行させる、機械実行可能命令を記憶する。プロセッサ４０２は、当該技術分野で既知の多数のシングルコアプロセッサ又はマルチコアプロセッサのうちの任意の１つであってもよい。メモリ回路４０４は、揮発性及び不揮発性の記憶媒体を備えることができる。プロセッサ４０２は、命令処理ユニット４０６、及び演算ユニット４０８を含んでもよい。命令処理ユニットは、本開示のメモリ回路４０４から命令を受信するように構成され得る。
図２Ｂは、本開示の少なくとも１つの態様に係る、手術可視化システム１００の態様を制御するように構成されている組み合わせ論理回路４１０を示す。組み合わせ論理回路４１０は、本明細書に記載される様々なプロセスを実装するように構成することができる。組み合わせ論理回路４１０は、入力４１４において手術器具又は手術具に関連付けられたデータを受信し、組み合わせ論理４１２によってデータを処理し、出力４１６を供給するように構成された組み合わせロジック４１２を備える有限状態機械を備えてもよい。
図２Ｃは、本開示の少なくとも１つの態様に係る、手術可視化システム１００の態様を制御するように構成されている順序論理回路４２０を示す。順序論理回路４２０又は組み合わせロジック４２２は、本明細書に記載される様々なプロセスを実装するように構成することができる。順序論理回路４２０は有限状態機械を備えてもよい。順序論理回路４２０は、例えば、組み合わせロジック４２２、少なくとも１つのメモリ回路４２４、及びクロック４２９を備えてもよい。少なくとも１つのメモリ回路４２４は、有限状態機械の現在の状態を記憶することができる。特定の例では、順序論理回路４２０は、同期式であっても、又は非同期式であってもよい。組み合わせロジック４２２は、入力４２６から、手術デバイス又はシステムに関連付けられたデータを受信し、組み合わせ論理４２２によってデータを処理し、出力４２８を供給するように構成される。他の態様では、回路は、プロセッサ（例えば、図２Ａのプロセッサ４０２）と、本明細書の様々なプロセスを実装する有限状態機械との組み合わせを備えてもよい。他の態様では、有限状態機械は、組み合わせ論理回路（例えば、図２Ｂの組み合わせ論理回路４１０）と順序論理回路４２０との組み合わせを備えてもよい。
図１の手術可視化システム１００を再び参照すると、重要構造１０１は、対象の解剖学的構造であり得る。例えば、重要構造１０１は、他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍であり得る。他の例では、重要構造１０１は、解剖学的領域における異物構造、例えば、手術デバイス、手術用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。例示的な重要構造は、本明細書、及び、例えば、２０１８年９月１１日に出願された、「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題された米国特許出願第１６／１２８，１９２号を含む、前述の米国特許出願で更に記載されており、これらはそれぞれ、その全体を参照により本明細書に援用するものとする。
一態様では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、重要構造１０１は、組織１０３の表面１０５の下方に配置され得る。そのような例では、組織１０３は臨床医のビューから重要構造１０１を隠している。重要構造１０１はまた、組織１０３によって撮像デバイス１２０のビューからも遮蔽される。組織１０３は、例えば、脂肪、結合組織、癒着部、及び／又は臓器であり得る。他の例では、重要構造１０１は、ビューから部分的に遮蔽され得る。
図１はまた、手術デバイス１０２も示す。手術デバイス１０２は、手術デバイス１０２のシャフトの遠位端から延在する対向するジョーを有するエンドエフェクタを含む。手術デバイス１０２は、例えば、切開器具、ステープラ、把持器具、クリップアプライヤ、並びに／又は、単極プローブ、双極プローブ、アブレーションプローブ、及び／若しくは超音波エンドエフェクタを含むエネルギーデバイスなどの任意の好適な手術デバイスであり得る。追加的に、又は、代替的に、手術デバイス１０２は、例えば、超音波デバイスなどの別の撮像様式又は診断様式を含むことができる。本開示の一態様では、手術可視化システム１００は、１つ以上の重要構造１０１の特定、及び手術デバイス１０２の重要構造（単数又は複数）１０１への接近を達成するように構成することができる。
手術可視化システム１００の撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像デバイス１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含んでもよい。例えば、撮像デバイス１２０は、本明細書で更に説明されるように、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラであり得る。撮像デバイス１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像デバイス１２０は、２つの二次元画像を同時に記録することによって、手術部位の三次元画像を生成し、手術部位の三次元画像をレンダリングし、かつ／又は、手術部位で１つ以上の距離を決定するために一緒に使用される右側レンズ及び左側レンズを含むことができる。追加的に又は代替的に、撮像デバイス１２０は、本明細書で更に説明されるように、可視組織のトポグラフィ、並びに隠れた重要構造の特定及び位置を示す画像を受信するように構成することができる。例えば、図１に示すように、撮像デバイス１２０の視野を、組織の表面１０５上の光パターン（構造化光）と重ねることができる。
一態様では、手術可視化システム１００はロボットシステム１１０に組み込まれてもよい。例えば、ロボットシステム１１０は、第１ロボットアーム１１２と第２ロボットアーム１１４とを含んでもよい。ロボットアーム１１２、１１４は、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１ロボットアーム１１２は、手術デバイス１０２を操作するように構成されており、第２ロボットアーム１１４は、撮像デバイス１２０を操作するように構成されている。ロボット制御ユニットは、例えば、手術デバイス１０２及び撮像デバイス１２０に作用し得るロボットアーム１１２、１１４への制御運動を発するように構成することができる。
手術可視化システム１００はまた、表面１０５のトポグラフィ又はランドスケープの決定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターンを放射するように構成されているエミッタ１０６も含む。例えば、投影された光アレイ１３０は、表面１０５上の三次元スキャン及び位置合わせのために使用することができる。投影された光アレイ１３０は、例えば、手術デバイス１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像デバイス１２０上に位置するエミッタ１０６から放射することができる。一態様では、投影された光アレイ１３０を採用して、組織１０３の表面１０５及び／又は表面１０５の運動により手術中に画定される形状を決定する。撮像デバイス１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ、及び表面１０５に対する様々な距離を決定するように構成されている。
一態様では、撮像デバイス１２０はまた、組織１０３の表面１０５を透過して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている、光波形エミッタ１２３を含んでもよい。撮像デバイス１２０、及びその上の光波形エミッタ１２３は、ロボットアーム１１４によって位置決め可能であり得る。撮像デバイス１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光波形エミッタ１２３から放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は身体構造の種類の特定を可能にするように構成することができる。重要構造１０１の特定は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変であってもよい。波形センサ１２２及び光波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含むことができる。他の例では、波形センサ１２２及び光波形エミッタ１２３は、例えば光音響撮像システムを含むことができる。他の例では、光波形エミッタ１２３は、撮像デバイス１２０とは別個の手術デバイス上に配置することができる。
手術可視化システム１００はまた、手術部位において１つ以上の距離を決定するように構成されている距離センサシステム１０４を含んでもよい。一態様では、飛行時間距離センサシステム１０４は、エミッタ１０６などのエミッタと、手術デバイス１０２上に配置され得る受信器１０８と、を含む飛行時間距離センサシステムであってもよい。他の例では、飛行時間エミッタは構造化光エミッタとは別個であり得る。１つの一般的な態様では、飛行時間距離センサシステム１０４のエミッタ１０６部分は、非常に小さいレーザ源を含んでもよく、飛行時間距離センサシステム１０４の受信器１０８部分は、整合センサを含んでもよい。飛行時間距離センサシステム１０４は、「飛行時間」、つまり、エミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出することができる。エミッタ１０６中で非常に狭い光源を使用することにより、距離センサシステム１０４が、距離センサシステム１０４の直ぐ前にある組織１０３の表面１０５までの距離を決定することを可能にする。更に図１を参照すると、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、手術デバイス１０２の遠位端から組織の表面１０５までのデバイス－組織間距離である。距離センサシステム１０４を採用して、エミッタ－組織間距離ｄｅを決定することができる。デバイス－組織間距離ｄｔは、手術デバイス１０２の遠位端に対する、手術デバイス１０２のシャフト上のエミッタ１０６の既知の位置から得ることができる。言い換えると、エミッタ１０６と手術デバイス１０２の遠位端との間の距離が既知である場合、デバイス－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから決定することができる。特定の例では、手術デバイス１０２のシャフトは、１つ以上の関節継手を含むことができ、エミッタ１０６及びジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。特定の例では、三次元カメラを利用して、表面１０５までの１つ以上の距離を三角測量することができる。
様々な例では、飛行時間距離センサシステム１０４のための受信器１０８は、手術デバイス１０２の代わりに、別個の手術デバイス上に装着することができる。例えば、受信器１０８は、手術デバイス１０２が手術部位に到達するようにそこを通って延在するカニューレ又はトロカール上に装着することができる。更に他の例では、飛行時間距離センサシステム１０４のための受信器１０８は、別のロボット制御アーム（例えばロボットアーム１１４）上、別のロボット制御される可動アーム上、及び／又は手術室（ＯＲ）台若しくは固定具に装着することができる。特定の例では、撮像デバイス１２０は、手術デバイス１０２上のエミッタ１０６と撮像デバイス１２０との間の線を使用して、エミッタ１０６から組織１０３の表面１０５までの距離を決定する、飛行時間受信器１０８を含む。例えば、（手術デバイス１０２上にある）飛行時間距離センサシステム１０４のエミッタ１０６、及び（撮像デバイス１２０上にある）受信器１０８の既知の位置に基づいて、距離ｄｅを三角測量することができる。受信器１０８の三次元位置は、手術中に、ロボット座標平面に対して知ること、及び／又は位置合わせすることができる。
特定の例では、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１ロボットアーム１１２によって制御することができ、飛行時間距離センサシステム１０４の受信器１０８の位置は、第２ロボットアーム１１４によって制御することができる。他の例では、手術可視化システム１００は、ロボットシステムとは別に利用することができる。そのような例では、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
特定の例では、ロボットアーム１１２、１１４のうちの１つ以上は、外科手術で使用される主ロボットシステムとは別個であってもよい。ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に配置され、かつ位置合わせすることができる。例えば、ロボットアーム１１０用の閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム（単数又は複数）１１２、１１４の位置を制御し、かつ／又は位置合わせすることができる。同様に、手術デバイス１０２及び撮像デバイス１２０の位置は、特定の座標系に対して位置合わせすることができる。
更に図１を参照すると、ｄｗは、撮像デバイス１２０上に位置する光波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下方の重要構造１０１の深さ（すなわち、手術デバイス１０２に最も近い表面１０５の一部分と重要構造１０１との間の距離）である。様々な態様では、撮像デバイス１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを決定するように構成することができる。飛行時間センサと組み合わせたスペクトル撮像の使用について、本明細書で更に説明する。更に、ここで図３を参照すると、本開示の様々な態様では、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに、手術デバイス１０２上のエミッタ１０６、及び撮像デバイス１２０上の光波形エミッタ１２３の既知の位置（ひいては、これらの間の距離ｄｘ）から三角測量によって決定され、距離ｄｅとｄＡとの合計である距離ｄｙを決定することができる。
追加的に、又は、代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を決定するように構成することができる。例えば、第１波形（又は波形範囲）を利用して、カメラ－重要構造間距離ｄｗを決定でき、第２波形（又は波形範囲）を利用して、組織１０３の表面１０５までの距離を決定することができる。そのような例では、異なる波形を利用して、組織１０３の表面１０５の下方の重要構造１０１の深さを決定することができる。
追加的に、又は、代替的に、特定の例では、距離ｄＡは、超音波、位置合わせされた磁気共鳴ビュー（ＭＲＩ）、又はコンピュータ断層撮影（ＣＴ）スキャンから決定することができる。更に他の例では、距離ｄＡは、撮像デバイスによって受信された検出信号が材料の種類に基づいて変動し得るので、スペクトル撮像によって決定することができる。例えば、脂肪は、検出信号を第１方法、又は第１量で減少させることができ、コラーゲンは、検出信号を異なる第２方法、又は第２量で減少させることができる。
ここで図４の手術可視化システム１６０を参照すると、手術デバイス１６２は、光波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２とを含む。光波形エミッタ１２３は、本明細書で更に説明されるように、手術デバイス１６２などのなどの共通デバイスから距離ｄｔ、及びｄｗを決定するための波形を放射するように構成することができる。そのような例では、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように決定することができる。
ｄＡ＝ｄｗ－ｄｔ。
本明細書に開示されるように、可視組織、埋め込まれた重要構造、及び手術デバイスに関する様々な情報は、スペクトル波長及び構造化光アレイを検出するように構成されている画像センサと組み合わせて、１つ以上の飛行時間距離センサ、スペクトル撮像、及び／又は構造光アレイを組み込むアプローチを利用することによって、決定することができる。更に、画像センサは、可視光を受信することによって、手術部位の画像を撮像システムに提供するように構成することができる。論理又はアルゴリズムは、飛行時間センサ、スペクトル波長、構造化光、及び可視光から受信された情報を識別し、表面組織及び下にある解剖学的構造の三次元画像をレンダリングするために採用される。様々な例では、撮像デバイス１２０は、複数の画像センサを含むことができる。
カメラ－重要構造間距離ｄｗはまた、１つ以上の代替法で検出することができる。一態様では、例えば、蛍光インドシアニングリーン（ＩＣＧ）などの蛍光透視可視化技術を利用して、図６～図８に示されるような重要構造２０１を照明することができる。カメラ２２０は、重要構造２０１の左側画像及び右側画像を同時に撮影する２つの光波形センサ２２２、２２４を含むことができる（図７Ａ及び７Ｂ）。そのような例では、カメラ２２０は、組織２０３の表面２０５の下方の重要構造２０１の発光を描写することができ、距離ｄｗは、センサ２２２と２２４との間の既知の距離によって決定することができる。特定の例では、距離は、２つ以上のカメラを利用することによって、又は複数の位置間でカメラを移動させることによって、より正確に決定することができる。特定の態様では、１つのカメラは第１ロボットアームによって、第２カメラは別のロボットアームによって制御することができる。このようなロボットシステムでは、１つのカメラは、例えば従動アーム上の従動カメラであり得る。従動アーム及びその上のカメラは、例えば、他のカメラを追跡し、特定の距離及び／又はレンズ角度を維持するようにプログラムすることができる。
更に他の態様では、手術可視化システム１００は、２つの別個の波形受信器（すなわち、カメラ／画像センサ）を採用して、ｄｗを決定してもよい。ここで図９を参照すると、重要構造３０１又はその内容物（例えば、血管又は血管の内容物）が蛍光透視法などによって信号３０２を発し得る場合、実際の位置は、既知の位置で２つの別個のカメラ３２０ａ、３２０ｂから三角測量することができる。
ここで図１０Ａ及び図１０Ｂを参照すると、別の態様では、手術可視化システムは、ディザリング又は移動するカメラ４４０を採用、距離ｄｗを決定してもよい。カメラ４４０は、カメラ４４０の異なる位置における三次元座標が既知であるように、ロボット制御される。様々な例では、カメラ４４０は、カニューレ又は患者インターフェイスで枢動することができる。例えば、重要構造４０１又はその内容物（例えば、血管又は容器の内容物）が、例えば、蛍光透視法などによって信号を発し得る場合、実際の位置は、２つ以上の既知の位置の間で急速に移動されるカメラ４４０から三角測量することができる。図１０Ａでは、カメラ４４０は、軸Ａに沿って軸方向に移動される。より具体的には、カメラ４４０は、ロボットアームで出入りすることなどにより、軸Ａに沿って重要構造４０１により近い距離ｄ１を、位置４４０’として示される位置まで並進する。カメラ４４０が距離ｄ１を移動し、重要構造４０１に対してビューのサイズが変化すると、重要構造４０１までの距離を算出することができる。例えば、４．２８ｍｍの軸方向並進（距離ｄ１）は、６．２８度の角度θ１、及び８．１９度の角度θ２に対応し得る。追加的に、又は、代替的に、カメラ４４０は、異なる位置の間の弧に沿って回転又は掃引することができる。ここで図１０Ｂを参照すると、カメラ４４０は軸Ａに沿って軸方向に移動し、軸Ａを中心としてθ３回転する。カメラ４４０が回転するための枢支点４４２は、カニューレ／患者インターフェイスに配置される。図１０Ｂでは、カメラ４４０は並進し、位置４４０’’まで回転する。カメラ４４０が移動し、重要構造４０１に対してビューの縁部が変化すると、重要構造４０１までの距離を算出することができる。図１０Ｂにおいて、距離ｄ２は、例えば、９．０１ｍｍとすることができ、角度θ３は、例えば、０．９度とすることができる。
図５は、多くの観点で手術可視化システム１００と類似している、手術可視化システム５００を示す。様々な例では、手術可視化システム５００は、手術可視化システム１００の更なる例証であり得る。手術可視化システム１００と同様に、手術可視化システム５００は、手術デバイス５０２及び撮像デバイス５２０を含む。撮像デバイス５２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されているスペクトル光エミッタ５２３を含む。撮像デバイス５２０はまた、様々な例では、三次元カメラ及び関連する電子処理回路を含むことができる。尿管５０１ａ、及び表面上には見えない臓器５０３（この例では、子宮）内の血管５０１ｂなどの特定の重要構造を特定し、それらの回避を容易にするために手術中に利用されている、手術可視化システム５００が図示されている。
手術可視化システム５００は、構造化光によって、手術デバイス５０２上のエミッタ５０６から子宮５０３の表面５０５までのエミッタ－組織間距離ｄｅを決定するように構成されている。手術可視化システム５００は、エミッタ－組織間距離ｄｅに基づいて、手術デバイス５０２から子宮５０３の表面５０５までのデバイス－組織間距離ｄｔを外挿するように構成されている。また、手術可視化システム５００は、尿管５０１ａから表面５０５までの組織－尿管間距離ｄＡ、及び撮像デバイス５２０から尿管５０１ａまでのカメラ－尿管間距離ｄｗを決定するように構成されている。図１に関して本明細書で説明するように、例えば、手術可視化システム５００は、例えば、スペクトル撮像及び飛行時間センサによって、距離ｄｗを決定することができる。様々な例では、手術可視化システム５００は、本明細書に記載される他の距離、及び／又は表面マッピングロジックに基づいて、組織－尿管間距離ｄＡ（つまり、深さ）を決定（例えば、三角測量）することができる。
ここで図１１を参照すると、例えば、手術可視化システム１００などの手術可視化システム用の制御システム６００の概略図が示されている。制御システム６００とは、特に、例えば脂肪、結合組織、血液、及び／又は他の臓器などの他の組織によって重要構造が遮蔽されている場合、スペクトルシグネチャによる組織特定及び構造化光による組織位置決めを統合して、これらの構造を特定する変換システムである。このような技術はまた、臓器内の健康な組織から腫瘍及び／又は病的組織を差別化するなどの、組織の変異を検出するのに有用であり得る。
制御システム６００は、ハイパースペクトル撮像可視化システムを実装するように構成されており、このシステムでは、分子応答を利用して、手術視野内の解剖学的構造を検出及び特定する。制御システム６００は、組織データを外科医が使用可能な情報へと変換するための変換論理回路６４８を含む。例えば、遮蔽している材料に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を特定することができる。更に、制御システム６００は、特定されたスペクトルシグネチャと構造光データとを画像内で組み合わせる。例えば、制御システム６００を採用して、拡張画像オーバーレイを用いたシステムにおける手術用途のための三次元データセットを作成することができる。技術は、追加の視覚的情報を採用して、手術中及び手術前の両方で採用することができる。様々な例では、制御システム６００は、１つ以上の重要構造の近接時に、臨床医に警告を提供するように構成されている。外科手術及び重要構造（単数又は複数）への近接度に基づくロボット自動化アプローチ及び半自動化アプローチを誘導するために、様々なアルゴリズムを採用することができる。
投影された光アレイを採用して、組織の形状及び運動を手術中に決定する。あるいは、フラッシュライダーを、組織の表面マッピングに利用してもよい。
制御システム６００は、重要構造（単数又は複数）を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／埋もれた重要構造（単数又は複数）までの距離を測定するように構成されている。他の例では、制御システム６００は、可視組織の表面までの距離を測定し、又は重要構造（単数又は複数）を検出し、重要構造の画像オーバーレイを提供することができる。
制御システム６００はスペクトル制御回路６０２を備える。スペクトル制御回路６０２は、例えば、図２Ａ～図２Ｃに関連して本明細書で記載されるような、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は別の好適な回路構成であり得る。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッタ時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオ入力端子を受容する。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、ビデオ出力信号を、例えば、インターフェイス制御（メタデータ）データのハイパースペクトルビデオ出力端子を含むビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供する。
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に連結される。前述したように、カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信する。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができ、又は、例えば、図２に関連して本明細書で論じられる画像センサ技術のうちのいずれかを含むことができる。一態様では、カメラ６１２は、１４ビット／ピクセル信号で画像を出力する。本開示の範囲から逸脱することなく、より高い、又はより低いピクセル分解能を採用できることも理解されよう。分離カメラ出力信号６１３は、ハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を採用してカメラ出力信号６１３を処理する、カラーＲＧＢ融合回路６１６に提供される。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御する。レーザ光エンジン６２４は、近赤外線（ＮＩＲ）を含む複数の波長（λ１、λ２、λ３．．．λｎ）において光を出力する。レーザ光エンジン６２４は、複数のモードで動作することができる。一態様では、レーザ光エンジン６２４は、例えば、２つのモードで動作することができる。第１モード、例えば、標準動作モードでは、レーザ光エンジン６２４は照明信号を出力する。第２モード、例えば、特定モードでは、レーザ光エンジン６２４はＲＧＢＧ光及びＮＩＲ光を出力する。様々な例では、レーザ光エンジン６２４は、偏光モードで動作することができる。
レーザ光エンジン６２４からの光出力６２６は、手術中の手術部位６２７内の標的とされる解剖学的構造を照明する。レーザパルス制御回路６２２はまた、手術部位６２７における手術組織、又は臓器上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するレーザパターンプロジェクタ６３０用のレーザパルスコントローラ６２８を制御する。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信する。画像センサ６３４は、受信した光をデジタル信号に変換する。
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とされる解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力する。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７において可視組織までの距離を表す第１ビデオ出力信号６４０を出力する。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位における標的とされる解剖学的構造の組織又は臓器の三次元レンダリングされた形状を表す第２ビデオ信号６４２を出力する。
第１ビデオ出力信号６４０及び第２ビデオ出力信号６４２は、集積モジュール６４３に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、埋もれた重要構造までの距離ｄＡ（図１）を（例えば、三角測量アルゴリズム６４４によって）決定することができ、距離ｄＡは、ビデオ出力プロセッサ６４６を介して、画像オーバーレイコントローラ６１０に提供することができる。前述の変換ロジックは、変換論理回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に配置されたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
ＣＴ又はＭＲＩスキャンによる術前データ６５０を採用して、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には、画像オーバーレイコントローラ６１０に提供することができるので、このような情報はカメラ６１２のビューと重ね合わせられ、ビデオモニタ６５２に提供することができる。術前データの位置合わせは、本明細書及び、例えば、２０１８年９月１１日に出願された「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題された米国特許出願第１６／１２８，１９５号を含む前述の米国特許出願に更に記載されており、これらそれぞれの全体を、参照により本明細書で援用する。
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張ビューを出力することができる。臨床医は、１つ以上のモニタ上の異なるビューを選択し、及び／又は切り替えることができる。第１モニタ６５２ａ上で、臨床医は、（Ａ）可視組織の三次元レンダリングが示されているビューと、（Ｂ）１つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描かれている拡張ビューとを切り替えることができる。第２モニタ６５２ｂでは、臨床医は、例えば、１つ以上の隠れた重要構造、及び／又は可視組織の表面までの距離測定値を切り替えることができる。
制御システム６００、及び／又はその様々な制御回路は、本明細書に開示される様々な手術可視化システムに組み込むことができる。
図１２は、本開示の少なくとも１つの態様に係る、構造化（又は、パターン化）光システム７００を示す。本明細書に記載されるように、例えば、縞又は線の形をとる構造化光は、光源及び／又はプロジェクタ７０６から標的とされる解剖学的構造の表面７０５上に投影されて、表面７０５の形状及び輪郭を特定することができる。例えば、撮像デバイス１２０（図１）と様々な点で類似し得るカメラ７２０は、表面７０５上の投影された光パターンを検出するように構成することができる。投影されたパターンが表面７０５に衝突する際に変形すると、視覚システムが標的とされる解剖学的構造の深さ及び表面情報を算出することが可能になる。
特定の例では、見えない（つまり、検知不能な）構造化光を利用することができ、構造化光は、投影されたパターンが混乱し得る他のコンピュータビジョンタスクと干することなく利用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。構造化光については、ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｔｒｕｃｔｕｒｅｄ＿ｌｉｇｈｔで更に説明されている。
上記のように、本明細書に記載される様々な手術可視化システムを利用して、スペクトルの可視部分においてＥＭＲにより可視化されるのが妨げられる得る組織、及び／又は解剖学的構造を含む、様々な異なる種類の組織、及び／又は解剖学的構造を可視化することができる。一態様では、手術可視化システムは、スペクトル撮像システムを利用して、構成材料の様々な組み合わせに基づいて、様々な種類の組織を可視化することができる。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化されている組織内の様々な構成材料の存在を検出するように構成することができる。スペクトル撮像システムは、構成材料の特定の組み合わせに基づいて、可視化されている組織の組織種類を特性評価するように更に構成することができる。例示として、図１３Ａは、様々な生体材料の吸収係数がＥＭＲ波長スペクトルにわたり、どのように変動するかを示すグラフ２３００である。グラフ２３００において、垂直軸２３０３は、生体材料の吸収係数（例えば、ｃｍ－１単位）を表し、水平軸２３０４は、ＥＭＲ波長（例えば、μｍ単位）を表す。このグラフ２３００は更に、様々なＥＭＲ波長での水の吸収係数を表す第１線２３１０と、様々なＥＭＲ波長におけるタンパク質の吸収係数を表す第２線２３１２と、様々なＥＭＲ波長におけるメラニンの吸収係数を表す第３線２３１４と、様々なＥＭＲ波長における脱酸素化ヘモグロビンの吸収係数を表す第４線２３１６と、様々なＥＭＲ波長における酸素化ヘモグロビンの吸収係数を表す第５線２３１８と、様々なＥＭＲ波長におけるコラーゲンの吸収係数を表す第６線２３１９を示している。組織種類が異なると、構成材料の組み合わせも異なるので、手術可視化システムによって可視化されている組織種類（単数又は複数）は、検出された構成材料の特定の組み合わせに従って、特定し、差別化することが可能である。したがって、スペクトル撮像システムは、多くの異なる波長でＥＭＲを放射し、異なる波長で検出された吸収ＥＭＲ吸収応答に基づいて組織の構成材料を決定し、その後、構成材料の特定の検出された組み合わせに基づいて、組織種類を特性評価するように構成することができる。
様々な組織種類、及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の例示が、図１３Ｂで示されている。図１３Ｂでは、スペクトルエミッタ２３２０（例えば、スペクトル光源１５０）は、手術部位２３２５を可視化するために撮像システムによって利用される。スペクトルエミッタ２３２０によって放射され、手術部位２３２５の組織及び／又は構造から反射されたＥＭＲは、画像センサ１３５（図２）によって受信され、組織及び／又は構造を可視化することができ、この可視化は、可視であるか（例えば、手術部位２３２５の表面に位置している）、又は遮蔽されている（例えば、手術部位２３２５で他の組織及び／又は構造の下にある）かのいずれかであり得る。この例では、撮像システム１４２（図２）は、様々な組織／構造種類の各々について、構成材料の異なる吸収特性（例えば、吸収係数）によって特性評価されるスペクトルシグネチャに基づいて、腫瘍２３３２、動脈２３３４、及び様々な異常２３３８（すなわち、既知の、又は予想されるスペクトルシグネチャに対して確認できない組織）を可視化することが可能である。可視化された組織及び構造は、撮像システムディスプレイ１４６（図２）、一次ディスプレイ２１１９（図１８）、非滅菌ディスプレイ２１０９（図１８）、ハブディスプレイ２２１５（図１９）、デバイス／器具ディスプレイ２２３７（図１９）など、撮像システム１４２に関連付けられた又は連結されたディスプレイスクリーン上に表示することが可能である。
更に、撮像システム１４２は、特定された組織及び／又は構造種類に従って、表示された手術部位の可視化を調整、あるいは更新するように構成することができる。例えば、撮像システム１４２は、ディスプレイスクリーン（例えば、ディスプレイ１４６）上で可視化されている腫瘍２３３２に関連付けられたマージン２３３０ａを表示することができる。マージン２３３０ａは、腫瘍２３３２を確実に完全に除去するように切除されるべき組織の面積又は量を示すことができる。制御システム１３３（図２）は、撮像システム１４２によって特定された組織及び／又は構造に基づいて、マージン２３３０ａの寸法を制御あるいは更新するように構成することができる。図示の例では、撮像システム１４２は、ＦＯＶ内の複数の異常２３３８を特定している。したがって、制御システム１３３は、この異常２３３８を包含するのに十分な寸法を有する第１更新済みマージン２３３０ｂに合わせて、表示されたマージン２３３０ａを調節することができる。また、撮像システム１４２は、最初に表示されたマージン２３３０ａ（動脈２３３４の強調表示された領域２３３６で示す）と部分的に重なっている動脈２３３４を特定している。したがって、制御システム１３３は、この動脈２３３４の関連部分を包含するのに十分な寸法を有する第２更新済みマージン２３３０ｃに合わせて、表示されたマージン２３３０ａを調節することができる。
また、組織及び／又は構造は、図１３Ａ及び図１３Ｂに関して上述した吸収特性に加え、又はそれに代えて、ＥＭＲ波長スペクトルにわたるこれら組織や構造の反射特性に従って、撮像又は特性評価することができる。例えば、図１３Ｃ～図１３Ｅは、様々なＥＭＲ波長にわたる異なる種類の組織又は構造の反射率の様々なグラフを示す。図１３Ｃは、尿管シグネチャ対遮蔽物の例示的なのグラフ表示１０５０である。図１３Ｄは、例示的な動脈シグネチャ対遮蔽物のグラフ表示１０５２である。図１３Ｅは、例示的な神経シグネチャ対遮蔽物のグラフ表示１０５４である。図１３Ｃ～図１３Ｅのプロットは、対応する波長における脂肪、肺組織、及び血液の対応する反射率に対する、特定の構造（尿管、動脈、及び神経）の波長（ｎｍ単位）の関数としての反射率を表している。これらのグラフは例示目的に過ぎず、他の組織及び／又は構造では、組織、及び／又は構造を特定及び可視化を可能にする対応する検出可能な反射率シグネチャを含み得ることを理解されたい。
様々な例では、スペクトル撮像のための選択波長は、手術部位において予測される重要構造及び／又は遮蔽物に基づいて特定し、利用することができる（すなわち、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイム又はほとんどリアルタイムで取得し、術中に利用することができるように、最小化することができる。様々な例では、臨床医によって、又は臨床医による入力に基づいて制御回路によって波長を選択することができる。特定の例では、波長を、例えば、クラウドを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
前述の組織へのスペクトル撮像の適用例は、波形エミッタと組織によって遮蔽された重要構造との間の距離を測定するために、手術中に利用することができる。本開示の一態様において、次に図１４及び図１５を参照すると、波形１１２４、１１２５を利用する飛行時間センサシステム１１０４が示されている。飛行時間センサシステム１１０４は、特定の例では、手術可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１１０４は、波形エミッタ１１０６と、同じ手術デバイス１１０２上の波形受信器１１０８とを含む。放射された波１１２４は、エミッタ１１０６から重要構造１１０１まで延在し、受信された波１１２５は、重要構造１１０１から受信器１１０８から反射される。手術デバイス１１０２は、患者の腔１１０７内へと延在するトロカール１１１０を通って配置される。
波形１１２４、１１２５は、遮蔽している組織１１０３を透過するように構成される。例えば、波形１１２４、１１２５の波長は、ＮＩＲスペクトル又はＳＷＩＲスペクトルの波長であり得る。一態様では、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１１０６から放射することができ、重要構造１１０１を隠している組織１１０３を透過することができる。放射された波形１１２４は、重要構造１１０１によって反射され得る。受信された波形１１２５は、手術デバイス１１０２の遠位端と重要構造１１０１との間の距離ｄに起因して遅延することがある。様々な例では、波形１１２４、１１２５は、本明細書で更に説明されるように、重要構造１１０１のスペクトルシグネチャに基づいて、組織１１０３内の重要構造１１０１を標的とするように選択することができる。様々な例では、エミッタ１１０６は、例えば、図１５に示されるように、オンとオフを表す二値信号を供給するように構成されており、受信器１１０８によって測定することができる。
放射された波１１２４と受信された波１１２５との間の遅延に基づいて、飛行時間センサシステム１１０４は、距離ｄを決定するように構成される（図１４）。図１４のエミッタ１１０６及び受信器１１０８の飛行時間タイミング図１１３０を図１５で示す。遅延は、距離ｄの距離の関数であり、距離ｄは、次のように与えられる：
Figure 2023508569000002
 式中、
ｃ＝光速度であり、
ｔ＝パルスの長さであり、
ｑ１＝光が放射される間に蓄積された電荷であり、
ｑ２＝光が放射されていない間に蓄積された電荷である。
本明細書で提供されるように、波形１１２４、１１２５の飛行時間は、図１４の距離ｄに対応する。様々な例では、追加のエミッタ／受信器及び／又はエミッタ１１０６からのパルス信号は、非透過信号を発するように構成することができる。非透過組織は、エミッタから遮蔽している組織１１０３の表面１１０５までの距離を決定するように構成することができる。様々な例では、重要構造１１０１の深さは、以下の式によって決定することができる。
ｄＡ＝ｄｗ－ｄｔ。
式中、
ｄＡ＝重要構造１１０１の深さであり、
ｄｗ＝エミッタ１１０６から重要構造１１０１までの距離（図１４のｄ）であり、かつ、
ｄｔ＝エミッタ１１０６（手術デバイス１１０２の遠位端上）から遮蔽しているｒ組織１１０３の表面１１０５までの距離である。
本開示の一態様では、次に図１６を参照すると、波１２２４ａ、１２２４ｂ、１２２４ｃ、１２２５ａ、１２２５ｂ、１２２５ｃを利用する飛行時間センサシステム１２０４が示されている。飛行時間センサシステム１２０４は、特定の例では、手術可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１２０４は、波形エミッタ１２０６と波形受信器１２０８とを含む。波形エミッタ１２０６は、第１手術デバイス１２０２ａ上に配置され、波形受信器１２０８は第２手術デバイス１２０２ｂ上に配置される。手術デバイス１２０２ａ、１２０２ｂは、患者の腔１２０７内でそれぞれ延在するトロカール１２１０ａ、１２１０ｂを通って配置される。放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、エミッタ１２０６から手術部位に向かって延在し、受信された波１２２５ａ、１２２５ｂ、１２２５ｃは、手術部位における様々な構造、及び／又は表面から受信器１２０８から反射される。
異なる放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、手術部位において異なる種類の材料を標的にするように構成されている。例えば、波１２２４ａは遮蔽している組織１２０３を標的とし、波１２２４ｂは第１重要構造１２０１ａ（例えば、血管）を標的とし、波１２２４ｃは第２重要構造１２０１ｂ（例えば、癌性腫瘍）を標的とする。波１２２４ａ、１２２４ｂ、１２２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長であってよい。例えば、可視光は、組織１２０３の表面１２０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織１２０３の表面１２０５を透過するように構成することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１２０６から放射することができる。様々な例では、波１２２４ｂ、１２２４ｃは、本明細書で更に説明されるように、重要構造１２０１ａ、１２０１ｂのスペクトルシグネチャに基づいて、組織１２０３内の重要構造１２０１ａ、１２０１ｂを標的とするように選択することができる。光音響撮像は、様々な米国特許出願に更に記載されており、それらの各全体が参照により本開示に組み込まれる。
放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、標的とされる材料（すなわち、それぞれ表面１２０５、第１重要構造１２０１ａ、及び第２構造１２０１ｂ）から反射され得る。受信された波形１２２５ａ、１２２５ｂ、１２２５ｃは、図１６で示した距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃに起因して遅延することがある。
エミッタ１２０６及び受信器１２０８を個別に位置決め可能である（例えば、別個の手術デバイス１２０２ａ、１２０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間センサシステム１２０４において、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃは、エミッタ１２０６及び受信器１２０８の既知の位置から算出することができる。例えば、手術デバイス１２０２ａ、１２０２ｂがロボット制御されている際、位置は既知であり得る。エミッタ１２０６と受信器１２０８の位置、並びに、特定組織を標的とする光子ストリームの時間、及び、受信器１２０８によって受信されたその特定の応答の情報に関する知識により、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃを決定できる。一態様では、遮蔽された重要構造１２０１ａ、１２０１ｂまでの距離は、透過波長を使用して三角測量することができる。光の速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間センサシステム１２０４は、様々な距離を決定することができる。
更に図１６を参照すると、様々な例において、臨床医に提供されたビューでは、結果として生じる画像内の標的構造の質量中心が一定のままとなるように、すなわち、選択標的構造１２０３、１２０１ａ、又は１２０１ｂの軸に垂直な平面内で、受信器１２０８を回転させることができる。そのような向きは、重要構造に対して、１つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１６に示されるように、重要構造１２０１ａがビュー平面に垂直である（つまり、血管がページの内外に向いている）視点から、手術部位が表示される。様々な例では、そのような向きは、デフォルト設定であり得る。しかしながら、ビューは、臨床医によって回転、あるいは、調節できる。特定の例では、臨床医は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
様々な例では、受信器１２０８は、これを通じて手術デバイス１２０２ｂが配置される、例えば、トロカール１２１０ｂなどのトロカール又はカニューレ上に装着することができる。他の例では、受信器１２０８は、三次元位置が既知である別個のロボットアームに装着することができる。様々な例では、受信器１２０８は、手術デバイス１２０２ａを制御するロボットとは別個の可動アーム上に取り付けることができ、又は手術中ロボット座標平面に位置合わせ可能な手術室（ＯＲ）台に装着することができる。そのような例では、エミッタ１２０６及び受信器１２０８の位置は、飛行時間センサシステム１２０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
飛行時間センサシステムとナノ秒の分解能を有するＮＩＲ光の時間分解プロファイルを測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる近赤外分光法（ＮＩＲＳ）との組み合わせは、その全体が参照により本明細書に組み込まれる、「ＴＩＭＥ－ＯＦ－ＦＬＩＧＨＴ ＮＥＡＲ－ＩＮＦＲＡＲＥＤ ＳＰＥＣＴＲＯＳＣＯＰＹ ＦＯＲ ＮＯＮＤＥＳＴＲＵＣＴＩＶＥ ＭＥＡＳＵＲＥＭＥＮＴ ＯＦ ＩＮＴＥＲＮＡＬ ＱＵＡＬＩＴＹ ＩＮ ＧＲＡＰＥＦＲＵＩＴ」と題するＪｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５～２２８の文献で見出すことができ、ｊｏｕｒｎａｌ．ａｓｈｓｐｕｂｌｉｃａｔｉｏｎｓ．ｏｒｇ／ｃｏｎｔｅｎｔ／１３８／３／２２５．ｆｕｌｌから閲覧できる。
様々な例では、飛行時間スペクトル波形は、重要構造の深さ及び／又は手術デバイスの重要構造への近接度を決定するように構成されている。更に、本明細書に開示される様々な手術可視化システムは、可視組織の表面に三次元レンダリングを作り出すように構成されている表面マッピングロジックを含む。そのような例では、可視組織により重要構造が遮断されても、臨床医は、重要構造への手術デバイスの近接度（又は、近接していないこと）を認識することができる。一例では、手術部位のトポグラフィは、表面マッピングロジックによってモニタ上に提供される。重要構造が組織の表面に近い場合、スペクトル撮像は、臨床医に重要構造の位置を伝達することができる。例えば、スペクトル撮像は、表面の５ｍｍ又は１０ｍｍ以内の構造を検出することができる。他の例では、スペクトル撮像は、組織の表面の１０又は２０ｍｍ下方の構造を検出することができる。スペクトル撮像システムの既知の限界に基づいて、システムは、スペクトル撮像システムによって単純には検出されない場合、重要構造が範囲外であることを伝達するように構成される。したがって、臨床医は、手術デバイスを動かし続けること、及び／又は組織を操作し続けることができる。重要構造がスペクトル撮像システムの範囲内に移動すると、システムは構造を特定することができ、したがって、構造が範囲内にあることを通信することができる。そのような例では、構造が最初に特定され、かつ／又は既定の近接度の区域内に更に移動されたときに、アラートを提供することができる。そのような例では、既知の境界／範囲を有するスペクトル撮像システムによって重要構造が特定されない場合であっても、臨床医に近接度の情報（すなわち、近接していないこと）を提供することができる。
本明細書に開示される様々な手術可視化システムは、手術中に、重要構造（単数又は複数）の存在及び／又は近接度を特定し、不注意による切開及び／又は横切開によって重要構造（単数又は複数）を損傷する前に臨床医に警告するように構成することができる。様々な態様では、手術可視化システムは、以下の重要構造、例えば、尿管、腸、直腸、神経（横隔神経、反回神経［ＲＬＮ］、突起顔面神経、迷走神経、及びそれらの分枝部を含む）、血管（肺及び肺葉の動脈及び静脈、下腸間膜動脈［ＩＭＡ］及びそれらの分枝部、上直腸動脈、Ｓ字結腸動脈、及び左結腸動脈を含む）、上腸間膜動脈（ＳＭＡ）及びそれらの分枝部（中結腸動脈、右結腸動脈、回腸結腸動脈を含む）、肝動脈及びそれらの分枝部、門脈及びそれらの分枝部、脾臓動脈／静脈及びそれらの分枝部、外腸骨血管及び内腸骨血管（下腹部）、短胃動脈、子宮動脈、正中仙骨血管、並びにリンパ節のうちの１つ以上を特定するように構成されている。更に、手術可視化システムは、手術デバイス（単数又は複数）の重要構造（単数又は複数）への近接度を示し、及び／又は、手術デバイス（単数又は複数）が重要構造に接近すると臨床医に警告するように構成されている。
本開示の様々な態様は、手術中の重要構造の特定（例えば、尿管、神経、及び／又は血管の特定）及び器具接近モニタリングを提供する。例えば、本明細書に開示される様々な手術可視化システムは、例えば、組織の表面の１．０～１．５ｃｍ下方などの組織の表面の下方の重要構造の可視化を可能にする、スペクトル撮像、及び手術器具追跡を含むことができる。他の例では、手術可視化システムは、組織の表面の１．０ｃｍ未満又は１．５ｃｍ超下方の構造を特定することができる。例えば、表面の０．２ｍｍ以内の構造しか特定できない手術可視化システムであっても、例えば、深さに起因して本来は見えない場合において、有益となり得る。様々な態様では、手術可視化システムは、例えば、可視組織の表面上の可視白色光画像オーバーレイとして重要構造を仮想表示することによって、臨床医のビューを拡張することができる。手術可視化システムは、手術器具の遠位先端部のリアルタイムな三次元空間追跡を提供することができ、手術器具の遠位先端が重要構造の特定の範囲内、例えば、重要構造の１．０ｃｍ以内などに移動すると、接近アラートを提供することができる。
本明細書に開示される様々な手術可視化システムは、重要構造に対して切開が近すぎることを特定することができる。温度（すなわち、重要構造を損傷／加熱／融解させるリスクがあり得る重要構造の付近で高温すぎること）、及び／又は、張力（すなわち、重要構造を損傷させる／裂傷させる／引くリスクがあり得る重要構造の付近で張力が非常に高すぎること）に基づいて、切開が重要構造に「近すぎる」となり得る。このような手術可視化システムは、例えば、結紮の前に血管周囲組織を剥離する（skeletonizing）際に、血管周囲の切開を容易にすることができる。様々な例では、赤外線カメラを利用して、手術部位の熱を読み取り、検出された熱及び器具から構造までの距離に基づいて警告を臨床医に提供することができる。例えば、器具の温度が既定閾値（例えば１２０°Ｆなど）を超える場合、アラートを、第１距離（例えば、１０ｍｍなど）で臨床医に提供することができ、器具温度が既定閾値以下である場合、アラートを、第２距離（例えば５ｍｍなど）で臨床医に提供することができる。既定の閾値及び／又は警告距離は、デフォルト設定及び／又は臨床医によってプログラム可能であり得る。追加的に、又は、代替的に、接近アラートは、例えば、単極又は双極の切開器具、あるいは血管シーラの遠位ジョー内の熱を測定する熱電対などの、器具自体で行われる熱測定にリンクされ得る。
本明細書に開示される様々な手術可視化システムは、臨床医が、注意基準及び／又はデバイス安全データに基づいて、確信をもって迅速ではあるが安全な切開を進めることを可能にするために、重要構造に対する十分な感度と特異性を提供することができる。このシステムは、患者又は臨床医に対して最小限の電離放射線リスクで外科手術中の手術中にリアルタイムで機能することができ、様々な例では、患者又は臨床医に対する電離放射線リスクはない。逆に、蛍光透視処置において、患者及び臨床医（単数又は複数）は、例えば、解剖学的構造をリアルタイムで見るために利用されるＸ線ビームを介して電離放射線に曝露され得る。
本明細書に開示される様々な手術可視化システムは、例えば、手術デバイスの経路がロボット制御されるときなど、手術デバイスの前方経路内の１つ以上の所望の種類の重要構造を検出、及び特定するように構成することができる。追加的に、又は、代替的に、手術可視化システムは、例えば、手術デバイスの周囲領域及び／又は複数の平面／次元において、１つ以上の種類の重要構造を検出及び特定するように構成することができる。
本明細書に開示される様々な手術可視化システムは、容易に動作及び／又は解釈することができる。更に、様々な手術可視化システムは、臨床医がデフォルト設定及び／又は動作を上書きすること可能にする「オーバーライド」機能を組み込むことができる。例えば、臨床医は、手術可視化システムからのアラートを選択的にオフすることができ、かつ／又は、重要構造に対するリスクが、その領域を回避するリスクより低い場合（例えば、重要構造の周囲で癌を除去するとき、癌性組織を残すリスクは、重要構造の損傷のリスクよりも大きく成り得る場合）など、手術可視化システムによって示唆されるよりも重要構造に近づけることができる。
本明細書に開示される様々な手術可視化システムは、手術システムに組み込むことができ、及び／又は、ワークフローに対する限定された影響を有する外科手術中に使用することができる。言い換えると、手術可視化システムの実装形態は、外科手術が実装される方法を変更しなくてよい。更に、手術可視化システムは、不注意による横切開によるコストと比較して経済的であり得る。データは、重要構造への不注意による損傷の低減を示しており、償還額の増加を促進することができる。
本明細書に開示される様々な手術可視化システムは、臨床医が重要構造（単数又は複数）を予測することを可能にするために、リアルタイム、又はほとんどリアルタイムで、及び十分事前に動作することができる。例えば、手術可視化システムは、外科手術の効率を最大化するために、「減速、評価、及び回避」のため十分な時間を提供することができる。
本明細書に開示される様々な手術可視化システムは、組織に注入される造影剤又は染料を必要としなくてよい。例えば、スペクトル撮像は、造影剤又は染料を使用することなく、手術中に隠れた構造を可視化するように構成される。他の例では、造影剤は、他の可視化システムよりも組織の適切な層（単数又は複数）に注入するのが容易であり得る。造影剤の注入と重要構造の可視化との間の時間は、例えば、２時間未満であり得る。
本明細書に開示される様々な手術可視化システムは、臨床データ及び／又は装置データとリンクされ得る。例えば、データは、外科医が損傷させたくない組織から、エネルギーを供給された手術デバイス（又は損傷させる可能性がある他のデバイス）をどのくらい近くにあるかについての境界を提供することができる。本明細書に開示される手術可視化システムとインターフェイスする任意のデータモジュールは、例えば、開腹処置又は腹腔鏡処置におけるスタンドアロンの手術デバイスとの使用を可能にするために、ロボットと一体的に又は別個に提供することができる。手術可視化システムは、様々な例では、ロボット手術システムと互換性があり得る。例えば、可視化画像／情報は、ロボットコンソール内に表示することができる。
様々な例では、臨床医は、手術具に対する重要構造の位置が分からないことがある。例えば、重要構造が組織に埋め込まれている場合、臨床医は、重要構造の位置の確認が不可能な場合がある。特定の例では、臨床医は、重要構造を取り囲む位置の範囲外に、及び／又は隠れた重要構造を覆う可視組織から離して、手術デバイスを維持することを望む場合がある。隠された重要構造の位置が不明である場合、臨床医は、重要構造に過度に接近させるリスクがあり、その結果、重要構造の不注意による外傷及び／若しくは切開が生じ、並びに／又は、重要構造付近での過度のエネルギー、熱、及び／若しくは張力をかける恐れがある。あるいは、臨床医は、重要構造の疑わしい位置から遠く離れすぎたまま留まっていることがあり、重要構造を回避しようと努力して、あまり望ましくない位置の組織に影響を及ぼすリスクもあり得る。
１つ以上の重要構造に対する手術デバイスの追跡を提示する、手術可視化システムが提供される。例えば、手術可視化システムは、重要構造に対する手術デバイスの近接度を追跡することができる。このような追跡は、手術中、リアルタイムで、及び／又はほとんどリアルタイムで行われ得る。様々な例では、追跡データは、撮像システムのディスプレイスクリーン（例えばモニタ）を介して臨床医に提供することができる。
本開示の一態様では、手術可視化システムは、構造化光パターンを可視表面上に放射するように構成されているエミッタを備える手術デバイスと、埋め込まれた構造及び可視表面上の構造化光パターンを検出するように構成されているカメラを備える、撮像システムと、カメラ及び撮像システムと信号通信する制御回路と、を備え、制御回路は、手術デバイスから埋め込まれた構造までの距離を決定し、その距離を示す信号を撮像システムに提供するように構成されている。例えば、距離は、蛍光透視法によって光る重要構造までのカメラからの距離を計算することによって、カメラの複数のレンズ（例えば、左側レンズ及び右側レンズ）からの画像によって提供される照明された構造の三次元ビューに基づいて決定することができる。手術デバイスから重要構造までの距離は、例えば、手術デバイス及びカメラの既知の位置に基づいて三角測量することができる。埋め込まれた重要構造までの距離を決定するための代替的な手段が、本明細書で更に説明される。例えば、ＮＩＲ飛行時間距離センサを採用することができる。追加的に、又は、代替的に、手術可視化システムは、埋め込まれた重要構造に重なる／覆っている、可視組織までの距離を決定することができる。例えば、手術可視化システムは、隠れた重要構造を特定し、可視組織の表面上の線など、可視構造上に隠れた重要構造の概略を描くことによって、隠れた重要構造のビューを拡張することができる。手術可視化システムは更に、可視組織上の拡張された線までの距離を決定することができる。
本明細書に開示される様々な手術可視化システムによって提供されるように、隠された重要構造及び／又は可視構造までの手術デバイスの近接度に関する最新情報を臨床医に提供することによって、臨床医は、隠された重要構造に対する手術デバイスの配置について、より多くの情報に基づく判断を行うことができる。例えば、臨床医は、手術デバイスと重要構造との間の距離をリアルタイムに／手術中に見ることができ、特定の例にでは、手術デバイスが重要構造の既定の近接度、及び／又は区域内で移動される際、撮像システムによってアラート及び／又は警告を提供することができる。特定の例では、アラート及び／又は警告は、手術デバイスの軌道が、重要構造付近（例えば、重要構造の１ｍｍ、２ｍｍ、５ｍｍ、１０ｍｍ、２０ｍｍ以上以内）において「飛行禁止」区域に衝突する可能性を示すときに提供することができる。そのような例では、重要構造の疑わしい位置、及びこの位置への手術デバイスの近接度に関する臨床医による監視を必要とせずに、臨床医は、外科手術を通して勢いを維持することができる。結果として、より少ない休止／中断、並びに／又は、改善された精度及び／若しくは確実性で、特定の外科手術をより迅速に実行することができる。一態様では、手術可視化システムを利用して、健康な組織から腫瘍／癌組織／病的組織を差別化するために、臓器内の組織の変異など、組織変異を検出することができる。このような手術可視化システムは、健康な組織の除去を最小限に抑えながら、病的組織の除去を最大化することができる。
手術用ハブシステム
本明細書に記載される様々な可視化システム、つまり、撮像システムは、図１７～図１９に関連して例示され、以下で更に詳述されるような手術用ハブシステムへと組み込むことができる。
図１７を参照すると、コンピュータ実装インタラクティブ手術システム２１００は、１つ以上の手術システム２１０２と、クラウドベースのシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）とを含む。各手術システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの手術用ハブ２１０６を含む。一例では、図１７に示すように、手術システム２１０２は、可視化システム２１０８と、ロボットシステム２１１０と、手持ち式インテリジェント手術器具２１１２とを含み、これらは、互いに、及び／又はハブ２１０６と通信するように構成されている。いくつかの態様では、手術システム２１０２は、Ｍ個のハブ２１０６と、Ｎ個の可視化システム２１０８と、Ｏ個のロボットシステム２１１０と、Ｐ個の手持ち式インテリジェント手術器具２１１２とを含んでもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。
図１８は、手術室２１１６内の手術台２１１４上に横たわっている患者に対して外科手術を実行するために使用されている手術システム２１０２の例を示す。ロボットシステム２１１０は、外科手術において手術システム２１０２の一部として使用される。ロボットシステム２１１０は、外科医のコンソール２１１８と、患者側カート２１２０（手術用ロボット）と、手術用ロボットハブ２１２２とを含む。外科医が外科医のコンソール２１１８を通じて手術部位を見る間、患者側カート２１２０は、患者の身体の低侵襲切開部を通じて、少なくとも１つの着脱可能に連結された手術具２１１７を操作することができる。手術部位の画像は医療用撮像デバイス２１２４によって取得され、この医療用撮像デバイスは、撮像デバイス２１２４を配向するように患者側カート２１２０によって操作することができる。ロボットハブ２１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール２１１８を通じて、外科医に表示することができる。
他の種類のロボットシステムを、手術システム２１０２と共に使用するように容易に適合させることができる。本開示と共に使用するために好適なロボットシステム手術具に関する様々な例は、本開示において参照により本明細書に組み込まれる様々な米国特許出願で記載されている。
クラウド２１０４によって実行され、本開示と共に使用するために好適なクラウドベースの分析に関する様々な例は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
様々な態様では、撮像デバイス２１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素とを含む。好適な画像センサとしては、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサが挙げられるが、これらに限定されない。
撮像デバイス２１２４の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含んでもよい。１つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ以上の画像センサは、組織及び／又は手術器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
１つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。
不可視スペクトル（すなわち、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
様々な態様では、撮像デバイス２１２４は、低侵襲性処置において使用するように構成されている。本開示と共に使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
一態様では、撮像デバイスは、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用する。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では取り込むことができない追加情報を抽出することが可能にある。マルチスペクトル撮像の使用については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。
いかなる外科手術においても手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療デバイス装置及び機器の可能な最も高い滅菌性を必要とする。上記の滅菌プロセスの一部としては、撮像デバイス２１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科手術の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。様々な態様では、可視化システム２１０８は、図１８に示すように、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、１つ以上のディスプレイとを含む。一態様では、可視化システム２１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェイスを含む。可視化システム２１０８の様々な構成要素は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
図１８に示すように、一次ディスプレイ２１１９は、手術台２１１４のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー２１１２１が、滅菌野の外に配置される。可視化タワー２１１２１は、互いに反対側を向いている第１非滅菌ディスプレイ２１０７、及び第２非滅菌ディスプレイ２１０９を含む。ハブ２１０６によって誘導される可視化システム２１０８は、ディスプレイ２１０７、２１０９及び２１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ２１０６は、可視化システム２１０８に、一次ディスプレイ２１１９上に手術部位のライブ映像を維持しながら、撮像デバイス２１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ２１０７又は２１０９に表示させることができる。非滅菌ディスプレイ２１０７又は２１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科手術に関連する診断工程を実行することを可能にすることできる。
一態様では、ハブ２１０６は、可視化タワー２１１２１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ２１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成されている。一例では、入力は、ハブ２１０６によって一次ディスプレイ２１１９に送ることができる、非滅菌ディスプレイ２１０７又は２１０９上に表示されるスナップショットへの修正の形態であり得る。
図１８を参照すると、手術器具２１１２は、外科手術において手術システム２１０２の一部として使用されている。ハブ２１０６は、本開示において参照により組み込まれる様々な米国特許出願で記載されているように、手術器具２１１２のディスプレイに合わせて情報フローを調整するようにも構成されている。可視化タワー２１１２１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ２１０６によって滅菌野内の手術器具ディスプレイ２１１５に送ることができ、これを手術器具２１１２のオペレータが見ることができる。手術システム２１０２と共に使用するために好適な例示的な手術器具は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
図１９は、コンピュータ実装インタラクティブ手術システム２２００を示す。コンピュータ実装インタラクティブ手術システム２２００は、多くの点で、コンピュータ実装インタラクティブ手術システム２１００と類似している。各手術システム２２００は、リモートサーバ２２１３を含み得るクラウド２２０４と通信する少なくとも１つの手術用ハブ２２３６を含む。一態様では、コンピュータ実装インタラクティブ手術システム２２００は、例えば、インテリジェント手術器具、ロボット、及び手術室内にある他のコンピュータ化デバイスなどの複数の手術現場デバイスに接続された手術用ハブ２２３６を備える。手術用ハブ２２３６は、手術用ハブ２２３６をクラウド２２０４及び／又はリモートサーバ２２１３に通信可能に連結するための通信インターフェイスを含む。図１９の実施例に示すように、手術用ハブ２２３６は、内視鏡２２３９に連結されている撮像モジュール２２３８、エネルギーデバイス２４２１に連結される発生器モジュール２２４０、煙排出器モジュール２２２６、吸引／灌注モジュール２２２８、通信モジュール２２３０、プロセッサモジュール２２３２、ストレージアレイ２２３４、任意選択でディスプレイ２２３７に連結されているスマートデバイス／器具２２３５、並びに、非接触センサモジュール２２４２に連結される。手術現場デバイスは、手術用ハブ２２３６を介してクラウドコンピューティングリソース、及びデータストレージに連結されている。ロボットハブ２２２２もまた、手術用ハブ２２３６及びクラウドコンピューティングリソースに接続され得る。本明細書に記載されるように、とりわけ、デバイス／器具２２３５、可視化システム２２０９が、有線通信又は無線通信の規格又はプロトコルを介して、手術用ハブ２２３６に連結することができる。手術用ハブ２２３６は、撮像モジュール、デバイス／器具ディスプレイ、及び／又は他の可視化システム２０８から受信された画像を表示、及び重ね合わせるためにハブディスプレイ２２１５（例えば、モニタ、スクリーン）に連結することができる。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及び重ね合わせられた画像と共に表示してもよい。
状況認識
本明細書に記載される様々な可視化システム、又は可視化システムの態様は、手術用ハブ２１０６、２２３６（図１７～図１９）によって具現化あるいは実行することができる状況認識システムの一部として利用することができる。具体的に言えば、手術器具、又は他の手術デバイス（これらの位置、向き、アクションを含む）、組織、構造、ユーザ、並びに、術野又は手術室内に位置する他のものを特性評価し、特定し、かつ／又は可視化すると、状況認識システムによって利用され、外科手術の種類又は実行されている工程、外科医によって操作されている組織（単数又は複数）及び／又は構造（単数又は複数）の種類などを推測することができるコンテキストデータを提供することができる。次に、このコンテキストデータは、状況認識システムによって利用されて、ユーザへのアラートの提供、ユーザが行うべき後続の工程又はアクションの示唆、手術デバイスの利用を予測した準備（例えば、電気手術器具が外科手術の後の工程で利用されることを予測して、電気手術用発生器を起動する）、手術器具のインテリジェントな制御（例えば、各患者の特定の健康プロファイルに基づく、手術器具の動作パラメータのカスタマイズ）などを可能にし得る。
検知されたデータに応答する制御アルゴリズムを含む「インテリジェント」デバイスは、検知されたデータを考慮せずに動作する「データ処理能力のない（dumb）」デバイスに対する改善を加であり得るが、いくつかの検知されたデータは、単独で考慮される場合、すなわち、実行されている外科手術の種類、又は手術されている組織の種類のコンテキストなしには、不完全又は決定的ではない可能性がある。手術コンテキストについて知らなければ（例えば、手術されている組織の種類又は実行されている処置の種類について知らなければ）、制御アルゴリズムは、コンテキストのない特定の検知されたデータでは、モジュール式デバイスを不正確に、あるいは最適ではなく制御し得る。モジュール式デバイスは、可視化システムデバイス（例えば、カメラ、又はディスプレイスクリーン）、手術器具（例えば、超音波手術器具、電気手術器具、あるいは手術用ステープラ）、並びに、他の手術デバイス（例えば、煙排出器）などの状況認識システムで制御可能な任意の手術デバイスを含むことができる。例えば、特定の検知されたパラメータに応答して手術器具を制御するための制御アルゴリズムの最適な様式は、手術されている特定の組織の種類に応じて変動し得る。これは、異なる組織の種類が異なる特性（例えば、引き裂きに対する抵抗力）を有し、そのため、手術器具によってとられたアクションに対して異なって応答するという事実に起因するものである。したがって、特定のパラメータについて同じ測定値が検知された場合であっても、手術器具が異なるアクションをとることが望ましいことがある。１つの具体的な例として、器具がそのエンドエフェクタを閉鎖するための予想外に高い力を検知することに応答して、手術用ステープリング及び切断用器具を制御する最適な様式は、組織種類が引き裂きの影響を受けやすいか、又はこれに耐性があるかによって異なる。肺組織など、引き裂きの影響を受けやすい組織の場合、器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答してモータを最適に減速させる。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答してモータを最適に加速させる。肺組織がクランプされているのか、胃組織がクランプされているのかが分からなければ、制御アルゴリズムは、最適ではない判断を行う可能性がある。
１つの解決策は、様々なデータソースから受信されたデータに基づいて実行されている外科手術に関する情報を導出し、次いで、ペアリングされたモジュール式デバイスを適宜制御するように構成されているシステムを含む、手術用ハブを利用する。言い換えると、手術用ハブは、受信されたデータから外科手術に関する情報を推測し、次いで、外科手術について推測されたコンテキストに基づいて、手術用ハブとペアリングされたモジュール式デバイスを制御するように構成されている。図２０は、本開示の少なくとも１つの態様に係る、状況認識手術システム２４００の図を示す。いくつかの例示では、データソース２４２６は、例えば、モジュール式デバイス２４０２（患者及び／又はモジュール式デバイス自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る）、データベース２４２２（例えば、患者記録を含むＥＭＲデータベース）、及び患者モニタリングデバイス２４２４（例えば、血圧（ＢＰ）モニタ、及び心電図（ＥＫＧ）モニタ）を含む。
手術用ハブ２４０４は、多くの点において、ハブ１０６と類似していてよく、例えば、受信されたデータの特定の組み合わせ（単数又は複数）、又はデータソース２４２６からデータが受信される特定の順序に基づいて、外科手術に関するコンテキスト情報をデータから導出するように構成することができる。受信されたデータから推測されるコンテキスト情報は、例えば、実施される外科手術の種類、外科医が実行している外科手術の特定の工程、手術されている組織の種類、又は処置の対象である体腔を含むことができる。受信されたデータから外科手術に関する情報を導出又は推測するための手術用ハブ２４０４のいくつかの態様に係わるこの機能は、「状況認識」と称することもある。一例示では、手術用ハブ２４０４は、受信されたデータから外科手術に関連するコンテキスト情報を導出する手術用ハブ２４０４に関連付けられたハードウェア及び／又はプログラミングである状況認識システムを組み込むことができる。
手術用ハブ２４０４の状況認識システムは、様々な異なる方法でデータソース２４２６から受信されたデータから、コンテキスト情報を導出するように構成することができる。一例示では、状況認識システムは、様々な入力（例えば、データベース２４２２、患者モニタリングデバイス２４２４、及び／又はモジュール式デバイス２４０２からのデータ）を、外科手術に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含む。言い換えると、機械学習システムは、提供された入力から外科手術に関するコンテキスト情報を正確に導出するように訓練することができる。別の例示では、状況認識システムは、外科手術に関する事前に特性評価されたコンテキスト情報を、そのコンテキスト情報に対応する１つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式デバイス２４０２を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。一例示では、手術用ハブ２４０４の状況認識システムによって受信されたコンテキスト情報は、１つ以上のモジュール式デバイス２４０２の特定の制御調節、又は一連の制御調節に関連付けられる。別の例示では、状況認識システムは、コンテキスト情報を入力として提供された際、１つ以上のモジュール式デバイス２４０２の１つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
状況認識システムを組み込む手術用ハブ２４０４は、手術システム２４００に多くの利点をもたらす。１つの利点は、検知及び収集されたデータの解釈を改善することを含み、これは、外科手術の過程中の処理精度、及び／又はデータの使用を改善させる。以前の例に戻ると、状況認識手術用ハブ２４０４は、どの種類の組織が手術されているかを判定することができるので、したがって、手術器具のエンドエフェクタを閉鎖するための予想外に高い力が検出されると、状況認識手術用ハブ２４０４は、組織種類に合わせて手術器具のモータを正しく加速、あるいは減速させることができる。
別の実施例として、手術されている組織の種類は、特定の組織間隙測定用の手術用ステープリング及び切断用器具の圧縮速度と負荷閾値になされる調節に影響を及ぼし得る。状況認識手術用ハブ２４０４は、実行されている外科手術が胸部手術であるのか、又は腹部手術であるのかを推測することができ、これにより、手術用ハブ２４０４は、手術用ステープリング及び切断用器具のエンドエフェクタによってクランプされている組織が肺であるのか（胸部手術の場合）、又は胃であるのか（腹部手術の場合）を決定することができる。次いで、手術用ハブ２４０４は、手術用ステープリング及び切断用器具の圧縮速度及び負荷閾値を、組織の種類に合わせて適切に調節することができる。
更に別の実施例として、送気処置中に手術されている体腔の種類は、煙排出器の機能に影響を及ぼし得る。状況認識手術用ハブ２４０４は、手術部位が（外科手術が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置種類を決定することができる。一般に、ある処置種類が特定の体腔内で実行されるので、手術用ハブ２４０４は、手術されている体腔に合わせて適切に煙排出器のモータ速度を制御することができる。かくして、状況認識手術用ハブ２４０４は、胸部手術及び腹部手術の両方用に一貫した量の煙排出を提供し得る。
更に別の実行例として、実行されている処置の種類は、超音波手術器具、又は高周波（ＲＦ）電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。例えば、関節鏡処置では、超音波手術器具、又はＲＦ電気手術器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とする。状況認識手術用ハブ２４０４は、外科手術が関節鏡処置であるかどうかを決定することができる。次いで、手術用ハブ２４０４は、流体充填環境を補償するために、発生器のＲＦ電力レベル又は超音波振幅（すなわち、「エネルギーレベル」）を調節することができる。関連して、手術されている組織の種類は、超音波手術器具又はＲＦ電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識手術用ハブ２４０４は、どの種類の外科手術が実行されているかを決定し、次いで、外科手術について予想される組織形状に従って、超音波手術器具又はＲＦ電気手術器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識手術用ハブ２４０４は、単に処置ごとにではなく、外科手術の過程にわたって、超音波手術器具又はＲＦ電気手術器具のエネルギーレベルを調節するように構成することができる。状況認識手術用ハブ２４０４は、外科手術のどの工程が実行されているか、又は引き続き実行されるかを決定し、次いで、発生器、及び／又は超音波手術器具若しくはＲＦ電気手術器具の制御アルゴリズムを更新して、外科手術の工程に従って予想される組織種類に適切な値までエネルギーレベルを設定することができる。
更に別の例として、手術用ハブ２４０４が１つのデータソース２４２６から導き出される結論を改善するために、追加のデータソース２４２６からデータを導出することも可能である。状況認識手術用ハブ２４０４は、モジュール式デバイス２４０２から受信したデータを、他のデータソース２４２６から外科手術に関して構築したコンテキスト情報で強化し得る。例えば、状況認識手術用ハブ２４０４は、医療用撮像デバイスから受信されたビデオ又は画像データに従って、止血が行われたかどうか（すなわち、手術部位での出血が止まったかどうか）を決定するように構成することができる。しかしながら、場合によっては、ビデオ又は画像データは、決定的ではない可能性がある。したがって、一例示では、手術用ハブ２４０４は、生理学的測定（例えば、手術用ハブ２４０４へと通信可能に接続されたＢＰモニタで検知された血圧）を、（例えば、手術用ハブ２４０４へと通信可能に連結された医療用撮像デバイス１２４（図２）からの）止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性に関する決定を行うように更に構成することができる。言い換えると、手術用ハブ２４０４の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用となり得る。
別の利点としては、外科手術の過程中に医療従事者が手術システム２４００と相互作用する又はこれを制御するために必要とされる回数を低減するために、実行されている外科手術の特定の工程に従って、ペアリングされたモジュール式デバイス２４０２を積極的かつ自動的に制御することが挙げられる。例えば、状況認識手術用ハブ２４０４は、処置の後続の工程で器具の使用が必要とされると判定された場合に、ＲＦ電気手術器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることができる。
別の実施例として、状況認識手術用ハブ２４０４は、外科医が見る必要があると予想される手術部位の形状部（単数又は複数）に従って、外科手術の現工程、又は後続の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを決定することができる。次いで、手術用ハブ２４０４は、表示されたビュー（例えば、可視化システム１０８用に医療用撮像デバイスから供給される）を適切に積極的に変更することができ、これにより、ディスプレイは外科手術にわたって自動的に調節する。
更に別の例として、状況認識手術用ハブ２４０４は、外科手術のどの工程が実行されているか、又は次に実行されるか、及び特定のデータ又はデータ同士の比較が外科手術の該当工程に必要とされるかどうかを決定することができる。手術用ハブ２４０４は、外科医が特定の情報を尋ねるのを待つことなく、実行されている外科手術の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
別の利点としては、外科手術のセットアップ中、又は外科手術の過程中にエラーをチェックすることが挙げられる。例えば、状況認識手術用ハブ２４０４は、手術現場が、実行されるべき外科手術用に適切に又は最適にセットアップされているかどうかを決定することができる。手術用ハブ２４０４は、実行されている外科手術の種類を決定し、対応するチェックリスト、製品位置、又はセットアップ要件を（例えば、メモリから）読み出し、次いで、現在の手術現場のレイアウトを、実行されていると手術用ハブ２４０４が決定した外科手術の種類の標準レイアウトと比較するように構成することができる。一例示では、手術用ハブ２４０４は、例えば、好適なスキャナでスキャンされた処置のための物品のリスト、及び／又は手術用ハブ２４０４とペアリングされるデバイスのリストを、所与の外科手術用の物品及び／若しくはデバイスの推奨又は予測される目録と比較するように構成することができる。リスト同士に分断が存在する場合、手術用ハブ２４０４は、特定のモジュール式デバイス２４０２、患者モニタリングデバイス２４２４、及び／又は他の手術用物品が欠落していることを示すアラートを提供するように構成することができる。一例示では、手術用ハブ２４０４は、例えば、近接センサによってモジュール式デバイス２４０２及び患者モニタリングデバイス２４２４の相対距離又は相対位置を決定するように構成することができる。手術用ハブ２４０４は、デバイスの相対位置を、特定の外科手術用に推奨又は予測されるレイアウトと比較することができる。レイアウト同士に分断が存在する場合、手術用ハブ２４０４は、外科手術の現在のレイアウトが推奨レイアウトから逸脱していることを示すアラートを提供するように構成することができる。
別の例として、状況認識手術用ハブ２４０４は、外科医（又は、他の医療従事者）が誤りを犯しているかどうか、又は外科手術の過程中に予想される一連のアクションから逸脱しているかどうかを決定することができる。例えば、手術用ハブ２４０４は、実行されている外科手術の種類を決定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、外科手術の過程中に実行されている工程又は使用されている機器を、手術用ハブ２４０４が実行されていると判定した外科手術の種類について予想される工程、又は機器と比較するように構成することができる。一例示では、手術用ハブ２４０４は、外科手術における特定の工程で想定外のアクションが実行されているか、又は想定外のデバイスが利用されていることを示すアラートを提供するように構成することができる。
全体的に、手術用ハブ２４０４用の状況認識システムは、各外科手術の特定のコンテキスト用に手術器具（及び、他のモジュール式デバイス２４０２）を調節し（例えば、異なる組織種類に合わせて調節する）、外科手術中のアクションを検証することによって、外科手術の転帰を改善させる。また、状況認識システムは、処置の特定のコンテキストに従って、次の工程を自動的に示唆し、データを提供し、手術現場内のディスプレイ及び他のモジュール式デバイス２４０２を調節することによって、外科手術を実行する際の外科医の効率を改善する。
ここで図２１を参照すると、例えば、手術用ハブ１０６、又は２０６（図１～図１１）などのハブの状況認識を示すタイムライン２５００が示されている。タイムライン２５００は、例示的な外科手術と、外科手術の各工程でデータソースから受信されたデータから手術用ハブ１０６、２０６が導出することができるコンテキスト情報と、を示す。タイムライン２５００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除手術の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を示す。
状況認識手術用ハブ１０６、２０６は、外科手術の過程を通じて、医療従事者が手術用ハブ１０６、２０６とペアリングされているモジュール式デバイスを利用する度に生成されるデータを含むデータを、データソースから受信する。手術用ハブ１０６、２０６は、ペアリングされたモジュール式デバイス及び他のデータソースから、このデータを受信し、任意の所与の時間に処置のどの工程が実行されているかなどの、新たなデータが受信されると、進行中の処置に関する推測（すなわち、コンテキスト情報）を継続的に導出することができる。手術用ハブ１０６、２０６の状況認識システムは、例えば、レポートを生成するために処置に関するデータを記録すること、医療従事者が実施している工程を検証すること、特定の手術工程に関連し得るデータ又はプロンプトを（例えば、ディスプレイスクリーンを介して）提供すること、コンテキストに基づいてモジュール式デバイスを調節すること（例えば、モニタを起動する、医療用撮像デバイスの視野（ＦＯＶ）を調節する、又は超音波手術器具若しくはＲＦ電気手術器具のエネルギーレベルを変更する、など）、及び上述の任意の他のこれらのアクションを行うことが可能である。
この例示的な処置における第１工程２５０２として、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを読み出す。ＥＭＲにおける選択患者データに基づいて、手術用ハブ１０６、２０６は、実行されるべき処置が胸部手術であると判定する。
第２工程２５０４で、職員は、処置のために到着した医療物資をスキャンする。手術用ハブ１０６、２０６は、スキャンされた物資を様々な種類の処置において利用される物資のリストと相互参照し、物資の組み合わせが、胸部処置に一致することを確認する。更に、手術用ハブ１０６、２０６はまた、（到着した物資が、胸部ウェッジ手術で必要な特定の物資を含まないか、又は別の点で胸部ウェッジ手術に対応していないかのいずれかであることを理由に）手術がウェッジ処置ではないと判定することもできる。
第３工程２５０６で、医療従事者は、手術用ハブ１０６、２０６に通信可能に接続されたスキャナを介して患者バンドをスキャンする。次いで、手術用ハブ１０６、２０６は、スキャンされたデータに基づいて患者の識別情報を確認することができる。
第４工程２５０８で、医療スタッフが補助機器をオンにする。利用されている補助機器は、外科手術の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器及び医療用撮像デバイスが挙げられる。補助機器が起動されると、モジュール式デバイスである補助機器は、その初期化プロセスの一部として、モジュール式デバイスの特定の近傍内に位置する手術用ハブ１０６、２０６と自動的にペアリングすることができる。次いで、手術用ハブ１０６、２０６は、この術前段階又は初期化段階中にペアリングされるモジュール式デバイスの種類を検出することによって、外科手術に関するコンテキスト情報を導出することができる。この特定の例では、手術用ハブ１０６、２０６は、ペアリングされたモジュール式デバイスのこの特定の組み合わせに基づいて、外科手術がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータと、処置において使用されるべき医療物資のリストと、ハブに接続するモジュール式デバイスの種類との組み合わせに基づいて、手術用ハブ１０６、２０６は一般に、外科チームが実行する特定の処置を推測することができる。手術用ハブ１０６、２０６が、どの特定の処置が実行されているかを認識すると、次いで、手術用ハブ１０６、２０６は、メモリから又はクラウドから、その手術の工程を読み出し、次いで、接続されたデータソース（例えば、モジュール式デバイス、及び患者モニタリングデバイス）から引き続き受信するデータを相互参照して、外科手術のどの工程を手術チームが実行しているかを推測することができる。
第５工程２５１０で、職員は、ＥＫＧ電極及び他の患者モニタリングデバイスを患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイスは、手術用ハブ１０６、２０６とペアリングすることができる。手術用ハブ１０６、２０６が患者モニタリングデバイスからデータの受信を開始すると、手術用ハブ１０６、２０６は患者が手術現場にいることを確認する。
第６工程２５１２で、医療従事者は患者に麻酔をかける。手術用ハブ１０６、２０６は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式デバイス、及び／又は患者モニタリングデバイスからのデータに基づいて、患者が麻酔下にあることを推測することができる。第６工程２５１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。
第７工程２５１４、手術されている患者の肺を虚脱する（一方で、換気を対側肺に切り替える）。手術用ハブ１０６、２０６は、例えば、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。手術用ハブ１０６、２０６は、患者の肺が虚脱したのを検出したことを、処置の予想される工程（事前にアクセス又は読み出すことができる）と比較することができるので、処置の手術部分が開始されたと推測し、これによって、肺を虚脱させることがこの特定の処置における第１手術工程であると判定することができる。
第８工程２５１６で、医療用撮像デバイス（例えば、スコープ）を挿入し、医療用撮像デバイスからのビデオ撮影を開始する。手術用ハブ１０６、２０６は、医療用撮像デバイスへの接続を通じて、医療用撮像デバイスデータ（すなわち、ビデオデータ又は画像データ）を受信する。医療用撮像デバイスデータを受信すると、手術用ハブ１０６、２０６は、外科手術の腹腔鏡部が開始したと判定することができる。更に、手術用ハブ１０６、２０６は、実行されている特定の処置が、肺葉切除術ではなく、区域切除術であると判定することができる（手術の第２工程２５０４で受信したデータに基づいて、ウェッジ手術は手術用ハブ１０６、２０６によって、既にその可能性がないと判定されていることに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、患者の解剖学的構造の可視化に関して医療用撮像デバイスが向けられる角度を決定すること、利用されている（すなわち、起動され、手術用ハブ１０６、２０６とペアリングされている）医療用撮像デバイスの数を監視すること、及び、利用される可視化デバイスの種類を監視することを含めて、いくつかの異なる方法で実行されている処置の種類に関するコンテキスト情報を決定することができる。例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として手術用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイスからのこのデータのいずれか又は全てを追跡することによって、手術用ハブ１０６、２０６は、実行されている特定の種類の外科手術、及び／又は特定の種類の外科手術に使用されている技術を判定することができる。
第９工程２５１８で、手術チームは、処置の切開工程を開始する。手術用ハブ１０６、２０６は、エネルギー器具が発射されていることを示すデータをＲＦ又は超音波発生器から受信するので、外科医が患者の肺を切開して、動かすプロセスにあると推測することができる。手術用ハブ１０６、２０６は、受信されたデータを外科手術の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が、切開工程に対応していると判定することができる。特定の例では、エネルギー器具は、ロボット手術システムのロボットアームに装着されたエネルギー器具であり得る。
第１０工程２５２０で、手術チームは、処置の結紮工程に進む。手術用ハブ１０６、２０６は、手術用ステープリング及び切断用器具から、その器具が発射されていることを示すデータを受信するので、外科医が現在、動脈及び静脈を結紮していると推測することができる。前工程と同様に、手術用ハブ１０６、２０６は、手術用ステープリング及び切断用器具からのデータの受信を、プロセスの読み出しされた工程と相互参照することによって、この推測を導出することができる。特定の例では、手術器具は、ロボット手術システムのロボットアームに装着された手術具であり得る。
第１１工程２５２２では、処置の区域切除部が実行される。手術用ハブ１０６、２０６は、そのカートリッジからのデータを含む、手術用ステープリング及び切断用器具からのデータに基づいて、外科医が実質を横切開していると推測することができる。カートリッジのデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応することができる。異なる種類のステープルが異なる種類の組織に利用されるので、カートリッジのデータは、ステープリング及び／又は横切開されている組織の種類を示すことができる。この場合、発射されているステープルの種類は実質（又は他の同様の組織種類）に利用され、それにより、手術用ハブ１０６、２０６は、処置の区域切除部が実行されていると推測することが可能になる。
続いて、第１２工程２５２４で、結節切開工程が実行される。手術用ハブ１０６、２０６は、ＲＦ又は超音波器具が発射されていることを示す発生器から受信されたデータに基づいて、手術チームが結節を切開し、漏れ試験を実行していると推測することができる。この特定の処置の場合、実質組織が横切開された後に利用されているＲＦ又は超音波器具は、結節切開工程に対応しており、それにより、手術用ハブ１０６、２０６が上記の推測を行うことが可能となる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定の工程に応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープリング器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。更に、特定の例では、外科手術における１つ以上の工程にロボットツールを利用することができ、かつ／又は外科手術における１つ以上の工程に手持ち式手術器具を利用することができる。外科医（単数又は複数）は、例えば、ロボットツールと手持ち式手術器具とを交互に使用することができ、及び／又は、デバイスを同時に使用することができる。第１２工程２５２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
第１３工程２５２６では、患者を麻酔から覚醒させる。手術用ハブ１０６、２０６は、例えば、人工呼吸器データ（すなわち、患者の呼吸速度が増加し始めること）に基づいて、患者が麻酔から覚醒しつつあると推測することができる。
最後に、第１４工程２５２８は、医療従事者が患者から様々な患者モニタリングデバイスを除去することである。したがって、手術用ハブ２１０６、２２３６は、ハブがＥＫＧデータ、ＢＰデータ、及び患者モニタリングデバイスからの他のデータを喪失した際、患者が回復室に移送されていると推測することができる。この例示的な手術の説明から分かるように、手術用ハブ２１０６、２２３６と通信可能に連結する各種データソースから受信されたデータに従って、手術用ハブ２１０６、２２３６は、所与の外科手術の各工程がいつ行われているかを判定又は推測することができる。
状況認識については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に更に記載されており、その全体が参照により本明細書に組み込まれる。特定の例では、例えば、本明細書で開示される様々なロボット手術システムを含む、ロボット手術システムの動作は、その状況認識、及び／又はその構成要素からのフィードバックに基づいて、並びに／又はクラウド２１０４（図１７）からの情報に基づいて、ハブ２１０６、２２３６によって制御することができる。
図２２は、本開示の少なくとも１つの態様に係る、可視化データと器具データとを相関させるための制御プログラム又は論理構成を示すプロセス４０００の論理フロー図である。プロセス４０００は、一般に、外科手術中に実行され、４００１で、術野に対する手術器具の視覚的態様を示す第１データセット、つまり、可視化データを受信又は導出することと、４００２で、手術器具の機能態様を示す第２データセット、つまり、器具データを受信又は導出することと、４００３で、第１データセットと第２データセットとを相関させることと、を含む。
少なくとも１つの例では、可視化データを器具データと相関させることは、可視化データ及び器具データから複合データセットを構築することによって実装される。プロセス４０００は、複合データセットを、外部ソースから受信することができ、かつ／又は、以前に収集された複合データセットから導出することできる、別の複合データセットと比較することを更に含み得る。少なくとも１つの例では、プロセス４０００は、以下でより詳細に説明するように、２つの複合データセットの比較を表示することを含む。
プロセス４０００の可視化データは、術野内の組織に対する手術器具のエンドエフェクタの視覚的態様を示すことができる。追加的に、又は、代替的に、可視化データは、手術器具のエンドエフェクタによって処置されている組織の視覚的態様を示すことができる。少なくとも１つの例では、可視化データは、術野内の組織に対するエンドエフェクタ又はその構成要素の１つ以上の位置を表す。追加的に、又は、代替的に、可視化データは、術野内の組織に対するエンドエフェクタ又はその構成要素の１つ以上の動きを表し得る。少なくとも１つの例では、可視化データは、手術器具のエンドエフェクタによって処置されている組織の形状、寸法、及び／又は色のうちの１つ以上の変化を表す。
様々な態様では、可視化データは、手術可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）から導出される。可視化データは、図１～図１８に関連してより詳述されるように、手術可視化システムによって監視されるかつ／又は取り込まれた様々な測定値、読み取り値、及び／又は任意の他の好適なパラメータから導出することができる。様々な例では、可視化データは、術野内の組織の１つ以上の視覚的態様、及び／又は、術野内の組織に対する手術器具の１つ以上の視覚的態様を示す。特定の例では、可視化データは、術野における重要構造（例えば、図１の重要構造１０１）に対する手術器具のエンドエフェクタの位置及び／又は動きを表す、あるいは特定する。特定の例では、可視化データは、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、又は距離決定ロジック１４１、あるいはロジック１３６、１３８、１４０、１４１の任意の組み合わせによって計算された表面マッピングデータ、撮像データ、組織特定データ、及び／又は距離データから導出される。
少なくとも１つの例では、可視化データは、図１に関連してより詳述されるように、距離センサシステム１０４と組み合わせて可視化システム１００によって実行される組織特定及び幾何学的表面マッピングから導出される。少なくとも１つの例では、可視化データは、撮像デバイス１２０によって取り込まれた測定値、読み取り値、又は任意の他のセンサデータから導出される。図１に関連して説明したように、撮像デバイス１２０は、反射されたスペクトル波形を検出し、様々な波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）である。
追加的に、又は、代替的に、可視化データは、例えば、可視光、スペクトル光波（可視、又は不可視）、及び構造化光パターン（可視、又は不可視）を検出するように構成されたカメラあるいは撮像センサを含む、任意の好適な撮像デバイスによって取り込まれた測定値、読み取り値、又は任意の好適なセンサデータから導出することができる。少なくとも１つの例では、図３～図４、及び図１３～図１６に関連してより詳述されるように、可視化データは、光波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２とを含む、可視化システム１６０から導出される。更に別の例では、可視化データは、三次元（３Ｄ）カメラと、例えば、可視化システム５００などの関連する電子処理回路とを含む、可視化システムから導出される。更に別の例では、可視化データは、構造化（あるいは、パターン化）光システム７００から導出され、これについては、図１２に関連して更に詳述する。前述の例は、プロセス４０００の可視化データを導出するために単独で、あるいは組み合わせて使用することができる。
プロセス４０００の器具データは、手術器具の１つ以上の内部構成要素の１つ以上の動作を示すことができる。少なくとも１つの例では、器具データは、手術器具の内部構成要素の１つ以上の動作パラメータを表す。器具データは、手術器具の１つ以上の内部構成要素の１つ以上の位置及び／又は１つ以上の動きを表し得る。少なくとも１つの例では、内部構成要素は、手術器具の発射シーケンス中に組織を切断するように構成された切断部材である。追加的に、又は、代替的に、内部構成要素は、手術器具の発射シーケンス中に組織内へと発射されるように構成された１つ以上のステープルを含むことができる。
少なくとも１つの例では、器具データは、例えば、関節運動駆動アセンブリ、閉鎖駆動アセンブリ、回転駆動アセンブリ、及び／又は発射駆動アセンブリなどの、手術器具の１つ以上の駆動アセンブリの１つ以上の構成要素の１つ以上の動作を表す。少なくとも１つの例では、器具データセットは、例えば、関節運動駆動部材、閉鎖駆動部材、回転駆動部材、及び／又は発射駆動部材などの、手術器具の１つ以上の駆動部材の１つ以上の動作を表す。
図２３は、例えば、手術器具２１１２などの本開示によって説明される他の手術器具又は手術具と多くの点で類似しているプロセス４０００と共に使用するための例示的な手術器具４６００の概略図である。簡潔にするために、プロセス４０００の様々な態様は、手持ち式手術器具を使用する本開示によってのみ説明される。しかしながら、これは限定的ではない。プロセス４０００に関するこのような態様は、例えば、手術具２１１７などのロボット式手術具でも等しく実装することができる。
手術器具４６００は、様々な機能を実行するために起動させることができる複数のモータを含む。手術器具４６００の複数のモータは、エンドエフェクタにおいて発射運動、閉鎖運動、及び／又は関節運動を引き起こすように起動させることができる。発射運動、閉鎖運動、及び／又は関節運動は、例えば、シャフトアセンブリを介して、手術器具４６００のエンドエフェクタに伝達することができる。しかしながら、他の例では、プロセス４０００と共に使用するための手術器具は、手動で発射運動、閉鎖運動、及び関節運動のうちの１つ以上を実行するように構成することができる。少なくとも１つの例では、手術器具４６００は、組織内へとステープルを展開することによって組織を処置するエンドエフェクタを含む。別の例では、手術器具４６００は、組織に治療エネルギーを適用することによって組織を処置するエンドエフェクタを含む。
特定の例では、手術器具４６００は、発射モータ４６０２を含む。発射モータ４６０２は、具体的には、例えば、切断部材を含み得るＩビームの形態の発射部材を移動するために、発射モータ４６０２によって生成された発射運動をエンドエフェクタに伝達するように構成することができる、発射モータ駆動アセンブリ４６０４に動作可能に連結することができる。特定の例では、発射モータ４６０２から生成された発射運動は、ステープルを、ステープルカートリッジからエンドエフェクタによって捕捉された組織内へと展開させ、任意選択で、Ｉビームの切断部材を前進させて、例えば、捕捉された組織を切断できる。
特定の例では、手術器具又は手術具は閉鎖モータ４６０３を含んでもよい。閉鎖モータ４６０３は、具体的には、閉鎖チューブを変位させてアンビルを閉鎖し、アンビルとステープルカートリッジとの間で組織を圧縮するために、閉鎖モータ４６０３によって生成された閉鎖運動をエンドエフェクタへと伝達するように構成することができる、閉鎖モータ駆動アセンブリ４６０５に動作可能に結合することができる。閉鎖運動によって、エンドエフェクタは、例えば、組織を捕捉する、開放構成から接近構成へと移行することができる。
特定の例では、手術器具又は手術具は、例えば、１つ以上の関節運動モータ４６０６ａ、４６０６ｂを含んでもよい。関節運動モータ４６０６ａ、４６０６ｂは、関節運動モータ４６０６ａ、４６０６ｂによって生成された関節運動をエンドエフェクタへと伝達するように構成することができる、それぞれの関節運動モータ駆動アセンブリ４６０８ａ、４６０８ｂに動作可能に連結することができる。特定の例では、関節運動によって、例えば、エンドエフェクタがシャフトに対して関節運動することができる。
特定の例では、手術器具又は手術具は、手術器具４６００の複数のモータと共に採用できる制御モジュール４６１０を含んでもよい。モータ４６０２、４６０３、４６０６ａ、４６０６ｂの各々は、モータのシャフト上の出力トルクを測定するためのトルクセンサを備えてもよい。エンドエフェクタ上の力は、ジョーの外側の力センサによって、又はジョーを作動させるモータのトルクセンサなどによって、任意の従来の様式で検知されてもよい。
様々な例では、図２３に示すように、制御モジュール４６１０は、１つ以上のＨブリッジＦＥＴを備え得るモータドライバ４６２６を備えてもよい。モータドライバ４６２６は、例えば、マイクロコントローラ４６２０（「コントローラ」）からの入力に基づいて、電源４６２８から、制御モジュール４６１０に連結されたモータへと伝達された電力を変調することが可能である。特定の例では、上述したように、コントローラ４６２０を採用して、モータが制御モジュール４６１０に連結されている間、例えば、モータによって引き込まれる電流を決定することができる。
特定の例では、マイクロコントローラ４６２０は、マイクロプロセッサ４６２２（「プロセッサ」）と、１つ以上の非一時的コンピュータ可読媒体又はメモリユニット４６２４（「メモリ」）とを含んでもよい。特定の例では、メモリ４６２４は、様々なプログラム命令を記憶することができ、この命令を実行すると、プロセッサ４６２２に、本明細書に記載される複数の機能及び／又は算出を実行させることができる。特定の例では、メモリユニット４６２４の１つ以上を、例えば、プロセッサ４６２２に連結することができる。様々な例では、プロセッサ４６２２は、モータドライバ４６２６を制御して、制御モジュール４６１０に連結されているモータの位置、回転方向、及び／又は速度を制御することができる。
特定の例では、例えば、センサ４６３０などの１つ以上の機構及び／又はセンサは、手術器具４６００のエンドエフェクタのジョーによってジョーの間に捕捉された組織に加えられる力（閉鎖力「ＦＴＣ｝）を検出するように構成することができる。ＦＴＣは、閉鎖モータ駆動アセンブリ４６０５を介してエンドエフェクタのジョーに伝達することができる。追加的に、又は、代替的に、センサ４６３０は、発射モータ駆動アセンブリ４６０４を通じてエンドエフェクタに加えられる力（発射力「ＦＴＦ」）を検出するように構成することができる。様々な例では、センサ４６３０は、閉鎖作動（例えば、モータ電流とＦＴＣ）、発射作動（例えば、モータ電流とＦＴＦ）、関節運動（例えば、エンドエフェクタの角度位置）、並びに、シャフトやエンドエフェクタの回転を検知するように構成することができる。
プロセス４０００の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４０００の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４０００の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４０００の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４０００は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な態様では、プロセス４０００は、１つ以上の手術システム２１０２と、クラウドベースシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）と、を含むコンピュータ実装インタラクティブ手術システム２１００（図１９）によって実装することができる。各手術システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの手術用ハブ２１０６を含む。プロセス４０００の１つ以上の態様を実行する制御回路は、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）の構成要素であり得、手術器具（例えば、手術器具２１１２、４６００）と通信して、そこから器具データを受信することができる。手術器具と可視化システムの制御回路との間の通信は、直接通信であってもよく、あるいは、例えば、手術用ハブ２１０６を通じて器具データを可視化システムに送ることができる。少なくとも１つの例では、プロセス４０００の１つ以上の態様を実行する制御回路は、手術用ハブ２１０６の構成要素であり得る。
図２４を参照すると、様々な例では、可視化データ４０１０は、可視化データ４０１０及び器具データ４０１１から複合データセット４０１２を構築することによって、器具データ４０１１と相関される。図２４は、グラフ４０１３に、現在のユーザの可視化データ４０１０及び現在のユーザの器具データ４０１１から構築される、現在のユーザの複合データセット４０１２を示す。グラフ４０１３は、手術器具４６００のジョー位置決め、クランプ、及び発射を伴う手術器具４６００の第１使用サイクルを表す可視化データ４０１０を示す。また、グラフ４０１３は、手術器具４６００の第２使用サイクルの開始を表す可視化データ４０１０も示し、この場合、ジョーは、手術器具４６００の第２クランプ、及び発射のために再配置されている。グラフ４０１３は更に、クランプ可視化データに相関するＦＴＣデータ４０１４、並びに、発射可視化データに相関するＦＴＦデータ４０１５の形態で、現在のユーザの器具データ４０１１を示す。
上述のように、可視化データ４０１０は、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）から導出され、例えば、手術器具４６００のエンドエフェクタの位置決め、クランプ、及び／又は発射中に、手術器具４６００のエンドエフェクタと術野内の重要構造との間の距離を表すことが可能である。少なくとも１つの例では、可視化システムは、術野におけるエンドエフェクタ又はその構成要素を特定し、術野における重要構造を特定し、重要構造又は重要構造周囲の組織に対するエンドエフェクタ又はその構成要素の位置を追跡する。少なくとも１つの例では、可視化システムは、術野におけるエンドエフェクタのジョーを特定し、術野における重要構造を特定し、更に、術野内の重要構造又は重要構造周囲の組織に対するジョーの位置を追跡する。
少なくとも１つの例では、重要構造は腫瘍である。この腫瘍を除去するために、外科医は、一般に、腫瘍周りの安全マージンに沿って組織を切断して、腫瘍全体を確実に除去したいと思うことが多い。このような例では、可視化データ４０１０は、手術器具４６００の位置決め、クランプ、及び／又は発射中に、エンドエフェクタのジョーと腫瘍の安全マージンとの間の距離を表すことができる。
プロセス４０００は、現在のユーザの複合データセット４０１２を、外部ソースから受信することができ、かつ／又は、以前に収集された複合データセットから導出することができる、別の複合データセット４０１２’と比較することを更に含み得る。グラフ４０１３は、現在のユーザの複合データセット４０１２と、可視化データ４０１０’及びＦＴＣデータ４０１４’とＦＴＦデータ４０１５’を有する器具データ４０１１’を含む別の複合データセット４０１２’との間の比較を示す。この比較は、グラフ４０１３の形態又は任意の他の好適な形式で、手術器具４６００のユーザにリアルタイムで提示することができる。プロセス４０００の１つ以上の態様を実行する制御回路により、例えば、可視化システムのスクリーンなど、手術室内の任意の好適なスクリーン上で、２つの複合データセットを比較できる。少なくとも１つの例では、比較は、手術室内の任意の好適なスクリーン上で取り込まれた術野のリアルタイムビデオと並べて表示することができる。少なくとも１つの例では、制御回路は、第１複合データセットと第２複合データセットとの間で検出された逸脱に対処するために器具パラメータを調節するように構成されている。
更に、プロセス４０００の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、例えば、ＦＴＦデータ及び／又はＦＴＣデータなどの器具データの現在の状態を、最良実施の等価物に対して表示させてもよい。図２４に示す例では、円４０２０によって表されるＦＴＣの現在値は、ゲージ４０２１に対してリアルタイムで示され、インジケータ４０２２は、最良実施のＦＴＣを表す。同様に、円４０２３によって表されるＦＴＦの現在値は、ゲージ４０２４に対して示され、インジケータ４０２５は、最良実施のＦＴＦを表す。このような情報は、術野のビデオ映像上にリアルタイムに重ね合わせられることができる。
図２４に示す例は、現在のＦＴＣが最良実施のＦＴＣよりも高く、また、電流ＦＴＦが最良実施のＦＴＦよりも高いことをユーザに警告する。プロセス４０００の１つ以上の態様を実行する制御回路は、ＦＴＦ及び／又はＦＴＣの現在値が所定閾値に達した場合、及び／又はそれを超えて移動した場合、手術器具４６００の現在のユーザに、可聴、視覚、及び／又は触覚の警告機構で警告することができる。
特定の例では、プロセス４０００の１つ以上の態様を実行する制御回路（例えば、ブロック制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、現器具データに基づいて、予測された器具データを手術器具４６００の現在のユーザに更に提供できる。例えば、図２４に示すように、予測されるＦＴＦ４０１５”は、ＦＴＦの現在値に基づいて決定され、現ＦＴＦ４０１５、及び以前に収集されたＦＴＦに対してグラフ４０１３上で更に表示される。追加的に、又は代替的に、図２４に示すように、投影されたＦＴＦ円４０２６をゲージ４０２４に対して表示することができる。
様々な態様では、以前に収集された複合データセット、並びに／あるいは最良実施のＦＴＦ及び／又はＦＴＣは、ユーザ、病院内の他のユーザ及び／又は他の病院のユーザによって実行された同じ外科手術及び／又は他の外科手術における以前の手術器具４６００の使用から決定される。このようなデータは、例えば、クラウド１０４からインポートすることによって、プロセス４０００の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）が利用可能にすることができる。
様々な態様では、プロセス４０００の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、エンドエフェクタのジョーがクランプ段階中にジョー間で捕捉された組織を変形し始めると、組織厚さ、圧縮、及び硬さのフィードバック測定値を、術野における手術器具４６００のライブ映像を表示するスクリーン上に視覚的に重ね合わせるようにすることができる。視覚的オーバーレイは、組織変形を表す可視化データを、経時的なクランプ力の変化に相関させる。この相関は、ユーザの適切なカートリッジの選択の確認、発射開始時間の決定、好適な発射速度の決定に役立つ。更に、相関から、適応型クランプアルゴリズムを知ることもできる。適応的な発射速度の変更は、結果を通信するゲージ又はメータが、術野におけるエンドエフェクタのライブ映像を表示するスクリーン上に重ね合わせられている間、測定された力、並びに、手術器具４６００のジョーの直ぐ隣の組織の運動の変化（例えば、主歪、組織の滑りなど）によって知ることが可能である。
上記に加えて、手術器具４６００の運動学は、別の使用やユーザに対して器具の動作を指示することもできる。運動学は、加速度計、トルクセンサ、力センサ、モーターエンコーダ、あるいは任意の他の好適なセンサで確認することができ、手術器具又はその構成要素の様々な力、速度、及び／又は加速度データを取得して、対応する可視化データと相関させることができる。
様々な態様では、可視化データ及び／又は器具データから、最良実施の手術技法から逸脱していることが検出された場合、プロセス４０００の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は代替の外科技法を提示できる。少なくとも１つの例では、器具の動き、力、組織インピーダンス、及び提案された代替技術による結果の適応的な表示が示される。可視化データが術野内における血管及びクリップアプライヤの検出を示す場合、プロセス４０００の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、クリップアプライヤに対する血管の垂直性を更に確保することができる。制御回路は、所望の垂直性を達成するために、位置、向き、及び／又はロール角度を変化させることを示唆できる。
様々な態様では、制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、リアルタイム可視化データを術前計画シミュレーションと比較することによって、プロセス４０００を実行できる。ユーザは、術前患者スキャンを利用して、手術アプローチをシミュレートすることができる。術前計画シミュレーションは、ユーザが訓練実行に基づいて、特定の術前計画に従うことを可能にすることができる。制御回路は、術前スキャン／シミュレーションの基準ランドマークを現在の可視化データと相関させるように構成することができる。少なくとも１つの例では、制御回路は、対象物の境界追跡を採用して、相関を確立してよい。
手術器具が組織と相互作用し、表面幾何学形状を変形させると、表面幾何学形状の変化を、手術器具の位置の関数として計算することができる。組織との接触時の手術器具の位置の所与の変化について、組織の幾何学の幾何学形状の対応する変化は、手術器具が接触する組織領域内の表面下構造に依存し得る。例えば、胸部手術では、気道の部分構造を含む領域における組織の幾何学形状の変化は、実質組織の部分構造を有する領域とは異なる。一般に、部分構造がより硬いと、手術器具の位置の所与の変化に応答して、表面組織の幾何学形状の変化はより小さくなる。様々な態様では、制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、所与の患者の表面幾何学形状の変化に対する手術器具の位置の変化の実行平均を計算し、患者固有の差異を得るよう構成することができる。追加的に、又は、代替的に、計算された実行平均は、以前に収集されたデータの第２セットと比較することができる。特定の例では、器具位置の変化ごとに表面幾何学形状の変化が測定されない場合、表面参照を選択され得る。少なくとも１つの例では、制御回路は、組織領域と手術器具との間の所与の接触に応答して、検出された表面幾何学形状の変化に基づいて、部分構造の位置を決定するように構成することができる。
更に、制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、設定済み器具と組織との接触と、設定済み器具と組織との接触に関連する１つ以上の組織と表面幾何学形状の変化との間の相関に基づいて、組織治療を通して設定済み器具と組織との接触を維持するように構成することができる。例えば、手術器具４６００のエンドエフェクタは、器具と組織との接触を設定する所望の圧縮で、ジョー間で組織をクランプすることができる。組織と表面幾何学形状の対応する変化は、可視化システムによって検出することができる。更に、制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、所望の圧縮に関連する組織と表面幾何学形状の変化を示す可視化データを導出することができる。更に、制御回路は、閉鎖モータ４６０３（図２２）のモータ設定を自動的に調節して、所望の圧縮に関連する組織と表面幾何学形状の変化を維持することができる。この配置では、可視化データに基づいて組織に対するジョーの圧縮を連続的に調節することによって、所望の圧縮に関連する組織と表面幾何学形状の変化を維持するために、手術器具４６００と可視化システムとの間の連続的な相互作用が必要とされる。
更に別の例では、手術器具４６００がロボット手術システム（例えば、ロボットシステム１１０）のロボットアームに取り付けられたロボットツールである場合、ロボット手術システムは、組織との設定された表面接触に応答して検出された組織の表面幾何学形状における検出された変化から導出される可視化データに基づいて、組織との設定された表面接触を維持するためにロボット手術システムの１つ以上の構成要素を自動的に調節するように構成することができる。
様々な例では、可視化データは測定された器具データと組み合わせて使用されて、組織に対して器具を移動させる間に、ユーザが組織を操作して既定の負荷を組織に加えることができるように、位置又は負荷の制御のいずれかで組織同士の接触を維持できる。ユーザは、接触又は圧力を維持したいことを指定することができ、器具の内部負荷と共に器具の視覚的追跡を使用して、固定パラメータを変更せずに再配置が可能になり得る。
図２５Ａと図２５Ｂを参照すると、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）のスクリーン４６０１は、外科手術中に術野のリアルタイムビデオ映像を表示する。手術器具４６００のエンドエフェクタ４６４２は、例えば、重ね合わせられたＭＲＩ画像を介して、術野で特定された腫瘍の近くで組織をクランプするジョーを含む。エンドエフェクタ４６４２のジョーは、アンビル４６４３と、ステープルカートリッジを収容するチャネルとを備える。アンビル４６４３及びチャネルのうちの少なくとも１つは、アンビル４６４３とステープルカートリッジとの間で組織を捕捉するために、他方に対して移動可能である。次いで、捕捉された組織は、手術器具４６００の発射シーケンス中にステープルカートリッジから展開可能なステープル４６４４を介して、ステープリングされる。加えて、捕捉された組織は、発射シーケンス中であるが、ステープル展開の少し後に、遠位に前進した切断部材４６４５を介して切断される。
図２５Ａで明らかなように、発射シーケンス中、捕捉された組織、及びステープル４６４４及び切断部材４６４５などのエンドエフェクタ４６４２の特定の内部構成要素の位置及び／又は動きは、スクリーン４６０１上のライブ映像の標準ビュー４６４０では見えないことがある。特定のエンドエフェクタは、発射シーケンスの始めと終わりに切断部材４６４５を部分的に見えるようにするが、発射シーケンス中には見えないようにする窓４６４１、４６５３を含む。したがって、手術器具４６００のユーザは、スクリーン４６０１上で発射シーケンスの進行を追跡することができない。
図２６は、本開示の少なくとも１つの態様に係る、エンドエフェクタ構成要素の仮想表示の動きとエンドエフェクタ構成要素の実際の動きとを同期させるための制御プログラム又は論理構成を示すプロセス４０３０の論理フロー図である。プロセス４０３０は、一般に、外科手術の間に実行され、４０３１で、発射シーケンス中のエンドエフェクタの内部構成要素の動きを検出することと、４０３２で、この内部構成要素の仮想表示をエンドエフェクタ上に、例えば、重ね合わせることによって、提示することと、４０３３で、スクリーン４６０１上の仮想表示の動きを、内部構成要素の検出された動きと同期させることと、を含む。
プロセス４０３０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４０３０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４０３０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４０３０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４０３０は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な例では、プロセス４０３０の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、発射シーケンス中のエンドエフェクタ４６４２の内部構成要素の動きを示す器具データを受信することができる。内部構成要素の動きは、例えば、発射モータ４６０２の従来のロータリエンコーダを使用して追跡することができる。他の例では、内部構成要素の動きは、絶対位置決めシステムを採用する追跡システムによって追跡することができる。絶対位置決めシステムに関する詳細な説明は、その全体が参照により本明細書に組み込まれる「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年１０月１９日公開の米国特許出願公開第２０１７／０２９６２１３号に記載されている。いくつかの例では、内部構成要素の動きは、例えば、全磁界を測定するか又は磁界のベクトル成分を測定するかに応じて分類される磁気センサなど、任意の数の磁気検知素子を備え得る１つ以上の位置センサを使用して追跡することができる。
様々な態様では、プロセス４０３０は、オーバーレイトリガを含む。少なくとも１つの例では、オーバーレイトリガは、組織がエンドエフェクタ４６４２によって捕捉されたことを検出することができる。エンドエフェクタ４６４２によって捕捉された組織が検出された場合、プロセス４０３０は、エンドエフェクタ４６４２上に、開始位置における切断部材４６４５の仮想表示を重ね合わせる。プロセス４０３０は、ステープルが捕捉された組織内で展開される場所を概説するステープルラインを投影させることを更に含む。更に、ユーザによる発射シーケンスの起動に応答して、プロセス４０３０は、切断部材４６４５の仮想表示を、エンドエフェクタ４６４２内の切断部材４６４５の実際の動きを模倣して遠位に移動させる。ステープルが展開されると、プロセス４０３０は未発射のステープルを発射済みステープルへと変換することで、ユーザは、ステープル展開及び切断部材４６４５の前進をリアルタイムで視覚的に追跡できる。
様々な例では、プロセス４０３０の１つ以上の態様を実行する制御回路（例えば、ブロック制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、例えば、閉鎖モータ４６０３（図２２）が閉鎖モータ駆動アセンブリ４６０５を通じてエンドエフェクタ４６４２のジョーに加える力を示す器具データから、組織がエンドエフェクタ４６４２によって捕捉されたことを検出することができる。制御回路は更に、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）から導出された可視化データから、術野内のエンドエフェクタの位置を決定できる。少なくとも１つの例では、エンドエフェクタの位置は、例えば、重要構造などの組織内の基準点に対して決定することができる。
いずれにせよ、制御回路は、内部構成要素の仮想表示を、エンドエフェクタ内の内部構成要素の位置に相応する位置において、スクリーン４６０１上のエンドエフェクタ４６４２上に重ね合わせる。更に、制御回路は、内部構成要素の投影された仮想表示を、発射シーケンス中に内部構成要素と同期して移動させる。少なくとも１つの例では、同期は、制御回路が仮想表示を重なり合う場所を決定するための基準点として使用できる、エンドエフェクタ４６４２上のマーキングの統合によって改善される。
図２５Ｂは、スクリーン４６０１上の術野のライブ映像の拡張ビュー４６５１を示す。図２５Ｂの例の拡張ビュー４６５１では、ステープル４６４４及び切断部材４６４５の仮想表示は、発射シーケンス中にエンドエフェクタ４６４２上に重ね合わせられる。オーバーレイは、発射済みステープル４６４４ａと未発射のステープル４６４４ｂとを区別し、完成した切断線４６４６ａと投影切断線４６４６ｂとを区別して、発射シーケンスの進行を追跡する。更に、オーバーレイは、ステープルライン４６４７の始点、及び組織の端部に到達しない切断線におけるステープルラインの投影端４６４９も示す。そして、腫瘍ＭＲＩ画像のオーバーレイに基づいて、腫瘍と投影切断線４６４６ｂとの間の安全マージン距離「ｄ」を測定し、オーバーレイと共に提示される。重ね合わせられた安全マージン距離「ｄ」は、全ての腫瘍が除去されることをユーザに保証する。
図２５Ｂに示すように、制御回路は、内部構成要素の実際の動きと相関させるために、可視化システムに内部構成要素の仮想表示を連続的に再配置させるように構成されている。図２５Ｂの例では、このオーバーレイは、完成した切断線４６４６が、距離「ｄ１」だけ発射済みステープルライン４６４４ａの後ろで僅かにラギングしていることを示しており、これは、発射シーケンスが適切に進行していることをユーザに保証する。
ここで図２７を参照すると、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）は、器具照明４０５８及びカメラ４０５９を採用して、トロカール位置を検出及び／又は画定することができる。決定されたトロカール位置に基づいて、ユーザは、時間効率、重要構造の位置、及び／又は回避若しくはリスクに基づいて、意図された機能を完了するのに最も好適なトロカールポートに方向付けられ得る。
図２７は、体壁に対して、及び体壁４０５０内部の腔４０５２内の重要構造４０５１に対して異なる位置及び向きで体壁４０５０を通って延在する３つのトロカール位置（トロカール１、トロカール２、トロカール３）を示す。トロカールは、矢印４０５４、４０５５、４０５６で表される。照明器具４０５８により、周囲環境上のカスケード状の光又は画像を使用することによって、トロカール位置を検出できる。更に、照明器具４０５８の光源は、回転式光源であってもよい。少なくとも１つの例では、照明器具４０５８及びカメラ４０５９の光源は、例えば、重要構造４０５１などの標的位置に対するトロカールの距離を検出するために利用される。様々な例では、照明器具４０５８の光源によって投影された光を記録するカメラ４０５９から導出された可視化データに基づいて、より好ましい器具位置が決定されると、可視化システムは、器具の位置変化を示唆することができる。スクリーン４０６０は、トロカールと標的組織との間の距離、トロカールを通した器具アクセスが許容できるかどうか、トロカールの利用に関連するリスク、及び／又はトロカールを使用した予想される手術時間を表示することができ、これは、手術具を腔４０５２に導入に最適なトロカールを選択する際に、ユーザを支援することができる。
様々な態様では、手術用ハブ（例えば、手術用ハブ２１０６、２１２２）は、例えば、ユーザデータベースから受信することができるユーザ特性に基づいて、手術具を腔４０５２に挿入するための最適なトロカールを推奨することができる。ユーザ特性は、ユーザの利き手、患者側ユーザの嗜好、及び／又は、ユーザの身体的特性（例えば、身長、腕の長さ、可動域）を含む。手術用ハブは、これらの特性、利用可能なトロカールの位置及び向きのデータ、並びに／又は重要構造の位置データを利用して、ユーザの疲労を低減し、効率を高めるために、手術具を挿入するのに最適なトロカールを選択することができる。様々な態様では、手術用ハブは更に、ユーザがエンドエフェクタの向きを反転させた場合、手術器具にその制御を反転させることができる。
手術用ハブは、可視化データに基づいて、手術器具の出力を再構成することができる。例えば、手術用ハブは、手術器具が後退されていること、又は異なるタスクを実行するために利用されていることを可視化データが示した場合、手術器具の治療エネルギー出力のアクティブ化を抑止できる。
様々な態様では、可視化システムは、血液表面を追跡、又は血液量ベースの反射ＩＲ又は赤色波長を推定して、非血液表面及び表面幾何学形状測定から血液を描写するように構成することができる。これは絶対的な静的指標として、又は出血の量及び変化の度合いに関する定量データを提供するための変化率として報告することができる。
図２８を参照すると、例えば、構造化光プロジェクタ７０６及びカメラ７２０などの可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）の様々な要素を使用して、解剖学的臓器の可視化データを生成して、解剖学的臓器の仮想３Ｄ構造体４１３０を生成することができる。
本明細書に記載されるように、例えば、縞又は線の形態の構造化光は、光源及び／又はプロジェクタ７０６から標的とされる解剖学的構造の表面７０５上に投影されて、表面７０５の形状及び輪郭を特定することができる。例えば、撮像デバイス１２０（図１）と様々な点で類似し得るカメラ７２０は、表面７０５上の投影された光パターンを検出するように構成することができる。投影されたパターンが表面７０５に衝突する際に変形すると、視覚システムが標的とされる解剖学的構造の深さ及び表面情報を算出することが可能になる。
図２９は、本開示の少なくとも１つの態様に係る、制御プログラム又は論理構成を示すプロセス４１００の論理フロー図である。様々な例では、プロセス４１００は、４１０１で、外科手術を特定し、４１０２で、外科手術の標的とされる解剖学的臓器を特定する。更に、プロセス４１００は、４１０４で、解剖学的臓器の少なくとも一部分の仮想３Ｄ構造体４１３０を生成し、４１０５で、外科手術に関連する解剖学的臓器の少なくとも一部分の解剖学的構造を特定し、４１０６で、解剖学的構造を仮想３Ｄ構造体４１３０へと連結し、４１０７で、解剖学的構造に基づいて決定される外科手術のレイアウト計画を仮想３Ｄ構造体４１３０上に重ね合わせる。
プロセス４１００の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４１００の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４１００の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４１００の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４１００の１つ以上の態様は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な態様では、プロセス４１００は、１つ以上の手術システム２１０２と、クラウドベースシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）と、を含むコンピュータ実装インタラクティブ手術システム２１００（図１９）によって実装することができる。各手術システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの手術用ハブ２１０６を含む。プロセス４１００の１つ以上の態様を実行する制御回路は、可視化システムの構成要素（例えば、可視化システム１００、１６０、５００、２１０８）であり得る。
プロセス４１００の１つ以上の態様を実行する制御回路（例えば、ブロック制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、情報を記憶しているデータベースからそのような情報を取得するか、あるいは、ユーザ入力から直接情報を取得することにより、４１０１で、外科手術を特定する、及び／又は、４１０２で、外科手術の標的とされる解剖学的臓器を特定することができる。少なくとも１つの例では、データベースはクラウドベースのシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）に記憶される。少なくとも１つの例では、データベースは、院内ＥＭＲを含む。
一態様では、手術システム２２００は、例えば、手術室内に配置された可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）などの複数の手術現場デバイスに接続された手術用ハブ２２３６を含む。少なくとも１つの例では、手術用ハブ２２３６は、手術用ハブ２２３６を可視化システム、クラウド２２０４、及び／又はリモートサーバ２２１３に通信可能に連結するための通信インターフェイスを含む。プロセス４１００の１つ以上の態様を実行する手術用ハブ２２３６の制御回路は、クラウド２２０４に記憶されているデータベースから、あるいは、リモートサーバ２２１３からこのような情報を取得することにより、４１０１で、外科手術を特定する、及び／又は、４１０２で、外科手術の標的とされる解剖学的臓器を特定することができる。
プロセス４１００の１つ以上の態様を実行する制御回路は、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）に、解剖学的臓器の少なくとも一部分の初期スキャンを実行させて、４１０４で、外科手術の標的とされる解剖学的臓器の少なくとも一部分の三次元（「３Ｄ」）構造体４１３０を生成してもよい。図２８に示す例では、解剖学的臓器は胃４１１０である。制御回路は、例えば、構造化光プロジェクタ７０６、及びカメラ７２０などの可視化システムの１つ以上の要素に、構造化光４１１１を利用して、カメラ（単数又は複数）が体内に導入された際に解剖学的臓器の少なくとも一部分のスキャンを実行することによって、可視化データを生成させることができる。現在の可視化データ、術前データ（例えば、患者のスキャン及び他の関連する臨床データ）、同じ又は他の患者に対して実行された以前の類似の外科手術からの可視化データ、並びに／あるいはユーザ入力を活用して、解剖学的臓器の少なくとも一部分の３Ｄ構造体を生成することができる。
更に、プロセス４１００の１つ以上の態様を実行する制御回路は、４１０５で、外科手術に関連する解剖学的臓器の少なくとも一部分の解剖学的構造を特定する。少なくとも１つの例では、ユーザは、任意の好適な入力デバイスを使用して解剖学的構造を選択することができる。追加的に、又は、代替的に、可視化システムは、反射されたスペクトル波形を検出し、様々な波長に対する分子応答に基づいて画像を生成するように構成されている、スペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）付き１つ以上の撮像デバイス１２０を含み得る。組織の光学吸収特性又は屈折特性を制御回路で利用して、解剖学的臓器の異なる組織種類を区別し、それによって、関連する解剖学的構造を特定することができる。加えて、現在の可視化データ、術前データ（例えば、患者のスキャン及び他の関連する臨床データ）、同じ又は他の患者に対して実行され以前の類似の外科手術からの記憶済み可視化データ、並びに／あるいはユーザ入力を制御回路により活用して、関連する解剖学的臓器を特定することができる。
特定された解剖学的構造は、術野の解剖学的構造であり得る、及び／又は、解剖学的構造は、ユーザによって選択することができる。様々な例では、術野に方向付けられたカメラの現在のビューを越えて、関連する解剖学的構造の位置追跡を拡大することができる。一例では、これは、共通の可視連結ランドマークを使用することにより、あるいは、二次連結運動追跡を使用することで達成される。二次追跡は、例えば、二次撮像源、スコープの動きの算出、及び／又は、二次可視化システムによる測定値である事前に確立されたビーコンを通じて達成することができる。
図１４に関連して上記で詳述したように、可視化システムは、構造化光プロジェクタ７０６を利用して、カメラ７２０が標的位置までの距離を決定し得るパターン又はラインのアレイをキャストすることができる。次いで、可視化システムは、決定された距離に等しい設定距離で既知のサイズのパターン又はラインを放射することができる。加えて、スペクトルカメラは、標的位置における組織の光吸収、又は屈折特性に応じて変動し得るパターンのサイズを決定することができる。既知のサイズと決定されたサイズとの差は、標的位置における組織密度を示し、これは、標的位置での組織種類を示す。プロセス４１００の１つ以上の態様を実行する制御回路は、標的位置での決定された組織密度に少なくとも部分的に基づいて、関連する解剖学的構造を特定することができる。
少なくとも１つの例では、組織密度における検出された異常は、疾患状態に関連し得る。更に、制御回路は、可視化データを介して検出された組織密度に基づいて、組織を治療する手術器具の１つ以上の設定を選択、更新、あるいは修正する。例えば、制御回路は、組織をステープリングし、切断するために利用される手術用ステープラの様々なクランプパラメータ及び／又は発射パラメータを変更できる。少なくとも１つの例では、制御回路は、発射シーケンスを減速することができ、及び／又は、可視化データによって検出された組織密度に基づいてクランプ時間を延長することを可能にし得る。様々な例では、制御回路は、例えば、バイトサイズを低減する命令、電気手術器具のエネルギー送達出力を増減させる命令、及びジョー閉鎖の量を調節する命令をスクリーン上で表示することによって、異常な組織密度を手術器具のユーザに警告することができる。別の例では、可視化データにより、組織が脂肪組織であることが示された場合、命令は、エネルギー印加時間を短縮するために電力を増加させることであり得る。
更に、外科手術種類を特定すると、制御回路による標的臓器特定を容易にすることができる。例えば、処置が左上肺葉切除術である場合、肺が標的臓器である可能性が高い。したがって、制御回路は、このような処置において一般に使用される肺、及び／又は器具に関連する可視化データ、及び非可視化データのみを考慮する。そして、処置の種類の知識により、例えば、腫瘍の位置又はステープルラインの配置を通知する他の画像融合アルゴリズムがより有効になる。
様々な態様では手術台の位置及び／又は気腹圧の知識により、プロセス４１００の１つ以上の態様を実行する制御回路によって使用され、可視化データから特定される標的解剖学的臓器及び／又は関連する解剖学的構造のベースラインの位置を確立することができる。手術台の運動（例えば、患者を平坦な位置から逆トレンデレンブルグ体位へ移動させること）は、解剖学的構造の変形を引き起こすことがあり、これを追跡し、ベースラインと比較して、標的臓器及び／又は関連する解剖学的構造の位置及び状態を継続的に通知することができる。同様に、体腔内の気腹圧力の変化は、体腔内の標的臓器及び／又は関連する解剖学的構造のベースライン可視化データを干渉する可能性がある。
制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、外科手術中に手術台上の患者の標的臓器及び／又は関連する解剖学的構造のベースライン可視化データを導出し、手術台の位置の変化を決定し、新しい位置における患者の標的臓器及び／又は関連する解剖学的構造のベースライン可視化データを再導出するプロセスの１つ以上の態様を実行することができる。
同様に、制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、外科手術中に手術台上の患者の標的臓器及び／又は関連する解剖学的構造のベースライン可視化データを導出し、患者の体腔内の気腹圧力の変化を決定し、新しい気腹圧力における患者の標的臓器及び／又は関連する解剖学的構造のベースライン可視化データを再導出するプロセスの１つ以上の態様を実行することができる。
様々な例では、図２８に示すように、プロセス４１００の１つ以上の態様を実行する制御回路は、解剖学的構造の位置を示すために、臓器の仮想３Ｄ構造体上にランドマーク又は標識を重ね合わせることによって、特定された解剖学的構造を仮想３Ｄ構造体に連結することができる。また、制御回路は、ユーザが定義した構造及び組織平面を仮想３Ｄ構造体上に重ね合わせることもできる。様々な態様では、組織種類の階層を確立して、仮想３Ｄ構造体上で特定された解剖学的構造を編成することができる。以下に提供される表１は、肺と胃の例示的な階層を示す。
Figure 2023508569000003
様々な態様では、仮想３Ｄ構造体上で特定される関連する解剖学的構造は、エラーを補正するために、あるいは好みで、ユーザにより改称及び／又は再配置することができる。少なくとも１つの例では、補正は音声起動式であり得る。少なくとも１つの例では、将来の機械学習用に補正が記録される。
上記に加えて、プロセス４１００の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、４１０７で、外科手術のレイアウト計画（例えば、レイアウト計画４１２０）を標的臓器（例えば、胃４１１０）の仮想３Ｄ構造体上に重ね合わせることができる。少なくとも１つの例では、仮想３Ｄ構造体は、術野のライブ映像／ビューを表示するスクリーンから可視化システムの別個のスクリーン上に表示される。別の例では、１つのスクリーンは、術野と３Ｄ構造体のライブ映像とを交互に表示することができる。このような例では、ユーザは、任意の好適な入力デバイスを使用して、２つのビューを交互に切り換えることができる。
図２８に示す例では、制御回路は、外科手術がスリーブ状胃切除手術であり、標的臓器が胃であると決定している。腹腔の初期スキャンでは、制御回路は、例えば、構造化光データ、及び／又はスペクトルデータなどの可視化データを使用して、胃、肝臓、脾臓、胃の大彎、及び幽門を特定する。これは、処置と対象構造の知識によって通知される。
例えば、構造化光データ及び／又はスペクトルデータなどの可視化データは、現在の構造化光データを、このような臓器と以前に関連付けられた記憶済み構造化光データと比較することによって、胃４１１０を特定するために、制御回路により利用することができる。少なくとも１つの実施例において、制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、臓器の特徴的な解剖学的輪郭を表す構造化光データ、及び／又は、特徴的な表面下組織の特徴を表すスペクトルデータを利用して、外科手術のレイアウト計画（例えば、レイアウト計画４１２０）に関連する解剖学的構造を特定することができる。
少なくとも１つの例では、可視化データを利用して、幽門４１３１の位置４１１３を示す幽門静脈４１１２を特定し、胃の大彎４１１０の位置４１１５を示す胃－大腸血管４１１４を特定し、切痕角４１３２の位置４１１７を示す右胃静脈の湾曲部４１１６を特定し、かつ／又はＨｉｓ角４１２１の位置４１１９を特定することができる。制御回路は、特定された位置のうちの１つ以上にランドマークを割り当てることができる。少なくとも１つの例では、図２８に示すように、制御回路は、可視化システムに、上述したように可視化データを使用して生成された胃４１１０の仮想３Ｄ構造体上の位置４１１３、４１１７、４１１９上にランドマークを重ね合わせさせる。様々な態様では、ランドマークを、仮想３Ｄ構造体及び術野ビュー上に同期して重ね合わせて、ユーザが、ランドマークを見失うことなくビューを切り替えることを可能にすることできる。ユーザは、全体的なレイアウト計画を示すために仮想３Ｄ構造体を表示するスクリーンのビューで拡大することができ、あるいは、術野ビューに類似する一部分を示すためにズームインすることができる。制御回路は、ランドマークを継続的に追跡し、更新することができる。
スリーブ状胃切除術において、外科医は、主として、幽門から約４ｃｍのところに胃組織をステープリングする。ステープリングに先立ち、スリーブ状胃切除手術の開始時に患者の腹腔内にエネルギーデバイスを導入し、幽門から約４ｃｍの位置又は約４ｃｍの位置で胃大網動脈及び腹膜を大彎から切開する。上述のように、位置４１１３を特定した制御回路は、位置４１１３から約４ｃｍ又は約４ｃｍの位置で、エネルギーデバイスのエンドエフェクタのオーバーレイを自動的に引き起こすことができる。幽門から約４ｃｍの又は約４ｃｍの位置にあるエネルギーデバイスのエンドエフェクタ、あるいは、任意の好適なランドマークを重ね合わせることにより、スリーブ状胃切除術の開始位置を特定することができる。
外科医が胃の大彎に沿って切開するにつれて、制御回路は、位置４１１３のランドマーク及び／又はエネルギーデバイスの重ね合わせられたエンドエフェクタを除去させる。外科医が脾臓にアプローチすると、仮想３Ｄ構造体ビュー、及び／又は術野ビュー上に距離インジケータが自動的に重ね合わせられる。制御回路は、距離インジケータに、脾臓からの２ｃｍの距離を特定させることができる。制御回路は、切開経路が、例えば脾臓から２ｃｍに達した際、あるいは、達しようとしている際に、距離インジケータを点滅させる、及び／又は色を変更させることができる。距離インジケータオーバーレイは、ユーザがＨｉｓ角４１２１の位置４１１９に到達するまで残る。
図３０を参照すると、手術用ステープラが腹腔内に導入されると、制御回路は、可視化データを利用して、幽門４１３１、角切痕４１３２、胃４１１０の大彎４１３３、胃４１１０の小彎４１３４、及び／又はスリーブ状胃切除手術に関連する他の解剖学的構造を特定できる。ブジーのオーバーレイも同様に示され得る。体腔内への手術器具の導入（例えば、手術用ステープラの腹腔への導入）は、独自の色、標識、及び／又は形状など、エンドエフェクタ上の視覚的キューを示す可視化データから、制御回路によって検出することができる。制御回路は、このような視覚的キュー及び対応する視覚的キューを記憶しているデータベース内で手術器具を特定することができる。あるいは、制御回路は、体腔内に挿入された手術器具を特定するよう、ユーザに促すことができる。あるいは、体腔へのアクセスを支援する手術用トロカールは、これを通して挿入された手術器具を検出するための１つ以上のセンサを含み得る。少なくとも１つの例では、センサは、手術器具のＲＦＩＤチップから手術器具を特定するように構成されたＲＦＩＤリーダを備える。
関連する解剖学的構造を特定するランドマークに加えて、可視化システムはまた、推奨される治療経路の形態であり得るような手術処置レイアウト計画４１３５を、３Ｄ重要構造上、及び／又は術野ビュー上に重ね合わせることできる。図３０の例では、外科手術はスリーブ状胃切除術であり、処置レイアウト計画４１３５は、３つの切除経路４１３６、４１３７、４１３８、及び結果として生じるスリーブの対応するアウトカムボリュームの形態である。
図３０に示すように、スリーブを作成するための幽門４１３１から開始点までの距離（ａ、ａ１、２）である。各開始点がもたらすスリーブサイズは、異なる（例えば、幽門４１３１からの距離ａ、ａ１、ａ２における開始点４１４６、４１４７、４１４８について、それぞれ４００ｃｃ、４２５ｃｃ、４５０ｃｃである）。一例では、制御回路は、ユーザにサイズ選択の入力を促し、それに応答して、選択されたスリーブサイズをもたらし、切除経路の形態であり得るような処置レイアウト計画を提示する。別の例では、図３０に示すように、制御回路は、複数の切除経路４１３６、４１３７、４１３８、及び対応するスリーブサイズを提示する。次いで、ユーザは、提案された切除経路４１３６、４１３７、４１３８のうちの１つを選択することができ、それに応答して、制御回路は、選択されていない切除経路を除去する。
更に別の例では、制御回路により、ユーザは、仮想３Ｄ構造体及び／又は術野上に重ね合わせられた切除経路を示すスクリーン上で、提案された切除経路を調節することができる。制御回路は、調節に基づいてスリーブサイズを算出できる。あるいは、別の例では、ユーザは、幽門４１３１から所望の距離で、スリーブを形成するための開始点を選択することが可能になる。それに応答して、制御回路は、選択された開始点に基づいて、スリーブサイズを算出する。
例えば、可視化システムに、仮想３Ｄ構造体ビュー及び／又は術野ビュー上に切除経路を重ね合わせさせることによって、切除経路の提示を達成することができる。逆に、可視化システムに、仮想３Ｄ構造体ビュー及び／又は術野ビューからこのような切除経路のオーバーレイを除去させることによって、提案された切除経路の除去を達成することができる。
更に図３０を参照すると、特定の実施例では、手術用ステープラのエンドエフェクタが、提案された開始点４１４６、４１４７、４１４７から選択された開始点と、切痕角４１３２から既定の距離にある終了位置４１４０との間で胃組織をクランプすると、制御回路は、手術用ステープラのクランプに関する情報及び／又は発射に関する情報を提示する。少なくとも１つの例では、図２４に示すように、可視化データ４０１０及び器具データ４０１１から、複合データセット４０１２を表示することができる。追加的に、又は、代替的に、ＦＴＣ、及び／又はＦＴＦの値を表示することができる。例えば、円４０２０によって表されるＦＴＣの現在値は、ゲージ４０２１に対してリアルタイムで示され、インジケータ４０２２は、最良実施のＦＴＣを表すことができる。同様に、円４０２３によって表されるＦＴＦの現在値は、ゲージ４０２４に対して示され、インジケータ４０２５は、最良実施のＦＴＦを表すことができる。
手術用ステープラが発射された後、以下により詳述するように、手術用ステープラのスクリーンの上に、又は可視化システムのスクリーンのうちのいずれかの上に、新しいカートリッジの選択に関する推奨事項を提示することができる。手術用ステープラが腹腔から除去され、選択されたステープルカートリッジを用いて再装填され、腹腔内に再導入されると、胃４１１０の小彎４１３４に沿った複数の点から選択された切除経路までの一定の距離（ｄ）を特定する距離インジケータは、仮想３Ｄ構造体ビュー及び／又は術野ビュー上に重ね合わせられる。手術用ステープラのエンドエフェクタの適切な向きを確保するために、手術用ステープラのエンドエフェクタの遠位端の標的からの距離、並びに、近位端から以前に発射されたステープルラインまでの距離が、仮想３Ｄ構造体ビュー及び／又は術野ビュー上上に重ね合わせられる。このプロセスは、切除が完了するまで繰り返される。
制御回路が提案かつ／又は算出する距離のうちの１つ以上は、記憶されたデータに基づいて決定することができる。少なくとも１つの例にでは、記憶されたデータは、術前データ、ユーザ嗜好データ、及び／又は、ユーザ若しくは他のユーザが以前に実行された外科手術のデータを含む。
図３１を参照すると、プロセス４１５０は、本開示の少なくとも１つの態様に係る、解剖学的臓器の一部分を除去するための切除経路を提案するための制御プログラム又は論理構成を示している。プロセス４１５０は、プロセス４１００に関連して本明細書の他箇所でより詳述されるように、４１５１で、外科手術の標的とされる解剖学的臓器を特定し、４１５２で、外科手術に関連する解剖学的臓器の解剖学的構造を特定し、４１５３で、手術器具によって、解剖学的臓器の一部分を除去するための切除経路を提案する。手術切除経路は、解剖学的構造に基づいて決定される。少なくとも１つの例では、手術切除経路は、異なる開始点を含む。
プロセス４１５０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４１５０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４１５０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４１５０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４１５０は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
図３２Ａ～図３２Ｄを参照すると、プロセス４１００又はプロセス４１５０の１つ以上の態様を実行する制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、実装中に外科手術のレイアウト計画をリアルタイムで更新、あるいは修正するために動的可視化データを利用し得る。少なくとも１つの例では、制御回路は、切除される組織及び周辺組織の進捗を追跡する可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）の１つ以上の撮像デバイスからの動的可視化データに基づいて、手術器具によって臓器の一部分又は異常（例えば、腫瘍や部位）を除去するための設定済み切除経路（図３２Ｂ）を、代替切除経路（図３２Ｄ）に修正する。切除経路の修正は、切除経路への重要構造（例えば、血管）の位置のずれによってトリガすることができる。例えば、組織切除プロセスは、ときどき、組織の形状及び／又は体積を変化させる組織の炎症につながることがあり、それによって、重要構造（例えば、血管）の位置がずれを引き起こすことがある。動的可視化データにより、制御回路は、設定済み切除経路付近の重要構造及び／又は関連する解剖学的構造の位置及び／又は体積変化を検出することが可能になる。位置及び／又は体積の変化により、重要構造が切除経路の中へと、あるいは切除経路からの安全マージン内にずれる場合、制御回路は、手術器具の代替切除経路を選択すること又は少なくとも推奨することにより、設定済み切除経路を修正する。
図３２Ａは、可視化システムのスクリーン４２３０上の術野のライブビュー４２０１を示す。手術器具４２００は、術野に導入され、標的領域４２０３を除去する。図３２Ｂの領域４２０３の拡大ビューで示されるように、領域を除去するための初期計画レイアウト４２０９は、ライブビュー４２０１上上に重ね合わせられる。領域４２０３は、重要構造４２０５、４２０６、４２０７、４２０８によって囲まれている。図３２Ｂに示されるように、初期計画レイアウト４２０９は、領域４２０３から、既定の安全マージンにある領域４２０３の周りの切除経路を延長する。切除経路は、重要構造の外側（例えば、重要構造４２０８）又は内側（例えば、重要構造４２０６）のいずれか上で延在することによって、重要構造にわたって横断すること、又は通過することを回避する。上述のように、初期計画レイアウト４２０９は、可視化システムからの可視化データに基づいて、制御回路により決定される。
図３２Ａは、後の時間における（００：４３）、可視化システムのスクリーン４２３０上の術野のライブビュー４２０１’を示す。手術器具４２００のエンドエフェクタ４２０２は、レイアウト計画４２０９によって画定された既定の切除経路に沿って組織を切除する。組織の炎症に起因する領域４２０３を含む組織の体積変化によって、例えば、重要構造４２０６及び４２０８は既定の切除経路へとずれる。それに応答して、図３２Ｄに示すように、制御回路は、重要構造４２０６、４２０８の周囲でナビゲートする代替切除経路４２１０を提案し、重要構造４２０６、４２０８が損傷しないように保護する。様々な例では、残されるはずの健康な組織の量を最適化し、かつ、確実に重要構造に当たらないようにするガイダンスをユーザに提供することで、出血を最小限に抑え、手術時間を短縮し、予期せぬ状況に対処するプレッシャを低減すると共に、残存臓器の体積に対する影響とのバランスをとるために、代替切除経路を提案することができる。
様々な態様では、本開示によって説明される１つ以上のプロセスの１つ以上の態様を実行する制御回路は、可視化システムの複数の撮像デバイスから可視化データを受信及び／又は導出することができる。可視化データは、術野のライブビューの外側にある重要構造の追跡を容易にする。共通のランドマークにより、制御回路が可視化システムの複数の撮像デバイスから可視化データを統合することを可能にすることができる。少なくとも１つの例では、例えば、術野のライブビューの外にある重要構造の二次追跡は、二次撮像源、スコープの動きの算出、あるいは、第２システムによって測定される事前に確立されたビーコン／ランドマークを通じて達成することができる。
全般に図３３～図３５を参照すると、プロセス４３００の論理フロー図は、本開示の少なくとも１つの態様に係る、提案された手術切除経路へと、あるいは、その付近で手術器具のパラメータを提示する又は重ね合わせるための制御プログラム又は論理構成を図示している。プロセス４３００は、一般に、外科手術中に実行され、４３０１で、外科手術の標的とされる解剖学的臓器を特定することと、４３０２で、少なくとも１つの撮像デバイスからの可視化データから、外科手術に関連する解剖学的構造を特定することと、４３０３で、手術器具によって解剖学的臓器の一部分を除去するための手術切除経路を提案することと、を含む。少なくとも１つの例では、手術切除経路は、解剖学的構造に基づいて決定される。プロセス４３００は、４３０４で、手術切除経路に従って、手術器具のパラメータを提示することを更に含む。追加的に、又は、代替的に、プロセス４３００は、４３０５で、手術切除経路に従って、手術器具のパラメータを調節することを更に含む。
プロセス４３００の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４３００の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４０３０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４３００の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４３００は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な例では、プロセス４３００の１つ以上の態様を実行する制御回路（例えば、ブロック制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、プロセス４１５０（図３１）、４１００（図２９）に関連して本明細書の他箇所で説明されるように、４３０１で、外科手術の標的とされる解剖学的臓器を特定し、４３０２で、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）の少なくとも１つの撮像デバイスからの可視化データから、外科手術に関連する解剖学的構造を特定し、及び／又は、４３０３で、手術器具（例えば、手術器具４６００）によって解剖学的臓器の一部分を除去するための手術切除経路を提案する。更に、プロセス４３００の１つ以上の態様を実行する制御回路は、４３０３で提案された手術切除経路に従って、手術器具の１つ以上のパラメータを提案、あるいは推奨することができる。少なくとも１つの例では、制御回路は、図３４及び図３５に示すように、４３０４で、提案された手術経路上に、あるいはその近くにそのようなパラメータを重ね合わせることによって、手術器具の推奨されるパラメータを提示する。
図３４は、本開示の少なくとも１つの態様に係る、手術器具４６００を使用して実行されるスリーブ状胃切除術を受ける患者の胃の仮想３Ｄ構造体４１３０を示す。図２８に関連してより詳述するように、例えば、構造化光プロジェクタ７０６及びカメラ７２０などの可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）の様々な要素を使用して、可視データを作成して、仮想３Ｄ構造体４１３０を生成することができる。関連する解剖学的構造（例えば、幽門４１３１、角切痕４１３２、Ｈｉｓ角４１２１）は、可視化システムの１つ以上の撮像デバイスからの可視化データから特定される。少なくとも１つの例では、ランドマークは、ランドマークを仮想３Ｄ構造体４１３０上に重ね合わせることによって、このような解剖学的構造の位置４１１３、４１１７、４１１９に割り当てられる。
加えて、４３０３で、特定された解剖学的構造に基づいて、手術切除経路４３１２を提案する。少なくとも１つの例では、図３４に示すように、制御回路は、手術切除経路４３１２を仮想３Ｄ構造体４１３０上に重ね合わせる。本明細書の他箇所でより詳述されるように、所望の体積出力に基づいて、提案された手術経路を自動的に調節することができる。加えて、可視化データから制御回路で自動的に特定された重要構造及び／又は組織異常に基づいて、投影されたマージンに合わせて、自動的に調節可能である。
様々な態様では、プロセス４３００の少なくとも１つの態様を実行する制御回路は、４３０３で提案された手術切除経路４３１２に従って選択された手術器具のパラメータ４３１４を提示する。図３４に示す例では、パラメータ４３１４は、４３０３で提案された手術切除経路に基づいてスリーブ状胃切除術を実行する際に、手術器具４６００と共に使用するために自動的に選択されたステープルカートリッジを示す。少なくとも１つの例では、パラメータ４３１４は、ステープルカートリッジのサイズ、ステープルカートリッジの色、ステープルカートリッジの種類、及びステープルカートリッジ長のうちの少なくとも１つを含む。少なくとも１つの例では、制御回路は、４３０４で、図３４及び図３５に示すように、４３０３で提案された手術経路４３１２上に、あるいはその近くにそのようなパラメータを重ね合わせることによって、手術器具４６００の推奨されるパラメータ４３１４を提示する。
様々な態様では、プロセス４３００の少なくとも１つの態様を実行する制御回路は、手術切除経路４３１２の１つ以上の部分に沿って、組織パラメータ４３１５を提示する。図３４に示す例では、組織パラメータ４３１５は、手術切除経路４３１２の少なくとも一部分に沿った組織厚さを表す線Ａ－Ａに沿った断面を表示することによって提示される組織厚さである。様々な態様では、手術器具４６００が利用するステープルカートリッジは、組織パラメータ４３１５に従って選択され得る。例えば、図３４に示すように、ステープルのサイズがより大きい黒色カートリッジは、前庭のより厚い筋肉組織と共に使用するために選択され、ステープルのサイズがより小さい緑色カートリッジは、身体の心筋組織及び胃の胃底部と共に使用するために選択される。
組織パラメータ４３１５は、提案された手術切除経路４３１２から生じる、組織厚さ、組織種類、及びスリーブのボリュームアウトカムのうちの少なくとも１つを含む。組織パラメータ４３１５は、患者の臓器の以前に取り込まれたＣＴ画像、超音波画像、及び／若しくはＭＲＩ画像から、並びに／又は以前に知られた平均組織厚さから導出することができる。少なくとも１つの例では、手術器具４６００は、インテリジェント器具（インテリジェント器具２１１２と同様）であり、組織厚さ及び／又は選択されたステープルカートリッジ情報は、閉鎖設定、発射設定、及び／又は任意の他の好適な手術器具の設定を最適化するために手術器具４６００へと送信される。一例では、図１７～図１９に関連して説明したように、組織厚さ、及び／又は選択されたステープルカートリッジ情報は、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）、及び手術器具４６００と通信する手術用ハブ（例えば、手術用ハブ２１０６、２１２２）から手術器具４６００に送信することできる。
様々な例では、プロセス４３００の少なくとも１つの態様を実行する制御回路は、手術切除経路４３１２の少なくとも一部分に沿った決定された組織厚さに従って、２つ以上のステープルカートリッジのサイズ（例えば、４５ｍｍと６０ｍｍ）の配置４３１７を提案する。更に、図３５に示すように、制御回路は、４３０３で提案された手術切除経路４３１２に沿った配置４３１７を提示することも可能である。あるいは、制御回路は、ユーザが選択した手術切除経路に沿った適切な配置４３１７を提示することができる。制御回路は、上述のように、ユーザが選択した切除経路に沿った組織厚さを決定し、この組織厚さに従って、ステープルカートリッジ配置を提案することができる。
様々な態様では、プロセス４３００の１つ以上の態様を実行する制御回路は、結果として生じるスリーブのサイズが所定閾値よりも損なわれることなく、ステープルカートリッジ配置４３１７のステープルカートリッジの数を最小化にするように、手術切除経路を提案する、あるいは、選択された手術切除経路を最適化することができる。使用済みカートリッジの数を低減することにより、処置時間及びコストを削減し、患者の外傷を低減させる。
引き続き図３５を参照すると、配置４３１７は、手術切除経路４３１２の開始と終了を画定する第１ステープルカートリッジ４３５２と最終ステープルカートリッジ４３５３とを含む。提案されたステープルカートリッジ配置４３１７の最終ステープルカートリッジ４３５３僅かな部分のみが必要である場合、制御回路は、結果として生じるスリーブのサイズが所定閾値よりも損なわれることなく、最終ステープルカートリッジ４３５３の必要性を無くすように、手術切除経路４３１２を調節できる。
様々な例では、プロセス４３００の少なくとも１つの態様を実行する制御回路は、図３５に示すように、仮想３Ｄ構造体４１３０を保持部４３１８と除去部４３１９とに仮想的に分離する、提案されたステープルカートリッジ配置４３１７の仮想発射を提示する。保持部４３１８は、ステープルカートリッジ配置４３１７を発射することによって、提案された手術切除経路４３１２の実装から生じるスリーブの仮想表示である。制御回路は更に、保持部４３１８及び／又は除去部４３１９の推定体積を決定できる。保持部４３１８の体積は、結果として生じるスリーブの体積を表す。少なくとも１つの例では、保持部４３１８及び／又は除去部４３１９の体積は、可視化データから導出される。別の例では、保持部４３１８及び／又は除去部４３１９の体積は、保持体積、除去部体積、及び対応する手術切除経路を記憶するデータベースから決定される。データベースは、同一又は少なくとも類似の寸法で、同一又は少なくとも類似の切除経路により切除された臓器に対して以前に実行され外科手術から構築できる。
様々な例では、より詳しく上述したような、臓器の状況認識に基づく所定の平均組織厚さデータの組み合わせは、可視化源からの体積分析と、並びにＣＴ、ＭＲＩ、及び／又は患者用に利用可能であれば超音波二次撮像とを組み合わせて、配置４３１７用の第１ステープルカートリッジを選択するために利用することができる。配置４３１７内の後続のステープルカートリッジの発射は、可視化データに加え、以前の発射からの器具データを使用して、発射パラメータを最適化できる。体積測定を補足するために使用され得る器具データには、例えば、ＦＴＦ、ＦＴＣ、発射及び／又は閉鎖を駆動するモータによる引き込み電流、エンドエフェクタの閉鎖ギャップ、発射速度、ジョーにわたる組織インピーダンス測定、並びに／あるいは手術器具の使用中の待機時間又は休止時間が含まれる。
様々な例では、例えば、構造化光データなどの可視化データは、手術器具（例えば、手術器具４６００）によって処置されている組織の表面幾何学形状の変化を追跡するために使用することができる。更に、例えば、スペクトルデータなどの可視化データを使用して、組織表面の下方の重要構造を追跡することができる。構造化データ及び／又はスペクトルデータを使用して、組織治療を通して設定済み器具と組織との接触を維持することができる。
少なくとも１つの例では、手術器具４６００のエンドエフェクタ４６４２を使用して、ジョー間に組織を把持することができる。例えば、ユーザ入力によって所望の組織と器具との接触が確認されると、所望の組織と器具との接触に関連付けられるエンドエフェクタ及び周辺組織の可視化データを使用して、組織治療の少なくとも一部分を通じて所望の組織と表面との接触を自動的に維持することができる。所望の組織と表面との接触は、例えば、エンドエフェクタ４６４２の位置、向き、及び／又は、ＦＴＣパラメータへの僅かな操作によって自動的に維持できる。
手術器具４６００が手持ち式手術器具である場合、例えば、手術器具４６００のディスプレイ４６２５（図２２）に提示できる命令の形態で、位置及び／又は向きの操作をユーザに提供することができる。また、所望の組織と表面との接触を再確立するためにユーザ操作が必要である場合、手術器具４６００によってアラートを発することができる。一方、例えば、ＦＴＣパラメータ及び／又は関節角に対する操作などの非ユーザ操作は、例えば、手術用ハブ２１０６又は可視化システム２１０８から手術器具４６００のコントローラ４６２０へと通信することができる。次いで、コントローラ４６２０は、モータドライバ４６２６に所望の操作を実装させることができる。手術器具４６００がロボットシステム２１１０のロボットアームに連結された手術器具である場合、位置及び／又は向きの操作を、例えば、手術ハブ２１０６、又は可視化システム２１０８からロボットシステム２１１０に通信することができる。
主に図３６Ａ～図３６Ｃを参照すると、ステープルカートリッジ配置４３１７に第１ステープルカートリッジ４６５２を装填した手術器具４６００の発射が図示されている。第１段階では、図３６Ａに示すように、第１ランドマーク４３６１及び第２ランドマーク４３６２を、手術切除経路４３１２上に重ね合わせる。ランドマーク４３６１、４３６２は、ステープルカートリッジ４６５２によって手術切除経路４３１２上に展開されるステープルライン４３６３の長さを表すステープルカートリッジ４６５２のサイズ（例えば４５）によって画定される距離（ｄ１）だけ離間されている。プロセス４３００の１つ以上の態様を実行する制御回路は、本明細書の他箇所でより詳述されるような可視化データを採用して、ランドマーク４３６１、４３６２を手術切除経路４３１２上に重ね合わせ、例えば、解剖学的構造４３６４、４３６５、４３６６、４３６７などの所定の重要構造に対して、これらの位置を継続的に追跡し、更新することができる。
図３６Ｂに示すように、発射中、ステープルライン４３６３のステープルは組織内へと展開され、切断部材４６４５は、ランドマーク４３６１と４３６２との間で手術切除経路４３１２に沿って組織を切断するように前進する。様々な例では、切断部材４６４５が前進して、処置されている組織が伸張される、及び／又はずれる。所定閾値を超える組織の伸張及び／又はずれは、処置されている組織を通る切断部材４６４５の移動が速すぎることを示す。
図３７は、発射中の組織の伸張、及び／又はずれに対処するように、手術器具の発射速度を調節するための制御プログラム、又は論理構成を示すプロセス４１７０の論理フロー図である。プロセス４１７０は、４１７１で、手術器具の発射中に組織の伸張／ずれを監視することと、４１７２で、組織の伸張／ずれが所定閾値以上である場合、４１７３で、発射パラメータを調節することを含む。
プロセス４１７０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４１７０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４１７０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４１７０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４１７０は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な例では、プロセス４１７０の１つ以上の態様を実行する制御回路（例えば、ブロック制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、４１７１で、可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）からの可視化データを使用して、手術器具４６００の発射中に組織の伸張／ずれを監視する。図３６Ｂに示す例では、４１７１で、可視化データを使用して、発射中に組織へと投影された構造化光グリッドの歪みを追跡すること、及び／又は、隣接する解剖学的構造の位置を表すランドマーク４３６４、４３６５、４３６６、４３６７を追跡することによって、組織の伸張／ずれ（ｄ）を監視する。追加的に、又は、代替的に、４１７１で、発射中にランドマーク４３６２の位置を追跡することによって、組織の伸張（ｄ）を監視できる。図３６Ｂの例では、組織の伸張／ずれ（ｄ）は、発射中のランドマーク４３６１と４３６２と間の距離（ｄ１）と、発射中のランドマーク４３６１と４３６２との間の距離（ｄ２）との差である。いずれにせよ、４１７２で、組織の伸張／ずれ（ｄ）が所定閾値以上である場合、４１７３で、制御回路は、手術器具４６００の発射パラメータを調節して、組織の伸張／ずれ（ｄ）を低減させる。例えば、制御回路は、コントローラ４６２０に、例えば、発射モータ４６０２の引き込み電流を低減し、切断部材４６４５の前進速度を低減することにより、発射モータ駆動アセンブリ４６０４の速度を低減することができる。追加的に、又は、代替的に、制御回路は、コントローラ４６２０に、組織の伸張／ずれ（ｄ）を低減するために、所定期間、発射モータ４６０２を休止させることができる。
図３６Ｃに示すように、発射後、エンドエフェクタ４６４２のジョーは、クランプ解除されており、ステープリングされた組織は、ステープルライン４３６３の発射済みステープルに起因して収縮する。図３６Ｃは、距離（ｄ１）によって画定される投影されたステープルライン長と、距離（ｄ１）よりも小さい距離（ｄ３）によって画定される実際のステープルラインとを示す。距離ｄ１とｄ２との差は、収縮／ずれの距離（ｄ’）を表す。
図３８は、提案された手術切除経路に沿って、提案されたステープルカートリッジ配置を調節するための制御プログラム又は論理構成を示すプロセス４１８０の論理フロー図である。プロセス４１８０は、４０８１で、提案された配置のステープルカートリッジの発射の後、提案された手術切除経路に沿ってステープリングされた組織の収縮／ずれを監視し、提案された手術切除経路に沿って、提案された後続のステープルカートリッジ位置を調節することを含む。
プロセス４１８０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４１８０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４１８０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４１８０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４１８０は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な例では、プロセス４１８０の１つ以上の態様を実行する制御回路（例えば、ブロック制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）は、４１８１で、提案された切除経路４３１２に沿って、ステープリングされた組織の収縮／ずれを監視する。図３６Ｃに示す例では、ステープルライン４３６３は、ステープルカートリッジ配置４３１７のステープルカートリッジからランドマーク４３６１と４３６２との間の組織内へと展開される。エンドエフェクタ４６４２のジョーがクランプ解除されているとき、ステープリングされた組織は、距離（ｄ’）だけ収縮／ずれる。距離（ｄ’）は、配置４３１７によって提案されたステープルライン４３６１の長さを表す発射前のランドマーク４３６１と４３６２との間の距離（ｄ１）と、ステープルライン４３６３の実際の長さを表す距離（ｄ３）との差である。
連続するステープルライン同士の間隙を回避するために、制御回路は、提案された手術切除経路４３１２に沿って提案された配置４３１７の後続のステープルカートリッジ位置を調節する。例えば、図３６Ｃで示されるように、最初に提案されたステープルライン４３６８は、除去され、距離（ｄ’）によって画定されるギャップを通って延びる、あるいはカバーをする、更新後のステープルライン４３６９により置き換えられる。様々な態様では、４１８１で、可視化データを使用して、エンドエフェクタ４６４２のジョーがクランプ解除された後で組織に投影された構造化光グリッドの歪みを追跡すること、及び／又は、隣接する解剖学的構造の位置を表すランドマーク４３６４、４３６５、４３６６、４３６７を追跡することによって、組織の収縮／ずれ（ｄ’）を監視する。追加的に、又は、代替的に、４１８１で、ランドマーク４３６２の位置を追跡することによって、組織の収縮距離（ｄ’）を監視できる。
様々な態様では、非可視化システムからの非可視化データを使用して、手術可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）から導出される可視化データを裏付けすることが望ましい場合があり、逆も同様である。一例では、非可視化システムは、患者の肺の体積、圧力、二酸化炭素分圧（ＰＣＯ２）、酸素分圧（ＰＯ２）などの非視覚データを測定するように構成することができる人工呼吸器を含むことができる。可視化データを非可視化データで裏付けることで、臨床医は可視化システムから導出される可視化データが正確であることをより確信をもって提供することができる。加えて、以下で詳細に説明するように、可視化データを非可視化データで裏付けることにより、臨床医は術後合併症の特定や、臓器の全体的な効率を判定することができる。裏付けは、区域切除術又は裂孔のない複雑な肺葉切除術の場合にも有用となり得る。
様々な態様では、臨床医は、腫瘍、及び／又は他の組織などの重要構造を除去するために、患者の臓器の一部分を切除する必要があり得る。一例では、患者の臓器は右肺であり得る。臨床医は、病的組織を除去するために、患者の右肺の一部分を切除する必要があり得る。しかしながら、臨床医は、肺の機能が損なわれすぎないことを確実にするために、外科手術に患者の肺をあまり多く除去したくない場合がある。肺の機能は、最大肺気量を表す１呼吸当たりの最大肺容量に基づいて評価することができる。安全に肺をどのくらい除去できるかを決定する際に、臨床医は、所定の最大肺容量減少によって制限され、これを超えると、肺はその生存能力を失い、完全な臓器切除が必要となる。
少なくとも１つの例では、肺の表面積、及び／又は体積は、手術可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）からの可視化データより推定される。肺の表面積及び／又は体積は、最大肺気量あるいは１呼吸当たりの最大肺容量で推定することができる。少なくとも１つの例では、肺の表面積及び／又は体積は、吸気／呼気サイクル全体を通して複数の点で推定することができる。少なくとも１つの態様では、肺の一部分を切除する前に、可視化データ及び非可視化データを利用して、可視化システムによって決定された肺の表面積及び／又は体積を、人工呼吸器によって決定された肺気量と相関させることができる。相関データは、例えば、可視化データから導出されるような肺の表面積及び／又は体積と、人工呼吸器によって決定された肺気量との間の数学的関係を構築する際に採用できる。この関係は、肺の生存能力を維持する所定閾値以下の値で最大肺容量減少を維持しつつ除去可能とする肺部分のサイズを推定する際に採用することができる。
図３９は、本開示の少なくとも１つの態様に係る、臓器の一部分の手術切除を提案するためのプロセス４７５０の論理フロー図を示す。プロセス４７５０は、一般に、外科手術中に実行される。プロセス４７５０は、４７５２で、手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を提案することを含み、この一部分の切除は、臓器の推定容量減少をもたらすように構成される。プロセス４７５０は、４７５４で、この一部分の切除前に臓器の非可視化パラメータの第１値を決定することと、４７５６で、一部分の切除後に臓器の非可視化パラメータの第２値を決定することと、を更に含むことができる。更に、特定の例において、プロセス４７５０は、４７５８で、非可視化パラメータの第１値及び非可視化パラメータの第２値に基づいて、所定の容量減少を裏付けることを更に含むことができる。
プロセス４７５０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４７５０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４７５０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４７５０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４７５０の１つ以上の態様は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な態様では、プロセス４７５０は、１つ以上の手術システム２１０２と、クラウドベースシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）と、を含むコンピュータ実装インタラクティブ手術システム２１００（図１９）によって実装することができる。各手術システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの手術用ハブ２１０６を含む。プロセス４７５０の１つ以上の態様を実行する制御回路は、可視化システムの構成要素（例えば、可視化システム１００、１６０、５００、２１０８）であり得る。
図４１Ａは、患者の１組の肺４７８０を示す。一実施形態では、臨床医は、撮像デバイス４７８２を利用して、患者の右肺４７８６の表面のトポグラフィ又はランドスケープの決定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターン４７８５を患者の右肺４７８６の表面上に放射４７８４することができる。撮像デバイスは、様々な点で撮像デバイス１２０（図１）と同様であり得る。本明細書の他箇所で説明されるように、投影された光アレイを採用して、患者の右肺４７８６の表面によって画定される形状、及び／又は、術中の患者の右肺４７８６の動きを決定することができる。一実施形態では、撮像デバイス４７８２は、制御システム１３３の構造化光源１５２に連結することができる。一実施形態では、本明細書の他箇所で説明されるように、手術可視化システム１００などの手術可視化システムは、制御回路１３３の表面マッピングロジック１３６を利用して、患者の右肺４７８６の表面のトポグラフィ又はランドスケープを決定し得る。
臨床医は、手術システム２１００などの手術システムに、右上肺葉切除術などの、実行されるべき処置の種類を提供することができる。実行されるべき外科手術を提供することに加え、臨床医は、外科手術中に除去されるべき臓器の最大所望容量を手術システムに提供することができる。撮像デバイス４７８２から取得された可視化データ、実行されるべき外科手術の種類、及び除去されるべき最大所望容量に基づいて、手術システムは、臨床医の入力の全てを満たす右肺の一部分４７９０を除去するための切除経路４７８８を提案することができる。手術切除経路を提案する他の方法は、本明細書の他箇所に説明されている。切除経路４７８８を提案するために、手術システムは、任意の数の追加のパラメータを検討することができる。
様々な例では、切除された臓器の体積により、患者の臓器からの所望の容量減少がもたらされることを確実にすることが望ましい場合がある。切除された体積が望ましい容量減少をもたらすことを裏付けるために、非可視化システムからの非可視化データを利用することができる。一実施形態では、人工呼吸器を利用して、経時的に患者の最大肺気量を測定することができる。
少なくとも１つの例では、臨床医は、外科手術において手術システム２１００を利用して、肺腫瘍を除去することができる。制御回路は、図１３Ａ～図１３Ｅに関連して上述したように、可視化データから腫瘍を特定することができ、図２９～３８に関連して上述したように、腫瘍の周囲に安全マージンを提供するための手術切除経路を提案することができる。制御回路は更に、最大肺気量における肺の体積を推定できる。人工呼吸器を利用して、外科手術の前に最大肺気量を測定することができる。制御回路は、人工呼吸器で検出される視覚的に推定された肺容量と肺気量との所定の数学的相関関係を使用して、腫瘍とその周囲の組織の安全マージンを含む肺の一部分を除去することに関連付けられる最大肺容量減少を推定することができる。推定された肺気量減少が所定安全閾値を超えている場合、制御回路は、臨床医に警告する、及び／又は、肺気量をより少なくする別の手術切除経路を提案できる。
図４１Ｃは、経時的に患者の最大肺気量を測定するグラフ４８００を示す。臓器の一部分の切除前に（ｔ１）、人工呼吸器は、最大肺気量を測定することができる。図４１Ｃでは、一部分４７９０の切除前の時刻ｔ１において、最大肺気量が６Ｌであると測定される。実行されるべき外科手術が右上肺葉切除術である上述の例では、臨床医は、患者の呼吸力を損なわないよう、所定の容量減少をもたらす患者の肺の体積のみを除去することを望む場合がある。一実施形態では、臨床医は、例えば、患者の最大肺気量が最大で約１７％減少させる部分を除去することを望む場合がある。外科手術及び所望の容量減少に基づいて、手術システムは、最大肺気量を未切除の最大肺気量の８３％以上の値に維持しつつ、肺の一部分の除去を達成する手術切除経路４７８８を提案することができる。
図４１Ｃに示されるように、臨床医は、人工呼吸器データを利用して、肺の一部分４７９０の切除前４８０２及び切除後４８０４など、患者の最大肺気量を経時的に監視することができる。時刻ｔ２において、肺の一部分４７９０は、提案された切除経路４７８８に沿って切除される。その結果、人工呼吸器によって測定される最大肺気量が低下する。臨床医は、切除後の肺の体積が肺から所望の容量減少をもたらすことを確実にするために、人工呼吸器データ（切除前の最大肺容量４８０２及び切除後の最大肺容量４８０４）で裏付けることができる。図４１Ｃに示されるように、切除後、最大肺気量は５Ｌに低下し、これは、約１７％の最大肺気量の低下であり、望ましい容量減少と大体同じである。臨床医は、人工呼吸器のデータを使用して、実際の容量減少が、提案された手術切除経路４７８８によって達成される望ましい容量減少と一致しているというより強い確信をもつことができる。他の実施形態では、非可視化データと可視化データとの間に、最大肺気量の低下が予想より大きい（肺切除量が多すぎる）、あるいは最大肺気量の低下が予想より小さい（肺切除量が十分でない）などの食い違いが存在する場合、臨床医は適切なアクションが必要かどうかを判定することができる。
ここで図４１Ｂを参照すると、一部分４７９０を切除した後の患者の右肺４７９２が示されている。一部分４７９０の切除後、臨床医は、空気漏れ４７９４を不注意に引き起こし、その結果、肺４７９４と胸壁との間の空間に空気が漏れ、気胸４７９６の原因となり得る。空気漏れ４７９４の結果として、患者の１呼吸当たりの最大肺容量は、右肺４７９２が虚脱するにつれて、経時に着実に減少する。可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）から導出される可視化データを使用して、肺の動的表面積／体積分析を実行し、肺の体積変化を視覚的に追跡することによって空気漏れを検出することができる。肺の体積及び／又は表面積は、吸気／呼気サイクル中の１つ以上の点で視覚的に追跡されて、空気漏れ４７９４を示す体積変化を検出することができる。一実施形態では、これまで考察したように、撮像デバイス４７８２からの投影光アレイを採用して、サイズ減少の監視など、患者の右肺４７８６の動きを経時的に監視することができる。別の実施形態では、手術可視化システム、表面マッピングロジック１３６などの表面マッピングロジックを利用して、患者の右肺４７８６の表面のトポグラフィ又はランドスケープを決定し、経時的にトポグラフィ又はランドスケープの変化を監視することができる。
一態様では、臨床医は、人工呼吸器などの非可視化システムを利用して、可視化システムによって検出された体積減少を裏付けることができる。再び図４１Ｃを参照すると、上述のように、４８０２で、肺の一部分の切除前と切除後に患者の最大肺気量を測定し、所望の肺気量減少が実際の肺気量減少と一致することを裏付けることができる。空気漏れが不注意に発生した場合の上述の例では、４８０６で、最大肺気量は経時的に着実に低下し得る。一例では、一部分の切除直後の時刻ｔ２において、臨床医は、最大肺気量が６Ｌから５Ｌに低下していることに気付く可能性がある、これは肺気量の望ましい低下と大体一致する。一部分の切除後、手術可視化システムは、患者の肺容量を経時的に監視することができる。手術可視化システムが体積に変化があると判定した場合、臨床医は、時刻ｔ３において、再び最大肺気量を測定することができる。時刻ｔ３において、臨床医は、最大肺気量が５Ｌから４Ｌに低下したことに気付く可能性がある、これは、可視化システムから決定されたデータを裏付け、右肺４７９２に空気漏れがある可能性があることを示している。
加えて、制御回路は、可視化データ及び非可視化データに基づいて、臓器効率を測定するように構成することができる。一態様では、臓器効率は、可視化データを一部分の切除前後の非可視化データの差異と比較することによって決定することができる。一例では、可視化システムは、最大肺気量を１７％減少させる切除経路を生成することができる。人工呼吸器は、一部分の切除前及び一部分の切除後の最大肺気量を測定するように構成することができる。図４１Ｃで示される例では、最大肺気量が約１７％低下（６Ｌから５Ｌ）している。所望される肺気量（１７％）に対する実際の肺気量（１７％）の低下がほとんど１：１であるので、臨床医は、肺が機能上効率的であると判定することができる。別の例では、可視化システムは、最大肺気量を１７％減少させる切除経路を生成することができる。しかしながら、人工呼吸器は、例えば、２５％など、１７％よりも大きい最大肺気量の低下を測定し得る。この例では、肺の一部分を切除すると、最大肺気量が予想以上に低下する結果となるので、臨床医は、肺が機能上効率的でないと判定することができる。
図４０は、本開示の少なくとも１つの態様に係る、臓器の選択部分の除去から生じる臓器の容量減少を推定するためのプロセス４７６０の論理フロー図を示す。プロセス４７６０は、多くの点で図４７５０のプロセスに類似している。しかしながら、プロセス４７５０とは異なり、プロセス４７６０は、臨床医が外科手術中に臓器の一部分を除去する際の手術切除経路を選択又は提案することに依存する。プロセス４７６０は、４７６２で、臓器の切除すべき一部分を示す入力をユーザから受信することを含む。プロセス４７６０は、４７６４で、一部分を除去することによる臓器の容量減少を推定することを更に含む。少なくとも１つの例では、臓器は患者の肺であり、４７６２で推定された容量減少量は、患者の肺の１呼吸当たりの最大肺容量の減少である。手術可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）からの可視化データを採用して、一部分の除去に対応する容量減少を推定することができる。プロセス４７６０は、４７６６で、この一部分の切除前の臓器の非可視化パラメータの第１値を決定することと、４７６８で、一部分の切除後の臓器の非可視化パラメータの第２値を決定することと、を更に含むことができる。最後に、プロセス４７６０は、４７６８で、非可視化パラメータの第１値、及び非可視化パラメータの第２値に基づいて、推定された臓器の容量減少を裏付けることを更に含むことができる。
プロセス４７６０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４７６０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４７６０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４７６０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は順序論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４７６０の１つ以上の態様は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な態様では、プロセス４７６０は、１つ以上の手術システム２１０２と、クラウドベースシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）と、を含むコンピュータ実装インタラクティブ手術システム２１００（図１９）によって実装することができる。各手術システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの手術用ハブ２１０６を含む。プロセス４７６０の１つ以上の態様を実行する制御回路は、可視化システムの構成要素（例えば、可視化システム１００、１６０、５００、２１０８）であり得る。
一例では、臨床医は、臓器の切除すべき一部分を示す入力を、手術可視化システム２１００などの手術可視化システムに提供することができる。一例では、臨床医は、プロセス４１００中に４１０４で生成された仮想３Ｄ構造体などの臓器の仮想３Ｄ構造体上に切除経路を描くことができる。他の例では、可視化システムは、本明細書の他箇所でより詳細に説明されている、推奨される治療経路の形態であり得る処置レイアウト計画を重ね合わせることができる。推奨される治療経路は、実行されている外科手術の種類に基づき得る。一実施形態では、推奨される治療経路は、本明細書の他箇所で説明される切除経路４１４６、４１４７、４１４８と同様に、様々な開始点を提案し、臨床医が選択できる多様な切除経路を提案することができる。提案された切除経路は、動脈などの特定の重要構造を回避するように、可視化システムによって決定できる。臨床医は、臓器の一部分を除去するための所望の切除経路が完了するまで、提案された切除経路を選択することができる。
一例では、手術可視化システムは、選択された切除経路に基づいて臓器の推定容量減少を決定することができる。切除経路に沿って所定の一部分を切除した後、臨床医は、非可視化データを使用して、可視化データに基づき、実際の容量減少が推定容量減少と一致することを裏付けることを望む場合がある。一実施形態では、この裏付けは、臓器が肺であるプロセス４７５０に関して上述したのと同様の手順を使用して行うことができる。臨床医は、肺の切除前４８０２及び切除後４８０４の最大肺気量を測定し、最大肺気量の変化を比較して、最大肺気量の実際の低下を決定することができる。一例では、手術可視化システムは、臨床医が提案する切除経路に基づいて、最大肺気量が１７％減少するものと推定し得る。切除前に、臨床医は、最大肺気量が６Ｌ（時刻ｔ１）であることに気付く可能性がある。切除後、臨床医は、最大肺気量が５Ｌ（時刻ｔ２）であることに気付く可能性があるが、これは最大肺気量が約１７％低下していることになる。臨床医は、この非可視化データ／人工呼吸器のデータを使用して、実際の容量減少が推定容量減少と一致しているというより強い確信をもつことができる。他の例では、非可視化データと可視化データとの間に、最大肺気量の低下が予想より大きい（肺切除量が多すぎる）、あるいは最大肺気量の低下が予想より小さい（肺切除量が十分でない）などの食い違いが存在する場合、臨床医は適切なアクションが必要かどうかを判定することができる。
加えて、制御回路は、可視化データ及び非可視化データに基づいて、臓器効率を測定するように構成することができる。一態様では、臓器効率は、可視化データを一部分の切除前後の非可視化データの差異と比較することによって決定することができる。一例では、手術可視化システムは、臨床医の所望の切除経路に基づいて、最大肺気量が１７％減少するものと推定し得る。人工呼吸器は、一部分の切除前及び一部分の切除後の最大肺気量を測定するように構成することができる。図４１Ｃで示される例では、最大肺気量が約１７％低下（６Ｌから５Ｌ）している。推定された肺気量（１７％）に対する実際の肺気量（１７％）の低下がほとんど１：１であるので、臨床医は、肺が機能上効率的であると判定することができる。別の例では、手術可視化システムは、臨床医の所望の切除経路に基づいて、最大肺気量が１７％減少するものと推定し得る。しかしながら、人工呼吸器は、例えば、２５％など、１７％よりも大きい最大肺気量の低下を測定し得る。この例では、肺の一部分を切除すると、最大肺気量が予想以上に低下する結果となるので、臨床医は肺が機能上効率的でないと判定することができる。
プロセス４７５０、４７６０に関して上述したように、臨床医は、肺の一部分の切除前後の最大肺容量を測定するために人工呼吸器を使用することなどによって、非可視化データで可視化データを裏付けることができる。可視化データを非可視化データで裏付けることに関する別の例は、カプノグラフによるものである。
図４２は、患者から吐き出された二酸化炭素分圧（ＰＣＯ２）を経時的に測定するグラフ４８１０を示す。他の例では、患者が吐き出す酸素分圧（ＰＯ２）を経時的に測定することができる。グラフ４８１０は、切除前４８１２、切除直後４８１４、切除１分後４８１６に測定されたＰＣＯ２を示す。図４２において、切除前４８１２に、ＰＣＯ２は、（時刻ｔ１において）約４０ｍｍＨｇであると測定される。実行される外科手術が右上肺葉切除術である上述の例では、可視化システムは、肺気量が１７％減少することを希望、あるいは推定し得る。人工呼吸器によって測定されたＰＣＯ２レベルを使用して、この所望の容量減少あるいは推定容量減少を裏付けることができる。
図４２に示されるように、臨床医は、人工呼吸器データを利用して、肺の一部分４７９０の切除前４８１２及び切除後４８１４など、患者のＰＣＯ２を経時的に監視することができる。時刻ｔ２において、肺の一部分４７９０が切除され、その結果、４８１８で、人工呼吸器によって測定されたＰＣＯ２が低下し得る。臨床医は、肺気量の実際の減少が、肺気量の推定減少又は所望の減少と一致することを保証するために、人工呼吸器のデータ（切除前ＰＣＯ２ ４８１２（ｔ１）、及び切除後ＰＣＯ２ ４８１４（ｔ２）で裏付けることができる。図４２で見られるように、一部分４７９０の切除直後４８１４には、ＰＣＯ２が低下４８１２し、これは、ＰＣＯ２の約１７％の低下（約３３．２ｍｍＨｇ）として測定することができる。臨床医は、この非可視化データ／人工呼吸器データを使用して、実際の肺気量の減少が所望又は推定肺気量の減少と一致しているというより強く確信をもつことができる。
他の例では、臨床医は、非可視化データ／ＰＣＯ２データを利用して、可視化データと比較した際の食い違いを判定することができる。一例では、一部分４７９０の切除直後４８１４の時刻ｔ２において、ＰＣＯ２を、４８２０で測定することができ、これは、切除前４８１２に測定されたＰＣＯ２よりも高い。ＰＣＯ２の上昇は、外科手術中に気管支が不注意によって閉塞し、患者内にＣＯ２が蓄積された結果である可能性がある。別の例では、一部分４７９０の切除直後４８１４の時刻ｔ２において、ＰＣＯ２を、４８２２で測定することができ、これは、切除前４８１２に測定されたＰＣＯ２よりも低く、かつ、予想よりも低く測定され得る。ＰＣＯ２の減少は、外科手術中に不注意により血管が閉塞し、身体に送達されるＯ２が少なくなり、その結果、ＣＯ２の生成が少なくなることが原因である可能性がある。いずれの場合も、臨床医は、状況を修復するために適切なアクションをとることができる。
また、ＰＣＯ２の変化は、切除直後４８１４以外の時間、例えば、切除１分後４８１６（時刻ｔ３など）で測定することができる。時刻ｔ３では、他の身体機能（肝臓など）が切除の結果としてのＰＣＯ２の変化を補償する。この状況では、ＰＣＯ２は約４０ｍｍＨｇと測定することができ、つまり、切除前４８１２と大体同じである。時刻ｔ３において、切除前４８１２のＰＣＯ２との間で測定された差は、上述の不注意による閉塞を示し得る。例えば、時刻ｔ３において、ＰＣＯ２は、４８２４で、切除前４８１２よりも高く測定され、気管支が不注意により閉塞した可能性を示し、又はＰＣＯ２は、４８２６で、切除前４８１２よりも低く測定され、不注意に血管が閉塞した可能性を示し得る。
加えて、制御回路は、可視化データ及び非可視化データに基づいて、臓器効率を測定するように構成することができる。一態様では、臓器効率は、可視化データを一部分の切除前後の非可視化データの差異と比較することによって決定することができる。一例では、手術可視化システムは、臨床医の所望の切除経路に基づいて、肺気量が１７％減少するものと推定し得る。人工呼吸器は、一部分の切除前、及び一部の切除後のＰＣＯ２を測定するように構成することができる。図４２に示される実施形態にでは、切除直後４８１４、ＰＣＯ２が約１７％低下する。推定された肺気量の減少（１７％）に対するＰＣＯ２の（１７％）低下がほとんど１：１であるので、臨床医は、肺が機能上効率的であると判定することができる。別の例では、手術可視化システムは、臨床医の所望の切除経路に基づいて、肺気量が１７％減少するものと推定し得る。しかしながら、人工呼吸器は、例えば、２５％など、１７％より大きいＰＣＯ２の低下を測定し得る。この例では、肺の一部分を切除すると、ＰＣＯ２が予想以上に低下するので、臨床医は肺が機能上効率的でないと判定することができる。
上記の最大肺容量と最大ＰＣＯ２に加えて、血圧又はＥＫＧデータを含む非可視化パラメータを利用することができる。ＥＫＧデータは、動脈の変形に関する近似周波数データを提供する。同様の周波数範囲内で表面幾何学形状が変化するこの周波数データは、重要な血管構造を特定するのに役立ち得る。
上述のように、手術可視化システム（例えば、可視化システム１００、１６０、５００、２１０８）から導出される可視化データを裏付けるために、非可視化システムからの非可視化データを利用することが望ましい場合がある。上記の例では、非可視化データは、臓器の一部分が既に切除された後に可視化データを裏付けるための手段である。この例では、臓器の一部が切除される前に、可視化データを非可視化データで補足することが望ましい場合がある。一例では、非可視化データを可視化データと共に使用して、手術を受ける臓器の特性を判定するのに役立てることができる。一態様では、この特性は、切断に好適でない場合がある臓器組織の異常であり得る。非可視化データ及び可視化データは、臓器の切除経路を計画する際に回避するべき領域について、手術可視化システム及び臨床医に知らせるのに役立ち得る。これは、区域切除術又は裂孔のない複雑な肺葉切除術の場合にも有用となり得る。
図４３は、本開示の少なくとも１つの態様に係る、可視化データ及び非可視化データに基づいて、組織異常を検出するためのプロセス４８５０の論理フロー図を示す。プロセス４８５０は、一般に、外科手術中に実行される。プロセス４８５０は、４８５２で、手術可視化システムから、臓器の第１状態における第１可視化データを受信することと、４８５４で、第１状態における臓器の非可視化パラメータの第１値を決定することとを含むことができる。更に、プロセス４８５０は、４８５６で、手術可視化システムから、臓器の第２状態における第２可視化データを受信することと、４８５８で、第２状態における臓器の非可視化パラメータの第２値を決定することと、を含むことができる。また、プロセスは、４８６０で、第１可視化データ、第２可視化データ、非可視化パラメータの第１値、及び非可視化パラメータの第２値に基づいて、組織異常を検出することを含むことができる。
プロセス４８５０の１つ以上の態様は、本開示によって説明される制御回路（例えば、制御回路１３２、４００、４１０、４２０、６０２、６２２、２１０８、４６２０）のうちの１つ以上によって実行することができる。少なくとも１つの例では、プロセス４８５０の１つ以上の態様は、制御回路（例えば、図２Ａの制御回路４００）によって実行され、この回路は、プロセッサと、プロセッサによって実行されると、このプロセッサに、プロセス４８５０の１つ以上の態様を実行させるコンピュータ実行可能命令のセットを記憶するメモリとを含む。追加的に、又は、代替的に、プロセス４８５０の１つ以上の態様は、組み合わせ論理回路（例えば、図２Ｂの制御回路４１０）、及び／又は、順次論理回路（例えば、図２Ｃの制御回路４２０）によって実行することができる。更に、プロセス４８５０の１つ以上の態様は、本開示によって説明される様々な好適なシステム内に配置され得る、又はそれに関連付けられ得る、任意の好適なハードウェア構成要素及び／又はソフトウェア構成要素を有する任意の好適な回路によって実行することができる。
様々な態様では、プロセス４８５０は、１つ以上の手術システム２１０２と、クラウドベースシステム（例えば、ストレージデバイス２１０５に連結されたリモートサーバ２１１３を含み得るクラウド２１０４）と、を含むコンピュータ実装インタラクティブ手術システム２１００（図１９）によって実装することができる。各手術システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの手術用ハブ２１０６を含む。プロセス４８５０の１つ以上の態様を実行する制御回路は、可視化システムの構成要素（例えば、可視化システム１００、１６０、５００、２１０８）であり得る。
図４４Ａは、第１状態４８６２における患者の右肺４８７０を示す。一例では、第１状態４８６２は、収縮状態であり得る。別の例では、第１状態４８６２は、虚脱状態であり得る。患者の胸壁４８７６内の腔４８７４を通じて挿入された撮像デバイス４８７２が示されている。臨床医は、撮像デバイス４８７２を利用して、４８８０で、患者の右肺４８７０の表面のトポグラフィ又はランドスケープの決定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターン４８８２を右肺４８７０の表面上に放射することができる。撮像デバイスは、様々な点で撮像デバイス１２０（図１）と同様であり得る。本明細書の他箇所で説明されるように、投影された光アレイを採用して、患者の右肺４８７０の表面によって画定される形状、及び／又は、術中の患者の右肺４８７０の動きを決定する。一実施形態では、撮像デバイス４７８２は、制御システム１３３の構造化光源１５２に連結することができる。一実施形態では、本明細書の他箇所で説明されるように、手術可視化システム１００などの手術可視化システムは、制御回路１３３の表面マッピングロジック１３６を利用して、患者の右肺４７８６の表面のトポグラフィ又はランドスケープを決定し得る。右肺４８７０の第１状態４８６２において、人工呼吸器を使用して、第１状態の圧力（Ｐ１、又は呼気終末陽圧（ＰＥＥＰ））、又は第１状態の体積（Ｖ１）などの右肺４８７０のパラメータを測定できる。
図４４Ｂは、第２状態４８６４における患者の右肺４８７０を示す。一例では、第２状態４８６４は、部分膨張状態であり得る。別の例では、第２状態４８６４は、完全膨張状態であり得る。撮像デバイス４８７２は、４８８０で、第２状態４８６４における患者の右肺４８７０の表面のトポグラフィ又はランドスケープの決定を可能にするために、肺４８７０の表面上に光パターン４８８２を継続的に放射するように構成することができる。右肺４８７０の第２状態４８６４において、人工呼吸器を使用して、第１状態４８６２の圧力Ｐ１よりも大きい第２状態の圧力（Ｐ２）、及び第１状態４８６２の体積Ｖ１よりも大きい第２状態の体積（Ｖ２）など、右肺４８７０のパラメータを測定することができる。
手術可視化システム及び撮像デバイス４８７２から決定された表面トポグラフィに基づいて、人工呼吸器から決定された非可視化データ（圧力／体積）と共に、手術可視化システムは、右肺４８７０の組織の異常を決定するように構成することができる。一例では、第１状態４８６２において、撮像デバイス４８７２は、右肺４８７０の第１状態４６６２のトポグラフィ（図４４Ａで示し、図４４Ｃでは、より詳細に示される）を決定することができ、人工呼吸器は、第１状態の圧力／体積を決定することができる。第２状態４８６４では、撮像デバイス４８７２は、右肺４８７０の第２状態４８６４のトポグラフィ（図４４Ｄに示され、図４４Ｄにより詳細に示される）を決定することができ、人工呼吸器は、肺が部分的又は完全に膨張していることに起因して、第１状態の圧力／体積よりも大きい第２状態の圧力／体積を決定することができる。可視化システムは、圧力／体積の既知の増加に基づいて、圧力／体積の既知の増加に従って、右肺４８７０のトポグラフィの変化を監視するように構成することができる。一態様では、人工呼吸器からのこの圧力／体積測定値を右肺４８７０の表面変形と相関させて、肺の中の疾患領域を特定し、ステープラの配置に役立てることができる。
一態様において、図４４Ｂと図４４Ｄを参照すると、圧力がＰ１からＰ２に増加した（体積がＶ１からＶ２に増加した）場合、構造化光４８８０から決定される表面トポグラフィは、第１状態４８６２と比較して変化している。一例では、光のパターン４８８２は、ドットであり得、ドットは、肺サイズが増加するにつれて、互いに距離（複数）だけ離間されている。別の例では、光のパターン４８８２はグリッド線であり得、グリッド線は、肺サイズが増加するにつれて、離間されている、あるいは、輪郭が付けられている。撮像デバイスは、既知の圧力増加に基づいて、既知の圧力及び体積の増加に従って変化しなかった領域４８８６を決定することができる。例えば、撮像デバイス４８７２が、右肺４８７０の表面上にグリッド線及びドットのパターン４８８２を放射する場合（図６Ａ～図６Ｄに示す）、可視化システムは、グリッド線の輪郭、及び既知の圧力／体積の増加に対するドットの相対的な位置を監視するように構成することができる。可視化システムが、ドットの間隔又はグリッド線の位置及び曲率における不規則性を通知する場合、可視化システムは、これらの領域が、表面下空隙４８８６などの組織の異常の可能性、あるいは、腫瘍などの重要構造４８８４が位置決めされ得る領域に対応していることを判定することができる。一実施形態では、プロセス４１００が、外科手術に関連する、解剖学的臓器の少なくとも一部分の４１０５の解剖学的構造を特定するプロセス４１００を参照すると、プロセス４１００は、本明細書で上述したように異常を特定し、これらの異常を３Ｄ構造体上に重ね合わせることができる。
一例では、患者は、息切れの原因となる肺疾患である肺気腫に罹患している可能性がある。肺気腫を罹患する人々では、肺の気嚢（肺胞）が損傷し、経時的に気嚢の内壁が弱くなって破れ、多くの小さな気嚢の代わりに、大きな気腔が生成される。これにより、Ｏ２／ＣＯ２の交換に使われる肺の内部表面積が低減され、したがって、血流に到達する酸素の量が低減される。加えて、損傷した肺胞は適切に機能せず、古い空気が捕捉され、酸素を多く含む新鮮な空気が入る余地が残らない。肺気腫患者の肺内の空隙は、組織厚さが薄い領域を表すので、その領域におけるステープリングの転帰が影響を受ける場合がある。組織も弱くなると、その結果、肺胞が破れ、それらを通るステープルをあまり保持することができなくなる。
肺気腫の肺が膨張し、収縮すると、表面下空隙を有する領域は、健康な組織と比較して、圧力変化による変形量が異なる。上述のプロセス４８５０を利用して、これらの表面下空隙を含む弱い組織領域を検出し、これらの領域を通るステープリングを回避すべきことを臨床医に知らせて、これにより、術後の空気漏れの可能性を下げることができる。このプロセス４８５０の組織変形力により、これらの差異を検出することができ、外科医は、ステープラの配置を誘導することができるようになる。
第２例では、患者は癌に離間している可能性がある。処置の前に、腫瘍に放射線が照射され、組織だけでなく周囲の組織も損傷している可能性がある。放射線によって、組織の性質が変わり、組織をより硬くし、圧縮しにくくすることが多い。外科医がこの組織にわたってステープリングする必要がある場合、ステープルのリロードタイプを選択する際に組織の硬さの変化を考慮すべきである（例えば、より硬い組織には、より高く形成されたステープルが必要となる）。
肺が膨張し、収縮すると、組織が硬い領域では、肺があまり柔軟ではないので、健康な組織と比較して変形量が異なる。このプロセス４８５０の組織変形力により、これらの差異を検出することができるので、外科医は、ステープラの配置、並びに、カートリッジ／リロードの色の選択を誘導できるようになる。
別の態様では、メモリ１３４などのメモリは、既知の圧力及び体積に対する肺の表面トポグラフィを記憶するように構成され得る。この例では、撮像デバイス４８７２などの撮像デバイスは、既知の第１圧力又は体積における患者の肺の表面のトポグラフィを決定するために光パターンを放射することができる。手術システム２１００などの手術システムは、既知の第１圧力又は体積における第１決定済みトポグラフィを、所与の第１圧力又は体積についてメモリ１３４に記憶されたトポグラフィと比較するように構成することができる。この比較に基づいて、可視化システムは、単一状態のみで組織の異常の可能性を示すように構成することができる。可視化システムは、これらの異常可能性領域に着目し、第２既知圧力や体積における患者の肺の表面のトポグラフィを決定することに進めることができる。可視化システムは、第２決定済み表面トポグラフィを、所与の第２圧力や体積についてメモリに記憶されているトポグラフィ、並びに、既知の第１圧力や体積で決定されたトポグラフィと比較することができる。可視化システムが第１決定済み異常可能性領域と重なっている異常可能性領域を決定した場合、可視化システムは、既知の第１及び第２圧力又は体積における比較に基づいて、より高い信頼性で重なっている領域を異常可能性として示すように構成することができる。
上記に加えて、人工呼吸器からのＰＯ２測定値は、Ｖ２などの膨張肺容量とＶ１などの収縮肺容量を比較することが可能である。体積比較は、ＥＫＧデータを利用して、血中酸素濃度と比較できるような吸気と呼気とを比較する。また、これを麻酔ガス交換測定値と比較して、呼吸量対酸素摂取量対鎮静度を決定する。加えて、ＥＫＧデータは、動脈の変形に関する近似周波数データを提供する。同様の周波数範囲内で表面幾何学形状が変化するこの周波数データは、重要な血管構造を特定するのに役立ち得る。
別の実施形態では、現在の追跡／処置情報を術前計画シミュレーションと比較することができる。難易度の高い手術又はリスクの高い処置の場合、臨床医は、術前患者スキャンを利用して、手術アプローチをシミュレートすることができる。このデータセットは、ディスプレイ１４６などのディスプレイにおいて、リアルタイムの測定値に対して比較され、外科医がトレーニング実行に基づいて特定の術前計画に従うことを可能にするのに役立ち得る。これには、術前スキャン／シミュレーションと現在の可視化との間で、基準ランドマークを一致させる機能が必要になる。ある方法では、対象物の境界追跡を使用するだけでよい。組織種類の区別、相対的な組織変形評価、あるいは表面下の構造的差異について、現在のデバイスと組織との相互作用が以前の相互作用（患者ごと）、又は予測される相互作用（データベース、あるいは過去の患者）に対してどのように比較するか関する洞察を、メモリ１３４などのメモリに記憶することが可能である。
一実施形態では、表面幾何学形状は、器具位置に応じ得る。器具位置の変化ごとに表面幾何学形状の変化が測定されない場合、表面参照を選択できる。器具が組織と相互作用して、表面幾何学形状を変形させると、器具位置に応じた表面幾何学形状の変化が、手術システムによって計算され得る。組織との接触時の器具位置の所与の変化について、組織の幾何学形状の変化は、重要構造４８８４などの表面下構造を含む領域と、表面下空隙４８８６などのこのような構造を含まない領域とで異なる場合がある。胸部手術のような一例では、これは、実質組織のみにあるのに対して、気道の上方にあることもあり得る。器具位置の変化と表面幾何学形状の変化との実行平均は、手術可視化システムを使用して、手術システムによって、所与の患者について、所与の患者固有の差異に合わせて計算することができる、又はその値は、以前に収集したデータの第２セットと比較することができる。
例示の臨床用途
本明細書に開示される様々な手術可視化システムは、以下の臨床用途の１つ以上で採用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な手術可視化システムの１つ以上に対する単に例示的な用途である。
手術可視化システムは、本明細書に開示されるように、例えば、泌尿器科、婦人科、腫瘍科、大腸直腸科、胸部外科、肥満／胃治療科、及び肝胆膵科（ＨＰＢ）などの異なる専門における多くの異なる種類の処置に採用することができる。例えば、前立腺切除術などの泌尿器手術では、尿路が脂肪若しくは結合組織中で検出される場合があり、及び／又は、神経が、例えば脂肪中で検出される場合がある。例えば、子宮摘出術などの婦人科腫瘍手術、及び低位前方切除術（ＬＡＲ）などの大腸直腸手術では、尿管が、例えば脂肪及び／又は結合組織内で検出される場合がある。例えば、肺葉切除術などの胸部手術では、血管が肺若しくは結合組織内で検出されル場合があり、及び／又は、神経が結合組織内で検出される場合がある（例えば、食道瘻造設術）。肥満手術では、血管が脂肪中に検出される場合がある。例えば、肝切除術又は膵切除術などのＨＰＢ手術では、血管が、脂肪（肝外）、結合組織（肝外）中に検出される場合があり、胆管が、実質組織（肝臓又は膵臓）中に検出される場合がある。
一例では、臨床医は、子宮内膜筋腫の除去を望む場合がある。術前の磁気共鳴画像（ＭＲＩ）スキャンから、臨床医は、子宮内膜筋腫が腸の表面上に位置することを知ることができる。したがって、臨床医は、どの組織が腸の一部分を構成し、どの組織が直腸の一部分を構成するかを手術中に知ることを望む場合がある。そのような例では、手術可視化システムは、本明細書に開示されるように、異なる種類の組織（腸対直腸）を示し、その情報を撮像システムを介して臨床医に伝達することができる。更に、撮像システムは、選択された組織に対する手術デバイスの近接度を決定及び通信することができる。そのような例では、手術可視化システムは、重大な合併症を伴わずに、処置効率を向上することができる。
別の例では、臨床医（例えば、婦人科医）は、重要構造に近付きすぎることを回避するために特定の解剖学的領域から離れたまま留まることができるため、臨床医は、例えば子宮内膜症の全てを除去しない場合がある。手術可視化システムは、本明細書に開示されるように、婦人科医が、外科用装置が全ての子宮内膜症を除去するのに十分に接近することができ、患者の転帰を改善することができる（民主化手術）ように、婦人科医が重要構造に接近し過ぎるリスクを軽減することを可能にすることができる。このようなシステムは、外科医が、例えば、特に超音波又は電気手術エネルギーなどの治療用エネルギーの印加中に、回避するべき領域を特定するため停止及び再開を繰り返す代わりに、外科手術中に「移動し続ける」ことを可能にできる。婦人科用途では、子宮動脈及び尿管は大切な重要構造であり、システムは、関与する組織の提示及び／又は厚さを考慮すると、子宮摘出術及び子宮内膜手術に特に有用であり得る。
別の例では、臨床医は、近すぎるために、標的とする葉以外の葉への血液供給に影響を及ぼし得る位置で、血管を切開するリスクがある場合がある。更に、患者間の解剖学的差異が、特定の患者に基づくと異なる葉に影響を及ぼす血管（例えば分岐血管）の切開をもたらし得る。手術可視化システムは、本明細書に開示されるように、所望の位置で正しい血管の特定を可能にすることができ、これにより、臨床医が適切な解剖学的物を確実に切開することを可能にする。例えば、システムは、正しい血管が正しい位置にあることを確認することができ、その後臨床医が血管を安全に分割することができる。
別の例では、臨床医は、血管の解剖学的構造が不確実であることに起因して、最良の位置での切開前に、複数の切開を行うことがある。しかしながら、より多くの切開が出血のリスクを増大させることがあるので、最初の工程で最良の位置を切開することが望ましい。手術可視化システムは、本明細書に開示されるように、正しい血管及び切開のための最良の位置を示すことによって、切開の数を最小化することができる。例えば、尿管及び基靱帯は密集しており、切開中に固有の課題を提供する。そのような例では、切開部の数を最小化することが特に望ましい場合がある。
別の例では、癌組織を除去する臨床医（例えば、腫瘍外科医）は、重要構造の特定、癌の局在化、癌のステージ診断、及び／又は組織の正常性の評価を知ることを望む場合がある。このような情報は、臨床医が「肉眼」で見るものを超えている。手術可視化システムは、本明細書に開示されるように、そのような情報を決定し、かつ／又は手術中に臨床医にそのような情報伝達して、術中意思決定を強化し、手術転帰を改善することができる。特定の例では、手術可視化システムは、低侵襲外科手術（ＭＩＳ）、開腹手術、及び／又は、例えば内視鏡若しくは外視鏡のいずれかを使用するロボットアプローチと互換性があり得る。
別の例では、臨床医（例えば、腫瘍外科医）は、外科手術中に控え目になり過ぎることを回避するために、１つ以上の重要構造への手術具の接近に関する１度以上の警告をオフにすることを望む場合がある。他の例では、臨床医は、１つ以上の重要構造から十分に遠く離れたままであるように、近接度及び／又は「飛行禁止区域」を示すための触覚フィードバック（例えば、振動／ブザー）などの特定の種類の警告の受信を望む場合がある。手術可視化システムは、本明細書に開示されるように、例えば、臨床医の経験及び／又は処置の所望の積極性に基づいて順応性を提供することができる。そのような例では、システムは、重要構造を予測して回避するために、「知りすぎる」と「十分に知っている」との間のバランスを提供する。手術可視化システムは、外科手術中の次の工程（単数又は複数）の計画を支援することができる。
本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
実施例１． 外科手術において使用するための手術システムにおいて、上記手術システムは、手術可視化システムと、上記手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を提案することであって、上記一部分の切除は、臓器の推定容量減少をもたらすように構成される、ことと、上記一部分の切除前の臓器の非可視化パラメータの第１値を決定することと、上記一部分の切除後の臓器の非可視化パラメータの第２値を決定することと、を行うように構成されている制御回路と、を含む、手術システム。
実施例２． 上記非可視化パラメータは、人工呼吸器によって測定される最大肺容量を含む、実施例１に記載の手術システム。
実施例３． 上記非可視化パラメータは、人工呼吸器によって測定されるＰＣＯ２を含む、実施例１に記載の手術システム。
実施例４． 上記制御回路は、上記非可視化パラメータの上記第１値、及び上記非可視化パラメータの上記第２値に基づいて、上記推定容量減少を裏付けるよう更に構成されている、実施例１～３のいずれか１つに記載の手術システム。
実施例５． 上記推定容量減少が所定閾値以下である、実施例４に記載の手術システム。
実施例６． 上記臓器は肺を含む、実施例１～５のいずれか１つに記載の手術システム。
実施例７． 上記制御回路は、上記一部分の上記切除後の上記肺の空気漏れを検出するように更に構成されている、実施例６に記載の手術システム。
実施例８． 上記切除後の上記可視化システムからの上記肺の動的可視化データを使用して、上記空気漏れを検出する、実施例７に記載の手術システム。
実施例９． 外科手術において使用するための手術システムにおいて、上記手術システムは、手術可視化システムと、臓器の切除すべき一部分を示す入力をユーザから受信し、上記手術可視化システムからの可視化データに基づいて、上記一部分を除去することによる上記臓器の容量減少を推定するように構成されている制御回路と、を含む、手術システム。
実施例１０． 上記制御回路は、上記一部分の切除前の上記臓器の非可視化パラメータの第１値を決定するように更に構成されている、実施例９に記載の手術システム。
実施例１１． 上記制御回路は、一部分の切除後の上記臓器の非可視化パラメータの第２値を決定するように更に構成されている、実施例１０に記載の手術システム。
実施例１２． 上記制御回路は、上記非可視化パラメータの上記第１値及び上記非可視化パラメータの上記第２値に基づいて、上記臓器の上記推定容量減少を裏付けるよう更に構成されている、実施例１１に記載の手術システム。
実施例１３． 上記非可視化パラメータは、人工呼吸器によって測定される最大肺容量を含む、実施例１０～１２のいずれか１つに記載の手術システム。
実施例１４． 上記非可視化パラメータは、人工呼吸器によって測定されるＰＣＯ２を含む、実施例１０～１２のいずれか１つに記載の手術システム。
実施例１５． 上記臓器は肺を含む、実施例９～１４のいずれか１つに記載の手術システム。
実施例１６． 上記制御回路は、上記可視化システムからの上記肺の動的可視化データを使用して、上記切除後の上記肺の空気漏れを検出するように更に構成されている、実施例１５に記載の手術システム。
実施例１７． 外科手術において使用するための手術システムにおいて、上記手術システムは、手術可視化システムと、制御回路であって、上記手術可視化システムから、臓器の第１状態における第１可視化データを受信し、上記第１状態における上記臓器の非可視化パラメータの第１値を決定し、上記手術可視化システムから、上記臓器の第２状態における第２可視化データを受信し、上記第２状態における上記臓器の上記非可視化パラメータの第２値を決定し、上記第１可視化データ、上記第２可視化データ、非可視化パラメータの上記第１値、及び上記非可視化パラメータの上記第２値に基づいて、組織異常を検出する、ように構成されている制御回路と、を含む、手術システム。
実施例１８． 上記非可視化パラメータは、人工呼吸器によって測定される肺圧力を含む、実施例１７に記載の手術システム。
実施例１９． 上記非可視化パラメータは、人工呼吸器によって測定される肺容量を含む、実施例１７に記載の手術システム。
実施例２０． 上記第１可視化データ、及び上記第２可視化データは、上記手術可視化システムによって測定される表面幾何学形状を含む、実施例１７～１９のいずれか１つに記載の手術システム。
実施例２１． 上記臓器は肺を含み、上記第１状態は、膨張状態の上記肺を含み、上記第２状態は、収縮状態の上記肺を含む、実施例１７～２０のいずれか１つに記載の手術システム。
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実行される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ若しくは２つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台若しくは２台以上のコンピュータ上で稼働する１つ若しくは２つ以上のコンピュータプログラムとして（例えば、１台若しくは２台以上のコンピュータシステム上で稼働する１つ若しくは２つ以上のプログラムとして）、１つ若しくは２つ以上のプロセッサ上で稼働する１つ若しくは２つ以上のプログラムとして（例えば、１つ若しくは２つ以上のマイクロプロセッサ上で稼働する１つ若しくは２つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶することができる。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布することができる。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、プログラマブル論理装置（programmable logic device、ＰＬＤ）、プログラマブル論理アレイ（programmable logic array、ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。
本明細書の任意の態様で使用されるとき、「ロジック」という用語は、前述の動作のうちのいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」などという用語は、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかであるコンピュータ関連エンティティを指すことができる。
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「ステップ」とは、必ずしも必要ではないが、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にするイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「決定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
１つ以上の構成要素が、本明細書中で、「ように構成される（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成される」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを認識するであろう。
「近位」及び「遠位」という用語は、本明細書では、手術器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、手術器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを認識するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入句の使用を含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」などの導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ又は３つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（単数又は複数）で提示されているが、様々な動作は、提示されたもの以外の順序で実行されてもよく、又は同時に実行されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する」、「～に関連する」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の機構、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様式で組み合わせることができる。
本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
要約すると、本明細書に記載した構想を採用する結果として得られる多くの利点が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上述の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の適用例について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。
〔実施の態様〕
（１） 外科手術において使用するための手術システムにおいて、前記手術システムは、
手術可視化システムと、
制御回路であって、
前記手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を提案することであって、前記一部分の切除は、前記臓器の推定容量減少をもたらすように構成される、ことと、
前記一部分の切除前の前記臓器の非可視化パラメータの第１値を決定することと、
前記一部分の切除後の前記臓器の前記非可視化パラメータの第２値を決定することと、
を行うように構成されている制御回路と、
を含む、手術システム。
（２） 前記非可視化パラメータは、人工呼吸器によって測定される最大肺容量を含む、実施態様１に記載の手術システム。
（３） 前記非可視化パラメータは、人工呼吸器によって測定されるＰＣＯ２を含む、実施態様１に記載の手術システム。
（４） 前記制御回路は、前記非可視化パラメータの前記第１値及び前記非可視化パラメータの前記第２値に基づいて、前記推定容量減少を裏付けるよう更に構成されている、実施態様１に記載の手術システム。
（５） 前記推定容量減少が所定閾値以下である、実施態様４に記載の手術システム。
（６） 前記臓器は肺を含む、実施態様１に記載の手術システム。
（７） 前記制御回路は、前記一部分の前記切除後の前記肺の空気漏れを検出するように更に構成されている、実施態様６に記載の手術システム。
（８） 前記切除後の前記可視化システムからの前記肺の動的可視化データを使用して、前記空気漏れを検出する、実施態様７に記載の手術システム。
（９） 外科手術において使用するための手術システムにおいて、前記手術システムは、
手術可視化システムと、
制御回路であって、
臓器の切除すべき一部分を示す入力をユーザから受信し、
前記手術可視化システムからの可視化データに基づいて、前記一部分を除去することによる前記臓器の容量減少を推定する、
ように構成されている制御回路と、
を含む、手術システム。
（１０） 前記制御回路は、前記一部分の切除前の前記臓器の非可視化パラメータの第１値を決定するように更に構成されている、実施態様９に記載の手術システム。
（１１） 前記制御回路は、前記一部分の切除後の前記臓器の前記非可視化パラメータの第２値を決定するように更に構成されている、実施態様１０に記載の手術システム。
（１２） 前記制御回路は、前記非可視化パラメータの前記第１値及び前記非可視化パラメータの前記第２値に基づいて、前記臓器の前記推定容量減少を裏付けるよう更に構成されている、実施態様１１に記載の手術システム。
（１３） 前記非可視化パラメータは、人工呼吸器によって測定される最大肺容量を含む、実施態様１２に記載の手術システム。
（１４） 前記非可視化パラメータは、人工呼吸器によって測定されるＰＣＯ２を含む、実施態様１２に記載の手術システム。
（１５） 前記臓器は肺を含む、実施態様１２に記載の手術システム。
（１６） 前記制御回路は、前記可視化システムからの前記肺の動的可視化データを使用して、前記切除後の前記肺の空気漏れを検出するように更に構成されている、実施態様１５に記載の手術システム。
（１７） 外科手術において使用するための手術システムにおいて、前記手術システムは、
手術可視化システムと、
制御回路であって、
前記手術可視化システムから、臓器の第１状態における第１可視化データを受信し、
前記第１状態における前記臓器の非可視化パラメータの第１値を決定し、
前記手術可視化システムから、前記臓器の第２状態における第２可視化データを受信し、
前記第２状態における前記臓器の前記非可視化パラメータの第２値を決定し、
前記第１可視化データ、前記第２可視化データ、非可視化パラメータの前記第１値、及び前記非可視化パラメータの前記第２値に基づいて、組織異常を検出する、
ように構成されている制御回路と、
を含む、手術システム。
（１８） 前記非可視化パラメータは、人工呼吸器によって測定される肺圧力を含む、実施態様１７に記載の手術システム。
（１９） 前記非可視化パラメータが、人工呼吸器によって測定される肺容量を含む、実施態様１７に記載の手術システム。
（２０） 前記第１可視化データ及び前記第２可視化データは、前記手術可視化システムによって測定される表面幾何学形状を含む、実施態様１７に記載の手術システム。
（２１） 前記臓器は肺を含み、前記第１状態は、膨張状態の前記肺を含み、前記第２状態は、収縮状態の前記肺を含む、実施態様１７に記載の手術システム。

Claims (21)

  1. 外科手術において使用するための手術システムにおいて、前記手術システムは、
    手術可視化システムと、
    制御回路であって、
    前記手術可視化システムからの可視化データに基づいて、臓器の切除すべき一部分を提案することであって、前記一部分の切除は、前記臓器の推定容量減少をもたらすように構成される、ことと、
    前記一部分の切除前の前記臓器の非可視化パラメータの第１値を決定することと、
    前記一部分の切除後の前記臓器の前記非可視化パラメータの第２値を決定することと、
    を行うように構成されている制御回路と、
    を含む、手術システム。
  2. 前記非可視化パラメータは、人工呼吸器によって測定される最大肺容量を含む、請求項１に記載の手術システム。
  3. 前記非可視化パラメータは、人工呼吸器によって測定されるＰＣＯ２を含む、請求項１に記載の手術システム。
  4. 前記制御回路は、前記非可視化パラメータの前記第１値及び前記非可視化パラメータの前記第２値に基づいて、前記推定容量減少を裏付けるよう更に構成されている、請求項１に記載の手術システム。
  5. 前記推定容量減少が所定閾値以下である、請求項４に記載の手術システム。
  6. 前記臓器は肺を含む、請求項１に記載の手術システム。
  7. 前記制御回路は、前記一部分の前記切除後の前記肺の空気漏れを検出するように更に構成されている、請求項６に記載の手術システム。
  8. 前記切除後の前記可視化システムからの前記肺の動的可視化データを使用して、前記空気漏れを検出する、請求項７に記載の手術システム。
  9. 外科手術において使用するための手術システムにおいて、前記手術システムは、
    手術可視化システムと、
    制御回路であって、
    臓器の切除すべき一部分を示す入力をユーザから受信し、
    前記手術可視化システムからの可視化データに基づいて、前記一部分を除去することによる前記臓器の容量減少を推定する、
    ように構成されている制御回路と、
    を含む、手術システム。
  10. 前記制御回路は、前記一部分の切除前の前記臓器の非可視化パラメータの第１値を決定するように更に構成されている、請求項９に記載の手術システム。
  11. 前記制御回路は、前記一部分の切除後の前記臓器の前記非可視化パラメータの第２値を決定するように更に構成されている、請求項１０に記載の手術システム。
  12. 前記制御回路は、前記非可視化パラメータの前記第１値及び前記非可視化パラメータの前記第２値に基づいて、前記臓器の前記推定容量減少を裏付けるよう更に構成されている、請求項１１に記載の手術システム。
  13. 前記非可視化パラメータは、人工呼吸器によって測定される最大肺容量を含む、請求項１２に記載の手術システム。
  14. 前記非可視化パラメータは、人工呼吸器によって測定されるＰＣＯ２を含む、請求項１２に記載の手術システム。
  15. 前記臓器は肺を含む、請求項１２に記載の手術システム。
  16. 前記制御回路は、前記可視化システムからの前記肺の動的可視化データを使用して、前記切除後の前記肺の空気漏れを検出するように更に構成されている、請求項１５に記載の手術システム。
  17. 外科手術において使用するための手術システムにおいて、前記手術システムは、
    手術可視化システムと、
    制御回路であって、
    前記手術可視化システムから、臓器の第１状態における第１可視化データを受信し、
    前記第１状態における前記臓器の非可視化パラメータの第１値を決定し、
    前記手術可視化システムから、前記臓器の第２状態における第２可視化データを受信し、
    前記第２状態における前記臓器の前記非可視化パラメータの第２値を決定し、
    前記第１可視化データ、前記第２可視化データ、非可視化パラメータの前記第１値、及び前記非可視化パラメータの前記第２値に基づいて、組織異常を検出する、
    ように構成されている制御回路と、
    を含む、手術システム。
  18. 前記非可視化パラメータは、人工呼吸器によって測定される肺圧力を含む、請求項１７に記載の手術システム。
  19. 前記非可視化パラメータが、人工呼吸器によって測定される肺容量を含む、請求項１７に記載の手術システム。
  20. 前記第１可視化データ及び前記第２可視化データは、前記手術可視化システムによって測定される表面幾何学形状を含む、請求項１７に記載の手術システム。
  21. 前記臓器は肺を含み、前記第１状態は、膨張状態の前記肺を含み、前記第２状態は、収縮状態の前記肺を含む、請求項１７に記載の手術システム。
JP2022540488A 2019-12-30 2020-10-28 臓器の一部分の除去を提案、及び裏付ける手術システム Pending JP2023508569A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/729,729 US11896442B2 (en) 2019-12-30 2019-12-30 Surgical systems for proposing and corroborating organ portion removals
US16/729,729 2019-12-30
PCT/IB2020/060113 WO2021136998A1 (en) 2019-12-30 2020-10-28 Surgical systems for proposing and corroborating organ portion removals

Publications (1)

Publication Number Publication Date
JP2023508569A true JP2023508569A (ja) 2023-03-02

Family

ID=73139085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540488A Pending JP2023508569A (ja) 2019-12-30 2020-10-28 臓器の一部分の除去を提案、及び裏付ける手術システム

Country Status (6)

Country Link
US (2) US11896442B2 (ja)
EP (1) EP3845188A3 (ja)
JP (1) JP2023508569A (ja)
CN (1) CN115151210A (ja)
BR (1) BR112022012955A2 (ja)
WO (1) WO2021136998A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
US11648081B2 (en) * 2019-04-02 2023-05-16 Intuitive Surgical Operations, Inc. System and method for image detection during instrument grasping and stapling
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11816831B2 (en) 2020-04-29 2023-11-14 Medtronic Navigation, Inc. System and method for navigating and illustrating a procedure
US11890060B2 (en) * 2020-04-29 2024-02-06 Medtronic Navigation, Inc. System and method for navigating and illustrating a procedure
EP4066772A1 (en) * 2021-03-29 2022-10-05 Cilag GmbH International System and method for determining, adjusting, and managing resection margin about a subject tissue
US20220334787A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Customization of overlaid data and configuration
US12075984B2 (en) * 2021-07-14 2024-09-03 Cilag Gmbh International Stereoscopic endoscope with critical structure depth estimation
US11937799B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US20230096268A1 (en) 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
WO2024161390A1 (en) * 2023-01-30 2024-08-08 PatenSee Ltd. Systems and methods for monitoring the functionality of a blood vessel

Family Cites Families (466)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3901602A (en) 1974-05-13 1975-08-26 Us Commerce Light scattering method and apparatus for the chemical characterization of particulate matter
DE3611337A1 (de) 1986-04-04 1987-10-22 Deutsche Forsch Luft Raumfahrt In einer kunststoffkugel untergebrachte, opto-elektronische anordnung
US4986262A (en) 1987-03-31 1991-01-22 Kabushiki Kaisha Toshiba Measuring endoscope
US4753641A (en) 1987-09-10 1988-06-28 Vaslow Dale F Emergency medical needle
EP0359681B1 (en) 1988-09-15 1995-11-08 The Board Of Trustees Of The University Of Arkansas Characterization of particles by modulated dynamic light scattering
US5460182A (en) 1992-09-14 1995-10-24 Sextant Medical Corporation Tissue penetrating apparatus and methods
US5609562A (en) 1993-11-16 1997-03-11 Worldwide Optical Trocar Licensing Corporation Visually directed trocar and method
TW455482B (en) 1998-07-30 2001-09-21 David Lubowski Sigmoidoscope
US7137980B2 (en) 1998-10-23 2006-11-21 Sherwood Services Ag Method and system for controlling output of RF medical generator
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
DE10005628B4 (de) 2000-02-09 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur Ausrichtung eines medizinischen Instruments am Körper eines Patienten unter Verwendung eines Computer-Tomographen
AU2001251134B2 (en) 2000-03-31 2006-02-02 Angiodynamics, Inc. Tissue biopsy and treatment apparatus and method
US6614453B1 (en) 2000-05-05 2003-09-02 Koninklijke Philips Electronics, N.V. Method and apparatus for medical image display for surgical tool planning and navigation in clinical environments
AU1123002A (en) 2000-09-12 2002-04-15 Peter K Law Myogenic cell transfer catheter and method
US6826424B1 (en) 2000-12-19 2004-11-30 Haishan Zeng Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices
US7740623B2 (en) 2001-01-13 2010-06-22 Medtronic, Inc. Devices and methods for interstitial injection of biologic agents into tissue
US6632183B2 (en) 2001-02-12 2003-10-14 Thermal Technologies, Inc. Perfusion sensitive biopsy extractor
US20050113846A1 (en) 2001-02-27 2005-05-26 Carson Christopher P. Surgical navigation systems and processes for unicompartmental knee arthroplasty
JP4113779B2 (ja) 2001-02-27 2008-07-09 スミス アンド ネフュー インコーポレーテッド 単一区画膝関節用外科手術誘導システム及び方法
US7547307B2 (en) 2001-02-27 2009-06-16 Smith & Nephew, Inc. Computer assisted knee arthroplasty instrumentation, systems, and processes
NO20011769D0 (no) 2001-04-06 2001-04-06 Bjoern Franc Iversen Anordning og system for gjensidig posisjonering av protesedeler
US8231639B2 (en) 2001-11-28 2012-07-31 Aptus Endosystems, Inc. Systems and methods for attaching a prosthesis within a body lumen or hollow organ
DE10158775B4 (de) 2001-11-30 2004-05-06 3Dconnexion Gmbh Anordnung zum Erfassen von Relativbewegungen oder Relativpositionen zweier Objekte
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US8095200B2 (en) 2002-03-06 2012-01-10 Mako Surgical Corp. System and method for using a haptic device as an input device
US8996169B2 (en) 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US7831292B2 (en) 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
US6887247B1 (en) 2002-04-17 2005-05-03 Orthosoft Inc. CAS drill guide and drill tracking system
JP4106991B2 (ja) 2002-07-15 2008-06-25 ブラザー工業株式会社 ミシン制御装置、ミシン制御方法およびミシン制御プログラム
US20040176751A1 (en) 2002-08-14 2004-09-09 Endovia Medical, Inc. Robotic medical instrument system
DE60326608D1 (de) 2002-10-04 2009-04-23 Orthosoft Inc Computergestützte hüftersatz chirurgie
US20040082842A1 (en) 2002-10-28 2004-04-29 Lumba Vijay K. System for monitoring fetal status
US20090149871A9 (en) 2002-11-01 2009-06-11 Jonathan Kagan Devices and methods for treating morbid obesity
CA2563459A1 (en) 2003-04-18 2004-11-04 Medispectra, Inc. Systems for identifying, displaying, marking, and treating suspect regions of tissue
US20100081875A1 (en) 2003-07-15 2010-04-01 EndoRobotics Inc. Surgical Device For Minimal Access Surgery
US7905840B2 (en) 2003-10-17 2011-03-15 Nuvasive, Inc. Surgical access system and related methods
US10041822B2 (en) 2007-10-05 2018-08-07 Covidien Lp Methods to shorten calibration times for powered devices
US20080269596A1 (en) 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
EP1734856A2 (en) 2004-03-11 2006-12-27 Medrad, Inc. Energy assisted medical devices, systems and methods
EP1585015B1 (en) 2004-03-17 2007-05-02 3DConnexion GmbH User interface device
US20050279354A1 (en) 2004-06-21 2005-12-22 Harvey Deutsch Structures and Methods for the Joint Delivery of Fluids and Light
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
CA2581009C (en) 2004-09-15 2011-10-04 Synthes (U.S.A.) Calibrating device
US7532327B2 (en) 2004-09-17 2009-05-12 Jmar Research, Inc. Systems and methods for detecting scattered light from a particle using illumination incident at an angle
US20080015664A1 (en) 2004-10-06 2008-01-17 Podhajsky Ronald J Systems and methods for thermally profiling radiofrequency electrodes
US20060079841A1 (en) 2004-10-07 2006-04-13 University Technologies International Inc. Rapid insufflation drug compartment
US9161820B2 (en) 2004-10-28 2015-10-20 Nico Corporation Surgical access assembly and method of using same
WO2006050570A1 (en) 2004-11-12 2006-05-18 Vfs Technologies Limited Particle detector, system and method
WO2006062895A2 (en) 2004-12-06 2006-06-15 Cambridge Research And Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
EP1677099A1 (en) 2004-12-30 2006-07-05 Danmarks Tekniske Universitet Method and apparatus for classification of surfaces
WO2006086765A2 (en) 2005-02-11 2006-08-17 University Of Florida Research Foundation, Inc. System including computed tomography device for image guided treatment
US20060293557A1 (en) 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
US20060206007A1 (en) 2005-03-14 2006-09-14 Bala John L Disposable illuminator endoscope
US7842027B2 (en) 2005-03-21 2010-11-30 Lieponis Jonas V Multi-purpose surgical instrument with integral optical system
US20060224045A1 (en) 2005-03-31 2006-10-05 Depuy Spine, Inc. Integrated access device and light source for surgical procedures
JP4766902B2 (ja) 2005-03-31 2011-09-07 オリンパスメディカルシステムズ株式会社 手術支援装置
AU2006238292B2 (en) 2005-03-31 2010-04-15 Olympus Medical Systems Corp. Surgery assisting apparatus and treatment assisting apparatus
US9005115B2 (en) 2005-04-04 2015-04-14 Invuity, Inc. Illuminated telescoping cannula
US7510524B2 (en) 2005-04-04 2009-03-31 Invuity, Inc. Optical waveguide sheath
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8932208B2 (en) 2005-05-26 2015-01-13 Maquet Cardiovascular Llc Apparatus and methods for performing minimally-invasive surgical procedures
EP1908023A1 (en) 2005-06-02 2008-04-09 Depuy International Limited Surgical system and method
US20120143341A1 (en) 2006-12-12 2012-06-07 Arthrodisc, L.L.C. Devices and methods for visual differentiation of intervertebral spaces
US7887554B2 (en) 2005-06-13 2011-02-15 Ethicon Endo-Surgery, Inc. Surgical suturing apparatus with needle position indicator
US20070172472A1 (en) 2005-06-23 2007-07-26 Asha Nayak Methods and Systems for Treating Injured Cardiac Tissue
WO2007002554A2 (en) 2005-06-23 2007-01-04 Medtronic Vascular, Inc. Methods and systems for treating injured cardiac tissue
US20070093748A1 (en) 2005-06-23 2007-04-26 Medtronic Vascular, Inc. Methods and systems for treating injured cardiac tissue
US20100280493A1 (en) 2005-06-23 2010-11-04 Asha Nayak Methods and Systems for Treating Injured Cardiac Tissue
DE102005034684B4 (de) 2005-07-25 2014-10-16 Siemens Aktiengesellschaft Computertomographisches System zur kontrollierten Durchführung eines interventionellen Eingriffs
US8451327B2 (en) 2005-08-18 2013-05-28 Hoya Corporation Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system
ES2390593T3 (es) 2005-09-13 2012-11-14 The Trustees Of Columbia University In The City Of New York Dispositivo insertable y sistema para un procedimiento de acceso mínimo
WO2007033326A2 (en) 2005-09-14 2007-03-22 Welch Allyn, Inc. Medical apparatus comprising and adaptive lens
US20070066970A1 (en) 2005-09-16 2007-03-22 Leonard Ineson Integrated electrosurgical cart and surgical smoke evacuator unit
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US20070100210A1 (en) 2005-11-02 2007-05-03 Depuy Spine, Inc. Illuminated surgical access system including a surgical access device and coupled light emitter
US7874982B2 (en) 2005-11-02 2011-01-25 Depuy Spine, Inc. Illuminated surgical access system including a surgical access device and coupled light emitter
US20070265495A1 (en) 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US8820603B2 (en) 2006-01-31 2014-09-02 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US20070175955A1 (en) 2006-01-31 2007-08-02 Shelton Frederick E Iv Surgical cutting and fastening instrument with closure trigger locking mechanism
US8763879B2 (en) 2006-01-31 2014-07-01 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of surgical instrument
US7766210B2 (en) 2006-01-31 2010-08-03 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with user feedback system
US7770775B2 (en) 2006-01-31 2010-08-10 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with adaptive user feedback
US8161977B2 (en) 2006-01-31 2012-04-24 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
US8623026B2 (en) 2006-02-06 2014-01-07 Conformis, Inc. Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief
US8989528B2 (en) 2006-02-22 2015-03-24 Hansen Medical, Inc. Optical fiber grating sensors and methods of manufacture
EP1843243B1 (en) 2006-04-05 2012-02-22 Société Civile "GALILEO 2011" Opto-electronic device for determining relative movements or relative positions of two objects
EP2023844B1 (en) 2006-05-19 2017-06-21 Mako Surgical Corp. Apparatus for controlling a haptic device
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US10376314B2 (en) 2006-07-14 2019-08-13 Neuwave Medical, Inc. Energy delivery systems and uses thereof
WO2008102205A2 (en) 2006-08-09 2008-08-28 Fotonation Vision Limited Detection of airborne flash artifacts using preflash image
US20080144906A1 (en) 2006-10-09 2008-06-19 General Electric Company System and method for video capture for fluoroscopy and navigation
US11389171B2 (en) 2006-11-21 2022-07-19 David S. Goldsmith Integrated system for the infixion and retrieval of implants
US20140163664A1 (en) 2006-11-21 2014-06-12 David S. Goldsmith Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting
EP1925256A1 (de) 2006-11-24 2008-05-28 BrainLAB AG Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern
US20080194930A1 (en) 2007-02-09 2008-08-14 Harris Melvyn L Infrared-visible needle
EP2129301A4 (en) 2007-03-13 2015-03-25 Peter S Harris METHOD AND DEVICES FOR REDUCING THE MAGENTAL VOLUME
JP4916011B2 (ja) 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
EP2134272A1 (en) 2007-04-02 2009-12-23 Stryker Corporation Medical/surgical tool for both identifying subcutaneous target tissue by means of emitting an interrrogation signal and positioning a catheter at the target
US20140320684A1 (en) 2007-04-03 2014-10-30 David Chatenever Universal Control Unit and Display With Non-Contact Adjustment Functionality
WO2008133956A2 (en) 2007-04-23 2008-11-06 Hansen Medical, Inc. Robotic instrument control system
US7832611B2 (en) 2007-05-16 2010-11-16 The Invention Science Fund I, Llc Steerable surgical stapler
US7810691B2 (en) 2007-05-16 2010-10-12 The Invention Science Fund I, Llc Gentle touch surgical stapler
US7798385B2 (en) 2007-05-16 2010-09-21 The Invention Science Fund I, Llc Surgical stapling instrument with chemical sealant
US20080319491A1 (en) 2007-06-19 2008-12-25 Ryan Schoenefeld Patient-matched surgical component and methods of use
US7516675B2 (en) 2007-07-03 2009-04-14 Kulite Semiconductor Products, Inc. Joystick sensor apparatus
US8706211B2 (en) 2007-08-17 2014-04-22 The Invention Science Fund I, Llc Systems, devices, and methods including catheters having self-cleaning surfaces
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
WO2009039391A1 (en) 2007-09-21 2009-03-26 The Methodist Hospital System Systems, methods and apparatuses for generating and using representations of individual or aggregate human medical data
US9050120B2 (en) 2007-09-30 2015-06-09 Intuitive Surgical Operations, Inc. Apparatus and method of user interface with alternate tool mode for robotic surgical tools
US9522046B2 (en) 2010-08-23 2016-12-20 Gip Robotic surgery system
BRPI0901282A2 (pt) 2008-02-14 2009-11-17 Ethicon Endo Surgery Inc instrumento cirúrgico de corte e fixação dotado de eletrodos de rf
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
WO2013109966A1 (en) 2012-01-20 2013-07-25 The Trustees Of Dartmouth College Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance
US20090326336A1 (en) 2008-06-25 2009-12-31 Heinz Ulrich Lemke Process for comprehensive surgical assist system by means of a therapy imaging and model management system (TIMMS)
US8172836B2 (en) 2008-08-11 2012-05-08 Tyco Healthcare Group Lp Electrosurgical system having a sensor for monitoring smoke or aerosols
US9282878B2 (en) 2008-08-13 2016-03-15 Invuity, Inc. Cyclo olefin polymer and copolymer medical devices
US20100152539A1 (en) 2008-12-17 2010-06-17 Ethicon Endo-Surgery, Inc. Positionable imaging medical devices
US8992558B2 (en) 2008-12-18 2015-03-31 Osteomed, Llc Lateral access system for the lumbar spine
WO2010085073A2 (ko) 2009-01-20 2010-07-29 주식회사 래보 지방흡입 수술용 로봇
US20100194574A1 (en) 2009-01-30 2010-08-05 David James Monk Particle detection system and method of detecting particles
US9173717B2 (en) 2009-02-20 2015-11-03 Truevision Systems, Inc. Real-time surgical reference indicium apparatus and methods for intraocular lens implantation
US8632468B2 (en) 2009-02-25 2014-01-21 Koninklijke Philips N.V. Method, system and devices for transjugular intrahepatic portosystemic shunt (TIPS) procedures
EP3431024B1 (en) 2009-05-29 2023-08-16 Smith & Nephew, Inc. Apparatus for performing knee arthroplasty
US9259290B2 (en) 2009-06-08 2016-02-16 MRI Interventions, Inc. MRI-guided surgical systems with proximity alerts
US20110014181A1 (en) 2009-07-20 2011-01-20 Medtronic Vascular, Inc. Microneedle Delivery Device and Methods of Using Same
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8934003B2 (en) 2010-01-08 2015-01-13 Koninklijkle Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
EP2359745A1 (en) 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
US20110201881A1 (en) 2010-02-16 2011-08-18 Frederick Emch Laser guided endoscopic surgical tool
US8652148B2 (en) 2010-02-25 2014-02-18 Zimmer, Inc. Tracked cartilage repair system
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US20110257611A1 (en) 2010-04-16 2011-10-20 Kci Licensing, Inc. Systems, apparatuses, and methods for sizing a subcutaneous, reduced-pressure treatment device
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
FR2959409B1 (fr) 2010-05-03 2012-06-29 Gen Electric Procede de determination d'un trajet d'insertion d'un outil dans une matricee tissulaire pouvant se deformer et systeme robotise mettant en oeuvre le procede
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
US9392960B2 (en) 2010-06-24 2016-07-19 Uc-Care Ltd. Focused prostate cancer treatment system and method
AU2011270654B2 (en) 2010-06-25 2016-04-21 Boss Instruments, Ltd., Inc. Endoscopic suturing device, system and method
WO2012012565A2 (en) 2010-07-20 2012-01-26 The Johns Hopkins University Interferometric force sensor for surgical instruments
US9579097B2 (en) 2010-09-20 2017-02-28 Entourage Medical Technologies, Inc. Method for tensioning a surgical closure
WO2012064881A2 (en) 2010-11-09 2012-05-18 Frank Prosl Hemodialysis access system
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US8523043B2 (en) 2010-12-07 2013-09-03 Immersion Corporation Surgical stapler having haptic feedback
KR20120068597A (ko) 2010-12-17 2012-06-27 주식회사 이턴 수술 로봇 시스템 및 적응 제어 방법
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
EP2685924B1 (en) 2011-03-17 2016-10-26 Brainlab AG Method for preparing the reconstruction of a damaged bone structure
US20120265022A1 (en) 2011-04-18 2012-10-18 Tyco Healthcare Group Lp Trocar with integrated light and/or scope optical fibers
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
JP2013013050A (ja) 2011-05-27 2013-01-17 Ricoh Co Ltd 撮像装置及びこの撮像装置を用いた表示方法
EP2723240B1 (en) 2011-06-27 2018-08-08 Koninklijke Philips N.V. Live 3d angiogram using registration of a surgical tool curve to an x-ray image
US9179890B2 (en) 2011-07-14 2015-11-10 Siemens Aktiengesellschaft Model-based positioning for intracardiac echocardiography volume stitching
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
SG10201601021YA (en) 2011-08-15 2016-03-30 Conformis Inc Revision systems, tools and methods for revising joint arthroplasty implants
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US20140228632A1 (en) 2011-08-21 2014-08-14 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - rule based approach
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US20130274674A1 (en) 2011-08-24 2013-10-17 Ablative Solutions, Inc. Intravascular ablation catheter with precision depth of penetration calibration
US20130274673A1 (en) 2011-08-24 2013-10-17 Ablative Solutions, Inc. Intravascular ablation catheter with enhanced fluoroscopic visibility
US20130053792A1 (en) 2011-08-24 2013-02-28 Ablative Solutions, Inc. Expandable catheter system for vessel wall injection and muscle and nerve fiber ablation
CN102961166A (zh) 2011-08-31 2013-03-13 通用电气公司 用于检测和跟踪针的方法
US8744211B2 (en) 2011-08-31 2014-06-03 Analogic Corporation Multi-modality image acquisition
CA2776203C (en) 2011-09-08 2020-08-04 Calgary Scientific Inc. Determining contours of a vessel using an active contouring model
US9148649B2 (en) 2011-10-07 2015-09-29 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects from scattered light
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
GB201121963D0 (en) 2011-12-20 2012-02-01 Smiths Medical Int Ltd Imaging and illumination apparatus
WO2013091112A1 (en) 2011-12-23 2013-06-27 Orthosoft Inc. Connection method for mems navigation unit for computer-assisted surgery
BR112014017369B1 (pt) 2012-01-18 2022-03-03 Koninklijke Philips N.V. Sistema de formação de imagem ultrassônica que orienta visualmente a inserção de um dispositivo invasivo tal como uma agulha
US20130211244A1 (en) 2012-01-25 2013-08-15 Surgix Ltd. Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools
US9044230B2 (en) 2012-02-13 2015-06-02 Ethicon Endo-Surgery, Inc. Surgical cutting and fastening instrument with apparatus for determining cartridge and firing motion status
EP2822472B1 (en) 2012-03-07 2022-09-28 Ziteo, Inc. Systems for tracking and guiding sensors and instruments
WO2013132501A1 (en) 2012-03-07 2013-09-12 M.S.T. Medical Surgery Technologies Ltd. Overall endoscopic control system
US9064173B2 (en) 2012-03-07 2015-06-23 Blue River Technology, Inc. Method and apparatus for automated plant necrosis
WO2013134623A1 (en) 2012-03-08 2013-09-12 Neutar, Llc Patient and procedure customized fixation and targeting devices for stereotactic frames
US9351639B2 (en) 2012-03-17 2016-05-31 Visunex Medical Systems Co. Ltd. Eye imaging apparatus with a wide field of view and related methods
JP5427318B1 (ja) 2012-03-30 2014-02-26 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20150051460A1 (en) 2012-04-04 2015-02-19 Noopur Saxena System and method for locating blood vessels and analysing blood
KR102214789B1 (ko) 2012-04-16 2021-02-09 칠드런스 내셔널 메디컬 센터 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템
US9788851B2 (en) 2012-04-18 2017-10-17 Ethicon Llc Surgical instrument with tissue density sensing
US20140336461A1 (en) 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
WO2013163391A1 (en) 2012-04-25 2013-10-31 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US20130296712A1 (en) 2012-05-03 2013-11-07 Covidien Lp Integrated non-contact dimensional metrology tool
EP2852352B1 (en) 2012-05-04 2021-09-01 Roger Khouri Surgical tools
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9141868B2 (en) 2012-06-26 2015-09-22 Xerox Corporation Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources
US9289185B2 (en) 2012-07-23 2016-03-22 ClariTrac, Inc. Ultrasound device for needle procedures
KR102304096B1 (ko) 2012-08-03 2021-09-24 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
EP2700365A1 (en) 2012-08-23 2014-02-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Suturing toolkit
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
WO2014063106A1 (en) 2012-10-18 2014-04-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-resolution foveated endoscope/laparoscope
FI3542833T3 (fi) 2012-10-24 2023-09-26 Stryker Corp Jätekeräyskokoonpano
US20190076186A1 (en) 2012-10-29 2019-03-14 Ablative Solutions, Inc. Peri-vascular tissue ablation catheters
US10945787B2 (en) 2012-10-29 2021-03-16 Ablative Solutions, Inc. Peri-vascular tissue ablation catheters
US10881458B2 (en) 2012-10-29 2021-01-05 Ablative Solutions, Inc. Peri-vascular tissue ablation catheters
US9370328B2 (en) 2012-11-29 2016-06-21 University Of Washington Through Its Center For Commercialization Methods and systems for determining tumor boundary characteristics
CA2893786C (en) 2012-12-07 2021-01-05 University Of Houston Surgical procedure management systems and methods
DE102012025100A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
EP2754383B1 (en) 2013-01-10 2021-03-10 TransEnterix Europe Sàrl Device and method for assisting laparoscopic surgery - rule based approach
WO2014117806A1 (en) 2013-01-29 2014-08-07 Brainlab Ag Registration correction based on shift detection in image data
ES2921176T3 (es) 2013-02-07 2022-08-19 Shanghai Golden Leaf Med Tec Co Ltd Método, sistema de ablación por radiofrecuencia y dispositivo de ablación por radiofrecuencia del mismo
US9649109B2 (en) 2013-03-14 2017-05-16 C.R. Bard, Inc. Surgical instrument with an actuation lockout
US9072501B2 (en) 2013-03-15 2015-07-07 Regents Of The University Of Minnesota Micro-orifice surgical access system
WO2015135057A1 (en) 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
AU2014231346B2 (en) * 2013-03-15 2018-03-08 Synaptive Medical Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
US9788906B2 (en) 2013-03-15 2017-10-17 Synaptive Medical (Barbados) Inc. Context aware surgical systems for intraoperatively configuring imaging devices
ES2796025T3 (es) 2013-03-15 2020-11-25 Convergent Dental Inc Dispositivo para la obtención de imágenes en tratamiento dental con láser
MY174728A (en) 2013-03-15 2020-05-11 Synaptive Medical Inc Intramodal synchronization of surgical data
WO2015135058A1 (en) 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Methods and systems for intraoperatively confirming location of tissue structures
US11278353B2 (en) 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
CA2902592C (en) 2013-03-15 2023-03-07 Synaptive Medical (Barbados) Inc. Insert imaging device for surgical procedures
JP6049518B2 (ja) 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
EP2997353B1 (en) 2013-05-15 2022-10-12 The Administrators of The Tulane Educational Fund Microscopy of a tissue sample using structured illumination
JP6265627B2 (ja) 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
WO2014200016A1 (ja) 2013-06-11 2014-12-18 Tanji Atsushi 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置
US10467752B2 (en) 2013-06-11 2019-11-05 Atsushi Tanji Bone cutting support system, information processing apparatus, image processing method, and image processing program
KR101427973B1 (ko) 2013-07-09 2014-08-07 현대자동차 주식회사 차량 조립용 체결 보증 시스템 및 그 제어 방법
EP2976989A4 (en) 2013-07-11 2017-03-15 Olympus Corporation Light source device
US10170205B2 (en) 2013-07-24 2019-01-01 Karl Storz Endoscopy-America, Inc. Multi-dimensional surgical safety countermeasure system
JP6164964B2 (ja) 2013-07-26 2017-07-19 オリンパス株式会社 医療用システムおよびその制御方法
US11800991B2 (en) 2013-08-15 2023-10-31 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
US11013858B2 (en) 2016-01-12 2021-05-25 David S. Goldsmith Nonjacketing side-entry connectors and prosthetic disorder response systems
US20160206204A1 (en) 2013-08-28 2016-07-21 Konica Minolta, Inc. Organ Imaging Device
US9327120B2 (en) 2013-09-04 2016-05-03 Northwestern University System and method for animal-human neural interface
US10433911B2 (en) 2013-09-18 2019-10-08 iMIRGE Medical INC. Optical targeting and visualization of trajectories
US20140175150A1 (en) 2013-10-01 2014-06-26 Ethicon Endo-Surgery, Inc. Providing Near Real Time Feedback To A User of A Surgical Instrument
US20140035762A1 (en) 2013-10-01 2014-02-06 Ethicon Endo-Surgery, Inc. Providing Near Real Time Feedback To A User Of A Surgical Instrument
WO2015054543A1 (en) 2013-10-09 2015-04-16 Nuvasive, Inc. Surgical spinal correction
US20160256101A1 (en) 2013-10-14 2016-09-08 Avraham Aharoni Device and System Device and System for Imaging Veins
CN105960208A (zh) 2013-10-29 2016-09-21 随行医疗技术公司 用于提供外科手术介入的系统
CA2929282A1 (en) 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system
EP3073894B1 (en) 2013-11-27 2022-03-30 Children's National Medical Center Corrected 3d imaging
TWI548388B (zh) 2013-12-30 2016-09-11 國立臺灣大學 骨科手術之手持式機器人以及其控制方法
US20150202005A1 (en) 2014-01-20 2015-07-23 Omniguide, Inc. System and Method To Control Surgical Energy Devices
US10531828B2 (en) 2014-01-31 2020-01-14 The Johns Hopkins University Method and system for transcranial photoacoustic imaging for guiding skull base surgeries
JP6649260B2 (ja) 2014-02-04 2020-02-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化
CN105992568B (zh) 2014-02-12 2018-06-08 皇家飞利浦有限公司 手术仪器可见性的机器人控制
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
AU2015221258B2 (en) 2014-02-21 2019-11-21 Cilag Gmbh International A set comprising a surgical instrument
KR101579111B1 (ko) 2014-02-24 2015-12-21 삼성전자주식회사 영상 진단 방법, 장치 및 기록매체
US9504529B2 (en) * 2014-02-24 2016-11-29 Vida Diagnostics, Inc. Treatment outcome prediction for lung volume reduction procedures
AU2015222825B2 (en) 2014-02-28 2019-10-31 Blue Belt Technologies, Inc. System and methods for positioning bone cut guide
US10004497B2 (en) 2014-03-26 2018-06-26 Ethicon Llc Interface systems for use with surgical instruments
JP6609616B2 (ja) 2014-03-28 2019-11-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド マルチポートの視点からの手術シーンの定量的な３次元イメージング
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
WO2015149042A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Alignment of q3d models with 3d images
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US11116383B2 (en) 2014-04-02 2021-09-14 Asensus Surgical Europe S.à.R.L. Articulated structured light based-laparoscope
EP3128917A4 (en) 2014-04-08 2018-01-03 Polyvalor, Limited Partnership System and method for assessing a cancer status of biological tissue
WO2015161297A1 (en) 2014-04-17 2015-10-22 The Johns Hopkins University Robot assisted ultrasound system
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US9760989B2 (en) * 2014-05-15 2017-09-12 Vida Diagnostics, Inc. Visualization and quantification of lung disease utilizing image registration
JP6566714B2 (ja) 2014-05-19 2019-08-28 キヤノンメディカルシステムズ株式会社 Ｘ線コンピュータ断層撮影装置、画像表示装置および画像表示方法
JP2017524281A (ja) 2014-05-20 2017-08-24 ユニヴァーシティ オブ ワシントン 媒介現実の外科用視覚化のためのシステム及び方法
US10068173B2 (en) 2014-05-22 2018-09-04 Invuity, Inc. Medical device featuring cladded waveguide
WO2015189839A1 (en) 2014-06-08 2015-12-17 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery utilizing a touch screen
US10105186B2 (en) 2014-06-09 2018-10-23 The Johns Hopkins University Virtual rigid body optical tracking system and method
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
WO2016002258A1 (ja) 2014-06-30 2016-01-07 富士フイルム株式会社 光音響画像生成装置、信号処理装置、及び光音響画像生成方法
US11227427B2 (en) 2014-08-11 2022-01-18 Covidien Lp Treatment procedure planning system and method
CN111067625B (zh) 2014-08-22 2024-08-06 直观外科手术操作公司 用于自适应输入映射的系统和方法
US9720076B2 (en) 2014-08-29 2017-08-01 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
LT3188645T (lt) 2014-09-04 2020-07-10 Memic Innovative Surgery Ltd. Įtaisas ir sistema su mechaninėmis rankomis
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US20160086380A1 (en) 2014-09-22 2016-03-24 Invuity, Inc Hyperspectral imager
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
WO2016069788A1 (en) 2014-10-29 2016-05-06 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US11504192B2 (en) * 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
WO2016099471A1 (en) 2014-12-17 2016-06-23 Carestream Health, Inc. Intra-oral 3-d fluorescence imaging
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2016127173A1 (en) 2015-02-06 2016-08-11 The University Of Akron Optical imaging system and methods thereof
US10806346B2 (en) 2015-02-09 2020-10-20 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
EP3056137B1 (en) 2015-02-13 2017-11-01 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH Device and method for multispectral optoacoustic imaging
WO2016144937A1 (en) 2015-03-10 2016-09-15 Covidien Lp Measuring health of a connector member of a robotic surgical system
WO2016176333A1 (en) 2015-04-27 2016-11-03 Reflex Medical, Inc. Systems and mehtods for sympathetic cardiopulmonary neuromodulation
US10607738B2 (en) 2015-05-15 2020-03-31 University Health Network System and method for minimally invasive thermal ablation treatment planning
EP3297514A4 (en) 2015-05-19 2019-01-23 Invuity, Inc. MULTISPECTRAL LIGHT SOURCE
US10722293B2 (en) 2015-05-29 2020-07-28 Covidien Lp Surgical device with an end effector assembly and system for monitoring of tissue before and after a surgical procedure
JP7166760B2 (ja) 2015-06-09 2022-11-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科的処置アトラスを用いた手術システムの構成
WO2016203461A1 (en) 2015-06-15 2016-12-22 Haim Amir Systems and methods for adaptive skin treatment
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10510149B2 (en) 2015-07-17 2019-12-17 ams Sensors Singapore Pte. Ltd Generating a distance map based on captured images of a scene
WO2017012624A1 (en) 2015-07-21 2017-01-26 3Dintegrated Aps Cannula assembly kit, trocar assembly kit, sleeve assembly, minimally invasive surgery system and method therefor
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
US10194981B2 (en) 2015-07-29 2019-02-05 Medlumics S.L. Radiofrequency ablation catheter with optical tissue evaluation
CA2994024C (en) 2015-07-29 2019-03-05 Synaptive Medical (Barbados) Inc. Handheld scanner for rapid registration in a medical navigation system
CN111281602A (zh) 2015-08-14 2020-06-16 蒂莫西·R·威利斯 人工晶体（iol）及相关组件和眼内附着方法
US10973587B2 (en) 2015-08-19 2021-04-13 Brainlab Ag Reference array holder
US11638615B2 (en) 2015-08-30 2023-05-02 Asensus Surgical Us, Inc. Intelligent surgical tool control system for laparoscopic surgeries
US10987129B2 (en) 2015-09-04 2021-04-27 Medos International Sarl Multi-shield spinal access system
WO2017042171A1 (en) 2015-09-10 2017-03-16 Koninklijke Philips N.V. Apparatus for imaging in a medical treatment
EP3351188B1 (en) 2015-09-17 2021-04-07 Olympus Corporation Endoscope treatment instrument
CN106999187B (zh) 2015-09-17 2020-09-01 奥林巴斯株式会社 内窥镜用处置器具
WO2017047147A1 (ja) 2015-09-17 2017-03-23 オリンパス株式会社 内視鏡用処置具
JP6129440B1 (ja) 2015-09-17 2017-05-17 オリンパス株式会社 内視鏡用処置具セット
DE102015115903A1 (de) 2015-09-21 2017-03-23 Karl Storz Gmbh & Co. Kg Mikroinvasives medizinisches Instrument
US20190053691A1 (en) 2015-10-09 2019-02-21 3Dintegrated Aps A laparoscopic tool system for minimally invasive surgery
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
WO2017066493A1 (en) 2015-10-13 2017-04-20 Hypermed Imaging, Inc. Compact light sensors for surgical applications and shock detection
WO2017066495A1 (en) 2015-10-13 2017-04-20 Entourage Medical Technologies, Inc. Surgical closure configurations
US10531074B2 (en) 2015-10-16 2020-01-07 CapsoVision, Inc. Endoscope employing structured light providing physiological feature size measurement
EP3165153A1 (en) 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
WO2017086789A1 (en) 2015-11-20 2017-05-26 Stichting Het Nederlands Kanker Instituut-Antoni van Leeuwenhoek Ziekenhuis Method and system of providing visual information about a location of a tumour under a body surface of a human or animal body, computer program, and computer program product
US10390835B2 (en) 2015-12-10 2019-08-27 Covidien Lp Surgical fastener apparatus with linear position sensor
EP3389544A4 (en) 2015-12-14 2019-08-28 Nuvasive, Inc. 3D VISUALIZATION DURING OPERATION WITH REDUCED RADIATION EXPOSURE
JP6173651B1 (ja) 2016-01-06 2017-08-02 オリンパス株式会社 組織締付具留置装置
EP4155716A1 (en) 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
US10973519B2 (en) 2016-01-29 2021-04-13 Intuitive Surgical Operations, Inc. System and method for variable velocity surgical instrument
WO2017138291A1 (ja) 2016-02-09 2017-08-17 富士フイルム株式会社 距離画像取得装置及びその応用
WO2017144934A1 (en) 2016-02-26 2017-08-31 Trophy Guided surgery apparatus and method
WO2017151414A1 (en) 2016-03-02 2017-09-08 Covidien Lp Systems and methods for removing occluding objects in surgical images and/or video
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
WO2020105049A1 (en) 2018-11-22 2020-05-28 Vuze Medical Ltd. Apparatus and methods for use with image-guided skeletal procedures
US10413366B2 (en) 2016-03-16 2019-09-17 Synaptive Medical (Bardbados) Inc. Trajectory guidance alignment system and methods
US20190293554A1 (en) 2016-03-28 2019-09-26 Sony Corporation Imaging apparatus and imaging method
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10806518B2 (en) 2016-04-27 2020-10-20 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10813700B2 (en) 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
WO2017185170A1 (en) 2016-04-28 2017-11-02 Intellijoint Surgical Inc. Systems, methods and devices to scan 3d surfaces for intra-operative localization
KR102584758B1 (ko) 2016-06-09 2023-10-06 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격 조작 수술 시스템 및 방법
JP6834184B2 (ja) 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
US20170366773A1 (en) 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
US11315438B1 (en) 2016-06-24 2022-04-26 Verily Life Sciences Llc Surgical training systems and methods
US20180000533A1 (en) 2016-07-01 2018-01-04 Cynosure, Inc. Non-invasive uniform and non-uniform rf methods and systems
EP3578131B1 (en) 2016-07-27 2020-12-09 Align Technology, Inc. Intraoral scanner with dental diagnostics capabilities
CN109803600B (zh) 2016-08-10 2022-08-23 澳大利亚机器人骨科学院有限公司 机器人辅助的激光手术系统
EP3512452A1 (en) 2016-09-16 2019-07-24 Zimmer, Inc. Augmented reality surgical technique guidance
JP6833444B2 (ja) 2016-10-17 2021-02-24 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム
IL248913B (en) 2016-11-10 2022-01-01 Imagesat Int N V Identification and tracking of objects using multiple satellites
US10702186B2 (en) 2016-12-06 2020-07-07 Siemens Healthcare Gmbh Method and apparatus for identifying an organ structure of an examined object in magnetic resonance image data
CN110049742B (zh) 2016-12-07 2023-01-03 皇家飞利浦有限公司 用于机器人控制的图像引导的运动缩放
US10918445B2 (en) 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US20200008879A1 (en) 2016-12-19 2020-01-09 Koninklijke Philips N.V. Ultrasound guidance of actuatable medical tool
EP3562393B1 (en) * 2016-12-27 2023-09-06 Sensible Medical Innovations Ltd. System for radiofrequency (rf) tissue(s) monitoring
EP3545673A4 (en) 2016-12-27 2019-11-20 Zhejiang Dahua Technology Co., Ltd METHOD AND SYSTEMS WITH MULTIPLE CAMERAS
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
CN116128937A (zh) 2017-01-09 2023-05-16 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
GB2552855B (en) 2017-01-31 2019-02-13 Cmr Surgical Ltd Surgical instrument engagement detection
CA2958163C (en) 2017-02-15 2019-02-12 Synaptive Medical (Barbados) Inc. Digitally enhanced surgical instruments
WO2018154491A1 (en) 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
US20180242967A1 (en) 2017-02-26 2018-08-30 Endoevolution, Llc Apparatus and method for minimally invasive suturing
EP3367387A1 (en) 2017-02-28 2018-08-29 Digital Surgery Ltd Methods and system for providing real-time surgical guidance
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
US9922172B1 (en) 2017-02-28 2018-03-20 Digital Surgery Limited Surgical guidance system based on a pre-coded surgical procedural map
US10813710B2 (en) 2017-03-02 2020-10-27 KindHeart, Inc. Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station
US20200397266A1 (en) 2017-03-10 2020-12-24 Transenterix Surgical, Inc. Apparatus and method for enhanced tissue visualization
EP3599982A4 (en) 2017-03-20 2020-12-23 3dintegrated ApS 3D RECONSTRUCTION SYSTEM
EP3599981A1 (en) 2017-03-21 2020-02-05 Stryker Corporation Methods and systems to automate surgical interventions
EP3606410B1 (en) 2017-04-04 2022-11-02 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
WO2018200767A1 (en) 2017-04-27 2018-11-01 Arthrology Consulting, Llc Method for augmenting a surgical with virtual guidance content
US10986999B2 (en) 2017-04-27 2021-04-27 Curadel, LLC Range-finding in optical imaging
JP6788109B2 (ja) 2017-05-16 2020-11-18 オリンパス株式会社 組織締付具留置システム
US20180368883A1 (en) 2017-05-17 2018-12-27 The Governors Of The University Of Alberta Hand-held device and computer-implemented system and method for assisted steering of a percutaneously inserted needle
US11276175B2 (en) 2017-05-18 2022-03-15 Brainlab Ag Determining a clinical target volume
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US20180344140A1 (en) 2017-05-30 2018-12-06 Endochoice, Inc. Illuminator window for a multiple viewing element endoscope
CN110944595B (zh) 2017-06-28 2023-11-24 直观外科手术操作公司 用于将内窥镜图像数据集映射到三维体积上的系统
US11298128B2 (en) 2017-06-28 2022-04-12 Cilag Gmbh International Surgical system couplable with staple cartridge and radio frequency cartridge, and method of using same
US20200405395A1 (en) 2017-07-03 2020-12-31 Spine Align, Llc Intraoperative alignment assessment system and method
AU2018298137A1 (en) 2017-07-05 2020-01-23 The Regents Of The University Of California Assay for pre-operative prediction of organ function recovery
US20190008579A1 (en) 2017-07-10 2019-01-10 Covidien Lp Energy-based surgical devices facilitating breakdown of tissue specimens for removal
EP3655103A1 (en) 2017-07-18 2020-05-27 Sensus Healthcare, Inc. Real-time x-ray dosimetry in intraoperative radiation therapy
US10506991B2 (en) 2017-08-31 2019-12-17 Biosense Webster (Israel) Ltd. Displaying position and optical axis of an endoscope in an anatomical image
WO2019050821A1 (en) 2017-09-05 2019-03-14 Covidien Lp CAMERA CONTROL FOR SURGICAL ROBOTIC SYSTEMS
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
EP3258241B1 (en) 2017-09-14 2019-12-25 Sensirion AG Particulate matter sensor device
US11147636B2 (en) 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization
WO2019074786A1 (en) 2017-10-13 2019-04-18 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR DETECTING ENVIRONMENTAL FORCES ON AN EXTENDED DEVICE
US10987247B2 (en) 2017-10-18 2021-04-27 Jesus Moreno Opthalmic microsurgical instrument
US20190117319A1 (en) 2017-10-20 2019-04-25 Massachusetts Institute Of Technology Medical probes and methods of use
US11291510B2 (en) * 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) * 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11564756B2 (en) * 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) * 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11311342B2 (en) * 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
CN111343941A (zh) 2017-11-13 2020-06-26 皇家飞利浦有限公司 机器人工具控制
CN111093516B (zh) 2017-11-21 2023-01-10 深圳迈瑞生物医疗电子股份有限公司 用于规划消融的超声系统及方法
US11881119B2 (en) * 2017-12-06 2024-01-23 Cilag Gmbh International Modeling air leaks in lungs
US11364027B2 (en) 2017-12-21 2022-06-21 Cilag Gmbh International Surgical instrument comprising speed control
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US20190206564A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US12127729B2 (en) 2017-12-28 2024-10-29 Cilag Gmbh International Method for smoke evacuation for surgical hub
US11969216B2 (en) * 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US20190200906A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Dual cmos array imaging
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11576677B2 (en) * 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11864728B2 (en) * 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11844579B2 (en) * 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US20190205567A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Data pairing to interconnect a device measured parameter with an outcome
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
JP7237966B2 (ja) 2017-12-28 2023-03-13 エシコン エルエルシー スマート電動外科用ステープル留めのための安全システム
US11424027B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
CN111655184B (zh) 2018-01-10 2024-01-02 柯惠Lp公司 用于放置手术端口的引导
US12102397B2 (en) 2018-01-19 2024-10-01 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
WO2019153352A1 (zh) 2018-02-12 2019-08-15 深圳迈瑞生物医疗电子股份有限公司 一种超声介入的显示方法及系统
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US10507153B2 (en) 2018-03-26 2019-12-17 Augustine Biomedical + Design, LLC Relocation modules and methods for surgical field
US20190311542A1 (en) 2018-04-10 2019-10-10 Robert E. Douglas Smart operating room equipped with smart surgical devices
US11006100B1 (en) 2018-04-10 2021-05-11 Robert Edwin Douglas Smart glasses system
US10058396B1 (en) 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
US11666411B2 (en) 2018-05-10 2023-06-06 Memorial Sloan Kettering Cancer Center Systems for augmented reality surgical and clinical visualization
CA3102138A1 (en) 2018-06-08 2019-12-12 East Carolina University Determining peripheral oxygen saturation (spo2) and hemoglobin concentration using multi-spectral laser imaging (msli) methods and systems
WO2019245852A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Virtual checklists for orthopedic surgery
US20190388157A1 (en) 2018-06-21 2019-12-26 Acclarent, Inc. Surgical navigation system with pattern recognition for fail-safe tissue removal
EP3813676B1 (en) 2018-06-29 2023-11-08 Koninklijke Philips N.V. Biopsy prediction and guidance with ultrasound imaging and associated devices, systems, and methods
US20200037858A1 (en) 2018-07-01 2020-02-06 Luiz Lanat Pedreira de Cerqueira Filho Fairing for free scar instrument and method
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
US11259872B2 (en) 2018-07-25 2022-03-01 Think Surgical Inc. Intraoperative adjustment of a pre-operatively planned implant cavity to improve implant fit
CN109011149B (zh) 2018-09-04 2021-01-08 清华大学 植入式医疗器械的固定装置、加工方法和植入式医疗器械
US20200078120A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Modular surgical energy system with module positional awareness with digital logic
GB2577718B (en) 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
WO2020075546A1 (en) 2018-10-12 2020-04-16 Sony Corporation Surgical support system, data processing apparatus and method
US20220000565A1 (en) 2018-11-15 2022-01-06 Comofi Medtech Private Limited System for renal puncturing assistance
WO2020102665A1 (en) 2018-11-16 2020-05-22 Lang Philipp K Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data
KR102188176B1 (ko) 2018-12-06 2020-12-07 한국 한의학 연구원 침 시술 가이드 기능을 가진 초음파 영상 기기
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11744643B2 (en) * 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US20200273563A1 (en) 2019-02-21 2020-08-27 Theator inc. Adjusting an operating room schedule
US20200289228A1 (en) 2019-03-15 2020-09-17 Ethicon Llc Dual mode controls for robotic surgery
US20200289205A1 (en) 2019-03-15 2020-09-17 Ethicon Llc Robotic surgical systems with mechanisms for scaling camera magnification according to proximity of surgical tool to tissue
US11666401B2 (en) 2019-03-15 2023-06-06 Cilag Gmbh International Input controls for robotic surgery
US11213361B2 (en) 2019-03-15 2022-01-04 Cilag Gmbh International Robotic surgical systems with mechanisms for scaling surgical tool motion according to tissue proximity
US11471229B2 (en) 2019-03-15 2022-10-18 Cilag Gmbh International Robotic surgical systems with selectively lockable end effectors
US11690690B2 (en) 2019-03-15 2023-07-04 Cilag Gmbh International Segmented control inputs for surgical robotic systems
US11284957B2 (en) 2019-03-15 2022-03-29 Cilag Gmbh International Robotic surgical controls with force feedback
US11583350B2 (en) 2019-03-15 2023-02-21 Cilag Gmbh International Jaw coordination of robotic surgical controls
US11490981B2 (en) 2019-03-15 2022-11-08 Cilag Gmbh International Robotic surgical controls having feedback capabilities
US11992282B2 (en) 2019-03-15 2024-05-28 Cilag Gmbh International Motion capture controls for robotic surgery
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US20210196108A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Adaptive surgical system control according to surgical smoke cloud characteristics
US20210196383A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Surgical systems correlating visualization data and powered surgical instrument data
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US20210196098A1 (en) 2019-12-30 2021-07-01 Ethicon Llc Surgical system control based on multiple sensed parameters
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US20220000559A1 (en) 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Providing surgical assistance via automatic tracking and visual feedback during surgery
US20220047259A1 (en) 2020-08-13 2022-02-17 Covidien Lp Endoluminal robotic systems and methods for suturing

Also Published As

Publication number Publication date
US20210196381A1 (en) 2021-07-01
US20210282861A1 (en) 2021-09-16
US11850104B2 (en) 2023-12-26
EP3845188A2 (en) 2021-07-07
US11896442B2 (en) 2024-02-13
EP3845188A3 (en) 2021-11-03
CN115151210A (zh) 2022-10-04
WO2021136998A1 (en) 2021-07-08
BR112022012955A2 (pt) 2022-09-13

Similar Documents

Publication Publication Date Title
US11864956B2 (en) Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
EP3845191A1 (en) Surgical systems correlating visualization data and powered surgical instrument data
US11850104B2 (en) Surgical imaging system
US11882993B2 (en) Method of using imaging devices in surgery
EP3845139B1 (en) Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
EP4104743A1 (en) Method of using imaging devices in surgery
EP4062819A1 (en) Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
EP4094666A1 (en) Surgical systems for proposing and corroborating organ portion removals
EP4302721A2 (en) Method of using imaging devices in surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240903