JP2023508712A - 外科煙雲の特性に従った適応的外科用システム制御 - Google Patents

外科煙雲の特性に従った適応的外科用システム制御 Download PDF

Info

Publication number
JP2023508712A
JP2023508712A JP2022540443A JP2022540443A JP2023508712A JP 2023508712 A JP2023508712 A JP 2023508712A JP 2022540443 A JP2022540443 A JP 2022540443A JP 2022540443 A JP2022540443 A JP 2022540443A JP 2023508712 A JP2023508712 A JP 2023508712A
Authority
JP
Japan
Prior art keywords
surgical
control
tissue
imaging
emr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022540443A
Other languages
English (en)
Inventor
シェルトン・ザ・フォース・フレデリック・イー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cilag GmbH International
Original Assignee
Cilag GmbH International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cilag GmbH International filed Critical Cilag GmbH International
Publication of JP2023508712A publication Critical patent/JP2023508712A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206—Generators therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1442—Probes having pivoting end effectors, e.g. forceps
    • A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/148—Probes or electrodes therefor having a short, rigid shaft for accessing the inner body transcutaneously, e.g. for neurosurgery or arthroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206—Generators therefor
    • A61B18/1233—Generators therefor with circuits for assuring patient safety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320068—Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
    • A61B2017/320072—Working tips with special features, e.g. extending parts
    • A61B2017/320074—Working tips with special features, e.g. extending parts blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00642—Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00702—Power or energy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00696—Controlled or regulated parameters
    • A61B2018/00726—Duty cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00773—Sensed parameters
    • A61B2018/00791—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00898—Alarms or notifications created in response to an abnormal condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00994—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combining two or more different kinds of non-mechanical energy or combining one or more non-mechanical energies with ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/1815—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using microwaves
    • A61B2018/1823—Generators therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/002—Irrigation
    • A61B2218/006—Irrigation for smoke evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2218/00—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2218/001—Details of surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body having means for irrigation and/or aspiration of substances to and/or from the surgical site
    • A61B2218/007—Aspiration
    • A61B2218/008—Aspiration for smoke evacuation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Otolaryngology (AREA)
  • Plasma & Fusion (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)
  • Respiratory Apparatuses And Protective Means (AREA)
  • Electromagnetism (AREA)

Abstract

検出された浮遊微粒子雲特性に従って外科用システムを制御するための様々な制御システムが開示される。制御システムは、手術部位で検出された外科煙雲又は別のエアロゾルの構成又は状態の変化に従って、外科用器具及び排煙器などの様々な外科用装置を適応的に制御することができる。

Description

外科用システムは、例えばモニタなどの１つ以上のディスプレイ上で、臨床医による手術部位及び／又はその１つ以上の部分の観察を可能にできる撮像システムを組み込むことが多い。ディスプレイは、手術室に対してローカル及び／又はリモートであってもよい。撮像システムは、手術部位を観察しかつ臨床医によって見ることができるディスプレイに画像を送信するカメラ付きのスコープを含むことができる。スコープとしては、関節鏡、血管内視鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸内視鏡、腸鏡、食道十二指腸鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識し、かつ／又は臨床医に伝達できる情報によって制限され得る。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは術中に認識不可能である場合がある。加えて、特定の撮像システムは、術中に臨床医に特定の情報を通信し、かつ／又は伝達できない場合がある。
全般的な一態様では、外科用システムのための制御システムが開示される。制御システムは、撮像システムと、撮像システムに結合された制御回路と、を含む。撮像システムは、マルチスペクトル電磁放射線（multispectral electromagnetic radiation:ＥＭＲ）を放射するように構成されたエミッタと、画像センサと、を含む。制御回路は、放射されたＥＭＲに基づいて、画像センサを介して浮遊微粒子を検出するように、検出された浮遊微粒子を含む微粒子雲の境界を特徴付けるように、及び微粒子雲の境界の特性に従って外科用システムの制御パラメータを調整するように構成されている。
別の全般的な一態様では、外科用システムのための制御システムが開示される。制御システムは、撮像システムと、撮像システムに結合された制御回路と、を含む。撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）源と、画像センサと、を含む。制御回路は、画像センサによって受信されたエアロゾル内の微粒子から反射されたＥＭＲを検出するように、検出された微粒子を含むエアロゾルの構成を特徴付けるように、及びエアロゾルの特徴付けられた構成に従って外科用システムの第１の制御パラメータ又は第２の制御パラメータのうちの少なくとも１つを調整するように構成されている。
更に別の全般的な態様では、外科用システムを制御する方法が開示される。外科用システムは、撮像システムを含み、撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、画像センサと、を含む。この方法は、放射されたＥＭＲに基づいて、画像センサを介して浮遊微粒子を検出することと、検出された浮遊微粒子を含む微粒子雲の境界を特徴付けることと、微粒子雲の境界の特性に従って外科用システムの制御パラメータを調整することと、を含む。
様々な態様の新規特徴は、添付の「特許請求の範囲」に具体的に記載される。しかしながら、記載される形態は、構成及び操作の方法のいずれに関しても、以下の記載を添付の図面と共に参照することにより最良に理解され得る。
本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造を識別するように構成されている。 本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている制御回路を示す。 本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている組み合わせ論理回路を示す。 本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている順序論理回路を示す。 本開示の少なくとも１つの態様による、組織表面下の重要構造の深さｄＡを決定するための、図１の外科用装置、撮像装置、及び重要構造間の三角測量を示す概略図である。 本開示の少なくとも１つの態様による、組織表面下の重要構造を識別するように構成されている外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造の深さｄＡを決定するためのパルス光源を含む。 本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造を識別するように構成されている。 本開示の少なくとも１つの態様による、三次元カメラを含む外科用可視化システムの概略図であり、外科用可視化システムは、組織内に埋め込まれた重要構造を識別するように構成されている。 本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であり、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。 本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であり、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。 本開示の少なくとも１つの態様による、三次元カメラから重要構造までのカメラ－重要構造間距離ｄｗを決定することができる、図６の外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために２つのカメラを利用する外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、複数の既知の位置間を軸方向に移動するカメラを利用する外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、カメラが複数の既知の位置間を軸方向かつ回転方向に移動する、図１０Ａの外科用可視化システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。 本開示の少なくとも１つの態様による、外科用可視化システムの構造光源の概略図である。 本開示の少なくとも１つの態様による、様々な生体材料についての吸収係数対波長のグラフである。 本開示の少なくとも１つの態様による、スペクトル外科用可視化システムを介した解剖学的構造の可視化の概略図である。 本開示の少なくとも１つの態様による、解剖学的構造を遮るものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１３Ｃは、尿管シグネチャ対遮るもののグラフ表示であり、図１３Ｄは、動脈シグネチャ対遮るもののグラフ表示であり、図１３Ｅは、神経シグネチャ対遮るもののグラフ表示である。 本開示の少なくとも１つの態様による、解剖学的構造を遮るものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１３Ｃは、尿管シグネチャ対遮るもののグラフ表示であり、図１３Ｄは、動脈シグネチャ対遮るもののグラフ表示であり、図１３Ｅは、神経シグネチャ対遮るもののグラフ表示である。 本開示の少なくとも１つの態様による、解剖学的構造を遮るものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１３Ｃは、尿管シグネチャ対遮るもののグラフ表示であり、図１３Ｄは、動脈シグネチャ対遮るもののグラフ表示であり、図１３Ｅは、神経シグネチャ対遮るもののグラフ表示である。 本開示の少なくとも１つの態様による、重要な解剖学的構造までの距離を感知するように構成されている近赤外（ＮＩＲ）飛行時間測定システムの概略図であり、飛行時間測定システムは、共通の装置上に配置された送信器（エミッタ）と、受信器（センサ）と、を含む。 本開示の少なくとも１つの態様による、図１７ＡのＮＩＲ飛行時間測定システムの放射波、受信波、及び放射波と受信波との間の遅延の概略図である。 本開示の少なくとも１つの態様による、重要構造までの距離を感知するように構成されているＮＩＲ飛行時間測定システムを示し、飛行時間測定システムは、別の装置上の送信器（エミッタ）と、受信器（センサ）と、を含む。 本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。 本開示の少なくとも１つの態様による、手術室内で外科的処置を実施するために使用される外科用システムである。 本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科用システムを示す。 本開示の少なくとも１つの態様による、状況認識外科用システムの図を示す。 本開示の少なくとも１つの態様による、ハブの状況認識を図示する時間線を示す。 本開示の少なくとも１つの態様による、外科的処置の実行中の外科用システムの図である。 本開示の少なくとも１つの態様による、複数の遮るものに面する撮像装置の図である。 本開示の少なくとも１つの態様による、マルチスペクトルＥＭＲ源を利用して融合画像を生成するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、マルチスペクトルＥＭＲ源から生成された融合画像の図である。 本開示の少なくとも１つの態様による、複数の画像フレームを利用して融合画像を生成するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、一連の画像フレームの図である。 本開示の少なくとも１つの態様による、融合画像の図である。 本開示の少なくとも１つの態様による、ユーザに可視化された融合画像の図である。 本開示の少なくとも１つの態様による、外科用器具の概略図である。 本開示の少なくとも１つの態様による、複数の感知されたパラメータに基づいて外科用システムを制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、異なる微粒子タイプを検出するための偏光ＥＭＲ源の図である。 本開示の少なくとも１つの態様による、検出された微粒子のタイプに従って外科用システムを制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、画定された範囲ゲート内で検出された、検出された微粒子のタイプに従って外科用システムを制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、浮遊微粒子を検出する画像センサのピクセル配列である。 本開示の少なくとも１つの態様による、図３４Ａに示す位置から移動した浮遊微粒子を検出する画像センサのピクセル配列である。 本開示の少なくとも１つの態様による、図３４Ｂに示す微粒子の一般化された動きベクトルを示す画像センサのピクセル配列である。 本開示の少なくとも１つの態様による、図３４Ａ～図３４Ｃに対応する浮遊微粒子雲状態の変化を示す。 本開示の少なくとも１つの態様による、微粒子雲が生成されている外科的処置の実行中の外科用システムの図である。 本開示の少なくとも１つの態様による、微粒子雲特性に従って外科用システムを制御するためのプロセスの論理フロー図である。 本開示の少なくとも１つの態様による、微粒子雲特性に基づく制御パラメータの調整を示す一連のグラフである。
本出願の出願人は、同時に出願された以下の米国特許出願を所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・代理人整理番号ＥＮＤ９２２８ＵＳＮＰ１／１９０５８０－１Ｍ、発明の名称「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥＳ ＩＮ ＳＵＲＧＥＲＹ」、
・代理人整理番号ＥＮＤ９２２７ＵＳＮＰ１／１９０５７９－１、表題「ＡＤＡＰＴＩＶＥ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＢＹ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」、
・代理人整理番号ＥＮＤ９２２６ＵＳＮＰ１／１９０５７８－１、表題「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＳＥＮＳＥＤ ＰＡＲＡＭＥＴＥＲＳ」、
・代理人整理番号ＥＮＤ９２２５ＵＳＮＰ１／１９０５７７－１、発明の名称「ＡＤＡＰＴＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＮＴＲＯＬ ＡＣＣＯＲＤＩＮＧ ＴＯ ＳＵＲＧＩＣＡＬ ＳＭＯＫＥ ＰＡＲＴＩＣＬＥ ＣＨＡＲＡＣＴＥＲＩＳＴＩＣＳ」、
・代理人整理番号ＥＮＤ９２２３ＵＳＮＰ１／１９０５７５－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＣＯＲＲＥＬＡＴＩＮＧ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＤＡＴＡ ＡＮＤ ＰＯＷＥＲＥＤ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＤＡＴＡ」、
・代理人整理番号ＥＮＤ９２２２ＵＳＮＰ１／１９０５７４－１、発明の名称ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＮＳＴＲＵＣＴＳ ＯＦ ＡＮＡＴＯＭＩＣＡＬ ＯＲＧＡＮＳ ＡＮＤ ＣＯＵＰＬＩＮＧ ＩＤＥＮＴＩＦＩＥＤ」、
・代理人整理番号ＥＮＤ９２２１ＵＳＮＰ１／１９０５７３－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＦＯＲ ＯＶＥＲＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＤＡＴＡ ＯＮＴＯ Ａ ＶＩＲＴＵＡＬ ＴＨＲＥＥ ＤＩＭＥＮＳＩＯＮＡＬ ＣＯＮＳＴＲＵＣＴ ＯＦ ＡＮ ＯＲＧＡＮ」、
・代理人整理番号ＥＮＤ９２２０ＵＳＮＰ１／１９０５７２－１、発明の名称「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＦＯＲ ＰＲＯＰＯＳＩＮＧ ＡＮＤ ＣＯＲＲＯＢＯＲＡＴＩＮＧ ＯＲＧＡＮ ＰＯＲＴＩＯＮ ＲＥＭＯＶＡＬＳ」、
・代理人整理番号ＥＮＤ９２１９ＵＳＮＰ１／１９０５７１－１、発明の名称「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ，ＡＤＪＵＳＴＩＮＧ，ＡＮＤ ＭＡＮＡＧＩＮＧ ＲＥＳＥＣＴＩＯＮ ＭＡＲＧＩＮ ＡＢＯＵＴ Ａ ＳＵＢＪＥＣＴ ＴＩＳＳＵＥ」、
・代理人整理番号ＥＮＤ９２１８ＵＳＮＰ１／１９０５７０－１、発明の名称「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ ＵＳＩＮＧ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ」、
・代理人整理番号ＥＮＤ９２１７ＵＳＮＰ１／１９０５６９－１、発明の名称「ＤＹＮＡＭＩＣ ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ」、及び
・代理人整理番号ＥＮＤ９２１６ＵＳＮＰ１／１９０５６８－１、発明の名称「ＡＮＡＬＹＺＩＮＧ ＳＵＲＧＩＣＡＬ ＴＲＥＮＤＳ ＢＹ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」。
本出願の出願人は、２０１９年３月１５日に出願された以下の米国特許出願を所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・米国特許出願第１６／３５４，４１７号、発明の名称「ＩＮＰＵＴ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」、
・米国特許出願第１６／３５４，４２０号、発明の名称「ＤＵＡＬ ＭＯＤＥ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」、
・米国特許出願第１６／３５４，４２２号、発明の名称「ＭＯＴＩＯＮ ＣＡＰＴＵＲＥ ＣＯＮＴＲＯＬＳ ＦＯＲ ＲＯＢＯＴＩＣ ＳＵＲＧＥＲＹ」、
・米国特許出願第１６／３５４，４４０号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＭＥＣＨＡＮＩＳＭＳ ＦＯＲ ＳＣＡＬＩＮＧ ＳＵＲＧＩＣＡＬ ＴＯＯＬ ＭＯＴＩＯＮ ＡＣＣＯＲＤＩＮＧ ＴＯ ＴＩＳＳＵＥ ＰＲＯＸＩＭＩＴＹ」、
・米国特許出願第１６／３５４，４４４号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＭＥＣＨＡＮＩＳＭＳ ＦＯＲ ＳＣＡＬＩＮＧ ＣＡＭＥＲＡ ＭＡＧＮＩＦＩＣＡＴＩＯＮ ＡＣＣＯＲＤＩＮＧ ＴＯ ＰＲＯＸＩＭＩＴＹ ＯＦ ＳＵＲＧＩＣＡＬ ＴＯＯＬ ＴＯ ＴＩＳＳＵＥ」、
・米国特許出願第１６／３５４，４５４号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ ＷＩＴＨ ＳＥＬＥＣＴＩＶＥＬＹ ＬＯＣＫＡＢＬＥ ＥＮＤ ＥＦＦＥＣＴＯＲＳ」、
・米国特許出願第１６／３５４，４６１号、発明の名称「ＳＥＬＥＣＴＡＢＬＥ ＶＡＲＩＡＢＬＥ ＲＥＳＰＯＮＳＥ ＯＦ ＳＨＡＦＴ ＭＯＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭＳ」、
・米国特許出願第１６／３５４，４７０号、発明の名称「ＳＥＧＭＥＮＴＥＤ ＣＯＮＴＲＯＬ ＩＮＰＵＴＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭＳ」、
・米国特許出願第１６／３５４，４７４号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ ＨＡＶＩＮＧ ＦＥＥＤＢＡＣＫ ＣＡＰＡＢＩＬＩＴＩＥＳ」、
・米国特許出願第１６／３５４、４７８号、発明の名称「ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＦＯＲＣＥ ＦＥＥＤＢＡＣＫ」、及び
・米国特許出願第１６／３５４，４８１号、発明の名称「ＪＡＷ ＣＯＯＲＤＩＮＡＴＩＯＮ ＯＦ ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＣＯＮＴＲＯＬＳ」。
本願の出願人は、２０１８年９月１１日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・米国特許出願第１６／１２８，１７９号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」、
・米国特許出願第１６／１２８，１８０号、発明の名称「ＣＯＮＴＲＯＬＬＩＮＧ ＡＮ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ ＰＵＬＳＥ ＳＥＱＵＥＮＣＥ」、
・米国特許出願第１６／１２８，１９８号、発明の名称「ＳＩＮＧＵＬＡＲ ＥＭＲ ＳＯＵＲＣＥ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ」、
・米国特許出願第１６／１２８，２０７号、発明の名称「ＣＯＭＢＩＮＡＴＩＯＮ ＥＭＩＴＴＥＲ ＡＮＤ ＣＡＭＥＲＡ ＡＳＳＥＭＢＬＹ」、
・米国特許出願第１６／１２８，１７６号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＷＩＴＨ ＰＲＯＸＩＭＩＴＹ ＴＲＡＣＫＩＮＧ ＦＥＡＴＵＲＥＳ」、
・米国特許出願第１６／１２８，１８７号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＭＵＬＴＩＰＬＥ ＴＡＲＧＥＴＳ」、
・米国特許出願第１６／１２８，１９２号、発明の名称「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」、
・米国特許出願第１６／１２８，１６３号、発明の名称「ＯＰＥＲＡＴＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＯＦ ＬＩＧＨＴ」、
・米国特許出願第１６／１２８，１９７号、発明の名称「ＲＯＢＯＴＩＣ ＬＩＧＨＴ ＰＲＯＪＥＣＴＩＯＮ ＴＯＯＬＳ」、
・米国特許出願第１６／１２８，１６４号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭ」、
・米国特許出願第１６／１２８，１９３号、発明の名称「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＡＮＤ ＭＯＮＩＴＯＲＩＮＧ」、
・米国特許出願第１６／１２８，１９５号、発明の名称「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」、
・米国特許出願第１６／１２８，１７０号、発明の名称「ＲＯＢＯＴＩＣＡＬＬＹ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」、
・米国特許出願第１６／１２８，１８３号、発明の名称「ＳＡＦＥＴＹ ＬＯＧＩＣ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」、
・米国特許出願第１６／１２８，１７２号、発明の名称「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＳＥＰＡＲＡＴＥ ＰＨＯＴＯＡＣＯＵＳＴＩＣ ＲＥＣＥＩＶＥＲ」、及び
・米国特許出願第１６／１２８，１８５号、発明の名称「ＦＯＲＣＥ ＳＥＮＳＯＲ ＴＨＲＯＵＧＨ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ ＤＥＦＬＥＣＴＩＯＮ」。
本願の出願人は、２０１８年３月２９日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・米国特許出願第１５／９４０，６２７号、発明の名称「ＤＲＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」、現在は米国特許出願公開第２０１９／０２０１１１１号、
・米国特許出願第１５／９４０，６７６号、発明の名称「ＡＵＴＯＭＡＴＩＣ ＴＯＯＬ ＡＤＪＵＳＴＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」、現在は米国特許出願公開第２０１９／０２０１１４２号、
・米国特許出願第１５／９４０，７１１号、発明の名称「ＳＥＮＳＩＮＧ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」、現在は米国特許出願公開第２０１９／０２０１１２０号、及び
・米国特許出願第１５／９４０，７２２号、発明の名称「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」、現在は米国特許出願公開第２０１９／０２００９０５号。
本出願の出願人は、２０１８年１２月４日に出願された以下の米国特許出願を所有しており、これらの各開示は、それらの全体が参照により本明細書に組み込まれる。
・米国特許出願第１６／２０９，３９５号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ」、現在は米国特許出願公開第２０１９／０２０１１３６号、
・米国特許出願第１６／２０９，４０３号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」、現在は米国特許出願公開第２０１９／０２０６５６９号、
・米国特許出願第１６／２０９，４０７号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」、現在は米国特許出願公開第２０１９／０２０１１３７号、
・米国特許出願第１６／２０９，４１６号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＤＩＳＰＬＡＹ，ＡＮＤ ＣＬＯＵＤ ＡＮＡＬＹＴＩＣＳ」、現在は米国特許出願公開第２０１９／０２０６５６２号、
・米国特許出願第１６／２０９，４２３号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」、現在は米国特許出願公開第２０１９／０２００９８１号、
・米国特許出願第１６／２０９，４２７号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＲＥＩＮＦＯＲＣＥＤ ＦＬＥＸＩＢＬＥ ＣＩＲＣＵＩＴＳ ＷＩＴＨ ＭＵＬＴＩＰＬＥ ＳＥＮＳＯＲＳ ＴＯ ＯＰＴＩＭＩＺＥ ＰＥＲＦＯＲＭＡＮＣＥ ＯＦ ＲＡＤＩＯ ＦＲＥＱＵＥＮＣＹ ＤＥＶＩＣＥＳ」、現在は米国特許出願公開第２０１９／０２０８６４１号、
・米国特許出願第１６／２０９，４３３号、発明の名称「ＭＥＴＨＯＤ ＯＦ ＳＥＮＳＩＮＧ ＰＡＲＴＩＣＵＬＡＴＥ ＦＲＯＭ ＳＭＯＫＥ ＥＶＡＣＵＡＴＥＤ ＦＲＯＭ Ａ ＰＡＴＩＥＮＴ，ＡＤＪＵＳＴＩＮＧ ＴＨＥ ＰＵＭＰ ＳＰＥＥＤ ＢＡＳＥＤ ＯＮ ＴＨＥ ＳＥＮＳＥＤ ＩＮＦＯＲＭＡＴＩＯＮ，ＡＮＤ ＣＯＭＭＵＮＩＣＡＴＩＮＧ ＴＨＥ ＦＵＮＣＴＩＯＮＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＴＨＥ ＳＹＳＴＥＭ ＴＯ ＴＨＥ ＨＵＢ」、現在は米国特許出願公開第２０１９／０２０１５９４号、
・米国特許出願第１６／２０９，４４７号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＳＭＯＫＥ ＥＶＡＣＵＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＨＵＢ」、現在は米国特許出願公開第２０１９／０２０１０４５号、
・米国特許出願第１６／２０９，４５３号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」、現在は米国特許出願公開第２０１９／０２０１０４６号、
・米国特許出願第１６／２０９，４５８号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥ ＩＮＦＲＡＳＴＲＵＣＴＵＲＥ」、現在は米国特許出願公開第２０１９／０２０１０４７号、
・米国特許出願第１６／２０９，４６５号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＳＣＨＥＭＥＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＴＲＯＬ ＡＮＤ ＩＮＴＥＲＡＣＴＩＯＮ」、現在は米国特許出願公開第２０１９／０２０６５６３号、
・米国特許出願第１６／２０９，４７８号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＮＥＣＴＥＤ ＤＥＶＩＣＥ ＣＡＰＡＢＬＥ ＯＦ ＡＤＪＵＳＴＩＮＧ ＦＵＮＣＴＩＯＮ ＢＡＳＥＤ ＯＮ Ａ ＳＥＮＳＥＤ ＳＩＴＵＡＴＩＯＮ ＯＲ ＵＳＡＧＥ」、現在は米国特許出願公開第２０１９／０１０４９１９号、
・米国特許出願第１６／２０９，４９０号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＦＡＣＩＬＩＴＹ ＤＡＴＡ ＣＯＬＬＥＣＴＩＯＮ ＡＮＤ ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ」、現在は米国特許出願公開第２０１９／０２０６５６４号、及び
・米国特許出願第１６／２０９，４９１号、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＣＩＲＣＵＬＡＲ ＳＴＡＰＬＥＲ ＣＯＮＴＲＯＬ ＡＬＧＯＲＩＴＨＭ ＡＤＪＵＳＴＭＥＮＴ ＢＡＳＥＤ ＯＮ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」、現在は米国特許出願公開第２０１９／０２００９９８号。
外科用可視化プラットフォームの様々な態様を詳細に説明する前に、例示の実施例が、適用又は使用において、添付の図面及び明細書で例示される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実施されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。
外科用可視化システム
本開示は、患者の解剖学的構造及び／又は外科的処置に関する追加情報を取得するために「デジタル手術」を活用する外科用可視化プラットフォームを対象とする。外科用可視化プラットフォームは、データ及び／又は情報を、有用な方法で１人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び／又は外科手術の改善された可視化を提供する。
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な外科用可視化プラットフォームはロボット外科用システムと組み合わせて使用することができるが、外科用可視化プラットフォームはロボット外科用システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、高度な外科的可視化を行うことができる。同様に、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を行うことができる。
特定の例では、外科用可視化プラットフォームを組み込む外科用システムは、重要構造を識別し、回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。重要構造は、患者ごと及び／又は処置ごとに決定される場合がある。例示的な重要構造は、本明細書で更に説明される。スマート切開術は、切開のために改善された術中ガイダンスを提供することができ、及び／又は、例えば、重要な解剖学的検出及び回避技術によってよりスマートな決定を可能にすることができる。
外科用可視化プラットフォームを組み込んだ外科用システムはまた、改善されたワークフローによって最適な位置で更に確実な吻合を提供するスマート吻合術を可能にし得る。癌局在化法もまた、本明細書に記載される様々な外科用可視化プラットフォーム及び処置によって改善され得る。例えば、癌局在化法は、癌の位置、向き、及びそのマージンを特定し、追跡することができる。特定の例において、癌局在化法は、外科手術中に器具、患者、及び／又は患者の解剖学的構造の動きを補正し、臨床医を対象点に再誘導することができる。
本開示の特定の態様では、外科用可視化プラットフォームは、改善された組織特性評価及び／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特性評価技術は、特に切開時、及び／又は組織内のステープル留め装置の配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。本明細書に記載される特定の組織特性評価技術は、電離放射線及び／又は造影剤を使用せずに利用することができる。リンパ節診断及びマッピングに関して、外科用可視化プラットフォームは、例えば、癌診断及びステージ診断に関与するリンパ系及び／又はリンパ節を術前に位置付け、マッピングし、及び理想的には診断することができる。
外科手術中、「裸眼」及び／又は撮像システムを介して臨床医が利用可能な情報は、不完全な手術部位の視界を提供する場合がある。例えば、器官内に埋め込まれた又は覆われた構造などの特定の構造は、視界から少なくとも部分的に隠され、つまり見えない場合がある。加えて、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「裸眼」では把握が難しい場合がある。更に、特定の構造は、術前（例えば、外科手術前であるが術前の走査後）、及び／又は術中に移動することがある。そのような例では、臨床医は、術中に重要構造の位置を正確に決定することができない場合がある。
重要構造の位置が不確定である場合、及び／又は重要構造と外科用ツールとの間の近接度が不明である場合、臨床医の意思決定プロセスが阻害され得る。例えば、臨床医は、重要な構造の不注意な解剖を回避するために、特定の領域を回避することができるが、回避された領域は、不必要に大きく、かつ／又は少なくとも部分的に誤った位置になっていることがある。不確実性、及び／又は過度／過剰な用心に起因して、臨床医は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定の領域での臨床医の行為によって悪影響がない場合であっても、過剰な用心により、臨床医が、重要構造を避けようと努力して、腫瘍及び／又は他の望ましくない組織の一部を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まると共に向上される場合があり、これにより、外科医にとって、より正確で、特定の場合では特定の解剖学的領域に対してより控えめに／より積極的になることが可能になる。
様々な態様では、本開示は、重要構造の術中識別及び回避のための外科用可視化システムを提供する。一態様では、本開示は、強化された術中意思決定の製造及び改善された手術結果を可能にする、外科用可視化システムを提供する。様々な態様では、開示された外科用可視化システムは、臨床医が「裸眼」で見るもの、及び／又は撮像システムが認識し、及び／又は臨床医に伝達できるものを超えた、高度な可視化能を提供する。様々な外科用可視化システムは、臨床医が組織処理（例えば、切開）の前に知ることができることを補強かつ強化できることによって、様々な例における結果を改善することができる。
例えば、可視化システムは、複数のスペクトル波を放射するように構成されている第１の光エミッタと、光パターンを放射するように構成されている第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成されている１つ以上の受信器、又はセンサと、を含むことができる。以下の開示全体を通して、可視光に関して具体的に言及されない限り、「光」へのいかなる言及も、電磁放射線（ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分のＥＭＲ又は光子を含み得ることに留意されたい。外科用可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、すなわち三次元表面トポグラフィ、及び手術部位に対する１つ以上の距離を決定することができる。特定の例では、制御回路は、少なくとも部分的に隠れた構造までの１つ以上の距離を決定することができる。更に、撮像システムは、幾何学的表面マップ及び１つ以上の距離を臨床医に伝えることができる。そのような例において、臨床医に提供される手術部位の拡張図は、手術部位に関連する背景内で隠れた構造の図を提供することができる。例えば、撮像システムは、表面下のユーティリティ配管を示すために地上に描かれた線と同様に、隠している及び／又は妨害している組織の幾何学的表面マップ上に隠れた構造をバーチャルに拡張することができる。追加的に又は代替的に、撮像システムは、目に見えて妨害している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの１つ以上の外科用ツールの近接度、並びに／又は、妨害している組織の目に見える表面下に隠れた構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張線に対する距離を決定し、撮像システムにその距離を伝えることができる。
本開示の様々な態様では、重要構造の術中識別及び回避のための外科用可視化システムが開示される。このような外科用可視化システムは、外科手術中に臨床医に有益な情報を提供することができる。結果として、外科用可視化システムが、例えば切開中に接近し得る、例えば、尿管、特定の神経、及び／又は重要な血管などの重要構造を追跡していることを知りながら、臨床医は、外科手術を通して操作を確実に維持することができる。一態様では、外科用可視化システムは、臨床医が外科手技を一時停止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間、臨床医に対して指示を提供することができる。外科用可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を臨床医に提供して、健康な組織及び／又は重要構造への不注意による損傷を回避しつつ、臨床医が組織全体を確実かつ／又は迅速に操作することを可能にし、それによって、外科的処置により生じる損傷のリスクを最小限に抑えることができる。
図１は、本開示の少なくとも１つの態様による、外科用可視化システム１００の概略図である。外科用可視化システム１００は、解剖学的分野内の重要構造１０１の視覚的表示を作り出すことができる。外科用可視化システム１００は、例えば、臨床分析及び／又は医学的介入に使用され得る。特定の例では、外科用可視化システム１００を術中に使用し、外科手術中の近接データ、寸法、及び／又は距離に関するリアルタイム若しくはほぼリアルタイムの情報を臨床医に提供することができる。外科用可視化システム１００は、重要構造の術中識別のため、及び／又は外科用装置による重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を識別することによって、臨床医は、外科手術中に、重要構造１０１及び／又は重要構造１０１の所定の近位の領域の周囲で外科用装置を操作することを回避できる。臨床医は、例えば重要構造１０１として特定される、例えば静脈、動脈、神経、及び／若しくは血管、並びに／又はこれら付近の切開を回避することができる。様々な例において、重要構造１０１は、患者ごと及び／又は処置ごとに決定される場合がある。
外科用可視化システム１００は、距離センサシステム１０４と組み合わせた組織識別及び幾何学的表面マッピングを組み込む。組み合わせた外科用可視化システム１００の特徴により、解剖学的分野内の重要構造１０１の位置、並びに／又は、可視組織の表面１０５及び／若しくは重要構造１０１への外科用装置１０２の近接度を決定することができる。更に、外科用可視化システム１００は、例えば、手術部位のリアルタイム画像を提供するように構成されているカメラなどの撮像装置１２０を含む、撮像システムを含む。様々な例において、撮像装置１２０は、反射されたスペクトル波形を検出し、異なる波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）である。撮像装置１２０からの画像を臨床医に提供することができ、本開示の様々な態様では、組織識別、状況マッピング、及び距離センサシステム１０４に基づいて追加情報を追加することができる。そのような例において、外科用可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織識別サブシステム、及び／又は距離決定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を術中に臨床医に対して提供することができる。
撮像装置は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）を検出するように構成されているカメラ又は撮像センサを含むことができる。本開示の様々な態様において、撮像システムは、例えば内視鏡などの撮像装置を含むことができる。追加的に又は代替的に、撮像システムは、例えば、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃鏡）、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又は外視鏡などの撮像装置を含むことができる。開腹手術用途などの他の例では、撮像システムはスコープを含まなくてもよい。
本開示の様々な態様では、組織識別サブシステムは、スペクトル撮像システムで達成することができる。スペクトル撮像システムは、例えば、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像に依存することができる。組織のハイパースペクトル撮像は、参照によりその全体が本明細書に組み込まれる、２０１６年３月１日発行の「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＲＯＳＳ ＡＮＡＴＯＭＩＣ ＰＡＴＨＯＬＯＧＹ ＵＳＩＮＧ ＨＹＰＥＲＳＰＥＣＴＲＡＬ ＩＭＡＧＩＮＧ」と題する米国特許第９，２７４，０４７号に更に記載されている。
本開示の様々な態様では、表面マッピングサブシステムは、本明細書で更に説明されるように、光パターンシステムで達成することができる。表面マッピングのための光パターン（又は構造光）の使用が知られている。既知の表面マッピング技術を、本明細書に記載される外科用可視化システムにおいて利用することができる。
構造光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、光源と光パターンを投影するためのプロジェクタとを含む、外科用システムを開示している。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、それらの各全体を参照することにより本明細書に組み込まれる。
本開示の様々な態様では、距離決定システムは、表面マッピングシステムに組み込むことができる。例えば、構造光を利用して、可視表面の三次元仮想モデルを生成し、可視表面に対する様々な距離を決定することができる。追加的に又は代替的に、距離決定システムは飛行時間測定に依存し、手術部位における識別された組織（又は他の構造）に対する１つ以上の距離を決定することができる。
図２は、外科用可視化システム１００と共に利用され得る制御システム１３３の概略図である。制御システム１３３は、メモリ１３４と信号通信する制御回路１３２を含む。メモリ１３４は、制御回路１３２によって実行可能な命令を記憶して、重要構造（例えば、図１の重要構造１０１）を決定及び／又は認識し、１つ以上の距離及び／又は３次元デジタル表示を決定及び／又は計算し、かつ、特定の情報を１人以上の臨床医に通信する。例えば、メモリ１３４は、表面マッピング論理１３６、撮像論理１３８、組織識別論理１４０、若しくは距離決定論理１４１、又は論理１３６、１３８、１４０、及び１４１の任意の組み合わせを記憶する。制御システム１３３はまた、１つ以上のカメラ１４４（図１の撮像装置１２０のようなもの）、１つ以上のディスプレイ１４６、又は１つ以上のコントロール１４８、又はこれらの要素の任意の組み合わせを有する撮像システム１４２を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するための１つ以上の画像センサ１３５（例えば、なかでも、可視光、スペクトル撮像装置、３次元レンズ）を含むことができる。ディスプレイ１４６は、１人以上の臨床医に対して、現実、仮想、及び／又は仮想的に拡張された画像及び／又は情報を描写するための１つ以上のスクリーン又はモニタを含むことができる。
様々な態様では、カメラ１４４の中心部は画像センサ１３５である。概して、最新の画像センサ１３５は、ピクセルと呼ばれる別個の光検出部位を最大で数百万個含む固体電子装置である。画像センサ１３５技術は、電荷結合素子（ＣＣＤ）及び相捕型金属酸化膜半導体（ＣＭＯＳ）撮像装置の２つのカテゴリーの１つに分類され、より最近では、短波赤外線（ＳＷＩＲ）が撮像における新たな技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約３５０～１０５０ｎｍの波長に対する感度を有するが、この範囲は通常４００～１０００ｎｍである。ＣＭＯＳセンサは、概して、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、共通の低コストの画像化ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入力光を一連の色に分離し、補間アルゴリズムを用いてフルカラー画像を解像する。次いで、各色は、異なる画素セットに誘導される。３チップカラーＣＣＤカメラは、プリズムを用いることによってより高い解像度を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を決定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い解像度を提供する。
制御システム１３３はまた、スペクトル光源１５０と構造光源１５２とを含む。特定の例では、単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造光源１５２の範囲内の光の波長をパルス放射することができる。あるいは、単一の光源は、不可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長をパルス供給することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源であってよい。様々な例において、組織識別論理１４０は、カメラ１４４の画像センサ１３５部分によって受信されたスペクトル光源１５０からのデータを介して、重要構造を識別することができる。表面マッピング論理１３６は、反射された構造光に基づいて可視組織の表面の輪郭を決定することができる。飛行時間測定により、距離決定論理１４１は、可視組織及び／又は重要構造１０１までの１つ以上の距離を決定することができる。表面マッピング論理１３６、組織識別論理１４０、及び距離決定論理１４１からの１つ以上の出力は、撮像論理１３８に提供され、撮像システム１４２のディスプレイ１４６を介して臨床医に伝達されるように組み合わされ、一体化され、及び／又は重ね合わせられてもよい。
ここで簡単に図２Ａ～図２Ｃを説明し、外科用可視化システム１００の様々な態様を制御するための制御回路１３２の様々な態様を述べる。図２Ａを見ると、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている制御回路４００が示される。制御回路４００は、本明細書に説明される様々なプロセスを実装するように構成することができる。制御回路４００は、少なくとも１つのメモリ回路４０４に連結された１つ以上のプロセッサ４０２（例えば、マイクロプロセッサ、マイクロコントローラ）を含むマイクロコントローラを含むことができる。メモリ回路４０４は、プロセッサ４０２によって実行されると、本明細書に記載される様々なプロセスを実装するための機械命令をプロセッサ４０２に実行させる、機械実行可能命令を記憶する。プロセッサ４０２は、当該技術分野で既知の多数のシングルコア又はマルチコアプロセッサのうちの任意の１つであってもよい。メモリ回路４０４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ４０２は、命令処理ユニット４０６及び演算ユニット４０８を含んでもよい。命令処理ユニットは、本開示のメモリ回路４０４から命令を受信するように構成されてもよい。
図２Ｂは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている組み合わせ論理回路４１０を示す。組み合わせ論理回路４１０は、本明細書に説明される様々なプロセスを実装するように構成することができる。組み合わせ論理回路４１０は、入力４１４で外科用器具又はツールと関連付けられたデータを受信し、組み合わせ論理４１２によってデータを処理し、出力４１６を提供するように構成された組み合わせ論理４１２を含む有限状態マシンを含んでもよい。
図２Ｃは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている順序論理回路４２０を示す。順序論理回路４２０又は組み合わせ論理４２２は、本明細書に記載される様々なプロセスを実装するように構成することができる。順序論理回路４２０は有限状態マシンを含んでもよい。順序論理回路４２０は、例えば、組み合わせ論理４２２、少なくとも１つのメモリ回路４２４、及びクロック４２９を含んでもよい。少なくとも１つのメモリ回路４２４は、有限状態マシンの現在の状態を記憶することができる。特定の例では、順序論理回路４２０は、同期式又は非同期式であってもよい。組み合わせ論理４２２は、入力４２６から外科用装置又はシステムと関連付けられたデータを受信し、組み合わせ論理４２２によってデータを処理し、出力４２８を提供するように構成される。他の態様では、回路は、プロセッサ（例えば、図２Ａのプロセッサ４０２）と、本明細書の様々なプロセスを実施する有限状態マシンと、の組み合わせを含んでもよい。他の態様では、有限状態マシンは、組み合わせ論理回路（例えば図２Ｂの組み合わせ論理回路４１０）と順序論理回路４２０との組み合わせを含むことができる。
図１の外科用可視化システム１００を再び参照すると、重要構造１０１は、目的とする解剖学的構造であり得る。例えば、重要構造１０１は、他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍であり得る。他の例では、重要構造１０１は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。例示的な重要構造は、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば２０１８年９月１１日に出願された「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１２８，１９２号などの前述の米国特許出願に更に記載されている。
一態様では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、重要構造１０１は、組織１０３の表面１０５の下に位置付けられ得る。そのような例では、組織１０３は臨床医の視界から重要構造１０１を隠している。重要構造１０１はまた、組織１０３によって撮像装置１２０の視界からも遮られている。組織１０３は、例えば、脂肪、結合組織、癒着部、及び／又は器官であり得る。他の例では、重要構造１０１は、視野から部分的に遮られ得る。
図１はまた、外科用装置１０２も示す。外科用装置１０２は、外科用装置１０２のシャフトの遠位端から延びる対向するジョーを有するエンドエフェクタを含む。外科用装置１０２は、例えば、切開器具、ステープラ、把持器具、クリップアプライヤ、並びに／又は、単極プローブ、双極プローブ、アブレーションプローブ、及び／若しくは超音波エンドエフェクタを含むエネルギー装置などの任意の好適な外科用装置であり得る。追加的に又は代替的に、外科用装置１０２は、例えば超音波装置などの別の撮像又は診断様式を含むことができる。本開示の一態様では、外科用可視化システム１００は、１つ以上の重要構造１０１の識別、及び外科用装置１０２の重要構造１０１への近接を達成するように構成され得る。
外科用可視化システム１００の撮像装置１２０は、例えば可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像装置１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含んでもよい。例えば、撮像装置１２０は、本明細書で更に説明するように、ハイパースペクトル、マルチスペクトル、又は選択的スペクトルカメラであり得る。撮像装置１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像装置１２０は、２つの二次元画像を同時に記録することによって、手術部位の３次元画像を生成し、手術部位の３次元画像をレンダリングし、及び／又は手術部位で１つ以上の距離を決定するための、共に使用される右側レンズ及び左側レンズを含むことができる。追加的に又は代替的に、撮像装置１２０は、本明細書に更に記載されるように、可視組織のトポグラフィ、並びに隠された重要構造の識別及び位置を示す画像を受信するように構成され得る。例えば、図１に示すように、撮像装置１２０の視野を、組織の表面１０５上の光のパターン（構造光）と重ねることができる。
一態様では、外科用可視化システム１００はロボットシステム１１０に組み込まれてもよい。例えば、ロボットシステム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含んでもよい。ロボットアーム１１２、１１４は、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、外科用装置１０２を操作するように構成され、第２のロボットアーム１１４は、撮像装置１２０を操作するように構成されている。ロボット制御ユニットは、例えば、外科用装置１０２及び撮像装置１２０に作用し得るロボットアーム１１２、１１４への制御運動を発するように構成され得る。
外科用可視化システム１００はまた、表面１０５のトポグラフィ又は状況の決定を可能にするために、縞、グリッド線、及び／又はドットなどの光のパターンを放射するように構成されているエミッタ１０６を含む。例えば、投影された光アレイ１３０は、表面１０５上の三次元走査及び位置合わせのために使用することができる。投影された光アレイ１３０は、例えば、外科用装置１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像装置１２０上に位置するエミッタ１０６から放射され得る。一態様では、投影された光アレイ１３０を使用し、組織１０３の表面１０５及び／又は表面１０５の動きにより術中に画定される形状を決定する。撮像装置１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ及び表面１０５までの様々な距離を決定するように構成されている。
一態様では、撮像装置１２０はまた、組織１０３の表面１０５を貫通して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている、光学波形エミッタ１２３を含んでもよい。撮像装置１２０及びその上の光学波形エミッタ１２３は、ロボットアーム１１４によって位置決め可能であり得る。撮像装置１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光学波形エミッタ１２３によって放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は物理的構造の種類の識別を可能にするように構成することができる。重要構造１０１の識別は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変であってもよい。波形センサ１２２及び光学波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含むことができる。他の例では、波形センサ１２２及び光波形エミッタ１２３は、例えば光音響撮像システムを含むことができる。他の例では、光波形エミッタ１２３は、撮像装置１２０から別個の外科用装置上に配置され得る。
外科用可視化システム１００はまた、手術部位において１つ以上の距離を決定するように構成されている距離センサシステム１０４を含んでもよい。一態様では、飛行時間距離センサシステム１０４は、エミッタ１０６などのエミッタと受信器１０８とを含む飛行時間距離センサシステムであってもよく、外科用装置１０２上に配置され得る。他の例では、飛行時間エミッタは構造光エミッタとは別個であり得る。１つの全般的な態様では、飛行時間距離センサシステム１０４のエミッタ１０６部分は、非常に小さいレーザ源を含んでもよく、飛行時間距離センサシステム１０４の受信器１０８部分は、整合センサを含んでもよい。飛行時間距離センサシステム１０４は、「飛行時間」、つまり、エミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出することができる。エミッタ１０６中で非常に狭い光源を使用することで、距離センサシステム１０４が、距離センサシステム１０４のすぐ前の組織１０３の表面１０５までの距離を決定することを可能にする。更に図１を参照すると、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、外科用装置１０２の遠位端から組織の表面１０５までの装置－組織間距離である。距離センサシステム１０４を使用して、エミッタ－組織間距離ｄｅを決定することができる。装置－組織間距離ｄｔは、外科用装置１０２の遠位端に対する、外科用装置１０２のシャフト上のエミッタ１０６の既知の位置から得ることができる。換言すれば、エミッタ１０６と外科用装置１０２の遠位端との間の距離が既知である場合、装置－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから決定することができる。特定の例において、外科用装置１０２のシャフトは、１つ以上の関節継手を含むことができ、エミッタ１０６及びジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。特定の例では、３次元カメラを利用して、表面１０５までの１つ以上の距離を三角測量することができる。
様々な例において、飛行時間距離センサシステム１０４のための受信器１０８は、外科用装置１０２の代わりに、別の外科用装置上に装着され得る。例えば、受信器１０８は、外科用装置１０２が通って手術部位に到達するように延びるカニューレ又はトロカール上に取り付けることができる。更に他の例では、飛行時間距離センサシステム１０４のための受信器１０８は、別のロボット制御アーム（例えばロボットアーム１１４）上、別のロボットによって操作される可動アーム上、及び／又は手術室（ＯＲ）のテーブル若しくは固定具に取り付けることができる。特定の例において、撮像装置１２０は、外科用装置１０２上のエミッタ１０６と撮像装置１２０との間の線を使用してエミッタ１０６から組織１０３の表面１０５までの距離を決定する、飛行時間受信器１０８を含む。例えば、距離ｄｅを、飛行時間距離センサシステム１０４のエミッタ１０６（外科用装置１０２上）及び受信器１０８（撮像装置１２０上）の既知の位置に基づいて三角測量することができる。受信器１０８の三次元位置は、術中のロボット座標平面に対して既知であり、かつ／又は位置合わせされ得る。
特定の例では、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１のロボットアーム１１２によって制御することができ、飛行時間距離センサシステム１０４の受信器１０８の位置は、第２のロボットアーム１１４によって制御することができる。他の例では、外科用可視化システム１００は、ロボットシステムとは別に利用され得る。このような場合、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
特定の例では、ロボットアーム１１２、１１４のうちの１つ以上は、外科手術で使用される主ロボットシステムとは別個であってもよい。ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置決めかつ位置合わせされ得る。例えば、ロボットアーム１１０のための閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御及び／又は位置合わせすることができる。同様に、外科用装置１０２及び撮像装置１２０の位置は、特定の座標系に対して位置合わせされ得る。
更に図１を参照すると、ｄｗは、撮像装置１２０上に位置する光学波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下の重要構造１０１の深さ（すなわち、外科用装置１０２に最も近い表面１０５の部分と重要構造１０１との間の距離）である。様々な態様では、撮像装置１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを決定するように構成され得る。飛行時間センサと組み合わせたスペクトル撮像の使用について、本明細書で更に説明する。更に、ここで図３を参照すると、本開示の様々な態様において、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに外科用装置１０２上のエミッタ１０６及び撮像装置１２０上の光学波形エミッタ１２３の既知の位置（及び、したがって、これらの間の距離ｄｘ）から三角測量によって決定され、距離ｄｅ及びｄＡの合計である距離ｄｙを決定することができる。
追加的に又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を決定するように構成することができる。例えば、第１の波形（又は波形の範囲）を利用して、カメラ－重要構造間距離ｄｗを決定でき、第２の波形（又は波形の範囲）を利用して、組織１０３の表面１０５までの距離を決定できる。そのような例において、異なる波形を利用して、組織１０３の表面１０５の下の重要構造１０１の深さを決定することができる。
追加的に又は代替的に、特定の例では、距離ｄＡは、超音波、登録磁気共鳴画像（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）スキャンから決定することができる。更に他の例では、距離ｄＡは、撮像装置によって受信された検出信号が材料の種類に基づいて変化し得るため、スペクトル撮像によって決定することができる。例えば、脂肪は、検出信号を第１の方法又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法又は第２の量で減少させることができる。
ここで図４の外科用可視化システム１６０を参照すると、外科用装置１６２は、光学波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２と、を含む。光波形エミッタ１２３は、本明細書に更に記載されるように、外科用装置１６２などの共通の装置から距離ｄｔ及びｄｗを決定するための波形を放射するように構成することができる。そのような例において、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように決定され得る：
ｄＡ＝ｄｗ－ｄｔ。
本明細書に開示されるように、可視組織、埋め込まれた重要構造、及び外科用装置に関する様々な情報は、スペクトル波長及び構造光アレイを検出するように構成されている画像センサと組み合わせて、１つ以上の飛行時間距離センサ、スペクトル撮像、及び／又は構造光アレイを組み込む組み合わせ法を利用することによって決定することができる。更に、画像センサは、可視光を受信することによって、手術部位の画像を撮像システムに提供するように構成することができる。論理又はアルゴリズムは、飛行時間センサ、スペクトル波長、構造光、及び可視光から受信した情報を識別し、表面組織及び下層の解剖学的構造の三次元画像をレンダリングするために使用される。様々な例において、撮像装置１２０は、複数の画像センサを含むことができる。
カメラ－重要構造間距離ｄｗはまた、１つ以上の代替方法で検出することができる。一態様では、例えば蛍光インドシアニングリーン（indosciedine green）（ＩＣＧ）などの蛍光透視可視化技術を使用して、図６～図８に示されるような重要構造２０１を照らすことができる。カメラ２２０は、重要構造２０１の左側画像及び右側画像を同時に撮影する２つの光学波形センサ２２２、２２４を含むことができる（図７Ａ及び７Ｂ）。そのような例では、カメラ２２０は、組織２０３の表面２０５の下の重要構造２０１の光を描写することができ、距離ｄｗは、センサ２２２と２２４との間の既知の距離によって決定することができる。特定の例では、距離は、２つ以上のカメラを利用することによって、又は複数の位置間でカメラを移動させることによって、より正確に決定することができる。特定の態様では、１つのカメラは第１のロボットアームによって、第２のカメラは別のロボットアームによって制御され得る。このようなロボットシステムでは、１つのカメラは、例えば従動アーム上の従動カメラであり得る。従動アーム及びその上のカメラは、例えば、他のカメラを追跡し、特定の距離及び／又はレンズ角度を維持するようにプログラムすることができる。
更に他の態様では、外科用可視化システム１００は、２つの別個の波形受信器（すなわち、カメラ／画像センサ）を用いてｄｗを決定してもよい。ここで図９を参照すると、重要構造３０１又はその内容物（例えば、血管又は血管の内容物）が蛍光透視法などによって信号３０２を発しし得る場合、実際の位置は、既知の位置で２つの別個のカメラ３２０ａ、３２０ｂから三角測量することができる。
ここで図１０Ａ及び図１０Ｂを参照すると、別の態様では、外科用可視化システムは、ディザリング又は移動カメラ４４０を用いて、距離ｄｗを決定してもよい。カメラ４４０は、カメラ４４０の異なる位置における３次元座標が既知であるように、ロボット制御される。様々な例において、カメラ４４０は、カニューレ又は患者インターフェースで枢動することができる。例えば、重要構造４０１又はその内容物（例えば、血管又は容器の内容物）が、例えば蛍光透視法などによって信号を発し得る場合、実際の位置は、２つ以上の既知の位置間で急速に移動するカメラ４４０から三角測量することができる。図１０Ａでは、カメラ４４０は軸Ａに沿って軸方向に移動する。カメラ４４０は、ロボットアーム上で行き来することなどによって、位置４４０’として示される位置まで、軸Ａに沿って重要構造４０１に近付く距離ｄ１を並進移動する。カメラ４４０が距離ｄ１を移動し、重要構造４０１に対する画像のサイズが変化すると、重要構造４０１までの距離を計算することができる。例えば、４．２８ｍｍの軸方向並進（距離ｄ１）は、６．２８度の角度θ１及び８．１９度の角度θ２に対応し得る。追加的に又は代替的に、カメラ４４０は、異なる位置の間の弧に沿って回転又は掃引することができる。ここで図１０Ｂを参照すると、カメラ４４０は軸Ａに沿って軸方向に移動し、軸Ａを中心に角度θ３だけ回転する。カメラ４４０の回転のための枢動点４４２がカニューレ／患者インターフェースに配置される。図１０Ｂでは、カメラ４４０は並進し、位置４４０’’まで回転する。カメラ４４０が移動し、重要構造４０１に対する画像の縁部が変化すると、重要構造４０１までの距離を計算することができる。図１０Ｂにおいて、距離ｄ２は、例えば９．０１ｍｍであってもよく、角度θ３は、例えば０．９度であってもよい。
図５は、多くの点で外科用可視化システム１００と類似している、外科用可視化システム５００を示す。様々な例において、外科用可視化システム５００は、外科用可視化システム１００の更なる例示であり得る。外科用可視化システム１００と同様に、外科用可視化システム５００は、外科用装置５０２と撮像装置５２０とを含む。撮像装置５２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタ５２３を含む。撮像装置５２０はまた、様々な例において、三次元カメラと関連する電子処理回路とを含むことができる。外科用可視化システム５００は、表面からは見えない器官５０３（この例では子宮）内の尿管５０１ａ及び血管５０１ｂなどの特定の重要構造を識別し、それらの回避を促進するために術中に利用されているところが示されている。
外科用可視化システム５００は、構造光を介して、外科用装置５０２上のエミッタ５０６から子宮５０３の表面５０５までのエミッタ－組織間距離ｄｅを決定するように構成されている。外科用可視化システム５００は、エミッタ－組織間距離ｄｅに基づいて、外科用装置５０２から子宮５０３の表面５０５まで装置－組織間距離ｄｔを外挿するように構成されている。また、外科用可視化システム５００は、尿管５０１ａから表面５０５までの組織－尿管間距離ｄＡ、及び撮像装置５２０から尿管５０１ａまでのカメラ－尿管間距離ｄｗを決定するように構成されている。図１に関して本明細書で説明するように、例えば、外科用可視化システム５００は、例えば、スペクトル撮像及び飛行時間センサによって距離ｄｗを決定することができる。様々な例において、外科用可視化システム５００は、本明細書に記載される他の距離及び／又は表面マッピング論理に基づいて、組織－尿管間距離ｄＡ（つまり深さ）を決定（例えば、三角測量）することができる。
ここで図１１を参照すると、例えば、外科用可視化システム１００などの外科用可視化システムのための制御システム６００の概略図が示されている。制御システム６００は、特に、例えば脂肪、結合組織、血液、及び／又は他の器官などの他の組織によって重要構造が遮られているときに、スペクトルシグネチャ組織識別及び構造光組織位置決めを統合して、これらの構造を識別する変換システムである。このような技術はまた、器官内の健康な組織から腫瘍及び／又は病的組織を区別するなどの、組織の多様性を検出するのに有用であり得る。
制御システム６００は、ハイパースペクトル撮像及び可視化システムを実施するように構成されており、このシステムでは、外科的視野内の解剖学的構造を検出及び識別するために分子応答が使用される。制御システム６００は、組織データを外科医が使用可能な情報に変換するための変換論理回路６４８を含む。例えば、遮られている物質に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を識別することができる。更に、制御システム６００は、識別されたスペクトルシグネチャと構造光データとを画像内で組み合わせる。例えば、制御システム６００を用いて、増強画像オーバーレイを有するシステムにおける外科的使用のための三次元データセットを作成することができる。技術は、追加の視覚情報を使用して、術中及び術前の両方で使用することができる。様々な例において、制御システム６００は、１つ以上の重要構造の近接時に、臨床医に警告を提供するように構成されている。外科手術及び重要構造への近接に基づいて、ロボット自動化及び半自動化アプローチを誘導するための様々なアルゴリズムを採用することができる。
投影された光アレイを用いて、組織の形状及び動作を術中に決定する。あるいは、フラッシュライダーを、組織の表面マッピングに利用してもよい。
制御システム６００は、重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／覆われた重要構造までの距離を測定するように構成されている。他の例では、制御システム６００は、可視組織の表面までの距離を測定するか、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
制御システム６００はスペクトル制御回路６０２を含む。スペクトル制御回路６０２は、例えば図２Ａ～図２Ｃに関連して本明細書に記載されるような、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は別の好適な回路構成であり得る。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッター時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオ入力端子を受容する。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、ビデオ出力信号を、例えばインターフェース制御（メタデータ）データのハイパースペクトルビデオ出力端子を含むビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供する。
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に連結される。前述したように、カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信する。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができ、又は、例えば、図２に関連して本明細書で論じられる画像センサ技術のいずれかを含んでもよい。一態様では、カメラ６１２は、１４ビット／画素信号で画像を出力する。より高い又はより低いピクセル解像度が、本開示の範囲から逸脱することなく利用されてもよいことも理解されよう。分離カメラ出力信号６１３は、ハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を使用してカメラ出力信号６１３を処理する、カラーＲＧＢ融合回路６１６に提供される。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御する。レーザ光エンジン６２４は、近赤外（ＮＩＲ）を含む複数の波長（λ１，λ２，λ３．．．λｎ）の光を出力する。レーザ光エンジン６２４は、複数のモードで動作することができる。一態様では、レーザ光エンジン６２４は、例えば、２つのモードで動作することができる。第１のモード、例えば通常動作モードでは、レーザ光エンジン６２４は照明信号を出力する。第２のモード、例えば、識別モードでは、レーザ光エンジン６２４はＲＧＢＧ光及びＮＩＲ光を出力する。様々な例において、レーザ光エンジン６２４は、偏光モードで動作することができる。
レーザ光エンジン６２４からの光出力６２６は、術中の手術部位６２７内の標的とする解剖学的構造を照明する。レーザパルス制御回路６２２はまた、手術部位６２７の手術組織又は器官上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するレーザパターンプロジェクタ６３０用のレーザパルスコントローラ６２８を制御する。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信する。画像センサ６３４は、受信した光をデジタル信号に変換する。
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とする解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力する。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７での可視組織までの距離を表す第１のビデオ出力信号６４０を出力する。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位の標的とする解剖学的構造の組織又は器官の三次元レンダリング形状を表す第２のビデオ信号６４２を出力する。
第１及び第２のビデオ出力信号６４０、６４２は、集積モジュール６４３に提供される３次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、覆われた重要構造までの距離ｄＡ（図１）を（例えば、三角測量アルゴリズム６４４を介して）決定することができ、距離ｄＡは、ビデオ出力プロセッサ６４６を介して映像オーバーレイコントローラ６１０に提供され得る。前述の変換論理は、変換論理回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
ＣＴ又はＭＲＩスキャンによる術前データ６５０を用いて、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には画像オーバーレイコントローラ６１０に提供することができ、そのため、このような情報はカメラ６１２の画像と重ねられ、ビデオモニタ６５２に提供され得る。術前データの位置合わせは、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば２０１８年９月１１日に出願された「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号などの前述の米国特許出願に更に記載されている。
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張画像を出力することができる。臨床医は、１つ以上のモニタ上の異なる画像を選択し、及び／又は切り替えることができる。第１のモニタ６５２ａ上で、臨床医は、（Ａ）可視組織の３次元レンダリングが示されている画像と、（Ｂ）１つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描かれている拡張画像とを切り替えることができる。第２のモニタ６５２ｂでは、臨床医は、例えば、１つ以上の隠れた重要構造及び／又は可視組織の表面までの距離測定値を切り替えることができる。
制御システム６００及び／又はその様々な制御回路は、本明細書に開示される様々な外科用可視化システムに組み込むことができる。
図１２は、本開示の少なくとも１つの態様による、構造（又はパターン）光システム７００を示す。本明細書に記載されるように、例えばストライプ又は線の形態の構造光は、光源及び／又はプロジェクタ７０６から標的とする解剖学的構造の表面７０５上に投影されて、表面７０５の形状及び輪郭を特定することができる。例えば、撮像装置１２０（図１）と様々な点で類似し得るカメラ７２０は、表面７０５上の投影された光パターンを検出するように構成することができる。投影パターンが表面７０５に衝突すると変形する方法により、視覚システムが標的とする解剖学的構造の深さ及び表面情報を計算することを可能にする。
特定の例では、不可視（又は感知不能）構造光を利用することができ、構造光は、投影パターンが混乱し得る他のコンピュータの視覚的タスクと干渉することなく使用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。構造光は、ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｔｒｕｃｔｕｒｅｄ＿ｌｉｇｈｔで更に説明されている。
上記のように、本明細書に記載の様々な外科用可視化システムを利用して、スペクトルの可視部分においてＥＭＲによって可視化されないように遮られ得る組織及び／又は解剖学的構造を含む様々な異なるタイプの組織及び／又は解剖学的構造を可視化することができる。一態様では、外科用可視化システムは、構成材料の様々な組み合わせに基づいて、異なるタイプの組織を可視化するために、スペクトル撮像システムを利用することができる。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化される組織内の様々な構成材料の存在を検出するように構成され得る。スペクトル撮像システムは、構成材料の特定の組み合わせに基づいて可視化される組織の組織タイプを特徴付けるように更に構成され得る。例示すると、図１３Ａは、様々な生体材料の吸収係数がＥＭＲ波長スペクトルにわたってどのように変化するかを示すグラフ２３００である。グラフ２３００では、垂直軸２３０３は、生体材料の吸収係数（例えば、ｃｍ－１単位）を表し、水平軸２３０４は、ＥＭＲ波長（例えば、μｍ単位）を表す。グラフ２３００は、様々なＥＭＲ波長における水の吸収係数を表す第１の線２３１０、様々なＥＭＲ波長におけるタンパク質の吸収係数を表す第２の線２３１２、様々なＥＭＲ波長におけるメラニンの吸収係数を表す第３の線２３１４、様々なＥＭＲ波長における脱酸素化ヘモグロビンの吸収係数を表す第４の線２３１６、様々なＥＭＲ波長における酸素化ヘモグロビンの吸収係数を表す第５の線２３１８、及び様々なＥＭＲ波長におけるコラーゲンの吸収係数を表す第６の線２３１９を更に示す。異なる組織タイプは、構成材料の異なる組み合わせを有し、したがって、外科用可視化システムによって可視化される組織タイプは、検出された構成材料の特定の組み合わせに従って識別及び区別され得る。したがって、スペクトル撮像システムは、いくつかの異なる波長でＥＭＲを放射するように、異なる波長で検出された吸収ＥＭＲ吸収応答に基づいて組織の構成材料を決定するように、そして次いで、構成材料の特定の検出された組み合わせに基づいて組織タイプを特徴付けるように構成され得る。
異なる組織タイプ及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の例を図１３Ｂに示す。図１３Ｂでは、スペクトルエミッタ２３２０（例えば、スペクトル光源１５０）が、手術部位２３２５を可視化するために撮像システムによって利用されている。スペクトルエミッタ２３２０によって放射され、手術部位２３２５の組織及び／又は構造から反射されたＥＭＲは、画像センサ１３５（図２）によって受信されて、組織及び／又は構造を可視化することができ、可視（例えば、手術部位２３２５の表面に配置される）か、又は遮られている（例えば、手術部位２３２５における他の組織及び／又は構造の下地）かのいずれかであり得る。この例では、撮像システム１４２（図２）は、異なる組織／構造タイプの各々に対する構成材料の異なる吸収特性（例えば、吸収係数）によって特徴付けられるスペクトルシグネチャに基づいて、腫瘍２３３２、動脈２３３４、及び様々な異常２３３８ （すなわち、既知の又は予想されるスペクトルシグネチャと一致していない組織）を視覚化することができる。可視化された組織及び構造は、撮像システムディスプレイ１４６（図２）、一次ディスプレイ２１１９（図１８）、非滅菌ディスプレイ２１０９（図１８）、ハブディスプレイ２２１５（図１９）、装置／器具ディスプレイ２２３７（図１９）などの撮像システム１４２に関連付けられた、又は結合された表示画面上に表示され得る。
更に、撮像システム１４２は、識別された組織及び／又は構造タイプに従って、表示された手術部位可視化を調整又は更新するように構成され得る。例えば、撮像システム１４２は、表示画面（例えば、ディスプレイ１４６）上で可視化されている腫瘍２３３２と関連付けられたマージン２３３０ａを表示することができる。マージン２３３０ａは、腫瘍２３３２の完全な除去を確実にするために切除されるべき組織の面積又は量を示し得る。制御システム１３３（図２）は、撮像システム１４２によって識別された組織及び／又は構造に基づいてマージン２３３０ａの寸法を制御又は更新するように構成され得る。図示の例では、撮像システム１４２は、ＦＯＶ内の複数の異常２３３８を識別している。したがって、制御システム１３３は、表示されたマージン２３３０ａを、異常２３３８を包含するのに十分な寸法を有する第１の更新されたマージン２３３０ｂに調整することができる。更に、撮像システム１４２はまた、（動脈２３３４の強調表示された領域２３３６によって示されるように）最初に表示されたマージン２３３０ａと部分的に重複する動脈２３３４を識別している。したがって、制御システム１３３は、表示されたマージン２３３０ａを、動脈２３３４の関連部分を包含するのに十分な寸法を有する第２の更新されたマージン２３３０ｃに調整することができる。
組織及び／又は構造はまた、図１３Ａ及び図１３Ｂに関して上述したそれらの吸収特性に加えて、又はその代わりに、ＥＭＲ波長スペクトルにわたって、それらの反射特性に従って画像化又は特徴付けることができる。例えば、図１３Ｃ～図１３Ｅは、異なるＥＭＲ波長にわたる異なるタイプの組織又は構造の反射率の様々なグラフを示す。図１３Ｃは、遮るものに対する例示的な尿管シグネチャのグラフ表示１０５０である。図１３Ｄは、遮るものに対する例示的な動脈シグネチャのグラフ表示１０５２である。図１３Ｅは、遮るものに対する例示的な神経シグネチャのグラフ表示１０５４である。図１３Ｃ～図１３Ｅのプロットは、対応する波長における脂肪、肺組織、及び血液の対応する反射率に対する特定の構造（尿管、動脈、及び神経）の波長（ｎｍ）の関数としての反射率を表す。これらのグラフは単に例示目的のためであり、他の組織及び／又は構造が、組織及び／又は構造を識別及び可視化することを可能にする対応する検出可能な反射率シグネチャを有し得ることを理解されたい。
様々な例において、スペクトル撮像のための選択波長は、手術部位において予想される重要構造及び／又は遮るものに基づいて特定及び利用することができる（すなわち、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイム又はほぼリアルタイムで取得し、術中に利用することができるように、最小化することができる。様々な例において、臨床医によって、又は臨床医による入力に基づいて制御回路によって波長を選択することができる。特定の例では、波長を、例えば、クラウドを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
前述の組織へのスペクトル撮像の適用は、波形エミッタと組織によって遮られる重要構造との間の距離を測定するために、術中に利用することができる。本開示の一態様では、ここで図１４及び図１５を参照すると、波形１１２４、１１２５を利用した飛行時間センサシステム１１０４が示されている。飛行時間センサシステム１１０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１１０４は、波形エミッタ１１０６と、同じ外科用装置１１０２上の波形受信器１１０８とを含む。放射された波１１２４は、エミッタ１１０６から重要構造１１０１まで延び、受信された波１１２５は、重要構造１１０１から受信器１１０８によって反射される。外科用装置１１０２は、患者の腔１１０７内に延びるトロカール１１１０を通って位置付けられる。
波形１１２４、１１２５は、遮っている組織１１０３を透過するように構成される。例えば、波形１１２４、１１２５の波長は、ＮＩＲスペクトル又はＳＷＩＲスペクトルの波長であり得る。一態様では、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１１０６から放射することができ、重要構造１１０１を隠している組織１１０３を透過することができる。放射された波形１１２４は、重要構造１１０１によって反射され得る。受信された波形１１２５は、外科用装置１１０２の遠位端と重要構造１１０１との間の距離ｄに起因して遅延し得る。様々な例において、波形１１２４、１１２５は、本明細書に更に記載されるように、重要構造１１０１のスペクトルシグネチャに基づいて、組織１１０３内の重要構造１１０１を標的とするように選択され得る。様々な例において、エミッタ１１０６は、例えば図１５に示されるように、オン及びオフの二値信号を提供するように構成されており、受信器１１０８によって測定することができる。
放射された波１１２４と受信された波１１２５との間の遅延に基づいて、飛行時間センサシステム１１０４は距離ｄを決定するように構成される（図１４）。図１４のエミッタ１１０６及び受信器１１０８の飛行時間タイミング図１１３０を図１５に示す。遅延は距離ｄの関数であり、距離ｄは、以下の式で与えられる。
Figure 2023508712000002
式中、
ｃ＝光速度であり、
ｔ＝パルスの長さであり、
ｑ１＝光が放射される間に蓄積された電荷であり、
ｑ２＝光が放射されていない間に蓄積された電荷である。
本明細書で提供されるように、波形１１２４、１１２５の飛行時間は、図１４の距離ｄに対応する。様々な例において、追加のエミッタ／受信器及び／又はエミッタ１１０６からのパルス信号は、非透過信号を発するように構成することができる。非透過組織は、エミッタから遮っている組織１１０３の表面１１０５までの距離を決定するように構成することができる。様々な例において、重要構造１１０１の深さは、以下の式によって決定することができる：
ｄＡ＝ｄｗ－ｄｔ。
式中、
ｄＡ＝重要構造１１０１の深さであり、
ｄｗ＝エミッタ１１０６から重要構造１１０１までの距離（図１４のｄ）であり、また、
ｄｔ＝エミッタ１１０６（外科用装置１１０２の遠位端上）から遮っている組織１１０３の表面１１０５までの距離である。
本開示の一態様では、ここで図１６を参照すると、波１２２４ａ、１２２４ｂ、１２２４ｃ、１２２５ａ、１２２５ｂ、１２２５ｃを利用した飛行時間センサシステム１２０４が示されている。飛行時間センサシステム１２０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１２０４は、波形エミッタ１２０６と波形受信器１２０８とを含む。波形エミッタ１２０６は、第１の外科用装置１２０２ａ上に位置付けられ、波形受信器１２０８は第２の外科用装置１２０２ｂ上に位置付けられる。外科用装置１２０２ａ、１２０２ｂは、患者の空洞１２０７内に延びるそれぞれトロカール１２１０ａ、１２１０ｂを通って位置付けられる。放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、エミッタ１２０６から手術部位に向かって延び、受信された波１２２５ａ、１２２５ｂ、１２２５ｃは、手術部位における様々な構造及び／又は表面から受信器１２０８に反射される。
異なる放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、手術部位において異なる種類の物質を標的にするように構成されている。例えば、波１２２４ａは遮っている組織１２０３を標的とし、波１２２４ｂは第１の重要構造１２０１ａ（例えば、血管）を標的とし、波１２２４ｃは第２の重要構造１２０１ｂ（例えば、癌性腫瘍）を標的とする。波１２２４ａ、１２２４ｂ、１２２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長であってよい。例えば、可視光は、組織１２０３の表面１２０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織１２０３の表面１２０５を透過するように構成することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１２０６から放射することができる。様々な例において、波１２２４ｂ、１２２４ｃは、本明細書に更に記載されるように、重要構造１２０１ａ、１２０１ｂのスペクトルシグネチャに基づいて、組織１２０３内の重要構造１２０１ａ、１２０１ｂを標的とするように選択され得る。光音響撮像は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に更に記載されている。
放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、標的物質（すなわち、それぞれ表面１２０５、第１の重要構造１２０１ａ、及び第２の構造１２０１ｂ）から反射され得る。受信された波形１２２５ａ、１２２５ｂ、１２２５ｃは、図１６に示す距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃにより遅延し得る。
エミッタ１２０６及び受信器１２０８が独立して位置決め可能である（例えば、別個の外科用装置１２０２ａ、１２０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間センサシステム１２０４では、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃを、エミッタ１２０６及び受信器１２０８の既知の位置から計算できる。例えば、手術装置１２０２ａ、１２０２ｂがロボット制御されているとき、位置は既知であり得る。エミッタ１２０６及び受光器１２０８の位置、並びに、特定の組織を標的とするまでの光子流の時間及びその特定の応答の受信器１２０８によって受信された情報に関する知見によって、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの決定を可能にできる。一態様では、遮られた重要構造１２０１ａ、１２０１ｂまでの距離は、透過波長を使用して三角測量することができる。光の速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間センサシステム１２０４は、様々な距離を決定することができる。
更に図１６を参照すると、様々な例において、臨床医に提供された画像では、受信器１２０８を、結果として得られる画像内の標的構造の質量中心が一定のままになるように、すなわち、選択された標的構造１２０３、１２０１ａ、又は１２０１ｂの軸に垂直な平面内で回転させることができる。そのような向きは、重要構造に対して、１つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１６に示されるように、重要構造１２０１ａが視野平面に垂直である（すなわち、血管がページの内外に向いている）視点から、手術部位が表示される。様々な例において、そのような向きは、デフォルト設定であり得るが、視野は、臨床医によって回転させ又は他の方法で調整することができる。特定の例では、臨床医は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
様々な例において、受信器１２０８は、これを通じて外科用装置１２０２ｂが配置される、例えばトロカール１２１０ｂなどのトロカール又はカニューレ上に取り付けられてもよい。他の例では、受信器１２０８は、三次元位置が既知である別個のロボットアームに取り付けることができる。様々な例において、受信器１２０８は、外科用装置１２０２ａを制御するロボットとは別個の可動アーム上に取り付けることができ、又は術中ロボット座標平面に位置合わせ可能な手術室（ＯＲ）のテーブルに取り付けることができる。そのような例では、エミッタ１２０６及び受信器１２０８の位置は、飛行時間センサシステム１２０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
ナノ秒の分解能を有するＮＩＲ光の時間分解特性を測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる飛行時間センサシステム及び近赤外分光法（ＮＩＲＳ）の組み合わせは、その全体が参照により本明細書に組み込まれる、「ＴＩＭＥ－ＯＦ－ＦＬＩＧＨＴ ＮＥＡＲ－ＩＮＦＲＡＲＥＤ ＳＰＥＣＴＲＯＳＣＯＰＹ ＦＯＲ ＮＯＮＤＥＳＴＲＵＣＴＩＶＥ ＭＥＡＳＵＲＥＭＥＮＴ ＯＦ ＩＮＴＥＲＮＡＬ ＱＵＡＬＩＴＹ ＩＮ ＧＲＡＰＥＦＲＵＩＴ」と題するＪｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８の文献に見出すことができ、ｊｏｕｒｎａｌ．ａｓｈｓｐｕｂｌｉｃａｔｉｏｎｓ．ｏｒｇ／ｃｏｎｔｅｎｔ／１３８／３／２２５．ｆｕｌｌからアクセス可能である。
様々な例において、飛行時間スペクトル波形は、重要構造の深さ及び／又は外科用装置の重要構造への近接度を決定するように構成されている。更に、本明細書に開示される様々な外科用可視化システムは、可視組織の表面に三次元レンダリングを作り出すように構成されている表面マッピング論理を含む。そのような例では、可視組織が重要構造を遮る場合であっても、臨床医は、重要構造への外科用装置の近接度（又は近接していないこと）を認識することができる。１つの例では、手術部位のトポグラフィは、表面マッピング論理によってモニタ上に提供される。重要構造が組織の表面に近い場合、スペクトル撮像は、臨床医に重要構造の位置を伝達することができる。例えば、スペクトル撮像は、表面の５ｍｍ又は１０ｍｍ以内の構造を検出することができる。他の例では、スペクトル撮像は、組織の表面の１０又は２０ｍｍ下の構造を検出することができる。スペクトル撮像システムの既知の限界に基づいて、システムは、スペクトル撮像システムによって単純に検出されない場合、重要構造が範囲外であることを伝えるように構成される。したがって、臨床医は、外科用装置を動かし続けること、及び／又は組織を操作し続けることができる。重要構造がスペクトル撮像システムの範囲内に移動すると、システムは構造を識別することができ、したがって、構造が範囲内にあることを通信することができる。そのような例では、構造が最初に識別され、かつ／又は既定の近接ゾーン内に更に移動されたときに、警告を提供することができる。そのような例では、既知の境界／範囲を有するスペクトル撮像システムによって重要構造が識別されない場合であっても、臨床医に近接度の情報（すなわち、近接していないこと）を提供することができる。
本明細書に開示される様々な外科用可視化システムは、術中に、重要構造の存在及び／又は近接を特定し、不注意による切開及び／又は切断によって重要構造を損傷する前に臨床医に警告するように構成され得る。様々な態様では、外科用可視化システムは、以下の重要構造、例えば、尿管、腸、直腸、神経（横隔神経、反回神経［ＲＬＮ］、突起顔面神経、迷走神経、及びそれらの分枝部を含む）、血管（肺及び肺葉の動脈及び静脈、下腸間膜動脈［ＩＭＡ］及びそれらの分枝部、上直腸動脈、Ｓ字結腸動脈、及び左結腸動脈を含む）、上腸間膜動脈（ＳＭＡ）及びそれらの分枝部（中結腸動脈、右結腸動脈、回腸結腸動脈を含む）、肝動脈及びそれらの分枝部、門脈及びそれらの分枝部、脾臓動脈／静脈及びそれらの分枝部、外腸骨血管及び内腸骨血管（下腹部）、短胃動脈、子宮動脈、正中仙骨血管、及びリンパ節のうちの１つ以上を識別するように構成されている。更に、外科用可視化システムは、外科用装置の重要構造への近接度を示し、かつ／又は、外科用装置が重要構造に接近すると臨床医に警告するように構成されている。
本開示の様々な態様は、術中の重要構造の識別（例えば、尿管、神経、及び／又は血管の識別）及び器具接近モニタリングを提供する。例えば、本明細書に開示される様々な外科用可視化システムは、例えば、組織の表面の１．０～１．５ｃｍ下などの組織の表面下の重要構造の可視化を可能にする、スペクトル撮像及び外科用器具トラッキングを含み得る。他の例では、外科用可視化システムは、組織の表面の１．０ｃｍ未満又は１．５ｃｍ超下の構造を識別することができる。例えば、表面の０．２ｍｍ以内の構造のみを識別することができる外科用可視化システムであっても、例えば、深さによって本来は見えない場合に有用であり得る。様々な態様では、外科用可視化システムは、例えば、可視組織の表面上の可視白色光画像のオーバーレイとして重要構造をバーチャルに表示することによって、臨床医の視界を拡張することができる。外科用可視化システムは、外科用器具の遠位先端部のリアルタイムな三次元空間的トラッキングを提供することができ、外科用器具の遠位先端が重要構造のある範囲内、例えば、重要構造の１．０ｃｍ以内などに移動すると、近接警告を提供することができる。
本明細書に開示される様々な外科用可視化システムは、重要構造に対して切開が近すぎることを識別することができる。温度（すなわち、重要構造を損傷／加熱／融解させる危険性があり得る重要構造の近くで過度に熱い）、及び／又は、張力（すなわち、重要構造を損傷させる／裂傷させる／引く危険性があり得る重要構造の近くで張力が過度に大きい）に基づくと、切開が重要構造に「近すぎる」場合がある。このような外科用可視化システムは、例えば結紮の前に血管周囲組織を剥離するときに、血管周囲の切開を容易にすることができる。様々な例において、熱画像化カメラを利用して、手術部位の熱を読み取り、検出された熱及びツールから構造までの距離に基づいて警告を臨床医に提供することができる。例えば、ツールの温度が所定の閾値（例えば１２０°Ｆなど）を超える場合、警告は、第１の距離（例えば１０ｍｍなど）で臨床医に提供され得、ツールの温度が既定の閾値以下である場合、警告は、第２の距離（例えば５ｍｍなど）で臨床医に提供され得る。既定の閾値及び／又は警告距離は、デフォルト設定及び／又は臨床医によってプログラム可能であり得る。追加的に又は代替的に、近接警告は、例えば、単極又は双極の切開器具又は血管シーラーの遠位ジョー内の熱を測定する熱電対などの、ツール自体によって行われる熱測定に連結され得る。
本明細書に開示される様々な外科用可視化システムは、臨床医が、注意基準及び／又は装置安全データに基づいて、自信を持って迅速ではあるが安全な切開を進めることを可能にするために、重要構造に対する十分な感度と特異性を提供することができる。このシステムは、患者又は臨床医に対して最小限の電離放射線リスクで外科手術中の術中リアルタイムで機能し得、様々な例において、患者又は臨床医に対する電離放射線リスクはない。逆に、蛍光透視法において、患者及び臨床医は、例えば、解剖学的構造をリアルタイムで見るために利用されるＸ線ビームを介して電離放射線に曝露され得る。
本明細書に開示される様々な外科用可視化システムは、例えば、外科用装置の経路がロボット制御されるときなど、外科用装置の前方経路内の１つ以上の所望の種類の重要構造を検出及び識別するように構成され得る。追加的に又は代替的に、外科用可視化システムは、例えば、外科用装置の周囲領域及び／又は複数の平面／範囲において、１つ以上の種類の重要構造を検出及び識別するように構成され得る。
本明細書に開示される様々な外科用可視化システムは、容易に操作及び／又は解釈することができる。更に、様々な外科用可視化システムは、臨床医がデフォルト設定及び／又は操作をオーバーライドすることを可能にする「オーバーライド」特徴を組み込むことができる。例えば、臨床医は、外科用可視化システムからの警告を選択的にオフにして、かつ／又は、重要構造に対する危険性が、その領域を回避する危険性より低い場合（例えば、重要構造の周囲で癌を除去するとき、癌性組織を残すリスクは、重要構造の損傷のリスクよりも大きい場合がある）など、外科用可視化システムによって提示されるよりも重要構造に近付けることができる。
本明細書に開示される様々な外科用可視化システムは、外科用システムに組み込むことができ、かつ／又は、ワークフローに対する限定された影響を有する外科手術中に使用することができる。換言すれば、外科用可視化システムの実施は、外科手術が実施される方法を変更しなくてよい。更に、外科用可視化システムは、不注意な切断のコストと比較して経済的であり得る。データは、重要構造への不注意による損傷の低減を示しており、償還額の増加を促進することができる。
本明細書に開示される様々な外科用可視化システムは、臨床医が重要構造を予想することを可能にするために、リアルタイム又はほぼリアルタイム、かつ十分事前に動作することができる。例えば、外科用可視化システムは、外科手技の効率を最大化するために、「減速、評価、及び回避」のため十分な時間を提供することができる。
本明細書に開示される様々な外科用可視化システムは、組織に注入される造影剤又は染料を必要としなくてよい。例えば、スペクトル撮像は、造影剤又は染料を使用することなく、術中に隠れた構造を視覚化するように構成される。他の例では、造影剤は、他の可視化システムよりも組織の適切な層に注入するのが容易であり得る。造影剤の注入と重要構造の可視化との間の時間は、例えば、２時間未満であり得る。
本明細書に開示される様々な外科用可視化システムは、臨床データ及び／又は装置データと連結され得る。例えば、データは、外科医が損傷を望まない組織から、エネルギー有効化された外科用装置（又は他の損傷可能性がある装置）までの距離の境界を提供することができる。本明細書に開示される外科用可視化システムとインターフェースする任意のデータモジュールは、例えば、観血的処置又は腹腔鏡処置における独立型外科用装置との使用を可能にするために、ロボットと一体的又は別個に提供することができる。外科用可視化システムは、様々な例においてロボット外科用システムと適合することができる。例えば、視覚化画像／情報は、ロボットコンソール内に表示され得る。
様々な例において、臨床医は、外科用ツールに対する重要構造の位置を知ることができない。例えば、重要構造が組織に埋め込まれている場合、臨床医は、重要構造の位置の確認が不可能な場合がある。特定の例において、臨床医は、重要構造を取り囲む位置の範囲外、及び／又は隠れた重要構造を覆う可視組織から離れて、外科用装置を維持することを望む場合がある。隠れた重要構造の位置が不明である場合、臨床医は、重要構造に過度に接近させる危険性があり、その結果、重要構造の不注意による外傷及び／若しくは切開が生じ、並びに／又は、重要構造付近での過度のエネルギー、熱、及び／若しくは張力をかける恐れがある。あるいは、臨床医は、重要構造である疑いのある場所から遠く離れたまま留め、重要構造を避けようと努力して、望ましくない場所の組織に影響を及ぼすリスクもあり得る。
１つ以上の重要構造に対する外科用装置の追跡を提示する、外科用可視化システムが提供される。例えば、外科用可視化システムは、重要構造に対する外科用装置の近接度を追跡することができる。このような追跡は、術中、リアルタイムで、及び／又はほぼリアルタイムで行われ得る。様々な例において、追跡データは、撮像システムのディスプレイスクリーン（例えばモニタ）を介して臨床医に提供され得る。
本開示の一態様では、外科用可視化システムは、構造光パターンを可視表面上に放射するように構成されているエミッタを含む外科用装置と、埋め込まれた構造及び可視表面上の構造光パターンを検出するように構成されているカメラを含む撮像システムと、カメラ及び撮像システムと信号通信する制御回路と、を含み、制御回路は、外科用装置から埋め込まれた構造までの距離を決定し、距離を示す信号を撮像システムに提供するように構成されている。例えば、距離は、蛍光透視法によって光る重要構造までのカメラからの距離を計算することによって、カメラの複数のレンズ（例えば、左側レンズ及び右側レンズ）からの画像によって提供される光った構造の三次元画像に基づいて決定することができる。外科用装置から重要構造までの距離は、例えば、外科用装置及びカメラの既知の位置に基づいて三角測量することができる。埋め込まれた重要構造までの距離を決定するための代替的な手段が、本明細書で更に説明される。例えば、ＮＩＲ飛行時間距離センサを使用することができる。追加的に又は代替的に、外科用可視化システムは、埋め込まれた重要構造に重なっている、／覆っている可視組織までの距離を決定することができる。例えば、外科用可視化システムは、隠れた重要構造を識別し、可視構造上に隠れた重要構造の概略、例えば可視組織の表面上の線を描くことによって、隠れた重要構造の画像を拡張することができる。外科用可視化システムは、可視組織上の拡張された線までの距離を更に決定することができる。
本明細書に開示される様々な外科用可視化システムによって提供されるように、隠れた重要構造及び／又は可視構造までの外科用装置の近接度に関する最新情報を臨床医に提供することによって、臨床医は、隠れた重要構造に対する外科用装置の配置について、より情報に基づく判断を行うことができる。例えば、臨床医は、外科用装置と重要構造との間の距離をリアルタイムに／術中に見ることができ、特定の例において、外科用装置が重要構造の既定の近接度及び／又はゾーン内で移動するときに、撮像システムによってアラート及び／又は警告を提供することができる。特定の例において、アラート及び／又は警告は、外科用装置の軌道が、重要構造付近の「飛行禁止」区域に衝突する可能性（例えば、重要構造の１ｍｍ、２ｍｍ、５ｍｍ、１０ｍｍ、２０ｍｍ以上以内）を示すときに提供され得る。そのような例において、重要構造である疑いのある場所及びそこへの外科用装置の近接の認証医によるモニタリングを必要とせずに、臨床医は、外科手術を通して操作を維持することができる。結果として、より少ない休止／中断、並びに／又は、改善された精度及び／若しくは確実性で、特定の外科的処置をより迅速に実行することができる。一態様では、外科用可視化システムを利用して、健康な組織から腫瘍／癌組織／病的組織を区別するため、組織の多様性、例えば器官内の組織の多様性検出することができる。このような外科用可視化システムは、健康な組織の除去を最小限に抑えながら、病的組織の除去を最大限にすることができる。
外科用ハブシステム
本明細書に記載の様々な可視化又は撮像システムは、図１７から図１９に関連して例示され、以下で更に詳細に説明されるものなどの外科用ハブシステムに組み込むことができる。
図１７を参照すると、コンピュータ実装インタラクティブ外科用システム２１００は、１つ以上の外科用システム２１０２と、クラウドベースのシステム（例えば、ストレージ装置２１０５に連結されたリモートサーバ２１１３を含むことができるクラウド２１０４）と、を含む。各外科用システム２１０２は、リモートサーバ２１１３を含み得るクラウド２１０４と通信する、少なくとも１つの外科用ハブ２１０６を含む。一例では、図１７に示すように、外科用システム２１０２は、互いに、及び／又はハブ２１０６と通信するように構成された、可視化システム２１０８と、ロボットシステム２１１０と、ハンドヘルド式インテリジェント外科用器具２１１２と、を含む。いくつかの態様では、外科用システム２１０２は、Ｍ個のハブ２１０６と、Ｎ個の可視化システム２１０８と、Ｏ個のロボットシステム２１１０と、Ｐ個のハンドヘルド式インテリジェント外科用器具２１１２と、を含んでもよく、ここでＭ、Ｎ、Ｏ及びＰは１以上の整数である。
図１８は、外科処置室２１１６内の手術台２１１４上に横たわる患者に対して外科的処置を実施するために使用される外科用システム２１０２の例を示す。ロボットシステム２１１０は、外科的処置において外科用システム２１０２の一部として使用される。ロボットシステム２１１０は、外科医のコンソール２１１８と、患者側カート２１２０（外科用ロボット）と、外科用ロボットハブ２１２２と、を含む。外科医が外科医のコンソール２１１８を介して手術部位を見る間、患者側カート２１２０は、患者の身体の低侵襲切開部を介して、少なくとも１つの取り外し可能に連結された外科用ツール２１１７を操作することができる。手術部位の画像は医療用撮像装置２１２４によって得ることができ、医療用撮像装置２１２４は、患者側カート２１２０によって操作され、撮像装置２１２４を配向し得る。ロボットハブ２１２２は、手術部位の画像を処理し、その後処理した画像を外科医のコンソール２１１８を介して外科医に対して表示させるために使用することができる。
他の種類のロボットシステムを、外科用システム２１０２と共に使用するために容易に適合させることができる。本開示で使用するのに好適なロボットシステム及び外科用ツールの様々な例は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
クラウド２１０４によって実行され、本開示で使用するのに好適なクラウドベースの分析の様々な例は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
様々な態様では、撮像装置２１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素と、を含む。好適な画像センサとしては、電荷結合素子（Charge-Coupled Device、ＣＣＤ）センサ及び相補型金属酸化膜半導体（Complementary Metal-Oxide Semiconductor、ＣＭＯＳ）センサが挙げられるが、これらに限定されない。
撮像装置２１２４の光学構成要素は、１つ以上の照明光源及び／又は１つ以上のレンズを含んでもよい。１つ若しくは２つ以上の照明光源は、手術野の一部を照明するように方向付けられてもよい。１つ若しくは２つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、手術野から反射又は屈折された光を受光することができる。
１つ若しくは２つ以上の照明光源は、可視スペクトル及び不可視スペクトル内の電磁エネルギーを放射するように構成され得る。光学スペクトル又は発光スペクトルと称されることもある可視スペクトルは、人間の目に可視の（すなわち、人間の目で検出可能な）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に反応する。
不可視スペクトル（すなわち、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
様々な態様では、撮像装置２１２４は、低侵襲性手術で使用するように構成されている。本開示と共に使用するのに好適な撮像装置の例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
一態様では、撮像装置は、トポグラフィと下層構造とを区別するためにマルチスペクトルモニタリングを用いる。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ及び紫外光を含む特定の波長の光を感知できる器具を使用することによって分離することができる。スペクトル撮像法は、人間の目がその赤色、緑色及び青色の受容体で捕捉することのできない追加情報の抽出を可能にすることができる。マルチスペクトル撮像の使用は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。マルチスペクトルモニタリングは、治療される組織上で上述の試験の１つ又は２つ以上を実施するため、外科的タスクが完了した後に手術野を再配置するのに有用なツールであり得る。
いかなる外科手術においても手術室及び外科用設備の厳格な滅菌が必要であることは自明である。「外科施術の行われる現場（surgical theater）」、すなわち手術室（operating room）又は処置室（treatment room）に必要とされる厳格な衛生及び滅菌条件は、全ての医療装置及び設備の最大級の滅菌性を必要とする。上記の滅菌プロセスの一部としては、患者と接触する、又は滅菌野に侵入するあらゆるもの（撮像装置２１２４並びにその付属品及び構成要素を含む）を滅菌する必要が挙げられる。滅菌野は、トレイ内若しくは滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、又は滅菌野は、外科的処置のために準備された患者のすぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
様々な態様では、可視化システム２１０８は、図１８に示されるように、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、１つ以上のディスプレイと、を含む。一態様では、可視化システム２１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲのインターフェースを含む。可視化システム２１０８の様々な構成要素は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
図１８に示すように、一次ディスプレイ２１１９は、手術台２１１４に位置するオペレータに可視であるように滅菌野内に位置付けされる。加えて、可視化タワー２１１２１が、滅菌野の外に位置付けされる。可視化タワー２１１２１は、互いに離れる方に面する第１の非滅菌ディスプレイ２１０７及び第２の非滅菌ディスプレイ２１０９を含む。ハブ２１０６によって誘導される可視化システム２１０８は、ディスプレイ２１０７、２１０９及び２１１９を利用して、滅菌野の内側及び外側のオペレータに対する情報フローを調整するように構成されている。例えば、ハブ２１０６は、可視化システム２１０８に一次ディスプレイ２１１９上の手術部位のライブ映像を維持させながら、撮像装置２１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ２１０７又は２１０９上に表示させることができる。非滅菌ディスプレイ２１０７又は２１０９上のスナップショットは、例えば、非滅菌オペレータにより、外科的処置に関連する診断ステップを実施可能とすることができる。
一態様では、ハブ２１０６は、可視化タワー２１１２１にある非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌領域内の一次ディスプレイ２１１９に送り、これを手術台に位置する滅菌オペレータが見ることができるようにも構成されている。一例では、入力は、ハブ２１０６によって一次ディスプレイ２１１９に送ることのできる、非滅菌ディスプレイ２１０７又は２１０９上に表示されるスナップショットに対する修正の形態であってもよい。
図１８を参照すると、外科用器具２１１２は、外科的処置において外科用システム２１０２の一部として使用されている。ハブ２１０６はまた、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されているように、外科用器具２１１２のディスプレイへの情報の流れを調整するように構成されている。可視化タワー２１１２１にある非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ２１０６によって滅菌野内の外科用器具ディスプレイ２１１５に送られ得、ここで診断入力又はフィードバックを、外科用器具２１１２のオペレータが見ることができる。外科用システム２１０２で使用するのに好適な例示的な外科用器具は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
図１９は、コンピュータ実装インタラクティブ外科用システム２２００を示す。コンピュータ実装インタラクティブ外科用システム２２００は、多くの点で、コンピュータ実装インタラクティブ外科用システム２１００と類似している。外科用システム２２００は、リモートサーバ２２１３を含み得るクラウド２２０４と通信する少なくとも１つの外科用ハブ２２３６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続された外科用ハブ２２３６を含む。外科用ハブ２２３６は、外科用ハブ２２３６をクラウド２２０４及び／又はリモートサーバ２２１３に通信可能に連結するための通信インターフェースを含む。図１９の実施例に示すように、外科用ハブ２２３６は、内視鏡２２３９に連結された撮像モジュール２２３８、エネルギー装置２４２１に連結された発生器モジュール２２４０、排煙器モジュール２２２６、吸引／灌注モジュール２２２８、通信モジュール２２３０、プロセッサモジュール２２３２、ストレージアレイ２２３４、任意選択的にディスプレイ２２３７に連結されたスマート装置／器具２２３５及び非接触センサモジュール２２４２に連結されている。手術室装置は、外科用ハブ２２３６を介してクラウドコンピューティングリソース及びデータストレージに連結されている。ロボットハブ２２２２もまた、外科用ハブ２２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２２３５、可視化システム２２０９が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、外科用ハブ２２３６に連結されてもよい。外科用ハブ２２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続された装置から受信したデータを、画像及びオーバーレイ画像と共に表示してもよい。
状況認識
本明細書に記載の様々な視覚化システム又は視覚化システムの態様は、外科用ハブ２１０６、２２３６（図１７～図１９）によって具現化又は実行することができる状況認識システムの一部として利用することができる。特に、外科用器具又は他の外科用装置（それらの位置、向き、及び動作を含む）、組織、構造、ユーザ、及び手術野又は手術室内に位置する他のものを特徴付ける、識別する、及び／又は可視化することは、実行される外科的処置のタイプ又はそのステップ、外科医によって操作される組織及び／又は構造のタイプを推測するなどのために、状況認識システムによって利用することができるコンテキストデータを提供することができる。次に、このコンテキストデータを状況認識システムで利用して、ユーザに警告を提供し、ユーザが実行する後続のステップ又はアクションを提案し、ユーザの使用を見越して外科用装置を準備し（例えば、電気外科手術器具が外科的処置の後続のステップで利用されることを見越して電気外科手術用発電機を作動させる）、外科用器具をインテリジェントに制御（例えば、各患者の特定の健康プロファイルに基づいて外科用器具の操作パラメータをカスタマイズする）などすることができる。
感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」装置は、感知されたデータを考慮することなく動作する「データ処理能力のない（dumb）」装置に改善を加えたものであり得るが、いくつかの感知されたデータは、単独で考慮される場合、すなわち、実施される外科的処置のタイプ又は手術されている組織のタイプのコンテキストなしには、不完全又は確定的ではないことがある。処置コンテキストを知る（例えば、手術される組織のタイプ又は実施されている処置のタイプを知る）ことがなければ、制御アルゴリズムは、特定のコンテキストを含まない感知データが与えられると、モジュール式装置を不正確に又は準最適に制御することがある。モジュール式装置は、可視化システム装置（例えば、カメラ又は表示画面）、外科用器具（例えば、超音波外科用器具、電気外科用器具、又は外科用ステープラ）、及び他の外科用装置（例えば、排煙器）など、状況認識システムによって制御可能な任意の外科用装置を含むことができる。例えば、特定の感知されたパラメータに応答して外科用器具を制御するための制御アルゴリズムの最適な方法は、手術されている特定の組織のタイプによって変化することがある。これは、異なる組織のタイプが異なる特性（例えば、引き裂きに対する抵抗）を有し、そのため、外科用器具によってとられた動作に対して異なって応答するという事実に起因する。したがって、特定のパラメータについて同じ測定値が感知された場合であっても、外科用器具が異なる動作をとることが望ましいことがある。１つの具体的な例として、外科用ステープル留め及び切断器具がそのエンドエフェクタを閉鎖するために予想外に高い力を感知することに応答してその器具を制御する最適な方法は、組織のタイプが引き裂きの影響を受けやすいか、又はこれに耐性があるかによって異なる。肺組織など、引き裂きの影響を受けやすい組織の場合、器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答してモータを最適にランプダウンさせる。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答してモータを最適にランプアップさせる。肺組織がクランプされているのか、胃組織がクランプされているのかを知らなければ、制御アルゴリズムは、準最適な決定を行い得る。
１つの解決策は、様々なデータソースから受信したデータに基づいて実施されている外科的処置に関する情報を導出し、次いで、ペアリングされたモジュール式装置を適宜制御するように構成されたシステムを含む、外科用ハブを利用する。換言すれば、外科用ハブは、受信したデータから外科的処置に関する情報を推測し、次いで、外科的処置の推定されたコンテキストに基づいて、外科用ハブとペアリングされたモジュール式装置を制御するように構成されている。図２０は、本開示の少なくとも１つの態様による、状況認識外科用システム２４００の図を示す。いくつかの例示では、データソース２４２６は、例えば、モジュール式装置２４０２（患者及び／又はモジュール式装置自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る）、データベース２４２２（例えば、患者記録を含むＥＭＲデータベース）、及び患者モニタリング装置２４２４（例えば、血圧（ＢＰ）モニタ及び心電図（ＥＫＧ）モニタ）を含む。
外科用ハブ２４０４は、多くの点でハブ１０６と類似していてよく、例えば、受信したデータの特定の組み合わせ又はデータソース２４２６からデータが受信される特定の順序に基づいて、外科的処置に関するコンテキスト情報を当該データから導出するように構成され得る。受信したデータから推定されるコンテキスト情報は、例えば、実施される外科的処置のタイプ、外科医が実施している外科的処置の特定のステップ、手術されている組織のタイプ、又は処置の対象である体腔を含み得る。受信したデータから外科的処置に関連する情報を導出又は推定するための外科用ハブ２４０４のいくつかの態様によるこの能力は、「状況認識」と称され得る。１つの例示では、外科用ハブ２４０４は、受信したデータから外科的処置に関連するコンテキスト情報を導出する外科用ハブ２４０４に関連付けられたハードウェア及び／又はプログラミングである状況認識システムを組み込むことができる。
外科用ハブ２４０４の状況認識システムは、様々な異なる方法でデータソース２４２６から受信したデータからコンテキスト情報を導出するように構成され得る。１つの例示では、状況認識システムは、様々な入力（例えば、データベース２４２２、患者モニタリング装置２４２４、及び／又はモジュール式装置２４０２からのデータ）を、外科的処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含む。換言すれば、機械学習システムは、提供された入力から外科的処置に関するコンテキスト情報を正確に導出するように訓練され得る。別の例示では、状況認識システムは、外科的処置に関する事前に特徴付けされたコンテキスト情報を、コンテキスト情報に対応する１つ又は２つ以上の入力（又は入力の範囲）と対応させて記憶する、ルックアップテーブルを含み得る。１つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式装置２４０２を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。１つの例示では、外科用ハブ２４０４の状況認識システムによって受信されたコンテキスト情報は、１つ以上のモジュール式装置２４０２の特定の制御調整又は一連の制御調整に関連付けられる。別の例示では、状況認識システムは、コンテキスト情報を入力として提供されたときに１つ以上のモジュール式装置２４０２の１つ以上の制御調整を生成又は検索する、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
状況認識システムを組み込む外科用ハブ２４０４は、外科用システム２４００に多くの利益を提供する。１つの利益は、感知及び収集されたデータの解釈を改善することを含み、これは次に、外科的処置の過程中の処理精度及び／又はデータの使用を改善する。以前の例に戻るために、状況認識した外科用ハブ２４０４は、どのタイプの組織が手術されているかを判定することができ、したがって、外科用器具のエンドエフェクタを閉じるために予想外に高い力が検出されると、状況認識した外科用ハブ２４０４は、組織のタイプに合わせて外科用器具のモータを正しくランプアップ又はランプダウンさせることができる。
別の実施例として、手術されている組織のタイプは、特定の組織間隙測定のための外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値になされる調整に影響を及ぼし得る。状況認識した外科用ハブ２４０４は、実施されている外科的処置が胸部処置であるのか又は腹部処置であるのかを推定することができ、これにより外科用ハブ２４０４は、外科用ステープル留め及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか（胸部手術の場合）又は胃であるのか（腹部手術の場合）を判定することができる。次いで、外科用ハブ２４０４は、外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値を、組織のタイプに合わせて適切に調整することができる。
更に別の実施例として、送気処置中に手術されている体腔のタイプは、排煙器の機能に影響を及ぼし得る。状況認識した手術ハブ２４０４は、手術部位が（外科的処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置タイプを判定することができる。処置タイプは概して特定の体腔内で実施されるため、外科用ハブ２４０４は、手術されている体腔に合わせて適切に排煙器のモータ速度を制御することができる。したがって、状況認識した手術ハブ２４０４は、胸部手術及び腹部手術の両方のために一定量の排煙を提供することができる。
更に別の実施例として、実施されている処置のタイプは、超音波外科用器具又は高周波（ＲＦ）電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。例えば、関節鏡処置は、超音波外科用器具又はＲＦ電気外科用器具のエンドエフェクタが流体中に浸漬されるため、より高いエネルギーレベルを必要とする。状況認識した外科用ハブ２４０４は、外科的処置が関節鏡処置であるかどうかを判定することができる。次いで、外科用ハブ２４０４は、流体充填環境を補償するために、発生器のＲＦ電力レベル又は超音波振幅（すなわち、「エネルギーレベル」）を調整することができる。関連して、手術されている組織のタイプは、超音波外科用器具又はＲＦ電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識した外科用ハブ２４０４は、どのタイプの外科的処置が実施されているかを判定し、次いで、外科的処置に関する予想される組織プロファイルに従って超音波外科用器具又はＲＦ電気外用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識した外科用ハブ２４０４は、処置別のみではなく、外科的処置の過程にわたって、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルを調整するように構成され得る。状況認識した外科用ハブ２４０４は、外科的処置のどのステップが実施されているか、又はその後に実施されるかを判定し、次いで発生器及び／又は超音波外科用器具若しくはＲＦ電気外科用器具の制御アルゴリズムを更新して、外科的処置のステップに従って予想される組織タイプに適切な値にエネルギーレベルを設定することができる。
更に別の例として、外科用ハブ２４０４が１つのデータソース２４２６から引き出す結論を改善するために、追加のデータソース２４２６からデータを引き出してもよい。状況認識した外科用ハブ２４０４は、モジュール式装置２４０２から受信したデータを、他のデータソース２４２６から外科的処置に関して構築したコンテキスト情報で増強することができる。例えば、状況認識した外科用ハブ２４０４は、医療用撮像装置から受信したビデオ又は画像データに従って、止血が発生したかどうか（すなわち、手術部位での出血が止まったかどうか）を判定するように構成され得る。しかしながら、場合によっては、ビデオ又は画像データは、確定的ではないことがある。したがって、１つの例示では、外科用ハブ２４０４は、生理学的測定（例えば、外科用ハブ２４０４に通信可能に接続されたＢＰモニタによって感知された血圧）を、（例えば、外科用ハブ２４０４に通信可能に連結された医療用撮像装置１２４（図２）からの）止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性についての判定を行うように更に構成され得る。換言すれば、外科用ハブ２４０４の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では確定的ではないか、又は不完全であり得る場合に有用であり得る。
別の利益としては、外科的処置の過程中に医療従事者が外科用システム２４００と相互作用するか又はこれを制御するために必要とされる回数を低減するために、実施されている外科的処置の特定のステップに従って、ペアリングされたモジュール式装置２４０２を積極的かつ自動的に制御することが挙げられる。例えば、状況認識した外科用ハブ２４０４は、処置の後続のステップが器具の使用を必要とすると判定した場合に、ＲＦ電気外科用器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行するステップが完了するとすぐに器具を使用準備完了にすることができる。
別の例として、状況認識した外科用ハブ２４０４は、外科的処置の現在又は後続のステップが、ディスプレイ上の異なる視界又は拡大の度合いを必要とするかどうかを、外科医が見る必要があると予想される手術部位における特徴に従って判定することができる。次いで、外科用ハブ２４０４は、（例えば、可視化システム１０８のために医療用撮像装置によって供給される）表示された視界を適切に積極的に変更することができ、その結果、ディスプレイは外科的処置にわたって自動的に調整するようになる。
更に別の例として、状況認識した手術ハブ２４０４は、外科的処置のどのステップが実施されているか、又はその後に実施されるか、及び特定のデータ又はデータ間の比較が外科的処置のそのステップに必要とされるかどうかを判定することができる。外科用ハブ２４０４は、外科医が特定の情報を尋ねるのを待つことなく、実施されている外科的処置のステップに基づいて、自動的にデータスクリーンを呼び出すように構成され得る。
別の利益としては、外科的処置のセットアップ中又は外科的処置の過程中にエラーをチェックすることが挙げられる。例えば、状況認識した外科用ハブ２４０４は、手術現場が、実施される外科的処置のために適切に又は最適にセットアップされているかどうかを判定することができる。外科用ハブ２４０４は、実施されている外科的処置のタイプを判定し、（例えば、メモリから）対応するチェックリスト、製品位置、又はセットアップニーズを読み出し、次いで、現在の手術現場のレイアウトを、外科用ハブ２４０４が実施されていると判定した外科的処置のタイプの標準レイアウトと比較するように構成され得る。１つの例示では、外科用ハブ２４０４は、例えば、好適なスキャナによってスキャンされた処置のためのアイテムのリスト及び／又は外科用ハブ２４０４とペアリングされる装置のリストを、所与の外科的処置のためのアイテム及び／若しくは装置の推奨又は予想されるマニフェストと比較するように構成され得る。リスト間に不連続性が存在する場合、外科用ハブ２４０４は、特定のモジュール式装置２４０２、患者モニタリング装置２４２４、及び／又は他の外科用アイテムが欠落していることを示す警告を提供するように構成され得る。１つの例示では、外科用ハブ２４０４は、例えば、近接センサによってモジュール式装置２４０２及び患者モニタリング装置２４２４の相対距離又は位置を判定するように構成され得る。外科用ハブ２４０４は、装置の相対位置を、特定の外科的処置のための推奨される又は予想されるレイアウトと比較することができる。レイアウト間に不連続性が存在する場合、外科用ハブ２４０４は、外科的処置の現在のレイアウトが推奨されるレイアウトから逸脱していることを示す警告を提供するように構成され得る。
別の例として、状況認識した外科用ハブ２４０４は、外科医（又は他の医療従事者）が誤りを犯しているか、又は別の方法で外科的処置の過程中に求められる一連の行動から逸脱しているかどうかを判定することができる。例えば、外科用ハブ２４０４は、実施されている外科的処置のタイプを判定し、（例えば、メモリから）設備使用のステップ又は順序の対応するリストを読み出し、次いで、外科的処置の過程中に実施されているステップ、又は使用されている設備を、外科用ハブ２４０４が実施されていると判定した外科的処置のタイプの予想されたステップ又は設備と比較するように構成され得る。１つの例示では、外科用ハブ２４０４は、外科的処置における特定のステップで、予期せぬ行為が実施されているか、又は予期せぬ装置が利用されていることを示す警告を提供するように構成され得る。
全体的に、外科用ハブ２４０４のための状況認識システムは、各外科的処置の特定のコンテキストのために外科用器具（及び他のモジュール式装置２４０２）を調整し（例えば、異なる組織のタイプに調整する）、外科的処置中の行動を検証することによって、外科的処置の結果を改善する。状況認識システムはまた、処置の特定のコンテキストに従って、次のステップを自動的に示唆すること、データを提供すること、及び手術現場内のディスプレイ及び他のモジュール式装置２４０２を調整することによって、外科的処置を実施する際の外科医の効率を改善する。
ここで図２１を参照すると、例えば、外科用ハブ１０６又は２０６（図１～図１１）などのハブの状況認識を示す時間線２５００が示されている。時間線２５００は例示的な外科的処置と、外科用ハブ１０６、２０６が、外科的処置の各ステップでデータソースから受信したデータから導き出すことができるコンテキスト情報と、を示す。時間線２５００は、手術室を設置することから開始し、患者を術後回復室に移送することで終了する肺区域切除処置の過程で、看護師、外科医及び他の医療関係者がとるであろう典型的なステップを示す。
状況認識外科用ハブ１０６、２０６は、外科的処置の過程全体にわたって、医療関係者が外科用ハブ１０６、２０６とペアリングされたモジュール式装置を使用する度に生成されるデータを含むデータをデータソースから受信する。外科用ハブ１０６、２０６は、ペアリングされたモジュール式装置及び他のデータソースからこのデータを受信する。そして任意の所与の時間に処置のどのステップが実施されているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ１０６、２０６の状況認識システムは、例えば、レポートを生成するために処置に関するデータを記録すること、医療関係者によってとられているステップを検証すること、特定の処置ステップに関連し得るデータ又はプロンプトを（例えば、ディスプレイスクリーンを介して）提供すること、コンテキストに基づいてモジュール式装置を調節すること（例えば、モニタを起動する、医療用撮像装置の視野（ＦＯＶ）を調節する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更することなど）及び上述の任意の他のこうしたアクションを行うことが可能である。
この例示的な処置における第１のステップ２５０２として、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを読み出す。ＥＭＲにおける選択された患者データに基づいて、外科用ハブ１０６、２０６は、実施される処置が胸郭処置であると判定する。
第２のステップ２５０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ１０６、２０６は、スキャンされた用品を様々なタイプの処置で利用される用品のリストと相互参照し、用品の組み合わせが、胸郭処置に対応するものであることを確認する。更に、外科用ハブ１０６、２０６はまた、処置が楔状処置ではないと判定することができる（入来する用品が、胸郭楔状処置に必要な特定の用品を含まないか、又は別の点で胸郭楔状処置に対応していないかのいずれかであるため）。
第３のステップ２５０６では、医療関係者は、外科用ハブ１０６、２０６に通信可能に接続されたスキャナを介して患者のバンドをスキャンする。続いて、外科用ハブ１０６、２０６は、スキャンされたデータに基づいて患者の識別情報を確認することができる。
第４のステップ２５０８では、医療スタッフが補助装置をオンにする。利用される補助装置は、外科的処置のタイプ及び外科医によって使用される技術に従って変わり得るが、この例示的な場合では、これらとしては、排煙器、吸入器及び医療用撮像装置が挙げられる。補助装置が起動されると、モジュール式装置である補助装置は、その初期化プロセスの一部として、モジュール式装置の特定の近傍内に位置する外科用ハブ１０６、２０６と自動的にペアリングすることができる。続いて、外科用ハブ１０６、２０６は、この術前又は初期化段階中にそれとペアリングされるモジュール式装置のタイプを検出することによって、外科的処置に関するコンテキスト情報を導出することができる。この特定の例では、外科用ハブ１０６、２０６は、ペアリングされたモジュール式装置のこの特定の組み合わせに基づいて、外科的処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータ、手術に用いられる医療用品のリスト及びハブに接続するモジュール式装置のタイプの組み合わせに基づいて、外科用ハブ１０６、２０６は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ１０６、２０６が、何の特定の処置が実施されているかを認識すると、続いて外科用ハブ１０６、２０６は、メモリから、又はクラウドからその処置のステップを読み出して、次に接続されたデータソース（例えば、モジュール式装置及び患者モニタリング装置）からその後受信したデータを相互参照して、外科的処置のどのステップを外科チームが実施しているかを推定することができる。
第５のステップ２５１０では、職員は、ＥＫＧ電極及び他の患者モニタリング装置を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリング装置は、外科用ハブ１０６、２０６とペアリングすることができる。外科用ハブ１０６、２０６が患者モニタリング装置からデータの受信を開始すると、外科用ハブ１０６、２０６は患者が手術室にいることを確認する。
第６のステップ２５１２では、医療関係者は患者に麻酔をかける。外科用ハブ１０６、２０６は、例えば、ＥＫＧデータ、血圧データ、ベンチレータデータ又はこれらの組み合わせを含む、モジュール式装置及び／又は患者モニタリング装置からのデータに基づいて、患者が麻酔下にあることを推定することができる。第６のステップ２５１２が完了すると、肺区域切除処置の術前部分が完了し、手術部分が開始する。
第７のステップ２５１４では、手術をされている患者の肺が虚脱される（他方、換気が対側肺に切り替えられる）。外科用ハブ１０６、２０６は、例えば、患者の肺が虚脱されたことをベンチレータデータから推定することができる。外科用ハブ１０６、２０６は、患者の肺が虚脱したのを検出したことを、処置の予期されるステップ（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が既に開始されたと推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術ステップであると判定することができる。
第８のステップ２５１６では、医療用撮像装置（例えば、スコープ）が挿入され、医療用撮像装置からのビデオ映像が開始される。外科用ハブ１０６、２０６は、医療用撮像装置への接続を通じて医療用撮像装置データ（すなわち、ビデオ又は画像データ）を受信する。医療用撮像装置データを受信すると、外科用ハブ１０６、２０６は、外科的処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ１０６、２０６は、実施されている特定の処置が、肺葉切除とは異なり区域切除術であると判定することができる（処置の第２のステップ２５０４で受信したデータに基づいて、楔状処置は外科用ハブ１０６、２０６によって既にその可能性がないと判断されていることに留意されたい）。医療用撮像装置１２４（図２）からのデータは、実施されている処置のタイプに関するコンテキスト情報を判定するために多くの異なる方法で用いられてもよい。例えば、患者の解剖学的構造を可視化したものに対して、医療用撮像装置が向いている角度を判定したり、用いられている（すなわち、起動されており、外科用ハブ１０６、２０６とペアリングされている）医療用撮像装置の数をモニタリングしたり、用いられている可視化装置のタイプをモニタリングしたりするために用いられてよい。例えば、ＶＡＴＳ肺葉切除術を実施するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実施するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。例えば、パターン認識又は機械学習技術を使用して、状況認識システムは、患者の解剖学的構造を可視化したものに基づいて、医療用撮像装置の位置を認識するように訓練され得る。別の例として、ＶＡＴＳ肺葉切除術を実施するための１つの技術は、単一の医療用撮像装置を利用するが、ＶＡＴＳ区域切除術を実施するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実施するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブに通信可能に連結され得る）を使用するが、これはＶＡＴＳ肺葉切除術では使用されない。医療用撮像装置からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ１０６、２０６は、実施されている特定のタイプの外科的処置及び／又は特定のタイプの外科的処置に使用されている技術を判定することができる。
第９のステップ２５１８で、外科チームは、処置の切開ステップを開始する。外科用ハブ１０６、２０６は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して動員するプロセスにあると推定することができる。外科用ハブ１０６、２０６は、受信されたデータを外科的処置の読み出しされたステップと相互参照して、過程のこの時点（すなわち、上述された処置のステップが完了した後）で発射されているエネルギー器具が、切開ステップに対応していると判定することができる。特定の例では、エネルギー器具は、ロボット外科システムのロボットアームに装着されたエネルギーツールであり得る。
第１０のステップ２５２０で、外科チームは、処置の結紮ステップに進む。外科用ハブ１０６、２０６は、外科用ステープル留め及び切断器具から、その器具が発射されていることを示すデータを受信するので、外科医が現在、動脈及び静脈を結紮していると推定することができる。前ステップと同様に、外科用ハブ１０６、２０６は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内のステップと相互参照することによって、この推定を導出することができる。特定の例では、外科用器具は、ロボット外科システムのロボットアームに装着された外科用ツールであり得る。
第１１のステップ２５２２では、処置の区域切除部分が実施される。外科用ハブ１０６、２０６は、そのカートリッジからのデータを含む、外科用ステープル留め及び切断器具からのデータに基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されるステープルのサイズ又はタイプに対応することができる。異なるタイプのステープルが異なるタイプの組織に利用されるため、カートリッジのデータは、ステープル留め及び／又は横切開されている組織のタイプを示すことができる。この場合、発射されるステープルのタイプは実質組織（又は他の同様の組織タイプ）に用いられ、これにより、外科用ハブ１０６、２０６は、処置の区域切除部分が実施されていると推定することができる。
続いて第１２のステップ２５２４で、ノード切開ステップが実施される。外科用ハブ１０６、２０６は、ＲＦ又は超音波器具が発射されていることを示す発生器から受信したデータに基づいて、外科チームがノードを切開し、漏れ試験を実施していると推定することができる。この特定の処置の場合、実質組織が横切開された後に用いられるＲＦ又は超音波器具は、ノード切開ステップに対応しており、それにより、外科用ハブ１０６、２０６が上記の推定を行うことが可能となる。異なる器具が特定の作業に対してより良好に適合するため、外科医は、処置中の特定のステップに応じて、定期的に外科用ステープル留め／切断器具と外科用エネルギー（すなわち、ＲＦ又は超音波）器具とを、交互に切り替えることに留意されたい。したがって、ステープル留め／切断器具及び外科用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどのステップを実施中であるかを示すことができる。更に、特定の例では、外科的処置中の１つ以上のステップにロボットツールを使用することができ、かつ／又は外科的処置中の１つ以上のステップにハンドヘルド式外科用器具を使用することができる。外科医（単数又は複数）は、例えば、ロボットツールとハンドヘルド式外科用器具とを交互に使用することができ、かつ／又は装置を同時に使用することができる。第１２のステップ２５２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
第１３のステップ２５２６では、患者を麻酔から覚醒させる作業が行われる。外科用ハブ１０６、２０６は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。
最後に、第１４のステップ２５２８は、医療関係者が患者から様々な患者モニタリング装置を除去することである。したがって、外科用ハブ２１０６、２２３６は、ハブがＥＫＧ、ＢＰ及び患者モニタリング装置からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明から分かるように、外科用ハブ２１０６、２２３６と通信可能に連結された各種データソースから受信されたデータに基づいて、外科用ハブ２１０６、２２３６は、所与の外科的処置の各ステップがいつ行われているかを判定又は推定することができる。
状況認識は、その全体が参照により本明細書に組み込まれる、本開示において参照により本明細書に組み込まれる様々な米国特許出願に更に記載されている。特定の例では、例えば本明細書で開示される様々なロボット外科用システムを含むロボット外科用システムの動作は、その状況認識及び／若しくはその構成要素からのフィードバックに基づいて、並びに／又はクラウド２１０４（図１７）からの情報に基づいて、ハブ２１０６、２２３６によって制御されてもよい。
融合画像を利用する撮像システム
外科医が撮像システム１４２（図２）に依存する外科的処置に固有の問題の１つは、撮像システム１４２が手術部位を可視化する能力、ひいては外科医が処置に必要な外科タスクを実行する能力に悪影響を与える、カメラ１４４（図２）に対する障害物である。障害物としては、例えば、カメラ１４４のレンズ上、体腔の表面上、若しくはそうでなければ手術部位に存在する流体（例えば、血液）、電気外科用器具によって発生した煙若しくは体腔内に存在する他のエアロゾル、及び／又は標的組織若しくは構造に重なる組織若しくは他の構造を挙げることができる。外科用システムは、カメラ１４４のＦＯＶのサブ領域のマルチスペクトル撮像、カメラ１４４によって取り込まれた以前の画像フレームのサブ領域の補間、取り込まれた画像の比較マルチスペクトル解析などを含む、障害を補償するための様々な撮像技術を利用するように構成することができる。
１つの全般的な態様では、本開示は、様々な障害物（例えば、外科煙）による可視化の障害を最小限に抑えるために、撮像システム１４２ａマルチスペクトル光源を介してサンプリングレートで取り込まれた画像のセグメントを利用するように構成された外科用システムに関する。一態様では、外科用システムは、障害物によって引き起こされる画像干渉を最小限に抑えるために、ハイパースペクトル撮像を可視光撮像と組み合わせるように構成することができる。外科用システムは、例えば、ＥＭＲの別個の波長又は波長範囲を利用することによって、外科用器具、手術部位、又は周囲の下地又は遮られた部分の態様を検出するように構成され得る。例えば、外科用システムは、ＥＭＲの別個の波長を送信するために連続走査装置からのフレームを利用することができ、可視光スペクトルの内部及び外部の両方を走査するように構成されたハイパースペクトル撮像装置、又は第１の若しくは一次撮像システムとは異なる長さでＥＭＲを放射するように構成された第２の撮像システムを含むことができる。したがって、外科用システムは、ユーザに手術部位の完全に可視化された遮られていない画像を提供するために、特定の波長又は波長のセットで画像フレームの遮られた部分を識別するように、及び遮られた画像部分の部分を他のＥＭＲ波長で取得された画像フレームの遮られていない画像部分で補間又は置換するように構成することができる。
ハイパースペクトル撮像装置を含む撮像システムを利用する態様では、ハイパースペクトル撮像装置は、放射されたスキャンの一部が近赤外線又はＵＶレーザ源からのＥＭＲを含むことを可能にする、特定の速度（例えば、毎秒２４０フレーム）で走査することができる。これらの波長でのＥＭＲは、可視光と同じように外科煙、流体などの障害物に影響されないため、ハイパースペクトル撮像装置を利用して、ハイパースペクトル画像と対応する可視光画像の両方に存在する形状、輪郭、又は特徴の画像を取得することができる。次いで、図２に示される制御システム１３３などの外科用システムの制御システムは、対応する検出されたハイパースペクトル特徴又は画像部分で可視光を利用して得られた画像の遮られた部分を置換して、外科医のための可視化を完了するように構成され得る。別の例として、撮像システムは、調整可能なＥＭＲ源（例えば、スペクトル光源１５０）を含むことができ、調整可能なＥＭＲ源は、外科的処置中に水又は含水流体による遮蔽が特に起こりやすいため、水によるＥＭＲの吸収が最小になる波長又は波長のセット（例えば、可視青色－緑色波長範囲内）でＥＭＲを放射するように制御システム１３３によって制御可能である。別の例として、外科用システムは、第１の一次撮像システム（例えば、図２に示される撮像システム１４２）に加えて、第２の撮像システムを更に含むことができる。この例では、第１の撮像システム１４２は、可視又は近可視ＥＭＲスペクトルの撮像のために構成することができ、第２の撮像システムは、異なる波長スペクトル（例えば、長波ＩＲ（ＬＷＩＲ））の撮像のために構成され得る。したがって、第２の撮像システムは、第１の撮像システムが遮られているときに、必要に応じて外科用システムによって作動又は別の方法で利用され得る。これらの様々な態様では、外科用システムは、（例えば、画像センサ１３５又は他の走査アレイから障害物を除去するために）カメラ１４４に必要な洗浄の量を最小化し、カメラ１４４と手術野との間の障害物（例えば、外科煙又は送気ガス）に起因する手術野の一時的な視界の喪失を防止する。
特定の例では、撮像又は可視化システムは、ハイパースペクトル撮像装置を含むものとして、又はハイパースペクトル撮像技術を利用するものとして説明される。しかしながら、ハイパースペクトル撮像は、１つの特定のタイプのマルチスペクトル撮像であることに留意されたい。ハイパースペクトル撮像では、波長「ビン」は連続的であるため、ハイパースペクトル撮像技術はＥＭＲスペクトル全体を利用する。逆に、マルチスペクトルは、「ビン」が分離されることを意味し得る。言い換えれば、マルチスペクトル撮像システムは、ＥＭＲスペクトルの例えば、可視、中間波ＩＲ（ＭＷＩＲ）、及びＬＷＩＲ部分内のＥＭＲを感知することができる（例えば、ＥＭＲスペクトルの近赤外線（ＮＩＲ）部分内、及び／又はＭＷＩＲ部分とＬＷＩＲ部分との間にマルチスペクトル撮像システムが感知しないギャップがあり得る）。本明細書に記載の撮像又は可視化システム及び方法は、ハイパースペクトル撮像を説明する例を含む、任意の特定の例に限定されると解釈されるべきではない。実際、撮像又は可視化システム及び方法は、任意のマルチスペクトル撮像装置及び技術を広く利用することができる。
前述のシステム及び方法の理解を助けるために、様々な例が、ビデオ支援胸腔鏡手術（ＶＡＴＳ）手順の文脈内で説明される。ただしこれは単に例示目的のためであり、記載されたシステム及び方法は他の状況及び／又は外科的処置に適用可能であることを理解されたい。ＶＡＴＳ手順は、１つ以上の外科用器具及び１つ以上の胸腔鏡（すなわち、カメラ）が患者の肋骨間に位置付けられたスリットを通して患者の胸腔内に挿入される外科的処置である。カメラを利用して、患者の胸腔の内部の視野を外科医に提供して、外科医が外科用器具を適切に位置決め／移動させ、胸腔内の組織／構造を操作することを可能にする。したがって、図２２は、本開示の少なくとも１つの態様による、肺３０１０に対する外科的処置の実行中の外科用システム３０００の図である。ビデオ支援外科的処置を実行するための外科用システム３０００は、撮像装置３００２、把持器３００４、電気外科用器具３００６、又は別の外科用器具、及び排煙器３００８を含む、様々な異なる外科用装置を含むことができる。更に、外科用システム３０００は、外科用ハブ２１０６、２２３６（図１７～図１９）、可視化システム２１０８（図１７～図１９）、又は撮像システム１４２（図２）、制御システム１３３（図２）、ロボットシステム２１１０（図１７～図１９）、及び本明細書に記載の任意の他のシステム又は装置を含むか、又はそれらに結合することができる。撮像装置３００２は、カメラ１４４（図２）、スペクトル光源１５０（図２）、構造光源１５２（図２）、本明細書に記載の任意の他の撮像エミッタ又はレシーバ、又はそれらの組み合わせを含むことができる。撮像装置３００２は、ＦＯＶ３０２０内の手術部位の画像又はビデオを取り込み、ユーザ（例えば、外科医）が見るための表示画面（例えば、図２のようなディスプレイ１４６）に提供するように構成することができる。撮像装置３００２は、ＥＭＲスペクトルの可視光部分内又は外側のＥＭＲを感知するように、及びそれによって裸眼で可視又は不可視のいずれかである組織及び／又は構造を可視化するように構成することができる。撮像装置３００２に関連付けられた撮像システム１４２によって提供される可視化に基づいて、外科医は次いで、外科的処置を実行するために組織及び／又は構造を操作するために外科用装置を制御することができる。
外科的処置中、外科煙雲３０１４又は他のエアロゾル、流体、ガス、組織、構造などの様々な遮るものは、撮像装置３００２のＦＯＶ３０２０を横切って移動することがあり、それによって、撮像システム１３２が外科的処置部位を完全に可視化できることを防止することがあり、これは次に、外科医が処置を実行する能力に悪影響を与えることがある。多くの外科用システム３０００は、外科煙雲３０１４、他のエアロゾル、及び手術中の体腔からのガスを除去するための排煙器３００８を含む。しかしながら、排煙器３００８は、全ての遮るものを除去するのに十分ではあり得ず、又は外科医が手術部位を適切に可視化することができない遮るものの除去に関連する遅延があり得る。したがって、遮るものの存在を補償し、それらの遮るものを通して手術部位の可視化を可能にするための、システム及び方法が必要である。
一態様では、図２に示される撮像システム１４２などの撮像システムは、ハイパースペクトル撮像及び画像融合技術を利用して、遮るものを通した可視化を可能にするように構成され得る。例えば、図２３は、複数の遮るものに面する撮像装置３００２の図である。この例では、外科的処置の標的は、表面下腫瘍３０３８である。しかしながら、実際に腫瘍３０３８を可視化するために、撮像装置３００２は、撮像装置３００２のレンズ上に存在する流体３０３０、体腔内に存在する外科煙３０３２、組織３０３６の表面上の血液３０３４、組織３０３６自体、及び組織３０３６全体に位置する構造３０４０を含む、いくつかの異なる遮るものを補償する必要がある。一態様では、撮像装置３００２は、波長スペクトルにわたってＥＭＲを感知するように構成されたハイパースペクトル撮像装置であり得る。ＥＭＲは、異なる波長で様々な物体と異なるように相互作用する。特に、ＥＭＲの特定の波長は、特定の波長又は波長範囲において特定の遮るものによって吸収され得ない。したがって、ＥＭＲスペクトルの複数の部分におけるＥＭＲを感知することにより、撮像システム１４２は、遮るものによって吸収されない波長におけるＥＭＲを感知することによって、遮るものを通して可視化することができる。更に、撮像装置３００２によって感知された波長は、典型的な又は予想される遮るものと非相互作用的（又は実質的に非相互作用的）な波長を感知するように選択することができる。図示の例では、撮像装置３００２は、ＥＭＲスペクトルの可視光、ＭＷＩＲ、及びＬＷＩＲ部分内のＥＭＲを感知するように構成され得る。
一態様では、制御システムは、マルチスペクトル（例えば、ハイパースペクトル）撮像を利用して、ＥＭＲスペクトルの複数の部分で手術部位を可視化し、その後、１つの波長範囲で取り込まれた画像の遮られた部分を、遮るものによって吸収されない波長範囲の別の部分で取り込まれた画像の対応する部分に置き換えることによって、遮るものを含まない可視化をユーザに提供するように構成することができる。そのようなアルゴリズムの一例が図２４に示されており、これは、マルチスペクトルＥＭＲ源を利用して融合画像を生成するためのプロセス３０５０の論理フロー図である。プロセス３０５０の以下の説明では、図２及び図２３もまた参照されたい。プロセス３０５０は、制御回路１３２によって実行されるとき、制御回路１３２にプロセス３０５０の列挙されたステップを実行させる、制御回路１３２に結合されたメモリ１３４に記憶された、例えば命令として具現化することができる。簡潔にするために、プロセス３０５０は、制御回路１３２によって実行されるものとして説明されるが、プロセス３０５０は、ハードウェア、ソフトウェア、及び／又はファームウェアの他の組み合わせによって実行することができることを理解されたい。
したがって、プロセス３０５０を実行する制御回路１３２は、撮像システム１４２に、手術部位からの第１の波長範囲（例えば、可視光）における（例えば、撮像装置３００２を介して）ＥＭＲを感知させ３０５２、次いでそこから対応する第１の画像を生成させる３０５４ことができる。それに対応して、制御回路１３２は、撮像システム１４２に、手術部位からの第２の波長範囲（例えば、ＭＷＩＲ又はＬＷＩＲ）における（例えば、撮像装置３００２を介して）ＥＭＲを感知させ３０５６、次いでそこから対応する第２の画像を生成させる３０５８ことができる。
したがって、制御回路１３２は、第１の画像が少なくとも部分的に遮られているかどうかを判定する３０６０ことができる。制御回路１３２は、物体認識及び他のコンピュータビジョン技術を利用して障害物を検出することによって、この判定を行うように構成することができる。第１の画像が少なくとも部分的に遮られていない場合、プロセス３０５０は、いいえ分岐に沿って進み、制御回路１３２は、上述のように、感知３０５２、３０５４ＥＭＲ、及び対応する画像の生成３０５４、３０５８を行うことができる。第１の画像が少なくとも部分的に遮られる（すなわち、画像内に障害物が存在する）場合、プロセス３０５０は、はい分岐に沿って進み、制御回路１３２は、第１の画像の遮られた部分を第２の画像の対応する部分と置き換えることによって第３の画像を生成する３０６２ことができる。第２の波長範囲が遮るものによって吸収されないように選択された場合、第２の画像の対応する部分は遮られないものとなる。したがって、第３の画像は、外科医が見るための手術部位の遮るもののない可視化を提供するものとなる。
簡潔にするために、プロセス３０５０は、２つの異なる波長範囲で取り込まれた２つの画像を生成及び組み合わせる文脈で説明されるが、撮像システム１４２は、任意の数の波長範囲で画像を感知及び生成するように構成することができる。図２３は、例えば、少なくとも３つの異なるＥＭＲ波長範囲からの画像データを組み合わせて得られた画像を生成する実装形態を示す。図示の第１の画像３０４２ａ、第２の画像３０４２ｂ、第３の画像３０４２ｃ、及び第４の画像３０４２ｄの各々は、対応するＥＭＲ波長範囲で手術部位を集合的に可視化するピクセル３０４３のアレイを含む。この例では、第１の画像３０４２ａは、ＥＭＲスペクトルの可視光部分を利用して取り込まれ、第１の遮られていない部分３０４４ａを含み、画像３０４２ａの残りの部分は遮られており、第２の画像３０４２ｂは、ＥＭＲスペクトルのＭＷＩＲ部分を利用して取り込まれ、第２の遮られていない部分３０４４ｂを含み、第３の画像３０４２ｃは、ＥＭＲスペクトルのＬＷＩＲ部分を利用して取り込まれ、第３の遮られていない部分３０４４ｃを含む。制御システム１３３はまた、生成された様々な画像に対して様々な画像処理技術を実行して、それによって提供される可視化を改善するように構成することができる。例えば、第４の画像３０４２ｄはまた、ＥＭＲスペクトルの可視光部分を利用して取り込まれ、したがって、第１の画像３０４２ａに対応することができるが、流体（水）が遮った部分３０４４ｄを識別するための追加の画像処理を含む。したがって、第１の画像３０４２ａの対応する部分は、障害物を除去するために、対応する波長又は波長範囲（例えば、可視光スペクトルの青色－緑色部分）でフィルタリングすることができる。したがって、プロセス３０５０を実行する制御回路１３２は、前述の初期画像３０４２ａ、３０４２ｂ、３０４２ｃ、３０４２ｄから組み合わせ又は融合画像３０７０を生成するように構成することができる。融合画像３０７０は、ＥＭＲスペクトルの可視光部分から生成された第１の画像３０４２ａの遮られていない部分３０４４ａに対応する第１の部分３０７２と、ＥＭＲスペクトルのＭＷＩＲ部分から生成された第２の画像３０４２ｂの遮られていない部分３０４４ｂに対応する第２の部分３０７４と、ＥＭＲスペクトルのＬＷＩＲ部分から生成された第３の画像３０４２ｃの遮られていない部分３０４４ｃに対応する第３の部分３０７６と、ＥＭＲスペクトルの可視光部分から生成された画像の遮られている部分３０４４ｄに対応するが、可視光スペクトルの青色－緑色部分を除去するために後処理された第４の部分３０７８と、を含むことができる。前述の画像部分３０７２、３０７４、３０７６、３０７８の各々は、制御システム１３３によって一緒に融合されて、腫瘍３０３８及び任意の他の関連する構造３０４０の遮られていない可視化を提供する融合画像３０７０を生成することができる。
手術部位に存在する遮るものを補償するために利用することができる別の技術は、サブ領域補間を撮像することであり、それによって、遮られている、損傷している、又は他の方法で干渉されている画像の部分は、同期画像セットからの画像の対応する部分によって置き換えることができる。例えば、外科制御システムは、複数の画像フレームを使用することによってユーザに提供される可視化の質を強化するために、ラッキー領域融合（ＬＲＦ）技術を利用することができる。一態様では、制御システムは、画像の遮られた部分を以前に取り込まれた画像の遮られていない部分に置き換えることによって、遮るものを含まない可視化をユーザに提供するように構成することができる。そのようなアルゴリズムの一例が図２６に示されており、これは、複数の画像フレームを利用して融合画像を生成するためのプロセス３１００の論理フロー図である。プロセス３１００の以下の説明では、図２及び図２７～図２９もまた参照されたい。プロセス３１００は、制御回路１３２によって実行されるとき、制御回路１３２にプロセス３１００の列挙されたステップを実行させる、制御回路１３２に結合されたメモリ１３４に記憶された、例えば命令として具現化することができる。簡潔にするために、プロセス３１００は、制御回路１３２によって実行されるものとして説明されるが、プロセス３１００は、ハードウェア、ソフトウェア、及び／又はファームウェアの他の組み合わせによって実行することができることを理解されたい。
したがって、プロセス３１００を実行する制御回路１３２は、上述したように、（例えば、撮像システム１４２を介して）手術部位の画像を生成（３１０２）し、次いで、画像が少なくとも部分的に遮られているかどうかを判定（３１０４）することができる。例えば、図２７は、撮像システム１４２によって取り込まれた一連３１５０のｎ個の画像フレーム３１６０の図である。ｎ番目の画像フレーム３１６０は、最後に取り込まれた画像フレーム３１６０とすることができ、（ｎ－１）番目の画像フレーム３１６０は、その直前に取り込まれた画像フレーム３１６０とすることができ、以下同様である。画像フレーム３１６０の各々は、例えば、画像センサ１３５のピクセル又はセルに対応してもしなくてもよいいくつかのピクセル３１５１を含む。図２７に見られるように、画像フレーム３１６０は、遮られていない部分３１６２及び遮られた部分３１６４を含むことができる。具体的には、ｎ番目の画像フレーム３１６０を評価する際に、プロセス３１００を実行する制御回路１２３は、ｎ番目の画像フレーム３１６０がピクセル３１５１の遮られた部分３１６４を含むため、少なくとも部分的に遮られていると判定する。
制御回路１３２が、画像が少なくとも部分的に遮られていないと判定３１０４した場合、プロセス３１００はいいえ分岐に沿って進み、制御回路１３２は、上述したように、撮像システム１４２に、手術部位の可視化のための画像の生成（すなわち、手術部位の可視化）を継続させることができる。制御回路１３２が、（例えば、ｎ番目の画像フレーム３１６０に示すように）画像が少なくとも部分的に構成されていると判定３１０４した場合、プロセスははい分岐に沿って進み、制御回路１３２は、画像セット３１５０から以前の画像を取り出す３１０６ことができる。一態様では、制御回路１３２が第１の画像の遮られた部分を置き換える対応する遮られていない画像部分を配置するまで、制御回路１３２は、画像セット３１５０から１つ以上の以前の画像を連続的に取り出す３１０６ことができる。
したがって、制御回路１３２は、元画像と画像セット３１５０から取り出された１つ以上の以前の画像とから更新画像を生成する（３１０８）ことができる。例えば、図２８及び図２９は、複数の連続する画像フレーム３１６０から生成された更新又は融合画像３１５２を示している。この特定の例では、ｎは６０に等しいが、これは単に例示目的のためである。図２８では、各ピクセル３１５１内に示される数は、特定のピクセル３１５１が抽出された画像フレーム３１６０に対応する。見て分かるように、融合画像３１５２は、いくつかの異なる画像フレーム３１６０にわたるピクセル３１５１の組み合わせから生成される。具体的には、図２７に示されるように、画像フレーム３１６０ ５５～６０は、それぞれ順に、（ｎ－５）番目～ｎ番目の画像フレーム３１６０に対応する。したがって、制御回路１３２は、撮像システム１４２によって取り込まれた画像セット３１５０から以前の画像を繰り返し取り出す３１０６ように、及び、取り出された画像内で遮られていないが連続する画像内で遮られているピクセル３１５１に対応するピクセル３１５１などの画像部分を抽出するように構成することができる。制御回路１３２は、画像セット３１５０からの画像部分の完全に又は実質的に遮られていない集合が取り出され、次いで画像部分を一緒に融合して、更新された画像を生成する３１０８まで、このプロセスを繰り返すことができる。この技術を使用して生成された結果として生じる融合画像３１５２が図２９に示されており、腫瘍３０３８及び血管などの構造３１４０が、最初の部分的に遮られた画像からユーザに対して可視化される方法を示している。
手術部位に存在する遮るものを補償するために利用することができる別の技術は、同期された撮像装置のセットの比較分析を実行することである。制御システム１３３は、複数の同期された撮像装置によって生成された複数の画像部分をインターレースして、融合画像を生成するように構成され得る。特に、第１又は一次撮像システム（例えば、図２に示す撮像システム１４２）によって生成された画像の一部は、二次撮像システムによって生成された画像の対応する部分で置き換えることができる。特に、撮像システムのセットは、それらの走査に時間インデックスを付けるように構成することができる。第１の撮像システムによって生成された第１の走査の遮られた、破損した、不明確な、又は他の方法で干渉された部分は、第２の撮像システムによって生成された第２の走査（第１の走査に従って時間インデックス付けされた）のより明確な及び／又は検証された部分と置き換えることができる。画像データが、第１の撮像システムによって生成された一次動的データセットの撮像において欠落している、破損している、又は遮られている場合、別の撮像システム（別の波長又は波長範囲でも感知することができる）からの二次走査が、一次画像を鮮明化、置き換え、又は補間して、ユーザのための手術部位の可視化を改善するために、制御システム１３３によって利用され得る。
複数の感知されたパラメータに基づく外科用システム制御
任意の外科的処置及び外科用器具に固有の１つの課題は、所与の患者及び／又は組織状態に理想的な方法で外科用器具を制御することである。そのために、いくつかの外科用器具は、外科用器具及び／又は外科手術器具によって操作されている組織と関連付けられた様々なパラメータを感知するためのセンサを含む。しかしながら、いくつかの感知データは、組織の異なる状態又は状況を示すことがあり、したがって、追加のデータがない場合、確定的ではないことがある。したがって、外科用システムは、撮像システムからのデータを他の感知データと共に組み込んで、多義性を解決し、組織の決定された状態／状況に従って外科用器具を理想的に制御することができる。
１つの全般的な態様では、本開示は、外科用器具によって作用されている組織の異なる状態を区別するために、関連するが同一ではないデータソースの２つのソースを利用するように構成された制御システムに関する。そのような状態は、例えば、組織内の流体流及び組織上の外科用器具によって方向付けられたエネルギーの熱的影響を含む。制御システムは、以下に記載される外科用器具３２９０などの外科用器具を制御するように構成することができる。
図３０は、本開示の少なくとも１つの態様による、様々な機能を制御するように構成された外科用器具３２９０の概略図である。一態様では、外科用器具３２９０は、閉鎖部材３２６４などの変位部材の遠位並進を制御するようにプログラムされる。外科用器具３２９０は、クランプアーム３２６６と、閉鎖部材３２６４と、１つ以上のＲＦ電極３２９６（破線で示される）と交換されるか、又はそれと連動して動作し得る超音波ブレード３２６８と、を含み得るエンドエフェクタ３２９２を含む。超音波ブレード３２６８は、超音波発生器３２７１によって駆動される超音波変換器３２６９に連結されている。
一態様では、センサ３２８８は、とりわけ、リミットスイッチ、電気機械装置、固体スイッチ、ホール効果装置、ＭＲ装置、ＧＭＲ装置、磁力計として実装されてもよい。他の実装形態では、センサ３２８８は、とりわけ光センサ、ＩＲセンサ、紫外線センサなどの光の影響下で動作する固体スイッチであってもよい。更に、スイッチは、トランジスタ（例えば、ＦＥＴ、接合ＦＥＴ、ＭＯＳＦＥＴ、双極など）などの固体装置であってもよい。他の実装形態では、センサ３２８８は、とりわけ、電気導体非含有スイッチ、超音波スイッチ、加速度計及び慣性センサを含んでもよい。
一態様では、位置センサ３２８４は、Ａｕｓｔｒｉａ Ｍｉｃｒｏｓｙｓｔｅｍｓ，ＡＧから入手可能なＡＳ５０５５ＥＱＦＴシングルチップ磁気回転位置センサとして実装される磁気回転絶対位置付けシステムを含む絶対位置付けシステムとして実装されてもよい。位置センサ３２８４は、絶対位置付けシステムを提供するために制御回路３２６０とインターフェース接続されてもよい。位置は、磁石の上方に位置し、加算、減算、ビットシフト及びテーブル参照演算のみを必要とする、双曲線関数及び三角関数を計算する簡潔かつ効率的なアルゴリズムを実装するために設けられ、桁毎法及びボルダーアルゴリズムとしても知られるＣＯＲＤＩＣプロセッサに連結された、複数のホール効果素子を含み得る。
いくつかの例では、位置センサ３２８４は省略されてもよい。モータ３２５４がステッパモータである場合、制御回路３２６０は、モータが実行するように指示されたステップの数及び方向を合計することによって、閉鎖部材３２６４の位置を追跡することができる。位置センサ３２８４は、エンドエフェクタ３２９２内、又は器具の任意の他の部分に位置してもよい。
制御回路３２６０は、１つ以上のセンサ３２８８と通信することができる。センサ３２８８は、エンドエフェクタ３２９２上に位置付けられ、外科用器具３２９０と共に動作して、間隙距離対時間、組織圧縮対時間及びアンビル歪み対時間などの様々な導出パラメータを測定するように適合されてもよい。センサ３２８８は、磁気センサ、磁界センサ、歪みゲージ、圧力センサ、力センサ、渦電流センサなどの誘導センサ、抵抗センサ、容量性センサ、光センサ、及び／又はエンドエフェクタ３２９２の１つ以上のパラメータを測定するためのいずれかの他の好適なセンサを含んでもよい。センサ３２８８は、１つ以上のセンサを含んでもよい。
ＲＦエネルギー源３２９４は、エンドエフェクタ３２９２に連結され、ＲＦ電極３２９６が超音波ブレード３２６８の代わりにエンドエフェクタ３２９２内に提供されるとき、又は超音波ブレード３２６８と連動して動作するように提供されるとき、ＲＦ電極３２９６に印加される。例えば、超音波ブレードは、導電性金属で作製され、電気外科用ＲＦ電流のリターンパスとして使用されてもよい。制御回路３２６０は、ＲＦ電極３２９６へのＲＦエネルギーの送達を制御する。
追加の詳細は、その全体が参照により本明細書に組み込まれる、２０１７年６月２８日出願の「ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ ＣＯＵＰＬＡＢＬＥ ＷＩＴＨ ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＡＮＤ ＲＡＤＩＯ ＦＲＥＱＵＥＮＣＹ ＣＡＲＴＲＩＤＧＥ，ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＳＡＭＥ」と題する米国特許出願第１５／６３６，０９６号に開示されている。
様々な態様では、外科用器具３２９０のセンサ３２８８は、組織の静電容量又はインピーダンスなど、外科用器具３２９０によって作用された組織に関連付けられた様々な電気的パラメータを検出又は測定するように構成されたセンサを含むことができる。様々な態様では、センサ３２８８はまた、温度、粘弾性圧縮（例えば、組織クリープ、安定までの時間、又は初期負荷の速度）、又は厚さ（例えば、ジョーと組織との最初の接触時に検出され得る）などの、外科用器具３２９０によって作用された組織に関連付けられた様々な物理的パラメータを検出又は測定するように構成されたセンサを含むことができる。更に、図２に示す制御システム１３３の画像センサ１３５は、上記の様々な技術を使用して撮像システム１４２によって放射されたＥＭＲに基づいて、様々な組織パラメータを検出又は測定するために利用され得る。例えば、画像センサ１３５は、様々な波長での組織の屈折率、組織によって反射されたＥＭＲ／光の偏光、組織による受動的ＩＲ放射、又は組織に関連付けられたドップラー波長シフトを検出するように構成することができる。これらの撮像ベースのパラメータのいずれも、個々にパラメータを介して直接確認できない組織の状態又は状況を確認するために、他の感知されたパラメータ（例えば、電気的又は物理的パラメータ）と併せて利用され得る。
一態様では、制御システムは、外科用器具によって作用される組織の状態又は状況に基づいて、外科用システムに関連付けられた１つ以上の動作パラメータを制御するように構成され得、このパラメータは、撮像システム及び他のセンサによって感知されたパラメータに基づいて決定され得る。そのようなアルゴリズムの一例が図３１に示されており、これは、感知されたパラメータに従って外科用システムを制御するためのプロセス３３００の論理フロー図である。プロセス３３００の以下の説明では、図２及び図３０もまた参照されたい。プロセス３３００は、制御回路１３２によって実行されるとき、制御回路１３２にプロセス３３００の列挙されたステップを実行させる、制御回路１３２に結合されたメモリ１３４に記憶された、例えば命令として具現化することができる。簡潔にするために、プロセス３３００は、制御回路１３２によって実行されるものとして説明されるが、プロセス３３００は、ハードウェア、ソフトウェア、及び／又はファームウェアの他の組み合わせによって実行することができることを理解されたい。
したがって、プロセス３３００を実行する制御回路１３２は、撮像システム１４２を介して第１の組織パラメータの測定値を受信する３３０２ことができる。前述のように、第１の組織パラメータは、例えば、様々な波長での組織の屈折率、組織によって反射された光の偏光、組織による受動的ＩＲ放射、又は組織に関連付けられたドップラー波長シフトを含むことができる。
したがって、制御回路１３２は、センサ７８８を介して第２の組織パラメータの測定値を受信する３３０４ことができる。前述のように、第２の組織パラメータは、例えば、組織の温度、粘弾性圧縮、又は厚さなどの組織の様々な電気的及び／又は物理的特性を含み得る。
したがって、制御回路１３２は、受信３３０２、３３０４した組織パラメータの測定値の組み合わせに基づいて組織の状態又は状況を判定（３３０６）し、次いで、それに応じて外科用器具３２９０を制御する（３３０８）ことができる。組織の様々な電気的及び／又は物理的特性の同じ測定値は、組織の異なる状態を示すことがあり、これは次に、外科用器具３２９０に適用される異なる制御調整を必要とすることがある。追加情報又は補足情報がない場合、制御システム１３３は、組織の様々な電気的及び／又は物理的特性の測定値に基づいて、組織状態が曖昧である状況において、組織の所与の状態に対して外科手術器具３２９０を正しく制御し得ない。したがって、本明細書に記載の制御システムは、組織の状態又は状況を正確に確認し、次いで、適切に外科用器具３２９０を制御するために、撮像システム１４２を介して感知された組織パラメータを用いて、センサ３２８８によって感知された電気的及び／又は物理的特性を補足する。例えば、外科用器具３２９０のエンドエフェクタ３２９２に局在する組織温度（すなわち、プロセス３３００中に受信された第２の組織パラメータ３３０４）の上昇の検出に応答して、外科用器具３２９０を制御する様々な方法が適切であり得る。制御システム１３３が、組織の偏光又は屈折率の対応する変化（すなわち、プロセス３３００中に受信された第１の組織パラメータ３３０２）を検出する場合、制御回路１３２は、組織が付随的な熱損傷を受けていると判定３３０６し、外科用器具３２９０を制御３３０８して器具電力レベルを低下させるか、又はユーザに器具電力レベルを低下させる提案を提供することができる。逆に、組織の偏光又は屈折率の対応する変化が検出されない場合、制御回路１３２は、組織が付随的な熱損傷を受けていないと判定（３３０６）し、外科用器具３２９０を制御（３３０８）して器具電力レベルを維持若しくは上昇させるか、又はこの効果に対して提案を提供することができる。別の例として、外科用器具３２９０のエンドエフェクタ３２９２によって把持された組織の組織インピーダンス（すなわち、プロセス３３００中に受信された第２の組織パラメータ３３０４）の検出に応答して、外科用器具３２９０を制御する様々な方法が適切であり得る。撮像システム１４２が組織の動き、クリープ、又は圧縮（すなわち、プロセス３３００中に受信された第１の組織パラメータ３３０２）を可視化している間に、制御システム１３３が組織インピーダンスの変化を検出しない場合、制御回路１３２は、把持された組織に表面下の不規則性があると判定する（３３０６）ことができる。
本明細書に記載の制御システム１３３は、例えば、外科用器具３２９０、外科用器具３２９０が通信可能に結合可能である外科用ハブ２２３６（図２１）（例えば、図２１に示すようなエネルギー装置３２４１）、又はそれらの組み合わせ（例えば、分散処理プロトコルを使用する）で実装又は実行することができる。制御システムが外科用器具３２９０の構成要素として具現化されるとき、撮像データは、撮像システム１４２から直接、又は撮像システム１４２に次に結合された外科用ハブ２１０６、２２３６（図１７～図１９）を介してのいずれかで受信することができる。制御システム１３３が外科用ハブ２１０６、２２３６の構成要素として具現化されるとき、撮像データは、外科用ハブ２１０６、２２３６に結合された撮像システム１４２から受信され得、外科用器具センサデータは、外科用ハブ２１０６、２２３６に結合された外科用器具３２９０から受信され得、次いで、外科用ハブ２１０６、２２３６の制御システム１３３は、適切な外科用器具制御調整を決定し、それによって実行するために外科用器具３２９０に送信することができる。
撮像アーチファクトを補償するための適応光学系
一態様では、図２に関連して説明される制御システム１３３などの制御システムは、それに結合された撮像システム１４２に関連付けられた画像化アーチファクトを補償するように構成され得る。一態様では、制御システム１３３は、可視化から光学微粒子障害物を除去するために、６０Ｈｚを超えるサンプルレート内での選択的撮像セグメント選択と組み合わせて、複数の光波長にわたって撮像システム１４２によって受信された光信号を調整するように構成され得る。一態様では、制御システム１３３は、（例えば、撮像システム１４２を介して）投影された制御ビームを放射するように、及びそれに対応して、（例えば、画像センサ１３５の）走査アレイの分離されたフレーム上の戻り信号をモニタリングして、体腔を占めるガス内の微粒子によるＥＭＲ／光の歪みを決定するように構成され得る。その投影源からの制御投影の分散は、制御システム１３３に、走査の後の部分でスコープ可視化フレームを調整するためのベースラインを与える。
浮遊微粒子特性に基づく外科用システム制御
電気外科用器具を使用する外科的処置に固有の１つの課題は、器具によって発生する煙である。外科煙には有毒ガス及び蒸気、死細胞及び生細胞材料、血液画分、及びウイルスを含むバイオエアロゾル、並びに変異原性及び発癌性化合物が含まれる場合がある。したがって、これらの微粒子を手術部位から除去することが非常に望ましく、したがって、排煙器は、概して、外科煙の生成をもたらす外科的処置において利用される。しかしながら、異なる微粒子タイプは、外科的処置中の煙の発生を正確に制御して軽減するために異なるタイプの制御調整を必要とすることがあるため、発生している微粒子のタイプに応じて、排煙器及び他の外科用装置（外科用器具を含む）を制御することが望ましい。外科用システムは、例えば、外科用器具エネルギープロファイルを変更して、生成される煙がより少なくなるようにし、及び／又は生成される微粒子のタイプに従って排煙器を自動的に制御することができる。
１つの全般的な態様では、本開示は、撮像システムによって放射された光の偏光のレベルを検出して、微粒子雲のパラメータを決定するように、及びリンクされたシステム又は装置の制御パラメータをそれに応じて調整するように構成された制御システムに関する。１つの更なる態様では、検出された微粒子から反射されたＥＭＲの偏光は、生成された微粒子のベクトル化及び量と組み合わせて利用されて、微粒子の供給源を決定することができ、これは次に、手術部位での可視化を改善するために微粒子の発生を引き起こす装置を制御するために利用することができる。更なる一態様では、検出された微粒子から反射されたＥＭＲの偏光を利用して、電気手術器具又は排煙器の制御パラメータを調整することが、手術部位での可視化を改善する際により効果的であるかどうかを判定することができる。
図３２は、本開示の少なくとも１つの態様による、異なる微粒子タイプを検出するための偏光ＥＭＲ源３５００の図である。偏光ＥＭＲ源３５００は、ＥＭＲ３５０６を放射するように構成されたエミッタ３５０２と、放射されたＥＭＲ３５０６を偏光するように構成された偏光フィルタ３５０４と、を含むことができる。偏光フィルタ３５０４は、エミッタ３５０２に取り外し可能に固定可能であるか、又は一体的に取り付けられ得る。偏光ＥＭＲ源３５００は、例えば、図１に示す外科用可視化システム１００、図２に示す撮像システム１４２、及び／又は図５に示す外科用可視化システム５００を含むことができる撮像システムの構成要素として具現化することができる。それに応じて、エミッタ３５０２は、図１に示すエミッタ１０６、図２に示す構造光源１５２、図２に示すスペクトル光源１５０などを含むことができる。次に、撮像システムは、外科用システムの様々な態様を制御するように構成された制御システムを更に含むことができる、図１に示すロボット外科用システム１１０のような外科用システムの構成要素として具現化することができる。制御システムとしては、例えば、図２に示す制御システム１３３及び／又は図１１に示す制御システム６００を挙げることができる。
外科的処置中、浮遊微粒子が手術部位に存在し得る。これらの微粒子は、自然発生微粒子及び非天然又は合成微粒子の両方を含み得る。自然発生微粒子は、電気外科用器具などの外科用器具と治療される組織との間の相互作用によって生成され得る。自然発生微粒子は、例えば、死細胞及び生細胞材料、血液画分、及び他の生体材料を含み得る。人工又は合成微粒子は、外科スタッフによって手術部位に導入され得る。これらの微粒子は、手術部位内又は手術部位に存在する煙又はエアロゾルとして具現化され得る。概して言えば、そのような微粒子の存在は望ましくない場合があるため、多くの外科用システムは、手術部位から望ましくない煙又はエアロゾルを除去するための排煙器を含む。しかしながら、撮像システムは、手術部位で生成された微粒子（すなわち煙）を検出するように構成することができ、制御システムは、検出された微粒子の特性又は特質に基づいて、外科用システム又はその構成要素の様々な動作パラメータを制御するように構成され得る。そのような制御アルゴリズムのいくつかの例を本明細書で説明する。
図３２に戻って参照すると、上記のように、手術部位での浮遊微粒子は、自然発生微粒子３５１０及び人工微粒子３５１２の両方を含み得る。異なるタイプの微粒子の各々の存在を軽減するために異なる動作が必要とされ得るため、手術部位に存在する異なるタイプの微粒子を区別できることが有益であり得る。例えば、検出された微粒子のタイプが、組織を治療する電気外科用器具から生成され得る自然発生微粒子３５１０である場合、（例えば、エネルギーデューティサイクルを減少させるか、又は別の方法で器具のエネルギー送達プロファイルを変更することによって）自然発生微粒子３５１０の生成を軽減するために電気手術器具を制御することが望ましい場合がある。逆に、検出された微粒子タイプが合成微粒子３５１２である場合、その微粒子タイプは電気外科用器具の動作によって生成されないため、電気外科用器具の制御は合成微粒子３５１２の存在に影響を及ぼさない。代わりに、排煙器の吸引流量を増加させて、合成微粒子３５１２を手術部位から除去することが望ましい場合がある。更に、異なる微粒子タイプの組み合わせが手術部位で検出される場合、電気外科用器具と排煙器とを互いに組み合わせて制御し、装置ごとに制御調整を変えることが望ましい場合がある。したがって、外科用システムの制御システムは、手術部位に存在する異なるタイプの浮遊微粒子を検出するように、及び手術部位から微粒子を軽減又は排除するために、外科用システムの様々な装置又は構成要素を制御するように構成することができる。
一態様では、自然発生微粒子３５１０及び合成微粒子３５１２は、偏光ＥＭＲ３５０６に曝されたときの浮遊微粒子３５１０、３５１２の反射特性に基づいて互いに区別することができる。例えば、制御システム１３３は、外科的処置を受ける身体までの距離を決定し、制御システム１３３が体腔自体からではなくエミッタ３５０２と体腔との間の空気空間内の微粒子から反射されたＥＭＲ３５０６からのみ偏光解消測定値を取得するようにレンジゲートを画定するために、エミッタ３５０２に、偏光の有無にかかわらず複数の異なる波長でコヒーレントＥＭＲをパルス化させるように構成することができる。特に、制御システム１３３は、エミッタ３５０２に、第１の波長及び第２の波長でコヒーレントＥＭＲをパルス化させるように構成することができる。第１の波長は、第１の波長でのＥＭＲが自然発生微粒子３５１０及び合成微粒子３５１２と実質的に非相互作用的であり、したがって煙を透過して体腔から反射され得るように選択することができる。次いで、制御システム１３３は、例えば、図１４～図１６に関連して説明したように、ＥＭＲが放射されたときと反射されたＥＭＲが検出されたときとの間の時間差に従って、飛行時間センサシステム１１０４、１２０４を介して体腔までの距離を決定することができる。第２の波長は、第２の波長でのＥＭＲが自然発生微粒子３５１０及び合成微粒子３５１２と実質的に相互作用的であり、したがって、異なる微粒子タイプに関連付けられた特性を検出又は測定するために利用することができるように選択することができる。したがって、制御システム１３３は、第１の波長でＥＭＲをパルス化することによって決定された体腔距離を利用して、第２の波長でＥＭＲによって受信された測定値をレンジゲートして、浮遊微粒子の測定のみが行われていることを確実にすることができる。次いで、制御システム１３３は、浮遊微粒子３５１０、３５１２の反射特性に基づいて、浮遊微粒子が自然発生微粒子３５１０であるか及び／又は合成微粒子３５１２であるかを決定し、それに応じて外科用システムの他の構成要素を制御することができる。
一態様では、制御システムは、手術部位で検出された浮遊微粒子のタイプに基づいて、外科用システムに関連付けられた１つ以上の動作パラメータを制御するように構成することができる。そのようなアルゴリズムの例が図３３Ａに示されており、これは、検出された微粒子タイプに従って外科用システムを制御するためのプロセス３６００の論理フロー図であり、図３３Ｂは、画定されたレンジゲート内で検出された検出された微粒子タイプに従って外科用システムを制御するためのプロセス３６５０の論理フロー図である。プロセス３６００、３６５０の以下の説明では、図２も参照されたい。プロセス３６００、３６５０は、制御回路１３２によって実行されるとき、制御回路１３２にプロセス３６００、３６５０の列挙されたステップを実行させる、制御回路１３２に結合されたメモリ１３４に記憶された、例えば命令として具現化することができる。簡潔にするために、プロセス３６００、３６５０は、制御回路１３２によって実行されるものとして説明されるが、プロセス３６００、３６５０は、ハードウェア、ソフトウェア、及び／又はファームウェアの他の組み合わせによって実行することができることを理解されたい。
ここで図３３Ａを参照すると、プロセス３６００を実行する制御回路１３２は、撮像システム１４２に、例えば、偏光ＥＭＲ源３５００を介して、手術部位に向けられた偏光ＥＭＲを放射３６０２させることができる。
したがって、制御回路１３２は、手術部位で浮遊微粒子から反射された偏光ＥＭＲを（例えば、体腔内で）受信３６０４し、検出された微粒子タイプが自然発生微粒子３５１０であるか又は人工微粒子３５１２であるかを決定３６０６することができる。制御回路１３２は、偏光ＥＭＲに曝されたときの異なる反射特性により、異なるタイプの浮遊微粒子３５１０、３５１２を区別することができる。特に、浮遊微粒子３５１０、３５１２のタイプのうちの一方（例えば、人工微粒子３５１２）は、他方（例えば、自然発生微粒子３５１０）よりも高いレートで偏光ＥＭＲを散乱させることができる。これは、散乱浮遊微粒子タイプの可視化の程度を減少させるか、又はそうでなければ反射されたＥＭＲが撮像システム１４２の画像センサ１３５によって受信される様式に影響を及ぼす。したがって、異なるタイプの浮遊微粒子３５１０、３５１２の可視化におけるこの違いは、手術部位（例えば、体腔内）に存在する浮遊微粒子３５１０、３５１２のタイプを識別するために特徴付けられ、利用され得る。
したがって、微粒子が自然発生微粒子３５１０である場合、プロセス３６００ははい分岐に沿って進行することができ、制御回路１３２は、外科用システムの制御パラメータを自然発生微粒子３５１０に対応する第１の状態に調整する３６０８ことができる。逆に、微粒子が人工微粒子３５１２である場合、プロセス３６００はいいえ分岐に沿って進行することができ、制御回路１３２は、外科用システムの制御パラメータを人工微粒子３５１２に対応する第２の状態に調整する３６１０ことができる。
別の態様では、体腔内に存在する自然発生微粒子３５１０と人工微粒子３５１２との様々な組み合わせが存在し得る。そのような場合、制御回路１３２は、代わりに、（例えば、視覚化が低減又は影響を受ける相対的な度合いに起因する）体腔内に存在する浮遊微粒子３５１０、３５１２のタイプの相対比を決定し、次いでそれに応じて外科用装置又は外科用装置の組み合わせを制御することができる。
更に別の態様では、制御システムは、偏光ＥＭＲ源３５００に基づいて測定値及び／又は可視化をレンジゲートするように構成され得る。そのような態様は、図３３Ｂに示すプロセス３６５０によって具現化することができる。
したがって、プロセス３６５０を実行する制御回路１３２は、撮像システム１４２に、例えば、構造光源１５２及び／又はスペクトル光源１５０を介して、手術部位に向けられた第１の波長でＥＭＲを放射させる３６５２ことができる。一態様では、第１の波長は、撮像システム１４２によって撮像される自然発生微粒子３５１０及び合成微粒子３５１２と実質的に非相互作用的な波長であり得る。
したがって、制御回路１３２は、撮像システム１４２を介して、体腔（すなわち、手術部位）から反射されたＥＭＲを受信３６５４し、上述のように、撮像システム１４２のエミッタと体腔表面との間の空間に対応するレンジゲートを画定３６５６する。
したがって、制御回路１３２は、撮像システム１４２に、例えば、偏光ＥＭＲ源３５００を介して、手術部位に向けられた第２の波長で偏光ＥＭＲを放射３６５８させることができる。一態様では、第２の波長は、撮像システム１４２によって撮像される自然発生微粒子３５１０及び合成微粒子３５１２と実質的に相互作用的な波長であり得る。
したがって、制御回路１３２は、撮像システム１４２を介して、撮像システム１４２のエミッタと体腔表面との間に位置する浮遊微粒子３５１０、３５１２に対応することができる、画定されたレンジゲート内で反射された偏光ＥＭＲを受信することができる。次いで、制御回路１３２は、検出された微粒子タイプが自然発生微粒子３５１０であるか又は人工粒子３５１２であるかを判定３６６２することができ、図３３Ａに示すプロセス３６００に関して上述したように、外科用システムの制御パラメータを第１の状態又は第２の状態に調整３６０８、３６１０することができる。
別の態様では、外科用システムは、外科的処置の過程全体を通して浮遊微粒子の動きを追跡するように更に構成することができ、これは次に、浮遊微粒子によって画定される雲の動き及びサイズ又は構成の変化を特徴付けるために利用され得る。浮遊微粒子の経時的な動きを特徴付けることにより、外科用システムは、例えば、体腔の排煙がどの程度十分に行われるかを決定し、次いで、排煙又は送気の場所又は大きさを調整するために調整する又はユーザに推奨を提供することができる。例えば、外科用システムは、第１の排煙器又は第１の送気器を停止させ、第２の排煙器又は第２の送気器を作動させて体腔内のガス循環電流を調整し、それによって体腔内のあらゆる渦（すなわち、微粒子及び／又はガスの移動ベクトルが０又は０に近い領域）を緩和して排煙性能を改善することができる。別の例として、外科用システムは、排煙器又は吸入器のモータレベル又はファンレベルを調整して、排煙性能を改善することができる。
一態様では、制御システム１３３は、画像センサ１３５のセル又はピクセルにわたる微粒子の検出を特徴付けることによって、浮遊微粒子の動きを追跡及び特徴付けるように構成することができる。特に、制御システム１３３は、画像センサ１３５がどのピクセルで微粒子を検出したかを判定し、次いで、画像センサ１３５のピクセルアレイにわたって経時的に微粒子の動きを追跡することができる。一態様では、制御システム１３３は、画像センサ１３５を介して得られた画像を２つ以上のピクセルアレイセクションに分割するように、第１の時間インスタンスから第２の時間インスタンスまでの検出された浮遊微粒子による位置の一般化された変化に対応する動きベクトルを生成するように、そして次いでそれに応じて微粒子雲の移動又は構成の変化を特徴付けるように構成することができる。
例えば、図３４Ａ～図３４Ｃは、いくつかのピクセル３７０１からなる画像センサ１３５のピクセルアレイ３７００を示す。更に、図３４Ａ～Ｃは、検出された微粒子位置の経時的な変化と、それから計算された一般化された微粒子雲動きベクトルとを示す。ピクセルアレイ３７００は５×５アレイであるように描かれているが、これは単に例示目的であり、画像センサ１３５もそのピクセルの選択されたサブセクションも５×５アレイに限定されないことに留意されたい。図３４Ａ～図３４Ｃの以下の説明では、図２もまた参照されたい。
図３４Ａは、時間ｔ１における検出アレイ３７００を示し、これは、画像センサ１３５の示されたピクセル３７０１における第１の微粒子３７０２ａ、第２の微粒子３７０２ｂ、第３の微粒子３７０２ｃ、第４の微粒子３７０２ｄ、及び第５の微粒子３７０２ｅの検出を示す。図３４Ｂは、時間ｔ２における検出アレイ３７００を示し、これは、第１及び第５の微粒子３７０２ａ、３７０２ｅが位置を変えず、第２、第３及び第４の微粒子３７０２ｂ、３７０２ｃ、３７０２ｄが画像センサ１３５の異なるピクセル３７０１で検出されたことを示す。微粒子の検出された動きに基づいて、制御回路１３２は、ピクセルの各々の動きのベクトル表現を決定するように構成することができる。ベクトル表現は、方向及び大きさの両方を含むことができる。動きベクトルの方向及び大きさに基づいて、制御回路１３２は、検出された微粒子によって画定される雲の一般化された動きに対応するベクトル３７０４を（例えば、ベクトル加算を使用して）計算するように更に構成することができる。したがって、制御回路１３２は、微粒子が検出される画像センサ１３５のピクセルの変化から計算されたベクトル３７０４に従って、図３５に示すように、第１の状態３７１０（例えば、第１の位置又は第１のサイズ）から第２の状態３７１２（例えば、第２の位置又は第２のサイズ）までの微粒子雲又はエアロゾルの変化を追跡することができる。
一態様では、画像センサ１３５に結合された制御回路１３２は、検出された浮遊微粒子の動きを追跡するように、（画像センサ１３５のピクセルアレイ全体又はそのサブセクションを表すことができる）ピクセルアレイ３７００内の検出された浮遊微粒子の位置の変化に対応する一般化された動きベクトルを計算するように、そして次いで、送気器、排煙器、及び／又は外科用器具などの様々な接続された外科用装置をそれに応じて制御するように構成することができる。一態様では、制御回路１３２を含む制御システム１３３は、外科用ハブシステムの表題で上述したように、外科用ハブ２１０６、２２３６として具現化することができる。この態様では、外科用装置は、外科用ハブ２１０６、２２３６に通信可能に接続され（例えば、ペアリングされ）、記載されたシステム及びプロセスに従って制御され得る。
別の態様では、制御システム１３３は、例えば、近赤外線、ＵＶ、又は近赤外線及びＵＶ波長の組み合わせを使用して、浮遊微粒子の振動／回転態様を決定するためにラマン分光技術を利用するように構成することができる。そのような技術から得られたデータは、例えば、気相種（例えば、ベンゼン対アルデヒド）に関する情報を提供することができ、これにより次に、微粒子が生成された組織のタイプ又は組織に適用されるエネルギーの効率に関する知見が得られる。種の所望の情報がＥＭＲの非弾性散乱に含まれるため、制御システム１３３は、例えば、供給源ＥＭＲの弾性散乱をフィルタリングするために検出器に結合されたフィルタ（例えば、バンドパス又はノッチフィルタ）を含むことができる。ラマン分光技術に従って画像センサ１３５又は別のそのような検出器（例えば、ＣＣＤ検出器）によって生成された信号は、検出された分子の固有の構造的特性に基づくことができる。特に、ラマン分光法は、例えば、適切なエミッタによって放射された光子が分子をより高いエネルギー状態に励起し、これにより、散乱光子が、分子の振動／回転変化からのエネルギーを保存する結果として周波数を変化させるという概念に基づいている。散乱光子の周波数のこの変化は、利用される特定のタイプの単色光源に従って、検出された信号と所与の励起周波数の予め特徴付けられたデータとを比較することによって、光子が相互作用した分子のタイプを特徴付けるために利用することができる。微粒子の決定された分子タイプは、安全性モニタリング目的のために、手術部位で生成される潜在的に危険な分子の相対量に関する特定のデータを提供することを含む、いくつかの異なる用途に利用することができる。微粒子の決定された分子タイプは、排煙システム又はそのフィルタの有効性及び健全性を評価するために利用することもできる。
煙雲特性に基づく外科用システム制御
電気外科用器具を使用する外科的処置に固有の１つの課題は、器具によって発生する煙である。外科煙には有毒ガス及び蒸気、死細胞及び生細胞材料、血液画分、及びウイルスを含むバイオエアロゾル、並びに変異原性及び発癌性化合物が含まれる場合がある。したがって、これらの微粒子を手術部位から除去することが非常に望ましく、したがって、排煙器は、概して、外科煙の生成をもたらす外科的処置において利用される。しかしながら、外科的処置中の煙の発生を正確に制御及び軽減するために、手術部位の煙の量、経時的な煙雲の変動（例えば、煙雲が能動的に蓄積又は減少しているか）、及び他のそのような煙雲特性に従って、排煙器及び他の外科用装置（外科用器具を含む）を制御することが望ましい。外科用システムは、例えば、外科用器具エネルギープロファイルを変更して、生成される煙がより少なくなるようにし、及び／又は生成される外科煙の量に従って排煙器を自動的に制御することができる。
１つの全般的な態様では、本開示は、外科的処置中に生成された非晶質三次元微粒子雲を検出及び特徴付けるように構成された外科用システムを対象とする。外科用システムは、腹腔内及び手術部位に対する微粒子雲の動きを検出するように、そして次いで、それに応じて、外科用器具又は排煙器などの様々な外科用装置を制御するように構成することができる。１つの全般的な態様では、本開示は、外科的処置中に生成された雲又は微粒子クラスタの表面又は境界を画定するように、及び境界の方向及び変化率などの、画定された雲の様々な特性を分析して、外科用器具／発生器又は排煙モータ制御の電力レベルなどの外科用システムの様々な制御パラメータを制御するように構成された制御システムを対象とする。１つの更なる態様では、制御システムは、微粒子の全体的な体積又は微粒子のサイズに基づいて、微粒子の事前定義された密度を画定することによって境界を発生させるように構成することができる。別の更なる態様では、微粒子雲表面境界の変化率を利用して、エネルギー装置又は排煙機構の変化速度を指向的に定義することができる。
図３６は、本開示の少なくとも１つの態様による、微粒子雲３７５２が生成されている外科的処置の実行中の外科用システム３７５０の図である。外科用システム３７５０は、例えば、図１に示すロボット外科用システム１１０などのロボット外科用システムとして具現化することができる。外科用システム３７５０は、外科的処置のために、電気手術器具３７５４、排煙器３７５６、把持器３７５０、及び組織３７６０を治療、切断、又は他の方法で操作するための任意の他の外科用装置を含むことができる。図３６には示されていないが、外科用システム３７５０は、例えば、図１に示す外科用可視化システム１００、図２に示す撮像システム１４２、及び／又は図５に示す外科用可視化システム５００を含むことができる撮像システムを更に含むことができる。外科用システム３７５０は、例えば、図２に示す制御システム１３３及び／又は図１１に示す制御システム６００を含むことができる制御システムを更に含むことができる。
外科的処置中、浮遊微粒子３７５１は、電気外科用器具３７５４などの外科用器具と治療される組織３７６０との間の相互作用によって生成され得る。これらの微粒子３７５１は、手術部位内又は手術部位に存在する煙又はエアロゾルの雲３７５２として具現化することができる。概して言えば、そのような微粒子３７５１の存在は望ましくない場合があるため、多くの外科用システム３７５０は、手術部位から微粒子３７５１を除去するための排煙器３７５６を含む。しかしながら、撮像システムは、手術部位で発生した微粒子３７５１及び／又は煙を撮像するように構成することができ、制御システムは、撮像された煙の特性又は特質に基づいて、外科用システム３７５０又はその構成要素の様々な動作パラメータを制御するように構成され得る。そのような制御アルゴリズムのいくつかの例を本明細書で説明する。
一態様では、制御システムは、手術部位で生成された煙雲に関連付けられた１つ以上の特性に基づいて、外科用システム３７５０に関連付けられた１つ以上の動作パラメータを制御するように構成することができる。そのようなアルゴリズムの一例が図３７に示されており、これは、微粒子雲特性に従って外科用システムを制御するためのプロセス３８００の論理フロー図である。以下のプロセス３８００の説明においては図２も参照されたい。プロセス３８００は、制御回路１３２によって実行されるとき、制御回路１３２にプロセス３８００の列挙されたステップを実行させる、制御回路１３２に結合されたメモリ１３４に記憶された、例えば命令として具現化することができる。簡潔にするために、プロセス３８００は、制御回路１３２によって実行されるものとして説明されるが、プロセス３８００は、ハードウェア、ソフトウェア、及び／又はファームウェアの他の組み合わせによって実行することができることを理解されたい。
したがって、プロセス３８００を実行する制御回路１３２は、上述の技術のいずれかを使用して、撮像システム１４２のＦＯＶ内の浮遊微粒子の存在を検出３８０２することができる。概して、撮像システム１４２の画像センサ１３５は、構造光源１５２及び／又はスペクトル光源１５０によって放射され浮遊微粒子によって反射されたＥＭＲを検出して、微粒子を検出／撮像することができる。
したがって、制御回路１３２は、検出された微粒子によって画定される微粒子雲を特徴付ける３８０４ことができる。一態様では、制御回路１３２は、微粒子雲の三次元境界を画定して、その密度、体積、位置、動き、及び／又は境界を経時的に追跡することができる非晶質三次元構築物を描写するように構成することができる。手術部位における微粒子雲の境界は、様々な異なる方法で画定することができる。例えば、微粒子雲境界は、撮像システム１４２のＦＯＶ内で検出された全ての浮遊微粒子を包含する体積として定義することができる。別の例として、微粒子雲境界は、浮遊微粒子の閾値密度を有する体積として定義することができる。
したがって、制御回路１３２は、微粒子雲の１つ以上の特性が閾値を破っているかどうかを判定３８０６することができる。そのような追跡された特性は、例えば、微粒子雲の密度、微粒子雲の体積、微粒子雲及び／又はその境界の位置、微粒子雲及び／又はその境界の動き、及び／又は変化率若しくは前述の特徴のいずれかの他の導関数を含むことができる。追跡された特性の閾値は、外科的状況（例えば、実行される外科的処置のタイプ）などの他のパラメータに依存することがある。閾値が破られていない場合、プロセス３８００は、いいえ分岐に沿って進むことができ、制御回路１３２は、例えば、停止基準が満たされる（例えば、外科的処置が完了している）まで上述のように継続することができる。閾値が破られている場合、プロセス３８００は、はい分岐に沿って進むことができ、制御回路１３２は、以下に説明するように継続することができる。
したがって、制御回路１３２は、外科用システム３７５０の１つ以上の制御パラメータを調整する３８０８ことができる。制御回路１３２によって調整可能な制御パラメータとしては、外科用器具／発生器エネルギーレベル、排煙器吸引、可視化パラメータなどを挙げることができる。例えば、図３８は、プロセス３８００を実行する制御回路１３２による微粒子雲特性に基づく制御パラメータの調整を示す一連のグラフ３８５０、３８５２、３８５４である。第１のグラフ３８５０は、水平軸３８５８によって表される経時的な、垂直軸３８５６によって表される煙雲密度の変化を示す第１の線３８６０を示す。第２のグラフ３８５２は、水平軸３８５８によって表される経時的な、垂直軸３８６６によって表される電気外科用器具３７５４（又は電気外科用器具３７５４を駆動する発生器）のエネルギーデューティサイクルの変化を示す第２の線３８６８を示す。第３のグラフ３８５４は、水平軸３８５８によって表される経時的な、垂直軸３８７８によって表される排煙器３７５６の排煙又は吸引流量の変化を示す第３の線３８８０を示す。組み合わせて、グラフ３８５０、３８５２、３８５４は、外科的処置中のプロセス３８００の代表的な予測的な実施態様を示し、プロセス３８００は、特徴付けられた煙雲密度に従って、電気外科用器具のエネルギーデューティサイクル及び排煙器吸引流量制御パラメータを調整３８０８する。
最初に、電気外科用器具３７５４は、第１の図形３８９０によって示されるように、捕捉された組織３７６０にエネルギーを印加しない。したがって、電気外科用器具３７５４のエネルギーデューティサイクルはゼロであり、排煙器吸引流量はベース又はデフォルトレートであり、（エネルギーが組織３７６０に印加されていないため）煙は発生していない。時間ｔ１において、外科医は、電気外科用器具３７５４を作動させ、０からＥ３に増加３８７０するエネルギーデューティサイクルによって表されるエネルギーを組織３７６０に印加し始める。組織３７６０へのエネルギーの印加により手術部位で煙が発生し始め、これは、ｔ１後の期間の０から急激に増加３８６２する煙雲密度によって表される。更に、エネルギーが活性化されるのに応答して、排煙器３７５６が手術部位から発生した煙を除去しようと試み始めるときに、排煙器流量を制御回路１３２によってＱ１からＱ２に増加３８８２させることができる。この段階で、制御回路１３２は、エネルギーの印加によって生成された浮遊微粒子の検出３８０２と、浮遊微粒子によって画定された対応する煙雲の特徴付け３８０４を開始することができる。
時間ｔ２において、組織３７６０へのエネルギーの印加は、第２のグラフィック３８９２によって示されるように、煙雲３７５２を手術部位に発生させている。制御回路１３２は、雲密度が煙雲密度閾値（例えば、Ｄ３によって表される）を超えたと判定する３８０６ことができる。したがって、制御回路１３２は、電気外科用器具エネルギーデューティサイクル制御パラメータをＥ３からＥ２に減少させる３８７２ことによって調整３８０８する。制御回路１３２は、より低いレベルのエネルギーを組織３７６０に印加することにより、発生する煙が少なくなり得るため、この調整を選択することができる。これに応答して、煙雲密度は、時間ｔ１において減少３８６４し始める。
時間ｔ３において、煙雲３７５２は、第３のグラフィック３８９４によって示されるように、サイズが減少しているが、完全には消散していない。制御回路１３２は、雲密度が速い十分なレートで減少しないか、又は煙雲のいくつかの他の特性がいくつかの他の閾値を破っていることを決定３８０６することができる。したがって、制御回路１３２は、更なる煙の発生を軽減するために、電気外科用器具エネルギーデューティサイクル制御パラメータをＥ２からＥ１に減少させる３８７４ことによって再び調整３８０８する。
時間ｔ４において、煙雲３７５２は、第４のグラフィック３８９６によって示されるように、ほぼ消散している。制御回路１３２は、煙雲が閾値期間（例えば、ｔ４によって表される）よりも長い間、特定のレベル（例えば、Ｄ１によって表される）を上回る雲密度など、煙雲が別の閾値を破ったと決定３８０６することができる決定３８０６することができる。したがって、制御回路１３２は、手術部位から煙微粒子を完全に除去するために、排煙器吸引流量制御パラメータをＱ２からＱ３まで増加３８８４させることによって調整する。
図３８によって具現化されたプロセス３８００の実装形態は、例示目的で提供され、単に１つの可能な実装形態を表すことに留意されたい。特に、異なる制御パラメータをプロセス３８００によって制御することができ、異なる閾値を利用することができ、異なる煙雲特性を追跡することなどができる。したがって、図３８は、図３７のプロセス３８００又は任意の他の記載されたシステム及び方法を限定するものと解釈されるべきでは決してない。
例示の臨床用途
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの１つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの１つ以上に対する単に例示的な用途である。
外科用可視化システムは、本明細書に開示されるように、例えば、泌尿器科、婦人科、腫瘍科、大腸直腸科、胸部外科、肥満／胃治療科、及び肝胆膵科（ＨＰＢ）などの異なる専門における多くの異なる種類の処置に使用することができる。例えば、前立腺切除術などの泌尿器手術では、尿路が脂肪若しくは結合組織中で検出される場合があり、及び／又は、神経が、例えば脂肪中で検出される場合がある。例えば、子宮摘出術などの婦人科腫瘍手術、及び低位前方切除術（ＬＡＲ）などの大腸直腸手術では、尿管が、例えば脂肪及び／又は結合組織内で検出される場合がある。例えば、肺葉切除術などの胸部手術では、血管が肺若しくは結合組織内で検出されル場合があり、及び／又は、神経が結合組織内で検出される場合がある（例えば、食道瘻造設術）。肥満手術では、血管が脂肪中に検出される場合がある。例えば、肝切除術又は膵切除術などのＨＰＢ手術では、血管が、脂肪（肝外）、結合組織（肝外）中に検出される場合があり、胆管が、実質組織（肝臓又は膵臓）中に検出される場合がある。
一例では、臨床医は、子宮内膜筋腫の除去を望む場合がある。術前の磁気共鳴画像（ＭＲＩ）スキャンから、臨床医は、子宮内膜筋腫が腸の表面上に位置することを知ることができる。したがって、臨床医は、どの組織が腸の一部分を構成し、どの組織が直腸の一部を構成するかを術中に知ることを望む場合がある。そのような例において、外科用可視化システムは、本明細書に開示されるように、異なる種類の組織（腸対直腸）を示し、その情報を、撮像システムを介して臨床医に伝達することができる。更に、撮像システムは、選択された組織に対する外科用装置の近接度を決定及び通信することができる。そのような例では、外科用可視化システムは、重大な合併症を伴わずに、処置効率を向上することができる。
別の例では、臨床医（例えば、婦人科医）は、重要構造に近付きすぎることを回避するために特定の解剖学的領域から離れたまま留まることができるため、臨床医は、例えば子宮内膜症の全てを除去しない場合がある。外科用可視化システムは、本明細書に開示されるように、婦人科医が、外科用装置が全ての子宮内膜症を除去するのに十分に接近することができ、患者の転帰を改善することができる（民主化手術）ように、婦人科医が重要構造に接近しすぎるリスクを軽減することを可能にすることができる。このようなシステムは、外科医が、例えば、特に超音波又は電気手術エネルギーなどの治療用エネルギーの印加中に、避けるべき領域を特定するため停止及び再開を繰り返す代わりに、手術処置中に「移動し続ける」ことを可能にできる。婦人科用途では、子宮動脈及び尿管は大切な重要構造であり、システムは、関与する組織の提示及び／又は厚さを考慮すると、子宮摘出術及び子宮内膜手術に特に有用であり得る。
別の例では、臨床医は、近すぎるために、標的とする葉以外の葉への血液供給に影響を及ぼし得る場所で、血管を切開するリスクがある場合がある。更に、患者間の解剖学的差異が、特定の患者に基づくと異なる葉に影響を及ぼす血管（例えば分岐血管）の切開をもたらし得る。外科用可視化システムは、本明細書に開示されるように、所望の位置で正しい血管の識別を可能にすることができ、これにより、臨床医が適切な解剖学的物を確実に切開することを可能にする。例えば、システムは、正しい血管が正しい位置にあることを確認することができ、その後臨床医が血管を安全に分割することができる。
別の例では、臨床医は、血管の解剖学的構造が不確実であるために、最良の場所での切開前に、複数の切開を行うことがある。しかしながら、より多くの切開が出血のリスクを増大させることがあるため、最初の実施で最良の場所を切開することが望ましい。外科用可視化システムは、本明細書に開示されるように、正しい血管及び切開のための最良の位置を示すことによって、切開の数を最小化することができる。例えば、尿管及び基靱帯は密集しており、切開中に固有の課題を提供する。そのような例では、切開部の数を最小化することが特に望ましい場合がある。
別の例では、癌組織を除去する臨床医（例えば、腫瘍外科医）は、重要構造の識別、癌の局在、癌のステージ分類、及び／又は組織の正常性の評価を知ることを望む場合がある。このような情報は、臨床医が「裸眼」で見るものを超えている。外科用可視化システムは、本明細書に開示されるように、術中に臨床医にそのような情報を決定及び／又は伝達し、術中の決定を強化し、外科結果を改善することができる。特定の例では、外科用可視化システムは、低侵襲手術（ＭＩＳ）、観血的手術、及び／又は、例えば内視鏡又は外視鏡のいずれかを使用するロボットアプローチと互換性があり得る。
別の例では、臨床医（例えば、腫瘍外科医）は、外科手術中に保守的になり過ぎることを回避するために、１つ以上の重要構造への外科用ツールの近接度に関する１回以上の警告をオフにすることを望む場合がある。他の例では、臨床医は、１つ以上の重要構造から十分に遠く離れたままであるように、近接度及び／又は「飛行禁止区域」を示すための触覚フィードバック（例えば、振動／ブザー）などの特定の種類の警告の受信を望む場合がある。外科用可視化システムは、本明細書に開示されるように、例えば、臨床医の経験及び／又は処置の所望の積極性に基づいて順応性を提供することができる。そのような例では、システムは、重要構造を予測して回避するために、「知りすぎる」と「十分に知っている」との間のバランスを提供する。外科用可視化システムは、外科手術中の次ステップの計画を支援することができる。
本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
実施例１．外科用システムのための制御システムであって、撮像システムと、撮像システムに結合された制御回路と、を含む、制御システム。撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、画像センサと、を含む。制御回路は、放射されたＥＭＲに基づいて、画像センサを介して浮遊微粒子を検出するように、検出された浮遊微粒子を含む微粒子雲の境界を特徴付けるように、及び微粒子雲の境界の特性に従って外科用システムの制御パラメータを調整するように構成されている。
実施例２．制御回路は、微粒子雲の境界の特性の変化を検出するように、及び特性の変化に従って制御パラメータを第１の値から第２の値に調整するように更に構成されている、実施例１に記載の制御システム。
実施例３．外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、制御パラメータは発生器のエネルギーデューティサイクルを含む、実施例１又は２に記載の制御システム。
実施例４．外科用システムは排煙器を含み、制御パラメータは排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、実施例１又は２に記載の制御システム。
実施例５．境界の特性は境界の移動方向を含む、実施例１～４のいずれか１つに記載の制御システム。
実施例６．境界の特性は境界の変化率を含む、実施例１～４のいずれか１つに記載の制御システム。
実施例７．外科用システムのための制御システムであって、撮像システムと、撮像システムに結合された制御回路と、を含む、制御システム。撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）源と、画像センサと、を含む。制御回路は、画像センサによって受信されたエアロゾル内の微粒子から反射されたＥＭＲを検出するように、検出された微粒子を含むエアロゾルの構成を特徴付けるように、及びエアロゾルの特徴付けられた構成に従って外科用システムの第１の制御パラメータ又は第２の制御パラメータのうちの少なくとも１つを調整するように構成されている。
実施例８．制御回路は、エアロゾルの構成の変化を検出するように、及び構成の変化に従って第１の制御パラメータ又は第２の制御パラメータのうちの少なくとも１つを第１の値から第２の値に調整するように更に構成されている、実施例７に記載の制御システム。
実施例９．外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、第１の制御パラメータは発生器のエネルギーデューティサイクルを含む、実施例７又は８に記載の制御システム。
実施例１０．外科用システムは排煙器を含み、第２の制御パラメータは排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、実施例７又は８に記載の制御システム。
実施例１１．構成はエアロゾルの移動方向を含む、実施例７～１０のいずれか１つに記載の制御システム。
実施例１２．構成はエアロゾルの変化率を含む、実施例７～１０のいずれか１つに記載の制御システム。
実施例１３．外科用システムを制御する方法であって、外科用システムは撮像システムを含み、撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、画像センサと、を含む、方法。この方法は、放射されたＥＭＲに基づいて、画像センサを介して浮遊微粒子を検出することと、検出された浮遊微粒子を含む微粒子雲の境界を特徴付けることと、微粒子雲の境界の特性に従って外科用システムの制御パラメータを調整することと、を含む。
実施例１４．制御回路は、微粒子雲の境界の特性の変化を検出するように、及び特性の変化に従って制御パラメータを第１の値から第２の値に調整するように更に構成されている、実施例１３に記載の方法。
実施例１５．外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、制御パラメータは発生器のエネルギーデューティサイクルを含む、実施例１３又は１４に記載の方法。
実施例１６．外科用システムは排煙器を含み、制御パラメータは排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、実施例１３又は１４に記載の方法。
実施例１７．境界の特性は境界の移動方向を含む、実施例１３～１６のいずれか１つに記載の方法。
実施例１８．境界の特性は境界の変化率を含む、実施例１３～１６のいずれか１つに記載の方法。
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ若しくは２つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台若しくは２台以上のコンピュータ上で稼働する１つ若しくは２つ以上のコンピュータプログラムとして（例えば、１台若しくは２台以上のコンピュータシステム上で稼働する１つ若しくは２つ以上のプログラムとして）、１つ若しくは２つ以上のプロセッサ上で稼働する１つ若しくは２つ以上のプログラムとして（例えば、１つ若しくは２つ以上のマイクロプロセッサ上で稼働する１つ若しくは２つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ又は２つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ又は２つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、プログラマブル論理装置（programmable logic device、ＰＬＤ）、プログラマブル論理アレイ（programmable logic array、ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。
本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」などという用語は、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかであるコンピュータ関連エンティティを指すことができる。
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながるステップの自己無撞着シーケンスを指し、「ステップ」とは、必ずしも必要ではないが、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
１つ又は２つ以上の構成要素が、本明細書中で、「ように構成される／ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成される／ように構成されている」は、全般的に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。
当業者は、全般的に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ又は２つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ又は２つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ又は２つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、典型的には、少なくとも２つの記載事項、又は２つ又は３つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、全般的に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、全般的に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は全般的に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンスで示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する」、「～に関連する」といった用語、又は他の過去時制の形容詞は、全般的、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の機構、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ又は２つ以上の態様において任意の好適な様態で組み合わせることができる。
本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ又は２つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ又は２つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。
〔実施の態様〕
（１） 外科用システムのための制御システムであって、
撮像システムであって、
マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、
画像センサと、
を含む、撮像システムと、
前記撮像システムに結合された制御回路であって、
前記放射されたＥＭＲに基づいて、前記画像センサを介して浮遊微粒子を検出するように、
前記検出された浮遊微粒子を含む微粒子雲の境界を特徴付けるように、及び
前記微粒子雲の前記境界の特性に従って、前記外科用システムの制御パラメータを調整するように構成されている、制御回路と、
を含む、制御システム。
（２） 前記制御回路は、
前記微粒子雲の前記境界の前記特性の変化を検出するように、及び
前記特性の前記変化に従って、前記制御パラメータを第１の値から第２の値に調整するするように更に構成されている、
実施態様１に記載の制御システム。
（３） 前記外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、
前記制御パラメータは前記発生器のエネルギーデューティサイクルを含む、
実施態様１に記載の制御システム。
（４） 前記外科用システムは排煙器を含み、
前記制御パラメータは前記排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、実施態様１に記載の制御システム。
（５） 前記境界の前記特性は前記境界の移動方向を含む、実施態様１に記載の制御システム。
（６） 前記境界の前記特性は前記境界の変化率を含む、実施態様１に記載の制御システム。
（７） 外科用システムのための制御システムであって、
撮像システムであって、
マルチスペクトル電磁放射線（ＥＭＲ）源と、
画像センサと、
を含む、撮像システムと、
前記撮像システムに結合された制御回路であって、
前記画像センサによって受信されたエアロゾル中の微粒子から反射された前記ＥＭＲを検出するように、
前記検出された微粒子を含む前記エアロゾルの構成を特徴付けるように、及び
前記エアロゾルの前記特徴付けられた構成に従って前記外科用システムの第１の制御パラメータ又は第２の制御パラメータのうちの少なくとも１つを調整するように構成されている、制御回路と、
を含む、制御システム。
（８） 前記制御回路は、
前記エアロゾルの前記構成の変化を検出するように、及び
前記構成の前記変化に従って前記第１の制御パラメータ又は前記第２の制御パラメータのうちの少なくとも１つを第１の値から第２の値に調整するように更に構成されている、
実施態様７に記載の制御システム。
（９） 前記外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、
前記第１の制御パラメータは前記発生器のエネルギーデューティサイクルを含む、
実施態様７に記載の制御システム。
（１０） 前記外科用システムは排煙器を含み、
前記第２の制御パラメータは前記排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、
実施態様７に記載の制御システム。
（１１） 前記構成は前記エアロゾルの移動方向を含む、実施態様７に記載の制御システム。
（１２） 前記構成は前記エアロゾルの変化率を含む、実施態様７に記載の制御システム。
（１３） 外科用システムを制御する方法であって、前記外科用システムは撮像システムを含み、前記撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、画像センサと、を含み、前記方法は、
前記放射されたＥＭＲに基づいて、前記画像センサを介して浮遊微粒子を検出することと、
前記検出された浮遊微粒子を含む微粒子雲の境界を特徴付けることと、
前記微粒子雲の前記境界の特性に従って、前記外科用システムの制御パラメータを調整することと、
を含む、方法。
（１４） 前記制御回路は、
前記微粒子雲の前記境界の前記特性の変化を検出するように、及び
前記特性の前記変化に従って前記制御パラメータを第１の値から第２の値に調整するように更に構成されている、
実施態様１３に記載の方法。
（１５） 前記外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、
前記制御パラメータは前記発生器のエネルギーデューティサイクルを含む、
実施態様１３に記載の方法。
（１６） 前記外科用システムは排煙器を含み、
前記制御パラメータは前記排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、
実施態様１３に記載の方法。
（１７） 前記境界の前記特性は前記境界の移動方向を含む、実施態様１３に記載の方法。
（１８） 前記境界の前記特性は前記境界の変化率を含む、実施態様１３に記載の方法。

Claims (18)

  1. 外科用システムのための制御システムであって、
    撮像システムであって、
    マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、
    画像センサと、
    を含む、撮像システムと、
    前記撮像システムに結合された制御回路であって、
    前記放射されたＥＭＲに基づいて、前記画像センサを介して浮遊微粒子を検出するように、
    前記検出された浮遊微粒子を含む微粒子雲の境界を特徴付けるように、及び
    前記微粒子雲の前記境界の特性に従って、前記外科用システムの制御パラメータを調整するように構成されている、制御回路と、
    を含む、制御システム。
  2. 前記制御回路は、
    前記微粒子雲の前記境界の前記特性の変化を検出するように、及び
    前記特性の前記変化に従って、前記制御パラメータを第１の値から第２の値に調整するするように更に構成されている、
    請求項１に記載の制御システム。
  3. 前記外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、
    前記制御パラメータは前記発生器のエネルギーデューティサイクルを含む、
    請求項１に記載の制御システム。
  4. 前記外科用システムは排煙器を含み、
    前記制御パラメータは前記排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、請求項１に記載の制御システム。
  5. 前記境界の前記特性は前記境界の移動方向を含む、請求項１に記載の制御システム。
  6. 前記境界の前記特性は前記境界の変化率を含む、請求項１に記載の制御システム。
  7. 外科用システムのための制御システムであって、
    撮像システムであって、
    マルチスペクトル電磁放射線（ＥＭＲ）源と、
    画像センサと、
    を含む、撮像システムと、
    前記撮像システムに結合された制御回路であって、
    前記画像センサによって受信されたエアロゾル中の微粒子から反射された前記ＥＭＲを検出するように、
    前記検出された微粒子を含む前記エアロゾルの構成を特徴付けるように、及び
    前記エアロゾルの前記特徴付けられた構成に従って前記外科用システムの第１の制御パラメータ又は第２の制御パラメータのうちの少なくとも１つを調整するように構成されている、制御回路と、
    を含む、制御システム。
  8. 前記制御回路は、
    前記エアロゾルの前記構成の変化を検出するように、及び
    前記構成の前記変化に従って前記第１の制御パラメータ又は前記第２の制御パラメータのうちの少なくとも１つを第１の値から第２の値に調整するように更に構成されている、
    請求項７に記載の制御システム。
  9. 前記外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、
    前記第１の制御パラメータは前記発生器のエネルギーデューティサイクルを含む、
    請求項７に記載の制御システム。
  10. 前記外科用システムは排煙器を含み、
    前記第２の制御パラメータは前記排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、
    請求項７に記載の制御システム。
  11. 前記構成は前記エアロゾルの移動方向を含む、請求項７に記載の制御システム。
  12. 前記構成は前記エアロゾルの変化率を含む、請求項７に記載の制御システム。
  13. 外科用システムを制御する方法であって、前記外科用システムは撮像システムを含み、前記撮像システムは、マルチスペクトル電磁放射線（ＥＭＲ）を放射するように構成されたエミッタと、画像センサと、を含み、前記方法は、
    前記放射されたＥＭＲに基づいて、前記画像センサを介して浮遊微粒子を検出することと、
    前記検出された浮遊微粒子を含む微粒子雲の境界を特徴付けることと、
    前記微粒子雲の前記境界の特性に従って、前記外科用システムの制御パラメータを調整することと、
    を含む、方法。
  14. 前記制御回路は、
    前記微粒子雲の前記境界の前記特性の変化を検出するように、及び
    前記特性の前記変化に従って前記制御パラメータを第１の値から第２の値に調整するように更に構成されている、
    請求項１３に記載の方法。
  15. 前記外科用システムは、電気外科用器具を駆動するように構成された発生器を含み、
    前記制御パラメータは前記発生器のエネルギーデューティサイクルを含む、
    請求項１３に記載の方法。
  16. 前記外科用システムは排煙器を含み、
    前記制御パラメータは前記排煙器のファン状態又はモータ状態のうちの少なくとも１つを含む、
    請求項１３に記載の方法。
  17. 前記境界の前記特性は前記境界の移動方向を含む、請求項１３に記載の方法。
  18. 前記境界の前記特性は前記境界の変化率を含む、請求項１３に記載の方法。
JP2022540443A 2019-12-30 2020-10-29 外科煙雲の特性に従った適応的外科用システム制御 Pending JP2023508712A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/729,737 2019-12-30
US16/729,737 US20210196108A1 (en) 2019-12-30 2019-12-30 Adaptive surgical system control according to surgical smoke cloud characteristics
PCT/IB2020/060118 WO2021137002A1 (en) 2019-12-30 2020-10-29 Adaptive surgical system control according to surgical smoke cloud characteristics

Publications (1)

Publication Number Publication Date
JP2023508712A true JP2023508712A (ja) 2023-03-03

Family

ID=73172778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540443A Pending JP2023508712A (ja) 2019-12-30 2020-10-29 外科煙雲の特性に従った適応的外科用システム制御

Country Status (6)

Country Link
US (1) US20210196108A1 (ja)
EP (1) EP3845175B1 (ja)
JP (1) JP2023508712A (ja)
CN (1) CN115087406A (ja)
BR (1) BR112022012799A2 (ja)
WO (1) WO2021137002A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US20230020780A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Stereoscopic endoscope with critical structure depth estimation
US20230020346A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Scene adaptive endoscopic hyperspectral imaging system
US20230107857A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing devices for a natural body orifice
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room
CN115512236B (zh) * 2022-10-13 2023-04-28 昆明理工大学 一种基于K-means ++的Himawari-8多光谱云检测方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073286B2 (en) * 2006-08-09 2011-12-06 DigitalOptics Corporation Europe Limited Detection and correction of flash artifacts from airborne particulates
KR101311487B1 (ko) * 2004-11-12 2013-09-25 엑스트랄리스 테크놀로지스 엘티디. 입자 검출기, 시스템 및 방법
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
WO2015124159A1 (en) 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US20180000533A1 (en) * 2016-07-01 2018-01-04 Cynosure, Inc. Non-invasive uniform and non-uniform rf methods and systems
EP3258241B1 (en) * 2017-09-14 2019-12-25 Sensirion AG Particulate matter sensor device
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US20190206564A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11844579B2 (en) * 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US20190201045A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for smoke evacuation for surgical hub
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US20190201594A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US20190201118A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Display arrangements for robot-assisted surgical platforms
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US10507153B2 (en) * 2018-03-26 2019-12-17 Augustine Biomedical + Design, LLC Relocation modules and methods for surgical field
US11232556B2 (en) * 2018-04-20 2022-01-25 Verily Life Sciences Llc Surgical simulator providing labeled data
CN110749599A (zh) * 2019-09-29 2020-02-04 四川捷祥医疗器械有限公司 一种手术烟雾的分析方法、装置及存储介质

Also Published As

Publication number Publication date
BR112022012799A2 (pt) 2022-09-06
EP3845175B1 (en) 2024-02-07
US20210196108A1 (en) 2021-07-01
WO2021137002A1 (en) 2021-07-08
EP3845175C0 (en) 2024-02-07
CN115087406A (zh) 2022-09-20
EP3845175A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
EP3845173B1 (en) Adaptive surgical system control according to surgical smoke particulate characteristics
EP3845192B1 (en) Adaptive visualization by a surgical system
EP3845175B1 (en) Adaptive surgical system control according to surgical smoke cloud characteristics
EP3845193B1 (en) System for determining, adjusting, and managing resection margin about a subject tissue
EP3845174B1 (en) Surgical system control based on multiple sensed parameters
EP3845194B1 (en) Analyzing surgical trends by a surgical system and providing user recommandations
JP2023508524A (ja) 動的外科用可視化システム
JP2023508566A (ja) 構造光を使用する可視化システム
JP2023508565A (ja) 解剖学的臓器の三次元構造体を生成し、特定された解剖学的構造をこの構造体に結合するための手術システム
JP2023508540A (ja) 可視化データと動力式手術器具のデータとを相関させる手術システム
JP2023508569A (ja) 臓器の一部分の除去を提案、及び裏付ける手術システム
JP2023508713A (ja) 臓器の仮想三次元構造体上に手術器具データを重ね合わせるための手術システム
EP4105939A1 (en) Analyzing surgical trends by a surgical system
EP4066772A1 (en) System and method for determining, adjusting, and managing resection margin about a subject tissue

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514