JP2023508524A - 動的外科用可視化システム - Google Patents
動的外科用可視化システム Download PDFInfo
- Publication number
- JP2023508524A JP2023508524A JP2022540390A JP2022540390A JP2023508524A JP 2023508524 A JP2023508524 A JP 2023508524A JP 2022540390 A JP2022540390 A JP 2022540390A JP 2022540390 A JP2022540390 A JP 2022540390A JP 2023508524 A JP2023508524 A JP 2023508524A
- Authority
- JP
- Japan
- Prior art keywords
- surgical
- image
- tissue
- visualization
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012800 visualization Methods 0.000 title abstract description 320
- 238000003384 imaging method Methods 0.000 claims description 233
- 230000005670 electromagnetic radiation Effects 0.000 claims description 77
- 238000004891 communication Methods 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000002591 computed tomography Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 166
- 210000001519 tissue Anatomy 0.000 description 346
- 238000001356 surgical procedure Methods 0.000 description 151
- 210000003484 anatomy Anatomy 0.000 description 71
- 230000008569 process Effects 0.000 description 52
- 206010028980 Neoplasm Diseases 0.000 description 39
- 230000006870 function Effects 0.000 description 38
- 230000003595 spectral effect Effects 0.000 description 38
- 238000000701 chemical imaging Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 31
- 230000015654 memory Effects 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 26
- 238000005259 measurement Methods 0.000 description 24
- 210000001367 artery Anatomy 0.000 description 22
- 238000013507 mapping Methods 0.000 description 22
- 238000001228 spectrum Methods 0.000 description 22
- 239000012636 effector Substances 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 19
- 210000004072 lung Anatomy 0.000 description 19
- 230000001427 coherent effect Effects 0.000 description 18
- 230000004044 response Effects 0.000 description 18
- 238000002059 diagnostic imaging Methods 0.000 description 17
- 210000000056 organ Anatomy 0.000 description 17
- 238000010521 absorption reaction Methods 0.000 description 16
- 210000004204 blood vessel Anatomy 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000002452 interceptive effect Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 210000000115 thoracic cavity Anatomy 0.000 description 15
- 238000002224 dissection Methods 0.000 description 13
- 230000001276 controlling effect Effects 0.000 description 12
- 210000000626 ureter Anatomy 0.000 description 12
- 238000003491 array Methods 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000002679 ablation Methods 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 210000005036 nerve Anatomy 0.000 description 9
- 230000010363 phase shift Effects 0.000 description 9
- 239000000779 smoke Substances 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 210000003462 vein Anatomy 0.000 description 8
- 238000012512 characterization method Methods 0.000 description 7
- 210000002808 connective tissue Anatomy 0.000 description 7
- 238000013538 segmental resection Methods 0.000 description 7
- 238000012876 topography Methods 0.000 description 7
- 230000036772 blood pressure Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 238000001429 visible spectrum Methods 0.000 description 6
- 208000035346 Margins of Excision Diseases 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 239000002872 contrast media Substances 0.000 description 5
- 230000006378 damage Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 102000008186 Collagen Human genes 0.000 description 4
- 108010035532 Collagen Proteins 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 229920001436 collagen Polymers 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002594 fluoroscopy Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000005865 ionizing radiation Effects 0.000 description 4
- 210000001165 lymph node Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000000149 penetrating effect Effects 0.000 description 4
- 208000004998 Abdominal Pain Diseases 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 3
- 208000002881 Colic Diseases 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 3
- 206010029113 Neovascularisation Diseases 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 230000037005 anaesthesia Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 239000012620 biological material Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000002357 endometrial effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000002496 gastric effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 210000000936 intestine Anatomy 0.000 description 3
- 238000002324 minimally invasive surgery Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 210000003105 phrenic nerve Anatomy 0.000 description 3
- 210000003240 portal vein Anatomy 0.000 description 3
- 210000000664 rectum Anatomy 0.000 description 3
- 238000002432 robotic surgery Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000001954 sterilising effect Effects 0.000 description 3
- 238000004659 sterilization and disinfection Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 210000004291 uterus Anatomy 0.000 description 3
- 238000007794 visualization technique Methods 0.000 description 3
- 102000016942 Elastin Human genes 0.000 description 2
- 108010014258 Elastin Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 206010046798 Uterine leiomyoma Diseases 0.000 description 2
- 238000012084 abdominal surgery Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003872 anastomosis Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 208000034158 bleeding Diseases 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000000994 contrast dye Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229920002549 elastin Polymers 0.000 description 2
- 210000003743 erythrocyte Anatomy 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000023597 hemostasis Effects 0.000 description 2
- 238000009802 hysterectomy Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 201000010260 leiomyoma Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000004249 mesenteric artery inferior Anatomy 0.000 description 2
- 210000001363 mesenteric artery superior Anatomy 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000685 uterine artery Anatomy 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 240000000560 Citrus x paradisi Species 0.000 description 1
- 201000009273 Endometriosis Diseases 0.000 description 1
- 238000012752 Hepatectomy Methods 0.000 description 1
- 206010067482 No adverse event Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007681 bariatric surgery Methods 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000010878 colorectal surgery Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 210000002767 hepatic artery Anatomy 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004324 lymphatic system Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001483 mobilizing effect Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000001320 near-infrared absorption spectroscopy Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000000771 oncological effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000009428 plumbing Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011471 prostatectomy Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 231100000279 safety data Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000002579 sigmoidoscopy Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 210000002563 splenic artery Anatomy 0.000 description 1
- 210000000955 splenic vein Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
- 210000001186 vagus nerve Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
- A61B18/1442—Probes having pivoting end effectors, e.g. forceps
- A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/32—Surgical cutting instruments
- A61B17/320068—Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00809—Lung operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
- A61B2018/00601—Cutting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/304—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
- A61B2090/3941—Photoluminescent markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Robotics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Urology & Nephrology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Plasma & Fusion (AREA)
- Otolaryngology (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
外科用システムは、例えばモニタなどの1つ又は2つ以上のディスプレイ上で、臨床医が手術部位及び/又はその1つ又は2つ以上の部分を観察することを可能にできる撮像システムを組み込むことが多い。ディスプレイは、手術現場に対してローカル及び/又はリモートであってもよい。撮像システムは、手術部位を観察し、かつ臨床医によって見ることができるディスプレイに画像を送信するカメラ付きのスコープを含むことができる。スコープとしては、関節鏡スコープ、血管内視鏡、気管支鏡、胆道鏡、結腸鏡、サイトスコープ(cytoscope)、十二指腸内視鏡、腸鏡、食道十二指腸鏡(胃鏡)、内視鏡、喉頭鏡、鼻咽喉-腎盂、S状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識し、かつ/又は臨床医に伝達できる情報によって制限され得る。例えば、三次元空間内の特定の隠れた構造体、物理的輪郭、及び/又は寸法は、特定の撮像システムでは手術中に認識不可能である場合がある。加えて、特定の撮像システムは、手術中に臨床医に特定の情報を通信すること、及び/又は伝達することができない場合がある。
一般的な一態様では、ユーザコントロールを備える外科用器具のための制御システムが開示される。制御システムは、撮像システムと、制御回路と、を備える。撮像システムは、電磁放射(EMR)を放出するように構成されたエミッタと、手術部位から反射されたEMRを受信するように構成されたイメージセンサと、を備える。制御回路は、撮像システム及び外科用器具と動作可能に信号通信する。制御回路は、イメージセンサによって受信されたEMRに基づいて、手術部位の画像を生成することと、その画像に従って手術部位に対して第1の座標系を定義することと、外科用器具によって定義された第2の座標系を受信することと、第2の座標系内の座標を第1の座標系へと並進させるための変換関数を決定することと、変換関数を外科用器具に提供して、変換関数に従ってユーザコントロールを調整することを外科用器具に行わせることと、を行うように構成されている。
別の一般的な態様では、撮像システムと、ディスプレイスクリーンと、制御回路と、を備える制御システムが開示される。撮像システムは、構造化電磁放射(EMR)を放出するように構成されたエミッタと、手術部位から反射された構造化EMRを受信するように構成されたイメージセンサと、を備える。制御回路は、撮像システム及びディスプレイスクリーンに通信可能に結合されている。制御回路は、イメージセンサによって受信された構造化EMRに基づいて、手術部位の第1の画像を生成することと、手術部位の第2の画像を受信することと、第1の画像と第2の画像とを位置合わせすることと、位置合わせされた第1の画像及び第2の画像に基づいて手術部位の三次元表現を生成することと、ディスプレイスクリーン上に三次元表現を表示することと、三次元表現を操作するためのユーザ選択を受信することと、表示されたスクリーン上に表示される三次元表現をユーザ選択に従って第1の状態から第2の状態に更新することと、行うように構成されている。
更に別の一般的な態様では、撮像システムと、ディスプレイスクリーンと、制御回路と、を備える制御システムが開示される。撮像システムは、手術部位の第1の視野を含む第1のイメージセンサと、手術部位の第2の視野を含む第2のイメージセンサと、を備える。第1の視野と第2の視野とは、少なくとも部分的に重複する。制御回路は、撮像システム及びディスプレイスクリーンと動作可能に信号通信する。制御回路は、第1のイメージセンサに基づいて手術部位の第1の画像を生成することと、第2のイメージセンサに基づいて手術部位の第2の画像を生成することと、第1の画像と第2の画像とを、それらの重複する部分に従って位置合わせすることと、位置合わせされた第1の画像及び第2の画像に基づいて、構造の三次元表現を生成することと、三次元表現を表示することをディスプレイスクリーンに行わせることと、ユーザ選択に従って三次元表現のうちの表示された部分を調整することをディスプレイスクリーンに行わせることと、を行うように構成されている。
様々な態様の新規特徴は、添付の「特許請求の範囲」に具体的に記載される。しかしながら、記載される態様は、構成及び操作の方法のいずれに関しても、以下の記載を添付の図面と共に参照することにより最良に理解され得る。
本開示の少なくとも1つの態様による、撮像装置及び外科用装置を含む外科用可視化システムであって、組織表面の下の重要構造を識別するように構成されている、外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、外科用可視化システムの制御システムの概略図である。
本開示の少なくとも1つの態様による、外科用可視化システムの態様を制御するように構成されている制御回路を示す図である。
本開示の少なくとも1つの態様による、外科用可視化システムの態様を制御するように構成されている組み合わせ論理回路を示す図である。
本開示の少なくとも1つの態様による、外科用可視化システムの態様を制御するように構成されている順序論理回路を示す図である。
本開示の少なくとも1つの態様による、組織表面の下の重要構造の深さdaを決定するための、図1の外科用装置と、撮像装置と、重要構造との間の三角測量を示す概略図である。
本開示の少なくとも1つの態様による、組織表面の下の重要構造を識別するように構成されている外科用可視化システムの概略図であり、外科用可視化システムは、組織表面の下の重要構造の深さdaを決定するためのパルス光源を含む。
本開示の少なくとも1つの態様による、撮像装置及び外科用装置を含む外科用可視化システムであって、組織表面の下の重要構造を識別するように構成されている、外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、三次元カメラを含む外科用可視化システムであって、組織内に埋め込まれた重要構造を識別するように構成されている、外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、図6の三次元カメラで撮影された重要構造の画像であって、図7Aは、三次元カメラの左側レンズからの画像であり、図7Bは、三次元カメラの右側レンズからの画像である。
本開示の少なくとも1つの態様による、図6の三次元カメラで撮影された重要構造の画像であって、図7Aは、三次元カメラの左側レンズからの画像であり、図7Bは、三次元カメラの右側レンズからの画像である。
本開示の少なくとも1つの態様による、三次元カメラから重要構造までのカメラ-重要構造間距離dwを決定することができる、図6の外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、埋め込まれた重要構造の位置を決定するために2つのカメラを利用する外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、埋め込まれた重要構造の位置を決定するために、複数の既知の位置間を軸方向に移動するカメラを利用する外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、埋め込まれた重要構造の位置を決定するために、カメラが複数の既知の位置間を軸方向かつ回転方向に移動する、図10Aの外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、外科用可視化システムの制御システムの概略図である。
本開示の少なくとも1つの態様による、外科用可視化システムの構造光源の概略図である。
本開示の少なくとも1つの態様による、様々な生物学的材料に対する吸収係数対波長のグラフである。
本開示の少なくとも1つの態様による、スペクトル外科用可視化システムを介した解剖学的構造の可視化の概略図である。
本開示の少なくとも1つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示す図であって、図13Cは、尿管シグネチャ対覆い隠すもののグラフ表示であり、図13Dは、動脈シグネチャ対覆い隠すもののグラフ表示であり、図13Eは、神経シグネチャ対覆い隠すもののグラフ表示である。
本開示の少なくとも1つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示す図であって、図13Cは、尿管シグネチャ対覆い隠すもののグラフ表示であり、図13Dは、動脈シグネチャ対覆い隠すもののグラフ表示であり、図13Eは、神経シグネチャ対覆い隠すもののグラフ表示である。
本開示の少なくとも1つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示す図であって、図13Cは、尿管シグネチャ対覆い隠すもののグラフ表示であり、図13Dは、動脈シグネチャ対覆い隠すもののグラフ表示であり、図13Eは、神経シグネチャ対覆い隠すもののグラフ表示である。
本開示の少なくとも1つの態様による、重要な解剖学的構造までの距離を感知するように構成されている近赤外(NIR)飛行時間測定システムであって、共通の装置上に配置された送信器(エミッタ)と、受信器(センサ)とを含む、飛行時間測定システムの概略図である。
本開示の少なくとも1つの態様による、図17AのNIR飛行時間測定システムの放出された波、受信された波、及び放出された波と受信された波との間の遅延の概略図である。
本開示の少なくとも1つの態様による、重要構造までの距離を感知するように構成されているNIR飛行時間測定システムを示し、飛行時間測定システムは、別の装置上の送信器(エミッタ)と、受信器(センサ)とを含む。
本開示の少なくとも1つの態様による、コンピュータ実施インタラクティブ外科用システムのブロック図である。
本開示の少なくとも1つの態様による、手術室内で外科処置を実施するために使用される外科用システムの図である。
本開示の少なくとも1つの態様による、コンピュータ実施インタラクティブ外科用システムを示す図である。
本開示の少なくとも1つの態様による、状況認識外科システムの図である。
本開示の少なくとも1つの態様による、ハブの状況認識を示すタイムラインを示す図である。
本開示の少なくとも1つの態様による、適応型外科用可視化システムを含むコンピュータ実施インタラクティブ外科用システムの各部分を示す概略図である。
本開示の少なくとも1つの態様による、構造光プロジェクタとカメラとを含む外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、構造光プロジェクタとカメラとを含む外科用デバイスを含む外科用可視化システムの概略図である。
本開示の少なくとも1つの態様による、組織を可視化し、予想される屈折度を示すための外科用デバイスの概略図である。
本開示の少なくとも1つの態様による、実際の屈折性を示す図25Aの外科用デバイスの概略図である。
本開示の少なくとも1つの態様による、ビデオ支援胸腔鏡下手術(VATS)処置のための外科用器具アクセス経路の図である。
本開示の少なくとも1つの態様による、VATS処置に関連する様々な座標系の図である。
本開示の少なくとも1つの態様による、外科用器具の配向の変化に応答した、ディスプレイ及びユーザコントロールの配向の変化を示す図である。
本開示の少なくとも1つの態様による、表示される座標系に従ってディスプレイ及び/又はユーザコントロールを調整するプロセスの論理フロー図である。
本開示の少なくとも1つの態様による、図27の外科処置のカメラビューを示す図である。
本開示の少なくとも1つの態様による、手術部位の三次元(3D)表現が生成され得る画像ソースの図である。
本開示の少なくとも1つの態様による、撮像システムによって提供される図27の外科処置の可視化表示及びグラフィカルユーザインターフェース(GUI)の図である。
本開示の少なくとも1つの態様による、第1の視点(POV)に調整された図32の可視化表示である。
本開示の少なくとも1つの態様による、第2の視点(POV)に調整された図32の可視化表示である。
本開示の少なくとも1つの態様による、可視化表示を制御するためのプロセスの論理フロー図である。
本開示の少なくとも1つの態様による、2つのカメラを利用するVATS処置の図である。
本開示の少なくとも1つの態様による、図36のVATS処置中に撮像されている肺の図である。
本開示の少なくとも1つの態様による、図36及び図37のVATS処置の可視化表示及びGUIである。
本開示の少なくとも1つの態様による、可視化表示を制御するためのプロセスの論理フロー図である。
本開示の少なくとも1つの態様による、三次元モデルを臨床医に伝達するプロセスの論理フロー図である。
本願の出願人は、同時に出願された以下の米国特許出願を所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・ 代理人整理番号END9228USNP1/190580-1M、発明の名称「METHOD OF USING IMAGING DEVICES IN SURGERY」、
・ 代理人整理番号END9227USNP1/190579-1、発明の名称「ADAPTIVE VISUALIZATION BY A SURGICAL SYSTEM」、
・ 代理人整理番号END9226USNP1/190578-1、発明の名称「SURGICAL SYSTEM CONTROL BASED ON MULTIPLE SENSED PARAMETERS」、
・ 代理人整理番号END9225USNP1/190577-1、発明の名称「ADAPTIVE SURGICAL SYSTEM CONTROL ACCORDING TO SURGICAL SMOKE PARTICLE CHARACTERISTICS」、
・ 代理人整理番号END9224USNP1/190576-1、発明の名称「ADAPTIVE SURGICAL SYSTEM CONTROL ACCORDING TO SURGICAL SMOKE CLOUD CHARACTERISTICS」、
・ 代理人整理番号END9223USNP1/190575-1、発明の名称「SURGICAL SYSTEMS CORRELATING VISUALIZATION DATA AND POWERED SURGICAL INSTRUMENT DATA」、
・ 代理人整理番号END9222USNP1/190574-1、発明の名称「SURGICAL SYSTEMS FOR GENERATING THREE DIMENSIONAL CONSTRUCTS OF ANATOMICAL ORGANS AND COUPLING IDENTIFIED」、
・ 代理人整理番号END9221USNP1/190573-1、発明の名称「SURGICAL SYSTEM FOR OVERLAYING SURGICAL INSTRUMENT DATA ONTO A VIRTUAL THREE DIMENSIONAL CONSTRUCT OF AN ORGAN」、
・ 代理人整理番号END9220USNP1/190572-1、発明の名称「SURGICAL SYSTEMS FOR PROPOSING AND CORROBORATING ORGAN PORTION REMOVALS」、
・ 代理人整理番号END9219USNP1/190571-1、発明の名称「SYSTEM AND METHOD FOR DETERMINING,ADJUSTING,AND MANAGING RESECTION MARGIN ABOUT A SUBJECT TISSUE」、
・ 代理人整理番号END9218USNP1/190570-1、発明の名称「VISUALIZATION SYSTEMS USING STRUCTURED LIGHT」、及び
・ 代理人整理番号END9216USNP1/190568-1、発明の名称「ANALYZING SURGICAL TRENDS BY A SURGICAL SYSTEM」。
・ 代理人整理番号END9228USNP1/190580-1M、発明の名称「METHOD OF USING IMAGING DEVICES IN SURGERY」、
・ 代理人整理番号END9227USNP1/190579-1、発明の名称「ADAPTIVE VISUALIZATION BY A SURGICAL SYSTEM」、
・ 代理人整理番号END9226USNP1/190578-1、発明の名称「SURGICAL SYSTEM CONTROL BASED ON MULTIPLE SENSED PARAMETERS」、
・ 代理人整理番号END9225USNP1/190577-1、発明の名称「ADAPTIVE SURGICAL SYSTEM CONTROL ACCORDING TO SURGICAL SMOKE PARTICLE CHARACTERISTICS」、
・ 代理人整理番号END9224USNP1/190576-1、発明の名称「ADAPTIVE SURGICAL SYSTEM CONTROL ACCORDING TO SURGICAL SMOKE CLOUD CHARACTERISTICS」、
・ 代理人整理番号END9223USNP1/190575-1、発明の名称「SURGICAL SYSTEMS CORRELATING VISUALIZATION DATA AND POWERED SURGICAL INSTRUMENT DATA」、
・ 代理人整理番号END9222USNP1/190574-1、発明の名称「SURGICAL SYSTEMS FOR GENERATING THREE DIMENSIONAL CONSTRUCTS OF ANATOMICAL ORGANS AND COUPLING IDENTIFIED」、
・ 代理人整理番号END9221USNP1/190573-1、発明の名称「SURGICAL SYSTEM FOR OVERLAYING SURGICAL INSTRUMENT DATA ONTO A VIRTUAL THREE DIMENSIONAL CONSTRUCT OF AN ORGAN」、
・ 代理人整理番号END9220USNP1/190572-1、発明の名称「SURGICAL SYSTEMS FOR PROPOSING AND CORROBORATING ORGAN PORTION REMOVALS」、
・ 代理人整理番号END9219USNP1/190571-1、発明の名称「SYSTEM AND METHOD FOR DETERMINING,ADJUSTING,AND MANAGING RESECTION MARGIN ABOUT A SUBJECT TISSUE」、
・ 代理人整理番号END9218USNP1/190570-1、発明の名称「VISUALIZATION SYSTEMS USING STRUCTURED LIGHT」、及び
・ 代理人整理番号END9216USNP1/190568-1、発明の名称「ANALYZING SURGICAL TRENDS BY A SURGICAL SYSTEM」。
本願の出願人は、2019年3月15日に出願された以下の米国特許出願を所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・米国特許出願第16/354,417号、発明の名称「INPUT CONTROLS FOR ROBOTIC SURGERY」、
・米国特許出願第16/354,420号、発明の名称「DUAL MODE CONTROLS FOR ROBOTIC SURGERY」、
・米国特許出願第16/354,422号、発明の名称「MOTION CAPTURE CONTROLS FOR ROBOTIC SURGERY」、
・米国特許出願第16/354,440号、発明の名称「ROBOTIC SURGICAL SYSTEMS WITH MECHANISMS FOR SCALING SURGICAL TOOL MOTION ACCORDING TO TISSUE PROXIMITY」、
・ 米国特許出願第16/354,444号、発明の名称「ROBOTIC SURGICAL SYSTEMS WITH MECHANISMS FOR SCALING CAMERA MAGNIFICATION ACCORDING TO PROXIMITY OF SURGICAL TOOL TO TISSUE」、
・米国特許出願第16/354,454号、発明の名称「ROBOTIC SURGICAL SYSTEMS WITH SELECTIVELY LOCKABLE END EFFECTORS」、
・米国特許出願第16/354,461号、発明の名称「SELECTABLE VARIABLE RESPONSE OF SHAFT MOTION OF SURGICAL ROBOTIC SYSTEMS」、
・米国特許出願第16/354,470号、発明の名称「SEGMENTED CONTROL INPUTS FOR SURGICAL ROBOTIC SYSTEMS」、
・米国特許出願第16/354,474号、名称「ROBOTIC SURGICAL CONTROLS HAVING FEEDBACK CAPABILITIES」、
・米国特許出願第16/354,478号、名称「ROBOTIC SURGICAL CONTROLS WITH FORCE FEEDBACK」、及び
・米国特許出願第16/354,481号、発明の名称「JAW COORDINATION OF ROBOTIC SURGICAL CONTROLS」。
・米国特許出願第16/354,417号、発明の名称「INPUT CONTROLS FOR ROBOTIC SURGERY」、
・米国特許出願第16/354,420号、発明の名称「DUAL MODE CONTROLS FOR ROBOTIC SURGERY」、
・米国特許出願第16/354,422号、発明の名称「MOTION CAPTURE CONTROLS FOR ROBOTIC SURGERY」、
・米国特許出願第16/354,440号、発明の名称「ROBOTIC SURGICAL SYSTEMS WITH MECHANISMS FOR SCALING SURGICAL TOOL MOTION ACCORDING TO TISSUE PROXIMITY」、
・ 米国特許出願第16/354,444号、発明の名称「ROBOTIC SURGICAL SYSTEMS WITH MECHANISMS FOR SCALING CAMERA MAGNIFICATION ACCORDING TO PROXIMITY OF SURGICAL TOOL TO TISSUE」、
・米国特許出願第16/354,454号、発明の名称「ROBOTIC SURGICAL SYSTEMS WITH SELECTIVELY LOCKABLE END EFFECTORS」、
・米国特許出願第16/354,461号、発明の名称「SELECTABLE VARIABLE RESPONSE OF SHAFT MOTION OF SURGICAL ROBOTIC SYSTEMS」、
・米国特許出願第16/354,470号、発明の名称「SEGMENTED CONTROL INPUTS FOR SURGICAL ROBOTIC SYSTEMS」、
・米国特許出願第16/354,474号、名称「ROBOTIC SURGICAL CONTROLS HAVING FEEDBACK CAPABILITIES」、
・米国特許出願第16/354,478号、名称「ROBOTIC SURGICAL CONTROLS WITH FORCE FEEDBACK」、及び
・米国特許出願第16/354,481号、発明の名称「JAW COORDINATION OF ROBOTIC SURGICAL CONTROLS」。
本願の出願人は、2018年9月11日に出願された以下の米国特許出願をも所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・米国特許出願第16/128,179号、発明の名称「SURGICAL VISUALIZATION PLATFORM」、
・米国特許出願第16/128,180号、発明の名称「CONTROLLING AN EMITTER ASSEMBLY PULSE SEQUENCE」、
・米国特許出願第16/128,198号、発明の名称「SINGULAR EMR SOURCE EMITTER ASSEMBLY」、
・米国特許出願第16/128,207号、発明の名称「COMBINATION EMITTER AND CAMERA ASSEMBLY」、
・米国特許出願第16/128,176号、発明の名称「SURGICAL VISUALIZATION WITH PROXIMITY TRACKING FEATURES」、
・米国特許出願第16/128,187号、発明の名称「SURGICAL VISUALIZATION OF MULTIPLE TARGETS」、
・米国特許出願第16/128,192号、発明の名称「VISUALIZATION OF SURGICAL DEVICES」、
・米国特許出願第16/128,163号、発明の名称「OPERATIVE COMMUNICATION OF LIGHT」、
・米国特許出願第16/128,197号、発明の名称「ROBOTIC LIGHT PROJECTION TOOLS」、
・米国特許出願第16/128,164号、発明の名称「SURGICAL VISUALIZATION FEEDBACK SYSTEM」、
・米国特許出願第16/128,193号、発明の名称「SURGICAL VISUALIZATION AND MONITORING」、
・米国特許出願第16/128,195号、発明の名称「INTEGRATION OF IMAGING DATA」、
・米国特許出願第16/128,170号、発明の名称「ROBOTICALLY-ASSISTED SURGICAL SUTURING SYSTEMS」、
・米国特許出願第16/128,183号、発明の名称「SAFETY LOGIC FOR SURGICAL SUTURING SYSTEMS」、
・米国特許出願第16/128,172号、発明の名称「ROBOTIC SYSTEM WITH SEPARATE PHOTOACOUSTIC RECEIVER」、及び
・米国特許出願第16/128,185号、発明の名称「FORCE SENSOR THROUGH STRUCTURED LIGHT DEFLECTION」。
・米国特許出願第16/128,179号、発明の名称「SURGICAL VISUALIZATION PLATFORM」、
・米国特許出願第16/128,180号、発明の名称「CONTROLLING AN EMITTER ASSEMBLY PULSE SEQUENCE」、
・米国特許出願第16/128,198号、発明の名称「SINGULAR EMR SOURCE EMITTER ASSEMBLY」、
・米国特許出願第16/128,207号、発明の名称「COMBINATION EMITTER AND CAMERA ASSEMBLY」、
・米国特許出願第16/128,176号、発明の名称「SURGICAL VISUALIZATION WITH PROXIMITY TRACKING FEATURES」、
・米国特許出願第16/128,187号、発明の名称「SURGICAL VISUALIZATION OF MULTIPLE TARGETS」、
・米国特許出願第16/128,192号、発明の名称「VISUALIZATION OF SURGICAL DEVICES」、
・米国特許出願第16/128,163号、発明の名称「OPERATIVE COMMUNICATION OF LIGHT」、
・米国特許出願第16/128,197号、発明の名称「ROBOTIC LIGHT PROJECTION TOOLS」、
・米国特許出願第16/128,164号、発明の名称「SURGICAL VISUALIZATION FEEDBACK SYSTEM」、
・米国特許出願第16/128,193号、発明の名称「SURGICAL VISUALIZATION AND MONITORING」、
・米国特許出願第16/128,195号、発明の名称「INTEGRATION OF IMAGING DATA」、
・米国特許出願第16/128,170号、発明の名称「ROBOTICALLY-ASSISTED SURGICAL SUTURING SYSTEMS」、
・米国特許出願第16/128,183号、発明の名称「SAFETY LOGIC FOR SURGICAL SUTURING SYSTEMS」、
・米国特許出願第16/128,172号、発明の名称「ROBOTIC SYSTEM WITH SEPARATE PHOTOACOUSTIC RECEIVER」、及び
・米国特許出願第16/128,185号、発明の名称「FORCE SENSOR THROUGH STRUCTURED LIGHT DEFLECTION」。
本願の出願人は、2018年3月29日に出願された以下の米国特許出願をも所有しており、これらの各々の全体が、参照により本明細書に組み込まれる。
・米国特許出願第15/940,627号、発明の名称「DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」(現在は米国特許出願公開第2019/0201111号)、
・米国特許出願第15/940,676号、発明の名称「AUTOMATIC TOOL ADJUSTMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」(現在は米国特許出願公開第2019/0201142号)、
・米国特許出願第15/940,711号、発明の名称「SENSING ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」(現在は米国特許出願公開第2019/0201120号)、及び
・米国特許出願第15/940,722号、発明の名称「CHARACTERIZATION OF TISSUE IRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY」(現在は米国特許出願公開第2019/0200905号)。
・米国特許出願第15/940,627号、発明の名称「DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」(現在は米国特許出願公開第2019/0201111号)、
・米国特許出願第15/940,676号、発明の名称「AUTOMATIC TOOL ADJUSTMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」(現在は米国特許出願公開第2019/0201142号)、
・米国特許出願第15/940,711号、発明の名称「SENSING ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」(現在は米国特許出願公開第2019/0201120号)、及び
・米国特許出願第15/940,722号、発明の名称「CHARACTERIZATION OF TISSUE IRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY」(現在は米国特許出願公開第2019/0200905号)。
本出願の出願人は、2018年12月4日に出願された以下の米国特許出願を所有しており、これらの各開示は、それらの全体が参照により本明細書に組み込まれる。
・米国特許出願第16/209,395号、発明の名称「METHOD OF HUB COMMUNICATION」(現在は米国特許出願公開第2019/0201136号)、
・米国特許出願第16/209,403号、発明の名称「METHOD OF CLOUD BASED DATA ANALYTICS FOR USE WITH THE HUB」(現在は、米国特許出願公開第2019/0206569号)、
・米国特許出願第16/209,407号、発明の名称「METHOD OF ROBOTIC HUB COMMUNICATION,DETECTION,AND CONTROL」(現在は米国特許出願公開第2019/0201137号)、
・米国特許出願第16/209,416号、発明の名称「METHOD OF HUB COMMUNICATION,PROCESSING,DISPLAY,AND CLOUD ANALYTICS」(現在は米国特許出願公開第2019/0206562号)、
・米国特許出願第16/209,423号、発明の名称「METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS」(現在は米国特許出願公開第2019/0200981号)、
・米国特許出願第16/209,427号、発明の名称「METHOD OF USING REINFORCED FLEXIBLE CIRCUITS WITH MULTIPLE SENSORS TO OPTIMIZE PERFORMANCE OF RADIO FREQUENCY DEVICES」(現在は米国特許出願公開第2019/0208641号)、
・米国特許出願第16/209,433号、発明の名称「METHOD OF SENSING PARTICULATE FROM SMOKE EVACUATED FROM A PATIENT,ADJUSTING THE PUMP SPEED BASED ON THE SENSED INFORMATION,AND COMMUNICATING THE FUNCTIONAL PARAMETERS OF THE SYSTEM TO THE HUB」(現在は米国特許出願公開第2019/0201594号)、
・米国特許出願第16/209,447号、発明の名称「METHOD FOR SMOKE EVACUATION FOR SURGICAL HUB」(現在は米国特許出願公開第2019/0201045号)、
・米国特許出願第16/209,453号、発明の名称「METHOD FOR CONTROLLING SMART ENERGY DEVICES」(現在は米国特許出願公開第2019/0201046号)、
・米国特許出願第16/209,458号、発明の名称「METHOD FOR SMART ENERGY DEVICE INFRASTRUCTURE」(現在は米国特許出願公開第2019/0201047号)、
・米国特許出願第16/209,465号、発明の名称「METHOD FOR ADAPTIVE CONTROL SCHEMES FOR SURGICAL NETWORK CONTROL AND INTERACTION」(現在は米国特許出願公開第2019/0206563号)、
・米国特許出願第16/209,478号、発明の名称「METHOD FOR SITUATIONAL AWARENESS FOR SURGICAL NETWORK OR SURGICAL NETWORK CONNECTED DEVICE CAPABLE OF ADJUSTING FUNCTION BASED ON A SENSED SITUATION OR USAGE」(現在は米国特許出願公開第2019/0104919号)、
・米国特許出願第16/209,490号、発明の名称「METHOD FOR FACILITY DATA COLLECTION AND INTERPRETATION」(現在は米国特許出願公開第2019/0206564号)、及び
・米国特許出願第16/209,491号、発明の名称「METHOD FOR CIRCULAR STAPLER CONTROL ALGORITHM ADJUSTMENT BASED ON SITUATIONAL AWARENESS」(現在は米国特許出願公開第2019/0200998号)。
・米国特許出願第16/209,395号、発明の名称「METHOD OF HUB COMMUNICATION」(現在は米国特許出願公開第2019/0201136号)、
・米国特許出願第16/209,403号、発明の名称「METHOD OF CLOUD BASED DATA ANALYTICS FOR USE WITH THE HUB」(現在は、米国特許出願公開第2019/0206569号)、
・米国特許出願第16/209,407号、発明の名称「METHOD OF ROBOTIC HUB COMMUNICATION,DETECTION,AND CONTROL」(現在は米国特許出願公開第2019/0201137号)、
・米国特許出願第16/209,416号、発明の名称「METHOD OF HUB COMMUNICATION,PROCESSING,DISPLAY,AND CLOUD ANALYTICS」(現在は米国特許出願公開第2019/0206562号)、
・米国特許出願第16/209,423号、発明の名称「METHOD OF COMPRESSING TISSUE WITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THE TISSUE WITHIN THE JAWS」(現在は米国特許出願公開第2019/0200981号)、
・米国特許出願第16/209,427号、発明の名称「METHOD OF USING REINFORCED FLEXIBLE CIRCUITS WITH MULTIPLE SENSORS TO OPTIMIZE PERFORMANCE OF RADIO FREQUENCY DEVICES」(現在は米国特許出願公開第2019/0208641号)、
・米国特許出願第16/209,433号、発明の名称「METHOD OF SENSING PARTICULATE FROM SMOKE EVACUATED FROM A PATIENT,ADJUSTING THE PUMP SPEED BASED ON THE SENSED INFORMATION,AND COMMUNICATING THE FUNCTIONAL PARAMETERS OF THE SYSTEM TO THE HUB」(現在は米国特許出願公開第2019/0201594号)、
・米国特許出願第16/209,447号、発明の名称「METHOD FOR SMOKE EVACUATION FOR SURGICAL HUB」(現在は米国特許出願公開第2019/0201045号)、
・米国特許出願第16/209,453号、発明の名称「METHOD FOR CONTROLLING SMART ENERGY DEVICES」(現在は米国特許出願公開第2019/0201046号)、
・米国特許出願第16/209,458号、発明の名称「METHOD FOR SMART ENERGY DEVICE INFRASTRUCTURE」(現在は米国特許出願公開第2019/0201047号)、
・米国特許出願第16/209,465号、発明の名称「METHOD FOR ADAPTIVE CONTROL SCHEMES FOR SURGICAL NETWORK CONTROL AND INTERACTION」(現在は米国特許出願公開第2019/0206563号)、
・米国特許出願第16/209,478号、発明の名称「METHOD FOR SITUATIONAL AWARENESS FOR SURGICAL NETWORK OR SURGICAL NETWORK CONNECTED DEVICE CAPABLE OF ADJUSTING FUNCTION BASED ON A SENSED SITUATION OR USAGE」(現在は米国特許出願公開第2019/0104919号)、
・米国特許出願第16/209,490号、発明の名称「METHOD FOR FACILITY DATA COLLECTION AND INTERPRETATION」(現在は米国特許出願公開第2019/0206564号)、及び
・米国特許出願第16/209,491号、発明の名称「METHOD FOR CIRCULAR STAPLER CONTROL ALGORITHM ADJUSTMENT BASED ON SITUATIONAL AWARENESS」(現在は米国特許出願公開第2019/0200998号)。
外科用可視化プラットフォームの様々な態様を詳細に説明する前に、例示の実施例が、適用又は使用において、添付の図面及び明細書で例示される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実施されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び/又は実施例のうち1つ又は2つ以上を、以下に記述される他の態様、態様の表現、及び/又は実施例のうち任意の1つ又は2つ以上と組み合わせることができるものと理解されたい。
外科用可視化システム
本開示は、患者の解剖学的構造及び/又は外科的処置に関する追加情報を取得するために「デジタル手術」を活用する外科用可視化プラットフォームを対象とする。外科用可視化プラットフォームは、データ及び/又は情報を、有用な方法で1人又は2人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び/又は外科処置の改善された可視化を提供する。
本開示は、患者の解剖学的構造及び/又は外科的処置に関する追加情報を取得するために「デジタル手術」を活用する外科用可視化プラットフォームを対象とする。外科用可視化プラットフォームは、データ及び/又は情報を、有用な方法で1人又は2人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び/又は外科処置の改善された可視化を提供する。
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室(OR)の内外両方での接続性などを包含し得る。本明細書に記載される様々な外科用可視化プラットフォームはロボット外科用システムと組み合わせて使用することができるが、外科用可視化プラットフォームはロボット外科用システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに/又は、ロボット支援が制限されている、及び/又は任意である状態で、高度な外科的可視化を起こすことができる。同様に、ロボットなしで、並びに/又は、ロボット支援が制限されている、及び/又は任意である状態で、デジタル手術を起こすことができる。
特定の例では、外科用可視化プラットフォームを組み込む外科用システムは、重要構造を識別し、回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び/又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び/又はプレートなどであり得る。重要構造は、患者ごと及び/又は処置ごとに決定される場合がある。例示的な重要構造は、本明細書で更に説明される。スマート切開術は、切開のために改善された術中ガイダンスを提供することができ、及び/又は、例えば、重要な解剖学的検出及び回避技術によってよりスマートな決定を可能にすることができる。
外科用可視化プラットフォームを組み込んだ外科用システムはまた、改善されたワークフローによって最適な位置で更に確実な吻合を提供するスマート吻合術を可能にし得る。癌局在化法もまた、本明細書に記載される様々な外科用可視化プラットフォーム及び処置によって改善され得る。例えば、癌局在化法は、癌の位置、向き、及びそのマージンを特定し、追跡することができる。特定の例において、癌局在化法は、外科処置中に器具、患者、及び/又は患者の解剖学的構造の動きを補正し、臨床医を対象点に再誘導することができる。
本開示の特定の態様では、外科用可視化プラットフォームは、改善された組織特性評価及び/又はリンパ節診断及びマッピングを提供し得る。例えば、組織特性評価技術は、特に切開時、及び/又は組織内のステープル留め装置の配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。本明細書に記載される特定の組織特性評価技術は、電離放射線及び/又は造影剤を使用せずに利用することができる。リンパ節診断及びマッピングに関して、外科用可視化プラットフォームは、例えば、癌診断及びステージ診断に関与するリンパ系及び/又はリンパ節を手術前に位置特定し、マッピングし、及び理想的には診断することができる。
外科処置中、臨床医が「裸眼」で及び/又は撮像システムを介して利用可能な情報は、不完全な手術部位の視界を提供する場合がある。例えば、器官内に埋め込まれた又は覆われた構造などの特定の構造は、視界から少なくとも部分的に隠される、つまり見えない場合がある。加えて、特定の寸法及び/又は相対距離は、既存のセンサシステムでの確認が難しく、及び/又は「裸眼」では把握が難しい場合がある。更に、特定の構造は、手術前(例えば、外科処置前であるが術前の走査後)、及び/又は手術中に移動することがある。そのような例では、臨床医は、手術中に重要構造の位置を正確に決定することができない場合がある。
重要構造の位置が不確定である場合、及び/又は重要構造と外科用ツールとの間の近接度が不明である場合、臨床医の意思決定プロセスが阻害され得る。例えば、臨床医は、重要構造が不注意によって切開されることを回避するために、特定の領域を回避することができる。しかしながら、回避された領域は、不必要に大きく、かつ/又は少なくとも部分的に位置が誤っている可能性がある。不確実性、及び/又は過度/過剰な用心に起因して、臨床医は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び/又は、その特定の領域での臨床医の行為によって悪影響がない場合であっても、過剰な用心により、臨床医が、重要構造を避けようと努力して、腫瘍及び/又は他の望ましくない組織の一部を残してしまう場合がある。特定の例では、手術成績は知識及び/又は確実性が高まると共に向上される場合があり、これにより、外科医にとって、より正確で、特定の場合では特定の解剖学的領域に対してより控えめに/より積極的になることが可能になる。
様々な態様では、本開示は、重要構造の術中識別及び回避のための外科用可視化システムを提供する。一態様では、本開示は、強化された術中意思決定の製造及び改善された手術結果を可能にする、外科用可視化システムを提供する。様々な態様では、開示された外科用可視化システムは、臨床医が「裸眼」で見るもの、及び/又は撮像システムが認識し、及び/又は臨床医に伝達できるものを超えた、高度な可視化能を提供する。様々な外科用可視化システムは、臨床医が組織処理(例えば、切開)の前に知ることができることを補強かつ強化できることによって、様々な例における結果を改善することができる。
例えば、可視化システムは、複数のスペクトル波を放出するように構成された第1の光エミッタと、光パターンを放出するように構成された第2の光エミッタと、可視光、スペクトル波に対する分子応答(分光イメージング)、及び/又は光パターンを検出するように構成された1つ又は2つ以上の受信器、又はセンサと、を含むことができる。以下の開示全体を通して、「光」へのいかなる言及も、可視光に関して特定的に言及されていない限り、電磁放射(EMR)波長スペクトルの可視部分及び/又は非可視部分のEMR若しくは光子を含み得ることに留意されたい。外科用可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、すなわち三次元表面トポグラフィ、及び手術部位に対する1つ又は2つ以上の距離を決定することができる。特定の例では、制御回路は、少なくとも部分的に隠れた構造までの1つ以上の距離を決定することができる。更に、撮像システムは、幾何学的表面マップ及び1つ又は2つ以上の距離を臨床医に伝えることができる。そのような例において、臨床医に提供される手術部位の拡張画像は、手術部位に関連する背景内で隠れた構造の図を提供することができる。例えば、撮像システムは、表面の下のユーティリティ配管を示すために地上に描かれた線と同様に、隠している及び/又は妨害している組織の幾何学的表面マップ上に隠れた構造をバーチャルに拡張することができる。追加的に又は代替的に、撮像システムは、目に見える妨害している組織まで、及び/若しくは少なくとも部分的に隠れた構造までの1つ又は2つ以上の外科用ツールの近接度、並びに/又は、妨害している組織の可視表面の下に隠れた構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張線に対する距離を判定し、撮像システムにその距離を伝えることができる。
本開示の様々な態様では、重要構造の術中識別及び回避のための外科用可視化システムが開示される。このような外科用可視化システムは、外科処置中に臨床医に有益な情報を提供することができる。結果として、外科用可視化システムが、例えば切開中に接近し得る、例えば、尿管、特定の神経、及び/又は重要な血管などの重要構造を追跡していることを知りながら、臨床医は、外科処置を通して操作を確実に維持することができる。一態様では、外科用可視化システムは、臨床医が外科処置を一時停止し、かつ/又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間、臨床医に対して指示を提供することができる。外科用可視化システムは、理想的で、最適化された、かつ/又はカスタマイズ可能な量の情報を臨床医に提供して、健康な組織及び/又は重要構造への不注意による損傷を回避しつつ、臨床医が組織全体を確実かつ/又は迅速に操作することを可能にし、それによって、外科的処置により生じる損傷のリスクを最小限に抑えることができる。
図1は、本開示の少なくとも1つの態様による、外科用可視化システム100の概略図である。外科用可視化システム100は、解剖学的分野内の重要構造101の視覚的表示を作成することができる。外科用可視化システム100は、例えば、臨床分析及び/又は医学的介入に使用され得る。特定の例では、外科用可視化システム100を手術中に使用し、外科処置中の近接データ、寸法、及び/又は距離に関するリアルタイム若しくはほぼリアルタイムの情報を臨床医に提供することができる。外科用可視化システム100は、重要構造の術中識別のため、及び/又は外科用装置による重要構造101の回避を容易にするように構成されている。例えば、重要構造101を識別することによって、臨床医は、外科処置中に、重要構造101及び/又は重要構造101の所定の近位の領域の周囲で外科用装置を操作することを回避できる。臨床医は、例えば重要構造101として特定される、例えば静脈、動脈、神経、及び/若しくは血管の切開、並びに/又はこれら付近の切開を回避することができる。様々な例において、重要構造101は、患者ごと及び/又は処置ごとに決定される場合がある。
外科用可視化システム100は、距離センサシステム104と組み合わせた組織識別及び幾何学的表面マッピングを組み込む。組み合わせた外科用可視化システム100の特徴により、解剖学的分野内の重要構造101の位置、並びに/又は、可視組織の表面105及び/若しくは重要構造101への外科用装置102の近接度を決定することができる。更に、外科用可視化システム100は、例えば、手術部位のリアルタイムビューを提供するように構成されたカメラなどの撮像装置120を含む、撮像システムを含む。様々な例において、撮像装置120は、反射されたスペクトル波形を検出し、異なる波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されたスペクトルカメラ(例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ)である。撮像装置120からのビューを臨床医に提供することができ、本開示の様々な態様では、組織識別、ランドスケープマッピング、及び距離センサシステム104に基づいて追加情報で増強することができる。そのような例において、外科用可視化システム100は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織識別サブシステム、及び/又は距離決定サブシステムを含む。これらのサブシステムは協働して、手術中に、高度なデータ合成及び統合された情報を臨床医に提供することができる。
撮像装置は、例えば、可視光、スペクトル光波(可視又は不可視)、及び構造光パターン(可視又は不可視)を検出するように構成されたカメラ又は撮像センサを含むことができる。本開示の様々な態様において、撮像システムは、例えば内視鏡などの撮像装置を含むことができる。追加的に又は代替的に、撮像システムは、例えば、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡(胃鏡)、喉頭鏡、鼻咽喉-腎盂鏡(nasopharyngo-neproscope)、S状結腸鏡、胸腔鏡、尿管鏡、又は外視鏡などの撮像装置を含むことができる。開腹手術用途などの他の例では、撮像システムはスコープを含まなくてもよい。
本開示の様々な態様では、組織識別サブシステムは、スペクトル撮像システムで達成することができる。スペクトル撮像システムは、例えば、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像に依存することができる。組織のハイパースペクトル撮像は、参照によりその全体が本明細書に組み込まれる、2016年3月1日発行の「System and method for gross anatomic pathology using hyperspectral imaging」と題する米国特許第9,274,047号に更に記載されている。
本開示の様々な態様では、表面マッピングサブシステムは、本明細書で更に説明されるように、光パターンシステムで達成することができる。表面マッピングのための光パターン(又は構造光)の使用が知られている。既知の表面マッピング技術を、本明細書に記載される外科用可視化システムにおいて利用することができる。
構造光は、表面上に既知のパターン(多くの場合、グリッド又は水平バー)を投影するプロセスである。2017年3月2日公開の「SET COMPRISING A SURGICAL INSTRUMENT」と題する米国特許出願公開第2017/0055819号、及び2017年9月7日公開の「DEPICTION SYSTEM」と題する米国特許出願公開第2017/0251900号は、光源と光パターンを投影するためのプロジェクタとを備える外科用システムを開示している。2017年3月2日公開の「SET COMPRISING A SURGICAL INSTRUMENT」と題する米国特許出願公開第2017/0055819号、及び2017年9月7日公開の「DEPICTION SYSTEM」と題する米国特許出願公開第2017/0251900号は、それぞれの全体を参照することにより本明細書に組み込まれる。
本開示の様々な態様では、距離決定システムは、表面マッピングシステムに組み込むことができる。例えば、構造光を利用して、可視表面の三次元仮想モデルを生成し、可視表面に対する様々な距離を決定することができる。追加的に又は代替的に、距離決定システムは飛行時間測定に依存し、手術部位における識別された組織(又は他の構造)に対する1つ又は2つ以上の距離を決定することができる。
図2は、外科用可視化システム100と共に利用され得る制御システム133の概略図である。制御システム133は、メモリ134と信号通信する制御回路132を含む。メモリ134は、重要構造(例えば、図1の重要構造101)を決定及び/又は認識し、1つ又は2つ以上の距離及び/又は三次元デジタル表示を決定及び/又は計算し、かつ、特定の情報を1人又は2人以上の臨床医に通信する、制御回路132によって実行可能な命令を記憶する。例えば、メモリ134は、表面マッピング論理136、撮像論理138、組織識別論理140、若しくは距離決定論理141、又は論理136、138、140、及び141の任意の組み合わせを記憶する。制御システム133はまた、1つ若しくは2つ以上のカメラ144(図1の撮像装置120のようなもの)、1つ若しくは2つ以上のディスプレイ146、又は1つ若しくは2つ以上のコントロール148、又はこれらの要素の任意の組み合わせを有する撮像システム142を含む。カメラ144は、様々な可視及び不可視スペクトルで光を放出する様々な光源からの信号を受信するための1つ又は2つ以上のイメージセンサ135(例えば、なかでも、可視光、スペクトルイメージャ、三次元レンズ)を含むことができる。ディスプレイ146は、1人又は2人以上の臨床医に対して、現実、仮想、及び/又は仮想的に拡張された画像及び/又は情報を描写するための1つ以上のスクリーン又はモニタを含むことができる。
様々な態様では、カメラ144の中心部はイメージセンサ135である。一般に、最新のイメージセンサ135は、ピクセルと呼ばれる別個の光検出部位を最大で数百万個含む固体電子デバイスである。イメージセンサ135技術は、電荷結合素子(Charge-Coupled Device、CCD)及び相捕型金属酸化膜半導体(Complementary Metal-Oxide Semiconductor、CMOS)イメージャの2つのカテゴリーの1つに分類され、より最近では、短波赤外線(SWIR)が撮像における新たな技術である。別のタイプのイメージセンサ135は、ハイブリッドCCD/CMOSアーキテクチャ(「sCOMS」の名称で販売)を採用し、CCD撮像基板にバンプ接合されたCMOS読み出し集積回路(ROIC)からなる。CCD及びCMOSイメージセンサ135は、約350~1050nmの波長に対する感度を有するが、この範囲は通常400~1000nmである。CMOSセンサは、一般に、CCDセンサよりもIR波長に対して感度が高い。固体イメージセンサ135は、光電効果に基づいており、その結果、色を区別することができない。したがって、1チップ及び3チップの2種類のカラーCCDカメラが存在する。1チップカラーCCDカメラは、共通の低コストの画像化ソリューションを提供し、モザイク(例えば、ベイヤー)光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを用いてフルカラー画像を解像する。次いで、各色は、異なる画素セットに誘導される。3チップカラーCCDカメラは、プリズムを用いることによってより高い解像度を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を決定するためのアルゴリズムを使用するのではなく、別個のRGB強度値を有するため、より正確な色再現が可能である。3チップカメラは、非常に高い解像度を提供する。
制御システム133はまた、スペクトル光源150と構造光源152とを含む。特定の例では、単一の光源は、スペクトル光源150の範囲内の光の波長及び構造光源152の範囲内の光の波長をパルス放射することができる。あるいは、単一の光源は、可視スペクトル内の光(例えば、赤外スペクトル光)及び可視スペクトル上の光の波長をパルス供給することができる。スペクトル光源150は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び/又は選択的スペクトル光源であってよい。様々な例において、組織識別論理140は、カメラ144のイメージセンサ135部分によって受信されたスペクトル光源150からのデータを介して、重要構造を識別することができる。表面マッピング論理136は、反射された構造光に基づいて可視組織の表面の輪郭を決定することができる。飛行時間測定により、距離決定論理141は、可視組織及び/又は重要構造101までの1つ又は2つ以上の距離を決定することができる。表面マッピング論理136、組織識別論理140、及び距離決定論理141からの1つ又は2つ以上の出力は、撮像論理138に提供されることができ、撮像システム142のディスプレイ146を介して臨床医に伝達されるように組み合わされる、一体化される、かつ/又はオーバーレイされることができる。
ここで簡単に図2A~図2Cを説明し、外科用可視化システム100の様々な態様を制御するための制御回路132の様々な態様を述べる。図2Aを見ると、本開示の少なくとも1つの態様による、外科用可視化システム100の態様を制御するように構成された制御回路400が示される。制御回路400は、本明細書に説明される様々なプロセスを実装するように構成され得る。制御回路400は、少なくとも1つのメモリ回路404に結合された1つ又は2つ以上のプロセッサ402(例えば、マイクロプロセッサ、マイクロコントローラ)を備えるマイクロコントローラを備えることができる。メモリ回路404は、プロセッサ402によって実行されると、本明細書に記載される様々なプロセスを実装するための機械命令をプロセッサ402に実行させる、機械実行可能命令を記憶する。プロセッサ402は、当該技術分野で既知の多数のシングルコア又はマルチコアプロセッサのうちの任意の1つであってもよい。メモリ回路404は、揮発性及び不揮発性の記憶媒体を備えることができる。プロセッサ402は、命令処理ユニット406及び演算ユニット408を含んでもよい。命令処理ユニットは、本開示のメモリ回路404から命令を受信するように構成されてもよい。
図2Bは、本開示の少なくとも1つの態様による、外科用可視化システム100の態様を制御するように構成された組み合わせ論理回路410を示す。組み合わせ論理回路410は、本明細書に説明される様々なプロセスを実装するように構成され得る。組み合わせ論理回路410は、入力414で外科用器具又はツールと関連付けられたデータを受信し、組み合わせ論理412によってデータを処理し、出力416を提供するように構成された組み合わせ論理412を備える有限状態マシンを含んでもよい。
図2Cは、本開示の少なくとも1つの態様による、外科用可視化システム100の態様を制御するように構成された順序論理回路420を示す。順序論理回路420又は組み合わせ論理422は、本明細書に記載される様々なプロセスを実装するように構成され得る。順序論理回路420は有限状態マシンを含んでもよい。順序論理回路420は、例えば、組み合わせ論理422、少なくとも1つのメモリ回路424、及びクロック429を含んでもよい。少なくとも1つのメモリ回路424は、有限状態マシンの現在の状態を記憶することができる。特定の例では、順序論理回路420は、同期式又は非同期式であってもよい。組み合わせ論理422は、入力426から外科用装置又はシステムと関連付けられたデータを受信し、組み合わせ論理422によってデータを処理し、出力428を提供するように構成される。他の態様では、回路は、プロセッサ(例えば、図2Aのプロセッサ402)と、本明細書の様々なプロセスを実施する有限状態マシンと、の組み合わせを含んでもよい。他の態様では、有限状態マシンは、組み合わせ論理回路(例えば図2Bの組み合わせ論理回路410)と順序論理回路420との組み合わせを含むことができる。
図1の外科用可視化システム100を再び参照すると、重要構造101は、目的とする解剖学的構造であり得る。例えば、重要構造101は、他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び/又は腫瘍であり得る。他の例では、重要構造101は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び/又はプレートなどであり得る。例示的な重要構造は、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば2018年9月11日出願の「VISUALIZATION OF SURGICAL DEVICES」と題する米国特許出願第16/128,192号を含む前述の米国特許出願に更に記載されている。
一態様では、重要構造101は、組織103に埋め込まれ得る。換言すれば、重要構造101は、組織103の表面105の下に位置決めされ得る。そのような例では、組織103は臨床医の視界から重要構造101を隠している。重要構造101はまた、組織103によって撮像装置120の視界からも見えない。組織103は、例えば、脂肪、結合組織、癒着部、及び/又は器官であり得る。他の例では、重要構造101は、視野から部分的に隠されることもある。
図1はまた、外科用装置102も示す。外科用装置102は、外科用装置102のシャフトの遠位端から延びる対向するジョーを有するエンドエフェクタを含む。外科用装置102は、例えば、切開器具、ステープラ、把持器具、クリップアプライヤ、並びに/又は、単極プローブ、双極プローブ、アブレーションプローブ、及び/若しくは超音波エンドエフェクタを含むエネルギー装置などの任意の好適な外科用装置であり得る。追加的に又は代替的に、外科用装置102は、例えば超音波装置などの別の撮像又は診断様式を含むことができる。本開示の一態様では、外科用可視化システム100は、1つ又は2つ以上の重要構造101の識別、及び外科用装置102の重要構造101への近接を達成するように構成され得る。
外科用可視化システム100の撮像装置120は、例えば可視光、スペクトル光波(可視又は不可視)、及び構造光パターン(可視又は不可視)などの様々な波長の光を検出するように構成されている。撮像装置120は、異なる信号を検出するための複数のレンズ、センサ、及び/又は受信器を含んでもよい。例えば、撮像装置120は、本明細書で更に説明するように、ハイパースペクトル、マルチスペクトル、又は選択的スペクトルカメラであり得る。撮像装置120はまた、波形センサ122(例えば、スペクトルイメージセンサ、検出器、及び/又は三次元カメラレンズ)も含むことができる。例えば、撮像装置120は、2つの二次元画像を同時に記録することによって、手術部位の三次元画像を生成し、手術部位の三次元画像をレンダリングし、及び/又は手術部位で1つ又は2つ以上の距離を決定するための、共に使用される右側レンズ及び左側レンズを含むことができる。追加的に又は代替的に、撮像装置120は、本明細書に更に記載されるように、可視組織のトポグラフィ、並びに隠された重要構造の識別及び位置を示す画像を受信するように構成され得る。例えば、図1に示すように、撮像装置120の視野を、組織の表面105上の光のパターン(構造光)と重ねることができる。
一態様では、外科用可視化システム100はロボットシステム110に組み込まれてもよい。例えば、ロボットシステム110は、第1のロボットアーム112と第2のロボットアーム114とを含んでもよい。ロボットアーム112、114は、サーボモータ制御を含むことができる剛性構造部材116及び継手118を含む。第1のロボットアーム112は、外科用装置102を操作するように構成され、第2のロボットアーム114は、撮像装置120を操作するように構成されている。ロボット制御ユニットは、例えば、外科用装置102及び撮像装置120に作用し得るロボットアーム112、114への制御運動を発するように構成され得る。
外科用可視化システム100はまた、表面105のトポグラフィ又はランドスケープの決定を可能にするために、縞、グリッド線、及び/又はドットなどの光のパターンを放出するように構成されているエミッタ106を含む。例えば、投影された光アレイ130は、表面105上の三次元走査及び位置合わせのために使用することができる。投影された光アレイ130は、例えば、外科用装置102、及び/又はロボットアーム112、114のうちの1つ、及び/又は撮像装置120上に位置するエミッタ106から放射され得る。一態様では、投影された光アレイ130を使用し、組織103の表面105及び/又は表面105の動きにより手術中に画定される形状を決定する。撮像装置120は、表面105から反射された投影された光アレイ130を検出して、表面105のトポグラフィ及び表面105までの様々な距離を決定するように構成されている。
一態様では、撮像装置120はまた、組織103の表面105を貫通して重要構造101に到達することができる電磁放射線124(NIR光子)を放出するように構成されている、光学波形エミッタ123を含んでもよい。撮像装置120及びその上の光学波形エミッタ123は、ロボットアーム114によって位置決め可能であり得る。撮像装置120上の対応する波形センサ122(例えば、イメージセンサ、分光計、又は振動センサ)は、波形センサ122によって受信された電磁放射線の影響を検出するように構成されている。光学波形エミッタ123によって放射される電磁放射線124の波長は、重要構造101などの解剖学的構造及び/又は物理的構造の種類の識別を可能にするように構成することができる。重要構造101の識別は、例えば、スペクトル分析、光音響、及び/又は超音波によって達成することができる。一態様では、電磁放射線124の波長は可変であってもよい。波形センサ122及び光学波形エミッタ123は、例えば、マルチスペクトル撮像システム及び/又は選択的スペクトル撮像システムを含むことができる。他の例では、波形センサ122及び光波形エミッタ123は、例えば光音響撮像システムを含むことができる。他の例では、光波形エミッタ123は、撮像装置120から別個の外科用装置上に配置され得る。
外科用可視化システム100はまた、手術部位において1つ又は2つ以上の距離を決定するように構成されている距離センサシステム104を含んでもよい。一態様では、飛行時間距離センサシステム104は、エミッタ106などのエミッタと受信器108とを含む飛行時間距離センサシステムであってもよく、外科用装置102上に配置され得る。他の例では、飛行時間エミッタは構造光エミッタとは別個であり得る。1つの一般的な態様では、飛行時間距離センサシステム104のエミッタ106部分は、非常に小さいレーザ源を含んでもよく、飛行時間距離センサシステム104の受信器108部分は、整合センサを含んでもよい。飛行時間距離センサシステム104は、「飛行時間」、つまり、エミッタ106によって放出されたレーザ光が受信器108のセンサ部分に跳ね返るまでにかかる時間を検出することができる。エミッタ106中で非常に狭い光源を使用することで、距離センサシステム104が、距離センサシステム104のすぐ前の組織103の表面105までの距離を決定することを可能にする。更に図1を参照すると、deは、エミッタ106から組織103の表面105までのエミッタ-組織間距離であり、dtは、外科用装置102の遠位端から組織の表面105までの装置-組織間距離である。距離センサシステム104を使用して、エミッタ-組織間距離deを決定することができる。装置-組織間距離dtは、外科用装置102の遠位端に対する、外科用装置102のシャフト上のエミッタ106の既知の位置から得ることができる。換言すれば、エミッタ106と外科用装置102の遠位端との間の距離が既知である場合、装置-組織間距離dtは、エミッタ-組織間距離deから決定され得る。特定の例において、外科用装置102のシャフトは、1つ又は2つ以上の関節継手を含むことができ、エミッタ106及びジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。特定の例では、三次元カメラを利用して、表面105までの1つ又は2つ以上の距離を三角測量することができる。
様々な例において、飛行時間距離センサシステム104のための受信器108は、外科用装置102の代わりに、別の外科用装置上に装着され得る。例えば、受信器108は、外科用装置102が中を通って手術部位に到達するように延びるカニューレ又はトロカール上に取り付けることができる。更に他の例では、飛行時間距離センサシステム104のための受信器108は、別のロボット制御アーム(例えばロボットアーム114)上、別のロボットによって操作される可動アーム上、及び/又は手術室(OR)のテーブル若しくは固定具に取り付けることができる。特定の例において、撮像装置120は、外科用装置102上のエミッタ106と撮像装置120との間の線を使用してエミッタ106から組織103の表面105までの距離を決定する、飛行時間受信器108を含む。例えば、距離deは、飛行時間距離センサシステム104のエミッタ106(外科用装置102上)及び受信器108(撮像装置120上)の既知の位置に基づいて三角測量され得る。受信器108の三次元位置は、手術中のロボット座標平面に対して既知であり、かつ/又は位置合わせされ得る。
特定の例では、飛行時間距離センサシステム104のエミッタ106の位置は、第1のロボットアーム112によって制御することができ、飛行時間距離センサシステム104の受信器108の位置は、第2のロボットアーム114によって制御することができる。他の例では、外科用可視化システム100は、ロボットシステムとは別に利用され得る。このような場合、距離センサシステム104は、ロボットシステムとは独立していてもよい。
特定の例では、ロボットアーム112、114のうちの1つ又は2つ以上は、外科処置で使用される主ロボットシステムとは別個であってもよい。ロボットアーム112、114のうちの少なくとも1つは、サーボモータ制御なしに特定の座標系に位置決めされ位置合わせされ得る。例えば、ロボットアーム110のための閉ループ制御システム及び/又は複数のセンサは、特定の座標系に対するロボットアーム112、114の位置を制御及び/又は位置合わせすることができる。同様に、外科用装置102及び撮像装置120の位置は、特定の座標系に対して位置合わせされ得る。
更に図1を参照すると、dwは、撮像装置120上に位置する光学波形エミッタ123から重要構造101の表面までのカメラ-重要構造間距離であり、dAは、組織103の表面105の下の重要構造101の深さ(すなわち、外科用装置102に最も近い表面105の部分と重要構造101との間の距離)である。様々な態様では、撮像装置120上に位置する光波形エミッタ123から放射される光波形の飛行時間は、カメラ-重要構造間距離dwを決定するように構成され得る。飛行時間センサと組み合わせたスペクトル撮像の使用について、本明細書で更に説明する。更に、ここで図3を参照すると、本開示の様々な態様において、組織103の表面105に対する重要構造101の深さdAは、距離dw、並びに外科用装置102上のエミッタ106及び撮像装置120上の光学波形エミッタ123の既知の位置(及び、したがって、これらの間の既知の距離dx)から三角測量によって決定され、距離de及びdAの合計である距離dyが決定され得る。
追加的に又は代替的に、光波形エミッタ123からの飛行時間は、光波形エミッタ123から組織103の表面105までの距離を決定するように構成することができる。例えば、第1の波形(又は波形の範囲)を利用して、カメラ-重要構造間距離dwを決定でき、第2の波形(又は波形の範囲)を利用して、組織103の表面105までの距離を決定できる。そのような例において、異なる波形を利用して、組織103の表面105の下の重要構造101の深さを決定することができる。
追加的に又は代替的に、特定の例では、距離dAは、超音波、登録磁気共鳴画像(MRI)又はコンピュータ断層撮影(CT)スキャンから決定され得る。更に他の例では、距離dAは、撮像装置によって受信された検出信号が材料の種類に基づいて変化し得るため、スペクトル撮像によって決定することができる。例えば、脂肪によって、検出信号が第1の方法又は第1の量で減少することがあり、コラーゲンによって、検出信号が異なる第2の方法又は第2の量で減少することがある。
ここで図4の外科用可視化システム160を参照すると、外科用装置162は、光学波形エミッタ123と、反射された波形を検出するように構成された波形センサ122とを含む。光波形エミッタ123は、本明細書に更に記載されるように、外科用装置162などの共通の装置から距離dt及びdwを決定するための波形を放出するように構成することができる。そのような例において、組織103の表面105から重要構造101の表面までの距離dAは、以下のように決定され得る:
dA=dw-dt
dA=dw-dt
本明細書に開示されるように、可視組織、埋め込まれた重要構造、及び外科用装置に関する様々な情報は、スペクトル波長及び構造光アレイを検出するように構成されているイメージセンサと組み合わせて、1つ又は2つ以上の飛行時間距離センサ、スペクトル撮像、及び/又は構造光アレイを組み込む組み合わせ法を利用することによって決定することができる。更に、イメージセンサは、可視光を受信することによって、手術部位の画像を撮像システムに提供するように構成することができる。論理又はアルゴリズムは、飛行時間センサ、スペクトル波長、構造光、及び可視光から受信した情報を識別し、表面組織及び下層の解剖学的構造の三次元画像をレンダリングするために使用される。様々な例において、撮像装置120は、複数のイメージセンサを含むことができる。
カメラ-重要構造間距離dwはまた、1つ又は2つ以上の代替方法で検出することができる。一態様では、例えば蛍光インドシアニングリーン(indosciedine green)(ICG)などの蛍光透視可視化技術を使用して、図6~図8に示されるような重要構造201を照らすことができる。カメラ220は、重要構造201の左側画像及び右側画像を同時に撮影する2つの光学波形センサ222、224を含むことができる(図7A及び7B)。そのような例では、カメラ220は、組織203の表面205の下の重要構造201の光を描写することができ、距離dwは、センサ222と224との間の既知の距離によって決定することができる。特定の例では、距離は、2つ以上のカメラを利用することによって、又は複数の位置間でカメラを移動させることによって、より正確に決定することができる。特定の態様では、1つのカメラは第1のロボットアームによって、第2のカメラは別のロボットアームによって制御され得る。このようなロボットシステムでは、1つのカメラは、例えば従動アーム上の従動カメラであり得る。従動アーム及びその上のカメラは、例えば、他のカメラを追跡し、特定の距離及び/又はレンズ角度を維持するようにプログラムすることができる。
更に他の態様では、外科用可視化システム100は、2つの別個の波形受信器(すなわち、カメラ/イメージセンサ)を用いてdwを決定してもよい。ここで図9を参照すると、重要構造301又はその内容物(例えば、血管又は血管の内容物)が蛍光透視法などによって信号302を発し得る場合、実際の位置は、既知の位置で2つの別個のカメラ320a、320bから三角測量することができる。
ここで図10A及び図10Bを参照すると、別の態様では、外科用可視化システムは、ディザリング又は移動カメラ440を用いて、距離dwを決定してもよい。カメラ440は、カメラ440の異なる位置における三次元座標が既知であるように、ロボット制御される。様々な例において、カメラ440は、カニューレ又は患者インターフェースで枢動することができる。例えば、重要構造401又はその内容物(例えば、血管又は容器の内容物)が、例えば蛍光透視法などによって信号を発し得る場合、実際の位置は、2つ以上の既知の位置間で急速に移動するカメラ440から三角測量することができる。図10Aでは、カメラ440は軸Aに沿って軸方向に移動される。より具体的には、カメラ440は、ロボットアーム上で行き来することなどによって、位置440’として示される位置まで、軸Aに沿って重要構造401により接近して距離d1だけを並進移動する。カメラ440が距離d1を移動し、重要構造401に対するビューのサイズが変化すると、重要構造401までの距離を計算することができる。例えば、4.28mmの軸方向並進(距離d1)は、6.28度の角度θ1及び8.19度の角度θ2に対応し得る。追加的に又は代替的に、カメラ440は、異なる位置の間の弧に沿って回転又は掃引することができる。ここで図10Bを参照すると、カメラ440は軸Aに沿って軸方向に移動され、軸Aの周りに角度θ3だけ回転される。カメラ440の回転のための枢動点442が、カニューレ/患者インターフェースに位置決めされている。図10Bでは、カメラ440は並進し、位置440’’まで回転する。カメラ440が移動し、重要構造401に対するビューの縁部が変化すると、重要構造401までの距離を計算することができる。図10Bにおいて、距離d2は、例えば9.01mmであってもよく、角度θ3は、例えば0.9度であってもよい。
図5は、多くの点で外科用可視化システム100と類似している、外科用可視化システム500を示す。様々な例において、外科用可視化システム500は、外科用可視化システム100の更なる例示であり得る。外科用可視化システム100と同様に、外科用可視化システム500は、外科用装置502と撮像装置520とを含む。撮像装置520は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放出するように構成されたスペクトル光エミッタ523を含む。撮像装置520はまた、様々な例において、三次元カメラと関連する電子処理回路とを含むことができる。外科用可視化システム500は、表面からは見えない器官503(この例では子宮)内の尿管501a及び血管501bなどの特定の重要構造を識別し、それらの回避を促進するために手術中に利用されているところが示されている。
外科用可視化システム500は、構造光を介して、外科用装置502上のエミッタ506から子宮503の表面505までのエミッタ-組織間距離deを決定するように構成されている。外科用可視化システム500は、エミッタ-組織間距離deに基づいて、外科用装置502から子宮503の表面505まで装置-組織間距離dtを外挿するように構成されている。また、外科用可視化システム500は、尿管501aから表面505までの組織-尿管間距離dA、及び撮像装置520から尿管501aまでのカメラ-尿管間距離dwを決定するように構成されている。図1に関して本明細書で説明するように、例えば、外科用可視化システム500は、例えば、スペクトル撮像及び飛行時間センサによって距離dwを決定することができる。様々な例において、外科用可視化システム500は、本明細書に記載される他の距離及び/又は表面マッピング論理に基づいて、組織-尿管間距離dA(つまり深さ)を決定(例えば、三角測量)することができる。
ここで図11を参照すると、例えば、外科用可視化システム100などの外科用可視化システムのための制御システム600の概略図が示されている。制御システム600は、特に、例えば脂肪、結合組織、血液、及び/又は他の器官などの他の組織によって重要構造が隠されているときに、スペクトルシグネチャ組織識別及び構造光組織位置決めを統合して、これらの構造を識別する変換システムである。このような技術はまた、器官内の健康な組織から腫瘍及び/又は病的組織を区別するなどの、組織の多様性を検出するのに有用であり得る。
制御システム600は、ハイパースペクトル撮像及び可視化システムを実施するように構成されており、このシステムでは、外科的視野内の解剖学的構造を検出及び識別するために分子応答が使用される。制御システム600は、組織データを外科医が使用可能な情報に変換するための変換論理回路648を含む。例えば、隠れている物質に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を識別することができる。更に、制御システム600は、識別されたスペクトルシグネチャと構造光データとを画像内で組み合わせる。例えば、制御システム600を用いて、増強画像オーバーレイを有するシステムにおける外科的使用のための三次元データセットを作成することができる。技術は、追加の視覚情報を使用して、手術中及び手術前の両方で使用することができる。様々な例において、制御システム600は、1つ又は2つ以上の重要構造の近接時に、臨床医に警告を提供するように構成されている。外科処置及び重要構造への近接に基づいて、ロボット自動化及び半自動化アプローチを誘導するための様々なアルゴリズムを採用することができる。
投影された光アレイを用いて、組織の形状及び運動を手術中に決定する。あるいは、フラッシュライダーを、組織の表面マッピングに利用してもよい。
制御システム600は、重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた/覆われた重要構造までの距離を測定するように構成されている。他の例では、制御システム600は、可視組織の表面までの距離を測定するか、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
制御システム600はスペクトル制御回路602を含む。スペクトル制御回路602は、例えば図2A~図2Cに関連して本明細書に記載されるような、フィールドプログラマブルゲートアレイ(FPGA)又は別の好適な回路構成であり得る。スペクトル制御回路602は、ビデオ入力プロセッサ606からビデオ入力信号を受信するプロセッサ604を含む。プロセッサ604は、ハイパースペクトル処理を行うように構成されてよく、例えば、C/C++コードを利用することができる。ビデオ入力プロセッサ606は、例えば、シャッター時間、波長、及びセンサ分析などの制御(メタデータ)データのビデオ入力端子を受容する。プロセッサ604は、ビデオ入力プロセッサ606からのビデオ入力信号を処理し、ビデオ出力信号を、例えばインターフェース制御(メタデータ)データのハイパースペクトルビデオ出力端子を含むビデオ出力プロセッサ608に提供するように構成されている。ビデオ出力プロセッサ608は、ビデオ出力信号を画像オーバーレイコントローラ610に提供する。
ビデオ入力プロセッサ606は、患者隔離回路614を介して患者側のカメラ612に結合される。前述したように、カメラ612は、固体イメージセンサ634を含む。患者隔離回路は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ612は、光学素子632及びイメージセンサ634を介して術中画像を受信する。イメージセンサ634は、例えば、CMOSイメージセンサを含むことができ、又は、例えば、図2に関連して本明細書で論じられるイメージセンサ技術のいずれかを含んでもよい。一態様では、カメラ612は、14ビット/画素信号で画像を出力する。より高い又はより低いピクセル解像度が、本開示の範囲から逸脱することなく利用されてもよいことも理解されよう。分離カメラ出力信号613は、ハードウェアレジスタ618及びNios2コプロセッサ620を使用してカメラ出力信号613を処理する、カラーRGB融合回路616に提供される。ビデオ入力プロセッサ606及びレーザパルス制御回路622には、カラーRGB融合出力信号が提供される。
レーザパルス制御回路622は、レーザ光エンジン624を制御する。レーザ光エンジン624は、近赤外(NIR)を含む複数の波長(λ1,λ2,λ3...λn)で光を出力する。レーザ光エンジン624は、複数のモードで動作することができる。一態様では、レーザ光エンジン624は、例えば、2つのモードで動作することができる。第1のモード、例えば通常動作モードでは、レーザ光エンジン624は照明信号を出力する。第2のモード、例えば、識別モードでは、レーザ光エンジン624はRGBG光及びNIR光を出力する。様々な例において、レーザ光エンジン624は、偏光モードで動作することができる。
レーザ光エンジン624からの光出力626は、手術中の手術部位627内の標的とする解剖学的構造を照明する。レーザパルス制御回路622はまた、手術部位627の手術組織又は器官上に所定の波長(λ2)で、線及び/又はドットのグリッド又はパターンなどのレーザ光パターン631を投影するレーザパターンプロジェクタ630用のレーザパルスコントローラ628を制御する。カメラ612は、カメラ光学素子632を通して出力されたパターン化された光及び反射光を受信する。イメージセンサ634は、受信した光をデジタル信号に変換する。
カラーRGB融合回路616はまた、画像オーバーレイコントローラ610、並びに、レーザパターンプロジェクタ630によって手術部位627で標的とする解剖学的構造上に投影されたレーザ光パターン631を読み取るためのビデオ入力モジュール636に信号を出力する。処理モジュール638は、レーザ光パターン631を処理し、手術部位627での可視組織までの距離を表す第1のビデオ出力信号640を出力する。データは、画像オーバーレイコントローラ610に提供される。処理モジュール638はまた、手術部位での標的とする解剖学的構造の組織又は器官の三次元レンダリング形状を表す第2のビデオ信号642を出力する。
第1及び第2のビデオ出力信号640、642は、集積モジュール643に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路602のビデオ出力プロセッサ608からのデータと組み合わせて、集積モジュール643は、覆われた重要構造までの距離dA(図1)を(例えば、三角測量アルゴリズム644を介して)決定することができ、距離dAは、ビデオ出力プロセッサ646を介して映像オーバーレイコントローラ610に提供され得る。前述の変換論理は、変換論理回路648、中間ビデオモニタ652、及び手術部位627に位置決めされたカメラ624/レーザパターンプロジェクタ630を包含することができる。
CT又はMRIスキャンによる術前データ650を用いて、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ650は、集積モジュール643、最終的には画像オーバーレイコントローラ610に提供することができ、そのため、このような情報はカメラ612からのビューとオーバーレイされ、ビデオモニタ652に提供され得る。術前データの位置合わせは、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば2018年9月11日出願の「INTEGRATION OF IMAGING DATA」と題する米国特許出願第16/128,195号などの前述の米国特許出願に更に記載されている。
ビデオモニタ652は、画像オーバーレイコントローラ610から統合/拡張画像を出力することができる。臨床医は、1つ又は2つ以上のモニタ上の異なる画像を選択し、及び/又は切り替えることができる。第1のモニタ652a上で、臨床医は、(A)可視組織の三次元レンダリングが示されているビューと、(B)1つ又は2つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描かれている拡張ビューとを切り替えることができる。第2のモニタ652bでは、臨床医は、例えば、1つ又は2つ以上の隠れた重要構造及び/又は可視組織の表面までの距離測定値を切り替えることができる。
制御システム600及び/又はその様々な制御回路は、本明細書に開示される様々な外科用可視化システムに組み込むことができる。
図12は、本開示の少なくとも1つの態様による、構造(又はパターン)光システム700を示す。本明細書に記載されるように、例えばストライプ又は線の形態の構造光は、光源及び/又はプロジェクタ706から標的とする解剖学的構造の表面705上に投影されて、表面705の形状及び輪郭を特定することができる。例えば、撮像装置120(図1)と様々な点で類似し得るカメラ720は、表面705上の投影された光パターンを検出するように構成することができる。投影パターンが表面705に衝突すると変形する方法により、視覚システムが標的とする解剖学的構造の深さ及び表面情報を計算することを可能にする。
特定の例では、不可視(又は感知不能)構造光を利用することができ、構造光は、投影パターンが混乱し得る他のコンピュータの視覚的タスクと干渉することなく使用される。例えば、2つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。構造光は、en.wikipedia.org/wiki/Structured_lightで更に説明されている。
上記のように、本明細書に記載の種々の外科用可視化システムは、スペクトルの可視部分においてEMRによって可視化が不明瞭化され得る組織及び/又は解剖学的構造を含めて、様々な異なるタイプの組織及び/又は解剖学的構造を可視化するために利用され得る。一態様では、外科用可視化システムは、構成物質の様々な組み合わせに基づいて異なるタイプの組織を可視化するために、スペクトル撮像システムを利用し得る。特に、スペクトル撮像システムは、様々なEMR波長にわたる組織の吸収係数に基づいて可視化される組織内の様々な構成物質の存在を検出するように構成され得る。スペクトル撮像システムは、構成物質の特定の組み合わせに基づいて可視化されている組織の組織タイプを特徴付けるように更に構成され得る。説明のため、図13Aは、様々な生体物質の吸収係数がEMR波長スペクトルにわたってどのように変化するかを示すグラフ2300である。グラフ2300では、垂直軸2303は、生体物質の吸収係数(例えば、cm-1単位)を表し、水平軸2304はEMR波長(例えば、μm単位)を表す。グラフ2300は、様々なEMR波長での水の吸収係数を表す第1の線2310、様々なEMR波長でのタンパク質の吸収係数を表す第2の線2312、様々なEMR波長でのメラニンの吸収係数を表す第3の線2314、様々なEMR波長での脱酸素化ヘモグロビンの吸収係数を表す第4の線2316、様々なEMR波長での酸素化ヘモグロビンの吸収係数を表す第5の線2318、及び様々なEMR波長でのコラーゲンの吸収係数を表す第6の線2319を更に示す。異なる組織タイプは、構成物質の異なる組み合わせを有し、したがって、外科的可視化システムによって可視化されている組織タイプは、検出された構成物質の特定の組み合わせに従って識別及び区別され得る。したがって、スペクトル撮像システムが、多くの異なる波長でEMRを放出し、異なる波長における検出された吸収EMR吸収応答に基づいて組織の構成物質を決定し、次いで、構成物質の特定の検出された組み合わせに基づいて組織タイプを特徴付けるように構成され得る。
異なる組織タイプ及び/又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の例が図13Bに示されている。図13Bでは、スペクトルエミッタ2320(例えば、スペクトル光源150)が、手術部位2325を可視化するために撮像システムによって利用されている。スペクトルエミッタ2320によって放出され、手術部位2325において組織及び/又は構造から反射されたEMRは、イメージセンサ135(図2)によって受容され、視認可能であり得るか(例えば、手術部位2325の表面に位置する)あるいは不明瞭であり得る(例えば、手術部位2325において他の組織及び/又は構造の下にある)組織及び/又は構造を可視化し得る。この例では、撮像システム142(図2)は、異なる組織/構造型の各々の構成物質の種々の吸収特性(例えば、吸収係数)を特徴とするスペクトルシグネチャに基づいて、腫瘍2332、動脈2334、及び様々な異常2338(すなわち、既知の又は予想されるスペクトルシグネチャが確認されない組織)を可視化し得る。可視化された組織及び構造は、撮像システムディスプレイ146(図2)、一次ディスプレイ2119(図18)、非滅菌ディスプレイ2109(図18)、ハブディスプレイ2215(図19)、デバイス/器具ディスプレイ2237(図19)などの撮像システム142に関連付けられた、又は結合されたディスプレイスクリーン上に表示され得る。
更に、撮像システム142は、識別された組織及び/又は構造タイプに従って、表示される手術部位の可視化を調整又は更新するように構成され得る。例えば、撮像システム142は、ディスプレイスクリーン(例えば、ディスプレイ146)上で可視化されている腫瘍2332と関連付けられたマージン2330aを表示することができる。マージン2330aは、腫瘍2332の完全な除去を確実にするために切除されるべき組織の面積又は量を示し得る。制御システム133(図2)は、撮像システム142によって識別された組織及び/又は構造に基づいて、マージン2330aの寸法を制御又は更新するように構成され得る。図示の例では、撮像システム142は、FOV内で複数の異常2338を識別した。したがって、制御システム133は、表示されたマージン2330aを、異常2338を包含するのに十分な寸法を有する第1の更新済みマージン2330bに調整することができる。更に、撮像システム142はまた、(動脈2334の強調表示された領域2336によって示されるように)最初に表示されたマージン2330aと部分的に重複する動脈2334を識別している。したがって、制御システム133は、表示されたマージン2330aを、動脈2334の関連部分を包含するのに十分な寸法を有する第2の更新済みマージン2330cに調整することができる。
組織及び/又は構造はまた、図13A及び図13Bに関して上述したそれらの吸収特性に加えて、又はそれに代わって、EMR波長スペクトルにわたるそれらの反射特性に従って撮像又は特徴付けされ得る。例えば、図13C~図13Eは、異なるEMR波長にわたる異なるタイプの組織又は構造の反射率の様々なグラフを示す。図13Cは、覆い隠すものに対する例示的な尿管シグネチャのグラフ表示1050である。図13Dは、覆い隠すものに対する例示的な動脈シグネチャのグラフ表示1052である。図13Eは、覆い隠すものに対する例示的な神経シグネチャのグラフ表示1054である。図13C~図13Eのプロットは、対応する波長での脂肪、肺組織、及び血液の対応する反射率に対する特定の構造(尿管、動脈、及び神経)の反射率を波長(nm)の関数として表す。これらのグラフは単に例示を目的としたものであり、他の組織及び/又は構造が、組織及び/又は構造を識別及び可視化することを可能にする、対応する検出可能な反射率シグネチャを有し得ることを理解されたい。
様々な例において、スペクトル撮像のための選択波長は、手術部位において予想される重要構造及び/又は覆い隠すものに基づいて特定及び利用することができる(すなわち、「選択的スペクトル」撮像)。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイム又はほぼリアルタイムで取得し、手術中に利用することができるように、最小化することができる。様々な例において、臨床医によって、又は臨床医による入力に基づいて制御回路によって波長を選択することができる。特定の例では、波長を、例えば、クラウドを介して制御回路にアクセス可能な機械学習及び/又はビッグデータに基づいて選択することができる。
前述の組織へのスペクトル撮像の適用は、波形エミッタと組織によって覆い隠される重要構造との間の距離を測定するために、手術中に利用することができる。本開示の一態様では、ここで図14及び図15を参照すると、波形1124、1125を利用した飛行時間センサシステム1104が示されている。飛行時間センサシステム1104は、特定の例において、外科用可視化システム100(図1)に組み込むことができる。飛行時間センサシステム1104は、波形エミッタ1106と、同じ外科用装置1102上の波形受信器1108とを含む。放出された波1124は、エミッタ1106から重要構造1101まで延び、受信された波1125は、重要構造1101から受信器1108によって反射される。外科用装置1102は、患者の空洞1107内に延びるトロカール1110を通って位置決めされる。
波形1124、1125は、覆い隠している組織1103を透過するように構成される。例えば、波形1124、1125の波長は、NIRスペクトル又はSWIRスペクトルの波長であり得る。一態様では、スペクトル信号(例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル)又は光音響信号をエミッタ1106から放出することができ、重要構造1101を隠している組織1103を透過することができる。放出された波形1124は、重要構造1101によって反射され得る。受信された波形1125は、外科用装置1102の遠位端と重要構造1101との間の距離dに起因して遅延され得る。様々な例において、波形1124、1125は、本明細書に更に記載されるように、重要構造1101のスペクトルシグネチャに基づいて、組織1103内の重要構造1101を標的とするように選択され得る。様々な例において、エミッタ1106は、例えば図15に示されるように、オン及びオフの二値信号を提供するように構成されており、この二値信号は受信器1108によって測定することができる。
放出された波1124と受信された波1125との間の遅延に基づいて、飛行時間センサシステム1104は距離dを決定するように構成される(図14)。図14のエミッタ1106及び受信器1108の飛行時間タイミング図1130を図15に示す。遅延は距離dの関数であり、距離dは、以下の式で与えられる:
本明細書で提供されるように、波形1124、1125の飛行時間は、図14の距離dに対応する。様々な例において、追加のエミッタ/受信器及び/又はエミッタ1106からのパルス信号は、非透過信号を発するように構成することができる。非透過組織は、エミッタから覆い隠している組織1103の表面1105までの距離を決定するように構成することができる。様々な例において、重要構造1101の深さは、以下の式によって決定することができる:
dA=dw-dt
式中、
dA=重要構造1101の深さであり、
dw=エミッタ1106から重要構造1101までの距離(図14のd)であり、
dt=エミッタ1106(外科用装置1102の遠位端上)から覆い隠している組織1103の表面1105までの距離である。
dA=dw-dt
式中、
dA=重要構造1101の深さであり、
dw=エミッタ1106から重要構造1101までの距離(図14のd)であり、
dt=エミッタ1106(外科用装置1102の遠位端上)から覆い隠している組織1103の表面1105までの距離である。
本開示の一態様では、ここで図16を参照すると、波1224a、1224b、1224c、1225a、1225b、1225cを利用した飛行時間センサシステム1204が示されている。飛行時間センサシステム1204は、特定の例において、外科用可視化システム100(図1)に組み込むことができる。飛行時間センサシステム1204は、波形エミッタ1206と波形受信器1208とを含む。波形エミッタ1206は、第1の外科用装置1202a上に位置決めされ、波形受信器1208は第2の外科用装置1202b上に位置決めされる。外科用装置1202a、1202bは、患者の空洞1207内に延びるそれぞれトロカール1210a、1210bを通して位置決めされる。放出された波1224a、1224b、1224cは、エミッタ1206から手術部位に向かって延び、受信された波1225a、1225b、1225cは、手術部位における様々な構造及び/又は表面から受信器1208に反射される。
異なる放出された波1224a、1224b、1224cは、手術部位において異なる種類の物質を標的にするように構成されている。例えば、波1224aは覆い隠している組織1203を標的とし、波1224bは第1の重要構造1201a(例えば、血管)を標的とし、波1224cは第2の重要構造1201b(例えば、癌性腫瘍)を標的とする。波1224a、1224b、1224cの波長は、可視光、NIR、又はSWIRスペクトルの波長であってよい。例えば、可視光は、組織1203の表面1205に反射することができ、NIR波形及び/又はSWIR波形は、組織1203の表面1205を透過するように構成することができる。様々な態様では、本明細書に記載されるように、スペクトル信号(例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル)又は光音響信号をエミッタ1206から放出することができる。様々な例において、波1224b、1224cは、本明細書に更に記載されるように、重要構造1201a、1201bのスペクトルシグネチャに基づいて、組織1203内の重要構造1201a、1201bを標的とするように選択され得る。光音響撮像は、様々な米国特許出願に更に記載されており、それらは参照により本明細書に組み込まれる。
放出された波1224a、1224b、1224cは、標的物質(すなわち、それぞれ表面1205、第1の重要構造1201a、及び第2の構造1201b)から反射され得る。受信された波形1225a、1225b、1225cは、図16に示される距離d1a、d2a、d3a、d1b、d2b、d2cによって遅延され得る。
エミッタ1206及び受信器1208が独立して位置決め可能である(例えば、別個の外科用装置1202a、1202b上で、及び/又は別個のロボットアームによって制御される)飛行時間センサシステム1204では、様々な距離d1a、d2a、d3a、d1b、d2b、d2cが、エミッタ1206及び受信器1208の既知の位置から計算され得る。例えば、外科用装置1202a、1202bがロボット制御されているとき、位置は既知であり得る。エミッタ1206及び受信器1208の位置、並びに、特定の組織を標的とするまでの光子流の時間及びその特定の応答の受信器1208によって受信された情報に関する知見によって、距離d1a、d2a、d3a、d1b、d2b、d2cの決定が可能となり得る。一態様では、覆い隠された重要構造1201a、1201bまでの距離は、透過波長を使用して三角測量することができる。光の速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間センサシステム1204は、様々な距離を決定することができる。
更に図16を参照すると、様々な例において、臨床医に提供されたビューでは、受信器1208を、結果として得られる画像内の標的構造の質量中心が一定のままになるように、すなわち、選択された標的構造1203、1201a、又は1201bの軸に垂直な平面内で回転させることができる。そのような向きは、重要構造に対して、1つ又は2つ以上の関連する距離及び/又は視点を迅速に通信することができる。例えば、図16に示されるように、重要構造1201aが視野平面に垂直である(すなわち、血管がページの内外に向いている)視点から、手術部位が表示される。様々な例において、そのような配向は、デフォルト設定であり得るが、しかしながら、ビューは、臨床医によって回転され得るか、あるいは別様に調整され得る。特定の例では、臨床医は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び/又は標的構造を切り替えることができる。
様々な例において、受信器1208は、外科用装置1202bが中に配置される、例えばトロカール1210bなどのトロカール又はカニューレ上に取り付けられてもよい。他の例では、受信器1208は、三次元位置が既知である別個のロボットアームに取り付けることができる。様々な例において、受信器1208は、外科用装置1202aを制御するロボットとは別個の可動アーム上に取り付けることができ、又は手術中にロボット座標平面に位置合わせ可能な手術室(OR)のテーブルに取り付けることができる。そのような例では、エミッタ1206及び受信器1208の位置は、飛行時間センサシステム1204の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
ナノ秒の分解能を有するNIR光の時間分解特性を測定することが可能である、TOF-NIRSと呼ばれる飛行時間センサシステム及び近赤外分光法(NIRS)の組み合わせは、その全体が参照により本明細書に組み込まれる、「TIME-OF-FLIGHT NEAR-INFRARED SPECTROSCOPY FOR NONDESTRUCTIVE MEASUREMENT OF INTERNAL QUALITY IN GRAPEFRUIT」と題するJournal of the American Society for Horticultural Science,May 2013 vol.138 no.3 225-228の文献に見出すことができ、journal.ashspublications.org/content/138/3/225.fullからアクセス可能である。
様々な例において、飛行時間スペクトル波形は、重要構造の深さ及び/又は外科用装置の重要構造への近接度を決定するように構成されている。更に、本明細書に開示される様々な外科用可視化システムは、可視組織の表面に三次元レンダリングを作成するように構成された表面マッピング論理を含む。そのような例では、可視組織が重要構造を覆い隠す場合であっても、臨床医は、重要構造への外科用装置の近接度(又は近接していないこと)を認識することができる。1つの例では、手術部位のトポグラフィは、表面マッピング論理によってモニタ上に提供される。重要構造が組織の表面に近い場合、スペクトル撮像は、臨床医に重要構造の位置を伝達することができる。例えば、スペクトル撮像は、表面の5mm又は10mm以内の構造を検出することができる。他の例では、スペクトル撮像は、組織の表面の10mm又は20mm下の構造を検出することができる。スペクトル撮像システムの既知の限界に基づいて、システムは、スペクトル撮像システムによって単純に検出されない場合、重要構造が範囲外であることを伝えるように構成される。したがって、臨床医は、外科用装置を動かし続けること、及び/又は組織を操作し続けることができる。重要構造がスペクトル撮像システムの範囲内に移動すると、システムは構造を識別することができ、したがって、構造が範囲内にあることを通信することができる。そのような例では、構造が最初に識別され、かつ/又は既定の近接ゾーン内に更に移動されたときに、警告を提供することができる。そのような例では、既知の境界/範囲を有するスペクトル撮像システムによって重要構造が識別されない場合であっても、臨床医に近接度の情報(すなわち、近接していないこと)を提供することができる。
本明細書に開示される様々な外科用可視化システムは、手術中に、重要構造の存在及び/又は近接を特定し、不注意による切開及び/又は横切開によって重要構造を損傷する前に臨床医に警告するように構成され得る。様々な態様では、外科用可視化システムは、以下の重要構造、例えば、尿管、腸、直腸、神経(横隔神経、反回神経[RLN]、突起顔面神経、迷走神経、及びそれらの分枝部を含む)、血管(肺及び肺葉の動脈及び静脈、下腸間膜動脈[IMA]及びそれらの分枝部、上直腸動脈、S字結腸動脈、及び左結腸動脈を含む)、上腸間膜動脈(SMA)及びそれらの分枝部(中結腸動脈、右結腸動脈、回腸結腸動脈を含む)、肝動脈及びそれらの分枝部、門脈及びそれらの分枝部、脾臓動脈/静脈及びそれらの分枝部、外腸骨血管及び内腸骨血管(下腹部)、短胃動脈、子宮動脈、正中仙骨血管、及びリンパ節のうちの1つ又は2つ以上を識別するように構成されている。更に、外科用可視化システムは、外科用装置の重要構造への近接度を示し、かつ/又は、外科用装置が重要構造に接近すると臨床医に警告するように構成されている。
本開示の様々な態様は、手術中の重要構造の識別(例えば、尿管、神経、及び/又は血管の識別)及び器具接近モニタリングを提供する。例えば、本明細書に開示される様々な外科用可視化システムは、例えば、組織の表面の1.0cm~1.5cm下などの組織の表面の下の重要構造の可視化を可能にする、スペクトル撮像及び外科用器具トラッキングを含み得る。他の例では、外科用可視化システムは、組織の表面の1.0cm未満又は1.5cm超下の構造を識別することができる。例えば、表面の0.2mm以内の構造のみを識別することができる外科用可視化システムであっても、例えば、深さによって本来は見えない場合に有用であり得る。様々な態様では、外科用可視化システムは、例えば、可視組織の表面上の可視白色光画像のオーバーレイとして重要構造をバーチャルに表示することによって、臨床医の視界を拡張することができる。外科用可視化システムは、外科用器具の遠位先端部のリアルタイムな三次元空間的トラッキングを提供することができ、外科用器具の遠位先端が重要構造のある範囲内、例えば、重要構造の1.0cm以内などに移動すると、近接警告を提供することができる。
本明細書に開示される様々な外科用可視化システムは、重要構造に対して切開が近すぎるときを識別することができる。温度(すなわち、重要構造を損傷/加熱/融解させる危険があり得る重要構造の近くで過度に熱い)、及び/又は、張力(すなわち、重要構造を損傷させる/裂傷させる/引く危険があり得る重要構造の近くで張力が過度に大きい)に基づくと、切開が重要構造に「近すぎる」場合がある。このような外科用可視化システムは、例えば結紮の前に血管周囲組織を剥離するときに、血管周囲の切開を容易にすることができる。様々な例において、熱画像化カメラを利用して、手術部位の熱を読み取り、検出された熱及びツールから構造までの距離に基づいて警告を臨床医に提供することができる。例えば、ツールの温度が所定の閾値(例えば120°Fなど)を超える場合、警告は、第1の距離(例えば10mmなど)で臨床医に提供され得、ツールの温度が既定の閾値以下である場合、警告は、第2の距離(例えば5mmなど)で臨床医に提供され得る。既定の閾値及び/又は警告距離は、デフォルト設定である、及び/又は臨床医によってプログラム可能であり得る。追加的に又は代替的に、近接警告は、例えば、単極又は双極の切開器具又は血管シーラーの遠位ジョー内の熱を測定する熱電対などの、ツール自体によって行われる熱測定に連結され得る。
本明細書に開示される様々な外科用可視化システムは、臨床医が、注意基準及び/又は装置安全データに基づいて、自信を持って迅速でありながら安全な切開を進めることを可能にするために、重要構造に対する十分な感度と特異性を提供することができる。このシステムは、患者又は臨床医に対して最小限の電離放射線リスクで外科処置中の手術中にリアルタイムで機能し得、様々な例において、患者又は臨床医に対する電離放射線リスクはない。逆に、蛍光透視法において、患者及び臨床医は、例えば、解剖学的構造をリアルタイムで見るために利用されるX線ビームを介して電離放射線に曝露され得る。
本明細書に開示される様々な外科用可視化システムは、例えば、外科用装置の経路がロボット制御されるときなど、外科用装置の前方経路内の1つ又は2つ以上の所望の種類の重要構造を検出及び識別するように構成され得る。追加的に又は代替的に、外科用可視化システムは、例えば、外科用装置の周囲領域及び/又は複数の平面/範囲において、1つ又は2つ以上の種類の重要構造を検出及び識別するように構成され得る。
本明細書に開示される様々な外科用可視化システムは、容易に操作及び/又は解釈することができる。更に、様々な外科用可視化システムは、臨床医がデフォルト設定及び/又は動作をオーバーライドすることを可能にする「オーバーライド」特徴を組み込むことができる。例えば、臨床医は、外科用可視化システムからの警告を選択的にオフにして、かつ/又は、重要構造に対するリスクが、その領域を回避するリスクより低い場合(例えば、重要構造の周囲で癌を除去するとき、癌性組織を残すリスクは、重要構造の損傷のリスクよりも大きい場合がある)など、外科用可視化システムによって提示されるよりも重要構造に近付けることができる。
本明細書に開示される様々な外科用可視化システムは、外科用システムに組み込むことができ、かつ/又は、ワークフローに対する限定された影響を有する外科処置中に使用することができる。換言すれば、外科用可視化システムの実施は、外科処置が実施される方法を変更しなくてよい。更に、外科用可視化システムは、不注意な切断のコストと比較して経済的であり得る。データは、重要構造への不注意による損傷の低減が償還額の増加を促進することがあると示している。
本明細書に開示される様々な外科用可視化システムは、臨床医が重要構造を予想することを可能にするために、リアルタイム又はほぼリアルタイム、かつ十分事前に動作することができる。例えば、外科用可視化システムは、外科処置の効率を最大化するために、「減速、評価、及び回避」のため十分な時間を提供することができる。
本明細書に開示される様々な外科用可視化システムは、組織に注入される造影剤又は染料を必要としなくてよい。例えば、スペクトル撮像は、造影剤又は染料を使用することなく、隠れた構造を手術中に視覚化するように構成される。他の例では、造影剤は、他の可視化システムよりも組織の適切な層に注入するのが容易であり得る。造影剤の注入と重要構造の可視化との間の時間は、例えば、2時間未満であり得る。
本明細書に開示される様々な外科用可視化システムは、臨床データ及び/又は装置データと連結され得る。例えば、データは、外科医が損傷を望まない組織から、エネルギーを有効化する外科用装置(又は他の損傷可能性がある装置)までの距離の境界を提供することができる。本明細書に開示される外科用可視化システムとインターフェースする任意のデータモジュールは、例えば、観血的処置又は腹腔鏡処置における独立型外科用装置との使用を可能にするために、ロボットと一体的又は別個に提供することができる。外科用可視化システムは、様々な例においてロボット外科用システムと適合することができる。例えば、視覚化画像/情報は、ロボットコンソール内に表示され得る。
様々な例において、臨床医は、外科用ツールに対する重要構造の位置を知ることができない。例えば、重要構造が組織に埋め込まれている場合、臨床医は、重要構造の位置の確認が不可能な場合がある。特定の例において、臨床医は、重要構造を取り囲む位置の範囲外、及び/又は隠れた重要構造を覆う可視組織から離れて、外科用装置を維持することを望む場合がある。隠れた重要構造の位置が不明である場合、臨床医は、重要構造に過度に接近させる危険を冒しかねず、その結果、重要構造の不注意による外傷及び/若しくは切開が生じ、並びに/又は、重要構造付近での過度のエネルギー、熱、及び/若しくは張力をかける恐れがある。あるいは、臨床医は、重要構造である疑いのある場所から遠く離れたまま留まり、重要構造を避けようと努力して、望ましくない場所の組織に影響を及ぼすリスクもあり得る。
1つ又は2つ以上の重要構造に対する外科用装置の追跡を提示する、外科用可視化システムが提供される。例えば、外科用可視化システムは、重要構造に対する外科用装置の近接度を追跡することができる。このような追跡は、手術中、リアルタイムで、及び/又はほぼリアルタイムで行われ得る。様々な例において、追跡データは、撮像システムのディスプレイスクリーン(例えばモニタ)を介して臨床医に提供され得る。
本開示の一態様では、外科用可視化システムは、構造光パターンを可視表面上に放出するように構成されているエミッタを備える外科用装置と、埋め込まれた構造及び可視表面上の構造光パターンを検出するように構成されているカメラを備える撮像システムと、カメラ及び撮像システムと信号通信する制御回路と、を含み、制御回路は、外科用装置から埋め込まれた構造までの距離を決定することと、距離を示す信号を撮像システムに提供することと、を行うように構成されている。例えば、距離は、蛍光透視法によって光る重要構造までのカメラからの距離を計算することによって、カメラの複数のレンズ(例えば、左側レンズ及び右側レンズ)からの画像によって提供される照らされた構造の三次元ビューに基づいて決定することができる。外科用装置から重要構造までの距離は、例えば、外科用装置及びカメラの既知の位置に基づいて三角測量することができる。埋め込まれた重要構造までの距離を決定するための代替的な手段が、本明細書で更に説明される。例えば、NIR飛行時間距離センサを使用することができる。追加的に又は代替的に、外科用可視化システムは、埋め込まれた重要構造にオーバーレイしている、/覆っている可視組織までの距離を決定することができる。例えば、外科用可視化システムは、隠れた重要構造を識別し、可視構造上に隠れた重要構造の概略、例えば可視組織の表面上の線を描くことによって、隠れた重要構造の画像を拡張することができる。外科用可視化システムは、可視組織上の拡張された線までの距離を更に決定することができる。
本明細書に開示される様々な外科用可視化システムによって提供されるように、隠れた重要構造及び/又は可視構造までの外科用装置の近接度に関する最新情報を臨床医に提供することによって、臨床医は、隠れた重要構造に対する外科用装置の配置について、より情報に基づく判断を行うことができる。例えば、臨床医は、外科用装置と重要構造との間の距離をリアルタイムで/手術中に見ることができ、特定の例において、外科用装置が重要構造の既定の近接度及び/又はゾーン内で移動するときに、撮像システムによってアラート及び/又は警告を提供することができる。特定の例において、アラート及び/又は警告は、外科用装置の軌道が、重要構造付近の「飛行禁止」区域に衝突する可能性(例えば、重要構造の1mm、2mm、5mm、10mm、20mm以上以内)を示すときに提供され得る。そのような例において、重要構造である疑いのある場所及びそこへの外科用装置の近接の臨床医による監視を必要とせずに、臨床医は、外科処置を通して操作を維持することができる。結果として、より少ない休止/中断、並びに/又は、改善された精度及び/若しくは確実性で、特定の外科処置をより迅速に実行することができる。一態様では、外科用可視化システムを利用して、健康な組織から腫瘍/癌組織/病的組織を区別するため、組織の多様性、例えば器官内の組織の多様性を検出することができる。このような外科用可視化システムは、健康な組織の除去を最小限に抑えながら、病的組織の除去を最大限にすることができる。
外科用ハブシステム
本明細書に記載の様々な可視化又は撮像システムは、図17~図19に関連して例示され、また以下で更に詳細に説明されるように、外科用ハブシステムに組み込まれ得る。
本明細書に記載の様々な可視化又は撮像システムは、図17~図19に関連して例示され、また以下で更に詳細に説明されるように、外科用ハブシステムに組み込まれ得る。
図17を参照すると、コンピュータ実施インタラクティブ外科用システム2100は、1つ又は2つ以上の外科用システム2102と、クラウドベースのシステム(例えば、ストレージ装置2105に結合されたリモートサーバ2113を含むことができるクラウド2104)と、を含む。各外科用システム2102は、リモートサーバ2113を含み得るクラウド2104と通信する、少なくとも1つの外科用ハブ2106を含む。一例では、図17に示すように、外科用システム2102は、互いに、及び/又はハブ2106と通信するように構成された、可視化システム2108と、ロボットシステム2110と、ハンドヘルド式インテリジェント外科用器具2112と、を含む。いくつかの態様では、外科用システム2102は、M個のハブ2106と、N個の可視化システム2108と、O個のロボットシステム2110と、P個のハンドヘルド式インテリジェント外科用器具2112と、を含んでもよく、ここでM、N、O及びPは1以上の整数である。
図18は、外科手術室2116内の手術台2114上に横たわる患者に対して外科処置を実施するために使用される外科用システム2102の例を示す。ロボットシステム2110は、外科処置において外科用システム2102の一部として使用される。ロボットシステム2110は、外科医のコンソール2118と、患者側カート2120(外科用ロボット)と、外科用ロボットハブ2122と、を含む。外科医が外科医のコンソール2118を介して手術部位を見る間、患者側カート2120は、患者の身体の低侵襲切開部を介して、少なくとも1つの取り外し可能に結合された外科用ツール2117を操作することができる。手術部位の画像は医療用撮像装置2124によって得ることができ、医療用撮像装置2124は、患者側カート2120によって操作され、撮像装置2124を配向し得る。ロボットハブ2122は、手術部位の画像を処理し、その後外科医のコンソール2118を介して外科医に対して画像を表示させるために使用することができる。
他の種類のロボットシステムを、外科用システム2102と共に使用するために容易に適合させることができる。本開示での使用に好適なロボットシステム及び外科用ツールの様々な例が、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
クラウド2104によって実行され、本開示での使用に適しているクラウドベースの分析の様々な例が、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
様々な態様では、撮像装置2124は、少なくとも1つのイメージセンサと、1つ又は2つ以上の光学構成要素と、を含む。好適なイメージセンサとしては、電荷結合素子(CCD)センサ及び相補型金属酸化膜半導体(CMOS)センサが挙げられるが、これらに限定されない。
撮像装置2124の光学構成要素は、1つ若しくは2つ以上の照明光源及び/又は1つ若しくは2つ以上のレンズを含んでもよい。1つ若しくは2つ以上の照明光源は、手術野の一部を照明するように方向付けられてもよい。1つ又は2つ以上のイメージセンサは、組織及び/又は外科用器具から反射又は屈折された光を含む、手術野から反射又は屈折された光を受光することができる。
1つ若しくは2つ以上の照明光源は、可視スペクトル及び不可視スペクトル内の電磁エネルギーを放射するように構成され得る。光学スペクトル又は発光スペクトルと称されることもある可視スペクトルは、人間の目に可視の(すなわち、人間の目で検出可能な)電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約380nm~約750nmの波長に反応する。
不可視スペクトル(すなわち、非発光スペクトル)は、可視スペクトルの下方及び上方に位置する(すなわち、約380nm未満及び約750nm超の波長の)電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約750nmを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線(IR)、マイクロ波及び無線電磁放射線になる。約380nm未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、X線及びガンマ線電磁放射線になる。
様々な態様では、撮像装置2124は、低侵襲性手術で使用するように構成されている。本開示と共に使用するのに好適な撮像装置の例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡(胃鏡)、内視鏡、喉頭鏡、鼻咽喉-腎盂鏡(nasopharyngo-neproscope)、S状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
一態様では、撮像装置は、トポグラフィと下層構造とを区別するためにマルチスペクトルモニタリングを用いる。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、IR及び紫外光を含む特定の波長の光を感知できる器具を使用することによって分離することができる。スペクトル撮像法は、人間の目がその赤色、緑色及び青色の受容体で捕捉することのできない追加情報の抽出を可能にすることができる。マルチスペクトル撮像法の使用については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。マルチスペクトルモニタリングは、治療される組織上で上述の試験の1つ又は2つ以上を実施するため、外科的タスクが完了した後に手術野を再配置するのに有用なツールであり得る。
いかなる手術においても手術室及び外科用設備の厳格な滅菌が必要であることは自明である。「外科施術の行われる現場(surgical theater)」、すなわち手術室(operating room)又は処置室(treatment room)に必要とされる厳格な衛生及び滅菌条件は、全ての医療装置及び設備の最大級の滅菌性を必要とする。上記の滅菌プロセスの一部としては、患者と接触する、又は滅菌野に侵入するあらゆるもの(撮像装置2124並びにその付属品及び構成要素を含む)を滅菌する必要が挙げられる。滅菌野は、トレイ内若しくは滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、又は滅菌野は、外科処置のために準備された患者のすぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
様々な態様では、可視化システム2108は、図18に示されるように、滅菌野に対して戦略的に配置された1つ又は2つ以上の撮像センサと、1つ又は2つ以上の画像処理ユニットと、1つ又は2つ以上のストレージアレイと、1つ又は2つ以上のディスプレイと、を含む。一態様では、可視化システム2108は、HL7、PACS及びEMRのインターフェースを含む。可視化システム2108の様々な構成要素については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されている。
図18に示すように、一次ディスプレイ2119は、手術台2114のところにいるオペレータに可視であるように滅菌野内に位置決めされる。加えて、可視化タワー21121が、滅菌野の外に位置決めされる。可視化タワー21121は、互いに離れる方に面する第1の非滅菌ディスプレイ2107及び第2の非滅菌ディスプレイ2109を含む。ハブ2106によって誘導される可視化システム2108は、ディスプレイ2107、2109及び2119を利用して、滅菌野の内側及び外側のオペレータに対する情報フローを調整するように構成されている。例えば、ハブ2106は、可視化システム2108に一次ディスプレイ2119上の手術部位のライブ映像を維持させながら、撮像装置2124によって記録される手術部位のスナップショットを非滅菌ディスプレイ2107又は2109上に表示させることができる。非滅菌ディスプレイ2107又は2109上のスナップショットは、例えば、滅菌されていないオペレータにより、外科処置に関連する診断工程を実施可能とすることができる。
一態様では、ハブ2106は、可視化タワー21121のところにいる滅菌されていないオペレータによって入力された診断入力又はフィードバックを滅菌領域内の一次ディスプレイ2119に送り、これを手術台のところにいる滅菌されているオペレータが見ることができるようにも構成されている。一例では、入力は、ハブ2106によって一次ディスプレイ2119に送ることのできる、非滅菌ディスプレイ2107又は2109上に表示されたスナップショットに対する修正の形態であってもよい。
図18を参照すると、外科用器具2112は、外科処置において外科用システム2102の一部として使用されている。ハブ2106はまた、本開示において参照により本明細書に組み込まれる様々な米国特許出願に記載されているように、外科用器具2112のディスプレイへの情報の流れを調整するように構成されている。可視化タワー21121のところにいる滅菌されていないオペレータによって入力される診断入力又はフィードバックは、ハブ2106によって滅菌野内の外科用器具ディスプレイ2115に送られることができ、ここで診断入力又はフィードバックを、外科用器具2112のオペレータが見ることができる。外科用システム2102と共に使用するのに好適な例示的な外科用器具が、本開示において参照により本明細書に組み込まれる様々な特許出願に記載されている。
図19は、コンピュータ実施インタラクティブ外科用システム2200を示す。コンピュータ実施インタラクティブ外科用システム2200は、多くの点で、コンピュータ実施インタラクティブ外科用システム2100と類似している。外科用システム2200は、リモートサーバ2213を含み得るクラウド2204と通信する少なくとも1つの外科用ハブ2236を含む。一態様では、コンピュータ実施インタラクティブ外科用システム2200は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続された外科用ハブ2236を備える。外科用ハブ2236は、外科用ハブ2236をクラウド2204及び/又はリモートサーバ2213に通信可能に結合するための通信インターフェースを備える。図19の実施例に示すように、外科用ハブ2236は、内視鏡2239に結合された撮像モジュール2238、エネルギー装置2421に結合された発生器モジュール2240、排煙器モジュール2226、吸引/灌注モジュール2228、通信モジュール2230、プロセッサモジュール2232、ストレージアレイ2234、任意選択的にディスプレイ2237に結合されたスマート装置/器具2235、及び非接触センサモジュール2242に連結されている。手術室装置は、外科用ハブ2236を介してクラウドコンピューティングリソース及びデータストレージに結合されている。ロボットハブ2222もまた、外科用ハブ2236及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置/器具2235、可視化システム2209が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、外科用ハブ2236に結合されてもよい。外科用ハブ2236は、撮像モジュール、装置/器具ディスプレイ及び/又は他の可視化システム208から受信した画像を表示及びオーバーレイするためにハブディスプレイ2215(例えば、モニタ、スクリーン)に結合されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続された装置から受信したデータを、画像及びオーバーレイ画像と共に表示してもよい。
状況認識
本明細書に記載の可視化システムの様々な可視化システム又は態様は、外科用ハブ2106、2236(図17~図19)によって具体化又は実行され得る状況認識システムの一部として利用され得る。特に、外科器具又は他の外科用装置(それらの位置、向き、及び動作を含む)、組織、構造、ユーザ、及び手術野又は手術室内に位置する他のものを特徴付け、識別、及び/又は可視化することは、実施される外科処置のタイプ又はその工程、外科医によって操作される組織及び/又は構造のタイプなどを推測するために状況認識システムによって利用され得るコンテキストデータを提供することになり得る。このコンテキストデータは次いで、ユーザに警告を提供すること、ユーザが取るべき後続の工程又はアクションを提案すること、器具の使用を予測して外科用器具を準備すること(例えば、外科処置の後続の工程で利用される電気外科用器具を予測して電気外科用発生器を起動させること)、外科用器具をインテリジェントに制御すること(例えば、各患者の特定の健康プロファイルに基づいて外科用器具の動作パラメータをカスタマイズすること)などのために、状況認識システムによって利用され得る。
本明細書に記載の可視化システムの様々な可視化システム又は態様は、外科用ハブ2106、2236(図17~図19)によって具体化又は実行され得る状況認識システムの一部として利用され得る。特に、外科器具又は他の外科用装置(それらの位置、向き、及び動作を含む)、組織、構造、ユーザ、及び手術野又は手術室内に位置する他のものを特徴付け、識別、及び/又は可視化することは、実施される外科処置のタイプ又はその工程、外科医によって操作される組織及び/又は構造のタイプなどを推測するために状況認識システムによって利用され得るコンテキストデータを提供することになり得る。このコンテキストデータは次いで、ユーザに警告を提供すること、ユーザが取るべき後続の工程又はアクションを提案すること、器具の使用を予測して外科用器具を準備すること(例えば、外科処置の後続の工程で利用される電気外科用器具を予測して電気外科用発生器を起動させること)、外科用器具をインテリジェントに制御すること(例えば、各患者の特定の健康プロファイルに基づいて外科用器具の動作パラメータをカスタマイズすること)などのために、状況認識システムによって利用され得る。
感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」装置は、感知されたデータを考慮することなく動作する「データ処理能力のない(dumb)」装置に改善を加えたものであり得るが、いくつかの感知されたデータは、単独で考慮される場合、すなわち、実施される外科処置のタイプ又は手術されている組織のタイプのコンテキストなしには、不完全又は決定的ではない可能性がある。処置コンテキストを知る(例えば、手術される組織のタイプ又は実施されている処置のタイプを知る)ことがなければ、制御アルゴリズムは、特定のコンテキストを含まない感知データが与えられると、モジュール式装置を不正確に又は最適ではなく制御することがある。モジュール式装置は、可視化システムデバイス(例えば、カメラ又はディスプレイスクリーン)、外科用器具(例えば、超音波外科用器具、電気外科用器具、又は外科用ステープラ)、及び他の外科用装置(例えば、煙排出器)など、状況認識システムによって制御可能な任意の外科用装置を含み得る。例えば、特定の感知されたパラメータに応答して外科用器具を制御するための制御アルゴリズムの最適な方法は、手術されている特定の組織のタイプによって変化する可能性がある。これは、異なる組織のタイプが異なる特性(例えば、引き裂きに対する抵抗)を有し、そのため、外科用器具によってとられたアクションに対して異なって応答するという事実に起因する。したがって、特定のパラメータについて同じ測定値が感知された場合であっても、外科用器具が異なるアクションをとることが望ましいことがある。1つの具体的な例として、外科用ステープル留め及び切断器具がそのエンドエフェクタを閉鎖するために予想外に高い力を感知することに応答してその器具を制御する最適な方法は、組織のタイプが引き裂きの影響を受けやすいか、又はこれに耐性があるかによって異なる。肺組織など、引き裂きの影響を受けやすい組織の場合、器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答してモータを最適にランプダウンさせる。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答してモータを最適にランプアップさせる。肺組織がクランプされているのか、胃組織がクランプされているのかを知らなければ、制御アルゴリズムは、最適ではない決定を行う可能性がある。
1つの解決策は、様々なデータソースから受信したデータに基づいて実施されている外科処置に関する情報を導出し、次いで、ペアリングされたモジュール式装置を適宜制御するように構成されたシステムを含む、外科用ハブを利用する。換言すれば、外科用ハブは、受信したデータから外科処置に関する情報を推測し、次いで、外科処置の推定されたコンテキストに基づいて、外科用ハブとペアリングされたモジュール式装置を制御するように構成されている。図20は、本開示の少なくとも1つの態様による、状況認識外科用システム2400の図を示す。いくつかの例示では、データソース2426は、例えば、モジュール式装置2402(患者及び/又はモジュール式装置自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る)、データベース2422(例えば、患者記録を含むEMRデータベース)、及び患者監視装置2424(例えば、血圧(BP)モニタ及び心電図(EKG)モニタ)を含む。
外科用ハブ2404は、多くの点でハブ106と類似していてよく、例えば、受信したデータの特定の組み合わせ又はデータソース2426からデータが受信される特定の順序に基づいて、外科処置に関するコンテキスト情報をデータから導出するように構成され得る。受信したデータから推定されるコンテキスト情報は、例えば、実施される外科処置のタイプ、外科医が実施している外科処置の特定の工程、手術されている組織のタイプ、又は処置の対象である体腔を含み得る。受信したデータから外科処置に関連する情報を導出又は推定するための外科用ハブ2404のいくつかの態様によるこの能力は、「状況認識」と称され得る。1つの例示では、外科用ハブ2404は、受信したデータから外科処置に関連するコンテキスト情報を導出する外科用ハブ2404に関連付けられたハードウェア及び/又はプログラミングである状況認識システムを組み込むことができる。
外科用ハブ2404の状況認識システムは、様々な異なる方法でデータソース2426から受信したデータからコンテキスト情報を導出するように構成され得る。1つの例示では、状況認識システムは、様々な入力(例えば、データベース2422、患者監視装置2424、及び/又はモジュール式装置2402からのデータ)を、外科処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム(例えば、人工ニューラルネットワーク)を含む。換言すれば、機械学習システムは、提供された入力から外科処置に関するコンテキスト情報を正確に導出するように訓練され得る。別の例示では、状況認識システムは、外科処置に関する事前に特徴付けされたコンテキスト情報を、コンテキスト情報に対応する1つ又は2つ以上の入力(又は入力の範囲)と対応させて記憶する、ルックアップテーブルを含み得る。1つ又は2つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式装置2402を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。1つの例示では、外科用ハブ2404の状況認識システムによって受信されたコンテキスト情報は、1つ又は2つ以上のモジュール式装置2402の特定の制御調整又は一連の制御調整に関連付けられる。別の例示では、状況認識システムは、コンテキスト情報を入力として提供されたときに1つ又は2つ以上のモジュール式装置2402の1つ又は2つ以上の制御調整を生成又は検索する、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
状況認識システムを組み込む外科用ハブ2404は、外科用システム2400に多くの利益を提供する。1つの利益は、感知され収集されたデータの解釈を改善することを含み、これは、外科処置の過程中の処理精度及び/又はデータの使用を改善する。前の例に戻ると、状況認識した外科用ハブ2404は、どのタイプの組織が手術されているかを判定することができ、したがって、外科用器具のエンドエフェクタを閉じるために予想外に高い力が検出されると、状況認識した外科用ハブ2404は、組織のタイプに合わせて外科用器具のモータを正しくランプアップ又はランプダウンさせることができる。
別の実施例として、手術されている組織のタイプは、特定の組織間隙測定のための外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値になされる調整に影響を及ぼし得る。状況認識した外科用ハブ2404は、実施されている外科処置が胸部処置であるのか又は腹部処置であるのかを推定することができ、これにより外科用ハブ2404は、外科用ステープル留め及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか(胸部手術の場合)又は胃であるのか(腹部手術の場合)を判定することができる。次いで、外科用ハブ2404は、外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値を、組織のタイプに合わせて適切に調整することができる。
更に別の実施例として、送気処置中に手術されている体腔のタイプは、煙排出器の機能に影響を及ぼし得る。状況認識した外科用ハブ2404は、手術部位が(外科処置が送気を利用していると判定することによって)圧力下にあるかどうかを判定し、処置タイプを判定することができる。処置タイプは概して特定の体腔内で実施されるため、外科用ハブ2404は、手術されている体腔に合わせて適切に煙排出器のモータ速度を制御することができる。したがって、状況認識した手術ハブ2404は、胸部手術及び腹部手術の両方のために一定量の煙排出を提供することができる。
更に別の実施例として、実施されている処置のタイプは、超音波外科用器具又は高周波(RF)電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。例えば、関節鏡処置は、超音波外科用器具又はRF電気外科用器具のエンドエフェクタが流体中に浸漬されるため、より高いエネルギーレベルを必要とする。状況認識した外科用ハブ2404は、外科処置が関節鏡処置であるかどうかを判定することができる。次いで、外科用ハブ2404は、流体充填環境を補償するために、発生器のRF電力レベル又は超音波振幅(すなわち、「エネルギーレベル」)を調整することができる。関連して、手術されている組織のタイプは、超音波外科用器具又はRF電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識した外科用ハブ2404は、どのタイプの外科処置が実施されているかを判定し、次いで、外科処置に関する予想される組織プロファイルに従って超音波外科用器具又はRF電気外用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識した外科用ハブ2404は、処置ごとにではなく、外科処置の過程にわたって、超音波外科用器具又はRF電気外科用器具のエネルギーレベルを調整するように構成され得る。状況認識した外科用ハブ2404は、外科処置のどの工程が実施されているか、又はその後に実施されるかを判定し、次いで発生器及び/又は超音波外科用器具若しくはRF電気外科用器具の制御アルゴリズムを更新して、外科処置の工程に従って予想される組織タイプに適切な値にエネルギーレベルを設定することができる。
更に別の例として、外科用ハブ2404が1つのデータソース2426から引き出す結論を改善するために、追加のデータソース2426からデータを引き出してもよい。状況認識した外科用ハブ2404は、モジュール式装置2402から受信したデータを、他のデータソース2426から外科処置に関して構築したコンテキスト情報で増強することができる。例えば、状況認識した外科用ハブ2404は、医療用撮像装置から受信したビデオ又は画像データに従って、止血が発生したかどうか(すなわち、手術部位での出血が止まったかどうか)を判定するように構成され得る。しかしながら、場合によっては、ビデオ又は画像データは、決定的ではない可能性がある。したがって、1つの例示では、外科用ハブ2404は、生理学的測定(例えば、外科用ハブ2404に通信可能に接続されたBPモニタによって感知された血圧)を、(例えば、外科用ハブ2404に通信可能に結合された医療用撮像装置124(図2)からの)止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性についての判定を行うように更に構成され得る。換言すれば、外科用ハブ2404の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用であり得る。
別の利益としては、外科処置の過程中に医療関係者が外科用システム2400と相互作用するか又はこれを制御するために必要とされる回数を低減するために、実施されている外科処置の特定の工程に従って、ペアリングされたモジュール式装置2402を積極的かつ自動的に制御することが挙げられる。例えば、状況認識した外科用ハブ2404は、処置の後続の工程が器具の使用を必要とすると判定した場合に、RF電気外科用器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行する工程が完了するとすぐに器具を使用準備完了にすることができる。
別の実施例として、状況認識した外科用ハブ2404は、外科処置の現在又は後続の工程が、ディスプレイ上の異なる視界又は拡大の度合いを必要とするかどうかを、外科医が見る必要があると予想される手術部位における特徴に従って判定することができる。次いで、外科用ハブ2404は、(例えば、可視化システム108のために医療用撮像装置によって供給される)表示されたビューを適切に積極的に変更することができ、その結果、ディスプレイは外科処置にわたって自動的に調整するようになる。
更に別の例として、状況認識した外科用ハブ2404は、外科処置のどの工程が実施されているか、又はその後に実施されるか、及び特定のデータ又はデータ間の比較が外科処置のその工程に必要とされるかどうかを判定することができる。外科用ハブ2404は、外科医が特定の情報を尋ねるのを待つことなく、実施されている外科処置の工程に基づいて、自動的にデータスクリーンを呼び出すように構成され得る。
別の利益としては、外科処置のセットアップ中又は外科処置の過程中にエラーをチェックすることが挙げられる。例えば、状況認識した外科用ハブ2404は、手術室が、実施される外科処置のために適切に又は最適にセットアップされているかどうかを判定することができる。外科用ハブ2404は、実施されている外科処置のタイプを判定し、対応するチェックリスト、製品位置、又はセットアップニーズを(例えば、メモリから)読み出し、次いで、現在の手術室のレイアウトを、外科用ハブ2404が実施されていると判定した外科処置のタイプの標準レイアウトと比較するように構成され得る。1つの例示では、外科用ハブ2404は、例えば、好適なスキャナによってスキャンされた処置のためのアイテムのリスト及び/又は外科用ハブ2404とペアリングされる装置のリストを、所与の外科処置のためのアイテム及び/又は装置の推奨又は予想されるマニフェストと比較するように構成され得る。リスト間に不連続性が存在する場合、外科用ハブ2404は、特定のモジュール式装置2402、患者監視装置2424、及び/又は他の外科用アイテムが欠落していることを示す警告を提供するように構成され得る。1つの例示では、外科用ハブ2404は、例えば、近接センサによってモジュール式装置2402及び患者監視装置2424の相対距離又は位置を判定するように構成され得る。外科用ハブ2404は、装置の相対位置を、特定の外科処置のための推奨される又は予想されるレイアウトと比較することができる。レイアウト間に不連続性が存在する場合、外科用ハブ2404は、外科処置の現在のレイアウトが推奨されるレイアウトから逸脱していることを示す警告を提供するように構成され得る。
別の例として、状況認識した外科用ハブ2404は、外科医(又は他の医療関係者)が誤りを犯しているか、又は別の方法で外科処置の過程中に求められる一連のアクションから逸脱しているかどうかを判定することができる。例えば、外科用ハブ2404は、実施されている外科処置のタイプを判定し、設備使用の工程又は順序の対応するリストを(例えば、メモリから)読み出し、次いで、外科処置の過程中に実施されている工程、又は使用されている設備を、外科用ハブ2404が実施されていると判定した外科処置のタイプの予想された工程又は設備と比較するように構成され得る。1つの例示では、外科用ハブ2404は、外科処置における特定の工程で、予期せぬアクションが実施されているか、又は予期せぬ装置が利用されていることを示す警告を提供するように構成され得る。
全体的に、外科用ハブ2404のための状況認識システムは、各外科処置の特定のコンテキストのために外科用器具(及び他のモジュール式装置2402)を調整し(例えば、異なる組織のタイプに調整する)、外科処置中のアクションを検証することによって、外科処置の結果を改善する。状況認識システムはまた、処置の特定のコンテキストに従って、次の工程を自動的に示唆すること、データを提供すること、及び手術現場内のディスプレイ及び他のモジュール式装置2402を調整することによって、外科処置を実施する際の外科医の効率を改善する。
ここで図21を参照すると、例えば、外科用ハブ106又は206(図1~図11)などのハブの状況認識を示すタイムライン2500が示されている。タイムライン2500は例示的な外科処置と、外科用ハブ106、206が、外科処置の各工程でデータソースから受信したデータから導き出すことができるコンテキスト情報と、を示す。タイムライン2500は、手術室を設置することから開始し、患者を術後回復室に移送することで終了する肺区域切除処置の過程で、看護師、外科医及び他の医療関係者がとるであろう典型的な工程を示す。
状況認識外科用ハブ106、206は、外科処置の過程全体にわたって、医療関係者が外科用ハブ106、206とペアリングされたモジュール式装置を使用する度に生成されるデータを含むデータをデータソースから受信する。外科用ハブ106、206は、ペアリングされたモジュール式装置及び他のデータソースからこのデータを受信する。そして任意の所与の時間に処置のどの工程が実施されているかなどの新しいデータが受信されると、進行中の処置に関する推定(すなわち、コンテキスト情報)を継続的に導出することができる。外科用ハブ106、206の状況認識システムは、例えば、レポートを生成するために処置に関するデータを記録すること、医療関係者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを(例えば、ディスプレイスクリーンを介して)提供すること、コンテキストに基づいてモジュール式装置を調節すること(例えば、モニタを起動する、医療用撮像装置の視野(FOV)を調節する、又は超音波外科用器具若しくはRF電気外科用器具のエネルギーレベルを変更することなど)及び上述の任意の他のこうしたアクションを行うことが可能である。
この例示的な処置における第1の工程2502として、病院職員は、病院のEMRデータベースから、患者のEMRを読み出す。EMRにおける選択された患者データに基づいて、外科用ハブ106、206は、実施される処置が胸郭処置であると判定する。
第2の工程2504では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ106、206は、スキャンされた用品を様々なタイプの処置で利用される用品のリストと相互参照し、用品の組み合わせが、胸郭処置に対応するものであることを確認する。更に、外科用ハブ106、206はまた、処置が楔状処置ではないと判定することができる(入来する用品が、胸郭楔状処置に必要な特定の用品を含まないか、又は別の点で胸郭楔状処置に対応していないかのいずれかであるため)。
第3の工程2506では、医療関係者は、外科用ハブ106、206に通信可能に接続されたスキャナを介して患者のバンドをスキャンする。続いて、外科用ハブ106、206は、スキャンされたデータに基づいて患者の識別情報を確認することができる。
第4の工程2508では、医療スタッフが補助装置をオンにする。利用される補助装置は、外科処置のタイプ及び外科医によって使用される技術に従って変わり得るが、この例示的な場合では、これらとしては、排煙器、吸入器及び医療用撮像装置が挙げられる。起動されると、モジュール式装置である補助装置は、その初期化プロセスの一部として、モジュール式装置の特定の近傍内に位置する外科用ハブ106、206と自動的にペアリングすることができる。続いて、外科用ハブ106、206は、この手術前又は初期化段階中にそれとペアリングされるモジュール式装置のタイプを検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の例では、外科用ハブ106、206は、ペアリングされたモジュール式装置のこの特定の組み合わせに基づいて、外科処置がVATS処置であると判定する。患者のEMRからのデータ、手術に用いられる医療用品のリスト及びハブに接続するモジュール式装置のタイプの組み合わせに基づいて、外科用ハブ106、206は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ106、206が、何の特定の処置が実施されているかを認識すると、続いて外科用ハブ106、206は、メモリから、又はクラウドからその処置の工程を読み出して、次に接続されたデータソース(例えば、モジュール式装置及び患者監視装置)からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実施しているかを推定することができる。
第5の工程2510では、職員は、EKG電極及び他の患者監視装置を患者に取り付ける。EKG電極及び他の患者監視装置は、外科用ハブ106、206とペアリングすることができる。外科用ハブ106、206が患者監視装置からデータの受信を開始すると、外科用ハブ106、206は患者が手術室にいることを確認する。
第6の工程2512では、医療関係者は患者に麻酔をかける。外科用ハブ106、206は、例えば、EKGデータ、血圧データ、ベンチレータデータ又はこれらの組み合わせを含む、モジュール式装置及び/又は患者監視装置からのデータに基づいて、患者が麻酔下にあることを推定することができる。第6の工程2512が完了すると、肺区域切除処置の術前部分が完了し、手術部分が開始する。
第7の工程2514では、手術をされている患者の肺が虚脱される(他方、換気が対側肺に切り替えられる)。外科用ハブ106、206は、例えば、患者の肺が虚脱されたことをベンチレータデータから推定することができる。外科用ハブ106、206は、患者の肺が虚脱したのを検出したことを、処置の予期される工程(事前にアクセス又は読み出すことができる)と比較することができるため、処置の手術部分が既に開始されたと推定して、それによって肺を虚脱させることがこの特定の処置における第1の手術工程であると判定することができる。
第8の工程2516では、医療用撮像装置(例えば、スコープ)が挿入され、医療用撮像装置からのビデオ映像が開始される。外科用ハブ106、206は、医療用撮像装置への接続を通じて医療用撮像装置データ(すなわち、ビデオ又は画像データ)を受信する。医療用撮像装置データを受信すると、外科用ハブ106、206は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ106、206は、実施されている特定の処置が、肺葉切除とは異なり区域切除術であると判定することができる(処置の第2の工程2504で受信したデータに基づいて、外科用ハブ106、206によって楔状処置は既にその可能性がないと判断されていることに留意されたい)。医療用撮像装置124(図2)からのデータは、実施されている処置のタイプに関するコンテキスト情報を判定するために多くの異なる方法で用いられてもよい。例えば、患者の解剖学的構造を可視化したものに対して、医療用撮像装置が向いている角度を判定したり、用いられている(すなわち、起動されており、外科用ハブ106、206とペアリングされている)医療用撮像装置の数を監視したり、用いられている可視化装置のタイプを監視したりするために用いられてよい。例えば、VATS肺葉切除術を実施するための1つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、VATS区域切除術を実施するための1つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。例えば、パターン認識又は機械学習技術を使用して、状況認識システムは、患者の解剖学的構造を可視化したものに基づいて、医療用撮像装置の位置を認識するように訓練され得る。別の例として、VATS肺葉切除術を実施するための1つの技術は、単一の医療用撮像装置を利用するが、VATS区域切除術を実施するための別の技術は複数のカメラを利用する。更に別の例として、VATS区域切除術を実施するための1つの技術は、区域裂を可視化するために赤外線光源(可視化システムの一部として外科用ハブに通信可能に結合され得る)を使用するが、これはVATS肺葉切除術では使用されない。医療用撮像装置からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ106、206は、実施されている特定のタイプの外科処置及び/又は特定のタイプの外科処置に使用されている技術を判定することができる。
第9の工程2518で、外科チームは、処置の切開工程を開始する。外科用ハブ106、206は、エネルギー器具が発射されていることを示すRF又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して動員するプロセスにあると推定することができる。外科用ハブ106、206は、受信されたデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点(すなわち、上述された処置の工程が完了した後)で発射されているエネルギー器具が、切開工程に対応していると判定することができる。特定の例では、エネルギー器具は、ロボット外科システムのロボットアームに装着されたエネルギーツールであり得る。
第10の工程2520で、外科チームは、処置の結紮工程に進む。外科用ハブ106、206は、外科用ステープル留め及び切断器具から、その器具が発射されていることを示すデータを受信するので、外科医が現在、動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ106、206は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。特定の例では、外科用器具は、ロボット外科システムのロボットアームに装着された外科用ツールであり得る。
第11の工程2522では、処置の区域切除部分が実施される。外科用ハブ106、206は、そのカートリッジからのデータを含む、外科用ステープル留め及び切断器具からのデータに基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されるステープルのサイズ又はタイプに対応することができる。異なるタイプのステープルが異なるタイプの組織に利用されるため、カートリッジのデータは、ステープル留め及び/又は横切開されている組織のタイプを示すことができる。この場合、発射されるステープルのタイプは実質組織(又は他の同様の組織タイプ)に用いられ、これにより、外科用ハブ106、206は、処置の区域切除部分が実施されていると推定することができる。
続いて第12の工程2524で、ノード切開工程が実施される。外科用ハブ106、206は、RF又は超音波器具が発射されていることを示す発生器から受信したデータに基づいて、外科チームがノードを切開し、漏れ試験を実施していると推定することができる。この特定の処置の場合、実質組織が横切開された後に用いられるRF又は超音波器具は、ノード切開工程に対応しており、それにより、外科用ハブ106、206が上記の推定を行うことが可能となる。異なる器具が特定の作業に対してより良好に適合するため、外科医は、処置中の特定の工程に応じて、定期的に外科用ステープル留め/切断器具と外科用エネルギー(すなわち、RF又は超音波)器具とを、交互に切り替えることに留意されたい。したがって、ステープル留め/切断器具及び外科用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実施中であるかを示すことができる。更に、特定の例では、外科処置中の1つ又は2つ以上の工程にロボットツールを使用することができ、かつ/又は外科処置中の1つ以上の工程にハンドヘルド式外科用器具を使用することができる。外科医は、例えば、ロボットツールとハンドヘルド式外科用器具とを交互に使用することができ、かつ/又は装置を同時に使用することができる。第12の工程2524が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
第13の工程2526では、患者を麻酔から覚醒させる作業が行われる。外科用ハブ106、206は、例えば、ベンチレータデータに基づいて(すなわち、患者の呼吸速度が増加し始める)、患者が麻酔から覚醒しつつあると推定することができる。
最後に、第14の工程2528は、医療関係者が患者から様々な患者監視装置を除去することである。したがって、外科用ハブ2106、2236は、ハブがEKG、BP及び患者監視装置からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明から分かるように、外科用ハブ2106、2236と通信可能に結合された各種データソースから受信されたデータに基づいて、外科用ハブ2106、2236は、所与の外科処置の各工程がいつ行われているかを判定又は推定することができる。
状況認識については、本開示において参照により本明細書に組み込まれる様々な米国特許出願に更に説明されており、これは参照によりその全体が本明細書に組み込まれる。特定の例では、例えば本明細書で開示される様々なロボット外科システムを含むロボット外科システムの動作は、その状況認識及び/若しくはその構成要素からのフィードバックに基づいて、並びに/又はクラウド2014(図17)からの情報に基づいて、ハブ2106、2236によって制御されてもよい。
撮像された組織からメタデータを外挿するための構造光による可視化
組織上の表面不規則性(例えば、変形及び/又は不連続部)は、可視化システム内で捕捉及び表現することが困難であり得る。加えて、組織は多くの場合、外科処置中に移動及び/又は変化する。言い換えれば、組織は動的である。例えば、組織は、外科的締結操作によって、歪んだり、応力を受けたり、あるいは別様に変形したりすることがある。組織はまた横切開されることもあり、かつ/又は組織の特定の部分及び/若しくは層が除去されることもある。下にある組織及び/又は構造は、外科処置中に露出され得る。組織が移動すると、解剖学的構造内の可視組織及び/又は隠れた組織マージンの下にある埋め込まれた構造も移動し得る。例えば、切除マージンは、組織変形前に腫瘍の周りに同心円状に位置決めされ得るが、しかしながら、解剖学的構造が外科処置中に変形すると、切除マージンも変形する可能性がある。場合によっては、以前に識別された物理的特性又は特性を有する部分を含めて、組織の隣接部分がシフトすることもある。外科処置中に変形、横切開、移動、又は別様に変化するときに組織の三次元デジタル表現又はモデルを生成することは、様々な問題を生じるが、しかしながら、そのような動的可視化撮像は、特定の例において臨床医に役立ち得る。
組織上の表面不規則性(例えば、変形及び/又は不連続部)は、可視化システム内で捕捉及び表現することが困難であり得る。加えて、組織は多くの場合、外科処置中に移動及び/又は変化する。言い換えれば、組織は動的である。例えば、組織は、外科的締結操作によって、歪んだり、応力を受けたり、あるいは別様に変形したりすることがある。組織はまた横切開されることもあり、かつ/又は組織の特定の部分及び/若しくは層が除去されることもある。下にある組織及び/又は構造は、外科処置中に露出され得る。組織が移動すると、解剖学的構造内の可視組織及び/又は隠れた組織マージンの下にある埋め込まれた構造も移動し得る。例えば、切除マージンは、組織変形前に腫瘍の周りに同心円状に位置決めされ得るが、しかしながら、解剖学的構造が外科処置中に変形すると、切除マージンも変形する可能性がある。場合によっては、以前に識別された物理的特性又は特性を有する部分を含めて、組織の隣接部分がシフトすることもある。外科処置中に変形、横切開、移動、又は別様に変化するときに組織の三次元デジタル表現又はモデルを生成することは、様々な問題を生じるが、しかしながら、そのような動的可視化撮像は、特定の例において臨床医に役立ち得る。
本開示の様々な態様では、可視化システムは、撮像された組織に関連する追加の組織特性又はメタデータを外挿するために、構造光パターンと組み合わせて複数の光源を含むことができる。例えば、組織の表面不規則性は、構造光と複数のコヒーレント光源との組み合わせで識別され得る。追加的に又は代替的に、表面不規則性は、構造光と非コヒーレント又は拡散光と立体イメージセンサとの組み合わせで識別され得る。一例では、複数の光源が、異なる波長で構造光のパターンを放出することができる。異なる波長は、外側表面及び下層表面などの解剖学的構造の異なる表面に到達することができる。可視化システムのイメージセンサは、解剖学的構造の異なる表面を示す撮像データをイメージセンサから受信することができる。次いで、可視化システムは、イメージセンサによって撮像された解剖学的構造の異なる表面上の構造光パターンに基づいて解剖学的構造の三次元デジタル表現を生成することができる。場合によっては、上にある組織の不規則性に起因する表面の可視化におけるギャップを埋めるために、表面下輪郭が利用され得る。追加的に又は代替的に、埋め込まれた構造及び/又は組織層の動きを決定及び追跡するために、表面下輪郭が分析され得る。
組織が外科処置中に移動するとき、特定の状況では、可視化表示内の情報を更新することが有用であり得る。例えば、組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び/又は1つ又は2つ以上の埋め込まれた構造の更新された識別情報を示すことが役立ち得る。異なる時点における組織の撮像フレームを比較することにより、外科用システムの制御回路は、追加の組織特性又はメタデータを分析し、臨床医に更新された可視化画像を提供してそれを通知することができる。
様々な例において、状況認識モジュールは、手術部位での予想に基づいて、組織不規則性の識別を通知することができる。例えば、状況認識モジュールは、例えば、外科処置のタイプ、外科処置の工程、組織のタイプ、及び/又は様々な組織特性に基づいて、特定の場所でステープルの行又は瘢痕を識別することを予想し得る。外科用システムの状況認識は、本明細書において更に開示され、また、それぞれの全体が参照により本明細書に組み込まれる米国仮特許出願第62/611,341号、発明の名称「INTERACTIVE SURGICAL PLATFORM」(2017年12月28日出願)、及び同第62/611,340号、発明の名称「Cloud-Based Medical Analytics」(2017年12月28日出願)に開示されている。
可視化システムによる撮像は、臨床医及び/又は外科用ハブのための測定可能なデータ及び情報に変換され得る。例えば、外科用装置の使用を分析するために、また特定の例において改善又は装置の最適化の機会を提供するために、可視化が利用され得る。様々な例において、状況認識は、可視化システムに通知することができる。例えば、本明細書に記載されるように、可視化システムに通信可能に結合された状況認識モジュールを含む外科用システムは、更新された組織特性及び/又はメタデータなどの更新された情報を、例えば、外科処置中にディスプレイを介して臨床医に提供するように構成され得る。更新された可視化撮像又は他のデータは、状況認識モジュールからの入力に基づいて自動的に提供されてもよく、かつ/又は、外科処置、患者、及び/若しくは組織の認識に基づいて状況認識モジュールによって提案されてもよい。そのような可視化システムは、外科的シナリオに適応する。
より具体的には、可視化画像は、状況認識モジュールからの入力に従って更新され得る。例えば、状況認識モジュールは、本明細書に更に記載されるように、外科処置のタイプ、外科処置における工程、組織のタイプ、及び/又は様々な組織特性を判定することができる。可視化画像に対する更新は、状況認識モジュールからの入力に基づいて自動化され、かつ/又は臨床医に推奨され得る。例えば、ステープルラインが組織内に発射されたことを状況認識モジュールが認識した場合、状況認識モジュールは、可視化撮像の更新を要求又は提案して、ステープルラインに沿った組織圧縮を示すことができる。別の例として、外科処置中に可視組織がシフトしたことを状況認識モジュールが認識した場合、状況認識モジュールは、可視化撮像の更新を要求又は提案して、切除マージンの更新された構成を示すことができる。追加の外科的シナリオが企図され、様々な実施例が本開示を通して提供される。
ここで図22を参照すると、コンピュータ実施対話型外科用システムの各部分が示されている。コンピュータ実施対話型外科用システムは、クラウドベースのシステム6004と、クラウドベースのシステム6004と通信する少なくとも1つの外科用ハブ6006と、を含む。コンピュータ実施対話型外科用システムの様々な要素は、コンピュータ実施対話型外科用システム2100(図17)のものと同一であってもよい。例えば、外科用ハブ6006は、外科用ハブ2106と同一であってもよく、クラウドベースのシステム6004は、クラウドベースのシステム2104と同一であってもよい。図22のコンピュータ実施対話型外科用システムはまた、例えば、ハブ6006及び/又はハブ6006の状況認識モジュール6007などの状況認識モジュールと通信するように構成された制御回路6032を有する可視化システム6008を含む。
可視化システム6008は、多くの態様で、可視化システム100(図1)及び可視化システム2108(図17)と類似し得る。例えば、可視化システム6008は、制御回路6032に通信可能に結合されたメモリ6034を含む。可視化システム6008はまた、複数の光源6050と、カメラ6044とディスプレイ6046とコントロール6048とを有する撮像システム6042と、を含む。カメラ6044は、少なくとも1つのイメージセンサ6035を含む。他の例では、適応型可視化システム6008は、例えば、複数のカメラを含むことができる。
可視化システム6008は、ハブ6006からの入力に応答して適応するように構成されている。そのような例では、可視化システム6008は、適応型可視化システムである。例えば、ハブ6006は、状況認識モジュール6007を含んでおり、これは、複数のソースからのデータを合成して、外科的事象に対する適切な対応を決定するように構成されている。例えば、状況認識モジュール6007は、本明細書に更に記載されるように、外科処置のタイプ、外科処置における工程、組織のタイプ、及び/又は組織特性を判定することができる。更に、このような状況認識モジュール6007は、合成されたデータに基づいて、システムに対する具体的な一連のアクション又は可能な選択肢を推奨することができる。様々な例において、外科用システム全体に分散された複数のセンサを包含するセンサシステムが、データ、画像、及び/又は他の情報を状況認識モジュール6007に提供することができる。そのような状況認識モジュール6007は、例えば、外科用ハブ6006などの制御ユニットに組み込まれ得る。様々な例において、可視化システム6008は、状況認識モジュール6007からの入力に基づいて、臨床医に提供される可視化を更新するかあるいは別様に修正するように構成される。
光源6050は、解剖学的構造の表面幾何形状及び輪郭を決定するための少なくとも1つの構造光源を含み得る。3DIntegrated,Inc.(3Di)(Copenhagen,Denmark)は、リアルタイムで三次元データを取得するために、運動原理からの構造光、深層学習、及び構造に基づくプラットフォームを提供する。例えば、特定の例では、3Diソフトウェアは、例えば、外科用ツールの三次元位置を決定し、外科用表面の三次元再構成を生成し、コンピュータによる手術のための座標を取得するために利用され得る。様々な例において、単一の撮像アレイを利用する構造光パターンが、例えば表面輪郭を決定するために利用され得る。単一の構造光パターンに依存することで、不完全なデジタルモデルが提供されることになり得る。例えば、表面の不規則性がある場合、表面の特定の部分が覆い隠され得る。特定の例では、本明細書で更に説明されるように、例えば、より完全なデジタルモデルを生成するために、同じ腹腔鏡検査カメラ上の複数のアレイなどの複数の構造光アレイが用いられ得る。
可視化システム6008は、例えば、撮像される組織の追加の態様、特徴付け、又はメタデータを外挿するために、構造光パターンと組み合わせて複数の光源を含み得る。本明細書で更に説明されるように、追加の態様は、例えば、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び埋め込まれた構造の識別であり得る。例えば、下にある移動粒子を追跡することによって、血管新生が分析され得る。一態様では、静脈、毛細管、又は動脈などの血管内を流れる血液細胞などの粒子の速度フローを決定するために、ドップラーイメージングが使用されてもよい。ドップラーイメージングは、血管を通る細胞の流れの方向及び速度を提供し得る。追加的に又は代替的に、赤外線(IR)吸収は、赤血球を酸素富化であるとして識別し、それによって血管を動脈として識別すること、又は、赤血球を酸素欠乏しているとして識別し、それによって血管を静脈として識別することを可能にする。組織特性評価は、それらのそれぞれの全体が参照により本明細書に組み込まれる、共に2018年3月29日出願の米国特許出願第15/940,722号、発明の名称「CHARACTERIZATION OF TISSUE IRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY」及び同第15/94,704号、発明の名称「USE OF LASER LIGHT AND RED-GREEN-BLUE COLORATION TO DETERMINE PROPERTIES OF BACK SCATTERED LIGHT」に更に記載されている。
本開示の特定の態様では、構造光を有する撮像フレームの特定の部分が、三次元的な組織変動を追加するために利用され得る。これらの部分は、撮像された組織の追加の組織特性及び/又はメタデータを提供することができる。様々な例において、構造光源は、マルチソース構造光を含み得る。例えば、光源6050(図22)は複数のコヒーレント光源又はレーザであり得る。コヒーレント光の使用は、構造光パターンの三次元歪みからの表面屈折率の区別及び分離を可能にし得る。追加的に又は代替的に、複数のコヒーレント光源からの位相シフトデータが、組織特性を特徴付けるために利用され得る。
一例では、コヒーレント光は、所定の二次元構造光パターン(すなわち、一連の線又はグリッドなどの空間強度パターン)で可視組織上に投影され得る。コヒーレント光の構造光パターンは循環され得る。一態様では、コヒーレント光パターンは、異なる線間隔又は配向を有する様々なグリッド間で循環され得る。別の態様では、コヒーレント光パターンは、様々な線間隔で様々な平行線の間で循環され得る。更に別の態様では、光パターンは、様々な光波長の間で循環され得る。例えば、480フレーム毎秒(FPS)では、8つの異なる色セグメント又は波長の各々に60フレームが使用され得る。いくつかの態様では、複数の連続フレームが同じ光波長で取得され得る。それに代わって、連続フレームが、各フレームについて交互の光波長を使用して取得され得る。フレームの一部分は、三次元表面マッピング可視化からデジタル的に除去され得る。例えば、各波長の60個のフレームの各々について10個のフレームがデジタル的に除去され得る。可視化された組織がフレームのグループ全体を通して静止したままである場合、デジタル的に除去されたフレームが、平均画像を生成するために使用されてもよい。デジタル的に除去されたフレームは、三次元表面マッピングに利用されない場合があるが、それらの部分の表面屈折率(又は他の特性)は、追加の組織特性及び/又はメタデータを決定するために利用され得る。そのような組織特性の例としては、組織組成及び/又は組織下位構造の配向(例えば、コラーゲン又はエラスチン繊維の基礎的な配向)が挙げられ得るが、これらに限定されない。組織特性評価については、その全内容が参照により本明細書に組み込まれる、2018年3月29日出願の米国特許出願第15/940,722号、発明の名称「CHARACTERIZATION OF TISSUE IRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY」に更に記載されている。
様々な例において、光源6050は、赤、緑、青、赤外、及び紫外線レーザを含み得る。例えば、赤外線及び/又は紫外線などの特定の光に対して複数の波長が利用され得る。いくつかの態様では、約700nm~約1400nmの範囲内の複数の赤外線光源が使用され得る。いくつかの例では、赤外線は、約705nm、約730nm、約761nm、約780nm、約785nm、約800nm、約830nm、850nm、940nm、980nm、1064nm、又は1370nmの波長を有し得る。いくつかの態様では、約200nm~約400nmの範囲内の複数の紫外線源が使用され得る。いくつかの例では、紫外線は、約211nm、約236nm、約263nm、約266nm、約351nm、又は約351nmの波長を有し得る。場合によっては、9つの光源が利用され得る。例えば、赤外線フレームセットと紫外線フレームセットは、60Hzの可視化部分でリアルタイムで表示されるときに交番されてもよく、また、これらのフレームセットから取得されたメタデータは、必要に応じて画像上に重ね合わされてもよい。
様々な例において、光源6050は、立体撮像センサで撮像され得る非コヒーレント又は広域スペクトル源を含み得る。構造光の立体撮像は、歪んだ構造光パターンの三次元画像を提供し得る。歪んだパターンの三次元画像は、例えば、二次元画像の計算調整の必要性を低減し得る。しかしながら、歪んだパターンは依然として、解剖学的構造の表面又は表面のすぐ下の組織が三次元的な不規則性を備えるかどうかを判定するために、表面屈折率と比較され得る。
本開示の特定の態様では、複数のCMOSアレイ及びFPGA変換回路が可視化システムに組み込まれて、撮像された組織に関する時間同期された相互関連メタデータが取得され得る。例えば、CMOSセンサによって得られた画像の解像度は、CMOSセンサによって受信された多色構造光画像を、より高い解像度のグレースケール撮像センサによって得られた画像と組み合わせて、2つ以上のアレイが同じ腹腔鏡検査カメラ上に位置決めされ得るように特定のアレイの微細化を可能にすることによって強化され得る。複数のアレイは、同じ画像及び独立したFPGA又は独立したセンサの立体複製を可能にして、画像又は関連するメタデータの異なる態様がリアルタイムで監視されるようにする。マルチアレイ撮像については、その全内容が参照により本明細書に組み込まれる、2018年3月29日出願の米国特許出願第15/940,742号、発明の名称「DUAL CMOS ARRAY IMAGING」に更に記載されている。
ここで図23を参照すると、可視化システム6108の一部分が概略的に示されている。可視化システム6108は、多くの点で図22の可視化システム6008に類似している。例えば、可視化システム6108は、複数の異なる波長で組織T上に構造光パターンを投影するための構造光プロジェクタ6150と、少なくとも1つのイメージセンサを有するカメラ6144と、を含む。構造光プロジェクタ6150及びカメラ6144は、制御回路6032(図22)などの制御回路に通信可能に結合されている。カメラ6144は、構造光プロジェクタ6150から撮像データを検出し、撮像データを処理のための制御回路に送るように構成されている。
様々な例において、組織Tの表面不規則性は、カメラ6144によって得られた撮像データで識別され、制御回路に送信され得る。例えば、組織Tの表面から反射された構造光パターンは、特定の例において、組織Tの表面に沿った不規則性が原因で、手術部位の不完全な写真を提供し得る。表面が、構造光パターンに干渉する引裂き、切断、及び/又は変形などの1つ又は2つ以上の不規則性を有する場合、構造光パターン全体が表面によって反射されず、したがって、カメラ6144のイメージセンサによって検出されないこともある。例えば、表面変形は、構造光パターンの一部分を覆い隠す影を落とすことがある。そのような場合、組織の表面を貫通し、その表面下から反射された構造光パターンが、三次元デジタルレンダリングの間隙を充填するために利用され得る。例えば、組織の表面を貫通するコヒーレント光の1つ又は2つ以上の波長が、表面下輪郭を決定するために利用され得る。本明細書で更に説明されるように、構造光パターンは、異なる波長で放出され、イメージセンサによって捕捉され得る。特定の表面下光パターンは、三次元デジタルレンダリングからデジタル的に除去されてもよいが、しかしながら、そのようなパターンは、組織表面の輪郭を外挿するために使用され得る。より具体的には、組織表面の幾何形状は、1つ又は2つ以上の組織下表面の曲率から外挿され得る。
再び図23を参照すると、可視化システム6108は、例えば、本明細書で更に説明されるように、胃などの器官6160の表面幾何形状を識別するように構成され得る。しかしながら、器官6160の表面上の不規則性6164は、器官6160の完全な三次元モデルの生成を妨げることになり得る。例えば、瘢痕又は他の組織の不良であり得る不規則性6164は、構造光プロジェクタ6150によって放出された構造光パターンが組織T表面の各部分に到達することを妨げることになり得る。しかしながら、組織貫通波長における構造光のパターンは、不規則性6164を貫通するように構成され得、またカメラ6144のイメージセンサによって表面下層で検出され得る。組織貫通構造光パターンは、下にある組織表面の曲率を決定し、したがって、その不規則性6164を含む器官6160の表面を外挿するために、制御回路によって利用され得る。
場合によっては、組織貫通構造光パターンは、組織の圧縮を判定するために利用され得る。例えば、組織は、ステープルラインに沿って圧縮され得る。様々な例において、信頼性の高い組織シールを得るために、均一な組織圧縮が望まれる。組織貫通構造光パターンは、埋め込まれたステープルラインに沿った組織圧縮の表面下三次元可視化を生成するために、制御回路によって利用され得る。より具体的には、組織層の動きは、1つ又は2つ以上の表面下層を含み、ステープルラインに沿ったその圧縮を分析するために監視及び追跡され得る。
追加的に又は代替的に、カメラ6144のイメージセンサによって検出される構造光パターンの屈折率Rは、特定の例において、撮像された組織の組織特性に関する補足情報及び/又はメタデータを提供し得る。また、特定の例では、構造光プロジェクタ6150からの複数のコヒーレント光の位相シフトデータは、撮像された組織に関する補足情報及び/又はメタデータを提供し得る。例えば、不規則性6164は、屈折率及び/又は位相シフトデータに基づいて識別され得る。特定の例では、不規則性6164は1つ又は2つ以上の重要な解剖学的構造6162を含み得るが、この解剖学的構造は、その上に反射された構造光パターンによって追跡され、そのデジタルモデルにマッピングされ得る。
別の可視化システム6208が図24に示されている。可視化システム6208は、可視化システム6108(図23)と同様であってもよく、また、その表面及び/又は主要な解剖学的構造6162に沿った不規則性6164を含めて、器官6160を可視化するように構成され得る。可視化システム6208は、構造光源6250とカメラ6244との両方を含む単一の外科用装置を備える。様々な例において、構造光源6250は、コヒーレント光を放出するように構成されてもよく、カメラ6244は、組織Tの表面から反射されたコヒーレント光の位相シフトを検出するように構成されてもよい。組織は、位相シフトデータによって特徴付けられ得る。例えば、位相シフトデータは、可視化された組織に関する情報の補足的なソースであり得る。位相シフトの度が異なることは、物理的特性が異なることに対応し得る。いくつかの態様では、反射光の位相シフトは、表面構造又は表面下構造の動きを示し得る。他の態様では、反射光の位相シフトは、表面下層を示し得る。
ここで図40を参照すると、三次元モデルを臨床医に伝達するプロセス6800の論理フロー図が示されている。プロセス6800の以下の説明では、制御回路132(図2)を参照及び/又は可視化システム6008(図22)が参照されるべきである。一態様では、プロセス6800は、制御システム133の制御回路132及び/又は制御回路6032によって実行されるソフトウェア(例えば、メモリ134に記憶される)又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。
プロセス6800を実行する可視化システム6008は、ブロック6802で、例えば、イメージセンサ6035などのイメージセンサからの第1の撮像データを取得し得る。第1の撮像データは、イメージセンサ6035によって検出された構造光の第1のパターンからの解剖学的構造の外側表面輪郭を示し得る。ブロック6804において、可視化システム6008は、イメージセンサ6035から第2の撮像データを取得し得る。第2の撮像データは、構造光の第2のパターンからの解剖学的構造の表面下輪郭を示し得る。構造光の第2のパターンは、構造光の第1のパターンとは異なる波長を含み得る。第1の撮像データ及び第2の撮像データは、例えば、それぞれブロック6806及び6808で制御回路6032に送信され得る。制御回路6032は、ブロック6812で解剖学的構造の三次元デジタル表現を生成し得る。デジタル表現又はモデルは、外側表面輪郭及び表面下輪郭を含み得る。様々な例において、組織の追加の層がプロセス6800で撮像され得る。三次元モデルが完了すると、制御回路6032は、ブロック6814で、例えば、三次元モデルをディスプレイ6046に伝送することができる。
一態様では、制御回路6032はまた、外科用ハブ6006の状況認識モジュール6007から信号を受信し、状況認識モジュール6007からの信号に応答して、解剖学的構造の三次元モデルを更新するように構成される。様々な態様において、制御回路6032は、処理ブロック6810で第1の撮像データ及び第2の撮像データのうちの少なくとも1つからメタデータを取得するように更に構成される。制御回路6032は、ブロック6812でメタデータを三次元モデルにオーバーレイし、ブロック6814で追加情報を臨床医に送信するように構成され得る。メタデータは、本明細書に更に記載されるように、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、又は埋め込まれた構造の識別のうちの少なくとも1つに対応し得る。一態様では、メタデータは、例えば、ステープルラインに沿った埋め込まれた組織などの組織圧縮を示し得る。状況認識モジュール6007は、検出された外科的シナリオ及び各外科的シナリオにおいて臨床医に役立ち得る対応する情報に基づいてメタデータが処理され、臨床医に伝達されるときを、指示又は提案し得る。
様々な例において、適応型可視化システムは、手術部位での動きの可視化を提供し得る。構造光は、1つの時間フレームから別の時間フレームへと光パターンの歪みをマッピングするために、立体撮像センサ及びマルチソースコヒーレント光と共に使用され得る。フレーム間の光パターンの歪みのマッピングは、解剖学的歪みを可視化及び分析するために使用され得る。更に、三次元デジタル表現又はモデルが変形されると、埋め込まれた構造、組織の不規則性、並びに/又は隠れた境界及び/若しくは組織マージンなど、任意の重ね合わせられた三次元撮像が、三次元モデルと共に比例的に変形され得る。そのような例では、可視化システムは、組織が操作されるとき、例えば解剖及び/又は後退されるときに、重ね合わせられた三次元撮像の動きを臨床医に伝達し得る。
本開示の様々な態様において、適応型可視化システムは、状況認識(例えば、状況認識モジュール6007からの入力)に基づいて、ベースライン可視化データを取得することができる。例えば、解剖学的構造及び/又は手術部位のベースライン可視化は、手術部位における組織の操作及び切開の前など、外科処置の開始前に取得され得る。解剖学的幾何形状のベースライン可視化画像は、解剖学的構造の表面及びその境界の可視化を含み得る。そのようなベースライン可視化画像は、解剖学的構造内の局所領域が外科処置中に徐々に破壊、変更、又は他の方法で操作されるときでも、手術部位及び解剖学的構造の全体的な配向を維持するために使用され得る。ベースライン可視化画像を維持することにより、他の撮像不規則性をマッピングするときに、破壊された領域を無視することが可能となり得る。例えば、他の撮像源によって取得された構造及び/又は特徴をマッピング又はオーバーレイする場合、ベースライン可視化画像を使用することができ、歪んだ領域は、更新された可視化画像内の追加の構造及び/又は特徴を適切に位置決めするために無視される。
状況認識は、ベースライン可視化画像に対する更新を指示及び/又は推奨するために使用され得る。例えば、図22を再び参照すると、状況認識モジュール6007は、特定のタイプの外科処置、外科処置の工程、組織のタイプ、及び/又は1つ若しくは2つ以上の特定の組織特性を識別すると、ベースライン可視化画像を更新するように制御回路6032に命令することができる。一例では、更新されたベースライン可視化画像は、横切開後、又は1つ若しくは2つ以上のステープル列の適用後に役立ち得る。特定の例において、元の解剖学的構造内の歪んだサブ領域は、新しいベースライン可視化画像を別々に作成し得るか、あるいは歪んだサブ領域の既存のベースライン可視化画像を更新して、画像オーバーレイを適切に通知し得る。例えば、患者の解剖学的構造の重要な領域は、腫瘍の除去又はその中での成長後に更新され得る。
様々な例において、フレーム間の比較が、組織の変形を計算するために使用され得る。例えば、表面特徴は、その後のフレームに対して、ユーザ又は外部データソースによって設定されたフレームと共に、追跡され比較され得る。例えば、表面上の構造光のパターンは、組織表面が移動するにつれて偏向したり移動したりし得る。立体イメージセンサは、構造光パターンの偏向を検出することができる。ユーザは、例えば、手動タイムスタンプで参照フレームを設定することができる。他の例において、ベンチレータ(すなわち、外部データソース)によって参照フレームが設定され得る。例えば、ベンチレータタイムスタンプは、息を吐いた肺を示すために呼気圧に対応し得る。非剛性反復最近点アルゴリズムを使用して、フレーム間の対応を計算することができる。一態様では、初期画像フレームは、ベースライン画像として取られてもよく、後続の画像フレームは、後続の画像がベースライン画像を参照するように、幾何学的に変換され得る。この比較から、フレーム間の変形が計算され得る。そのような技術は、例えば、歪み速度の増加に伴ってより堅牢になり得る。
様々な例において、提案された切除のための変形の推定変化を計算するために、モデルが分析され得る。例えば、臨床医が組織の一部分を切除する前に、提案された切除線がデジタルモデルに追加されてもよく、このデジタルモデルは、仮想的な切除を伴って解剖学的構造を示すように更新され得る。再び図13Bを参照すると、一例では、臨床医は、腫瘍2332を組織異常2338と共に除去するために、手術部位2325の組織から楔形部分を除去することを意図し得る。そのような場合、モデルは、楔形部分を取り除かれた器官を示すように更新され得る。更新されたモデルは、組織の変形、並びに既知の組織の機械的特性及び手術によって誘発される変形に基づいた組織内の計算された応力及び/又は歪みを描写することができる。例えば、組織は、特定の切除が組織上の歪みにどのように影響を与え得るかに関して臨床医が通知されるように、応力及び/又は歪みデータを伴って、影付き又は別様に層状にされ得る。いくつかの態様では、応力/歪みの値を示すために、応力/歪みデータが、応力/歪みの方向及び線タイプ又は色を示すベクトル線のセットとして、画像上にオーバーレイされてもよい。計算された応力及び歪みに基づいて、臨床医は、提案された切除を修正し、組織内の応力及び歪みを低減及び/又はより良好に分配するための代替戦略を検討し得る。例えば、切除の角度が修正されてもよい。特定の例では、臨床医は、好ましい歪み方向でステープルラインを再配向することができる。
様々な例において、変形データは、切除マージンを得るために使用され得る。例えば、切除マージンは、組織境界と同じ歪みパターンをなして歪み得る。再び図13Bを参照すると、手術部位2325で組織の一部分を除去するための最初の横切開後、デジタルモデルは、フレームを比較し、組織の変形を計算することによって更新され得る。構造光で可視化された組織が移動すると、下層の切除マージン2330a、2330b、2330cもシフト及び/又は移動し得る。様々な例において、デジタルモデルは、手術部位2325の可視組織と同じ歪みパターンでモデル化され得る切除マージン2330a、2330b、2330cの計算された更新位置を含む手術部位2325を示すように更新され得る。例えば、切除マージン2330a、2330b、2330cは、可視組織と共に変形すると想定され得る。更に、組織貫通レーザ光の使用によって、コラーゲン又はエラスチン繊維などの下層組織成分の構造又は配向が決定され得る。そのような繊維配向は、組織に適用される応力及び/又は歪みに関する追加情報を提供し得る。
投影された歪んだ切除マージン、すなわち、組織表面上の構造光パターンのフレーム間比較に基づく歪みは、組織の新しい下層が露出し、新たに露出した組織の屈折率もまた、屈折率変化について確認されるときに修正され得る。新たに識別された組織特性は、組織切開中及び/又は臨床医がマージン境界に近づくときに、ユーザにリアルタイムで示され得る。例えば、図25A及び図25Bを参照すると、手術部位6325は組織Tを含み、外科用デバイスは、図24の外科用デバイスと同様に、構造光源6350及びイメージセンサ6344を含む。第1の屈折率Rが予想され得るが(図25A)、しかしながら、実際の偏向反射光R’(図25B)は、組織の新しい層が露出されると異なり得る。異なる屈折率は、異なる組織特性を示し得る。例えば、腫瘍2332及び/又は組織異常2338の完全な除去時に、屈折率は、異なる、すなわち健康な組織特性を示し得る。様々な例において、不規則性の境界6330内の屈折率は、不規則性の境界6330の外側の屈折率とは異なり得る。
POV座標系による外科用器具コントロールの調整
一般的な一態様では、器具/デバイスコントロールが局所可視化座標系に対する動きを制御するように適合されることを可能にするために、外科用システムは、局所的に表示される座標系を撮像システムから外科用器具又は他の医療デバイスに通信するように構成され得る。特に、撮像システムから導出された少なくとも1つの測定値が、ローカル座標系を定義するために利用され得る。更に、外科用器具又は他の医療デバイスは、外科用器具又は他の利用デバイスが標準的なグローバル座標系又は別の座標系ではなく、ローカル座標系に対してユーザコントロールを配向することを可能にするために、可視化システム2108及び/又は可視化システム2108に結合された外科用ハブ2106(例えば、図17~図19)からの変換関数を提供され得る。
一般的な一態様では、器具/デバイスコントロールが局所可視化座標系に対する動きを制御するように適合されることを可能にするために、外科用システムは、局所的に表示される座標系を撮像システムから外科用器具又は他の医療デバイスに通信するように構成され得る。特に、撮像システムから導出された少なくとも1つの測定値が、ローカル座標系を定義するために利用され得る。更に、外科用器具又は他の医療デバイスは、外科用器具又は他の利用デバイスが標準的なグローバル座標系又は別の座標系ではなく、ローカル座標系に対してユーザコントロールを配向することを可能にするために、可視化システム2108及び/又は可視化システム2108に結合された外科用ハブ2106(例えば、図17~図19)からの変換関数を提供され得る。
一例として、回転可能なシャフト及び/又は関節運動可能なエンドエフェクタを有するハンドヘルド式外科用器具は、どの関節運動コントロール(例えば、左又は右関節運動コントロール)が患者に対してエンドエフェクタを所望の方向に関節運動させるかを判断するときに、シャフト及びエンドエフェクタが患者に対してどのように配向されているか理解することをユーザに要求する。したがって、外科用器具又は外科用器具に結合された制御システムは、ハンドルに対するシャフト及びエンドエフェクタの位置に基づいて、関節運動コントロールの機能を自動的に再配向するように構成され得る。しかしながら、ユーザに対するハンドルアセンブリ、シャフト、及び/又は他の外科用器具構成要素の特定の配向は、VATS処置などのビデオ支援外科処置においてディスプレイスクリーン上にどのように配向されるかに必ずしも対応しないことがあるため、コントロールの再配向を直接、外科用器具ハンドルアセンブリの配向又は外科用器具シャフトの回転における変化にリンクすることは望ましくない場合もある。外科医は、ディスプレイスクリーン又はビデオモニタを、ビデオ支援外科処置中に外科用器具を制御するための唯一のPOVとして利用する。外科用器具の再配向又は回転に応答して外科用器具コントロールを自動的に変化させることは、コントロールの機能をユーザにとって予測不能に変化させることになり得、外科医のためにディスプレイ上に提供されるPOVに必ずしも対応しない。
この問題に対処するために、外科医のために撮像システムによってディスプレイスクリーン上に現在表示されている外科用器具(すなわち、外科用器具のシャフト及び/又はエンドエフェクタ)の配向は、患者と関連付けられたグローバル座標系に対する基準として利用され得る。したがって、グローバル座標系に対する外科用器具の表示される配向は、外科用器具上のコントロールの機能を調整するために利用され得るが、これは次に、ディスプレイスクリーンに表示される配向にコントロールを対応させることになる。外科用器具のコントロールを、それがどのようにディスプレイスクリーン上に示されるかに対応するように自動的に調整することは、外科用器具の関節運動又は動きを制御する前に、外科用器具のハンドル、シャフト、及び/又はエンドエフェクタが患者に対してどのように配向しているかを外科医が常に意識する必要性を排除することによって、外科用器具を使用する容易性を改善し、ユーザの混乱及び誤配向を低減することになる。更に、ディスプレイスクリーンを内蔵している外科用器具の場合、ディスプレイスクリーンの配向は、外科用器具のコントロールと同じ様式で同様に制御され得る。要するに、外科用器具の左/右関節運動コントロール及び/又はディスプレイスクリーンなどのコントロールの機能は、局所的に表示される座標系に従って、又はそれと一致するように、調整され得る。
一態様では、本開示は、ユーザコントロールを含む外科用器具のための制御システムを対象とする。制御システムは、撮像システムと、撮像システムに接続され、外科用器具に(例えば、有線又は無線接続を介して)接続可能な制御回路と、を含み得る。撮像システムは、上記のように、手術部位を可視化するように構成され得る。制御回路は、撮像システムを利用して手術部位の画像を生成することと、その画像に従って手術部位に対して第1の座標系を定義することと、外科用器具によって定義された第2の座標系を受信することと、第2の座標系内の座標を第1の座標系へと変換するための変換関数を定義することと、変換関数を外科用器具に提供して、変換関数に従ってユーザコントロールを調整することを外科用器具に行わせることと、を行うように構成され得る。別の態様では、本開示は、そこから反射された電磁放射(EMR)に基づいて手術部位の画像を生成し、その画像に従って手術部位に対して第1の座標系を定義するように構成された撮像システムを含む、制御システムと動作可能に信号通信する外科用器具を対象とする。外科用器具は、外科用器具及び/又はディスプレイスクリーンの機能を制御するように構成されたユーザコントロールを含み得る。外科用器具は、ユーザコントロール及び/又はディスプレイスクリーンに結合された制御回路を更に含み得る。制御回路は、制御システムに提供され得る外科用器具に対する第2の座標系を決定することと、変換関数を受信して第2の座標系内の座標を制御システムから第1の座標系に変換することと、変換関数に従ってユーザコントロール及び/又はディスプレイスクリーンを調整することと、を行うように構成され得る。
前述のシステム及び方法の理解を助けるために、様々な例が、VATS処置の文脈において説明される。これは単に例示を目的としたものであることを理解されたい。しかしながら、説明されるシステム及び方法は、他の状況及び/又は外科処置にも適用可能である。VATS処置は、1つ又は2つ以上の外科用器具及び1つ又は2つ以上の胸腔鏡(すなわち、カメラ)が患者の肋骨間に位置決めされたスリットを通して患者の胸腔内に挿入される外科処置である。カメラが利用されて、患者の胸腔の内部の視野が外科医に提供され、外科医は、外科用器具を適切に位置決め/移動させ、胸腔内の組織/構造を操作することが可能となる。外科医は、カメラを介して撮像システムによって何が表示されるかに基づいて外科用器具を制御するため、また、外科用器具は、カメラの視点と位置合わせされないことがあるため、外科用器具と撮像システムによって表示されたPOVとの空間的関係は、例えば、「可視化視野範囲を拡大するための異なるソースからの画像の融合」及び「可視化視野範囲を拡大するための重複画像の融合」の見出しに記載されているように、表示された可視化をユーザがパニング、操作、及び再配向することを可能にする撮像システムの場合は特に、潜在的に誤配向され得る。したがって、本開示は、外科用器具及び外科用器具に関連する制御システムを対象とし、制御システムは、外科用器具コントロールをインテリジェントに適合させ、それによって外科医に向けて表示されるPOVに対応させるように構成される。
更に説明するために、図26及び図27は、VATS処置の態様の図である。この特定のVATS処置では、外科医は、肺6508の上葉の頂端セグメント内に位置する腫瘍6506を除去しようとしている。この特定の例示的な処置では、外科医は、第2のリブ6501と第3のリブ6503との間にポート6502を配置して、ポート6502を通して挿入可能な外科用器具6510(例えば、外科用ステープラ)が腫瘍6506及び/又は胸腔内の周囲領域にアクセスするためのアクセス経路6504を設けている。外科用器具6510のアクセスの場所が選択されると、外科医は、カメラ6520a、6520bが手術部位の近傍で特許胸腔の内部を可視化することを可能にするように位置決めされた他のポート6502を通して、1つ又は2つ以上のカメラ6520a、6520bを配置することができる。この様式で手術部位を可視化することにより、外科医は、外科用器具6510のエンドエフェクタ6514を位置決め及び配向して、必要に応じて組織を操作する(例えば、腫瘍6506の周りの肺6508の一部分を切除する)ことが可能になる。特定の例示された例では、2つのカメラ6520a、6520bが利用されているが、異なる数のカメラが利用されてもよく、かつ/又は、カメラ6520a、6520bのうちの1つ若しくは2つ以上は、実行されている外科処置の特定タイプ及び/又は可視化される必要のある患者6500の体内の領域に応じて、異なる様式で配向されてもよい。
図27に示され、表1に以下に記載されるように、様々な異なる座標系が、患者、デバイス、又はデバイス構成要素の異なるPOVに関して定義され得る。更に、例えば、「可視化視野範囲を拡大するための異なるソースからの画像の融合」及び「可視化視野範囲を拡大するための重複画像の融合」の見出しで以下に記載されるように、ユーザが表示された可視化を操作することを可能にする撮像システムの場合、外科医に表示されていた仮想又は予想可視化に対応する「仮想」POVが定義され得ると共に、座標系もこれらのPOVに従って定義され得る。そのような可視化の生成及び制御について、本明細書で更に説明される。
一態様では、座標系は、センサ測定及び/又は撮像システム142(図2)による測定に基づいて定義され得る。例えば、外科用器具ハンドルアセンブリ6512、シャフト6513、又はエンドエフェクタ6514に関する座標系は、加速度計又はそれぞれの構成要素に関連付けられた別のそのようなセンサによる測定に従って定義され得る。別の例として、前述の座標系のいずれかは、互いに対する物体の相対距離及び/又は位置の測定値に基づいて定義されてもよく、あるいは、撮像システム142を介して物体を撮像することによって決定されるグローバル座標系であってもよい。
ここで図29を参照すると、表示される座標系に従って外科用器具6510のディスプレイスクリーン6516及び/又はユーザコントロール6518(例えば、関節運動コントロール6519a、6519b)を調整するプロセス6550の論理フロー図が示されている。プロセス6550の以下の説明では、図2の制御回路132も同様に参照されたい。一態様では、プロセス6550は、制御システム133の制御回路132によって実行されるソフトウェア(例えば、メモリ134に記憶される)又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。プロセスの以下の説明において、図26~図28の例示的な処置も同様に参照されたい。
プロセス6550を実行する制御回路132は、ブロック6552で、撮像システム142を利用して手術部位の画像を生成することができる。上記のように、撮像システム142は、画像(可視構造及び非可視構造の両方を含む)を生成し、可視スペクトル及び非可視スペクトルの両方で構造化又は非構造化EMRを放出することなどによって、撮像された物体を測定又は特徴付けするように構成され得る。生成された画像は、例えば、図30に示されるように、カメラ6520a、6520bのうちの1つのPOVを表すイメージセンサ135によって直接捕捉された画像を含み得る。それに代わって、生成された画像は、例えば、図33及び図34に示されるように、仮想画像を含んでもよい。
制御回路132は、ブロック6554で、生成された画像の撮像システム142に基づいてローカル又はPOV座標系を定義することができる。ローカル座標系は、センサ測定、撮像システム測定、確立された座標系(例えば、図32に示されるようなカメラ座標系xc、yc、zc)に対する動きの追跡などに基づいて定義され得る。
制御回路132は、ブロック6556で、外科用器具6510から座標系を受信することができる。一態様では、制御回路132は、例えば、無線接続(例えば、Bluetooth接続)を介して外科用器具6510と動作可能に信号通信する。一態様では、制御回路132は、外科用ハブ2106、2236(図17~図19)の制御回路として具体化されてもよく、また外科用器具6510は、外科用ハブ2106、2236とペアリングされてそれらの間にデータを伝送することができる。
制御回路132は、ブロック6558で、外科用器具の座標系又はローカル座標系のうちの一方の座標を他の座標系に並進させる変換関数を決定することができる。例えば、変換関数は、並進するように構成され得る。変換関数は、アルゴリズム、方程式、ルックアップテーブルなどとして具体化され得る。
制御回路132は、ブロック6560において、変換関数を外科用器具6510に提供することができる。上記のように、制御回路132は、例えば、それらの間でデータを転送するために、無線接続を介して外科用器具6510に通信可能に結合され得る。外科用器具6510によって受け取られると、外科用器具6510は、変換関数を利用してその座標系の座標を表示座標系に並進させ、更新された座標に基づいてそのコントロール6518及び/又はディスプレイスクリーン6516を調整するかどうかを判定することができ、それにより、外科器具6510又はその構成要素が外科医によってどのように可視化されているかが示される。
図28に示される例では、外科用器具6510は、提供された変換関数を利用して、コントロール6518及びディスプレイスクリーン6516が更新された座標に基づいて調整されるべきであると判定する。様々な例において、状況認識は、本明細書で更に説明されるように、コントロール6518及び/又はディスプレイスクリーン6516が更新されるときに通知することができる。ディスプレイスクリーン6516は、図28の左側に示される第1の向きから、図28の右側に示される第2の配向に調整されたGUI6517を表示することができ、そのため、GUI6517は外科医が外科用器具6510を制御するために適切に配向されることが確実となっている。一態様では、GUI6517は、外科器具6510によって利用されているPOV又は座標系を示すGUI要素6524(例えば、アイコン)を更に含み得る。この例では、GUI要素6524は、可視化システム2108によって表示されるPOVが、デバイス座標系(「DVC」)から、可視化システム2108によって表示される画像/ビデオと関連付けられたローカル座標系(「ローカル」)に変化したことを示すようにシフトする。
一例として、更新された座標に従って調整された外科用器具コントロール6518は、関節運動コントロールを含み得る。関節運動コントロールは、例えば、外科器具6510を第1の方向に関節運動させるように構成された第1のコントロール6519aと、外科器具6510を第2の方向に関節運動させるように構成された第2のコントロール6519bと、を含み得る。関節運動コントロール6519a、6519bは、例えば、ロッカー、トグル、又は別個のアクチュエータ及び/又はボタンとして具体化され得る。この例では、外科用器具6510は、外科用器具6510の配向の変化に応答して、第1の関節運動コントロール6519aと第2の関節運動コントロール6519bに機能を交換させている。言い換えれば、第1の関節運動コントロール6519aを作動させることは、代わりに、外科器具6510を第2の方向に関節運動させることになり、第2の関節運動コントロール6519bを作動させることは、外科器具6510を第1の方向に関節運動させることになる。したがって、関節運動コントロール6519a、6519bの機能は、図30及び図32~図34に示されるようにユーザに表示される外科用器具6510又はその構成要素(例えば、エンドエフェクタ6514)の配向に従って設定され得る。
追加的又は代替的に、特定の例では、ディスプレイスクリーン6516上のGUI6517が調整され得る。例えば、GUI6517は、ハンドルアセンブリ6512が反転されたときに反転され得る。特定の例では、GUI6517は、外科医がGUI6517と相互作用することによって座標系間を切り替えることができるように、タッチスクリーンを含み得る。例えば、外科医は、GUI6517と相互作用することによって、デバイスPOV、ローカルPOV、及び/又は1つ若しくは2つ以上の他のPOVの間で切り替えることができる。
可視化視野範囲を拡大するための異なるソースからの画像の融合
ビデオ支援外科処置中に発生し得る1つの問題は、カメラが必然的に数において限定され、処置の外科的制約によって所定の位置に固定されるため、可視化システムによって提供される視野(FOV)が、特定の状況では不十分となり得ることである。特に、カメラによって提供されるPOVは、外科処置の特定の工程(例えば、血管の切開)を実施すること、特定の組織及び/又は構造を視野から隠すことなどに関して理想的ではない可能性がある。一般的な一態様では、撮像システムを備える外科用システムは、撮像システムの可視化フィールド内の物体の3D表現を作成し、手術部位をより良好に可視化するために、確立された座標系に対して表示された可視化をユーザが変更することが可能となるよう3D形状を特徴付けるように構成され得る。3D表現は、リアルタイムソース(例えば、撮像システム142)又は非リアルタイムソース(例えば、CTスキャン又はMRI)から生成された画像から生成され得る。一態様では、撮像システム142は、構造光又は構造化EMRを投影して、リアルタイムで追跡され得る構造化3D形状を作成するように構成され得る。これらの3D形状は、撮像システム142によって表示されるPOVが、スキャンソースのローカル座標系から離れるように移動又は回転されて、ディスプレイを通じたユーザの視点を改善するように生成され得る。
ビデオ支援外科処置中に発生し得る1つの問題は、カメラが必然的に数において限定され、処置の外科的制約によって所定の位置に固定されるため、可視化システムによって提供される視野(FOV)が、特定の状況では不十分となり得ることである。特に、カメラによって提供されるPOVは、外科処置の特定の工程(例えば、血管の切開)を実施すること、特定の組織及び/又は構造を視野から隠すことなどに関して理想的ではない可能性がある。一般的な一態様では、撮像システムを備える外科用システムは、撮像システムの可視化フィールド内の物体の3D表現を作成し、手術部位をより良好に可視化するために、確立された座標系に対して表示された可視化をユーザが変更することが可能となるよう3D形状を特徴付けるように構成され得る。3D表現は、リアルタイムソース(例えば、撮像システム142)又は非リアルタイムソース(例えば、CTスキャン又はMRI)から生成された画像から生成され得る。一態様では、撮像システム142は、構造光又は構造化EMRを投影して、リアルタイムで追跡され得る構造化3D形状を作成するように構成され得る。これらの3D形状は、撮像システム142によって表示されるPOVが、スキャンソースのローカル座標系から離れるように移動又は回転されて、ディスプレイを通じたユーザの視点を改善するように生成され得る。
本開示の様々な態様により、上記の様々な技術的問題が対処され得る。一態様では、本開示は、撮像システムと、ディスプレイスクリーンと、撮像システム及びディスプレイスクリーンに結合された制御回路と、を含む制御システムを対象とする。撮像システムは、構造化EMRを含む様々な異なる撮像技術を使用して、手術部位で組織、構造、及び物体を撮像するように構成され得る。更に、制御回路は、イメージセンサによって受信された、手術部位から反射された構造化EMRに基づいて手術部位の第1の画像を生成することと、手術部位の第2の画像を受信することと、位置合わせされた第1の画像及び第2の画像に基づいて手術部位の3D表現を生成することと、ディスプレイスクリーン上に3D表現を表示することと、3D表現を操作するためのユーザ選択を受信することと、ディスプレイスクリーン上に表示される3D表現をユーザ選択に従って第1の状態から第2の状態に更新することと、を行うように構成され得る。
様々な例が、VATS処置の文脈で本明細書において説明されるが、しかしながら、代替的な外科処置も企図される。特に、図30は、VATS処置中のカメラ6520(図32)のFOV6570を示す。この特定の例示的な処置の標的は、肺6508の上葉6580の頂端セグメント内に位置する腫瘍6506である。胸壁6509、静脈6574、動脈6576、気管支6578、上葉6580を描写する亀裂6582、肺動脈6584、及び肺静脈6586を含めて、多くの生物学的構造がこのFOV6570内で識別可能である。外科医によって制御される外科用器具6510のエンドエフェクタ6514及びシャフト6513を含めて、非生物学的物体はまたFOV6570内でも視認可能である。従来の撮像システムでは、そのようなビューは、利用されている任意の追加のカメラ6520からの任意の対応するビューと組み合わせて、ビデオ支援処置を実施する外科医に利用可能な唯一のビューとなろう。これらのカメラは、外科処置を実施するための適切な可視化視野範囲を外科医に提供することを意図して配置されているが、カメラ6520によって提供される可視化視野範囲は、究極的には、外科処置における各工程又はタスクを実施するための理想的なFOV6570を提供しない場合もあり、あるいは外科医の視野を妨げる予期せぬ障害物が手術部位に存在する場合もある。更に、カメラ6520を手術中に再位置決め又は再配向することは、処置の外科的制約が原因で、場合によっては非実用的又は不所望となり得る。
一態様では、外科用システムは、手術前画像及び手術中画像を含む手術部位の複数の画像を組み合わせて、手術部位又は手術部位に位置する組織及び/若しくは構造の3D表現を生成することによって、カメラ6520によって提供される可視化視野範囲を拡張するように構成され得る。外科処置の間、ユーザは次いで、撮像システム142によって表示される3D表現を操作して、処置で利用されるカメラ6520のFOV6570の範囲外の配向から手術部位を可視化することができる。そのような再配向されたビューは、上記のように「仮想POV」と呼ばれ得る。したがって、外科用システムは、カメラ6520によって提供されるFOV6570を補足し、外科医が外科処置中に手術部位の表示された可視化を動的に調整して、外科的タスクのうちの1つ又は2つ以上を実施するための理想的な視認POVを見つけることができる。
図31は、手術部位の3D表現が生成され得る画像ソースの図である。3D表現を生成し、それによってユーザがカメラ6520のFOV6570を越えて延びるPOVに可視化視野範囲を操作することを可能にするために、患者の体洞は、複数の基準点(例えば、カメラ位置)から視認される必要がある。次に、これらの異なる基準点又は視点は、カメラ6520の固定視点を超えて可視化視野範囲を拡張するために外科医によって手術中に操作され得る3D表現を構築するために利用され得る。一態様では、画像の少なくともいくつかが、構造化EMRを利用して捕捉されて、3D表現を生成するために手術部位に位置する組織及び/又は構造の表面がマッピングされ得る。一態様では、手術中の画像6600が3D表現を構築する際に利用され得る。例えば、カメラ6520が最初に配置されると、ユーザは、患者の空洞の周りでカメラ6520をパニングするよう外科用システムによって促されて、全ての解剖学的構造を観察し、それによって一緒に融合されて手術部位の3D表現を形成し得る画像のベースラインセットを確立することができる。このベースラインは、組織が操作されるとき、患者が移動されるときなどに、処置の全体にわたって自動的に更新され得る。代替的に、ベースラインは、カメラ6520が外科処置中にパニング及び/又は再配向されるときに自動的に生成され、また患者の解剖学的構造のより多くの領域がカメラ6520のFOV6570に曝露されるときに更新され得る。特定の例では、状況認識は、本明細書で更に説明されるように、検出された外科的シナリオに基づいて、外科医に更新命令及び/又は提案を提供し得る。別の態様では、CTスキャン6602及びMRI6604などの術前画像が3D表現を構築する際に利用され得る。例えば、非リアルタイムソース(例えば、CTスキャン6602及びMRI6604)からの画像が、そのベースライン座標系において手術部位のリアルタイムマッピングに組み込まれ得る。次いで、非リアルタイム画像ソースによって提供される対応する融合画像が、3D表現を生成するために利用され、上記と同様の方法で操作され得る。
3D表現は、手術前及び手術中画像ソースの任意の組み合わせから生成され得る。一態様では、3D表現は、二次元画像を位置合わせし、次いで、写真測量技術及び/又は3Dスキャンソフトウェアを使用して3D表現を構築することによって生成され得る。更に、いくつかの捕捉された画像は、構造化EMRを介して捕捉された画像などの3D表現を構築するのを支援し得る組織及び/又は構造の3Dトポグラフィを含むか、あるいは示すことができる。組織及び/又は構造の3D表現の生成に関する更なる詳細は、その全体が参照により本明細書に組み込まれる、2018年9月11日出願の米国特許出願第16/128,195号、発明の名称「INTEGRATION OF IMAGING DATA」に見出され得る。
様々な態様において、撮像システム142は、融合画像から生成された3D表現を表示し、表示された可視化POVを操作するためのコントロール(例えば、GUI)をユーザに提供することができる。一例として、図32は、撮像システム142によって提供される、図27の外科処置の可視化表示6620及びGUI6622である。可視化表示6620及びGUI6622は、例えば、ディスプレイ146(図2)に表示され得る。可視化表示6620は、例えば、手術部位の生成された3D表現で補足された、カメラ6520からのリアルタイムビデオフィードを含み得る。カメラ6520によって提供されるビデオフィードは、可視化表示6620上で、生成された3D表現上にオーバーレイされるか、又はそうでなければ3D表現と共に表示され得る。可視化表示6620は、ビデオフィードを表示し、カメラ6520によって提供されるリアルタイムビデオフィードPOVとは異なるPOVをユーザが可視化表示6620に表示させるときに3D表現に遷移するように構成され得る。この特定の例では、可視化表示6620は、肺6508、腫瘍6506、及び様々な構造6610(例えば、血管)の3D表現を表示する。3D表現は、例えば、カメラ6520を介して捕捉された非リアルタイム画像ソース及びリアルタイム画像6600から生成され得る。3D表現は、図32に示すように、カメラ6520のFOVの少なくとも部分的に外側にあり、ユーザによって所望されるときに可視化表示6620に表示され得る部分を含み得る。
一態様では、ディスプレイ146は、ユーザが可視化表示6620、特定のカメラPOV、又は下層3D構造の一部分を選択し、次いで可視化表示6620をハイライト、ズームイン若しくはズームアウト、回転、又は別様に操作して、カメラ6520によって提供されるビューとは異なる視点又はアプローチから手術部位を可視化することを可能にする、GUI6622などの対話型コントロールを含み得る。GUI6622は、ユーザが表面、点、座標系、器具、又は重ね合わされる走査画像を選択し、次いで、その選択に関して可視化表示6620を調整して、撮像システム142に結合されたカメラ6520によって提供されるリアルタイム画像/ビデオと直接位置合わせされていないビュー又は可視化をもたらすように構成され得る。
例えば、図33は、特定の外科処置の工程に対してより有益となり得る、異なる「ローカル」視点から、肺6508、腫瘍6506、及び/又は外科用器具6510のエンドエフェクタ6514の3D表現を視認するために、第1の仮想POV xL1、yL1、zL1に対応する第1の更新済み視点6530にユーザによってシフトされた可視化表示6620を示す。図33に示されるように、第1の仮想POV xL1、yL1、zL1は、カメラPOV xc、yc、zcに対してシフトされ(例えば、図30に示すように)、したがってユーザは、表示される、対応する組織、構造、及び/又は物体の3D表現を少なくとも部分的に視認する。別の例として、図34は、カメラPOV xc、yc、zc(例えば、図30に示されるような)に対して同様にシフトされた更なる別の「ローカル」視点から、肺6508、腫瘍6506、及び/又は外科用器具6510のエンドエフェクタ6514を確認するために、第2の仮想POV xL2、yL2、zL2に対応する第2の更新済み視点6632にユーザによってシフトされた可視化表示6620を示す。一態様では、GUI6622は、可視化表示6620上に示される視点をシフト、パニング、又は別様に操作するためにユーザによって作動され得る視点制御ウィジェット6628を含み得る。更に、GUI6622は、基準視点(例えば、カメラPOVxc、yc、zc)に対する表示される視点のシフトを示し得る座標GUI要素6626を含み得る。GUI6622はまた、可視化表示6620に可視化表示6620内の特定の点、構造、又は物体上にズームイン又はズームアウトさせるように構成されたズームウィジェット6625など、可視化表示6620を制御するための様々な他のコントロールを含み得る。
一態様では、撮像システム142は、3D表現をリアルタイムビデオフィードとは異なる色で表示し、3D表現の構造を強調するか、また別様にユーザが可視化表示6620の表示されたPOVを、カメラ6520によって提供されるリアルタイムビデオフィードPOVから離れるようにシフトさせるときに、ユーザがリアルタイムビデオフィードをもはや視認しないことを示すように構成され得る。更に、撮像システム142は、ユーザがカメラ6520によって提供されるリアルタイムビデオフィードPOVに再びシフトすることを可能にするように構成され得る。一態様では、GUI6622は、ユーザが、カメラPOV(「カメラ」)、デバイスPOV(「デバイス1」及び「デバイス2」)を含む様々なPOVと、ユーザによって定義される仮想POV(「ローカル」)との間でシフトすることを可能にするPOV選択ウィジェット6624を含む。様々な例において、POV選択ウィジェット6624からPOVのうちの1つを選択することによって、可視化画像は、選択されたPOVにスナップし得る。
可視化表示6620は、表示される組織、構造、及び物体に関連付けられた様々な測定値又はパラメータを計算及び/又は表示するように更に構成され得る。一態様では、外科用システムは、腫瘍6506の周りの腫瘍マージン6572を決定及び表示するように構成され得る。腫瘍マージン6572は、腫瘍6506の完全な除去を確実にするために外科医によって切除されるべき組織の最小体積を定義し得る。腫瘍マージン6572は、三次元で腫瘍6506の周りに延びる設定距離として計算され得るか、あるいは腫瘍6506に関連するサイズ、幾何形状、位置、及び他のそのような要因によって変動し得る。一態様では、外科用システムは、可視化表示6620内に組織、構造、及び物体間の相対距離を決定及び表示するように構成され得る。図示の例では、可視化表示6620は、外科用器具6510と腫瘍マージン6572との間の距離d1、及び外科用器具6510と外科用器具エンドエフェクタ6514がその上に位置する組織の表面(図示の例では、肺6508である)との間の距離d2を含む。別の態様では、GUI6622は、可視化されている様々な組織、構造、及び/又は物体の間、すなわち列A及び列Bの対応する要素の間の計算された距離を示す距離GUI要素6627を含み得る。前述の測定値は、例示を目的として提示されたものであり、外科用システムは、様々な他の測定値又はパラメータを計算及び表示することができる。
ここで図35を参照すると、可視化表示6620を制御するプロセス6650の論理フロー図が示されている。プロセス6650の以下の説明では、図2の制御回路132も同様に参照されたい。一態様では、プロセス6650は、制御システム133の制御回路132によって実行されるソフトウェア(例えば、メモリ134に記憶される)又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。以下のプロセスの説明においては図30~図34も参照されたい。
プロセス6650を実行する制御回路132は、ブロック6652で、手術部位の第1の画像を生成することができる。第1の画像は、撮像された領域の3D表面マップを生成するための構造化又は非構造化EMR、不可視の組織及び/又は構造を識別及び特徴付けするためのマルチスペクトル撮像技術、並びに上述の任意の他の可視化技術を利用して、撮像システム142を介して生成され得る。更に、第1の画像は、例えば、図31に示されるように、手術部位の周りでカメラをパニングして、手術部位の3D表現を生成することによって取得される一連の画像として生成され得る。
制御回路132は、ブロック6654で、手術部位の第2の画像を受信し得る。第2の画像は、例えば、図31に示されるように、CTスキャン6602又はMRI6604などの非リアルタイム画像であり得る。
制御回路132は、ブロック6656で、第1の画像、第2の画像、及び様々な画像ソースから取得された任意の他の画像から手術部位の3D表現を生成し、次いでブロック6658で、撮像システムディスプレイ146(図2)、一次ディスプレイ2119(図18)、非滅菌ディスプレイ2109(図18)、ハブディスプレイ2215(図19)、デバイス/器具ディスプレイ2237(図19)などの撮像システムに結合されたディスプレイスクリーン上に3D表現を表示し得る。
3D表現が表示されると(単独で、あるいはカメラ6520からのビデオフィードと併せて)、制御回路132は、ブロック6660で、ユーザ選択に従って、3D表現のPOV又は状態を更新することができる。例えば、ユーザは、図30に示されるカメラPOVから、図33に示される第1の仮想POV又は図34に示される第2の仮想POVに、可視化表示6620を更新することができる。ユーザは、例えば、可視化表示6620に関連付けられたGUI6622を介して提供される視点制御ウィジェット6628を介して、可視化表示6620を更新するための入力を提供することができる。
可視化視野範囲を拡大するための重複画像の融合
上記のように、ビデオ支援外科処置中に発生し得る1つの問題は、カメラが必然的に数において限定され、処置の外科的制約によって所定の位置に固定されるため、可視化システムによって提供されるFOVが、特定の状況では不十分となり得ることである。この技術的問題及び他の技術的問題に対処するためのシステム及び方法は、一態様では、少なくとも部分的に重複するか又は交差する走査領域を有する2つの独立した画像スキャン源及びセンサ(例えば、カメラ)の使用を含み得る。これにより、外科用システムは、固定画像スキャン源のうちの1つのみでは完全に捕捉されない態様を有する3D表面及び体積を生成することができる。したがって、外科用システムは、手術部位に対して移動され得る仮想表示可視化POVを作成することができ、ユーザは、撮像装置のうちの1つを妨げ得る、手術部位にある構造、組織、又は物体(例えば、外科器具)の周囲を見ることが可能となる。
上記のように、ビデオ支援外科処置中に発生し得る1つの問題は、カメラが必然的に数において限定され、処置の外科的制約によって所定の位置に固定されるため、可視化システムによって提供されるFOVが、特定の状況では不十分となり得ることである。この技術的問題及び他の技術的問題に対処するためのシステム及び方法は、一態様では、少なくとも部分的に重複するか又は交差する走査領域を有する2つの独立した画像スキャン源及びセンサ(例えば、カメラ)の使用を含み得る。これにより、外科用システムは、固定画像スキャン源のうちの1つのみでは完全に捕捉されない態様を有する3D表面及び体積を生成することができる。したがって、外科用システムは、手術部位に対して移動され得る仮想表示可視化POVを作成することができ、ユーザは、撮像装置のうちの1つを妨げ得る、手術部位にある構造、組織、又は物体(例えば、外科器具)の周囲を見ることが可能となる。
本開示の様々な態様により、上記の様々な技術的問題が対処され得る。一態様では、本開示は、撮像システムと、ディスプレイスクリーンと、撮像システム及びディスプレイスクリーンに結合された制御回路と、を含む制御システムを対象とする。撮像システムは、第1のFOVを有する第1のイメージセンサと、第1のFOVと少なくとも部分的に重複する第2のFOVを有する第2のイメージセンサと、を含み得る。撮像システムは、構造化EMRを含む様々な異なる撮像技術を使用して、手術部位で組織、構造、及び物体を撮像するように構成され得る。制御回路は、第1のイメージセンサに基づいて手術部位の第1の画像を生成することと、第2のイメージセンサに基づいて手術部位の第2の画像を生成することと、第1の画像と第2の画像とをそれらの重複する部分に従って位置合わせすることと、位置合わせされた第1の画像及び第2の画像に基づいて構造の3D表現を生成することと、3D表現を表示することをディスプレイスクリーンに行わせることと、ユーザ選択に従って3D表現のうちの表示された部分を調整することをディスプレイスクリーンに行わせることと、を行うように構成され得る。
一態様では、撮像装置間のクリア画像フレームを選択するために、また撮像装置のFOVが重複する領域にクリア画像フレームのみを表示するために、計算画像生成器もまた使用され得る。別の態様では、外科用システムは、可視化表示から障害物を除去するか、あるいは撮像装置のFOVが重複する領域において障害物を半透明にレンダリングするように構成され得る。可視化表示6620(図38)及び/又はこれに関連するGUI6622(図38)は、可視化表示6620の各部分がシミュレートされるか、あるいはカメラカメラ6520a、6520b(図38)によって提供される「実際の」ビデオフィードから調整されていることをユーザに気付かせるために、前進された可視化機構がアクティブであるときに、ユーザに指示するように構成され得る。
一態様では、カメラ6520a、6520bのうちの1つは、デフォルト又は一次カメラとして指定されてよく、またそれから生成された画像も同様に、可視化表示6620を介して表示されるデフォルト又は一次画像であると見なされてもよい。この態様では、一次撮像装置からの画像又は他の感知された情報(例えば、マルチスペクトル組織データ)は、第1の撮像装置によって生成された画像の一貫性を確認するために、二次撮像装置のものと比較され得る。更に、特定の大きさの範囲に収まる2つの画像セット間の違いは、外科用システムによって補間され得る。更にまた、閾値を超える2つの画像セット間の違いは、計算された情報がユーザに表示されることを防止することになり得る(例えば、一次画像セット内の画像間の一貫性の欠如によって引き起こされる、計算された情報の精度の懸念による)。特定の例では、本明細書で更に説明される状況認識は、例えば、検出された外科的シナリオに基づいて、適切な精度範囲又は許容値を決定することができる。
一態様では、撮像装置によって得られた手術部位表面情報は、別の撮像源(例えば、CTスキャン)を介して撮像された下層構造(例えば、腫瘍)の重ね合わせを通知するために使用され得る。下層構造の重ね合わせは、撮像された表面に対する下層構造の投影位置を確認するために、代替又は二次撮像源からのデータに対する計算画像の組織変形を考慮するように調整され得る。
ここで図36~図38を参照すると、重複するFOVを有する2つのカメラ6520a、6520bを利用して実施されているVATS処置の様々な図及び可視化表示6620が示されている。特に、第1のカメラ6520aは第1のFOV6700を有し得、第2のカメラ6520bは、第2のFOV6702を有し得る。FOV6700、6702は、それらの間に重複部分6704を更に画定し得る。カメラ6520a、6520bによって生成された画像の重複部分6704により、画像は位置合わせされ得、次いで、上述の様々な技術を使用して手術部位の3D表現を生成するために利用され得る。更に、制御システム133(図2)は、障害物を除去するか、あるいは生成された画像のうちの1つの重複部分6704内に存在する撮像アーチファクトを補正し、問題となる画像部分を、他の画像の対応する妨げられていない又は正しい部分で置き換えるように構成され得る。このようにして、制御システム133は、可視化表示6620によって提供される可視化範囲を動的に更新及び最大化することができる。例えば、制御システム133は、図38に示されるようなカメラ6520a、6520b、又は手術部位に存在する他の外科用デバイスなどの可視化FOV6700、6702の一方又は両方のFOV内に存在する物体を可視化表示6620から除去するように構成され得る。
ここで図39を参照すると、可視化表示6620(図38)を制御するプロセス6750の論理フロー図が示されている。プロセス6750の以下の説明では、図2の制御回路132も同様に参照されたい。一態様では、プロセス6750は、制御システム133の制御回路132によって実行されるソフトウェア(例えば、メモリ134に記憶される)又はハードウェアとして具体化されたコンピュータ実行可能命令のセットとして具体化され得る。以下のプロセスの説明においては図36~図38も参照されたい。
プロセス6750を実行する制御回路132は、ブロック6752で、手術部位の第1の画像を生成することができ、ブロック6754で、手術部位の第2の画像を生成することができる。これらの画像は、撮像された領域の3D表面マップを生成するための構造化又は非構造化EMR、不可視の組織及び/又は構造を識別及び特徴付けするためのマルチスペクトル撮像技術、並びに上述の任意の他の可視化技術を利用して、撮像システム142を介して生成され得る。更に、第1の画像及び第2の画像は、重複するFOVを有するそれぞれのカメラ6520a、6520bによって生成され得る。したがって、第1の画像及び第2の画像は、それに対応して互いに重複し得る。
制御回路132は、ブロック6756で、第1の画像、第2の画像、及び様々な画像ソースから取得された任意の他の画像から手術部位の3D表現を生成し、次いでブロック6758で、撮像システムディスプレイ146(図2)、一次ディスプレイ2119(図18)、非滅菌ディスプレイ2109(図18)、ハブディスプレイ2215(図19)、デバイス/器具ディスプレイ2237(図19)などの撮像システムに結合されたディスプレイスクリーン上に3D表現を表示し得る。
3D表現が表示されると(単独で、あるいはカメラ6520a、6520bの少なくとも一方からのビデオフィードと併せて)、制御回路132は、ブロック6760で、ユーザ選択に従って、3D表現のPOV又は状態を更新することができる。ユーザは、例えば、可視化表示6620に関連付けられたGUI6622を介して提供される視点制御ウィジェット6628を介して、可視化表示6620を更新するための入力を提供することができる。
例示の臨床用途
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの1つ又は2つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの1つ又は2つ以上に対する単に例示的な用途である。
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの1つ又は2つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの1つ又は2つ以上に対する単に例示的な用途である。
外科用可視化システムは、本明細書に開示されるように、例えば、泌尿器科、婦人科、腫瘍科、大腸直腸科、胸部外科、肥満/胃治療科、及び肝胆膵科(HPB)などの異なる専門における多くの異なるタイプの処置に使用することができる。例えば、前立腺切除術などの泌尿器手術では、尿路が脂肪若しくは結合組織中で検出される場合があり、及び/又は、神経が、例えば脂肪中で検出される場合がある。例えば、子宮摘出術などの婦人科腫瘍手術、及び低位前方切除術(LAR)などの大腸直腸手術では、尿管が、例えば脂肪及び/又は結合組織内で検出される場合がある。例えば、肺葉切除術などの胸部手術では、血管が肺若しくは結合組織内で検出される場合があり、及び/又は、神経が結合組織内で検出される場合がある(例えば、食道瘻造設術)。肥満手術では、血管が脂肪中に検出される場合がある。例えば、肝切除術又は膵切除術などのHPB手術では、血管が、脂肪(肝外)、結合組織(肝外)中に検出される場合があり、胆管が、実質組織(肝臓又は膵臓)中に検出される場合がある。
一例では、臨床医は、子宮内膜筋腫の除去を望む場合がある。手術前の磁気共鳴画像(MRI)スキャンから、臨床医は、子宮内膜筋腫が腸の表面上に位置することを知ることができる。したがって、臨床医は、どの組織が腸の一部分を構成しており、どの組織が直腸の一部を構成しているかを手術中に知ることを望む場合がある。そのような例において、外科用可視化システムは、本明細書に開示されるように、異なるタイプの組織(腸対直腸)を示し、その情報を撮像システムを介して臨床医に伝達することができる。更に、撮像システムは、選択された組織に対する外科用装置の近接度を決定及び通信することができる。そのような例では、外科用可視化システムは、重大な合併症を伴わずに、処置効率を向上することができる。
別の例では、臨床医(例えば、婦人科医)は、重要構造に近付きすぎることを回避するために特定の解剖学的領域から離れたまま留まることができるため、臨床医は、例えば子宮内膜症の全てを除去しない場合がある。外科用可視化システムは、本明細書に開示されるように、婦人科医が、外科用装置が全ての子宮内膜症を除去するのに十分に接近することができ、患者の転帰を改善することができる(民主化手術)ように、婦人科医が重要構造に接近しすぎるリスクを軽減することを可能にすることができる。このようなシステムは、外科医が、例えば、特に超音波又は電気手術エネルギーなどの治療用エネルギーの印加中に、避けるべき領域を特定するため停止と再開とを繰り返す代わりに、外科処置中に「移動し続ける」ことを可能にできる。婦人科用途では、子宮動脈及び尿管は大切な重要構造であり、システムは、関与する組織の提示及び/又は厚さを考慮すると、子宮摘出術及び子宮内膜手術に特に有用であり得る。
別の例では、臨床医は、近すぎるために、標的とする葉以外の葉への血液供給に影響を及ぼし得る場所で、血管を切開するリスクがある場合がある。更に、患者間の解剖学的差異が、特定の患者に基づくと異なる葉に影響を及ぼす血管(例えば分岐血管)の切開をもたらし得る。外科用可視化システムは、本明細書に開示されるように、所望の位置で正しい血管の識別を可能にすることができ、これにより、臨床医が適切な解剖学的物を確実に切開することを可能にする。例えば、システムは、正しい血管が正しい位置にあることを確認することができ、その後臨床医が血管を安全に分割することができる。
別の例では、臨床医は、血管の解剖学的構造が不確実であるために、最良の場所での切開前に、複数の切開を行うことがある。しかしながら、より多くの切開が出血のリスクを増大させることがあるため、最初の工程で最良の場所を切開することが望ましい。外科用可視化システムは、本明細書に開示されるように、正しい血管及び切開のための最良の位置を示すことによって、切開の数を最小化することができる。例えば、尿管及び基靱帯は密集しており、切開中に固有の課題をもたらす。そのような例では、切開の数を最小化することが特に望ましい場合がある。
別の例では、癌組織を除去する臨床医(例えば、腫瘍外科医)は、重要構造の識別、癌の局在、癌のステージ分類、及び/又は組織の正常性の評価を知ることを望む場合がある。このような情報は、臨床医が「肉眼」で見られるものではない。外科用可視化システムは、本明細書に開示されるように、手術中に臨床医にそのような情報を決定及び/又は伝達し、手術中の決定を強化し、外科結果を改善することができる。特定の例では、外科用可視化システムは、低侵襲手術(MIS)、観血的手術、及び/又は、例えば内視鏡又は外視鏡のいずれかを使用するロボットアプローチと互換性があり得る。
別の例では、臨床医(例えば、腫瘍外科医)は、外科処置中に保守的になり過ぎることを回避するために、1つ又は2つ以上の重要構造への外科用ツールの近接度に関する1回又は2回以上の警告をオフにすることを望む場合がある。他の例では、臨床医は、1つ又は2つ以上の重要構造から十分に遠く離れたままであるように、近接度及び/又は「飛行禁止区域」を示すための触覚フィードバック(例えば、振動/ブザー)などの特定のタイプの警告の受信を望む場合がある。外科用可視化システムは、本明細書に開示されるように、例えば、臨床医の経験及び/又は処置の所望の積極性に基づいて順応性を提供することができる。そのような例では、システムは、重要構造を予測して回避するために、「知りすぎる」と「十分に知っている」との間のバランスを提供する。外科用可視化システムは、外科処置中の次工程の計画を支援することができる。
本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
実施例1-第1の波長で構造光の第1のパターンを放出するように構成された第1の光源と、第1の波長とは異なる第2の波長で構造光の第2のパターンを放出するように構成された第2の光源と、解剖学的構造上で構造光の第1のパターン及び構造光の第2のパターンを検出するように構成されたイメージセンサと、制御回路と、を備える、外科用可視化システム。制御回路は、イメージセンサから第1の撮像データを受信することを行うように構成されている。第1の撮像データは、イメージセンサによって検出された構造光の第1のパターンからの解剖学的構造の外側表面輪郭を示す。制御回路は、イメージセンサから第2の撮像データを受信することを行うように更に構成されている。第2の撮像データは、構造光の第2のパターンからの解剖学的構造の表面下輪郭を示す。制御回路は、外側表面輪郭及び表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することを行うように更に構成されている。
実施例2-制御回路は、状況認識モジュールから信号を受信することと、状況認識モジュールからの信号に応答して、解剖学的構造の三次元デジタル表現を更新することと、を行うように更に構成されている、実施例1に記載の外科用可視化システム。
実施例3-イメージセンサは、第1の光源の位相シフトデータを検出するように構成されている、実施例1又は2に記載の外科用可視化システム。
実施例4-イメージセンサは、第2の光源の位相シフトデータを検出するように構成されている、実施例1、2、又は3に記載の外科用可視化システム。
実施例5-制御回路は、第1の撮像データ及び第2の撮像データからメタデータを取得することと、メタデータを三次元デジタル表現とオーバーレイすることと、を行うように更に構成されている、実施例1、2、3、又は4に記載の外科用可視化システム。
実施例6-メタデータは、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、又は埋め込まれた構造の識別のうちの少なくとも1つを含む、実施例5に記載の外科用可視化システム。
実施例7-メタデータは、ステープルラインに沿った組織圧縮を示す、実施例5又は6に記載の外科用可視化システム。
実施例8-コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、イメージセンサによって、解剖学的表面輪郭上の構造光の第1のパターン及び解剖学的表面輪郭の表面下輪郭上の構造光の第2のパターンを検出することを機械に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、構造光の第1のパターンを示す第1の撮像データ及び構造光の第2のパターンを示す第2の撮像データを制御回路に送信することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、制御回路によって、第1の撮像データ及び第2の撮像データを処理することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、制御回路によって、解剖学的表面輪郭及び表面下輪郭を含む解剖学的構造の三次元デジタル表現を生成することを機械に更に行わせる、非一時的コンピュータ可読媒体。コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、解剖学的構造の三次元デジタル表現をモニタに送信することを機械に更に行わせる、非一時的コンピュータ可読媒体。
実施例9-コンピュータ可読命令は、実行されると、制御回路によって、イメージセンサによって検出された構造光の第1のパターンの変化及び構造光の第2のパターンの変化に応答して、リアルタイムで解剖学的構造の三次元デジタル表現を更新することと、解剖学的構造の更新された三次元デジタル表現をリアルタイムでモニタに送信することと、を機械に更に行わせる、実施例8に記載の非一時的コンピュータ可読媒体。
実施例10-複数の外科用デバイスからの入力信号に基づいて、外科的シナリオを決定するように構成された状況認識モジュールを備える外科用システム。外科用システムは、複数の光源と、複数の光源から撮像データを検出するように構成されたイメージセンサと、状況認識モジュールに通信可能に結合された制御回路と、を備える可視化システムを更に備える。複数の光源のうちの少なくとも1つは、構造光のパターンを解剖学的構造上に放出するように構成される。制御回路は、イメージセンサから撮像データを受信することと、撮像データによって検出された構造光のパターンから解剖学的構造の三次元デジタル表現を生成することと、撮像データからメタデータを取得することと、メタデータを三次元デジタル表現とオーバーレイすることと、イメージセンサから更新された撮像データを受信することと、更新された撮像データに基づいて、解剖学的構造の更新された三次元デジタル表現を生成することと、状況認識モジュールによって決定された外科的シナリオに応答して、解剖学的構造の更新された三次元デジタル表現上のオーバーレイされたメタデータを更新することと、を行うように構成されている。
実施例11-複数の光源は、複数のコヒーレント光源を含む、実施例10に記載の外科用システム。
実施例12-メタデータは、複数のコヒーレント光源の位相シフトデータを含む、実施例11に記載の外科用システム。
実施例13-複数のコヒーレント光源は、構造光のパターンを放出するように構成されている、実施例11又は12に記載の外科用システム。
実施例14-構造光のパターンは、異なる組織侵入深さを有する複数の異なる波長でコヒーレント光源から放出される、実施例13に記載の外科用システム。
実施例15-イメージセンサは、異なる組織侵入深さで構造光のパターンを捕捉するように構成され、三次元デジタル表現は、構造光の表面パターン及び構造光の表面下パターンから生成される、実施例14に記載の外科用システム。
実施例16-オーバーレイされたメタデータは、組織の不規則性を示す、実施例10、11、12、13、14、又は15に記載の外科用システム。
実施例17-組織の不規則性は表面下の不規則性を含む、実施例16に記載の外科用システム。
実施例18-オーバーレイされたメタデータは、ステープルラインに沿った組織の圧縮を示す、実施例10、11、12、13、14、15、16、又は17に記載の外科用システム。
実施例19-オーバーレイされたメタデータは、埋め込まれた構造の周りのマージンを示す、実施例10、11、12、13、14、15、16、17、又は18に記載の外科用システム。
実施例20-オーバーレイされたメタデータは、解剖学的構造内の組織の速度、組織の歪み、組織の不規則性、組織の血管新生、及び埋め込まれた構造の識別のうちの少なくとも1つを含む、実施例10、11、12、13、14、15、16、17、18、又は19に記載の外科用システム。
実施例21-ユーザコントロールを備える外科用器具のための制御システム。制御システムは、撮像システムと、制御回路と、を備える。撮像システムは、電磁放射(EMR)を放出するように構成されたエミッタと、手術部位から反射されたEMRを受信するように構成されたイメージセンサと、を備える。制御回路は、撮像システム及び外科用器具と動作可能に信号通信する。制御回路は、イメージセンサによって受信されたEMRに基づいて、手術部位の画像を生成することと、画像に従って手術部位に対して第1の座標系を定義することと、外科用器具によって定義された第2の座標系を受信することと、第2の座標系内の座標を第1の座標系へと並進させるための変換関数を決定することと、変換関数を外科用器具に提供して、変換関数に従ってユーザコントロールを調整することを外科用器具に行わせることと、を行うように構成されている。
実施例22-外科用ハブを更に備え、外科用ハブは制御回路を含む、実施例21に記載の制御システム。
実施例23-外科用ハブは、状況認識モジュールによって決定された外科的状況に従って変換関数を外科用器具に提供するように構成された、状況認識モジュールを含む、実施例22に記載の制御システム。
実施例24-変換関数は、外科用器具の少なくとも1つの関節運動制御アクチュエータを調整することを外科用器具に行わせるように構成されている、実施例21、22、又は23に記載の制御システム。
実施例25-変換関数は、外科用器具のグラフィカルユーザインターフェースを調整することを外科用器具に行わせるように構成されている、実施例21、22、23、又は24に記載の制御システム。
実施例26-撮像システムと、ディスプレイスクリーンと、制御回路と、を備える制御システム。撮像システムは、構造化電磁放射(EMR)を放出するように構成されたエミッタと、手術部位から反射された構造化EMRを受信するように構成されたイメージセンサと、を備える。制御回路は、撮像システム及びディスプレイスクリーンに通信可能に結合されている。制御回路は、イメージセンサによって受信された構造化EMRに基づいて、手術部位の第1の画像を生成することと、手術部位の第2の画像を受信することと、第1の画像と第2の画像とを位置合わせすることと、位置合わせされた第1の画像及び第2の画像に基づいて、手術部位の三次元表現を生成することと、ディスプレイスクリーン上に三次元表現を表示することと、三次元表現を操作するためのユーザ選択を受信することと、表示されたスクリーン上に表示される三次元表現をユーザ選択に従って第1の状態から第2の状態に更新することと、を行うように構成されている。
実施例27-三次元表現に対する更新は、拡大又は第1の画像に対する回転のうちの少なくとも1つを含む、実施例26に記載の制御システム。
実施例28-制御回路は、第1の画像又は第2の画像のうちの少なくとも一方の不規則性を、第1の画像又は第2の画像のうちの他方に基づいて分離するように更に構成され、第1の画像及び第2の画像から生成された三次元表現は不規則性を欠いている、実施例26又は27に記載の制御システム。
実施例29-不規則性は、組織、生物学的構造、又は物体のうちの少なくとも1つを含む、実施例28に記載の制御システム。
実施例30-制御回路は、イメージセンサによって受信された構造化EMRに基づいて、手術部位の第3の画像を生成することと、第3の画像に基づいて、三次元表現を更新することと、を行うように更に構成されている、実施例26、27、28、又は29に記載の制御システム。
実施例31-第2の画像は、非リアルタイム画像ソースから受信される、実施例26、27、28、29、又は30に記載の制御システム。
実施例32-非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも一方を含む、実施例31に記載の制御システム。
実施例33-撮像システムと、ディスプレイスクリーンと、制御回路と、を備える制御システム。撮像システムは、手術部位の第1の視野を含む第1のイメージセンサと、手術部位の第2の視野を含む第2のイメージセンサと、を備える。第1の視野と第2の視野とは、少なくとも部分的に重複する。制御回路は、撮像システム及びディスプレイスクリーンと動作可能に信号通信する。制御回路は、第1のイメージセンサに基づいて手術部位の第1の画像を生成することと、第2のイメージセンサに基づいて手術部位の第2の画像を生成することと、第1の画像と第2の画像とを、それらの重複する部分に従って位置合わせすることと、位置合わせされた第1の画像及び第2の画像に基づいて、構造の三次元表現を生成することと、三次元表現を表示することをディスプレイスクリーンに行わせることと、ユーザ選択に従って三次元表現のうちの表示された部分を調整することをディスプレイスクリーンに行わせることと、を行うように構成されている。
実施例34-制御回路は、手術部位の第3の画像を受信することと、第3の画像に基づいて、構造の三次元表現を更新することと、を行うように更に構成されている、実施例33に記載の制御システム。
実施例35-第3の画像は、第1のイメージセンサ又は第2のイメージセンサのうちの1つによって検出された組織メタデータを含む、実施例34に記載の制御システム。
実施例36-第3の画像は、非リアルタイム画像ソースから受信される、実施例34又は35に記載の制御システム。
実施例37-非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも1つを含む、実施例36に記載の制御システム。
実施例38-制御回路は、第2の画像との比較に基づいて、第1の画像の精度を決定することと、三次元表現において第1の画像の精度を伝達することをディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施例33、34、35、36、又は37に記載の制御システム。
実施例39-制御回路は、第1の画像の不規則性を除去することと、第1の画像の不規則性を、第2の画像の対応する部分の補間で置き換えて、更新された第1の画像を生成することと、更新された第1の画像を表示することをディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施例33、34、35、36、37、又は38に記載の制御システム。
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
上記の詳細な説明は、ブロック図、フローチャート及び/又は実施例を用いて、装置及び/又はプロセスの様々な形態について記載してきた。そのようなブロック図、フローチャート及び/又は実施例が1つ若しくは2つ以上の機能及び/又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フローチャート及び/又は実施例に含まれる各機能及び/又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ/又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、1台若しくは2台以上のコンピュータ上で稼働する1つ若しくは2つ以上のコンピュータプログラムとして(例えば、1台若しくは2台以上のコンピュータシステム上で稼働する1つ若しくは2つ以上のプログラムとして)、1つ若しくは2つ以上のプロセッサ上で稼働する1つ若しくは2つ以上のプログラムとして(例えば、1つ若しくは2つ以上のマイクロプロセッサ上で稼働する1つ若しくは2つ以上のプログラムとして)、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに/又はソフトウェア及び/若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で1つ又は2つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ(DRAM)、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械(例えば、コンピュータ)によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ(CD-ROM)、並びに磁気光学ディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号(例えば、搬送波、赤外線信号、デジタル信号など)を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械(例えば、コンピュータ)によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路(例えば、1つ又は2つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ(digital signal processor、DSP)、プログラマブル論理装置(programmable logic device、PLD)、プログラマブル論理アレイ(programmable logic array、PLA)、又はフィールドプログラマブルゲートアレイ(field programmable gate array、FPGA))、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路(IC)、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも1つの個別の電気回路を有する電気回路、少なくとも1つの集積回路を有する電気回路、少なくとも1つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置(例えば、本明細書で説明したプロセス及び/若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び/若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ)を形成する電気回路、メモリ装置(例えば、ランダムアクセスメモリの形態)を形成する電気回路及び/又は通信装置(例えばモデム、通信スイッチ、又は光-電気設備)を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。
本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び/又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び/又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び/又はハードコードされた(例えば、不揮発性の)データとして具現化されてもよい。
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」などという用語は、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかであるコンピュータ関連エンティティを指すことができる。
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶され、転送され、組み合わされ、比較され、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び/又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び/又は状態に適用される便利な標識である。
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。1つの例示的な通信プロトコルとしては、伝送制御プロトコル/インターネットプロトコル(TCP/IP)を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Institute of Electrical and Electronics Engineers(IEEE)によって発行された2008年12月発行の表題「IEEE802.3 Standard」、及び/又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、X.25通信プロトコルを使用して互いに通信することができる。X.25通信プロトコルは、International Telecommunication Union-Telecommunication Standardization Sector(ITU-T)によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Consultative Committee for International Telegraph and Telephone(CCITT)及び/又はthe American National Standards Institute(ANSI)によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード(ATM)通信プロトコルを使用して互いに通信することが可能であり得る。ATM通信プロトコルは、ATM Forumによって「ATM-MPLS Network Interworking 2.0」という題で2001年8月に公開されたATM規格及び/又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び/又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること(processing)」、「計算すること(computing)」、「算出すること(calculating)」、「判定すること(determining)」、「表示すること(displaying)」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理(電子的)量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
1つ又は2つ以上の構成要素が、本明細書中で、「ように構成される(configured to)」、「ように構成可能である(configurable to)」、「動作可能である/ように動作する(operable/operative to)」、「適合される/適合可能である(adapted/adaptable)」、「ことが可能である(able to)」、「準拠可能である/準拠する(conformable/conformed to)」などと言及され得る。当業者は、「ように構成される」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び/又は非アクティブ状態の構成要素及び/又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び/又は絶対的であることを意図したものではない。
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本文)で使用される用語は、概して「オープンな」用語として意図されるものである(例えば、「含む(including)」という用語は、「~を含むが、それらに限定されない(including but not limited to)」と解釈されるべきであり、「有する(having)」という用語は「~を少なくとも有する(having at least)」と解釈されるべきであり、「含む(includes)」という用語は「~を含むが、それらに限定されない(includes but is not limited to)」と解釈されるべきであるなど)ことを理解するであろう。更に、導入された請求項記載(introduced claim recitation)において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも1つの(at least one)」及び「1つ又は2つ以上の(one or more)」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「a」又は「an」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「1つ又は2つ以上の」又は「少なくとも1つの」といった導入句及び「a」又は「an」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を1つのみ含む請求項に限定されると示唆するものと解釈されるべきではない(例えば、「a」及び/又は「an」は通常、「少なくとも1つの」又は「1つ又は2つ以上の」を意味するものと解釈されるべきである)。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう(例えば、他に修飾語のない、単なる「2つの記載事項」という記載がある場合、一般的に、少なくとも2つの記載事項、又は2つ若しくは3つ以上の記載事項を意味する)。更に、「A、B及びCなどのうちの少なくとも1つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている(例えば、「A、B及びCのうちの少なくとも1つを有するシステム」は、限定するものではないが、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方及び/又はAとBとCの全てなどを有するシステムを含む)。「A、B又はCなどのうちの少なくとも1つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている(例えば、「A、B又はCのうちの少なくとも1つを有するシステム」は、限定するものではないが、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方及び/又はAとBとCの全てなどを有するシステムを含む)。更に、典型的には、2つ以上の選択的な用語を表すあらゆる選言的な語及び/又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの1つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「A又はB」という句は、典型的には、「A」又は「B」又は「A及びB」の可能性を含むものと理解されよう。
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンスで示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「~に応答する」、「~に関連する」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
「一態様」、「態様」、「例示」、「1つの例示」などへの任意の参照は、その態様に関連して記載される特定の機構、構造又は特性が少なくとも1つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「1つの例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、1つ又は2つ以上の態様において任意の好適な様態で組み合わせることができる。
本明細書で参照され、かつ/又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。1つ又は2つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。1つ又は2つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択され記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。
〔実施の態様〕
(1) ユーザコントロールを備える外科用器具用の制御システムであって、
撮像システムであって、
電磁放射(EMR)を放出するように構成されたエミッタと、
手術部位から反射された前記EMRを受信するように構成されたイメージセンサと、を備える撮像システムと、
前記撮像システム及び前記外科用器具と動作可能に信号通信する制御回路であって、
前記イメージセンサによって受信された前記EMRに基づいて、前記手術部位の画像を生成することと、
前記画像に従って前記手術部位に対して第1の座標系を定義することと、
前記外科用器具によって定義された第2の座標系を受信することと、
前記第2の座標系内の座標を前記第1の座標系へと並進させるための変換関数を決定することと、
前記変換関数を前記外科用器具に提供して、前記変換関数に従って前記ユーザコントロールを調整することを前記外科用器具に行わせることと、を行うように構成された制御回路と、を備える、制御システム。
(2) 外科用ハブを更に備え、前記外科用ハブは前記制御回路を含む、実施態様1に記載の制御システム。
(3) 前記外科用ハブは、状況認識モジュールによって決定された外科的状況に従って前記変換関数を前記外科用器具に提供するように構成された、前記状況認識モジュールを含む、実施態様2に記載の制御システム。
(4) 前記変換関数は、前記外科用器具の少なくとも1つの関節運動制御アクチュエータを調整することを前記外科用器具に行わせるように構成されている、実施態様1に記載の制御システム。
(5) 前記変換関数は、前記外科用器具のグラフィカルユーザインターフェースを調整することを前記外科用器具に行わせるように構成されている、実施態様1に記載の制御システム。
(1) ユーザコントロールを備える外科用器具用の制御システムであって、
撮像システムであって、
電磁放射(EMR)を放出するように構成されたエミッタと、
手術部位から反射された前記EMRを受信するように構成されたイメージセンサと、を備える撮像システムと、
前記撮像システム及び前記外科用器具と動作可能に信号通信する制御回路であって、
前記イメージセンサによって受信された前記EMRに基づいて、前記手術部位の画像を生成することと、
前記画像に従って前記手術部位に対して第1の座標系を定義することと、
前記外科用器具によって定義された第2の座標系を受信することと、
前記第2の座標系内の座標を前記第1の座標系へと並進させるための変換関数を決定することと、
前記変換関数を前記外科用器具に提供して、前記変換関数に従って前記ユーザコントロールを調整することを前記外科用器具に行わせることと、を行うように構成された制御回路と、を備える、制御システム。
(2) 外科用ハブを更に備え、前記外科用ハブは前記制御回路を含む、実施態様1に記載の制御システム。
(3) 前記外科用ハブは、状況認識モジュールによって決定された外科的状況に従って前記変換関数を前記外科用器具に提供するように構成された、前記状況認識モジュールを含む、実施態様2に記載の制御システム。
(4) 前記変換関数は、前記外科用器具の少なくとも1つの関節運動制御アクチュエータを調整することを前記外科用器具に行わせるように構成されている、実施態様1に記載の制御システム。
(5) 前記変換関数は、前記外科用器具のグラフィカルユーザインターフェースを調整することを前記外科用器具に行わせるように構成されている、実施態様1に記載の制御システム。
(6) 制御システムであって、
撮像システムであって、
構造化電磁放射(EMR)を放出するように構成されたエミッタと、
手術部位から反射された前記構造化EMRを受信するように構成されたイメージセンサと、を備える撮像システムと、
ディスプレイスクリーンと、
前記撮像システム及び前記ディスプレイスクリーンに通信可能に結合された制御回路であって、
前記イメージセンサによって受信された前記構造化EMRに基づいて、前記手術部位の第1の画像を生成することと、
前記手術部位の第2の画像を受信することと、
前記第1の画像と前記第2の画像とを位置合わせすることと、
位置合わせされた前記第1の画像及び前記第2の画像に基づいて、前記手術部位の三次元表現を生成することと、
前記ディスプレイスクリーン上に前記三次元表現を表示することと、
前記三次元表現を操作するためのユーザ選択を受信することと、
前記表示されたスクリーン上に表示される前記三次元表現を前記ユーザ選択に従って第1の状態から第2の状態へと更新することと、を行うように構成されている制御回路と、を備える、制御システム。
(7) 前記三次元表現に対する前記更新は、拡大又は前記第1の画像に対する回転のうちの少なくとも1つを含む、実施態様6に記載の制御システム。
(8) 前記制御回路は、前記第1の画像又は前記第2の画像のうちの少なくとも一方の不規則性を、前記第1の画像又は前記第2の画像のうちの他方に基づいて分離するように更に構成され、前記第1の画像及び前記第2の画像から生成された前記三次元表現は前記不規則性を欠いている、実施態様6に記載の制御システム。
(9) 前記不規則性は、組織、生物学的構造、又は物体のうちの少なくとも1つを含む、実施態様8に記載の制御システム。
(10) 前記制御回路は、
前記イメージセンサによって受信された前記構造化EMRに基づいて、前記手術部位の第3の画像を生成することと、
前記第3の画像に基づいて、前記三次元表現を更新することと、を行うように更に構成されている、実施態様6に記載の制御システム。
撮像システムであって、
構造化電磁放射(EMR)を放出するように構成されたエミッタと、
手術部位から反射された前記構造化EMRを受信するように構成されたイメージセンサと、を備える撮像システムと、
ディスプレイスクリーンと、
前記撮像システム及び前記ディスプレイスクリーンに通信可能に結合された制御回路であって、
前記イメージセンサによって受信された前記構造化EMRに基づいて、前記手術部位の第1の画像を生成することと、
前記手術部位の第2の画像を受信することと、
前記第1の画像と前記第2の画像とを位置合わせすることと、
位置合わせされた前記第1の画像及び前記第2の画像に基づいて、前記手術部位の三次元表現を生成することと、
前記ディスプレイスクリーン上に前記三次元表現を表示することと、
前記三次元表現を操作するためのユーザ選択を受信することと、
前記表示されたスクリーン上に表示される前記三次元表現を前記ユーザ選択に従って第1の状態から第2の状態へと更新することと、を行うように構成されている制御回路と、を備える、制御システム。
(7) 前記三次元表現に対する前記更新は、拡大又は前記第1の画像に対する回転のうちの少なくとも1つを含む、実施態様6に記載の制御システム。
(8) 前記制御回路は、前記第1の画像又は前記第2の画像のうちの少なくとも一方の不規則性を、前記第1の画像又は前記第2の画像のうちの他方に基づいて分離するように更に構成され、前記第1の画像及び前記第2の画像から生成された前記三次元表現は前記不規則性を欠いている、実施態様6に記載の制御システム。
(9) 前記不規則性は、組織、生物学的構造、又は物体のうちの少なくとも1つを含む、実施態様8に記載の制御システム。
(10) 前記制御回路は、
前記イメージセンサによって受信された前記構造化EMRに基づいて、前記手術部位の第3の画像を生成することと、
前記第3の画像に基づいて、前記三次元表現を更新することと、を行うように更に構成されている、実施態様6に記載の制御システム。
(11) 前記第2の画像は、非リアルタイム画像ソースから受信される、実施態様6に記載の制御システム。
(12) 前記非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも一方を含む、実施態様11に記載の制御システム。
(13) 制御システムであって、
撮像システムであって、
手術部位の第1の視野を含む第1のイメージセンサと、
前記手術部位の第2の視野を含む第2のイメージセンサであって、前記第1の視野と前記第2の視野とは少なくとも部分的に重複する、第2のイメージセンサと、を備える、撮像システムと、
ディスプレイスクリーンと、
前記撮像システム及び前記ディスプレイスクリーンと動作可能に信号通信する制御回路であって、
前記第1のイメージセンサに基づいて前記手術部位の第1の画像を生成することと、
前記第2のイメージセンサに基づいて前記手術部位の第2の画像を生成することと、
前記第1の画像と前記第2の画像とを、それらの重複する部分に従って位置合わせすることと、
位置合わせされた前記第1の画像及び前記第2の画像に基づいて、構造の三次元表現を生成することと、
前記三次元表現を表示することを前記ディスプレイスクリーンに行わせることと、
ユーザ選択に従って前記三次元表現のうちの表示された部分を調整することを前記ディスプレイスクリーンに行わせることと、を行うように構成されている制御回路と、を備える、制御システム。
(14) 前記制御回路は、
前記手術部位の第3の画像を受信することと、
前記第3の画像に基づいて、前記構造の前記三次元表現を更新することと、を行うように更に構成されている、実施態様13に記載の制御システム。
(15) 前記第3の画像は、前記第1のイメージセンサ又は前記第2のイメージセンサのうちの1つによって検出された組織メタデータを含む、実施態様14に記載の制御システム。
(12) 前記非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも一方を含む、実施態様11に記載の制御システム。
(13) 制御システムであって、
撮像システムであって、
手術部位の第1の視野を含む第1のイメージセンサと、
前記手術部位の第2の視野を含む第2のイメージセンサであって、前記第1の視野と前記第2の視野とは少なくとも部分的に重複する、第2のイメージセンサと、を備える、撮像システムと、
ディスプレイスクリーンと、
前記撮像システム及び前記ディスプレイスクリーンと動作可能に信号通信する制御回路であって、
前記第1のイメージセンサに基づいて前記手術部位の第1の画像を生成することと、
前記第2のイメージセンサに基づいて前記手術部位の第2の画像を生成することと、
前記第1の画像と前記第2の画像とを、それらの重複する部分に従って位置合わせすることと、
位置合わせされた前記第1の画像及び前記第2の画像に基づいて、構造の三次元表現を生成することと、
前記三次元表現を表示することを前記ディスプレイスクリーンに行わせることと、
ユーザ選択に従って前記三次元表現のうちの表示された部分を調整することを前記ディスプレイスクリーンに行わせることと、を行うように構成されている制御回路と、を備える、制御システム。
(14) 前記制御回路は、
前記手術部位の第3の画像を受信することと、
前記第3の画像に基づいて、前記構造の前記三次元表現を更新することと、を行うように更に構成されている、実施態様13に記載の制御システム。
(15) 前記第3の画像は、前記第1のイメージセンサ又は前記第2のイメージセンサのうちの1つによって検出された組織メタデータを含む、実施態様14に記載の制御システム。
(16) 前記第3の画像は、非リアルタイム画像ソースから受信される、実施態様14に記載の制御システム。
(17) 前記非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも1つを含む、実施態様16に記載の制御システム。
(18) 前記制御回路は、
前記第2の画像との比較に基づいて、前記第1の画像の精度を決定することと、
前記三次元表現において前記第1の画像の前記精度を伝達することを前記ディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施態様13に記載の制御システム。
(19) 前記制御回路は、
前記第1の画像の不規則性を除去することと、
前記第1の画像の前記不規則性を、前記第2の画像のうちの対応する部分の補間で置き換えて、更新された第1の画像を生成することと、
前記更新された第1の画像を表示することを前記ディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施態様13に記載の制御システム。
(17) 前記非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも1つを含む、実施態様16に記載の制御システム。
(18) 前記制御回路は、
前記第2の画像との比較に基づいて、前記第1の画像の精度を決定することと、
前記三次元表現において前記第1の画像の前記精度を伝達することを前記ディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施態様13に記載の制御システム。
(19) 前記制御回路は、
前記第1の画像の不規則性を除去することと、
前記第1の画像の前記不規則性を、前記第2の画像のうちの対応する部分の補間で置き換えて、更新された第1の画像を生成することと、
前記更新された第1の画像を表示することを前記ディスプレイスクリーンに行わせることと、を行うように更に構成されている、実施態様13に記載の制御システム。
Claims (19)
- ユーザコントロールを備える外科用器具用の制御システムであって、
撮像システムであって、
電磁放射(EMR)を放出するように構成されたエミッタと、
手術部位から反射された前記EMRを受信するように構成されたイメージセンサと、を備える撮像システムと、
前記撮像システム及び前記外科用器具と動作可能に信号通信する制御回路であって、
前記イメージセンサによって受信された前記EMRに基づいて、前記手術部位の画像を生成することと、
前記画像に従って前記手術部位に対して第1の座標系を定義することと、
前記外科用器具によって定義された第2の座標系を受信することと、
前記第2の座標系内の座標を前記第1の座標系へと並進させるための変換関数を決定することと、
前記変換関数を前記外科用器具に提供して、前記変換関数に従って前記ユーザコントロールを調整することを前記外科用器具に行わせることと、を行うように構成された制御回路と、を備える、制御システム。 - 外科用ハブを更に備え、前記外科用ハブは前記制御回路を含む、請求項1に記載の制御システム。
- 前記外科用ハブは、状況認識モジュールによって決定された外科的状況に従って前記変換関数を前記外科用器具に提供するように構成された、前記状況認識モジュールを含む、請求項2に記載の制御システム。
- 前記変換関数は、前記外科用器具の少なくとも1つの関節運動制御アクチュエータを調整することを前記外科用器具に行わせるように構成されている、請求項1に記載の制御システム。
- 前記変換関数は、前記外科用器具のグラフィカルユーザインターフェースを調整することを前記外科用器具に行わせるように構成されている、請求項1に記載の制御システム。
- 制御システムであって、
撮像システムであって、
構造化電磁放射(EMR)を放出するように構成されたエミッタと、
手術部位から反射された前記構造化EMRを受信するように構成されたイメージセンサと、を備える撮像システムと、
ディスプレイスクリーンと、
前記撮像システム及び前記ディスプレイスクリーンに通信可能に結合された制御回路であって、
前記イメージセンサによって受信された前記構造化EMRに基づいて、前記手術部位の第1の画像を生成することと、
前記手術部位の第2の画像を受信することと、
前記第1の画像と前記第2の画像とを位置合わせすることと、
位置合わせされた前記第1の画像及び前記第2の画像に基づいて、前記手術部位の三次元表現を生成することと、
前記ディスプレイスクリーン上に前記三次元表現を表示することと、
前記三次元表現を操作するためのユーザ選択を受信することと、
前記表示されたスクリーン上に表示される前記三次元表現を前記ユーザ選択に従って第1の状態から第2の状態へと更新することと、を行うように構成されている制御回路と、を備える、制御システム。 - 前記三次元表現に対する前記更新は、拡大又は前記第1の画像に対する回転のうちの少なくとも1つを含む、請求項6に記載の制御システム。
- 前記制御回路は、前記第1の画像又は前記第2の画像のうちの少なくとも一方の不規則性を、前記第1の画像又は前記第2の画像のうちの他方に基づいて分離するように更に構成され、前記第1の画像及び前記第2の画像から生成された前記三次元表現は前記不規則性を欠いている、請求項6に記載の制御システム。
- 前記不規則性は、組織、生物学的構造、又は物体のうちの少なくとも1つを含む、請求項8に記載の制御システム。
- 前記制御回路は、
前記イメージセンサによって受信された前記構造化EMRに基づいて、前記手術部位の第3の画像を生成することと、
前記第3の画像に基づいて、前記三次元表現を更新することと、を行うように更に構成されている、請求項6に記載の制御システム。 - 前記第2の画像は、非リアルタイム画像ソースから受信される、請求項6に記載の制御システム。
- 前記非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも一方を含む、請求項11に記載の制御システム。
- 制御システムであって、
撮像システムであって、
手術部位の第1の視野を含む第1のイメージセンサと、
前記手術部位の第2の視野を含む第2のイメージセンサであって、前記第1の視野と前記第2の視野とは少なくとも部分的に重複する、第2のイメージセンサと、を備える、撮像システムと、
ディスプレイスクリーンと、
前記撮像システム及び前記ディスプレイスクリーンと動作可能に信号通信する制御回路であって、
前記第1のイメージセンサに基づいて前記手術部位の第1の画像を生成することと、
前記第2のイメージセンサに基づいて前記手術部位の第2の画像を生成することと、
前記第1の画像と前記第2の画像とを、それらの重複する部分に従って位置合わせすることと、
位置合わせされた前記第1の画像及び前記第2の画像に基づいて、構造の三次元表現を生成することと、
前記三次元表現を表示することを前記ディスプレイスクリーンに行わせることと、
ユーザ選択に従って前記三次元表現のうちの表示された部分を調整することを前記ディスプレイスクリーンに行わせることと、を行うように構成されている制御回路と、を備える、制御システム。 - 前記制御回路は、
前記手術部位の第3の画像を受信することと、
前記第3の画像に基づいて、前記構造の前記三次元表現を更新することと、を行うように更に構成されている、請求項13に記載の制御システム。 - 前記第3の画像は、前記第1のイメージセンサ又は前記第2のイメージセンサのうちの1つによって検出された組織メタデータを含む、請求項14に記載の制御システム。
- 前記第3の画像は、非リアルタイム画像ソースから受信される、請求項14に記載の制御システム。
- 前記非リアルタイム画像ソースは、CTスキャン又はMRIのうちの少なくとも1つを含む、請求項16に記載の制御システム。
- 前記制御回路は、
前記第2の画像との比較に基づいて、前記第1の画像の精度を決定することと、
前記三次元表現において前記第1の画像の前記精度を伝達することを前記ディスプレイスクリーンに行わせることと、を行うように更に構成されている、請求項13に記載の制御システム。 - 前記制御回路は、
前記第1の画像の不規則性を除去することと、
前記第1の画像の前記不規則性を、前記第2の画像のうちの対応する部分の補間で置き換えて、更新された第1の画像を生成することと、
前記更新された第1の画像を表示することを前記ディスプレイスクリーンに行わせることと、を行うように更に構成されている、請求項13に記載の制御システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/729,747 US12002571B2 (en) | 2019-12-30 | 2019-12-30 | Dynamic surgical visualization systems |
US16/729,747 | 2019-12-30 | ||
PCT/IB2020/060089 WO2021136994A1 (en) | 2019-12-30 | 2020-10-28 | Dynamic surgical visualization systems |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023508524A true JP2023508524A (ja) | 2023-03-02 |
Family
ID=73139078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022540390A Pending JP2023508524A (ja) | 2019-12-30 | 2020-10-28 | 動的外科用可視化システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US12002571B2 (ja) |
EP (1) | EP3845189B1 (ja) |
JP (1) | JP2023508524A (ja) |
CN (1) | CN115135268A (ja) |
BR (1) | BR112022012946A2 (ja) |
WO (1) | WO2021136994A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3737326A4 (en) * | 2018-01-10 | 2021-12-29 | Covidien LP | Determining positions and conditions of tools of a robotic surgical system utilizing computer vision |
US20200015904A1 (en) | 2018-07-16 | 2020-01-16 | Ethicon Llc | Surgical visualization controls |
US11219501B2 (en) | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
US11744667B2 (en) | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
US12053223B2 (en) | 2019-12-30 | 2024-08-06 | Cilag Gmbh International | Adaptive surgical system control according to surgical smoke particulate characteristics |
US20220328177A1 (en) * | 2020-03-13 | 2022-10-13 | Brainlab Ag | Stability estimation of a point set registration |
US20210330394A1 (en) * | 2020-04-23 | 2021-10-28 | Johnson & Johnson Surgical Vision, Inc. | Augmented-reality visualization of an ophthalmic surgical tool |
CN116056621A (zh) * | 2020-08-05 | 2023-05-02 | 捷锐士阿希迈公司(以奥林巴斯美国外科技术名义) | 解剖目标的深度和轮廓检测 |
US20220057635A1 (en) * | 2020-08-20 | 2022-02-24 | Johnson & Johnson Surgical Vision, Inc. | Presenting visual and thermal images in a headset during phacoemulsification |
DE102020124220A1 (de) * | 2020-09-17 | 2022-03-17 | Olympus Winter & Ibe Gmbh | Verfahren und System zur stereoendoskopischen Fluoreszenzmessung sowie Softwareprogrammprodukt |
US20220092805A1 (en) * | 2020-09-23 | 2022-03-24 | Smith & Nephew, Inc. | Optical caliper for 3-d endoscopic imaging and measurement |
US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
US11992372B2 (en) | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
US12016566B2 (en) | 2020-10-02 | 2024-06-25 | Cilag Gmbh International | Surgical instrument with adaptive function controls |
US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
US11877792B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Smart energy combo control options |
US12064293B2 (en) | 2020-10-02 | 2024-08-20 | Cilag Gmbh International | Field programmable surgical visualization system |
US11883052B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | End effector updates |
US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
US11911030B2 (en) | 2020-10-02 | 2024-02-27 | Cilag Gmbh International | Communication capability of a surgical device with component |
US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US20220104878A1 (en) * | 2020-10-06 | 2022-04-07 | Mazor Robotics Ltd. | Method, device, and system for image generation based on calculated robotic arm positions |
US12011163B2 (en) | 2021-01-22 | 2024-06-18 | Cilag Gmbh International | Prediction of tissue irregularities based on biomarker monitoring |
US11694533B2 (en) | 2021-01-22 | 2023-07-04 | Cilag Gmbh International | Predictive based system adjustments based on biomarker trending |
US11682487B2 (en) | 2021-01-22 | 2023-06-20 | Cilag Gmbh International | Active recognition and pairing sensing systems |
US12075984B2 (en) * | 2021-07-14 | 2024-09-03 | Cilag Gmbh International | Stereoscopic endoscope with critical structure depth estimation |
US20230020346A1 (en) * | 2021-07-14 | 2023-01-19 | Cilag Gmbh International | Scene adaptive endoscopic hyperspectral imaging system |
US12053150B2 (en) * | 2021-08-11 | 2024-08-06 | Terumo Cardiovascular Systems Corporation | Endoscopic vessel harvesting with thermal management and augmented reality display |
US20230100698A1 (en) * | 2021-09-29 | 2023-03-30 | Cilag Gmbh International | Methods for Controlling Cooperative Surgical Instruments |
WO2023052951A1 (en) * | 2021-09-29 | 2023-04-06 | Cilag Gmbh International | Surgical systems with intraluminal and extraluminal cooperative instruments |
US11937799B2 (en) | 2021-09-29 | 2024-03-26 | Cilag Gmbh International | Surgical sealing systems for instrument stabilization |
WO2023052955A1 (en) * | 2021-09-29 | 2023-04-06 | Cilag Gmbh International | Instrument control surgical imaging systems |
US20230145270A1 (en) * | 2021-11-11 | 2023-05-11 | International Business Machines Corporation | Method to improve model performance by artificial blending of healthy tissue |
WO2023114470A1 (en) * | 2021-12-16 | 2023-06-22 | University Of Miami | Augmented and mixed reality incorporating pathology results in surgical settings |
US20230346199A1 (en) * | 2022-04-29 | 2023-11-02 | 3Dintegrated Aps | Anatomy measurement |
US20240261028A1 (en) * | 2023-02-02 | 2024-08-08 | Edda Technology, Inc. | System and method for automated trocar and robot base location determination |
US20240261034A1 (en) * | 2023-02-02 | 2024-08-08 | Edda Technology, Inc. | System and method for automated surgical position marking in robot-assisted surgery |
Family Cites Families (488)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3901602A (en) | 1974-05-13 | 1975-08-26 | Us Commerce | Light scattering method and apparatus for the chemical characterization of particulate matter |
DE3611337A1 (de) | 1986-04-04 | 1987-10-22 | Deutsche Forsch Luft Raumfahrt | In einer kunststoffkugel untergebrachte, opto-elektronische anordnung |
US4986262A (en) | 1987-03-31 | 1991-01-22 | Kabushiki Kaisha Toshiba | Measuring endoscope |
US4753641A (en) | 1987-09-10 | 1988-06-28 | Vaslow Dale F | Emergency medical needle |
DE68924749T2 (de) | 1988-09-15 | 1996-07-04 | The Board Of Trustees Of The University Of Arkansas, Little Rock, Ark. | Kennzeichnung von Teilchen durch modulierte dynamische Lichtstreuung. |
US5460182A (en) | 1992-09-14 | 1995-10-24 | Sextant Medical Corporation | Tissue penetrating apparatus and methods |
US5609562A (en) | 1993-11-16 | 1997-03-11 | Worldwide Optical Trocar Licensing Corporation | Visually directed trocar and method |
WO1999040841A1 (en) | 1998-02-11 | 1999-08-19 | Non-Invasive Technology, Inc. | Imaging and characterization of brain tissue |
US6350233B1 (en) | 1998-07-30 | 2002-02-26 | David Z. Lubowski | Sigmoidoscope |
US7137980B2 (en) | 1998-10-23 | 2006-11-21 | Sherwood Services Ag | Method and system for controlling output of RF medical generator |
US6951535B2 (en) | 2002-01-16 | 2005-10-04 | Intuitive Surgical, Inc. | Tele-medicine system that transmits an entire state of a subsystem |
US6503195B1 (en) * | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
DE10005628B4 (de) | 2000-02-09 | 2006-04-20 | Siemens Ag | Verfahren und Vorrichtung zur Ausrichtung eines medizinischen Instruments am Körper eines Patienten unter Verwendung eines Computer-Tomographen |
US6869430B2 (en) | 2000-03-31 | 2005-03-22 | Rita Medical Systems, Inc. | Tissue biopsy and treatment apparatus and method |
US6614453B1 (en) | 2000-05-05 | 2003-09-02 | Koninklijke Philips Electronics, N.V. | Method and apparatus for medical image display for surgical tool planning and navigation in clinical environments |
ATE345158T1 (de) | 2000-09-12 | 2006-12-15 | Peter K Law | Katheter für den myogenen zelltransfer |
US6826424B1 (en) | 2000-12-19 | 2004-11-30 | Haishan Zeng | Methods and apparatus for fluorescence and reflectance imaging and spectroscopy and for contemporaneous measurements of electromagnetic radiation with multiple measuring devices |
US7740623B2 (en) | 2001-01-13 | 2010-06-22 | Medtronic, Inc. | Devices and methods for interstitial injection of biologic agents into tissue |
US6632183B2 (en) | 2001-02-12 | 2003-10-14 | Thermal Technologies, Inc. | Perfusion sensitive biopsy extractor |
CA2439249C (en) | 2001-02-27 | 2011-04-12 | Smith & Nephew, Inc. | Total knee arthroplasty systems |
US7547307B2 (en) | 2001-02-27 | 2009-06-16 | Smith & Nephew, Inc. | Computer assisted knee arthroplasty instrumentation, systems, and processes |
US20050113846A1 (en) | 2001-02-27 | 2005-05-26 | Carson Christopher P. | Surgical navigation systems and processes for unicompartmental knee arthroplasty |
NO20011769D0 (no) | 2001-04-06 | 2001-04-06 | Bjoern Franc Iversen | Anordning og system for gjensidig posisjonering av protesedeler |
US8231639B2 (en) | 2001-11-28 | 2012-07-31 | Aptus Endosystems, Inc. | Systems and methods for attaching a prosthesis within a body lumen or hollow organ |
DE10158775B4 (de) | 2001-11-30 | 2004-05-06 | 3Dconnexion Gmbh | Anordnung zum Erfassen von Relativbewegungen oder Relativpositionen zweier Objekte |
US8010180B2 (en) | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
US7206627B2 (en) | 2002-03-06 | 2007-04-17 | Z-Kat, Inc. | System and method for intra-operative haptic planning of a medical procedure |
US8996169B2 (en) | 2011-12-29 | 2015-03-31 | Mako Surgical Corp. | Neural monitor-based dynamic haptics |
US7831292B2 (en) | 2002-03-06 | 2010-11-09 | Mako Surgical Corp. | Guidance system and method for surgical procedures with improved feedback |
US6887247B1 (en) | 2002-04-17 | 2005-05-03 | Orthosoft Inc. | CAS drill guide and drill tracking system |
JP4106991B2 (ja) | 2002-07-15 | 2008-06-25 | ブラザー工業株式会社 | ミシン制御装置、ミシン制御方法およびミシン制御プログラム |
US20040176751A1 (en) | 2002-08-14 | 2004-09-09 | Endovia Medical, Inc. | Robotic medical instrument system |
DE60326608D1 (de) | 2002-10-04 | 2009-04-23 | Orthosoft Inc | Computergestützte hüftersatz chirurgie |
US20040082842A1 (en) | 2002-10-28 | 2004-04-29 | Lumba Vijay K. | System for monitoring fetal status |
US20090149871A9 (en) | 2002-11-01 | 2009-06-11 | Jonathan Kagan | Devices and methods for treating morbid obesity |
EP1644867B1 (en) | 2003-04-18 | 2010-08-11 | Medispectra, Inc. | A system and diagnostic method for optical detection of suspect portions of a tissue sample |
US8073286B2 (en) | 2006-08-09 | 2011-12-06 | DigitalOptics Corporation Europe Limited | Detection and correction of flash artifacts from airborne particulates |
US20100081875A1 (en) | 2003-07-15 | 2010-04-01 | EndoRobotics Inc. | Surgical Device For Minimal Access Surgery |
US7905840B2 (en) | 2003-10-17 | 2011-03-15 | Nuvasive, Inc. | Surgical access system and related methods |
US10041822B2 (en) | 2007-10-05 | 2018-08-07 | Covidien Lp | Methods to shorten calibration times for powered devices |
US20080269596A1 (en) | 2004-03-10 | 2008-10-30 | Ian Revie | Orthpaedic Monitoring Systems, Methods, Implants and Instruments |
CA2561913A1 (en) | 2004-03-11 | 2005-09-22 | Medrad, Inc. | Energy assisted medical devices, systems and methods |
DE602004006227T2 (de) | 2004-03-17 | 2008-01-03 | 3Dconnexion Gmbh | Benutzerschnittstellenvorrichtung |
US20050279354A1 (en) | 2004-06-21 | 2005-12-22 | Harvey Deutsch | Structures and Methods for the Joint Delivery of Fluids and Light |
US9072535B2 (en) | 2011-05-27 | 2015-07-07 | Ethicon Endo-Surgery, Inc. | Surgical stapling instruments with rotatable staple deployment arrangements |
AU2004323338B2 (en) | 2004-09-15 | 2011-01-20 | Ao Technology Ag | Calibrating device |
US7532327B2 (en) | 2004-09-17 | 2009-05-12 | Jmar Research, Inc. | Systems and methods for detecting scattered light from a particle using illumination incident at an angle |
US20080015664A1 (en) | 2004-10-06 | 2008-01-17 | Podhajsky Ronald J | Systems and methods for thermally profiling radiofrequency electrodes |
US20060079841A1 (en) | 2004-10-07 | 2006-04-13 | University Technologies International Inc. | Rapid insufflation drug compartment |
US9161820B2 (en) | 2004-10-28 | 2015-10-20 | Nico Corporation | Surgical access assembly and method of using same |
EP2595129B1 (en) | 2004-11-12 | 2020-05-20 | Xtralis Technologies Ltd | Method and system for detecting particles |
EP2191774A3 (en) | 2004-12-06 | 2010-06-23 | Cambridge Research & Instrumentation, Inc. | Systems and methods for in-vivo optical imaging and measurement |
EP1677099A1 (en) | 2004-12-30 | 2006-07-05 | Danmarks Tekniske Universitet | Method and apparatus for classification of surfaces |
WO2006086765A2 (en) | 2005-02-11 | 2006-08-17 | University Of Florida Research Foundation, Inc. | System including computed tomography device for image guided treatment |
US20060293557A1 (en) | 2005-03-11 | 2006-12-28 | Bracco Imaging, S.P.A. | Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray") |
US20060206007A1 (en) | 2005-03-14 | 2006-09-14 | Bala John L | Disposable illuminator endoscope |
US7842027B2 (en) | 2005-03-21 | 2010-11-30 | Lieponis Jonas V | Multi-purpose surgical instrument with integral optical system |
AU2006238292B2 (en) | 2005-03-31 | 2010-04-15 | Olympus Medical Systems Corp. | Surgery assisting apparatus and treatment assisting apparatus |
US20060224045A1 (en) | 2005-03-31 | 2006-10-05 | Depuy Spine, Inc. | Integrated access device and light source for surgical procedures |
JP4766902B2 (ja) | 2005-03-31 | 2011-09-07 | オリンパスメディカルシステムズ株式会社 | 手術支援装置 |
US7510524B2 (en) | 2005-04-04 | 2009-03-31 | Invuity, Inc. | Optical waveguide sheath |
US9005115B2 (en) | 2005-04-04 | 2015-04-14 | Invuity, Inc. | Illuminated telescoping cannula |
US8073528B2 (en) | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
US8932208B2 (en) | 2005-05-26 | 2015-01-13 | Maquet Cardiovascular Llc | Apparatus and methods for performing minimally-invasive surgical procedures |
WO2006129087A1 (en) | 2005-06-02 | 2006-12-07 | Depuy International Ltd | Surgical system and method |
US20120143341A1 (en) | 2006-12-12 | 2012-06-07 | Arthrodisc, L.L.C. | Devices and methods for visual differentiation of intervertebral spaces |
US7828812B2 (en) | 2005-06-13 | 2010-11-09 | Ethicon Endo-Surgery, Inc. | Surgical suturing apparatus with needle release system |
US20070014784A1 (en) | 2005-06-23 | 2007-01-18 | Medtronic Vascular, Inc. | Methods and Systems for Treating Injured Cardiac Tissue |
US20100280493A1 (en) | 2005-06-23 | 2010-11-04 | Asha Nayak | Methods and Systems for Treating Injured Cardiac Tissue |
US20070172472A1 (en) | 2005-06-23 | 2007-07-26 | Asha Nayak | Methods and Systems for Treating Injured Cardiac Tissue |
US20070093748A1 (en) | 2005-06-23 | 2007-04-26 | Medtronic Vascular, Inc. | Methods and systems for treating injured cardiac tissue |
DE102005034684B4 (de) | 2005-07-25 | 2014-10-16 | Siemens Aktiengesellschaft | Computertomographisches System zur kontrollierten Durchführung eines interventionellen Eingriffs |
US8451327B2 (en) | 2005-08-18 | 2013-05-28 | Hoya Corporation | Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system |
EP1933692B1 (en) | 2005-09-13 | 2012-07-04 | The Trustees of Columbia University in the City of New York | Insertable device and system for minimal access procedure |
US20070156021A1 (en) | 2005-09-14 | 2007-07-05 | Bradford Morse | Remote imaging apparatus having an adaptive lens |
US20070066970A1 (en) | 2005-09-16 | 2007-03-22 | Leonard Ineson | Integrated electrosurgical cart and surgical smoke evacuator unit |
US8079950B2 (en) | 2005-09-29 | 2011-12-20 | Intuitive Surgical Operations, Inc. | Autofocus and/or autoscaling in telesurgery |
US7874982B2 (en) | 2005-11-02 | 2011-01-25 | Depuy Spine, Inc. | Illuminated surgical access system including a surgical access device and coupled light emitter |
US20070100210A1 (en) | 2005-11-02 | 2007-05-03 | Depuy Spine, Inc. | Illuminated surgical access system including a surgical access device and coupled light emitter |
US20070265495A1 (en) | 2005-12-15 | 2007-11-15 | Medivision, Inc. | Method and apparatus for field of view tracking |
US8161977B2 (en) | 2006-01-31 | 2012-04-24 | Ethicon Endo-Surgery, Inc. | Accessing data stored in a memory of a surgical instrument |
US7766210B2 (en) | 2006-01-31 | 2010-08-03 | Ethicon Endo-Surgery, Inc. | Motor-driven surgical cutting and fastening instrument with user feedback system |
US8820603B2 (en) | 2006-01-31 | 2014-09-02 | Ethicon Endo-Surgery, Inc. | Accessing data stored in a memory of a surgical instrument |
US7845537B2 (en) | 2006-01-31 | 2010-12-07 | Ethicon Endo-Surgery, Inc. | Surgical instrument having recording capabilities |
US8763879B2 (en) | 2006-01-31 | 2014-07-01 | Ethicon Endo-Surgery, Inc. | Accessing data stored in a memory of surgical instrument |
US20070175955A1 (en) | 2006-01-31 | 2007-08-02 | Shelton Frederick E Iv | Surgical cutting and fastening instrument with closure trigger locking mechanism |
US7770775B2 (en) | 2006-01-31 | 2010-08-10 | Ethicon Endo-Surgery, Inc. | Motor-driven surgical cutting and fastening instrument with adaptive user feedback |
US8623026B2 (en) | 2006-02-06 | 2014-01-07 | Conformis, Inc. | Patient selectable joint arthroplasty devices and surgical tools incorporating anatomical relief |
US8989528B2 (en) | 2006-02-22 | 2015-03-24 | Hansen Medical, Inc. | Optical fiber grating sensors and methods of manufacture |
EP1850210B1 (en) | 2006-04-05 | 2012-02-01 | Société Civile "GALILEO 2011" | Optoelectronic device for determining relative movements or relative positions of two objects |
WO2007136769A2 (en) | 2006-05-19 | 2007-11-29 | Mako Surgical Corp. | Method and apparatus for controlling a haptic device |
US8560047B2 (en) | 2006-06-16 | 2013-10-15 | Board Of Regents Of The University Of Nebraska | Method and apparatus for computer aided surgery |
US10376314B2 (en) | 2006-07-14 | 2019-08-13 | Neuwave Medical, Inc. | Energy delivery systems and uses thereof |
US20080144906A1 (en) | 2006-10-09 | 2008-06-19 | General Electric Company | System and method for video capture for fluoroscopy and navigation |
US11389171B2 (en) | 2006-11-21 | 2022-07-19 | David S. Goldsmith | Integrated system for the infixion and retrieval of implants |
US20140163664A1 (en) | 2006-11-21 | 2014-06-12 | David S. Goldsmith | Integrated system for the ballistic and nonballistic infixion and retrieval of implants with or without drug targeting |
EP1925256A1 (de) | 2006-11-24 | 2008-05-28 | BrainLAB AG | Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern |
US20080194930A1 (en) | 2007-02-09 | 2008-08-14 | Harris Melvyn L | Infrared-visible needle |
US8142450B2 (en) | 2007-03-13 | 2012-03-27 | Longevity Surgical, Inc. | Methods for reducing gastric volume |
JP4916011B2 (ja) | 2007-03-20 | 2012-04-11 | 株式会社日立製作所 | マスタ・スレーブ式マニピュレータシステム |
JP2010523218A (ja) | 2007-04-02 | 2010-07-15 | ストライカー・コーポレイション | 質問信号を放出することによって、皮下の目標組織を見出すと共にカテーテルを該目標に位置決めするための医学的/外科的ツール |
US20140320684A1 (en) | 2007-04-03 | 2014-10-30 | David Chatenever | Universal Control Unit and Display With Non-Contact Adjustment Functionality |
WO2008133956A2 (en) | 2007-04-23 | 2008-11-06 | Hansen Medical, Inc. | Robotic instrument control system |
US7832611B2 (en) | 2007-05-16 | 2010-11-16 | The Invention Science Fund I, Llc | Steerable surgical stapler |
US7810691B2 (en) | 2007-05-16 | 2010-10-12 | The Invention Science Fund I, Llc | Gentle touch surgical stapler |
US7798385B2 (en) | 2007-05-16 | 2010-09-21 | The Invention Science Fund I, Llc | Surgical stapling instrument with chemical sealant |
US20080319491A1 (en) | 2007-06-19 | 2008-12-25 | Ryan Schoenefeld | Patient-matched surgical component and methods of use |
US7516675B2 (en) | 2007-07-03 | 2009-04-14 | Kulite Semiconductor Products, Inc. | Joystick sensor apparatus |
US8706211B2 (en) | 2007-08-17 | 2014-04-22 | The Invention Science Fund I, Llc | Systems, devices, and methods including catheters having self-cleaning surfaces |
FR2920086A1 (fr) | 2007-08-24 | 2009-02-27 | Univ Grenoble 1 | Systeme et procede d'analyse pour une operation chirurgicale par endoscopie |
US7737402B2 (en) | 2007-08-31 | 2010-06-15 | Canon Kabushiki Kaisha | Distance adjusting apparatus and method, and object examining apparatus and method |
US20120004894A1 (en) | 2007-09-21 | 2012-01-05 | Edwin Brian Butler | Systems, Methods and Apparatuses for Generating and using Representations of Individual or Aggregate Human Medical Data |
US9050120B2 (en) | 2007-09-30 | 2015-06-09 | Intuitive Surgical Operations, Inc. | Apparatus and method of user interface with alternate tool mode for robotic surgical tools |
US9522046B2 (en) | 2010-08-23 | 2016-12-20 | Gip | Robotic surgery system |
RU2493788C2 (ru) | 2008-02-14 | 2013-09-27 | Этикон Эндо-Серджери, Инк. | Хирургический режущий и крепежный инструмент, имеющий радиочастотные электроды |
US9161817B2 (en) | 2008-03-27 | 2015-10-20 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Robotic catheter system |
WO2013109966A1 (en) | 2012-01-20 | 2013-07-25 | The Trustees Of Dartmouth College | Method and apparatus for quantitative hyperspectral fluorescence and reflectance imaging for surgical guidance |
US20090326336A1 (en) | 2008-06-25 | 2009-12-31 | Heinz Ulrich Lemke | Process for comprehensive surgical assist system by means of a therapy imaging and model management system (TIMMS) |
JP5204564B2 (ja) | 2008-06-30 | 2013-06-05 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
US8172836B2 (en) | 2008-08-11 | 2012-05-08 | Tyco Healthcare Group Lp | Electrosurgical system having a sensor for monitoring smoke or aerosols |
US9282878B2 (en) | 2008-08-13 | 2016-03-15 | Invuity, Inc. | Cyclo olefin polymer and copolymer medical devices |
US20100152539A1 (en) | 2008-12-17 | 2010-06-17 | Ethicon Endo-Surgery, Inc. | Positionable imaging medical devices |
US8992558B2 (en) | 2008-12-18 | 2015-03-31 | Osteomed, Llc | Lateral access system for the lumbar spine |
WO2010085073A2 (ko) | 2009-01-20 | 2010-07-29 | 주식회사 래보 | 지방흡입 수술용 로봇 |
US20100194574A1 (en) | 2009-01-30 | 2010-08-05 | David James Monk | Particle detection system and method of detecting particles |
US9173717B2 (en) | 2009-02-20 | 2015-11-03 | Truevision Systems, Inc. | Real-time surgical reference indicium apparatus and methods for intraocular lens implantation |
US8632468B2 (en) | 2009-02-25 | 2014-01-21 | Koninklijke Philips N.V. | Method, system and devices for transjugular intrahepatic portosystemic shunt (TIPS) procedures |
WO2010138850A2 (en) | 2009-05-29 | 2010-12-02 | Smith & Nephew, Inc. | Methods and apparatus for performing knee arthroplasty |
US9439735B2 (en) | 2009-06-08 | 2016-09-13 | MRI Interventions, Inc. | MRI-guided interventional systems that can track and generate dynamic visualizations of flexible intrabody devices in near real time |
US20110014181A1 (en) | 2009-07-20 | 2011-01-20 | Medtronic Vascular, Inc. | Microneedle Delivery Device and Methods of Using Same |
US8706184B2 (en) | 2009-10-07 | 2014-04-22 | Intuitive Surgical Operations, Inc. | Methods and apparatus for displaying enhanced imaging data on a clinical image |
JP5814938B2 (ja) | 2010-01-08 | 2015-11-17 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | リアルタイム速度最適化を使用した校正不要のビジュアルサーボ |
EP2359745A1 (en) | 2010-02-12 | 2011-08-24 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) | Method and device for multi-spectral photonic imaging |
US20110201881A1 (en) | 2010-02-16 | 2011-08-18 | Frederick Emch | Laser guided endoscopic surgical tool |
US8652148B2 (en) | 2010-02-25 | 2014-02-18 | Zimmer, Inc. | Tracked cartilage repair system |
JP5421828B2 (ja) | 2010-03-17 | 2014-02-19 | 富士フイルム株式会社 | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム |
US20110257611A1 (en) | 2010-04-16 | 2011-10-20 | Kci Licensing, Inc. | Systems, apparatuses, and methods for sizing a subcutaneous, reduced-pressure treatment device |
CA2797302C (en) | 2010-04-28 | 2019-01-15 | Ryerson University | System and methods for intraoperative guidance feedback |
FR2959409B1 (fr) | 2010-05-03 | 2012-06-29 | Gen Electric | Procede de determination d'un trajet d'insertion d'un outil dans une matricee tissulaire pouvant se deformer et systeme robotise mettant en oeuvre le procede |
US20110306873A1 (en) | 2010-05-07 | 2011-12-15 | Krishna Shenai | System for performing highly accurate surgery |
JP2011254975A (ja) | 2010-06-09 | 2011-12-22 | Nakashima Medical Co Ltd | 手術支援システム |
US9392960B2 (en) | 2010-06-24 | 2016-07-19 | Uc-Care Ltd. | Focused prostate cancer treatment system and method |
WO2011163634A1 (en) | 2010-06-25 | 2011-12-29 | Suturenetics, Inc. | Endoscopic suturing device, system and method |
CN103153248B (zh) | 2010-07-20 | 2016-09-07 | 约翰霍普金斯大学 | 外科手术工具系统及外科手术工具 |
US9782168B2 (en) | 2010-09-20 | 2017-10-10 | Entourage Medical Technologies, Inc. | System for providing surgical access |
US9295773B2 (en) | 2010-11-09 | 2016-03-29 | Frank Prosl | Hemodialysis access system |
WO2012065163A2 (en) | 2010-11-12 | 2012-05-18 | Emory University | Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
US8523043B2 (en) | 2010-12-07 | 2013-09-03 | Immersion Corporation | Surgical stapler having haptic feedback |
KR20120068597A (ko) | 2010-12-17 | 2012-06-27 | 주식회사 이턴 | 수술 로봇 시스템 및 적응 제어 방법 |
US9119655B2 (en) | 2012-08-03 | 2015-09-01 | Stryker Corporation | Surgical manipulator capable of controlling a surgical instrument in multiple modes |
JP5856745B2 (ja) | 2011-03-15 | 2016-02-10 | オリンパス株式会社 | 手術システム及びその制御方法 |
EP2685924B1 (en) | 2011-03-17 | 2016-10-26 | Brainlab AG | Method for preparing the reconstruction of a damaged bone structure |
US20120265022A1 (en) | 2011-04-18 | 2012-10-18 | Tyco Healthcare Group Lp | Trocar with integrated light and/or scope optical fibers |
US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
JP6097282B2 (ja) * | 2011-05-24 | 2017-03-15 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 構造化された照明を用いる3dスキャナ |
JP2013013050A (ja) | 2011-05-27 | 2013-01-17 | Ricoh Co Ltd | 撮像装置及びこの撮像装置を用いた表示方法 |
ITFI20110114A1 (it) | 2011-05-31 | 2012-12-01 | Scuola Superiore Di Studi Universit Arie Di Perfe | Piattaforma robotica per chirurgia mininvasiva |
WO2013001388A1 (en) | 2011-06-27 | 2013-01-03 | Koninklijke Philips Electronics N.V. | Live 3d angiogram using registration of a surgical tool curve to an x-ray image |
US9179890B2 (en) | 2011-07-14 | 2015-11-10 | Siemens Aktiengesellschaft | Model-based positioning for intracardiac echocardiography volume stitching |
KR20130015146A (ko) | 2011-08-02 | 2013-02-13 | 삼성전자주식회사 | 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 |
US9254103B2 (en) | 2011-08-15 | 2016-02-09 | The Trustees Of Dartmouth College | Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view |
AU2012296556B2 (en) | 2011-08-15 | 2016-08-11 | Conformis, Inc. | Revision systems, tools and methods for revising joint arthroplasty implants |
US9204939B2 (en) | 2011-08-21 | 2015-12-08 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery—rule based approach |
WO2013027200A2 (en) | 2011-08-21 | 2013-02-28 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for asissting laparoscopic surgery - rule based approach |
US10866783B2 (en) | 2011-08-21 | 2020-12-15 | Transenterix Europe S.A.R.L. | Vocally activated surgical control system |
US20130274674A1 (en) | 2011-08-24 | 2013-10-17 | Ablative Solutions, Inc. | Intravascular ablation catheter with precision depth of penetration calibration |
US20130053792A1 (en) | 2011-08-24 | 2013-02-28 | Ablative Solutions, Inc. | Expandable catheter system for vessel wall injection and muscle and nerve fiber ablation |
US20130274673A1 (en) | 2011-08-24 | 2013-10-17 | Ablative Solutions, Inc. | Intravascular ablation catheter with enhanced fluoroscopic visibility |
US8744211B2 (en) | 2011-08-31 | 2014-06-03 | Analogic Corporation | Multi-modality image acquisition |
CN102961166A (zh) | 2011-08-31 | 2013-03-13 | 通用电气公司 | 用于检测和跟踪针的方法 |
US8755576B2 (en) | 2011-09-09 | 2014-06-17 | Calgary Scientific Inc. | Determining contours of a vessel using an active contouring model |
US9148649B2 (en) | 2011-10-07 | 2015-09-29 | Massachusetts Institute Of Technology | Methods and apparatus for imaging of occluded objects from scattered light |
CN104011788B (zh) | 2011-10-28 | 2016-11-16 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
GB201121963D0 (en) | 2011-12-20 | 2012-02-01 | Smiths Medical Int Ltd | Imaging and illumination apparatus |
US9801685B2 (en) | 2011-12-23 | 2017-10-31 | Orthosoft Inc. | Connection method for MEMS navigation unit for computer-assisted surgery |
BR112014017369B1 (pt) | 2012-01-18 | 2022-03-03 | Koninklijke Philips N.V. | Sistema de formação de imagem ultrassônica que orienta visualmente a inserção de um dispositivo invasivo tal como uma agulha |
US20130211244A1 (en) | 2012-01-25 | 2013-08-15 | Surgix Ltd. | Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools |
US9044230B2 (en) | 2012-02-13 | 2015-06-02 | Ethicon Endo-Surgery, Inc. | Surgical cutting and fastening instrument with apparatus for determining cartridge and firing motion status |
EP2822380B1 (en) | 2012-03-07 | 2022-12-21 | Blue River Technology, Inc. | Method and apparatus for automated plant necrosis |
WO2013134559A1 (en) | 2012-03-07 | 2013-09-12 | Speir Technologies Inc. | Methods and systems for tracking and guiding sensors and instruments |
US10898064B2 (en) | 2012-03-07 | 2021-01-26 | Transenterix Europe S.A.R.L. | Endoscopic control and maneuvering system in at least two degrees of freedom |
US20150025548A1 (en) | 2012-03-08 | 2015-01-22 | Neutar, Llc | Patient and Procedure Customized Fixation and Targeting Devices for Stereotactic Frames |
US9351639B2 (en) | 2012-03-17 | 2016-05-31 | Visunex Medical Systems Co. Ltd. | Eye imaging apparatus with a wide field of view and related methods |
CN103717118B (zh) * | 2012-03-30 | 2017-03-29 | 奥林巴斯株式会社 | 内窥镜装置 |
US20150051460A1 (en) | 2012-04-04 | 2015-02-19 | Noopur Saxena | System and method for locating blood vessels and analysing blood |
EP2838463B1 (en) | 2012-04-16 | 2017-11-08 | Children's National Medical Center | Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures |
US9788851B2 (en) | 2012-04-18 | 2017-10-17 | Ethicon Llc | Surgical instrument with tissue density sensing |
US20140336461A1 (en) | 2012-04-25 | 2014-11-13 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
WO2013163391A1 (en) | 2012-04-25 | 2013-10-31 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
US20130296712A1 (en) | 2012-05-03 | 2013-11-07 | Covidien Lp | Integrated non-contact dimensional metrology tool |
US11318009B2 (en) | 2012-05-04 | 2022-05-03 | Lipocosm, Llc | Surgical tools and methods for their use |
US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
US9141868B2 (en) | 2012-06-26 | 2015-09-22 | Xerox Corporation | Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources |
US9289185B2 (en) | 2012-07-23 | 2016-03-22 | ClariTrac, Inc. | Ultrasound device for needle procedures |
CA2879414A1 (en) | 2012-08-03 | 2014-02-06 | Stryker Corporation | Systems and methods for robotic surgery |
EP2700365A1 (en) | 2012-08-23 | 2014-02-26 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Suturing toolkit |
US20150238276A1 (en) | 2012-09-30 | 2015-08-27 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool |
US10064545B2 (en) | 2012-10-18 | 2018-09-04 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Multi-resolution foveated endoscope/laparoscope |
JP6368312B2 (ja) | 2012-10-24 | 2018-08-01 | ストライカー・コーポレイション | 医療/外科廃棄物収集システム |
US10881458B2 (en) | 2012-10-29 | 2021-01-05 | Ablative Solutions, Inc. | Peri-vascular tissue ablation catheters |
US10945787B2 (en) | 2012-10-29 | 2021-03-16 | Ablative Solutions, Inc. | Peri-vascular tissue ablation catheters |
US20190076186A1 (en) | 2012-10-29 | 2019-03-14 | Ablative Solutions, Inc. | Peri-vascular tissue ablation catheters |
US9370328B2 (en) | 2012-11-29 | 2016-06-21 | University Of Washington Through Its Center For Commercialization | Methods and systems for determining tumor boundary characteristics |
WO2014089439A1 (en) | 2012-12-07 | 2014-06-12 | University Of Houston | Surgical procedure management systems and methods |
DE102012025100A1 (de) | 2012-12-20 | 2014-06-26 | avateramedical GmBH | Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie |
US10104331B2 (en) * | 2012-12-31 | 2018-10-16 | Karl Storz Imaging, Inc. | Camera control unit with stereoscopic video recording and archive |
EP2754383B1 (en) | 2013-01-10 | 2021-03-10 | TransEnterix Europe Sàrl | Device and method for assisting laparoscopic surgery - rule based approach |
US10022199B2 (en) | 2013-01-29 | 2018-07-17 | Brainlab Ag | Registration correction based on shift detection in image data |
CN205215353U (zh) | 2013-02-07 | 2016-05-11 | 上海魅丽纬叶医疗科技有限公司 | 射频消融系统及其射频消融设备 |
US9649109B2 (en) | 2013-03-14 | 2017-05-16 | C.R. Bard, Inc. | Surgical instrument with an actuation lockout |
KR102364736B1 (ko) | 2013-03-14 | 2022-02-17 | 씽크 써지컬, 인크. | 크리티컬 리전을 가지는 수술 과정을 모니터링하기 위한 시스템 및 방법 |
US11278353B2 (en) | 2016-03-16 | 2022-03-22 | Synaptive Medical Inc. | Trajectory alignment system and methods |
US9814390B2 (en) | 2013-03-15 | 2017-11-14 | Synaptive Medical (Barbados) Inc. | Insert imaging device for surgical procedures |
WO2015135058A1 (en) | 2014-03-14 | 2015-09-17 | Synaptive Medical (Barbados) Inc. | Methods and systems for intraoperatively confirming location of tissue structures |
CA2906034C (en) | 2013-03-15 | 2021-08-10 | Convergent Dental, Inc. | System and method for imaging in laser dental treatment |
SG11201507611UA (en) | 2013-03-15 | 2015-10-29 | Synaptive Medical Barbados Inc | Intramodal synchronization of surgical data |
CA2902771C (en) | 2013-03-15 | 2018-08-14 | Synaptive Medical (Barbados) Inc. | Context aware surgical systems |
WO2015135057A1 (en) | 2014-03-14 | 2015-09-17 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
MY179739A (en) | 2013-03-15 | 2020-11-12 | Synaptive Medical Inc | Planning, navigation and simulation systems and methods for minimally invasive therapy |
US9072501B2 (en) | 2013-03-15 | 2015-07-07 | Regents Of The University Of Minnesota | Micro-orifice surgical access system |
JP6049518B2 (ja) | 2013-03-27 | 2016-12-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 |
US10042150B2 (en) | 2013-05-15 | 2018-08-07 | The Administrators Of The Tulane Educational Fund | Microscopy of a tissue sample using structured illumination |
JP6265627B2 (ja) | 2013-05-23 | 2018-01-24 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
US9274047B2 (en) | 2013-05-24 | 2016-03-01 | Massachusetts Institute Of Technology | Methods and apparatus for imaging of occluded objects |
US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
WO2014200017A1 (ja) | 2013-06-11 | 2014-12-18 | Tanji Atsushi | 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム |
US10070929B2 (en) | 2013-06-11 | 2018-09-11 | Atsushi Tanji | Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus |
KR101427973B1 (ko) | 2013-07-09 | 2014-08-07 | 현대자동차 주식회사 | 차량 조립용 체결 보증 시스템 및 그 제어 방법 |
WO2015005277A1 (ja) | 2013-07-11 | 2015-01-15 | オリンパスメディカルシステムズ株式会社 | 光源装置 |
US10170205B2 (en) | 2013-07-24 | 2019-01-01 | Karl Storz Endoscopy-America, Inc. | Multi-dimensional surgical safety countermeasure system |
JP6164964B2 (ja) | 2013-07-26 | 2017-07-19 | オリンパス株式会社 | 医療用システムおよびその制御方法 |
WO2015023665A1 (en) | 2013-08-15 | 2015-02-19 | Intuitive Surgical Operations, Inc. | Graphical user interface for catheter positioning and insertion |
US11013858B2 (en) | 2016-01-12 | 2021-05-25 | David S. Goldsmith | Nonjacketing side-entry connectors and prosthetic disorder response systems |
WO2015029537A1 (ja) | 2013-08-28 | 2015-03-05 | コニカミノルタ株式会社 | 器官画像撮影装置 |
WO2015035058A1 (en) | 2013-09-04 | 2015-03-12 | Northwestern University | System and method for animal-human neural interface |
EP3041427A4 (en) | 2013-09-06 | 2017-05-31 | Brigham and Women's Hospital, Inc. | System and method for a tissue resection margin measurement device |
US10433911B2 (en) | 2013-09-18 | 2019-10-08 | iMIRGE Medical INC. | Optical targeting and visualization of trajectories |
US20140035762A1 (en) | 2013-10-01 | 2014-02-06 | Ethicon Endo-Surgery, Inc. | Providing Near Real Time Feedback To A User Of A Surgical Instrument |
US20140175150A1 (en) | 2013-10-01 | 2014-06-26 | Ethicon Endo-Surgery, Inc. | Providing Near Real Time Feedback To A User of A Surgical Instrument |
CN105611884B (zh) | 2013-10-09 | 2019-06-28 | 纽文思公司 | 在手术脊椎程序期间术中设计并评定脊椎畸形矫正的系统 |
WO2015056257A1 (en) | 2013-10-14 | 2015-04-23 | Avraham Aharoni | Device and system for imaging veins |
WO2015066243A2 (en) | 2013-10-29 | 2015-05-07 | Entourage Medical Technologies, Inc. | System for providing surgical access |
CA2929282A1 (en) | 2013-10-31 | 2015-05-07 | Health Research, Inc. | System and method for a situation and awareness-based intelligent surgical system |
CA2931529C (en) | 2013-11-27 | 2022-08-23 | Children's National Medical Center | 3d corrected imaging |
TWI548388B (zh) | 2013-12-30 | 2016-09-11 | 國立臺灣大學 | 骨科手術之手持式機器人以及其控制方法 |
US20150202005A1 (en) | 2014-01-20 | 2015-07-23 | Omniguide, Inc. | System and Method To Control Surgical Energy Devices |
US10531828B2 (en) | 2014-01-31 | 2020-01-14 | The Johns Hopkins University | Method and system for transcranial photoacoustic imaging for guiding skull base surgeries |
CN105979900B (zh) | 2014-02-04 | 2020-06-26 | 皇家飞利浦有限公司 | 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化 |
EP3104804B1 (en) | 2014-02-12 | 2021-12-15 | Koninklijke Philips N.V. | Robotic control of surgical instrument visibility |
CA2935506A1 (en) | 2014-02-21 | 2015-08-27 | 3Dintegrated Aps | A set comprising a surgical instrument |
DE102014002514B4 (de) | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
US9504529B2 (en) | 2014-02-24 | 2016-11-29 | Vida Diagnostics, Inc. | Treatment outcome prediction for lung volume reduction procedures |
KR101579111B1 (ko) | 2014-02-24 | 2015-12-21 | 삼성전자주식회사 | 영상 진단 방법, 장치 및 기록매체 |
US10251706B2 (en) | 2014-02-28 | 2019-04-09 | Blue Belt Technologies, Inc. | System and methods for positioning bone cut guide |
US20150272557A1 (en) | 2014-03-26 | 2015-10-01 | Ethicon Endo-Surgery, Inc. | Modular surgical instrument system |
CN106455944B (zh) | 2014-03-28 | 2019-01-22 | 直观外科手术操作公司 | Q3d模型与3d图像的对准 |
EP3125809B1 (en) | 2014-03-28 | 2020-09-09 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
CN106535806B (zh) | 2014-03-28 | 2019-06-18 | 直观外科手术操作公司 | 来自多端口视角的手术场景的定量三维成像 |
KR102387096B1 (ko) | 2014-03-28 | 2022-04-15 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 시계 내의 기기들의 정량적 3차원 시각화 |
CN106456252B (zh) * | 2014-03-28 | 2020-05-08 | 直观外科手术操作公司 | 手术场景的定量三维成像 |
WO2015151098A2 (en) | 2014-04-02 | 2015-10-08 | M.S.T. Medical Surgery Technologies Ltd. | An articulated structured light based-laparoscope |
EP3128917A4 (en) | 2014-04-08 | 2018-01-03 | Polyvalor, Limited Partnership | System and method for assessing a cancer status of biological tissue |
US10335116B2 (en) | 2014-04-17 | 2019-07-02 | The Johns Hopkins University | Robot assisted ultrasound system |
US20150305650A1 (en) | 2014-04-23 | 2015-10-29 | Mark Hunter | Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue |
US9760989B2 (en) | 2014-05-15 | 2017-09-12 | Vida Diagnostics, Inc. | Visualization and quantification of lung disease utilizing image registration |
JP6566714B2 (ja) | 2014-05-19 | 2019-08-28 | キヤノンメディカルシステムズ株式会社 | X線コンピュータ断層撮影装置、画像表示装置および画像表示方法 |
US20170099479A1 (en) | 2014-05-20 | 2017-04-06 | University Of Washington Through Its Center For Commercialization | Systems and methods for mediated-reality surgical visualization |
EP3685734B1 (en) | 2014-05-22 | 2022-03-09 | Invuity, Inc. | Medical device featuring cladded waveguide |
WO2015189839A1 (en) | 2014-06-08 | 2015-12-17 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery utilizing a touch screen |
US10105186B2 (en) | 2014-06-09 | 2018-10-23 | The Johns Hopkins University | Virtual rigid body optical tracking system and method |
US20150366628A1 (en) | 2014-06-18 | 2015-12-24 | Covidien Lp | Augmented surgical reality environment system |
WO2016002258A1 (ja) | 2014-06-30 | 2016-01-07 | 富士フイルム株式会社 | 光音響画像生成装置、信号処理装置、及び光音響画像生成方法 |
US11227427B2 (en) | 2014-08-11 | 2022-01-18 | Covidien Lp | Treatment procedure planning system and method |
WO2016028858A1 (en) | 2014-08-22 | 2016-02-25 | Intuitive Surgical Operations, Inc. | Systems and methods for adaptive input mapping |
US9720076B2 (en) | 2014-08-29 | 2017-08-01 | Omnivision Technologies, Inc. | Calibration circuitry and method for a time of flight imaging system |
LT3188682T (lt) | 2014-09-04 | 2021-01-25 | Memic Innovative Surgery Ltd. | Prietaiso su mechaninėmis svirtimis valdymas |
US9547940B1 (en) | 2014-09-12 | 2017-01-17 | University Of South Florida | Systems and methods for providing augmented reality in minimally invasive surgery |
US20160086380A1 (en) | 2014-09-22 | 2016-03-24 | Invuity, Inc | Hyperspectral imager |
US10314463B2 (en) | 2014-10-24 | 2019-06-11 | Auris Health, Inc. | Automated endoscope calibration |
US11304604B2 (en) | 2014-10-29 | 2022-04-19 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US9717417B2 (en) | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
CN106999020A (zh) | 2014-12-17 | 2017-08-01 | 卡尔斯特里姆保健公司 | 口腔内3d荧光成像 |
JP2018505728A (ja) * | 2015-01-22 | 2018-03-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 光学形状検出フィードバックを伴う血管内配置装置のロボット制御 |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
CN107851176A (zh) | 2015-02-06 | 2018-03-27 | 阿克伦大学 | 光学成像系统及其方法 |
US10806346B2 (en) | 2015-02-09 | 2020-10-20 | The Johns Hopkins University | Photoacoustic tracking and registration in interventional ultrasound |
EP3056137B1 (en) | 2015-02-13 | 2017-11-01 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH | Device and method for multispectral optoacoustic imaging |
WO2016144937A1 (en) | 2015-03-10 | 2016-09-15 | Covidien Lp | Measuring health of a connector member of a robotic surgical system |
US9855317B2 (en) | 2015-04-27 | 2018-01-02 | Reflex Medical, Inc. | Systems and methods for sympathetic cardiopulmonary neuromodulation |
US10607738B2 (en) | 2015-05-15 | 2020-03-31 | University Health Network | System and method for minimally invasive thermal ablation treatment planning |
EP3297514A4 (en) | 2015-05-19 | 2019-01-23 | Invuity, Inc. | MULTISPECTRAL LIGHT SOURCE |
US10722293B2 (en) | 2015-05-29 | 2020-07-28 | Covidien Lp | Surgical device with an end effector assembly and system for monitoring of tissue before and after a surgical procedure |
CN114376733A (zh) | 2015-06-09 | 2022-04-22 | 直观外科手术操作公司 | 利用外科手术过程图集配置外科手术系统 |
EP3236840B1 (en) | 2015-06-15 | 2024-03-27 | E.S.I. Novel Ltd. | System and method for adaptive cosmetic skin treatment |
US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
WO2017014691A1 (en) | 2015-07-17 | 2017-01-26 | Heptagon Micro Optics Pte. Ltd. | Generating a distance map based on captured images of a scene |
US11020144B2 (en) | 2015-07-21 | 2021-06-01 | 3Dintegrated Aps | Minimally invasive surgery system |
WO2017012624A1 (en) | 2015-07-21 | 2017-01-26 | 3Dintegrated Aps | Cannula assembly kit, trocar assembly kit, sleeve assembly, minimally invasive surgery system and method therefor |
US10194981B2 (en) | 2015-07-29 | 2019-02-05 | Medlumics S.L. | Radiofrequency ablation catheter with optical tissue evaluation |
CA2994024C (en) | 2015-07-29 | 2019-03-05 | Synaptive Medical (Barbados) Inc. | Handheld scanner for rapid registration in a medical navigation system |
CN111281602A (zh) | 2015-08-14 | 2020-06-16 | 蒂莫西·R·威利斯 | 人工晶体(iol)及相关组件和眼内附着方法 |
WO2017028916A1 (en) | 2015-08-19 | 2017-02-23 | Brainlab Ag | Reference array holder |
WO2017037705A1 (en) | 2015-08-30 | 2017-03-09 | M.S.T. Medical Surgery Technologies Ltd | An intelligent surgical tool control system for laparoscopic surgeries |
US10987129B2 (en) | 2015-09-04 | 2021-04-27 | Medos International Sarl | Multi-shield spinal access system |
WO2017042171A1 (en) | 2015-09-10 | 2017-03-16 | Koninklijke Philips N.V. | Apparatus for imaging in a medical treatment |
EP3351186B1 (en) | 2015-09-17 | 2021-06-23 | Olympus Corporation | Endoscope treatment instrument |
WO2017047147A1 (ja) | 2015-09-17 | 2017-03-23 | オリンパス株式会社 | 内視鏡用処置具 |
CN107106178B (zh) | 2015-09-17 | 2019-09-13 | 奥林巴斯株式会社 | 内窥镜用处置器具组 |
JP6129439B1 (ja) | 2015-09-17 | 2017-05-17 | オリンパス株式会社 | 内視鏡用処置具 |
DE102015115903A1 (de) | 2015-09-21 | 2017-03-23 | Karl Storz Gmbh & Co. Kg | Mikroinvasives medizinisches Instrument |
DK178899B1 (en) | 2015-10-09 | 2017-05-08 | 3Dintegrated Aps | A depiction system |
US20190053691A1 (en) | 2015-10-09 | 2019-02-21 | 3Dintegrated Aps | A laparoscopic tool system for minimally invasive surgery |
US20170189006A1 (en) | 2015-10-13 | 2017-07-06 | Entourage Medical Technologies, Inc. | Surgical closure configurations |
WO2017066493A1 (en) | 2015-10-13 | 2017-04-20 | Hypermed Imaging, Inc. | Compact light sensors for surgical applications and shock detection |
US10531074B2 (en) | 2015-10-16 | 2020-01-07 | CapsoVision, Inc. | Endoscope employing structured light providing physiological feature size measurement |
EP3165153A1 (en) | 2015-11-05 | 2017-05-10 | Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts | System for fluorescence aided surgery |
EP3376957A1 (en) | 2015-11-20 | 2018-09-26 | Stichting Het Nederlands Kanker Instituut- Antoni van Leeuwenhoek Ziekenhuis | Method and system of providing visual information about a location of a tumour under a body surface of a human or animal body, computer program, and computer program product |
US10390835B2 (en) | 2015-12-10 | 2019-08-27 | Covidien Lp | Surgical fastener apparatus with linear position sensor |
BR112018012090A2 (pt) | 2015-12-14 | 2018-11-27 | Nuvasive Inc | visualização 3d durante a cirurgia com exposição à radiação reduzida |
US10052170B2 (en) | 2015-12-18 | 2018-08-21 | MediLux Capitol Holdings, S.A.R.L. | Mixed reality imaging system, apparatus and surgical suite |
EP3400884B1 (en) | 2016-01-06 | 2021-06-23 | Olympus Corporation | Device for placing tissue fastener |
EP4155716A1 (en) | 2016-01-26 | 2023-03-29 | Stryker European Operations Limited | Image sensor assembly |
WO2017132611A1 (en) | 2016-01-29 | 2017-08-03 | Intuitive Surgical Operations, Inc. | System and method for variable velocity surgical instrument |
JP6626132B2 (ja) | 2016-02-09 | 2019-12-25 | 富士フイルム株式会社 | 距離画像取得装置及びその応用 |
WO2017144934A1 (en) | 2016-02-26 | 2017-08-31 | Trophy | Guided surgery apparatus and method |
CN108778180B (zh) | 2016-03-02 | 2021-06-01 | 柯惠Lp公司 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
EP3426179B1 (en) | 2016-03-12 | 2023-03-22 | Philipp K. Lang | Devices for surgery |
WO2020105049A1 (en) | 2018-11-22 | 2020-05-28 | Vuze Medical Ltd. | Apparatus and methods for use with image-guided skeletal procedures |
US10413366B2 (en) | 2016-03-16 | 2019-09-17 | Synaptive Medical (Bardbados) Inc. | Trajectory guidance alignment system and methods |
EP3438646A1 (en) | 2016-03-28 | 2019-02-06 | Sony Corporation | Imaging device, imaging method |
US11607239B2 (en) | 2016-04-15 | 2023-03-21 | Cilag Gmbh International | Systems and methods for controlling a surgical stapling and cutting instrument |
US10813700B2 (en) | 2016-04-27 | 2020-10-27 | Arthrology Consulting, Llc | Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan |
US10194990B2 (en) | 2016-04-27 | 2019-02-05 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US10806518B2 (en) | 2016-04-27 | 2020-10-20 | Arthrology Consulting, Llc | Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan |
US20170312032A1 (en) | 2016-04-27 | 2017-11-02 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US11432878B2 (en) | 2016-04-28 | 2022-09-06 | Intellijoint Surgical Inc. | Systems, methods and devices to scan 3D surfaces for intra-operative localization |
CN108882968B (zh) | 2016-06-09 | 2022-05-13 | 直观外科手术操作公司 | 计算机辅助远程操作手术系统和方法 |
JP6834184B2 (ja) | 2016-06-16 | 2021-02-24 | ソニー株式会社 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
US10973581B2 (en) * | 2016-06-17 | 2021-04-13 | 7D Surgical Inc. | Systems and methods for obtaining a structured light reconstruction of a 3D surface |
CN109313119B (zh) | 2016-06-20 | 2021-11-02 | 普莱尔股份公司 | 用于检测和/或表征流体携带的颗粒的装置和方法 |
US20170366773A1 (en) | 2016-06-21 | 2017-12-21 | Siemens Aktiengesellschaft | Projection in endoscopic medical imaging |
US11315438B1 (en) | 2016-06-24 | 2022-04-26 | Verily Life Sciences Llc | Surgical training systems and methods |
KR102565404B1 (ko) | 2016-07-01 | 2023-08-09 | 싸이노슈어, 엘엘씨 | 비침습성, 균일 및 불균일 rf 방법 및 시스템 관련 응용들 |
US10380212B2 (en) | 2016-07-27 | 2019-08-13 | Align Technology, Inc. | Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth |
CN109803600B (zh) | 2016-08-10 | 2022-08-23 | 澳大利亚机器人骨科学院有限公司 | 机器人辅助的激光手术系统 |
US20180082480A1 (en) | 2016-09-16 | 2018-03-22 | John R. White | Augmented reality surgical technique guidance |
JP6833444B2 (ja) | 2016-10-17 | 2021-02-24 | キヤノン株式会社 | 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム |
IL248913B (en) | 2016-11-10 | 2022-01-01 | Imagesat Int N V | Identification and tracking of objects using multiple satellites |
US10702186B2 (en) | 2016-12-06 | 2020-07-07 | Siemens Healthcare Gmbh | Method and apparatus for identifying an organ structure of an examined object in magnetic resonance image data |
JP7132922B2 (ja) | 2016-12-07 | 2022-09-07 | コーニンクレッカ フィリップス エヌ ヴェ | ロボット制御のための画像誘導モーションスケーリング |
US10918445B2 (en) | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
US20200008879A1 (en) | 2016-12-19 | 2020-01-09 | Koninklijke Philips N.V. | Ultrasound guidance of actuatable medical tool |
WO2018119683A1 (en) | 2016-12-27 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems of multi-camera |
CN110573071B (zh) | 2016-12-27 | 2023-06-23 | 明智医疗创新有限公司 | 用于射频(rf)式(多个)组织监测的方法及系统 |
US10136959B2 (en) | 2016-12-28 | 2018-11-27 | Auris Health, Inc. | Endolumenal object sizing |
EP3565498A4 (en) | 2017-01-09 | 2020-09-30 | Intuitive Surgical Operations Inc. | SYSTEMS AND METHODS FOR RECORDING ELONGATED DEVICES ON THREE-DIMENSIONAL IMAGES IN IMAGE-GUIDED INTERVENTIONS |
CN110199324B (zh) | 2017-01-31 | 2023-12-29 | 株式会社和冠 | 显示装置及其控制方法 |
GB2552855B (en) | 2017-01-31 | 2019-02-13 | Cmr Surgical Ltd | Surgical instrument engagement detection |
CA2958163C (en) | 2017-02-15 | 2019-02-12 | Synaptive Medical (Barbados) Inc. | Digitally enhanced surgical instruments |
US11129681B2 (en) | 2017-02-22 | 2021-09-28 | Orthosoft Ulc | Bone and tool tracking in robotized computer-assisted surgery |
US20180242967A1 (en) | 2017-02-26 | 2018-08-30 | Endoevolution, Llc | Apparatus and method for minimally invasive suturing |
US9788907B1 (en) | 2017-02-28 | 2017-10-17 | Kinosis Ltd. | Automated provision of real-time custom procedural surgical guidance |
US10806334B2 (en) | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
EP3367387A1 (en) | 2017-02-28 | 2018-08-29 | Digital Surgery Ltd | Methods and system for providing real-time surgical guidance |
US10813710B2 (en) | 2017-03-02 | 2020-10-27 | KindHeart, Inc. | Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station |
US20200397266A1 (en) | 2017-03-10 | 2020-12-24 | Transenterix Surgical, Inc. | Apparatus and method for enhanced tissue visualization |
WO2018171851A1 (en) | 2017-03-20 | 2018-09-27 | 3Dintegrated Aps | A 3d reconstruction system |
WO2018175583A1 (en) | 2017-03-21 | 2018-09-27 | Stryker Corporation | Methods and systems to automate surgical interventions |
WO2018178150A1 (en) * | 2017-03-31 | 2018-10-04 | Koninklijke Philips N.V. | Markerless robot tracking systems, controllers and methods |
US11903723B2 (en) | 2017-04-04 | 2024-02-20 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
US10986999B2 (en) | 2017-04-27 | 2021-04-27 | Curadel, LLC | Range-finding in optical imaging |
WO2018200767A1 (en) | 2017-04-27 | 2018-11-01 | Arthrology Consulting, Llc | Method for augmenting a surgical with virtual guidance content |
US11089941B2 (en) | 2017-05-04 | 2021-08-17 | Boston Scientific Scimed, Inc. | Medical system for identifying material to be removed from a patient and related methods |
US10881482B2 (en) | 2017-05-09 | 2021-01-05 | Boston Scientific Scimed, Inc. | Operating room devices, methods, and systems |
CN110573094B (zh) | 2017-05-16 | 2022-10-04 | 奥林巴斯株式会社 | 组织紧固器具留置系统 |
US20180368883A1 (en) | 2017-05-17 | 2018-12-27 | The Governors Of The University Of Alberta | Hand-held device and computer-implemented system and method for assisted steering of a percutaneously inserted needle |
CA3056694C (en) | 2017-05-18 | 2022-01-18 | Brainlab Ag | Determining a clinical target volume |
US10806532B2 (en) | 2017-05-24 | 2020-10-20 | KindHeart, Inc. | Surgical simulation system using force sensing and optical tracking and robotic surgery system |
WO2018222615A1 (en) | 2017-05-30 | 2018-12-06 | Endochoice, Inc. | Illuminator window for a multiple viewing element endoscope |
CN117503384A (zh) | 2017-06-28 | 2024-02-06 | 直观外科手术操作公司 | 用于将内窥镜图像数据集映射到三维体积上的系统 |
US11298128B2 (en) | 2017-06-28 | 2022-04-12 | Cilag Gmbh International | Surgical system couplable with staple cartridge and radio frequency cartridge, and method of using same |
US20200405395A1 (en) | 2017-07-03 | 2020-12-31 | Spine Align, Llc | Intraoperative alignment assessment system and method |
US10704093B2 (en) | 2017-07-05 | 2020-07-07 | The Regents Of The Universtiy Of California | Assay for pre-operative prediction of organ function recovery |
US20190008579A1 (en) | 2017-07-10 | 2019-01-10 | Covidien Lp | Energy-based surgical devices facilitating breakdown of tissue specimens for removal |
EP3655103A1 (en) | 2017-07-18 | 2020-05-27 | Sensus Healthcare, Inc. | Real-time x-ray dosimetry in intraoperative radiation therapy |
US10506991B2 (en) | 2017-08-31 | 2019-12-17 | Biosense Webster (Israel) Ltd. | Displaying position and optical axis of an endoscope in an anatomical image |
EP3678582A4 (en) | 2017-09-05 | 2021-06-02 | Covidien LP | CAMERA CONTROL FOR SURGICAL ROBOTIC SYSTEMS |
WO2019051464A1 (en) * | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
EP3258241B1 (en) | 2017-09-14 | 2019-12-25 | Sensirion AG | Particulate matter sensor device |
US11147636B2 (en) | 2017-10-04 | 2021-10-19 | Alcon Inc. | Surgical suite integration and optimization |
US11672412B2 (en) | 2017-10-13 | 2023-06-13 | Intuitive Surgical Operations, Inc. | Systems and methods for detecting environmental forces on an elongate device |
US10987247B2 (en) | 2017-10-18 | 2021-04-27 | Jesus Moreno | Opthalmic microsurgical instrument |
WO2019079684A1 (en) | 2017-10-20 | 2019-04-25 | Massachusetts Institute Of Technology | MEDICAL PROBES AND METHODS OF USE |
US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
US11311342B2 (en) | 2017-10-30 | 2022-04-26 | Cilag Gmbh International | Method for communicating with surgical instrument systems |
US11291510B2 (en) | 2017-10-30 | 2022-04-05 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
JP7401429B2 (ja) | 2017-11-13 | 2023-12-19 | コーニンクレッカ フィリップス エヌ ヴェ | ロボットツール制御 |
CN115944392A (zh) | 2017-11-21 | 2023-04-11 | 深圳迈瑞生物医疗电子股份有限公司 | 用于规划消融的超声系统及方法 |
US11881119B2 (en) | 2017-12-06 | 2024-01-23 | Cilag Gmbh International | Modeling air leaks in lungs |
US11883019B2 (en) | 2017-12-21 | 2024-01-30 | Cilag Gmbh International | Stapling instrument comprising a staple feeding system |
US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
US11410259B2 (en) | 2017-12-28 | 2022-08-09 | Cilag Gmbh International | Adaptive control program updates for surgical devices |
US20190200906A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Dual cmos array imaging |
US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
US20190206564A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method for facility data collection and interpretation |
US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
BR112020013095A2 (pt) | 2017-12-28 | 2020-12-01 | Ethicon Llc | sistemas de segurança para grampeamento cirúrgico inteligente equipado com motor |
US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
US11304699B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US20190201045A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method for smoke evacuation for surgical hub |
US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
US20190205567A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Data pairing to interconnect a device measured parameter with an outcome |
US11771487B2 (en) | 2017-12-28 | 2023-10-03 | Cilag Gmbh International | Mechanisms for controlling different electromechanical systems of an electrosurgical instrument |
US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
US20190201139A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Communication arrangements for robot-assisted surgical platforms |
US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
US11844579B2 (en) | 2017-12-28 | 2023-12-19 | Cilag Gmbh International | Adjustments based on airborne particle properties |
US11100631B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
US11213359B2 (en) | 2017-12-28 | 2022-01-04 | Cilag Gmbh International | Controllers for robot-assisted surgical platforms |
US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
US11266468B2 (en) | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
US11806085B2 (en) | 2018-01-10 | 2023-11-07 | Covidien Lp | Guidance for placement of surgical ports |
US20190223961A1 (en) | 2018-01-19 | 2019-07-25 | Verily Life Sciences Llc | Step-based system for providing surgical intraoperative cues |
CN111065341A (zh) | 2018-02-12 | 2020-04-24 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声介入的显示方法及系统 |
US11189379B2 (en) | 2018-03-06 | 2021-11-30 | Digital Surgery Limited | Methods and systems for using multiple data structures to process surgical data |
US10507153B2 (en) | 2018-03-26 | 2019-12-17 | Augustine Biomedical + Design, LLC | Relocation modules and methods for surgical field |
US11006100B1 (en) | 2018-04-10 | 2021-05-11 | Robert Edwin Douglas | Smart glasses system |
US20190311542A1 (en) | 2018-04-10 | 2019-10-10 | Robert E. Douglas | Smart operating room equipped with smart surgical devices |
US11232556B2 (en) | 2018-04-20 | 2022-01-25 | Verily Life Sciences Llc | Surgical simulator providing labeled data |
US10058396B1 (en) | 2018-04-24 | 2018-08-28 | Titan Medical Inc. | System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure |
US11666411B2 (en) | 2018-05-10 | 2023-06-06 | Memorial Sloan Kettering Cancer Center | Systems for augmented reality surgical and clinical visualization |
JP2021526907A (ja) | 2018-06-08 | 2021-10-11 | イースト カロライナ ユニバーシティ | マルチスペクトルレーザ撮像(MSLI)方法及びシステムを使用した末梢血酸素飽和度(SpO2)及びヘモグロビン濃度の決定 |
AU2019289081B2 (en) | 2018-06-19 | 2022-02-24 | Howmedica Osteonics Corp. | Mixed reality-aided education related to orthopedic surgical procedures |
US20190388157A1 (en) | 2018-06-21 | 2019-12-26 | Acclarent, Inc. | Surgical navigation system with pattern recognition for fail-safe tissue removal |
EP3813676B1 (en) | 2018-06-29 | 2023-11-08 | Koninklijke Philips N.V. | Biopsy prediction and guidance with ultrasound imaging and associated devices, systems, and methods |
US20200037858A1 (en) | 2018-07-01 | 2020-02-06 | Luiz Lanat Pedreira de Cerqueira Filho | Fairing for free scar instrument and method |
US20200015904A1 (en) | 2018-07-16 | 2020-01-16 | Ethicon Llc | Surgical visualization controls |
US11259872B2 (en) | 2018-07-25 | 2022-03-01 | Think Surgical Inc. | Intraoperative adjustment of a pre-operatively planned implant cavity to improve implant fit |
US11705238B2 (en) | 2018-07-26 | 2023-07-18 | Covidien Lp | Systems and methods for providing assistance during surgery |
CN109011149B (zh) | 2018-09-04 | 2021-01-08 | 清华大学 | 植入式医疗器械的固定装置、加工方法和植入式医疗器械 |
US20200078120A1 (en) | 2018-09-07 | 2020-03-12 | Ethicon Llc | Modular surgical energy system with module positional awareness with digital logic |
GB2577718B (en) | 2018-10-03 | 2022-08-24 | Cmr Surgical Ltd | Feature identification |
WO2020075546A1 (en) | 2018-10-12 | 2020-04-16 | Sony Corporation | Surgical support system, data processing apparatus and method |
WO2020100015A1 (en) | 2018-11-15 | 2020-05-22 | Comofi Medtech Private Limited | System for renal puncturing assistance |
US20220079675A1 (en) | 2018-11-16 | 2022-03-17 | Philipp K. Lang | Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data |
KR102188176B1 (ko) | 2018-12-06 | 2020-12-07 | 한국 한의학 연구원 | 침 시술 가이드 기능을 가진 초음파 영상 기기 |
US11801113B2 (en) | 2018-12-13 | 2023-10-31 | Covidien Lp | Thoracic imaging, distance measuring, and notification system and method |
US11357593B2 (en) | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
US11744643B2 (en) | 2019-02-04 | 2023-09-05 | Covidien Lp | Systems and methods facilitating pre-operative prediction of post-operative tissue function |
US11484384B2 (en) | 2019-02-21 | 2022-11-01 | Theator inc. | Compilation video of differing events in surgeries on different patients |
US11471229B2 (en) | 2019-03-15 | 2022-10-18 | Cilag Gmbh International | Robotic surgical systems with selectively lockable end effectors |
US11666401B2 (en) | 2019-03-15 | 2023-06-06 | Cilag Gmbh International | Input controls for robotic surgery |
US11490981B2 (en) | 2019-03-15 | 2022-11-08 | Cilag Gmbh International | Robotic surgical controls having feedback capabilities |
US20200289205A1 (en) | 2019-03-15 | 2020-09-17 | Ethicon Llc | Robotic surgical systems with mechanisms for scaling camera magnification according to proximity of surgical tool to tissue |
US11690690B2 (en) | 2019-03-15 | 2023-07-04 | Cilag Gmbh International | Segmented control inputs for surgical robotic systems |
US20200289228A1 (en) | 2019-03-15 | 2020-09-17 | Ethicon Llc | Dual mode controls for robotic surgery |
US11284957B2 (en) | 2019-03-15 | 2022-03-29 | Cilag Gmbh International | Robotic surgical controls with force feedback |
US11213361B2 (en) | 2019-03-15 | 2022-01-04 | Cilag Gmbh International | Robotic surgical systems with mechanisms for scaling surgical tool motion according to tissue proximity |
US11992282B2 (en) | 2019-03-15 | 2024-05-28 | Cilag Gmbh International | Motion capture controls for robotic surgery |
US11583350B2 (en) | 2019-03-15 | 2023-02-21 | Cilag Gmbh International | Jaw coordination of robotic surgical controls |
EP3952720A4 (en) | 2019-04-08 | 2023-04-05 | Activ Surgical, Inc. | SYSTEMS AND METHODS FOR MEDICAL IMAGING |
US11413094B2 (en) | 2019-05-24 | 2022-08-16 | University Health Network | System and method for multi-client deployment of augmented reality instrument tracking |
US11269173B2 (en) | 2019-08-19 | 2022-03-08 | Covidien Lp | Systems and methods for displaying medical video images and/or medical 3D models |
US20210196108A1 (en) | 2019-12-30 | 2021-07-01 | Ethicon Llc | Adaptive surgical system control according to surgical smoke cloud characteristics |
US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
US12053223B2 (en) | 2019-12-30 | 2024-08-06 | Cilag Gmbh International | Adaptive surgical system control according to surgical smoke particulate characteristics |
US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
US11219501B2 (en) * | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
US11744667B2 (en) | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
US20210196098A1 (en) | 2019-12-30 | 2021-07-01 | Ethicon Llc | Surgical system control based on multiple sensed parameters |
US20210196383A1 (en) | 2019-12-30 | 2021-07-01 | Ethicon Llc | Surgical systems correlating visualization data and powered surgical instrument data |
US20220000559A1 (en) | 2020-07-05 | 2022-01-06 | Asensus Surgical Us, Inc. | Providing surgical assistance via automatic tracking and visual feedback during surgery |
US20220047259A1 (en) | 2020-08-13 | 2022-02-17 | Covidien Lp | Endoluminal robotic systems and methods for suturing |
-
2019
- 2019-12-30 US US16/729,747 patent/US12002571B2/en active Active
-
2020
- 2020-10-28 CN CN202080091297.0A patent/CN115135268A/zh active Pending
- 2020-10-28 JP JP2022540390A patent/JP2023508524A/ja active Pending
- 2020-10-28 WO PCT/IB2020/060089 patent/WO2021136994A1/en active Application Filing
- 2020-10-28 BR BR112022012946A patent/BR112022012946A2/pt unknown
- 2020-12-29 EP EP20217602.0A patent/EP3845189B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021136994A1 (en) | 2021-07-08 |
BR112022012946A2 (pt) | 2022-09-06 |
EP3845189A2 (en) | 2021-07-07 |
US20210196384A1 (en) | 2021-07-01 |
EP3845189B1 (en) | 2024-07-24 |
CN115135268A (zh) | 2022-09-30 |
US12002571B2 (en) | 2024-06-04 |
EP3845189A3 (en) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3845189A2 (en) | Dynamic surgical visualization system | |
EP4421822A2 (en) | Visualization systems using structured light | |
US11908146B2 (en) | System and method for determining, adjusting, and managing resection margin about a subject tissue | |
US11864729B2 (en) | Method of using imaging devices in surgery | |
EP3845194B1 (en) | Analyzing surgical trends by a surgical system and providing user recommandations | |
US20210199557A1 (en) | Adaptive surgical system control according to surgical smoke particulate characteristics | |
US20210196108A1 (en) | Adaptive surgical system control according to surgical smoke cloud characteristics | |
US20210196098A1 (en) | Surgical system control based on multiple sensed parameters | |
EP4066771A1 (en) | Visualization systems using structured light | |
US12096910B2 (en) | Surgical hub for use with a surgical system in a surgical procedure | |
EP4066772A1 (en) | System and method for determining, adjusting, and managing resection margin about a subject tissue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240430 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240731 |