JP2024099519A - 人工知能の術中外科的ガイダンスシステムと使用方法 - Google Patents
人工知能の術中外科的ガイダンスシステムと使用方法 Download PDFInfo
- Publication number
- JP2024099519A JP2024099519A JP2024050988A JP2024050988A JP2024099519A JP 2024099519 A JP2024099519 A JP 2024099519A JP 2024050988 A JP2024050988 A JP 2024050988A JP 2024050988 A JP2024050988 A JP 2024050988A JP 2024099519 A JP2024099519 A JP 2024099519A
- Authority
- JP
- Japan
- Prior art keywords
- image
- intraoperative
- surgical
- artificial intelligence
- operative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 147
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 119
- 239000007943 implant Substances 0.000 claims abstract description 101
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 210000003484 anatomy Anatomy 0.000 claims description 65
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 230000002980 postoperative effect Effects 0.000 claims description 36
- 238000001356 surgical procedure Methods 0.000 claims description 34
- 230000009467 reduction Effects 0.000 claims description 33
- 239000002131 composite material Substances 0.000 claims description 32
- 238000012937 correction Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000000399 orthopedic effect Effects 0.000 claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 30
- 230000009471 action Effects 0.000 abstract description 22
- 206010017076 Fracture Diseases 0.000 description 39
- 208000010392 Bone Fractures Diseases 0.000 description 35
- 238000013135 deep learning Methods 0.000 description 22
- 238000013527 convolutional neural network Methods 0.000 description 21
- 210000000988 bone and bone Anatomy 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 18
- 230000035876 healing Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 13
- 238000011882 arthroplasty Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 208000014674 injury Diseases 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 230000008733 trauma Effects 0.000 description 11
- 210000001624 hip Anatomy 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 210000003423 ankle Anatomy 0.000 description 9
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 239000003814 drug Substances 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000013179 statistical model Methods 0.000 description 6
- 238000012800 visualization Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000002082 fibula Anatomy 0.000 description 4
- 210000000527 greater trochanter Anatomy 0.000 description 4
- 210000004394 hip joint Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 210000004233 talus Anatomy 0.000 description 4
- 208000027502 Ankle fracture Diseases 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000004197 pelvis Anatomy 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 206010020100 Hip fracture Diseases 0.000 description 2
- 241000469816 Varus Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000013332 literature search Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000037408 Device failure Diseases 0.000 description 1
- 208000008924 Femoral Fractures Diseases 0.000 description 1
- 206010064024 Intestinal malrotation Diseases 0.000 description 1
- 208000002658 Intra-Articular Fractures Diseases 0.000 description 1
- 206010060820 Joint injury Diseases 0.000 description 1
- 206010053652 Limb deformity Diseases 0.000 description 1
- 206010066902 Surgical failure Diseases 0.000 description 1
- 206010049514 Traumatic fracture Diseases 0.000 description 1
- 241001227561 Valgus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 208000022542 ankle injury Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000002436 femur neck Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000011540 hip replacement Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013150 knee replacement Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003562 morphometric effect Effects 0.000 description 1
- 238000013425 morphometry Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/17—Guides or aligning means for drills, mills, pins or wires
- A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/17—Guides or aligning means for drills, mills, pins or wires
- A61B17/1721—Guides or aligning means for drills, mills, pins or wires for applying pins along or parallel to the axis of the femoral neck
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Mathematical Physics (AREA)
- Dentistry (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Urology & Nephrology (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象画像データを分析し、外科的決定リスクを計算し、外科医の意思決定プロセスをサポートする推奨経路またはアクションを自律的に提供し、グラフィカルユーザーインターフェイスによる、最適化されたインプラントと対象の転帰を予測する方法を提供する。【解決手段】本発明の主題は、人工知能術中外科的ガイダンスシステムおよび使用方法に関する。人工知能術中外科的ガイダンスシステムは、データ層データセットコレクションでトレーニングされた1つまたは複数の自動化された人工知能モデルを実行して外科的決定リスクを計算し、術中外科的ガイダンスを提供するコンピューター、およびユーザーに視覚的なガイダンスを提供するように構成されるディスプレイ150で構成されている。【選択図】図1B
Description
本発明の主題は、関節置換、脊椎、外傷性骨折の整復(reductions、低減、緩和)、変形矯正、およびインプラントの配置(placement)/アライメント(alignment、整列、位置あわせ)における人工知能の術中外科的ガイダンスである。対象画像データを分析し、外科的決定リスクを計算し、外科医の意思決定プロセスをサポートする推奨経路またはアクションを自律的に提供し、グラフィカルユーザーインターフェイスによる、最適化されたインプラントと対象の転帰(例えば、インプラントガイダンス、骨折整復、解剖学的アライメント)を予測する方法が提供される。
摩耗や安定性などの全股関節形成術(THA)モデルのパフォーマンスに不可欠なX線撮影パラメーターの多くは、蛍光透視法で術中に評価できる。しかしながら、術中の蛍光透視法のガイダンスがあっても、インプラントの配置または骨片の整復は、依然として外科医が望むほどにはならない。例えば、股関節形成術中の寛骨臼モデルの位置ずれは、問題を引き起こす可能性がある。股関節形成術中に寛骨臼インプラントを骨盤に対して適切な位置に挿入するには、外科医が手術中に患者の骨盤の位置を知っている必要がある。残念ながら、患者の骨盤の位置は、手術中および患者ごとに大きく異なる。外傷外科手術中、特に関節内骨折の場合、適切な骨折管理では、外科医が、適切にリハビリするための最良の機会を関節に解剖学的に提供し、長期的な被害を最小限に抑え、および可能であれば、通常の機能を取り戻すため、元の解剖学的構造に対して骨片を最適に整復する必要がある。残念ながら、骨折のシナリオでは、これらの骨片の元の解剖学的位置が損なわれ、正しい解剖学的構造との自然な関係は不確実であり、外科医は、修復の成功とその後の前向きな転帰を促進するために、最善の判断を下す必要がある。手術中、外科医は、リアルタイムの決定を行う必要があるが、それは、同時に複数の決定を行う必要があるため、さらに複雑になる可能性がある。いつでも、例えば骨折整復ガイダンスに関する決定が必要になる可能性があり同時にインプラント配置に必要な決定と任意の段階でのエラーにより、準最適な転帰と潜在的な外科的失敗の可能性が高まる可能性がある。残念ながら、これらの問題のほとんどは術後にのみ診断および検出され、しばしば修正手術につながる。これらのリスクとパターンは、外科的または医学的イベント中にリアルタイムで特定する必要がある。外科医や医療専門家は、しばしば、危険やリスクを特定するために自分自身だけに頼り、外科的イベント内およびその周辺の重要な要因について決定を下さなければならないので、術中の自動化された知能に基づく外科的および医学的状況認識のサポートおよびガイダンスを提供できるシステムおよび方法の必要性が存在する。
この概要は、現在開示される主題のいくつかの実施形態を説明し、多くの場合、これらの実施形態の変形および順列を列挙している。この概要は、多数の多様な実施形態の単なる例示である。所与の実施形態の1つまたは複数の代表的な特徴の言及も同様に例示的である。このような実施形態は、通常、言及された特徴の有無にかかわらず存在することができるが、同様に、これらの特徴は、この概要に記載されるかどうかにかかわらず、現在開示される主題の他の実施形態に適用することができる。過度の繰り返しを避けるために、この概要では、そのような機能の全ての可能な組み合わせをリストまたは示唆しているわけではない。
新規な主題には、1つまたは複数の自動化された人工知能モデルを実行するように構成
されるコンピュータープラットフォームからなり、1つまたは複数の自動化された人工知能モデルが、データ層からのデータ上でトレーニングされ、データ層は、術中外科的決定リスクを計算し、術中外科的ガイダンスをユーザーに提供するために、少なくとも手術画像を含む、人工知能術中外科的ガイダンスシステムを含む。より具体的には、コンピュータープラットフォームは、外科的ガイダンスを示す術中の視覚的ディスプレイをユーザーに提供するように構成される。コンピュータープラットフォームは、少なくとも1つの分類アルゴリズムを適用することにより、術中外科的決定リスクを示すようにトレーニングされている。
されるコンピュータープラットフォームからなり、1つまたは複数の自動化された人工知能モデルが、データ層からのデータ上でトレーニングされ、データ層は、術中外科的決定リスクを計算し、術中外科的ガイダンスをユーザーに提供するために、少なくとも手術画像を含む、人工知能術中外科的ガイダンスシステムを含む。より具体的には、コンピュータープラットフォームは、外科的ガイダンスを示す術中の視覚的ディスプレイをユーザーに提供するように構成される。コンピュータープラットフォームは、少なくとも1つの分類アルゴリズムを適用することにより、術中外科的決定リスクを示すようにトレーニングされている。
新規な主題は、外科手術処置で使用するための動的ガイダンスインジケーターを生成するための方法をさらに含む。この方法は、対象の術中画像を受信することと、グリッドデータ予測マップを生成することであって、グリッドデータ予測マップが、人工知能エンジンによって生成されるように、生成することと、術中画像をグリッドデータ予測マップと位置合わせして、動的ガイダンスインジケーターを生成することとを含む。例示的な一実施形態では、動的ガイダンスインジケーターは、準最適な位置決めのための第1の色と、インプラントまたは骨のアライメント()の最適な位置決めのための第2の色で作られている。
新規な主題は、外科的ガイダンスを提供するためのコンピューターで実施される方法をさらに含む。方法のステップは、対象の解剖学的構造の非手術側の術前画像、および対象の解剖学的構造の手術側の術中画像からなる対象画像データを取得することと、グラフィカルユーザーインターフェイスに対象画像データを動的に表示することと、対象画像データ内の解剖学的構造を選択し、グリッドテンプレートを解剖学的構造にマッピングして、対象の解剖学的構造の非手術側の画像を、対象の解剖学的構造の手術側の術中画像の画像とともに登録して、登録された合成画像を提供することと、人工知能エンジンと、外科的ガイダンスを生成するように構成される少なくとも1つのデータセットからなるコンピュータープラットフォームを提供することと、データ出力として、登録された合成画像を人工知能エンジンに提供して、少なくとも1つの外科的ガイダンスを生成することと、コンピュータープラットフォームによって、登録された合成画像を少なくとも1つの外科的ガイダンスとともに動的に更新することとを含む。外科的ガイダンスには、ロボット同期、カッティングブロック、モノのインターネット(IoT)デバイス、および追跡可能ガイドを含めることができる。
新規な主題には、人工知能に基づく外科的ガイダンスのためのコンピューターで実施される方法が含まれる。新規な方法は、マイクロプロセッサに結合された非一時的コンピューター可読記憶媒体を含む、コンピュータープラットフォームを提供するステップであって、非一時的コンピューター可読記憶媒体は、複数のモジュールの機能を実装するコンピューターが可読な命令でエンコードされ、コンピューターが可読な命令はマイクロプロセッサによって実行される、ステップを含む。新規な方法は、対象の少なくとも1つの術前画像を受信するステップと、画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、少なくとも1つの術前画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて術前画像を受けいれるか拒否するステップと、少なくとも1つの術前画像の歪みを補正するステップと、画像注釈モジュールを使用して術前画像内の少なくとも1つの解剖学的ランドマークに注釈を付けて、少なくとも1つの注釈付き術前画像を提供するステップと、少なくとも1つの注釈付き術前画像を術前画像データベースに保存するステップと、少なくとも1つの術中画像を受信するステップと、画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、少なくとも1つの術中画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、少なくとも1つの術中画像を受けいれるか拒否するステップと、少なくとも1つの術中画像の歪みを補正するステップと、画像注釈モジュールを
使用して少なくとも1つの解剖学的ランドマークに注釈を付けて、少なくとも1つの注釈付き術中画像を提供するステップと、少なくとも1つの注釈付き術中画像を術前画像データベース内の最も一致する画像に登録するステップと、受けいれられた場合、画像登録を使用してマッチングスコアを計算するステップと、3D形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の3次元形状を推定するステップと、画像登録モジュールを使用してアライメントグリッドを注釈付き画像特徴にマッピングし、合成画像を形成し、グラフィカルユーザーインターフェイスに合成画像を表示するステップと、コンピュータープラットフォームによって、合成画像を動的に更新して、少なくとも1つの外科的ガイダンスを提供するステップとを含む。
使用して少なくとも1つの解剖学的ランドマークに注釈を付けて、少なくとも1つの注釈付き術中画像を提供するステップと、少なくとも1つの注釈付き術中画像を術前画像データベース内の最も一致する画像に登録するステップと、受けいれられた場合、画像登録を使用してマッチングスコアを計算するステップと、3D形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の3次元形状を推定するステップと、画像登録モジュールを使用してアライメントグリッドを注釈付き画像特徴にマッピングし、合成画像を形成し、グラフィカルユーザーインターフェイスに合成画像を表示するステップと、コンピュータープラットフォームによって、合成画像を動的に更新して、少なくとも1つの外科的ガイダンスを提供するステップとを含む。
より具体的には、この方法は、コンピュータープラットフォームによって対象の少なくとも1つの術後画像を受信するステップと、画像品質スコアリングモジュールを使用して、少なくとも1つの術後画像の画像品質スコアを計算するステップと、画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、少なくとも1つの術後画像を受けいれるか拒否するステップと、少なくとも1つの術後画像の歪みを補正するステップと、画像注釈モジュールを使用して少なくとも1つの画像解剖学的ランドマークに注釈を付けて、少なくとも1つの術後注釈付き画像を提供するステップと、少なくとも1つの術後注釈付き画像を術後画像データベース内の前の画像に登録し、マッチングスコアを計算するステップと、受けいれられた場合、画像登録指標を使用してマッチングスコアを計算するステップと、3D形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の3次元形状を推定するステップと、画像登録モジュールを使用して、アライメントグリッドを注釈付き画像特徴にマッピングするステップと、グラフィカルユーザーインターフェイスに合成画像を表示するステップと、術後転帰予測モデルを使用して転帰確率スコアを計算するステップと、合成画像をグラフィカルユーザーインターフェイスに表示するステップと、コンピュータープラットフォームによって、転帰予測ガイダンスとともに合成画像を動的に更新するステップとをさらに含む。
本発明の主題は、アライメントまたは固定処置を実施する整形外科医に、整形外科医に術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供する方法をさらに含む。この方法には、コンピュータープラットフォームを提供するステップであって、コンピュータープラットフォームは、複数のデータセットと、それぞれがアライメントまたは固定処置のための外科的転帰予測への加重寄与を有する、複数のトレーニングされた分類子を含む、少なくとも1つの転帰予測モジュールとをさらに含むように、提供するステップと、アライメントまたは固定処置を実施する整形外科医に術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供するステップとを含む。
特許または出願ファイルには、カラーで実行された図面が少なくとも1つ含まれている。この特許または特許出願の出版物とカラー図面のコピーは、要求と必要な料金の支払いに応じて、特許庁から提供される。図面は、本発明の例示的な形態による蛍光透視アライメントプレート装置および使用方法を概略的に示している。本発明の説明は、添付の図面を参照している。
本発明は、本発明の以下の詳細な説明を参照することにより、より容易に理解することができる。本発明は、本明細書に記載の特定の装置、方法、条件またはパラメーターに限定されず、本明細書で使用される用語は、例示としてのみ実施形態を説明するためのものであり、特許請求される発明を限定することを意図しないことを理解されたい。また、添付の特許請求の範囲を含む明細書で使用されるように、単数形「a」、「an」、および「the」は複数形を含み、数値への言及は、文脈が明確に別段の指示をしない限り、少
なくともその値を含む。範囲は、本明細書では、「約」または「おおよそ」のある値から、および/または「約」または「おおよそ」別の値までとして表すことができる。そのような範囲が表現される場合、別の実施形態は、一方の値からおよび/または他方の値までを含む。同様に、値が近似値として表される場合、先行詞「約」を使用することにより、値が別の実施形態を形成することが理解されるであろう。本明細書で使用される方法またはプロセスステップの全ての組み合わせは、別段の指定がない限り、または参照される組み合わせが行われる文脈によって反対に明確に暗示されない限り、任意の順序で実行することができる。本発明のこれらおよび他の態様、特徴および利点は、本明細書の詳細な説明を参照して理解され、添付の特許請求の範囲で特に指摘されるさまざまな要素および組み合わせによって実現される。本発明の前述の一般的な説明および以下の詳細な説明の両方は、本発明の好ましい実施形態の例示的かつ説明的であり、特許請求されるような本発明を限定するものではないことを理解されたい。別段の定義がない限り、本明細書で使用される全ての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
なくともその値を含む。範囲は、本明細書では、「約」または「おおよそ」のある値から、および/または「約」または「おおよそ」別の値までとして表すことができる。そのような範囲が表現される場合、別の実施形態は、一方の値からおよび/または他方の値までを含む。同様に、値が近似値として表される場合、先行詞「約」を使用することにより、値が別の実施形態を形成することが理解されるであろう。本明細書で使用される方法またはプロセスステップの全ての組み合わせは、別段の指定がない限り、または参照される組み合わせが行われる文脈によって反対に明確に暗示されない限り、任意の順序で実行することができる。本発明のこれらおよび他の態様、特徴および利点は、本明細書の詳細な説明を参照して理解され、添付の特許請求の範囲で特に指摘されるさまざまな要素および組み合わせによって実現される。本発明の前述の一般的な説明および以下の詳細な説明の両方は、本発明の好ましい実施形態の例示的かつ説明的であり、特許請求されるような本発明を限定するものではないことを理解されたい。別段の定義がない限り、本明細書で使用される全ての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
次のシステムと方法は、一般に、対象画像データを表示し、外科的決定リスクを計算し、問題を予測し、リアルタイムの状況でガイダンスを提供する機械や深層学習などのデータサイエンス技術を適用するためのグラフィカルユーザーインターフェイスを備えたコンピュータープラットフォームに関連している。システムは、グラフィカルユーザーインターフェイスなどのディスプレイを介して推奨されるアクションを自律的に表示し、成功した処置の転帰の確率を計算することにより、最適化されたインプラントと対象の転帰(例えば、インプラントガイダンス、骨折整復、解剖学的アライメント)を提供する。本発明の主題は、人工知能術中外科的ガイダンスシステムおよび使用方法に関する。最も基本的な形式のシステムは、少なくとも術中の手術画像でトレーニングされた1つまたは複数の自動化された人工知能モデルを実行し、外科的決定リスクを計算し、術中外科的ガイダンス、および術中外科的ガイダンスをユーザーに提供するように構成されるコンピューターと、視覚的ディスプレイとを提供することを含む。
人工知能は、人間の知能の特徴であるタスクを実行する機械の能力である。機械学習は、人工知能を実現する方法である。AIは、インテリジェントな方法でタスクを実行する機械の機能である。機械学習は、分析モデルを自動的に構築するためのデータ分析を含む人工知能のアプリケーションである。機械学習は、コンピューターがデータから統計的および決定論的な分類または予測モデルを学習することを前提として動作する。より多くのデータがコンピューターシステムに入力されると、コンピューターとそのモデルは独立して適応する。データの誤った解釈は、間違いにつながり、最終的には失敗する転帰につながる可能性がある。人工知能は、人間の視点からは理解するのが難しいパターンや機能を識別することができる人間よりもはるかに大きくて賢いデータセットから統合して推測することができる。これは、解剖学的構造のアライメントとインプラントの正しい配置に特に関係する。システムは情報を分析および解釈し、既知のパターンのセットとの相関および新しいデータのセットからの推論に基づいてガイダンスを提供する。人工知能術中外科的ガイダンスシステムは、データ層データセットコレクションでトレーニングされた1つまたは複数の自動化された人工知能モデルを実行して外科的決定リスクを計算し、術中外科的ガイダンスを提供するコンピューター、およびユーザーに視覚的なガイダンスを提供するように構成されるディスプレイで構成されている。
ここで図1Aおよび1Bを参照すると、人工知能術中外科的ガイダンスシステム1は、撮像システム110を含む。撮像システム110は、対象の解剖学的構造の画像120(放射線写真、超音波、CT、MRI、3D、テラヘルツ)などの対象画像データを受信する。術中外科的ガイダンスのために分析することができる例示的な医用画像は、Cアームと呼ばれる携帯型透視機械によって生成された画像などの放射線画像を含むことができる
。いくつかの実施形態では、コンピュータープラットフォーム100は、医用画像における自動化された術中外科的ガイダンスに関連する1つまたは複数の態様を実行するように構成することができる。例えば、コンピュータープラットフォーム100および/または関連するモジュールは、手術中外科的画像、例えば、膝の蛍光透視画像を受信することができる。
。いくつかの実施形態では、コンピュータープラットフォーム100は、医用画像における自動化された術中外科的ガイダンスに関連する1つまたは複数の態様を実行するように構成することができる。例えば、コンピュータープラットフォーム100および/または関連するモジュールは、手術中外科的画像、例えば、膝の蛍光透視画像を受信することができる。
人工知能術中外科的ガイダンスシステム1は、選択された手術部位の一連のX線または蛍光透視画像の入力と、電子ディスプレイ装置150への出力を備えた、手術画像および仮想、拡張、またはホログラフィック寸法決めされたグリッドのオーバーレイを処理するためのコンピュータープラットフォーム100とを含む。電子ディスプレイ装置150は、表示される合成画像およびグラフィカルユーザーインターフェイス151を提供する。グラフィカルユーザーインターフェイス151は、外科医、医師助手、外科スクラブナース、画像助手およびサポート要員などのユーザー155による寸法決めされたグリッド200の操作を可能にするように構成される。コンピュータープラットフォーム100は、センサー130と同期するように構成され、(a)術中の解剖学的(例えば、骨)情報、またはインプラントの位置情報を提供し、および(b)ガイダンスのために、術後の解剖学的またはインプラントまたは外部のアライメントおよび補正デバイスの情報を人工知能エンジンに提供する。
コンピュータープラットフォーム100は、ロボットまたは触覚フィードバックデバイス162などの外科ファシリテーター160と同期して、ロボット手術のイネイブラーとして全体を通して説明されるのと同じ予測ガイダンスを提供するように構成される。コンピュータープラットフォーム100は、拡張グリッドまたはインプラント、器具、または解剖学的構造のアバターを作成することができるインテリジェンス誘導追跡可能と同期し、知能でガイドされた人工現実追跡可能ナビゲーションのイネイブラーとして全体で説明されるのと同じ予測ガイダンスを提供するように構成される。
システムコンポーネントには、選択した手術部位の一連のX線または蛍光透視画像の入力と、外科医などのユーザー155による寸法決めされたグリッド200の操作を提供するための入力装置を含み、手術画像、および仮想、拡張、またはホログラフィック寸法決めされたグリッド200と画像120とのオーバーレイを処理するための動的外科的ガイダンスシステム1とを含む。一実施形態では、電子ディスプレイ装置150は、コンピューターモニターなどの電子ディスプレイ装置、またはGLASS(グーグル)などのヘッドアップディスプレイである。別の実施形態では、電子ディスプレイ画面150は、ビデオfpvゴーグルである。電子ディスプレイ装置150への出力は、ユーザー155が一連の画像および寸法決めされたグリッド200のオーバーレイを撮像するために提供される。
拡張現実またはホログラフィック寸法決めされたグリッド200は、外科手術デバイスの正しいアライメント/配置のロックを容易にする電子ディスプレイ装置150に示される解剖学的ランドマークを見ることによって、ユーザー155によって操作することができる。人工知能術中外科的ガイダンスシステム1により、ユーザー155は、シースルー視覚的ディスプレイを使用して画像のフィールド内で重要な作業情報を直接見ることができ、次に、使い慣れたジェスチャ、音声コマンド、およびモーション追跡を使用してそれと対話することができる。データはデータストレージに保存できる。人工知能術中外科的ガイダンスシステム1は、ユーザー155が、シースルー視覚的ディスプレイ装置150を使用して、画像のフィールド内の重要な作業情報を見て、拡張現実コントローラーなどによるグラフィカルユーザーインターフェイス151を介した、使い慣れたジェスチャ、音声コマンド、およびモーション追跡を使用してそれと対話することを可能にする。拡張現実またはホログラフィック寸法決めされたグリッドなどのグラフィカルユーザーインタ
ーフェイス151は、次いで、外科手術デバイスの正しいアライメント/配置のロックを容易にする電子ディスプレイ装置150上に示される解剖学的ランドマークを見ることによってユーザー155によって操作され得る。
ーフェイス151は、次いで、外科手術デバイスの正しいアライメント/配置のロックを容易にする電子ディスプレイ装置150上に示される解剖学的ランドマークを見ることによってユーザー155によって操作され得る。
図2Aおよび2Bは、本明細書に記載の主題の実施形態による動的外科的ガイダンスのためのコンピュータープラットフォーム100を含む例示的な人工知能外科的ガイダンスシステム1を示す図である。コンピュータープラットフォームは、アプリケーション、プログラム、またはプロセスが実行されるハードウェアデバイスとオペレーティングシステムを含むシステムである。
本明細書に記載の主題は、ハードウェアおよび/またはファームウェアと組み合わせたソフトウェアで実装することができる。例えば、本明細書で説明される主題は、少なくとも1つのプロセッサ101によって実行されるソフトウェアで実装することができる。1つの例示的な実装形態では、本明細書に記載の主題は、コンピュータープラットフォームのプロセッサによって実行されてステップを実行するコンピューターが実行可能な命令をその上に格納したコンピューター可読媒体を使用して実装することができる。本明細書に記載の主題を実施するのに適した例示的なコンピューター可読媒体には、ディスクメモリデバイス、チップメモリデバイス、プログラム可能ロジックデバイス、および特定用途向け集積回路などの非一時的デバイスが含まれる。さらに、本明細書に記載の主題を実施するコンピューター可読媒体は、単一のデバイスまたはコンピュータープラットフォーム上に配置することができ、または複数のデバイスまたはコンピュータープラットフォームに分散させることができる。本明細書で使用される場合、「機能」または「モジュール」という用語は、本明細書で説明される機能を実装するためのハードウェア、ファームウェア、またはハードウェアおよび/またはファームウェアと組み合わせたソフトウェアを指す。
コンピュータープラットフォーム100は、少なくとも1つのプロセッサ101およびメモリ102を含む。コンピューティングデバイスは、クラウドコンピューティング環境98から1つまたは複数のサーバーを呼び出す/要求することができ、他の臨床メタデータは、1つのサーバーのみでソートされる場合、または別々のサーバーからソートされる場合、クラウド環境の少なくとも1つのサーバーから効率的に取得でき、データセットが異なるサーバーで部分的にソートされた場合、AIエンジンから得られた一部の転帰は、クラウドプラットフォームの1つまたは複数のサーバーに直接送信およびそこでソートすることができる(プライバシーは保持される)。
コンピュータープラットフォーム100は、特定の瞬間に圧倒的な量の情報を人間が解釈できないためにユーザーが見ることができないリスク要因について画像を分析する。インプラントの配置とアライメントがこのデータパターンと一致しない場合、この特定の状況で認識を作成し、ユーザーに危険警告を提供する。基本的に、ユーザーが問題に遭遇する前に、問題を特定して予測する。これは、合併症の回避とエラーの防止につながり得る。コンピュータープラットフォーム100は、画像の歪み補正、画像の特徴検出、画像の注釈とセグメンテーション、画像から画像への登録、2次元画像からの3次元推定、および医用画像の視覚化のためのモジュール、並びに人工知能モデルを使用して画像を最適または準最適な外科的転帰の予測として分類する1つまたは複数の外科的ガイダンスモジュールを含む医用画像データを受信および処理するための複数のソフトウェアモジュール103を含む。「動的な」または「動的に」という用語は、自動化された人工知能を意味し、例えば、機械学習、深層学習、強化学習、または動的に学習するその他の戦略など、さまざまな人工知能モデルを含めることができる。骨折の整復や変形の矯正などの外傷イベントにおいて、または股関節または膝の解剖学的アライメントや骨切りガイダンスなどの関節形成術イベントにおいて、またはインプラントアライメント補正を伴う脊椎手術のイ
ベントにおいて、またはACL再構築アライメントを伴うスポーツ医学イベントにおいて、イベントに役立つドメイン知識と組み合わせたこれらの外科手術処置特定のデータセットにアクセスできる。これらは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、組み合わされて、ユーザーに次善または最適なパフォーマンス指標の信頼度パーセンテージ推奨としてユーザーに出力される失敗リスクスコアを提供する。これは、リアルタイムイベントで発生した決定をサポートするために、インテリジェントな予測子とスコアの形式でユーザーに提示される。
ベントにおいて、またはACL再構築アライメントを伴うスポーツ医学イベントにおいて、イベントに役立つドメイン知識と組み合わせたこれらの外科手術処置特定のデータセットにアクセスできる。これらは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、組み合わされて、ユーザーに次善または最適なパフォーマンス指標の信頼度パーセンテージ推奨としてユーザーに出力される失敗リスクスコアを提供する。これは、リアルタイムイベントで発生した決定をサポートするために、インテリジェントな予測子とスコアの形式でユーザーに提示される。
ソフトウェアモジュール103は、複数の層を含む。データ層105は、さまざまな管理された分散データ収集ネットワークからのデータ収集からなる。このデータのコレクションは、特定のタスクに対処するために必要な知識を表している。データ層(図2Bに詳述)は、アルゴリズム層106への入力であるデータのコレクションであり、データ層105を異なる展開タスクに必要な豊富なソース情報にする異なるシステムからのデータセットを含む。これらのデータ層105は、手術画像データおよび関連する転帰、医療アドバイザーの知識ベースおよびセンサーデータを含む。
アルゴリズム層106は、データ層105で提供される入力を使用してアプリケーション層を対象とするように特別に設計されたコンピューターで実施される方法を含む。アルゴリズム層106は、AIエンジンと呼ばれることもある。アルゴリズム層106は、異なる機械学習技術(工学的特徴)および人工知能技術(階層的学習特徴/特徴の学習された表現)を使用するさまざまな画像処理アルゴリズムを含む。全てのアルゴリズムは、画像強調、エッジ検出、セグメンテーション、登録などのさまざまなタスクを解決するように設計されている。アルゴリズム層105の助けを借りて、これらのタスクは自動的に実行されるが、これは、医療データの高レベルの複雑さを理解し、データ層で提供されるデータ間の依存関係を理解するのに役立つ。アルゴリズム層106はまた、統計モデルおよび予測モデルなどの学習アルゴリズムを含む。代表的な例としては、画像品質スコアリングアルゴリズム、深層学習アルゴリズム、機械学習ベースのアルゴリズム、画像登録アルゴリズムなどがある。
コンピュータープラットフォーム100は、1つまたは複数の自動化された人工知能モデルを実行するように構成される。1つまたは複数の自動化された人工知能モデルは、データ層105からのデータ上でトレーニングされる。データ層105は、少なくとも複数の手術画像を含む。人工知能術中外科的ガイダンスシステム1は、少なくとも1つの分類子を適用することによって術中外科的決定リスクを計算するようにトレーニングされたコンピュータープラットフォームを含む。より具体的には、コンピュータープラットフォームは、インプラント固定の術中医用画像を、外科的転帰を予測する個別のカテゴリー、例えば最適および準最適に分類するようにトレーニングされている。自動化された人工知能モデルは、術中外科的決定リスクを計算し、術中外科的ガイダンスを提供するようにトレーニングされ、視覚的ディスプレイは、術中外科的ガイダンスをユーザーに提供するように構成される。アプリケーション層107は、臨床意思決定支援、外科的ガイダンス、リスク要因、および画像解釈などの他の後処理アクションおよび視覚的ディスプレイを含むが、これらに限定されない。
ここで、図3Aおよび3Bを参照して、自動化された人工知能モデルの例が示される。コンピュータープラットフォーム100は、1つまたは複数の自動化された人工知能モデルを実行するように構成される。これらの1つまたは複数の自動化された人工知能モデルは、データ層105からのデータ上でトレーニングされる。
これらの自動化された人工知能モデルには、深層学習と、機械学習と、強化学習ベースの技術とが含まれる。例えば、畳み込みニューラルネットワーク(CNN)は、低解像度
、ノイズ/アーティファクトの存在、コントラスト/照明条件などに関連するローカル画像の特徴を学習するために、良い画像と悪い画像を含む注釈付き/ラベル付き画像を使用してトレーニングされる。CNNモデルは、学習機能を使用して、新しい画像に関する予測を行いる。CNNモデルには、最も有益な特徴を保持しながら、各特徴マップのサブサンプリング(またはダウンサンプリング)に進む、いくつかの従来の層といくつかのプーリング層を含めることができる。層のスタックには、サイズNxMのさまざまな従来のカーネルを含めることができるが、ここでNとMは正の整数であり、それぞれカーネルの幅と高さを表する。
、ノイズ/アーティファクトの存在、コントラスト/照明条件などに関連するローカル画像の特徴を学習するために、良い画像と悪い画像を含む注釈付き/ラベル付き画像を使用してトレーニングされる。CNNモデルは、学習機能を使用して、新しい画像に関する予測を行いる。CNNモデルには、最も有益な特徴を保持しながら、各特徴マップのサブサンプリング(またはダウンサンプリング)に進む、いくつかの従来の層といくつかのプーリング層を含めることができる。層のスタックには、サイズNxMのさまざまな従来のカーネルを含めることができるが、ここでNとMは正の整数であり、それぞれカーネルの幅と高さを表する。
図3Aは、深層学習モデルのアーキテクチャーを示している。図3Aに示されるAI深層CCNアーキテクチャーは、畳み込みニューラルネットワークを使用してこの分類を定量化するスコアを使用した外科的転帰(最適対準最適)の分類用である。このアーキテクチャーは、線形および非線形の学習可能な演算子を含むいくつかの(深い)層で構成されており、高レベルの情報を構築して、識別情報の構築プロセスを自動化できる。深層学習ネットワークの第1の入力層は、データ層105のコレクションである元のデータセットを再構築する方法を学習する。後続の隠れ層は、以前の層のアクティブ化の確率分布を再構築する方法を学習する。隠れ層の数は、深層学習アーキテクチャーの深さレベルを定義する。ニューラルネットワークの出力層は、タスク全体に関連付けられている。
図3に示されるように、分類CNNは、外科的転帰の出力確率スコアを提供する。このスコアは、インプラントの位置決めおよび/または骨のアライメントの品質を定量化する。層数やフィルターサイズを含むCNNハイパーパラメーターは、データ層からのデータ収集で設計されたネットワークのパフォーマンスをテストする際に経験的に導き出された。CNNアーキテクチャーは、インプラントの位置決めに高感度の検出を提供するように調整可能である。
図3Bは、術中のねじ挿入のタスクに適用されるマルチスケール強化学習(RL)の概略図である。このタイプの強化学習は、術中に挿入軌道と椎弓根ねじ軌道を説明することができる。
ここで、図4A~4Bを参照すると、ソフトウェアはモジュールに編成されており、この図に示すように、各モジュールには少なくとも1つの機能ブロックがある。非一時的コンピューター可読記憶媒体は、マイクロプロセッサに結合され、非一時的コンピューター可読記憶媒体は、以下のモジュールの機能を実装するコンピューターが可読な命令でエンコードされ、コンピューターが可読な命令はマイクロプロセッサによって実行される。
人工知能術中外科的ガイダンスシステム1のコンピュータープラットフォーム100は、以下のモジュールを含むことができる。モジュール5は、取得した医用画像の使用目的の品質を評価するための画像品質スコアリングアルゴリズムで構成されている。画像品質スコアリングアルゴリズムは、特定のアプリケーション向けの良い医用画像トレーニングデータセットと悪い医用画像トレーニングデータセットからの機械学習または深層学習に基づく画像処理アルゴリズムである。機械学習ベースのアルゴリズムの場合、特定の画像の画像品質スコアは、技術的なイメージ要因(例えば、明るさ、シャープネスなど)の重み付けされた組み合わせが、画像が画像の元の解剖学的構造をどれだけ明確かつ正確に捕捉するかに関連する正確さのレベルを定量化する品質指標に基づいて計算される。これらの要因の重み付けされた組み合わせは、最適または準最適な転帰またはパフォーマンス測定値の既知の予測因子である。例:「整復の妥当性」(図28B)。技術的要因の重み付けされた組み合わせは、画像の品質を定量化する主要な要素のパラメーター化された組み合わせである。これは、画像の関連性の指標と見なすことができ、取得された画像が十分に機能するかどうかを判断する。本発明では、これは、品質指標/画像スコアを定義する
ために使用される。
ために使用される。
深層学習ベースの技術の場合、畳み込みニューラルネットワーク(CNN)は、低解像度、ノイズ/アーティファクトの存在、コントラスト/照明条件などに関連するローカル画像特徴を学習するために、良い画像と悪い画像を含む注釈付き/ラベル付き画像を使用してトレーニングされる。CNNモデルは、学習機能を使用して、新しい画像の画像品質スコアを予測する。
図3Aに見られるように、CNNモデルは、最も有益な特徴を保持しながら、各特徴マップのサブサンプリングまたはダウンサンプリングに進むいくつかの従来の層およびいくつかのプーリング層を含むことができる。層のスタックには、サイズNxMのさまざまな従来のカーネルを含めることができるが、ここでNとMは正の整数であり、それぞれカーネルの幅と高さを表する。モジュール5は、さらなるコンピュータービジョンおよび画像処理タスクのパフォーマンスを最大化する。モジュール5には、グリッドベースの姿勢ガイドを含めることもでき、ユーザーは、アプリケーションに応じて、より適切な画像を取得できる。
モジュール6には、医用画像モダリティに固有の歪み、例えば術中Cアーム画像に固有の透視歪みを検出して修正するための1つまたは複数のアルゴリズムが含まれている。
モジュール7は、骨や軟質組織の境界などの医用画像内の解剖学的ランドマークを検出し、医用画像内の解剖学的オブジェクトの輪郭または境界を識別するための画像処理アルゴリズムまたは高度な深層学習ベースの技術を含む画像注釈モジュールである。解剖学的ランドマーク検出は、他の患者の同じ解剖学的身体部分と高レベルの類似性を潜在的に持つ解剖学的身体部分の重要な要素の識別を意味する。深層学習アルゴリズムは、さまざまな従来の層を含み、その最終出力層は、画像内の重要なポイントのシステム座標を含むがこれに限定されない自己駆動データを提供する。本発明では、ランドマーク検出を適用して、身体の解剖学的部分のいくつかの重要な位置、例えば、大腿骨の左/右、および肩の左/右を決定することもできる。深層ニューラルネットワークの出力は、これらの解剖学的部分の注釈付きの位置である。この場合、深層学習アルゴリズムは、いくつかの要件を満たす必要があるトレーニングデータセットを使用する。トレーニングで使用される第1の画像の第1のランドマークは、トレーニングデータセット内の異なる画像間で一貫している必要がある。解剖学的オブジェクトの輪郭を特定することは、深層学習技術を使用して解剖学的構造の境界を維持しながら、画像の豊富な階層的特徴で構成されるエッジマップを提供することを指す。最適化されたハイパーパラメーター調整を備えた、高度に構成可能なさまざまな深層学習アーキテクチャーを使用して、特定のタスクの解決を支援する。一実施形態におけるトレーニングされた従来のニューラルネットワークは、1つまたは多くのプロセッサ可読記憶媒体および/またはクラウドコンピューティング環境98に格納された調整されたハイパーパラメーターを含む。
モジュール8は、これらの画像に関連付けられたメタデータとそれらのメタデータをクエリする機能を含む、術前医用画像の保存と取得のためのコンピューターアルゴリズムとデータ構造を含む術前画像データベースである。術前画像には、X線、蛍光透視法、超音波、コンピューター断層撮影、テラヘルツ画像、磁気共鳴画像などの複数の画像診断法が含まれ、患者の解剖学的構造の非手術側または対側の画像が含まれてもよい。
モジュール9は、1つまたは複数の画像登録アルゴリズムを含む画像登録である。
モジュール10は、解剖学的形状の3次元(3D)統計モデルを再構築し、術中の2次元または3次元画像データに適合させるためのコンピューターアルゴリズムとデータ構造
で構成されている。モジュール11は、複数の医用画像、画像注釈、およびアライメントグリッドを外科的ガイダンス用の画像ベースの視覚化に構成するための画像処理アルゴリズムとデータ構造で構成されている。
で構成されている。モジュール11は、複数の医用画像、画像注釈、およびアライメントグリッドを外科的ガイダンス用の画像ベースの視覚化に構成するための画像処理アルゴリズムとデータ構造で構成されている。
モジュール12は、手術中の整復およびアライメント処置の医用画像を、次善または最適な転帰などの異なる外科的転帰を予測する個別のカテゴリーに分類する、機械および/または深層学習技術に基づく画像処理アルゴリズムで構成される人工知能エンジンである。モジュール12によって生成される分類には、分類の統計的可能性を示し、画像分類子アルゴリズムの基礎となるモデル、つまり分類子から導出される関連スコアを含めることもできる。
モジュール13は、インプラント固定処置の術中医用画像を、準最適または最適などのさまざまな外科的転帰を予測する個別のカテゴリーに分類する、機械学習または深層学習の手法を使用する、画像処理アルゴリズムで構成される人工知能エンジンである。モジュール13によって生成される分類には、分類の統計的可能性を示し、画像分類子アルゴリズムの基礎となるモデルから導出される関連スコアを含めることもできる。
モジュール14は、術後医用画像を保存および取得するためのコンピューターアルゴリズムとデータ構造で構成される術後画像データベースであり、これらの画像に関連付けられたメタデータと、それらのメタデータをクエリする機能が含まれる。術後画像には、定期的なフォローアップクリニック訪問または外科的修正中に取得された画像が含まれてもよい。
モジュール15は、時系列の術後医用画像を、次善または最適な転帰などのさまざまな外科的転帰を予測する個別のカテゴリーに分類するための画像処理アルゴリズムで構成される人工知能エンジンである。モジュール15によって生成される分類には、分類の統計的可能性を示し、画像分類子アルゴリズムの基礎となるモデルから導出される関連スコアを含めることもできる。
モジュール16は、AO/OTA分類データセットにアクセスできる骨折の識別および整復モジュールであり、画像を解釈して、骨、骨切片、骨折のタイプおよびグループを分類する。
ここで、図2Bを参照すると、1つまたは複数の人工知能(AI)エンジンを含むコンピュータープラットフォーム100は、図4Aのモジュール12、13、および15、および一連のデータセットからの情報を含む。ここでは、深層ニューラルネットワークと他の画像分類子が、1つまたは複数の画像の視覚的特徴を分析および解釈して、問題を予測し、手術または術後のフォローアップ期間の転帰を予測するようにトレーニングされている。トレーニングは、関連する既知の転帰データを含む1つまたは複数の医用画像データセットに依存する。したがって、このコンテキストでトレーニングされたニューラルネットワークは、医用画像の特徴の入力セットから外科的転帰分類を生成する予測モデルと考えることができる。
転帰分類には、通常、分類が正しいという統計的可能性も伴う。まとめると、分類とその可能性は、それぞれ転帰予測とその予測の信頼度水準と考えることができる。最適ではない転帰の予測の場合、信頼度水準は最適ではない転帰の失敗リスクスコアと見なすことができる。したがって、分類と失敗リスクスコアは、最適な転帰につながり、次善の転帰を回避する決定をサポートするために外科医が使用できる。古典的な機械学習アプローチ、並びに畳み込みニューラルネットワーク[例えば、Lawrence、Steve等の「顔認識:畳み込みニューラルネットワークアプローチ」ニューラルネットワーク上のI
EEEトランザクション8.1(1997):98-113]などの最新の深層学習ネットワーク[LeCun、Yann、Yoshua Bengio、GeoffreyHinton。「深層学習」、ネーチャー521.7553(2015):436]も使用できる。信頼度スコアを使用した外科的転帰分類子は、Cox比例ハザードモデル、または臨床研究データから構築された他の一般的な回帰ベースの失敗までの時間モデルを含む、多変量統計の任意の数の方法を使用して構築することもできる。多変量統計モデルを使用して構築された分類子の場合、入力には、医用画像データから導出された特徴セットが少なくとも部分的に含まれる。例えば、「非画像」データセット、例えば、データセットから派生した診断レポート(例えば、図4Bの「データセット転帰の外科的変数」)を使用して外科的転帰を特定するために、自然言語処理(NPL)を使用して臨床テキストデータを処理できる。
EEEトランザクション8.1(1997):98-113]などの最新の深層学習ネットワーク[LeCun、Yann、Yoshua Bengio、GeoffreyHinton。「深層学習」、ネーチャー521.7553(2015):436]も使用できる。信頼度スコアを使用した外科的転帰分類子は、Cox比例ハザードモデル、または臨床研究データから構築された他の一般的な回帰ベースの失敗までの時間モデルを含む、多変量統計の任意の数の方法を使用して構築することもできる。多変量統計モデルを使用して構築された分類子の場合、入力には、医用画像データから導出された特徴セットが少なくとも部分的に含まれる。例えば、「非画像」データセット、例えば、データセットから派生した診断レポート(例えば、図4Bの「データセット転帰の外科的変数」)を使用して外科的転帰を特定するために、自然言語処理(NPL)を使用して臨床テキストデータを処理できる。
システムと方法は、対象画像データを読み取って解釈し、外科的決定リスクを計算し、エンドユーザーに、最適な転帰の確率の信頼度スコアと、インプラントおよび外科的要因のパフォーマンス指標の予測子を提供する機能など、人工知能プラットフォームの使用法を説明している。これは、コンピュータープラットフォームによって、少なくとも1つの外科的ガイダンスとともに合成画像を動的に更新することによって発生する。
人工知能エンジンを含むコンピュータープラットフォーム100は、データセットからの情報を利用および分析する。これらの情報セットは分析および構造化されており、特定の外科手術用途に基づいて、術中蛍光透視画像、術前および術後のX線、MRI、コンピューター断層撮影データなどの手続き型医用画像データセットと、AO/OTA Danis-Weber骨折分類データセットと、Lauge-Hansen分類システムデータセットと、3D CADモデルデータセット、フォンミーゼス応力失敗モードデータセットなどの生体力学的試験と、解剖学的特徴追跡のための医用画像特徴データセットと学習モデルと、最適なグリッドデータセットと、関連する転帰データを伴う骨折整復画像データセットと、その他の外科的転帰データセットと、査読済みの文献および臨床研究データセットと、合併症データセットの既知の予測因子と指標と、人体解剖学データセットの3D統計モデルと、その他の医用画像データセットと、専門医のドメイン知識データセットと、骨質指標データセットと、失敗リスクスコアデータセットと、対象のHER情報データと、外傷転帰データ、関節形成術転帰スコアリングデータ、ACL転帰評価尺度、脊椎スコアリングシステムなどの転帰外科変数データセットとを含めることができる。
これらの外科的および処置特定のデータセットに加えて、併存疾患データ、奇形の存在、骨質指標スコアなどの対象の健康記録からの情報にアクセスできる。これらのデータセットは、処置の転帰に影響を与える可能性のある情報を含むように構成されている。データセットは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、人工知能エンジンの転帰分類子をトレーニングするために使用されると、最適または準最適な転帰の予測と関連する失敗リスクスコアをユーザーに提供する。AIエンジンには、明確に定義されたタスクを解決する、例えば、インプラントの位置などを決定するためのデータ層から、特定のデータセット(1つまたは複数のデータセット、最も重要なのは、CNNに新しい関連機能を学習させる無相関データ)を使用して選択できる複数のCNNベースの分類子が含まれている。
独立したデータセットからの情報にはいつでもアクセスできる。あるいは、イベント中の状況で、さまざまなデータセットからの入力が同時に必要になる場合もある。この状況では、関連するデータセットからの情報が、人工知能(AI)エンジンに複数のトレーニングされた分類子の形式で含まれるように選択され、それぞれが最終的な外科的転帰の予測に加重される。この場合、機械および/または深層学習技術は、これらのデータセットの入力空間から関連する画像の特徴を特定することを目的としており、AIエンジンは、
特定のタスク、例えば、インプラントの位置決めや外科的ガイダンスに関する決定、およびそのタスクを解決するために必要なデータセットに対して個別にカスタマイズされたソフトウェアによる解決を探す。この複数の予測モデルは、特定の転帰の無相関または部分的に相関した予測子を共有するという観点から関係があるデータセットからの情報を利用する。AIエンジンは、パフォーマンスまたは障害に関する重要度の相対レベルに基づいて、転帰予測データにさらに重みを付けることができる。モデルは、意思決定支援と転帰の予測、例えば、成功した最適な長期転帰の確率を出力する。
特定のタスク、例えば、インプラントの位置決めや外科的ガイダンスに関する決定、およびそのタスクを解決するために必要なデータセットに対して個別にカスタマイズされたソフトウェアによる解決を探す。この複数の予測モデルは、特定の転帰の無相関または部分的に相関した予測子を共有するという観点から関係があるデータセットからの情報を利用する。AIエンジンは、パフォーマンスまたは障害に関する重要度の相対レベルに基づいて、転帰予測データにさらに重みを付けることができる。モデルは、意思決定支援と転帰の予測、例えば、成功した最適な長期転帰の確率を出力する。
コンピュータープラットフォーム100は、コンピューター支援手術(CAS)システムと同期して、コンピューター支援手術のイネイブラーとして全体を通して説明されるのと同じ予測ガイダンスを提供するように構成される。本明細書に記載の動的外科的ガイダンスシステム1は、予測ガイダンスを提供するか、または対象固有の、またはカスタムの一致したブロックガイド技術のイネイブラーとして機能する能力を有する。例えば、本発明は、股関節、膝、足首および肩のための関節形成術、ならびに筋骨格修復および脊椎用途のための外傷外科手術などの他の筋骨格用途に適用することができる。典型的なアプリケーションには、股関節、膝、肩、肘、足首の関節形成術、外傷骨折および四肢の変形矯正、脊椎、および大腿関節インピンジメント/(FAI)/寛骨臼周辺の骨切術(PAO)などのスポーツ医学の処置が含まれる。人工知能術中外科的ガイダンスシステム1は、対象画像データの取得するステップと、グラフィカルユーザーインターフェイスに対象画像データを動的に表示するステップと、対象画像データ内の解剖学的構造を選択し、グリッドテンプレートを解剖学的構造にマッピングして、登録された画像データを提供するステップと、外科的ガイダンスを生成するように構成される人工知能エンジンと、少なくとも1つのデータセットを提供するステップと、登録された画像データをデータ出力として人工知能エンジンに提供し、少なくとも1つの外科的ガイダンスを生成するステップと、コンピュータープラットフォームによって、登録された画像データの合成画像を、少なくとも1つの外科的ガイダンスとともに動的に更新するステップとを含む方法を実施するように構成される。外科的ガイダンスは、変形矯正、解剖学的アライメント、骨折の整復、および解剖学的整復に関連している。外科的ガイダンスのプロセスは、これらのアプリケーションについて次のセクションで説明する。この方法には、グリッドテンプレートによってガイドされる追跡可能な位置および配向を生成するステップがさらに含まれる。これらのステップは、図5A~31に実施されるとき、より完全に説明される。
ここで、図4Aおよび5A~5Cを参照すると、人工知能エンジンの使用のオーバー画像、および登録された術前、術中、および術後の画像に適用されるデータセットは、整復およびアライメントならびにインプラント固定処置で使用するためのグラフィカルユーザーインターフェイスをもたらす。術前ワークフローが提供される。ワークフローは次のように進行する。人工知能術中外科的ガイダンスシステム1の撮像システム110は、1つまたは複数の術前画像などの対象画像データを受信し、画像品質スコアリングおよび姿勢ガイドモジュール5を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール6を使用して補正される。次に、画像注釈モジュール7を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、画像は、術前画像データベースモジュール8を介して、術中および術後のワークフローで後で使用するために保存される。次に、このプロセスを繰り返して、術中および術後のワークフローで後で参照するために必要な任意の数の画像を取得する。
ここで、図4Aおよび5Bを参照すると、術中ワークフローが提供される。プロセスは次のように進行する。人工知能術中外科的ガイダンスシステム1は、1つまたは複数の術
前画像を受信し、画像品質スコアリングおよび姿勢ガイドモジュール5を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール(6)を使用して補正される。次に、画像注釈モジュール7を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、人工知能術中外科的ガイダンスシステム1は、画像を術前画像データベースモジュール8内の最も一致する対応する画像に登録し、画像登録モジュール9を使用してマッチングスコアを計算する。ユーザーは、登録の一致と品質スコアに基づいて、画像と登録を受けいれまたは拒否する。受けいれられた場合、3次元解剖学的形状情報は、3D形状モデリングモジュール10を使用して計算され、続いて、画像登録モジュール9を使用して、注釈付き画像へのアライメントグリッドの登録(マッピング)が可能である。
前画像を受信し、画像品質スコアリングおよび姿勢ガイドモジュール5を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール(6)を使用して補正される。次に、画像注釈モジュール7を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、人工知能術中外科的ガイダンスシステム1は、画像を術前画像データベースモジュール8内の最も一致する対応する画像に登録し、画像登録モジュール9を使用してマッチングスコアを計算する。ユーザーは、登録の一致と品質スコアに基づいて、画像と登録を受けいれまたは拒否する。受けいれられた場合、3次元解剖学的形状情報は、3D形状モデリングモジュール10を使用して計算され、続いて、画像登録モジュール9を使用して、注釈付き画像へのアライメントグリッドの登録(マッピング)が可能である。
登録のステップは、対応するピクセルが相同な生物学的ポイントを表すように、非手術側の術前の画像(固定画像、f(x))、および手術側の術中の画像(現在の動画、m(x))を、共通の座標系に変換するプロセスである。これは、f(x)内の点をm(x)にマッピングする変換T(x)を復元することを意味する。これは、(1)変換モデルを定義し、(2)最小化する目的関数を記述する類似性指標を決定し、(3)最小化問題を解決する最適化アルゴリズムを決定するという、手順で実行される。これらの画像の効果的なアライメントにより、外科医はさまざまな特性を強調できるため、これらの画像のより良い比較を確立できる。登録される画像は、同じモダリティから画像化される必要はなく、それは、MRIからCT、またはCTからCTなどであり得る、ことに留意すべきである。
人工知能術中外科的ガイダンスシステム1のコンピュータープラットフォーム100は、現在取得された画像、アライメントされた術前画像、画像構成モジュール11を使用して登録されたアライメントグリッドの任意の組み合わせを使用して、ユーザーに表示するための1つまたは複数の合成画像を生成する。ここでは、処置のタイプに応じてさまざまなプロセスが実行される。整復とアライメントの場合、システムは、整復およびアライメントの転帰予測モジュール12を使用して、転帰分類と失敗リスクスコアを計算する。インプラント固定の場合、システムは、インプラント固定転帰予測モジュール13を使用して、転帰分類と失敗リスクスコアを計算する。
次に、人工知能術中外科的ガイダンスシステム1は、表示された合成画像およびグラフィカルユーザーインターフェイスに、任意の外科的ガイダンス情報とともに、転帰分類および失敗リスクスコアで注釈を付ける。次に、外科的ガイダンス指令は、触覚フィードバックデバイス、ロボット、追跡されたインプラントまたはオブジェクトなどの追跡可能ガイド、カッティングブロック、コンピューター支援手術装置、IoTデバイス、および複合リアリティデバイスなどの外科ファシリテーター160に伝達され得る。
ここで、図4Aおよび5Cを参照すると、術後ワークフローが提供される。プロセスは次のように進行する。人工知能術中外科的ガイダンスシステム1は、1つまたは複数の術後画像を受信し、画像品質スコアリングおよび姿勢ガイドモジュール(5)を使用して画像品質スコアを計算する。ユーザーには、画像品質スコアと姿勢ガイドガイダンスに基づいて、画像を受けいれるか拒否するかの選択が提示される。画像が拒否された場合、オペレーターは許容可能な画像の取得を再試行する。受けいれられた場合、画像の歪みが検出され、歪み補正モジュール6を使用して補正される。次に、画像注釈モジュール7を使用して、解剖学的ランドマークと画像セグメンテーションで画像に注釈を付ける。次に、人工知能術中外科的ガイダンスシステム1は、画像を術後画像データベース14内の先行する全ての時系列画像に登録し、画像登録モジュール9を使用してマッチングスコアを計算
する。ユーザーは、登録の一致と品質スコアに基づいて、画像と登録を受けいれまたは拒否する。受けいれられた場合、3次元解剖学的形状情報は、3D形状モデリングモジュール10を使用して計算され、続いて、画像登録モジュール9を使用して、注釈付き画像へのアライメントグリッドの登録(マッピング)が可能である。
する。ユーザーは、登録の一致と品質スコアに基づいて、画像と登録を受けいれまたは拒否する。受けいれられた場合、3次元解剖学的形状情報は、3D形状モデリングモジュール10を使用して計算され、続いて、画像登録モジュール9を使用して、注釈付き画像へのアライメントグリッドの登録(マッピング)が可能である。
人工知能術中外科的ガイダンスシステム1は、現在取得された画像、アライメントされた術前画像、画像構成モジュール11を使用して登録されたアライメントグリッドの任意の組み合わせを使用して、ユーザーに表示するための合成画像を生成する。次に、システムは、術後転帰予測モジュール13を使用して、転帰分類と失敗リスクスコアを計算する。次に、人工知能術中外科的ガイダンスシステム1は、表示された合成画像およびグラフィカルユーザーインターフェイスに、ガイダンス情報とともに、転帰分類および失敗リスクスコアで注釈を付ける。
ここで、図6を参照すると、対象は、特定の処置、例えば、関節置換、整形外科外傷、変形矯正、スポーツ医学、および脊椎に示される標準的な方法で、医学的または外科的イベントのために準備および配置される。術前画像115またはデータがインポートされ、図6に示される。術前画像115は、対象の解剖学的画像の上に重ねられたグリッドテンプレート200を示している。
グリッドテンプレート200は、例えば、外科的変数に関連する230複数の寸法決めされた放射線不透過性線を有する。不透明ではないグリッドテンプレート200の部分は放射線透過性である。グリッドテンプレート200は、基準角度、長さの位置決めまたはターゲティングを参照するための幾何学的性質またはテキストの任意の形状またはパターンを含むことができる。グリッドテンプレート200は、単一の線、幾何学的パターン、数字、文字、または外科的変数に対応する複数の線および幾何学的形状の複雑なパターンであり得る。グリッドパターンは、外科医の解剖学に関する知識と、解剖学的ランドマークの間の重要な関係と寸法を特定する形態計測文献および研究の解釈、および特定の処置に関連しているとき、優れた外科技術のサポートへの応用を含む臨床経験とに基づいて、術中にリアルタイムで事前設計または構築できる。デジタル寸法決めされたグリッドに関して、この形式のグリッドテンプレート200は、アプリケーションソフトウェアによって生成される。
対象は、特定の処置、例えば、関節置換術、整形外科的外傷、奇形矯正、スポーツ医学、および脊椎に示されるように、標準的な方法で医学的または外科的イベントのために準備および配置される。それぞれのアプリケーションの処置固有の情報は、術前画像115またはデータから抽出され、ライブ術中画像120にマッピングされる。マッピングは、術前から術中の画像空間への最適な画像変換を計算することとして定義される。変換は、変形フィールドとアフィンまたは剛体変換の合成で構成される。最適な変換は、相互情報の勾配降下、相互相関、または術前115および術中画像120の対応する特定の解剖学的ランドマークの識別を含む、さまざまな確立された方法を使用して計算される。例えば、その全体が参照により具体的に組み込まれる米国特許番号9610134を参照されたい。
ここで、図7Aを参照すると、非患側の解剖学的構造の新しい画像120が取得され、コンピュータープラットフォーム100に送信される(無線で送信することができる)。処置の開始時に、ユーザーは、コンピュータープラットフォーム100のソフトウェアを使用して、解剖学的位置決め、すなわち、図4Aに示されるような画像QSおよび姿勢モジュールで支援する。コンピュータープラットフォーム100は、術中画像120上のランドマークを識別し、撮影される画像の最適な姿勢を決定する。ランドマークは、医用画像データセットから学習した分類子に基づいて識別される。転帰分類子は、深層ニューラ
ルネットワーク、テンプレートマッチングアルゴリズム、またはルールベースの分類子または決定木の形をとることができる。
ルネットワーク、テンプレートマッチングアルゴリズム、またはルールベースの分類子または決定木の形をとることができる。
ここで、図7Bを参照すると、、コンピュータープラットフォーム100は、良い姿勢推定のリアルタイムガイドテンプレート250を提供する。ガイドテンプレート250は、ユーザーが、人工知能術中外科的ガイダンスシステム1が、後続の新しい画像120を電子ディスプレイ装置150に示されるような最適な姿勢画像のデータセットと一致させるための最適な機会を獲得するためのガイドである。例えば、足首では、姿勢が選択されると、側面画像を特定の解剖学的特徴と、これらの特徴(脛骨、腓骨、距骨)にマッピングされたガイドテンプレート250に分割できる。
図8A~Cは、姿勢ガイド画像260を提供するための画像および姿勢ガイドテンプレート250のオーバーレイマッピングを示す。ユーザーが好ましいまたは正しい画像姿勢を取得すると、その画像および/またはガイドテンプレート250は、処置の残りの間、ガイダンス姿勢ガイド画像260として使用することができる。ガイダンス姿勢ガイド画像260は、身体の対側または非患側の画像、またはデータセットからの最適な画像、統計的形状モデル、または幾何学的仮想グリッドであり得る。
ユーザーは、必要なガイダンス姿勢ガイド画像260と一致するか、しきい値が検出されるよう満足されるまで、後続の画像を撮影する。正しい姿勢は、1)解剖学的構造(対象)の位置を調整する方法、または2)撮像機器(Cアームなど)の姿勢/角度を調整する方法の2つの方法で取得できる。このプロセスは、ユーザーによって手動で指示されるか、またはコンピュータープラットフォーム100のソフトウェアモジュールによって自律的に実行され得る。コンピュータープラットフォーム100は、一致した画像270が術前画像データベース内の画像120のうちの1つによく一致するかどうかを決定しようとする。ここで、コンピュータープラットフォーム100は、図3Aに示すように、画像登録モジュール9を使用する。
このプロセスには、画像ペアにすばやく適用できるマルチスケールの画像ベースの登録指標が含まれる。閾値を超える一致が検出された場合、コンピュータープラットフォーム100は、画像ランドマーク分類子の技術のいずれかを使用して、新しい画像内の関連する解剖学的ランドマークを自動的に識別しようとする。ランドマーク情報およびオプションで他の画像情報を使用して、新しい画像から術前画像の座標空間への変換Tを計算する。
ここで、図8Bを参照すると、自動ランドマークおよびスマート画像登録がこの時点で発生し、それにより、コンピュータープラットフォーム100は、一致した画像270において、後部遠位腓骨271などの関連する解剖学的ランドマークを自動的に識別しようとする。ランドマーク分類子の前述の手法のいずれかを使用できる。さらに、エッジと特徴の認識、ランドマークの識別、統計的アトラス登録、および変形可能なモデルに基づく画像ネイルアプローチを使用して、距骨272などの画像から解剖学的構造の関連領域をセグメント化できる。これらの画像では、一致した画像270は、この状況で姿勢ガイド250として機能するテンプレートである。
ここで、図8Cを参照すると、専門家ドメイン知識データセットに加えて、画像登録モジュール9および姿勢ガイドモジュール5を備えた最良の画像姿勢ガイダンスの良い面に、示されるようにアクセスされる。最良の姿勢画像が受けいれられると、画像登録モジュール9は、アプリケーション固有の特徴280、例えば、足首骨折処置における距骨を識別する。出力は、所望の解剖学的特徴の自動識別および選択であり、画像およびグリッドのアライメントを表示するこれらの特徴280に対して配置されたグリッドテンプレート
200である。
200である。
ここで、図4Aおよび5参照すと、、画像登録モジュール9において、外科医などのユーザーは、グラフィカルユーザーインターフェイス151上の解剖学的画像内の少なくとも1つの解剖学的ランドマークを選択する。解剖学的ランドマークの選択は、コンピュータープラットフォーム100のソフトウェアが、特徴/パターン認識プロセスを使用して、既知の標的化された解剖学的ランドマークを自動検出する場合の自動セグメンテーション、ジャイロマウスなどのリモート赤外線デバイスの使用、音声コマンド、エアージェスチャー、見つめること(外科医は見つめることおよび目または頭の動きの方向を使用してターゲティングを制御する)、または、選択した解剖学的ランドマークの視覚化画面をタッチすること、を含むがこれらに限定されないさまざまな方法によって達成することができる。
例示的な埋め込みの1つでは、外科医は、解剖学的ランドマークの選択を手動で、または赤外線ワンドまたは拡張リアリティデバイスなどのさまざまな入力装置を使用してワークステーションに入力する。コンピュータープラットフォーム100のアプリケーションソフトウェアは、選択された解剖学的ランドマークを有するグリッドテンプレート200を登録する。この方法は、少なくとも1つの解剖学的ランドマークを選択して、グリッドテンプレート200に少なくとも1つのグリッドインジケーター280を提供することによって、解剖学的画像をグリッドテンプレート200に登録するステップを含む。グリッドインジケーター280は、登録の目的で仮想グリッドテンプレート200上の既知の位置と相関する画像上に定義および配置された解剖学的特徴である。必要に応じて、登録手順を使用して、画像のゆがみを解除するか、画像のゆがみに応じてデジタルグリッドインジケーターをゆがめる。
コンピュータープラットフォーム100のソフトウェアは、画像内で放射線不透過性であるキャリブレーションポイントを識別および認識する。これらは既知の寸法形状である。これらのポイントのグループは、歪みキャリブレーションアレイである。歪みキャリブレーションアレイは、画像が撮影およびキャプチャされたときに既知の歪みキャリブレーションアレイのライン/ポイントが識別されるように、画像補強器または任意の撮像システムの画像フィールドに配置される。これらの既知のパターンは、歪みの適応/修正プロセスで使用するために保存される。歪みキャリブレーションアレイは、不要なライン/ポイントで画像を覆い隠したりごちゃごちゃにしたりしないように、表示媒体の視覚化から削除される。歪みキャリブレーションアレイは、グリッドテンプレート200の歪み適応をサポートするために配置される一連の線または点を作ることができる。歪みキャリブレーションアレイのポイントまたはラインは、歪みプロセスが、解剖学的構造に対するこれらのポイント/ラインの位置を計算し、撮影された各画像中の歪みの量を定量化できるように、放射線不透過性である。これらのポイント/ラインが識別され、歪みプロセスで使用されると、外科医がグリッドテンプレート200と解剖学的画像を見たときに外科医の画像を妨げないよう、解剖学的画像からこれらの点/線の視覚化を削除する別のプロセスがある。
一実施形態では、登録プロセスは、解剖学的画像に重ねられたグリッドテンプレート200上にグリッドランドマーク(グリッド線の交点、点、線分など)を手動または自動で検出し、および次に、アフィン登録と変形フィールドを介してこれらのランドマークを、デジタルで表される既知のジオメトリの歪みキャリブレーションアレイ上の対応するランドマークと位置合わせすることを含む。この方法は、較正された寸法決めされたグリッドを変形して、解剖学的画像の歪みを補正して、変形された較正された寸法決めされたグリッド画像を生成するステップを含む。
(歪みキャリブレーションアレイからの)既知の放射線不透過性のライン/ポイントを使
用して、各解剖学的画像のEM歪みの測定値を提供する。歪みが定量化され、次に、コンピュータープラットフォーム100で生成された仮想グリッドのソフトウェアが、各解剖学的画像の歪みのある解剖学的構造に一致するように適合される。
(歪みキャリブレーションアレイからの)既知の放射線不透過性のライン/ポイントを使
用して、各解剖学的画像のEM歪みの測定値を提供する。歪みが定量化され、次に、コンピュータープラットフォーム100で生成された仮想グリッドのソフトウェアが、各解剖学的画像の歪みのある解剖学的構造に一致するように適合される。
歪みキャリブレーションアレイは、選択した解剖学的ランドマークが、外科医が関心領域で変形補正をより正確に推定できるために、これらの領域でより密にクラスター化されるように、不均一な設計である。変形の推定は次のように進行する。選択した解剖学的ランドマークが、アレイ画像上で(手動または自動で)特定されたら、グリッドテンプレート200からアレイ画像への対応する選択された解剖学的ランドマーク間の最良のマッピングを生成するアフィン変換が計算される。
(変換されたグリッドポイントとアレイ画像ポイントの間の残差である)変形フィールドのアレイ画像のランドマークに関して、平行移動、回転、およびスケーリングのためランドマークを調整する、アフィン変換によるグリッドポイントの続く変換が、薄板スプラインまたはその他の適切な放射基底関数を使用してモデル化される。薄板スプラインまたは放射基底関数のパラメーターは、線形連立方程式を解くことによって推定される。米国特許出願第15/383,975号(これにより、参照により具体的に組み込まれる)を参照のこと。アレイ画像は、参照画像またはキャリブレーション画像になる。
(変換されたグリッドポイントとアレイ画像ポイントの間の残差である)変形フィールドのアレイ画像のランドマークに関して、平行移動、回転、およびスケーリングのためランドマークを調整する、アフィン変換によるグリッドポイントの続く変換が、薄板スプラインまたはその他の適切な放射基底関数を使用してモデル化される。薄板スプラインまたは放射基底関数のパラメーターは、線形連立方程式を解くことによって推定される。米国特許出願第15/383,975号(これにより、参照により具体的に組み込まれる)を参照のこと。アレイ画像は、参照画像またはキャリブレーション画像になる。
変形フィールドが計算されると、寸法決めされたグリッドが術中にリアルタイムで対象の解剖学的構造に嵌合するように適合され、したがって、筋骨格の解剖学的構造またはインプラントの形状に一致または嵌合させるために使用できる曲線などの歪んだグリッドインジケーターが生成される。次に、グリッドインジケーターの変形は、最初にアフィン変換を適用し、次に変形フィールドに沿ってグリッドインジケーターをゆがめることにより、リアルタイムで適用される。ランドマークの識別で定義および対象とされた解剖学的ポイントに基づくグリッドパターンが生成される。コンピュータープラットフォーム100のソフトウェアは、各画像の歪みの量を計算するように構成され、解剖学的画像に対してこの量を定量化し、次に、対象の解剖学的構造の画像を、定量的に歪んだ寸法決めされたグリッド画像とともに表示する、計算されたグリッド/画像の関係を表示する。これらの変形したグリッドは、新しい画像が撮影されるたびにリアルタイムで追跡される。変形したグリッドは、解剖学的構造、インプラント、および骨折に対して、外科医などのユーザーが自動または手動で配置できる。アルゴリズム内では、測定値、差、角度、グリッドとインプラントの位置、骨折の偏差を計算するために多数の方程式と式が使用され、インプラントまたは外傷に関連する外科的変数の少なくとも1つの測定値が決定される。
自動セグメンテーションでは、外科医によって選択された少なくとも1つの解剖学的ランドマークが、連続する解剖学的画像ごとに自動的に選択される。自動セグメンテーションにより、外科医はより迅速に作業できる。自動セグメンテーションは、次の1つまたは複数の手法、すなわち、強度しきい値、ハフ変換または他の方法による形状検出を含む、画像の強度エッジでの特徴検出、および特徴検出と、それに続く事前定義されたランドマーク位置を有する2Dまたは3Dの解剖学的アトラスの登録、を組み合わせて実行される。
ここで、図9A~Bおよび10を参照すると、解剖学的特徴が定義された術中画像が、グラフィカルユーザーインターフェイスとして示される。グリッドテンプレート200は、識別された解剖学的オブジェクトまたはインプラント特徴にマッピングされて、一致するグリッドマップ画像290を形成する。この画像では、オブジェクトは外側距骨280である。コンピュータープラットフォーム100は、特徴を自動追跡し、解剖学的構造、オブジェクト、およびインプラントの新しい座標位置および統合グリッドマップを計算するように構成される。グラフィカルユーザーインターフェイスは、i)後続の画像の自動追跡のためにロックされ、ii)アライメントグリッドを自動統合して配置する。グラフ
ィカルユーザーインターフェイスを使用して、アライメントグリッド350が一致した画像内に配置される。ユーザー調整が受けいれられ、コンピュータープラットフォーム100は、一致するグリッドマップ290を提供するように構成される。
ィカルユーザーインターフェイスを使用して、アライメントグリッド350が一致した画像内に配置される。ユーザー調整が受けいれられ、コンピュータープラットフォーム100は、一致するグリッドマップ290を提供するように構成される。
ここで、図11A~Bを参照すると、患側の画像121が得られる。患側は、変形した、負傷した、または病気の手足を示す事があり得る。良い側について前述したプロセスが、患側に対して繰り返される。このプロセスでは、対象の良い面に合わせることで、最良の姿勢と解剖学的特徴、オブジェクト、インプラントの自動識別が行われる。プロセスへの入力は、患側の画像、良い側の姿勢ガイドデータ、およびデータセットの機能識別である。コンピュータープラットフォーム100によって実行されるタスクは、良い側との最良の姿勢の一致を推定し、特徴およびグリッドマップを自動マッピングすることである。必要なアクションは、最適な姿勢を計算し、特徴を自動識別し、一致するグリッドマップを計算することである。出力は良い面(対側)であり、与えられた面は画像上に配置されたアライメントグリッドと一致する。
ここで、図12A~Bを参照すると、AO/OTA分類データセットにアクセスできる骨折識別および整復モジュール16は、画像を解釈し、骨、骨切片、骨折のタイプおよびグループの分類を行う。グラフィカルユーザーインターフェイスとして図12Aに示すように、ユーザーは分類を受けいれることができる。例示的な実施形態では、処置が骨折を伴う場合、患側画像は、AO/OTA分類システムにしたがって分類される45骨折および骨折のタイプにしたがい分析される。例えば、足首骨折の選択は骨幹端複合体(43-A3)として分類される。次に、分類が受けいれられた場合、タスクおよびアクションには、治療オプションの提供が含まれる47。
図12B~Cに示されるように、治療オプション47は、選択された分類に基づいて提供される。治療オプション47は、グラフィカルユーザーインターフェイスとして表示される。ここでは、この骨折状況で使用するための外傷プレートインプラント49が示される。これは、関連するデータセットからの骨折タイプの選択を確認するように構成されるコンピュータープラットフォーム100によって達成され、アルゴリズムモジュールは、治療計画分析およびユーザー155に対する提案のためにアクセスされる。治療オプション47には、このタイプの骨折分類を固定するための推奨インプラント、例えば特定のねじ構成と選択49を備えたインプラントプレートの決定が含まれる。自動骨折識別は、深層畳み込みニューラルネットワークやルールベースの分類子など、さまざまな機械学習アプローチでトレーニングされた分類子を使用して実行できる。
より具体的には、CNNモデルが、1つまたは複数の骨折のある画像と骨折のない他の画像を含むデータセットでトレーニングされる。次に、CNNモデルは、骨折があるかどうかを判断し、特定された骨折および/または異常を含む関心領域を特定する。画像内の骨折領域の正確な識別は、骨折のタイプの固定プロセスに関する証拠を提供することに加えて、分類をサポートするために必要な重要情報である。実際には、入力画像は、特徴マップを生成するために、さまざまな従来の最大プーリング層を含むCNNモデル(代表的なアーキテクチャーが図3Aに示される)によって処理される。最後の層では、ネットワークが関心領域の位置とサイズを示す特徴マップ情報に基づいて、画像上の候補「骨折関心領域」をターゲットにするように変更される。次に、CNNモデルによってマークされた、全ての骨折位置と疑わしい異常検出を含む候補領域が表示される。
ここで、図13A~Bを参照すると、ガイダンス姿勢ガイド画像260は、類似性評価およびマッピングモジュールのためのテンプレート画像として処置全体を通して使用される良好側参照画像として使用され得るが、それにより、良好な、または非患側の解剖学的構造が、患側の解剖学的構造121の画像と一致する。これは、画像分析およびセグメン
テーション技術を使用して類似性評価を自律的に実行し、影響を受けた画像および対側の画像の骨の解剖学的特徴をリアルタイムで識別および登録するように構成されるコンピュータープラットフォーム100によって達成される。この手法はゴーストとして識別される。ゴーストでは、オーバーレイ画像50は、ガイダンス姿勢ガイド画像260を参照して、良い側の画像120と悪い側の画像121を重ね合わせることによって得られる。手術画像と対側画像のマッチングは、最適な画像変換を計算することによって実現される。変換には、変形フィールドとアフィン変換または剛体変換の構成を含めることができる。最適な変換は、相互情報の勾配降下法、相互相関、または術前および術中の画像における対応する特定の解剖学的ランドマークの識別を含む、さまざまな確立された方法を使用して計算できる。
テーション技術を使用して類似性評価を自律的に実行し、影響を受けた画像および対側の画像の骨の解剖学的特徴をリアルタイムで識別および登録するように構成されるコンピュータープラットフォーム100によって達成される。この手法はゴーストとして識別される。ゴーストでは、オーバーレイ画像50は、ガイダンス姿勢ガイド画像260を参照して、良い側の画像120と悪い側の画像121を重ね合わせることによって得られる。手術画像と対側画像のマッチングは、最適な画像変換を計算することによって実現される。変換には、変形フィールドとアフィン変換または剛体変換の構成を含めることができる。最適な変換は、相互情報の勾配降下法、相互相関、または術前および術中の画像における対応する特定の解剖学的ランドマークの識別を含む、さまざまな確立された方法を使用して計算できる。
より具体的には、図5A~5Cに示されるように、ゴースト化処置は、1)手術前に、手術室の担当者は、患者または対象の解剖学的構造の非手術側の術前画像を取得する、ステップを含む。例えば、足首骨折の場合、負傷していない足首の標準的な前部-後部、横、およびくり抜きの画像が撮影される。これらの画像は、症例の前に標準的なX線を使用して放射線科で取得し、手術前にデバイスにロードするように外科医から注文される場合もある。2)ステップ1で取得された非手術側の画像は、コンピュータープラットフォーム100によって処理されて、後で手術側との画像登録に使用される主要なランドマークを識別する。さらに、これらの画像は歪みが補正され、グリッドテンプレートがオーバーレイされ得る。3)手術の整復フェーズ中に、外科医が骨折した解剖学的構造の整復に使用する手術側の画像が取得される。これらの手術側画像は、非手術側との画像登録に使用される主要なランドマークを識別するために処理される。さらに、これらの画像は歪みが補正され得る。4)コンピュータープラットフォーム100は、画像類似性指標を使用して、現在の手術側画像に最も一致する非手術側画像を識別する。最も一致する非手術側画像が現在の手術側画像に登録される。登録プロセスでは、変換マトリックス(アフィンまたはリジッド)、変形グリッド、またはその両方で構成される画像変換を計算する。5)コンピュータープラットフォーム100は、画像変換を使用して、非手術側画像を現在の手術側画像と位置合わせし、非手術側画像と手術側画像の解剖学的位置決めの違いを示す画像オーバーレイを生成する。このオーバーレイ画像は、外科医が、(非手術側の解剖学的位置決めに基づき)手術側で患者の通常の解剖学的構造を復元するために使用できるテンプレートであるガイダンス姿勢ガイド画像260である。6)非手術側画像に配置された任意の寸法決めされたグリッドまたはその他の注釈は、手術側画像上の対応する位置に変換して、登録された合成画像を補強することができる。
ここで、図14Aを参照すると、類似性評価52が実行され、登録一致信頼度が1つまたは複数の画像登録アルゴリズムを含む画像登録モジュール9に基づいて計算される。類似性評価52は、類似性評価およびマッピングを示している。
図14B~Cにおいて、信頼度パーセンテージのグリッド類似性マッピングが、非手術側画像を現在の手術側と位置合わせすることによって、グラフィカルユーザーインターフェイスディスプレイに示される。コンピュータープラットフォーム100によって計算された、差53の「ゴースト」または良好対不良のマッピング/マッチング/オーバーレイのレンダリング表示。キーカラーは、2つの画像の面積の違いを示す赤である。強調表示されたガイドを使用して、一致測定54が、提供された情報を受けいれるか拒否するかをユーザーに示される。ユーザーは、例えばアライメントでの使用に許容できる良い面を確認する。
図15A~Cにおいて、グラフィカルユーザーインターフェイスディスプレイは、ユーザーが提供された情報を受けいれるかまたは拒否するための一致測定値54を表示する。例示的な例では、-5.5mmの腓骨長の一致が示される。図15Bでは、グラフィカル
ユーザーインターフェイスディスプレイの例は足首を示している。良い面は、グリッドのアライメントと測定値でオーバーレイされる。足首55のゴースト解釈が示されている。図15Cは、ネイルの例のグリッドのアライメントおよび測定値を備えた良好なサイドオーバーレイ上の股関節56のゴースト解釈を示す股関節グラフィカルユーザーインターフェイスの例である。
ユーザーインターフェイスディスプレイの例は足首を示している。良い面は、グリッドのアライメントと測定値でオーバーレイされる。足首55のゴースト解釈が示されている。図15Cは、ネイルの例のグリッドのアライメントおよび測定値を備えた良好なサイドオーバーレイ上の股関節56のゴースト解釈を示す股関節グラフィカルユーザーインターフェイスの例である。
図16において、形状モデリングモジュール10の出力は、2Dへの適用解剖学的構造の統計的形状モデルの3Dから2Dへの登録(または嵌合)に基づく術中計算およびガイダンスのためのデータである。統計的形状モデルは、ネイリング用途での回転を予測するために使用される。統計的形状モデルは、1つまたは複数のサンプル平均形状と変動モードとしてエンコードされた母集団の解剖学的構造の変動性の表現である。医用画像の欠落している情報を補強するために、統計的形状モデルを患者の解剖学的構造の画像に適合させることができるさまざまな画像処理方法が存在する。例えば、転子間ネイルなどのインプラントの2次元蛍光透視画像の回転を含む3次元姿勢は、インプラントネイルの形状の統計モデルを使用して推測することができる。姿勢の推論は、統計モデルを2次元画像に同時にフィッティングし、2次元画像を解剖学的構造の統計モデルのシミュレートされたプロジェクトに繰り返し登録することによって計算される。
ここで、図17A~Bを参照すると、コンピュータープラットフォーム100は、処置中に大腿骨頭の内反整復60を識別し、ユーザーに加重知能モデルの計算に基づいて失敗のリスクが高いことを示す内反整復警告61を提供する。最適な整復のグリッドテンプレートを提供して、ガイダンスを提供し、ユーザーが満足のいく転帰を得るのを支援することができる。
コンピュータープラットフォーム100は、情報を分析および解釈し、既知のパターンのセットへの相関および図4Aおよび4Bに示されるようなデータセットからの推論に基づくガイダンスを提供するように構成される。外科的ガイダンスに関連する出力には、インプラント選択推奨事項、インプラントの配置、パフォーマンスの予測、良好な転帰の確率、および失敗リスクスコアが含まれる。さまざまな層を示す深層学習プラットフォームの構造は、情報の流れの構成と情報の適用方法を示している。データ層は、さまざまなネットワークからのデータのコレクションで構成されている。骨折の整復や変形の矯正などの外傷イベントにおいて、または股関節または膝の解剖学的アライメントや骨切りガイダンスなどの関節形成術イベントにおいて、またはインプラントアライメント補正を伴う脊椎手術の場合において、またはACL再構築アライメントを伴うスポーツ医学イベントにおいて、ドメイン知識およびイベントに重要な対象の健康記録からの情報と結合される、これらの外科的および処置特定のデータセットはアクセスできる。データセットは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、組み合わされて、ユーザーに次善または最適なパフォーマンス指標の信頼度パーセンテージ推奨としてユーザーに出力される失敗リスクスコアを提供する。出力は、リアルタイムイベントで発生した決定をサポートするために、インテリジェントな予測子とスコアの形式でユーザーに提示される。
コンピュータープラットフォーム100は、特定の瞬間に圧倒的な量の情報を人間が解釈できないためにユーザーが見ることができないリスク要因について画像を分析する。インプラントの配置とアライメントがこのデータパターンと一致しない場合、この特定の状況で認識を作成し、ユーザーに危険警告を提供する。基本的に、ユーザーが問題に遭遇する前に、問題を特定して予測する。これは、合併症の回避とエラーの防止につながり得る。外科的ガイダンスは、変形矯正、解剖学的アライメント、骨折の整復、および解剖学的整復に関連している。外科的ガイダンスのプロセスは、これらのアプリケーションについて次のセクションで説明する。以下のセクションは、コンピュータープラットフォーム1
00がどのように情報を解釈し、既知のパターンのセットとの相関および異なる外科手術処置に適用されるデータセットからの推論に基づいてガイダンスを提供するかを示す。
00がどのように情報を解釈し、既知のパターンのセットとの相関および異なる外科手術処置に適用されるデータセットからの推論に基づいてガイダンスを提供するかを示す。
外傷の例-股関節骨折。HCUP(米国医療研究品質局(AHRQ)の医療費および利用プロジェクト)のデータによると、2015年に米国の病院に入院した最も頻繁な骨折は股関節の骨折であった。これらの処置の失敗モードには既知の理由がある。例えば、骨をネイリングするための正しいエントリーポイントを決定して利用することで、骨折の整復不良、最終的にはインプラントの失敗または最適な転帰の妥協を防ぐことができることが文書化されている。
対象の解剖学的構造は独特であり、全ての対象に単一のエントリーポイントを使用することは望ましくない。対象が標準的な方法で手術の準備ができると、人工知能の術中外科的ガイダンスシステム1がオンになり、プラットフォームがアクティブになる。対象の解剖学的構造の新しい画像が撮影される。画像は、対象の対側の非患側、または良い側の画像である。プラットフォームは、受け取る情報が3Dであるか2Dであるかを指示されるか、決定する。情報が3Dである場合、人工知能術中外科的ガイダンスシステム1は、関連するモジュールを呼び出して、2Dから3Dへの登録を実行するか、または統計的推論のために3Dモデルを利用する。画像が2Dである場合、人工知能術中外科的ガイダンスシステム1が画像をキャプチャし、初期グリッド姿勢モジュールが画像を分析し、画像の姿勢が「真の」画像として使用するのに適切であるかどうかを決定する。真の画像は、ソフトウェアアルゴリズムが再現性よく認識できる優れた解剖学的参照画像として処置全体で利用されるデータムまたはベース画像である。処置のこのステップで取得された新しい画像ごとに、アルゴリズムは注釈付きの良好な解剖学的姿勢画像のデータセットにアクセスし、ユーザーが正しい姿勢を確立するようにガイドする仮想グリッド姿勢テンプレートを提供する。この状況でのグリッド姿勢の例は、「ビームをティアドロップの中心に置いて、AP画像において股関節を15度内部に回転させる」ようにユーザーにアドバイスする。正しい画像が受けいれられると、コンピュータープラットフォーム100は、自動化された画像セグメンテーションアルゴリズムにアクセスして、関連する解剖学的特徴を識別する。この特定の用途(図18A)では、識別される解剖学的特徴は、大転子(GT)70の先端、管の中心71によって識別される大腿骨幹軸、および大腿骨頭の中心と頸部の中心71によって識別される大腿骨頸部軸を含み得る。頸部幹角度71は、幹軸と頸部軸との間の内側弧として測定される。患側の画像は、同様の一致する画像姿勢で撮影される。特徴認識およびセグメンテーションアルゴリズムにもアクセスする。ここで画像登録モジュール9にアクセスし、グッドサイドマッチモデルを計算する。良いグリッドマップと悪いグリッドマップの類似性評価は、ユーザーに一致の信頼度を提供する。このステップには、グリッドテンプレートを解剖学的構造にマッピングして、対象の解剖学的構造の非手術側の画像を対象の解剖学的構造の手術側の術中画像の画像とともに登録して、登録された合成画像を提供することが含まれる。登録された合成画像は、人工知能エンジンに提供され、少なくとも1つのグラフィカルな外科的ガイダンスを生成する。このステップでは、インプラントデータセットにアクセスする。データセットには、インプラントオプションの3次元形状に関する情報が含まれている。このデータセットに関連付けられた機械学習アルゴリズムは、関連する変数を分析、測定、計算し、次善の出力を識別して、合併症の回避とエラー防止につながる状況認識と危険警告をユーザーに提供する機能を含む。出力は、ユーザーがたどる予定の経路を進んだ場合の失敗の最適または準最適なリスクスコアなど、外科的ガイダンスとしてユーザーに提示される。
コンピュータープラットフォーム100は、これらの経路に基づいてパフォーマンスを予測し、また、最適または準最適な転帰の確率をユーザーに提供することができる。コンピュータープラットフォーム100は、成功した転帰の既知の予測因子に基づいて、インプラントの推奨をユーザーに提供する。コンピュータープラットフォーム100は、外科
医が術中変数を変更するときに、登録された合成画像を少なくとも1つのグラフィカルな外科的ガイダンスで動的に更新する。外科的変数は、進行中の外科手術処置に依存し、患者の位置、姿勢推定、インプラント位置、または大腿骨骨折外科手術におけるネイルのエントリーポイントを含む。
医が術中変数を変更するときに、登録された合成画像を少なくとも1つのグラフィカルな外科的ガイダンスで動的に更新する。外科的変数は、進行中の外科手術処置に依存し、患者の位置、姿勢推定、インプラント位置、または大腿骨骨折外科手術におけるネイルのエントリーポイントを含む。
ここで、図1A、4A、および18Bを参照すると、合併症データセットの既知の指標および予測因子内で、正しいネイルエントリー部位予測情報にアクセスすることができる。データセットは、業界のゴールドスタンダードまたは過去の同等の文献でレビューされた研究からの情報を使用して、分析計算を実行し、最適および準最適なパフォーマンス予測を決定する。さらに、コンピュータープラットフォーム100は、エントリー部位の特定の配置またはガイドワイヤまたはリーマ75の配向によってエラーが発生する可能性があるかどうかを決定する。最適なエントリーポイント予測では、さまざまなアルゴリズムモジュールの組み合わせを利用して情報を取得する。
本明細書において、関連するランドマークは、セグメンテーション機械学習アルゴリズムを使用して識別され、インプラントデータセットは、対象に最適なエントリーポイントグリッドテンプレートに使用され、ネイルグリッドテンプレートは、既知の文献および研究データセットにアクセスできる深層学習アルゴリズムを使用して、画像上に最適に自動配置され、さまざまな機能間の距離が測定され、出力値は、既知の最適リスク値と準最適リスク値を使用して、文献と研究データセットを使用して転帰を予測する。
ここで、図18Cを参照すると、例えば、ユーザーはGT(大腿骨大転子)チップ70のエントリーポイントを使用できるが、インプラントの設計と対象の解剖学的構造により、この経路が外反の整復不良につながる可能性が高いと予測される。最適なエントリーポイントが定量化されると76、それは取得された後続の全ての画像に表示される。エントリーポイントは、解剖学的およびインプラントセグメンテーション追跡モジュールによって画像間で動的に追跡される。更新されたエントリーポイントは、既知の選択された解剖学的特徴追跡ポイントを基準にして計算される。
ここで、図18Dを参照すると、新しい画像が取得され、ガイドワイヤ77またはスターターリーマが画像上で認識される。理想的なシステム予測エントリーポイントが推奨され、表示される76。ユーザーがこれらの提案を受けいれた場合、ユーザーは、受けいれられ表示された仮想または拡張グリッドまたはアバター78によってガイドされる位置に、ガイドワイヤまたはリーマを配置および方向付けする。ユーザーは、撮像またはCAS(従来のコンピューター支援手術システム)の追跡と、システムのアルゴリズムモジュールからのインテリジェンスガイダンスを使用して、処置のこのステップを完了する。
ここで、図19Aを参照すると、このステップはラグねじ配置によって定義される。ラグねじモジュールは、ネイルの配置80の深さおよび回転に関するガイダンスを計算して提供する。ネイルが挿入され始めると、ラグねじ配置81が、ネイルが骨に着座する必要がある深さの決定要因として使用される。画像が取得されると、人工知能術中外科的ガイダンスシステム1は、股関節アプリケーションセグメンテーション機械学習モジュールを使用して、関連する解剖学的、器具、およびネイルアライメントジグ、ネイルおよびラグねじなどのインプラント機能を識別する。
さらに、人工知能術中外科的ガイダンスシステム1は、ねじ軌道の自動決定を、より一般的には、器具の軌道の状況において提供する。例えば、さまざまなビューで解剖学的、インプラント、および器具の考慮事項を同時に追跡しながら、器具が正しい平面内にあるかどうかを判断する。これは、深層学習手法、より具体的には強化学習(RL)技術を使用して実現される。RL戦略は、人工RLエージェントをトレーニングして、環境(この
場合は取得した蛍光透視画像)内を移動することにより、最適な軌道/パスを正確かつ確実に識別/ローカライズするために使用される。エージェントは、最適なパスに向かって進む必要がある方向を決定する。このような意思決定プロセスを使用することにより、RLエージェントは最終的な最適な軌道に到達する方法を学習する。RLエージェントは、環境Eと対話することによって学習する。この状況で関心領域である全ての状態(S)で、複数の個別のアクションのセット(A)から、軌道の座標を変更することからなる、アクション(A)を選択するための単一の決定が行われる。有効なアクションを選択するたびに、関連するスカラー報酬信号が生成され、報酬信号(R)が定義される。エージェントは、即時および後続の両方の将来の報酬を最大化するためのポリシーを学習しようとする。報酬は、エージェントが学習可能でありながら、最良の軌道に向かって移動することを奨励する。これらを考慮して、報酬R=sgn(ED(Pi-1、Pt)-D(Pi、Pt))を定義する。ここで、Dは平面パラメーター間のユークリッド距離を取る関数である。Pi(Px、Py、Pz)は、ステップIで現在予測される軌道座標であり、Ptはターゲットのグラウンドトルース座標である。前のステップと現在のステップの間のパラメーター距離の差は、エージェントが目的の平面パラメーターに近づいているか遠ざかっているかを示す。最後に、RLエージェントがターゲット平面座標に到達すると、終了状態に到達する。タスクは、中間の報酬だけでなく、その後の将来の報酬も最大化する最適なポリシーを学ぶことである。
場合は取得した蛍光透視画像)内を移動することにより、最適な軌道/パスを正確かつ確実に識別/ローカライズするために使用される。エージェントは、最適なパスに向かって進む必要がある方向を決定する。このような意思決定プロセスを使用することにより、RLエージェントは最終的な最適な軌道に到達する方法を学習する。RLエージェントは、環境Eと対話することによって学習する。この状況で関心領域である全ての状態(S)で、複数の個別のアクションのセット(A)から、軌道の座標を変更することからなる、アクション(A)を選択するための単一の決定が行われる。有効なアクションを選択するたびに、関連するスカラー報酬信号が生成され、報酬信号(R)が定義される。エージェントは、即時および後続の両方の将来の報酬を最大化するためのポリシーを学習しようとする。報酬は、エージェントが学習可能でありながら、最良の軌道に向かって移動することを奨励する。これらを考慮して、報酬R=sgn(ED(Pi-1、Pt)-D(Pi、Pt))を定義する。ここで、Dは平面パラメーター間のユークリッド距離を取る関数である。Pi(Px、Py、Pz)は、ステップIで現在予測される軌道座標であり、Ptはターゲットのグラウンドトルース座標である。前のステップと現在のステップの間のパラメーター距離の差は、エージェントが目的の平面パラメーターに近づいているか遠ざかっているかを示す。最後に、RLエージェントがターゲット平面座標に到達すると、終了状態に到達する。タスクは、中間の報酬だけでなく、その後の将来の報酬も最大化する最適なポリシーを学ぶことである。
ここで、図19Bを参照すると、ネイルは、センサーまたは画像を使用してリアルタイムで追跡され、正しい深さに導かれ、ラグねじの構成および配置情報が、解釈のための入力として提供される。特定の解剖学的構造82におけるラグねじの位置を分析して、大腿骨頭83から切り取られる確率を統計的に決定する。
ここで、図20Aを参照すると、失敗モードおよびリスクスコアが計算され、ユーザーに表示することができる。計算に基づいて、人工知能術中外科的ガイダンスシステム1は、インプラントの最適な位置を予測し、配置85のためのガイダンスを提供する。ネイリング処置で回転異常の状況が発生した場合、最適な回転補正とインプラント配置86のために予測サポートとガイダンスを定量化できる。
ここで、図20Bを参照すると、メッキおよびねじ固定を必要とする骨折または変形矯正状況の場合、多変量関係データセットの使用は、どのプレートを使用するかの場合などのように、治癒不良予測90をユーザーに提供することができる。あるいは、ねじの組み合わせの計算は、特定のガイダンスに従った場合、一貫した結果の予測91をユーザーに提供することができる。これは、正常な治癒または異常な治癒の期待の予測出力を提供することができる92。
ここで、図21を参照すると、プレートおよびねじアプリケーションのリアルタイムの状況ガイダンスワークフローが、入力、実行されたタスクおよびアクション、およびグラフィカルユーザーインターフェイスディスプレイを含む出力を表示して描かれている。ユーザー/対象が処置をナビゲートするとき、人工知能術中外科的ガイダンスシステム1は、遭遇した状況に対する認識サポートを提供し、ワークフロー500の重要なポイントでのパフォーマンスおよび合併症回避の推奨を提供する。ワークフローにおける特定の決定点は、例えば、プレートインプラント501におけるねじの順序および配置位置であり得る。これは、例えば、ドリルガイド502まで追跡するために、ユーザー/対象に外科的ガイダンスを提供することができる。
例-足首の負傷。ここで、図22を参照すると、足首の処置について、問題の予測およびエラー防止のワークフローが示される。ここで図3を参照すると、独立したデータセットからの情報にいつでもアクセスすることができ、あるいは、イベント中の状況は、さま
ざまなデータセットからの入力を同時に必要とすることができる。この状況では、関連するデータセットからの情報が、加重多変量関係データモデルに含めるために選択される。このモデルは、特定の転帰などの予測子を共有するという観点から関係があるデータセットからの情報を利用する。モデルは、パフォーマンスや障害などに関する重要度のレベルに基づいて、データにさらに重みを付ける。モデルは、意思決定支援と転帰の予測、例えば、成功した最適な長期転帰の確率を出力する。固定601を必要とする骨折または靭帯結合または腓骨マイナス状況600の場合、多変量関係データセットおよび転帰予測モジュールの使用は、どのインプラント使用するかの場合のように、治癒不良予測602をユーザーに提供することができる。あるいは、インプラントの組み合わせの計算により、特定のガイダンスに従った場合に一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒/異常な治癒の期待値と成功の確率の予測出力を提供できる603。
ざまなデータセットからの入力を同時に必要とすることができる。この状況では、関連するデータセットからの情報が、加重多変量関係データモデルに含めるために選択される。このモデルは、特定の転帰などの予測子を共有するという観点から関係があるデータセットからの情報を利用する。モデルは、パフォーマンスや障害などに関する重要度のレベルに基づいて、データにさらに重みを付ける。モデルは、意思決定支援と転帰の予測、例えば、成功した最適な長期転帰の確率を出力する。固定601を必要とする骨折または靭帯結合または腓骨マイナス状況600の場合、多変量関係データセットおよび転帰予測モジュールの使用は、どのインプラント使用するかの場合のように、治癒不良予測602をユーザーに提供することができる。あるいは、インプラントの組み合わせの計算により、特定のガイダンスに従った場合に一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒/異常な治癒の期待値と成功の確率の予測出力を提供できる603。
例-股関節形成術。ここで、図23を参照すると、インプラント固定611を必要とする股関節置換状況610の場合、多変量関係データセットおよび転帰予測モジュールの使用は、使用するインプラントの場合のように、治癒不良予測612をユーザーに提供することができる。あるいは、特定のガイダンスに従った場合、インプラントの配向の計算により、一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒/異常な治癒の期待値と成功の確率の予測出力を提供できる613。
例-膝関節形成術。ここで、図24を参照すると、インプラント固定621を必要とする膝関節置換術620の場合、多変量関係データセット、センサー情報、マルチモダリティ医用画像、および転帰予測モジュールを使用すると、どの切除またはバランス調整を実行する必要があるかなど、危険および失敗の予測622をユーザーに提供できる。あるいは、インプラントアライメントの計算により、特定のガイダンスに従った場合に一貫した結果を予測することができる。これにより、最適なインプラント位置または正常な治癒/異常な治癒の期待値と成功の確率の予測出力を提供できる623。
例-脊椎。ここで、図25を参照すると、固定631を必要とする脊椎状況630の場合、多変量関係データセットおよび転帰予測モジュールの使用は、どのインプラントを使用するかの場合のように、治癒不良予測632をユーザーに提供することができる。あるいは、特定のガイダンスに従った場合、インプラント配置計算により、一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒/異常な治癒の期待値と成功の確率の予測出力を提供できる633。
例-スポーツ医学。ここで、図26Aを参照すると、アライメントまたは固定ガイダンス641を必要とするスポーツ医学の状況640の場合の26A多変量関係データセットおよび転帰予測モジュールを使用すると、どのインプラントを使用するかの場合など、治癒不良予測642をユーザーに提供できる。あるいは、特定のガイダンスに従った場合、インプラント配置計算または軟質組織管理により、一貫した結果の予測をユーザーに提供できる。これにより、最適なインプラント位置または正常な治癒/異常な治癒の期待値と成功の確率の予測出力を提供できる643。
ここで、図26Bを参照すると、アライメントと固定656が必要なPAO/FAI状況655の場合、多変量関係データセットと転帰予測モジュールを使用すると、どのインプラントを使用するかの場合のように、治癒不良予測657をユーザーに提供できる。多変量関係データセットは、異なるフィールドと異なるデータセット間の相互作用を使用して実行される分析として定義される。あるいは、特定のガイダンスに従った場合、インプラント配置計算により、一貫した結果の予測をユーザーに提供できる。これにより、ロボットのガイダンス、最適なインプラント位置の予測出力、または正常な治癒/異常な治癒
の期待値と成功の確率を提供できる658。
の期待値と成功の確率を提供できる658。
ここで、図27を参照すると、転帰予測の一般的なワークフローは、長期的な転帰が成功する可能性を計算する際の予測確率法を示している。処置の転帰に影響を与える可能性のある情報を含むように構成されるデータセットにアクセスする。データセットは、インプラントまたは解剖学的アライメントの重大な失敗モード要因を解釈するために使用され、人工知能エンジンの転帰分類子をトレーニングするために使用されると、最適または準最適な転帰の予測と関連する失敗リスクスコアをユーザーに提供する。複数の分類子を複数のデータセットから構築し、単一のAIエンジンで使用できる。
関連するデータセットからの情報は、人工知能(AI)エンジンに複数のトレーニングされた分類子の形式で含まれるように選択され、それぞれが最終的な外科的転帰の予測に加重される。この複数の予測モデルは、特定の転帰の無相関または部分的に相関した予測子を共有するという観点から関係があるデータセットからの情報を利用する。AIエンジンは、パフォーマンスまたは障害に関する重要度の相対レベルに基づいて、転帰予測データにさらに重みを付けることができる。モデルは、意思決定支援と転帰予測、例えば、成功した最適な長期転帰の確率を出力する665。
ここで、図28Aを参照すると、ネイリングアプリケーションの出力に影響を与える要因は、骨ポスト処置の癒着不良の可能性の計算を示している。ここで、図28Bを参照すると、加重モデルは、最適な転帰対準最適な転帰の予測を実証するグラフィカルユーザーインターフェイス出力により少なくとも1つのグラフィカルな外科的ガイダンスを提供する。重み係数96を、最終的に良好な転帰の確率を予測するインプラントおよび転帰パフォーマンスパーセンテージ指標97に加えて、ユーザーに示すことができる。ここで、図28Cを参照すると、ワークフローは、人工知能術中外科的ガイダンスシステム1およびユーザーとインターフェイスするAIモデルによる反復的な意思決定およびサポートプロセスを示す。画像または情報をコンパイルして、PACのシステム、クラウド、RAMなどのユーザーシステムまたは選択したデバイスに保存できる。
ここで、図29を参照すると、情報または画像は、グラフィカルユーザーインターフェイスとして、処置後の対象のデモンストレーションのために保存することができる。人工知能術中外科的ガイダンスシステム1は、AIを利用して、ユーザーの術後の検出、追跡、監視、およびパフォーマンス/合併症の予測を自動化するツールをサポートするように構成されている。
ここで、図30を参照すると、処置からのデータは、インプラントのパフォーマンス、追跡、転帰の知識、転帰の知識、在庫の最適化、品質保証、および設計の最適化に使用できる。処置からのデータは、以下のために手術などのイベント後の転帰分析とスコアリングのために保存できる。1)ユーザーのパフォーマンスと使用状況に関する情報、2)パフォーマンスと転帰の指標の追跡と監視-例えば、アライメントと整復のIoT監視、インプラントの固定と成功する転帰へのロードマップの予測、3)対象、イベントまたは状況の予測因子、指標、要因、および変数。測定値やデータなどの外科的ガイダンスは、フィードバックデバイス、ロボット、追跡されたインプラントまたはオブジェクト、カッティングブロック、CAS、IoTデバイスなどの外科ファシリテーター160にも送信できる。
測定値とデータは、混合/拡張/ホログラフィックリアリティデバイスにタッチ/力センサーに送信することもでき167、寸法決めされたグリッド、外科用器具、およびインプラントのライブ動的混合/拡張リアリティ追跡のための混合/拡張リアリティグリッドデータおよび画像測定値を投影することによって、手術中のリアルタイムで、手術環境で
の寸法決めされたグリッドを有する、2D/3Dの混合/拡張/ホログラフィックリアリティ画像/形状モデルの器具、骨、またはインプラントの視覚化、アライメント、および配置を示す。
の寸法決めされたグリッドを有する、2D/3Dの混合/拡張/ホログラフィックリアリティ画像/形状モデルの器具、骨、またはインプラントの視覚化、アライメント、および配置を示す。
ここで、図31を参照すると、グリッドデータ予測マップ301が示される。コンピュータープラットフォーム100は、現在の手術側画像と比較して、画像類似性指標を使用し、最も一致する非手術側画像を識別し、最も一致する非手術側画像を現在の手術側画像に登録し、および非手術側画像を現在の手術側画像と位置合わせして、ガイダンス姿勢ガイド画像(ガイダンス姿勢ガイド画像は、示されるように、非手術側画像と手術側画像の解剖学的位置決めの違いをグラフで示している)を提供する。グリッドデータ予測マップ301は、画像内の関心のポイントのグリッド、すなわち、ランドマークの座標位置である。
グリッドデータ予測マップ301は、オーバーレイの赤、緑、青のピクセル値が、外科的転帰分類値を色相にマッピングするカラーマップを使用して計算される、オーバーレイ画像である。準最適な位置決めのための第1の色と最適な位置決めのための第2の色が提供される。この場合の分類は、骨折整復におけるインプラント301の最適または準最適な位置決め、器具、または骨の位置決めに関連するグリッドデータ予測マップ302内の位置を参照している。そのようなオーバーレイでは、例えば、カラーマップは、グリッドマップ上の次善の位置決め領域が赤で示され、最適な位置決め領域が緑で示される「ヒートマップ」であり得る。そのようなグリッドデータ予測マップ301は、例えば、ネイルのエントリーポイントの最適な位置を導くために使用することができる。他の例には、ねじ軌道303およびインプラントの位置決めが含まれ得る。
実際には、ピクセル/ボクセルのグリッドマップは、リアルタイムの状況認識/意思決定支援を提供し、リスク要因スコアを生成して転帰を予測することにより、予測クラスに貢献する。対象の術中画像を受信することと、グリッドデータ予測マップを生成することであって、グリッドデータ予測マップが、術後医用画像および関連するメタデータのストレージおよび検索用のコンピューターアルゴリズムとデータ構造からなる人工知能エンジンによって生成されるように、生成することと、術中画像をグリッドデータ予測マップと位置合わせして、グラフィカルな外科的ガイダンスインジケーターを生成することとを含む、ユーザーに外科的ガイダンスを提供するための方法が提供される。グラフィカルな外科的ガイダンスインジケーターは、術中画像が変化して、位置決めの変化を反映するとき、ガイダンスインジケーターの色が変化するという点で動的である。例示的な一実施形態では、グリッドデータ予測マップは、準最適な位置決めのための第1の色と、最適な位置決めのための第2の色で作られている。
前述の詳細な説明は、説明および説明の目的で提示される。それは、網羅的であること、または本発明を開示された正確な形態に限定することを意図するものではない。上記の教示を考慮すると、多くの修正やバリエーションが可能である。記載された実施形態は、関与する原理およびそれらの実際の適用を最もよく説明するように選択され、それにより、当業者がさまざまな実施形態を最もよく利用し、企図される使用に適したさまざまな修正を加えることができる。本発明の範囲は、本明細書に添付された特許請求の範囲によって定義されることが意図される。
Claims (35)
- 1つまたは複数の自動化された人工知能モデルを実行するように構成されるコンピュータープラットフォームを含み、前記1つまたは複数の自動化された人工知能モデルが、データ層からのデータ上でトレーニングされ、前記データ層が、少なくとも複数の手術画像を含み、前記自動化された人工知能モデルが、術中外科的決定リスクを計算し、ユーザーに術中外科的ガイダンスを提供するようにトレーニングされている、人工知能術中外科的ガイダンスシステム。
- 前記術中外科的ガイダンスを前記ユーザーに提供するように構成される視覚的ディスプレイをさらに含み、前記コンピュータープラットフォームは、少なくとも1つの分類アルゴリズムを適用することによって術中外科的決定リスクを示すようにトレーニングされている、請求項1に記載の人工知能術中ガイダンスシステム。
- ソフトウェアモジュールを形成するコンピューターが可読な命令でエンコードされた非一時的コンピューター可読記憶媒体と、前記命令を処理するためのプロセッサとを含み、前記ソフトウェアモジュールは、データ層と、アルゴリズム層と、アプリケーション層とを含み、前記人工知能術中外科的ガイダンスシステムは、少なくとも1つの分類子アルゴリズムを適用することによって術中外科的決定リスクを計算するようにトレーニングされる、人工知能術中外科的ガイダンスシステム。
- 前記アルゴリズム層は、整復またはアライメント処置の複数の術中医用画像を少なくとも1つの別個のカテゴリーに分類するための少なくとも1つの画像処理アルゴリズムを含み、前記少なくとも1つの別個のカテゴリーは、外科的転帰を予測する、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- 前記アルゴリズム層は、インプラント固定処置の複数の術中医用画像を少なくとも1つの別個のカテゴリーに分類するための複数の少なくとも1つの画像処理アルゴリズムを含み、前記少なくとも1つの別個のカテゴリーは、外科的転帰を予測する、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- 前記アルゴリズム層は、時系列の術後医用画像を少なくとも1つの別個のカテゴリーに分類するための少なくとも1つの画像処理アルゴリズムを含み、前記少なくとも1つの別個のカテゴリーは、外科的転帰を予測する、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- 前記アルゴリズム層が、複数の取得された医用画像の画像品質スコアを計算するように構成される画像品質スコアリングモジュールと、前記取得した医用画像の歪みを補正するように構成される歪み補正モジュールと、術前画像内の少なくとも1つの解剖学的ランドマークに注釈を付けて、少なくとも1つの注釈付き術前画像を提供するように構成される画像注釈モジュールと、前記少なくとも1つの注釈付き術前画像を格納するように構成される術前画像データベースと、インプラントまたは解剖学的構造の3次元形状を推定するように構成される3D形状モデリングモジュールと、術中医用画像を分類するための画像処理アルゴリズムを含む人工知能エンジンと、アライメントグリッドを前記注釈付き画像特徴にマッピングして合成画像を形成するように構成される画像登録モジュールと、術中にユーザーに外科的ガイダンスを提供するように構成される転帰モジュールとを含む、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- 前記画像品質スコアが、取得された画像の正確さのレベルを定量化する1つまたは複数の自動化された人工知能モデルに基づいて計算される、請求項7に記載の人工知能術中外
科的ガイダンスシステム。 - 前記アルゴリズム層が、術前非手術側の画像および術中手術側の画像を共通の座標系に登録するための少なくとも1つのアルゴリズムを含む、請求項7に記載の人工知能術中外科的ガイダンスシステム。
- インプラントまたは解剖学的アライメントの複数の重大な失敗モード要因を解釈するために使用される少なくとも1つのデータセットの深層学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- インプラントの重大な失敗モード要因を解釈するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- ねじ軌道を決定するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- ねじ配置の重大な失敗モード要因を解釈するためのデータセットの強化学習モデルによってトレーニングされた人工知能エンジンの転帰分類子をさらに含む、請求項3に記載の人工知能術中外科的ガイダンスシステム。
- 手術中に外科医に術中外科的ガイダンスを提供する方法であって、ソフトウェアモジュールを形成するコンピューターが可読な命令でエンコードされた非一時的コンピューター可読記憶媒体と、前記命令を処理するためのプロセッサとを含む、人工知能術中外科的ガイダンスシステムを提供するステップを含み、前記ソフトウェアモジュールは、データ層と、アルゴリズム層と、アプリケーション層を含み、前記システムは、少なくとも1つの転帰分類子を適用し、最も一致する非手術側画像を現在の手術側の画像に登録することにより、術中外科的決定リスクを計算するようにトレーニングされ、前記登録するステップは、対象の解剖学的構造の非手術側の術前画像と、前記対象の解剖学的構造の手術側の術中画像とを含む対象画像データを取得することを含み、前記コンピュータープラットフォームは、現在の手術側画像と比較して、最も一致する非手術側画像を識別し、前記非手術側画像を現在の手術側画像と位置合わせして、ガイダンス姿勢ガイド画像を提供し、前記ガイダンス姿勢ガイド画像は、前記非手術側画像と手術側画像の解剖学的位置の違いをグラフで示す、方法。
- 前記対象画像データ内の解剖学的構造を選択するステップと、グリッドテンプレートを解剖学的構造にマッピングして、前記対象の解剖学的構造の非手術側の画像を、前記対象の解剖学的構造の手術側の術中画像の画像とともに登録して、登録された合成画像を提供するステップと、前記登録された合成画像を前記人工知能エンジンに提供して、少なくとも1つの外科的ガイダンスを生成するステップであって、前記少なくとも1つの外科的ガイダンスは、グラフィカルな外科的インジケーターであるステップと、前記外科医が術中変数を変更すると、前記コンピュータープラットフォームによって、前記登録された合成画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新するステップとをさらに含む、請求項14に記載の方法。
- 前記対象画像データ内の解剖学的構造を選択する前記ステップは、前記対象画像データに示されるように前記解剖学的構造の一部をセグメント化し、少なくとも1つの人工知能モデルを適用して少なくとも1つの外科的ランドマークを識別するステップをさらに含む
、請求項14に記載の方法。 - 前記外科手術処置は、整復およびアライメントからなる群から選択され、前記少なくとも1つの人工知能エンジンは、整復またはアライメント処置の術中医用画像を少なくとも1つの別個のカテゴリーに分類するための少なくとも1つの画像処理アルゴリズムを含み、前記少なくとも1つの別個のカテゴリーは、外科的転帰を予測する、請求項14に記載の方法。
- 前記外科手術処置はインプラント固定であり、前記少なくとも1つの人工知能エンジンは、インプラント固定処置の術中医用画像を少なくとも1つの別個のカテゴリーに分類するための画像処理アルゴリズムを含み、前記少なくとも1つの別個のカテゴリーは、外科的転帰を予測する、請求項14に記載の方法。
- 前記外科手術処置は、前記少なくとも1つの人工知能エンジンは、時系列の術後医用画像を少なくとも1つの別個のカテゴリーに分類するための画像処理アルゴリズムを含み、前記少なくとも1つの別個のカテゴリーは、外科的転帰を予測する、請求項14の方法。
- 前記医用画像を前処理する前記ステップが、データセットに基づく人工知能モデルを適用することを含み、前記データセットが本質的に良いおよび悪いの術中画像からなる、請求項14に記載の方法。
- 前記少なくとも1つの外科的ガイダンスが、触覚フィードバックデバイス、ロボット、追跡可能ガイド、カッティングブロック、コンピューター支援手術装置、IoTデバイス、および複合リアリティデバイスからなるグループから選択される外科ファシリテーターを指示する、請求項14に記載の方法。
- センサーを前記コンピュータープラットフォームと同期させて、術中の解剖学的位置データを提供するステップをさらに含む、請求項14に記載の方法。
- センサーを前記コンピュータープラットフォームと同期させて、術中のインプラント位置データを提供するステップをさらに含む、請求項14に記載の方法。
- センサーを前記コンピュータープラットフォームと同期させて、術後の外部アライメント位置データを提供するステップをさらに含む、請求項14に記載の方法。
- 前記対象画像データを動的に表示する前記ステップが、前記グリッドテンプレートによって導かれる追跡可能な位置および配向を生成するステップをさらに含む、請求項14に記載の方法。
- 前記外科的ガイダンスが、変形矯正、解剖学的アライメント、骨折整復、および解剖学的整復からなる群から選択される処置に適用される、請求項14に記載の方法。
- 前記外科的ガイダンスが、インプラント選択推奨およびインプラント配置からなる群から選択される、請求項14に記載の方法。
- 前記外科的ガイダンスが、性能予測、良好な転帰の確率、および失敗リスクスコアからなる群から選択される、請求項14に記載の方法。
- 前記外科的ガイダンスが、機器ガイダンスおよびオブジェクト追跡からなる群から選択される、請求項14に記載の方法。
- 人工知能ベースの外科的ガイダンスのためのコンピューターで実施される方法であって、
マイクロプロセッサに結合された非一時的コンピューター可読記憶媒体を含む、コンピュータープラットフォームを提供するステップであって、前記非一時的コンピューター可読記憶媒体は、複数のモジュールの機能を実装するコンピューターが可読な命令でエンコードされ、前記コンピューターが可読な命令はマイクロプロセッサによって実行されるように、提供するステップと、
対象の少なくとも1つの術前画像を受信するステップと、
画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、
前記少なくとも1つの術前画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて前記術前画像を受けいれるか拒否するステップと、
前記少なくとも1つの術前画像の歪みを補正するステップと、
画像注釈モジュールを使用して前記術前画像内の少なくとも1つの解剖学的ランドマークに注釈を付けて、少なくとも1つの注釈付き術前画像を提供するステップと、
前記少なくとも1つの注釈付き術前画像を術前画像データベースに保存するステップと、
少なくとも1つの術中画像を受信するステップと、
画像品質スコアリングモジュールを使用して画像品質スコアを計算するステップと、
前記少なくとも1つの術中画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、少なくとも1つの術中画像を受けいれるか拒否するステップと、
前記少なくとも1つの術中画像の歪みを補正するステップと、
画像注釈モジュールを使用して少なくとも1つの解剖学的ランドマークに注釈を付けて、少なくとも1つの注釈付き術中画像を提供するステップと、
前記少なくとも1つの注釈付き術中画像を前記術前画像データベース内の最も一致する画像に登録するステップと、
受けいれられた場合、画像登録モジュールを使用してマッチングスコアを計算するステップと、
3D形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の3次元形状を推定するステップと、
画像登録モジュールを使用してアライメントグリッドを前記注釈付き画像特徴にマッピングし、合成画像を形成し、グラフィカルユーザーインターフェイスに前記合成画像を表示するステップと、
前記コンピュータープラットフォームによって、前記合成画像を動的に更新して、少なくとも1つの外科的ガイダンスを提供するステップとを含む、方法。 - 前記外科手術処置が、整復、アライメント、および固定からなる群から選択され、方法が、整復転帰予測モジュールを使用して転帰確率スコアを計算するステップをさらに含む、請求項30に記載の方法。
- 前記コンピュータープラットフォームによって前記対象の少なくとも1つの術後画像を受信するステップと、
画像品質スコアリングモジュールを使用して、少なくとも1つの術後画像の画像品質スコアを計算するステップと、
画像が受けいれられた場合、姿勢ガイドモジュールによって生成された品質スコアに基づいて、前記少なくとも1つの術後画像を受けいれるか拒否するステップと、
前記少なくとも1つの術後画像の歪みを補正するステップと、
画像注釈モジュールを使用して少なくとも1つの画像解剖学的ランドマークに注釈を付けて、少なくとも1つの術後注釈付き画像を提供するステップと、
前記少なくとも1つの術後注釈付き画像を術後画像データベース内の前の画像に登録し、マッチングスコアを計算するステップと、
受けいれられた場合、画像登録指標を使用してマッチングスコアを計算するステップと、
3D形状モデリングモジュールを使用して、インプラントまたは解剖学的構造の3次元形状を推定するステップと、
前記画像登録モジュールを使用して、アライメントグリッドを前記注釈付き画像特徴にマッピングするステップと、
前記グラフィカルユーザーインターフェイスに合成画像を表示するステップと、
前記術後転帰予測モデルを使用して転帰確率スコアを計算するステップと、
前記合成画像を表示するステップと、
前記コンピュータープラットフォームによって、転帰予測ガイダンスとともに前記合成画像を動的に更新するステップとをさらに含む、請求項30に記載の方法。 - アライメントまたは固定処置を実施する整形外科医に、前記整形外科医に術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供する方法であって、コンピュータープラットフォームを提供するステップであって、前記コンピュータープラットフォームは、複数のデータセットおよびそれぞれがアライメントまたは固定処置のための外科的転帰予測への加重寄与を有する、複数のトレーニングされた分類子からなる少なくとも1つの転帰予測モジュールをさらに含むように、提供するステップと、アライメントまたは固定処置を実施する前記整形外科医に前記術中外科的ガイダンスを提供するように構成される視覚的ディスプレイを提供するステップとを含む、方法。
- 最適なマッチングの非手術側画像を現在の手術側画像に登録するステップであって、登録するステップは、対象の解剖学的構造の非手術側の術前画像と、前記対象の解剖学的構造の手術側の術中画像とを含む対象画像データを取得することを含み、前記コンピュータープラットフォームは、現在の手術側画像と比較して、最も一致する非手術側画像を識別するように、登録するステップと、前記非手術側画像を前記現在の手術側画像と位置合わせして、ガイダンス姿勢ガイド画像を提供するステップであって、前記ガイダンス姿勢ガイド画像は、前記非手術側画像と前記手術側画像の解剖学的位置決めの違いをグラフで示すように、提供するステップとをさらに含む、請求項33に記載の方法。
- 前記対象画像データ内の解剖学的構造を選択するステップと、
グリッドテンプレートを前記解剖学的構造にマッピングして、前記対象の解剖学的構造の非手術側の画像を、前記対象の解剖学的構造の手術側の前記術中画像の画像とともに登録して、登録された合成画像を提供するステップと、
前記登録された合成画像を前記人工知能エンジンに提供して、少なくとも1つの外科的ガイダンスを生成するステップであって、前記少なくとも1つの外科的ガイダンスは、グラフィカルな外科的インジケーターであるように、生成するステップと、
前記外科医が術中変数を変更すると、前記コンピュータープラットフォームによって、前記登録された合成画像を前記グラフィカルな外科的ガイダンスインジケーターとともに動的に更新するステップとをさらに含む、請求項33に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862730112P | 2018-09-12 | 2018-09-12 | |
US62/730,112 | 2018-09-12 | ||
JP2021513943A JP7466928B2 (ja) | 2018-09-12 | 2019-09-12 | 人工知能の術中外科的ガイダンスシステムと使用方法 |
PCT/US2019/050745 WO2020056086A1 (en) | 2018-09-12 | 2019-09-12 | An artificial intelligence intra-operative surgical guidance system and method of use |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021513943A Division JP7466928B2 (ja) | 2018-09-12 | 2019-09-12 | 人工知能の術中外科的ガイダンスシステムと使用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024099519A true JP2024099519A (ja) | 2024-07-25 |
Family
ID=69777856
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021513943A Active JP7466928B2 (ja) | 2018-09-12 | 2019-09-12 | 人工知能の術中外科的ガイダンスシステムと使用方法 |
JP2024050988A Pending JP2024099519A (ja) | 2018-09-12 | 2024-03-27 | 人工知能の術中外科的ガイダンスシステムと使用方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021513943A Active JP7466928B2 (ja) | 2018-09-12 | 2019-09-12 | 人工知能の術中外科的ガイダンスシステムと使用方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11589928B2 (ja) |
EP (1) | EP3852645A4 (ja) |
JP (2) | JP7466928B2 (ja) |
WO (1) | WO2020056086A1 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
WO2018013848A1 (en) | 2016-07-15 | 2018-01-18 | Mako Surgical Corp. | Systems for a robotic-assisted revision procedure |
WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US10987176B2 (en) | 2018-06-19 | 2021-04-27 | Tornier, Inc. | Virtual guidance for orthopedic surgical procedures |
US11048465B2 (en) * | 2018-09-18 | 2021-06-29 | Canon Kabushiki Kaisha | Imaging display device, wearable device, and imaging display system |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
LU101008B1 (en) * | 2018-11-26 | 2020-05-26 | Metamorphosis Gmbh | Bone fracture detection and classification |
AU2019280090A1 (en) * | 2018-12-14 | 2020-07-02 | Howmedica Osteonics Corp. | Augmented, just-in-time, patient-specific implant manufacture |
CN109820590B (zh) * | 2019-02-15 | 2024-04-12 | 中国人民解放军总医院 | 一种骨盆骨折复位智能监控系统 |
CA3126444A1 (en) | 2019-02-21 | 2020-08-27 | Theator inc. | Systems and methods for analysis of surgical videos |
US20200273560A1 (en) | 2019-02-21 | 2020-08-27 | Theator inc. | Surgical image analysis to determine insurance reimbursement |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
JP2021049198A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社日立製作所 | 手術支援装置及び手術ナビゲーションシステム |
AU2021230394A1 (en) * | 2020-03-04 | 2022-10-27 | 360 Knee Systems Pty Ltd | "intraoperative guidance systems and methods" |
US11224485B2 (en) | 2020-04-05 | 2022-01-18 | Theator inc. | Image analysis for detecting deviations from a surgical plane |
EP4138715A4 (en) * | 2020-04-19 | 2023-10-11 | Xact Robotics Ltd. | ALGORITHM-BASED METHODS FOR PREDICTING AND/OR DETECTING A CLINICAL CONDITION RELATED TO THE INSERTION OF A MEDICAL INSTRUMENT TOWARDS AN INTERNAL TARGET |
US20230240750A1 (en) * | 2020-06-30 | 2023-08-03 | Intuitive Surgical Operations, Inc. | Systems for evaluating registerability of anatomic models and associated methods |
WO2022014246A1 (en) * | 2020-07-14 | 2022-01-20 | Sony Group Corporation | Device, computer program and method for predicting post-surgical performance of a patient |
US20230237711A1 (en) * | 2020-08-21 | 2023-07-27 | Brainlab Ag | Augmenting a medical image with an intelligent ruler |
FR3113576A1 (fr) * | 2020-09-02 | 2022-03-04 | Abys Medical | Procédé et système intégré d’assistance à la mise en place d’une démarche thérapeutique personnalisée pour patients sujets à une prise en charge médico-chirurgicale. |
US11741722B2 (en) * | 2020-09-04 | 2023-08-29 | International Business Machines Corporation | Coarse-to-fine attention networks for light signal detection and recognition |
US11763081B2 (en) | 2020-10-02 | 2023-09-19 | Merative Us L.P. | Extracting fine grain labels from medical imaging reports |
US11244755B1 (en) * | 2020-10-02 | 2022-02-08 | International Business Machines Corporation | Automatic generation of medical imaging reports based on fine grained finding labels |
EP4014913A1 (en) * | 2020-12-21 | 2022-06-22 | Metamorphosis GmbH | Artificial-intelligence-based determination of implantation curve |
EP4272182A1 (en) * | 2020-12-30 | 2023-11-08 | Stryker Corporation | Systems and methods for classifying and annotating images taken during a medical procedure |
AU2021416534A1 (en) * | 2021-01-06 | 2023-07-27 | Precision AI Pty Ltd | Surgical system |
US20220241014A1 (en) * | 2021-02-01 | 2022-08-04 | Mazor Robotics Ltd. | Systems and methods for predicting surgical outcomes |
USD979578S1 (en) * | 2021-02-08 | 2023-02-28 | Orthogrid Systems Holdings, Llc | Display screen or portion thereof with a graphical user interface |
WO2022254436A1 (en) * | 2021-06-02 | 2022-12-08 | Xact Robotics Ltd. | Closed-loop steering of a medical instrument toward a moving target |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
AU2022307690A1 (en) * | 2021-07-08 | 2024-02-08 | Australian Institute of Robotic Orthopaedics Pty Ltd | Robot-assisted laser osteotomy |
US20230018541A1 (en) * | 2021-07-08 | 2023-01-19 | Videntium, Inc. | Augmented/mixed reality system and method for orthopaedic arthroplasty |
CN117693318A (zh) * | 2021-07-19 | 2024-03-12 | 奥瑞斯健康公司 | 经皮医疗规程的阶段分割 |
CN113962927B (zh) * | 2021-09-01 | 2022-07-12 | 北京长木谷医疗科技有限公司 | 基于强化学习的髋臼杯位置调整方法、装置及存储介质 |
US20230080515A1 (en) * | 2021-09-14 | 2023-03-16 | Arthrex, Inc. | Surgical planning systems and methods for analyzing surgical outcomes based on survivorship indexes |
US11928186B2 (en) | 2021-11-01 | 2024-03-12 | International Business Machines Corporation | Combined deep learning and knowledge driven reasoning for artificial intelligence classification |
WO2023086332A1 (en) * | 2021-11-09 | 2023-05-19 | Genesis Medtech (USA) Inc. | An interactive augmented reality system for laparoscopic and video assisted surgeries |
US11389248B1 (en) * | 2021-12-14 | 2022-07-19 | Ix Innovation Llc | Surgical robot evolution and handoff |
CN114742747B (zh) * | 2022-02-24 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的髋关节置换术后影像的评估方法及系统 |
KR20230147959A (ko) * | 2022-04-15 | 2023-10-24 | 충남대학교산학협력단 | 내시경 이동 경로 가이드 장치, 시스템, 방법, 컴퓨터 판독 가능한 기록 매체, 및 컴퓨터 프로그램 |
WO2023203521A1 (en) * | 2022-04-21 | 2023-10-26 | Augmedics Ltd. | Systems and methods for medical image visualization |
EP4285831A1 (en) * | 2022-06-02 | 2023-12-06 | Stryker European Operations Limited | Technique for determining a trajectory defined by an elongated member placed in bone |
WO2024057210A1 (en) | 2022-09-13 | 2024-03-21 | Augmedics Ltd. | Augmented reality eyewear for image-guided medical intervention |
EP4372756A1 (en) * | 2022-11-15 | 2024-05-22 | Koninklijke Philips N.V. | Communicating medical images |
WO2024104816A1 (en) * | 2022-11-15 | 2024-05-23 | Koninklijke Philips N.V. | Transmitting medical images |
WO2024123888A1 (en) * | 2022-12-06 | 2024-06-13 | Vicarious Surgical Inc. | Systems and methods for anatomy segmentation and anatomical structure tracking |
WO2024143476A1 (ja) * | 2022-12-28 | 2024-07-04 | 京セラ株式会社 | 情報処理システム、情報処理システムの制御方法、制御プログラム、記録媒体 |
US11918310B1 (en) * | 2023-02-06 | 2024-03-05 | Ix Innovation Llc | Interactive extended-reality system for robotic medicine |
EP4421818A1 (fr) * | 2023-02-27 | 2024-08-28 | PromTime SAS | Procédé de comparaison d' implants ou de prothèses |
CN116172682B (zh) * | 2023-03-13 | 2024-03-19 | 深圳市中医院 | 一种骨科批量取钉手术装置 |
CN116115371B (zh) * | 2023-04-17 | 2023-07-07 | 杭州键嘉医疗科技股份有限公司 | 一种无牙颌种植导航手术中的口腔cbct配准方法 |
Family Cites Families (143)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5052035A (en) | 1989-11-02 | 1991-09-24 | Webb Research Ii Corporation | Image location marking devices for radiographs, method of making and methods of use |
JPH07220056A (ja) | 1993-11-26 | 1995-08-18 | Philips Electron Nv | 画像合成方法及び同方法を遂行する画像装置 |
DE69738162T2 (de) | 1996-08-21 | 2008-06-26 | Koninklijke Philips Electronics N.V. | Zusammensetzung eines bildes aus teilbildern |
US8556983B2 (en) * | 2001-05-25 | 2013-10-15 | Conformis, Inc. | Patient-adapted and improved orthopedic implants, designs and related tools |
DE69733689T2 (de) | 1997-12-01 | 2006-05-18 | Agfa-Gevaert | Verfahren und Vorrichtung zur Aufzeichnung eines Strahlungsbildes von einem länglichen Körper |
US6477400B1 (en) * | 1998-08-20 | 2002-11-05 | Sofamor Danek Holdings, Inc. | Fluoroscopic image guided orthopaedic surgery system with intraoperative registration |
US6888951B1 (en) | 1999-08-23 | 2005-05-03 | Nagaoka & Co., Ltd. | Methods and apparatus for analyzing operational and analyte data acquired from optical disc |
WO2001074232A2 (en) * | 2000-03-30 | 2001-10-11 | Uab Research Foundation | Intravaginal radiofrequency imaging device |
US6711432B1 (en) | 2000-10-23 | 2004-03-23 | Carnegie Mellon University | Computer-aided orthopedic surgery |
US6701174B1 (en) | 2000-04-07 | 2004-03-02 | Carnegie Mellon University | Computer-aided bone distraction |
US20040068187A1 (en) * | 2000-04-07 | 2004-04-08 | Krause Norman M. | Computer-aided orthopedic surgery |
US6438401B1 (en) | 2000-04-28 | 2002-08-20 | Alpha Intervention Technology, Inc. | Indentification and quantification of needle displacement departures from treatment plan |
CA2334495A1 (en) * | 2001-02-06 | 2002-08-06 | Surgical Navigation Specialists, Inc. | Computer-aided positioning method and system |
US20050113846A1 (en) | 2001-02-27 | 2005-05-26 | Carson Christopher P. | Surgical navigation systems and processes for unicompartmental knee arthroplasty |
US20130211531A1 (en) * | 2001-05-25 | 2013-08-15 | Conformis, Inc. | Patient-adapted and improved articular implants, designs and related guide tools |
US7493153B2 (en) | 2001-06-13 | 2009-02-17 | Volume Interactions Pte., Ltd. | Augmented reality system controlled by probe position |
US20040044295A1 (en) | 2002-08-19 | 2004-03-04 | Orthosoft Inc. | Graphical user interface for computer-assisted surgery |
WO2004086972A2 (en) | 2003-03-25 | 2004-10-14 | Imaging Therapeutics, Inc. | Methods for the compensation of imaging technique in the processing of radiographic images |
DE602004020759D1 (de) * | 2003-06-02 | 2009-06-04 | Stephen B Murphy | Verfahren zur bestimmung eines koordinatensystem für die hüftarthroplastie |
US8484001B2 (en) | 2003-08-26 | 2013-07-09 | Voyant Health Ltd. | Pre-operative medical planning system and method for use thereof |
WO2005045729A1 (de) | 2003-11-10 | 2005-05-19 | Siemens Aktiengesellschaft | System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität |
US7394946B2 (en) | 2004-05-18 | 2008-07-01 | Agfa Healthcare | Method for automatically mapping of geometric objects in digital medical images |
US7693564B2 (en) | 2004-11-19 | 2010-04-06 | General Electric Company | System, apparatus and method for forensic facial approximation |
US7896869B2 (en) | 2004-12-29 | 2011-03-01 | Depuy Products, Inc. | System and method for ensuring proper medical instrument use in an operating room |
US20070073136A1 (en) | 2005-09-15 | 2007-03-29 | Robert Metzger | Bone milling with image guided surgery |
IL181470A (en) | 2006-02-24 | 2012-04-30 | Visionsense Ltd | Method and system for navigation within a flexible organ in the human body |
US7949386B2 (en) | 2006-03-21 | 2011-05-24 | A2 Surgical | Computer-aided osteoplasty surgery system |
US20070233267A1 (en) | 2006-03-29 | 2007-10-04 | Farid Amirouche | Application of neural networks to prosthesis fitting and balancing in joints |
JP4847184B2 (ja) | 2006-04-06 | 2011-12-28 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
US20080123910A1 (en) | 2006-09-19 | 2008-05-29 | Bracco Imaging Spa | Method and system for providing accuracy evaluation of image guided surgery |
US8090166B2 (en) | 2006-09-21 | 2012-01-03 | Surgix Ltd. | Medical image analysis |
US8214016B2 (en) | 2006-12-12 | 2012-07-03 | Perception Raisonnement Action En Medecine | System and method for determining an optimal type and position of an implant |
EP1942662B1 (en) | 2007-01-04 | 2018-06-20 | Brainlab AG | Automatic improvement of tracking data for intraoperative C-arm images in image guided surgery |
EP1946702B1 (de) | 2007-01-22 | 2012-03-07 | BrainLAB AG | Abbildung anatomischer Strukturen |
US8600478B2 (en) | 2007-02-19 | 2013-12-03 | Medtronic Navigation, Inc. | Automatic identification of instruments used with a surgical navigation system |
US20100130871A1 (en) | 2007-04-06 | 2010-05-27 | Cedars-Sinai Medical Center | Spectral imaging device for hirschsprung's disease |
US20090017430A1 (en) | 2007-05-15 | 2009-01-15 | Stryker Trauma Gmbh | Virtual surgical training tool |
IL184151A0 (en) | 2007-06-21 | 2007-10-31 | Diagnostica Imaging Software Ltd | X-ray measurement method |
EP2044884B1 (de) | 2007-10-02 | 2015-12-09 | Brainlab AG | Bestimmung und Erkennung von Lageänderungen von Körperstrukturteilen |
US20090099862A1 (en) | 2007-10-16 | 2009-04-16 | Heuristic Analytics, Llc. | System, method and computer program product for providing health care services performance analytics |
US8311306B2 (en) | 2008-04-30 | 2012-11-13 | Otismed Corporation | System and method for image segmentation in generating computer models of a joint to undergo arthroplasty |
WO2009089367A2 (en) | 2008-01-09 | 2009-07-16 | Providence Medical Technology, Inc. | Methods and apparatus for accessing and treating the facet joint |
GB0803725D0 (en) | 2008-02-29 | 2008-04-09 | Depuy Int Ltd | Surgical apparatus and procedure |
US9002076B2 (en) | 2008-04-15 | 2015-04-07 | Medtronic, Inc. | Method and apparatus for optimal trajectory planning |
US8194936B2 (en) | 2008-04-25 | 2012-06-05 | University Of Iowa Research Foundation | Optimal registration of multiple deformed images using a physical model of the imaging distortion |
WO2009146703A2 (en) * | 2008-06-02 | 2009-12-10 | Aarhus Universitet | System and method for volumetric analysis of medical images |
EP2310839A4 (en) | 2008-06-18 | 2011-08-03 | Surgix Ltd | METHOD AND SYSTEM FOR JOINING MULTIPLE PICTURES TO A PANORAMIC IMAGE |
US8644568B1 (en) | 2008-07-25 | 2014-02-04 | O.N.Diagnostics, LLC | Automated patient-specific bone-implant biomechanical analysis |
JP5523025B2 (ja) | 2008-09-16 | 2014-06-18 | 富士フイルム株式会社 | 放射線画像検出器の撮像面の設置誤差検出方法および画像補正方法 |
US8784490B2 (en) | 2008-11-18 | 2014-07-22 | Ray C. Wasielewski | Method of designing orthopedic implants using in vivo data |
CA2761420C (en) | 2009-05-08 | 2017-03-28 | Abbott Medical Optics Inc. | Self-learning engine for the refinement and optimization of surgical settings |
GB0918826D0 (en) | 2009-10-27 | 2009-12-09 | Depuy Orthopaedie Gmbh | Intra-operative surgical plan changing |
US8694075B2 (en) | 2009-12-21 | 2014-04-08 | General Electric Company | Intra-operative registration for navigated surgical procedures |
WO2011156748A2 (en) | 2010-06-11 | 2011-12-15 | Smith & Nephew, Inc. | Systems and methods utilizing patient-matched instruments |
AU2011283193B2 (en) | 2010-07-29 | 2014-07-17 | Exxonmobil Upstream Research Company | Methods and systems for machine-learning based simulation of flow |
US10512451B2 (en) | 2010-08-02 | 2019-12-24 | Jointvue, Llc | Method and apparatus for three dimensional reconstruction of a joint using ultrasound |
US9314306B2 (en) * | 2010-09-17 | 2016-04-19 | Hansen Medical, Inc. | Systems and methods for manipulating an elongate member |
US8532352B2 (en) | 2010-10-06 | 2013-09-10 | Siemens Aktiengesellschaft | Method and system for intraoperative guidance using physiological image fusion |
US8698843B2 (en) | 2010-11-02 | 2014-04-15 | Google Inc. | Range of focus in an augmented reality application |
US8890896B1 (en) | 2010-11-02 | 2014-11-18 | Google Inc. | Image recognition in an augmented reality application |
US9529424B2 (en) | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US20160038252A1 (en) | 2011-02-17 | 2016-02-11 | The Trustees Of Dartmouth College | Systems And Methods for Guiding Tissue Resection |
EP2702449B1 (en) | 2011-04-25 | 2017-08-09 | Generic Imaging Ltd. | System and method for correction of geometric distortion of multi-camera flat panel x-ray detectors |
US9330490B2 (en) | 2011-04-29 | 2016-05-03 | University Health Network | Methods and systems for visualization of 3D parametric data during 2D imaging |
US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
WO2013027202A2 (en) | 2011-08-21 | 2013-02-28 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for asissting laparoscopic surgery - rule based approach |
US8948487B2 (en) | 2011-09-28 | 2015-02-03 | Siemens Aktiengesellschaft | Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images |
US9064332B2 (en) | 2012-01-12 | 2015-06-23 | Siemens Medical Solutions Usa, Inc. | Fused-image visualization for surgery evaluation |
US20130211232A1 (en) * | 2012-02-01 | 2013-08-15 | The Johns Hopkins University | Arthroscopic Surgical Planning and Execution with 3D Imaging |
US20140188240A1 (en) * | 2012-02-07 | 2014-07-03 | Conformis, Inc. | Methods and devices related to patient-adapted hip joint implants |
WO2013165529A2 (en) | 2012-05-03 | 2013-11-07 | Poniatowski Lauren H | Systems and methods for analyzing surgical techniques |
US20150150460A1 (en) | 2012-06-07 | 2015-06-04 | The Trustees Of Dartmouth College | Methods And Systems For Intraoperative Tumor Margin Assessment In Surgical Cavities And Resected Tissue Specimens |
US9277970B2 (en) | 2012-07-19 | 2016-03-08 | Siemens Aktiengesellschaft | System and method for patient specific planning and guidance of ablative procedures for cardiac arrhythmias |
US10242756B2 (en) * | 2012-09-21 | 2019-03-26 | Ethicon Endo-Surgery, Inc. | Systems and methods for predicting metabolic and bariatric surgery outcomes |
US11257241B2 (en) | 2017-12-07 | 2022-02-22 | Radlink, Inc. | System and method for component positioning by registering a 3D patient model to an intra-operative image |
US8831324B2 (en) | 2012-10-02 | 2014-09-09 | Brad L. Penenberg | Surgical method and workflow |
US9761014B2 (en) * | 2012-11-15 | 2017-09-12 | Siemens Healthcare Gmbh | System and method for registering pre-operative and intra-operative images using biomechanical model simulations |
US9437036B2 (en) | 2012-12-04 | 2016-09-06 | Samsung Medison Co., Ltd. | Medical system, medical imaging apparatus, and method of providing three-dimensional marker |
EP2956046B1 (en) * | 2013-02-18 | 2018-05-09 | OrthoGrid Systems S.a.r.l. | Computer system to digitally quantify alignment and placement parameters in a musculoskeletal application |
US9248002B2 (en) * | 2013-09-26 | 2016-02-02 | Howmedica Osteonics Corp. | Method for aligning an acetabular cup |
US9632162B2 (en) | 2013-12-06 | 2017-04-25 | Toshiba Medical Systems Corporation | Method of, and apparatus for, correcting distortion in medical images |
US10758198B2 (en) | 2014-02-25 | 2020-09-01 | DePuy Synthes Products, Inc. | Systems and methods for intra-operative image analysis |
US10433914B2 (en) | 2014-02-25 | 2019-10-08 | JointPoint, Inc. | Systems and methods for intra-operative image analysis |
US20170105802A1 (en) | 2014-03-27 | 2017-04-20 | Bresmedical Pty Limited | Computer aided surgical navigation and planning in implantology |
US20150366628A1 (en) | 2014-06-18 | 2015-12-24 | Covidien Lp | Augmented surgical reality environment system |
US9754367B2 (en) | 2014-07-02 | 2017-09-05 | Covidien Lp | Trachea marking |
WO2016019347A1 (en) | 2014-07-31 | 2016-02-04 | California Institute Of Technology | Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition |
US10188467B2 (en) | 2014-12-12 | 2019-01-29 | Inneroptic Technology, Inc. | Surgical guidance intersection display |
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US9538962B1 (en) | 2014-12-31 | 2017-01-10 | Verily Life Sciences Llc | Heads-up displays for augmented reality network in a medical environment |
EP3295373A1 (en) * | 2015-05-11 | 2018-03-21 | Siemens Aktiengesellschaft | A system and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation |
CN107667380A (zh) | 2015-06-05 | 2018-02-06 | 西门子公司 | 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统 |
US10092361B2 (en) | 2015-09-11 | 2018-10-09 | AOD Holdings, LLC | Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone |
US10716457B2 (en) | 2015-10-14 | 2020-07-21 | Siemens Aktiengesellschaft | Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data |
CN108472084B (zh) | 2015-11-12 | 2021-08-27 | 直观外科手术操作公司 | 具有训练或辅助功能的外科手术系统 |
US11568627B2 (en) | 2015-11-18 | 2023-01-31 | Adobe Inc. | Utilizing interactive deep learning to select objects in digital visual media |
US10201320B2 (en) | 2015-12-18 | 2019-02-12 | OrthoGrid Systems, Inc | Deformed grid based intra-operative system and method of use |
US10991070B2 (en) * | 2015-12-18 | 2021-04-27 | OrthoGrid Systems, Inc | Method of providing surgical guidance |
US20190000564A1 (en) * | 2015-12-30 | 2019-01-03 | The Johns Hopkins University | System and method for medical imaging |
US9760690B1 (en) | 2016-03-10 | 2017-09-12 | Siemens Healthcare Gmbh | Content-based medical image rendering based on machine learning |
WO2017160651A1 (en) | 2016-03-12 | 2017-09-21 | Lang Philipp K | Devices and methods for surgery |
US10806518B2 (en) * | 2016-04-27 | 2020-10-20 | Arthrology Consulting, Llc | Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan |
US20170312032A1 (en) * | 2016-04-27 | 2017-11-02 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US10338931B2 (en) | 2016-04-29 | 2019-07-02 | International Business Machines Corporation | Approximate synchronization for parallel deep learning |
US20170340418A1 (en) * | 2016-05-25 | 2017-11-30 | Matthew Raanan | System and method for dental implant recognition |
WO2017214656A1 (en) * | 2016-06-14 | 2017-12-21 | 360 Knee Systems Pty Ltd | Graphical representation of a dynamic knee score for a knee surgery |
US10792154B2 (en) * | 2016-06-17 | 2020-10-06 | Socovar, L.P. | Limb sparing in mammals using patient-specific endoprostheses and cutting guides |
CN109475385B (zh) * | 2016-06-17 | 2021-06-18 | 捷迈有限公司 | 用于术中手术计划的系统和方法 |
US10682188B2 (en) | 2016-06-23 | 2020-06-16 | 7D Surgical Inc. | Systems and methods for intraoperative spinal level verification |
US11071450B2 (en) | 2016-06-29 | 2021-07-27 | Ace Vision Group, Inc. | System and methods using real-time predictive virtual 3D eye finite element modeling for simulation of ocular structure biomechanics |
US10925674B2 (en) * | 2016-07-18 | 2021-02-23 | Stryker European Operations Holdings Llc | Surgical site displacement tracking |
US10748319B1 (en) | 2016-09-19 | 2020-08-18 | Radlink, Inc. | Composite radiographic image that corrects effects of parallax distortion |
WO2018131044A1 (en) | 2017-01-12 | 2018-07-19 | Mazor Robotics Ltd. | Image based pathology prediction using artificial intelligence |
CN110177504B (zh) * | 2017-01-16 | 2022-05-31 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像中参数测量的方法和超声成像系统 |
WO2018144872A1 (en) | 2017-02-02 | 2018-08-09 | Smith & Nephew, Inc. | Technologies for intra-operative ligament balancing using machine learning |
US11158415B2 (en) | 2017-02-16 | 2021-10-26 | Mako Surgical Corporation | Surgical procedure planning system with multiple feedback loops |
US9836654B1 (en) | 2017-02-28 | 2017-12-05 | Kinosis Ltd. | Surgical tracking and procedural map analysis tool |
WO2018170162A1 (en) * | 2017-03-15 | 2018-09-20 | Bullseye Hip Replacement, Llc | Devices, systems, and methods for reducing and fixing fractured bones |
AU2018255892A1 (en) | 2017-04-21 | 2019-11-07 | Medicrea International | A system for providing intraoperative tracking to assist spinal surgery |
US10918488B2 (en) * | 2017-05-14 | 2021-02-16 | Orthopedix, Inc. | Intercarpal surgical implant |
US11350994B2 (en) | 2017-06-19 | 2022-06-07 | Navlab Holdings Ii, Llc | Surgery planning |
US11229496B2 (en) * | 2017-06-22 | 2022-01-25 | Navlab Holdings Ii, Llc | Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure |
US11589933B2 (en) | 2017-06-29 | 2023-02-28 | Ix Innovation Llc | Guiding a robotic surgical system to perform a surgical procedure |
US11133104B2 (en) | 2017-07-08 | 2021-09-28 | Navlab Holdings Ii, Llc | Displaying relevant data to a user during a surgical procedure |
US10675094B2 (en) * | 2017-07-21 | 2020-06-09 | Globus Medical Inc. | Robot surgical platform |
CN111066091A (zh) * | 2017-07-25 | 2020-04-24 | 皇家飞利浦有限公司 | 预测评分信息的背景化患者特异性呈现 |
JP7030853B2 (ja) | 2017-07-28 | 2022-03-07 | グーグル エルエルシー | 電子健康記録から医療イベントを予測して要約するためのシステムおよび方法 |
US10878966B2 (en) * | 2017-08-13 | 2020-12-29 | Theator inc. | System and method for analysis and presentation of surgical procedure videos |
CN111226220B (zh) * | 2017-09-07 | 2023-06-20 | 港大科桥有限公司 | 骨骼模型、建模过程及其系统 |
US10770175B2 (en) * | 2017-09-15 | 2020-09-08 | Multus Medical Llc | System and method for segmentation and visualization of medical image data |
US11636288B2 (en) * | 2017-11-06 | 2023-04-25 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
US11272985B2 (en) * | 2017-11-14 | 2022-03-15 | Stryker Corporation | Patient-specific preoperative planning simulation techniques |
US20200405397A1 (en) * | 2018-02-26 | 2020-12-31 | Cornell University | Augmented reality guidance system for cardiac interventional surgery |
US10517681B2 (en) | 2018-02-27 | 2019-12-31 | NavLab, Inc. | Artificial intelligence guidance system for robotic surgery |
US20190286885A1 (en) * | 2018-03-13 | 2019-09-19 | Kneron Inc. | Face identification system for a mobile device |
EP3840683A4 (en) * | 2018-07-16 | 2022-06-29 | Medtronic Sofamor Danek USA, Inc. | Spinal surgery outcome prediction |
US11521742B2 (en) * | 2018-07-18 | 2022-12-06 | SCA Robotics | Methods of implementing an artificial intelligence based neuroradiology platform for neurological tumor identification and for T-Cell therapy initiation and tracking and related precision medical treatment predictive modeling |
EP3826525A4 (en) * | 2018-07-25 | 2022-04-20 | The Trustees of The University of Pennsylvania | METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE |
EP3833291A4 (en) * | 2018-08-08 | 2022-04-20 | Ceevra, Inc. | SYSTEM AND PROCEDURE FOR IDENTIFICATION OF COMPARABLE CASES IN PREOPERATIVE SURGICAL PLANNING |
US11116587B2 (en) * | 2018-08-13 | 2021-09-14 | Theator inc. | Timeline overlay on surgical video |
US11510725B2 (en) | 2019-01-30 | 2022-11-29 | Covidien Lp | Electrosurgical forceps |
US11139072B2 (en) * | 2019-12-04 | 2021-10-05 | International Business Machines Corporation | Three-dimensional medical image generation |
-
2019
- 2019-09-12 WO PCT/US2019/050745 patent/WO2020056086A1/en active Search and Examination
- 2019-09-12 EP EP19872266.2A patent/EP3852645A4/en active Pending
- 2019-09-12 JP JP2021513943A patent/JP7466928B2/ja active Active
- 2019-09-12 US US16/916,876 patent/US11589928B2/en active Active
-
2020
- 2020-10-03 US US17/062,555 patent/US10973590B2/en active Active
-
2023
- 2023-01-20 US US18/099,601 patent/US11937888B2/en active Active
-
2024
- 2024-03-27 JP JP2024050988A patent/JP2024099519A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US10973590B2 (en) | 2021-04-13 |
US11937888B2 (en) | 2024-03-26 |
US20210015560A1 (en) | 2021-01-21 |
US11589928B2 (en) | 2023-02-28 |
EP3852645A1 (en) | 2021-07-28 |
JP2022500148A (ja) | 2022-01-04 |
US20230157765A1 (en) | 2023-05-25 |
WO2020056086A1 (en) | 2020-03-19 |
US20210177522A1 (en) | 2021-06-17 |
JP7466928B2 (ja) | 2024-04-15 |
EP3852645A4 (en) | 2022-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7466928B2 (ja) | 人工知能の術中外科的ガイダンスシステムと使用方法 | |
US10991070B2 (en) | Method of providing surgical guidance | |
US11862348B2 (en) | Systems and methods for using generic anatomy models in surgical planning | |
AU2019398314B2 (en) | Bone density modeling and orthopedic surgical planning system | |
US20210174503A1 (en) | Method, system and storage medium with a program for the automatic analysis of medical image data | |
US11883219B2 (en) | Artificial intelligence intra-operative surgical guidance system and method of use | |
JPWO2020056086A5 (ja) | ||
Hu et al. | Occlusion-robust visual markerless bone tracking for computer-assisted orthopedic surgery | |
AU2021267824B2 (en) | Surgical system for revision orthopedic surgical procedures | |
US20240206990A1 (en) | Artificial Intelligence Intra-Operative Surgical Guidance System and Method of Use | |
Diao et al. | A Review of the Application of Artificial Intelligence in Orthopedic Diseases. | |
Okoli | Image analysis for extracapsular hip fracture surgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240423 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240423 |