JP2024506638A - 病変特有測定値のための患者特有の生体構造の自動化されたセグメント化のためのシステムおよび方法 - Google Patents
病変特有測定値のための患者特有の生体構造の自動化されたセグメント化のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2024506638A JP2024506638A JP2023548261A JP2023548261A JP2024506638A JP 2024506638 A JP2024506638 A JP 2024506638A JP 2023548261 A JP2023548261 A JP 2023548261A JP 2023548261 A JP2023548261 A JP 2023548261A JP 2024506638 A JP2024506638 A JP 2024506638A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- mesh model
- surface mesh
- anatomical features
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 107
- 230000011218 segmentation Effects 0.000 title claims abstract description 63
- 210000003484 anatomy Anatomy 0.000 title claims description 25
- 238000005259 measurement Methods 0.000 title description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000011282 treatment Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 18
- 238000003066 decision tree Methods 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000001356 surgical procedure Methods 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 description 31
- 206010002329 Aneurysm Diseases 0.000 description 24
- 238000013459 approach Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 8
- 238000013439 planning Methods 0.000 description 8
- 210000000709 aorta Anatomy 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 230000002792 vascular Effects 0.000 description 6
- 210000004351 coronary vessel Anatomy 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 210000001872 metatarsal bone Anatomy 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 210000005166 vasculature Anatomy 0.000 description 5
- 208000007536 Thrombosis Diseases 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 210000004165 myocardium Anatomy 0.000 description 4
- 210000003270 subclavian artery Anatomy 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 210000002376 aorta thoracic Anatomy 0.000 description 3
- 210000001765 aortic valve Anatomy 0.000 description 3
- 230000002308 calcification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 210000004115 mitral valve Anatomy 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 210000003388 posterior cerebral artery Anatomy 0.000 description 3
- 210000002303 tibia Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 206010061728 Bone lesion Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000001168 carotid artery common Anatomy 0.000 description 2
- 210000000269 carotid artery external Anatomy 0.000 description 2
- 210000004004 carotid artery internal Anatomy 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002082 fibula Anatomy 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 210000003090 iliac artery Anatomy 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 210000005248 left atrial appendage Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000011368 organic material Substances 0.000 description 2
- 230000001936 parietal effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 210000003102 pulmonary valve Anatomy 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 210000002465 tibial artery Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 210000000591 tricuspid valve Anatomy 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 101100334009 Caenorhabditis elegans rib-2 gene Proteins 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 241000878128 Malleus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 210000000702 aorta abdominal Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001099 axilla Anatomy 0.000 description 1
- 210000004191 axillary artery Anatomy 0.000 description 1
- 210000001841 basilar artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000002302 brachial artery Anatomy 0.000 description 1
- 210000000459 calcaneus Anatomy 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 210000000275 circle of willis Anatomy 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000000458 cuboid bone Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001105 femoral artery Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 210000003692 ilium Anatomy 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001785 incus Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 210000000859 intermediate cuneiform Anatomy 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000002601 intratumoral effect Effects 0.000 description 1
- 210000002239 ischium bone Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004561 lacrimal apparatus Anatomy 0.000 description 1
- 210000000705 lateral cuneiform Anatomy 0.000 description 1
- 210000005246 left atrium Anatomy 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000002331 malleus Anatomy 0.000 description 1
- 210000001349 mammary artery Anatomy 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 210000000113 medial cuneiform Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 210000003657 middle cerebral artery Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 210000003254 palate Anatomy 0.000 description 1
- 210000004417 patella Anatomy 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 210000003137 popliteal artery Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 210000003689 pubic bone Anatomy 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 210000002320 radius Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000005245 right atrium Anatomy 0.000 description 1
- 210000005241 right ventricle Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 210000001050 stape Anatomy 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 208000023516 stroke disease Diseases 0.000 description 1
- 210000004233 talus Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000001944 turbinate Anatomy 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
- 210000002559 ulnar artery Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000002385 vertebral artery Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000001614 vomer Anatomy 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/008—Cut plane or projection plane definition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Vascular Medicine (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のためのシステムおよび方法が、提供される。システムは、患者の医療画像と選択された病変を示す医療画像に関連付けられたメタデータとを受信し、セグメント化アルゴリズムを使用して、医療画像を自動的に分類し得る。システムは、解剖学的知識データ組を探索することによって、解剖学的特徴識別アルゴリズムを使用して、医療画像内の1つ以上の患者特有の解剖学的特徴を識別し得る。情報が選択された病変に基づいて3D表面メッシュモデルから抽出され得るように、1つ以上の分類された患者特有の解剖学的特徴を表す3D表面メッシュモデルが、発生させられ得る。3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報は、抽出された情報に基づいて発生させられ得る。
Description
(関連出願の相互参照)
本願は、その全内容が参照することによって本明細書に組み込まれる2021年2月11日に出願されたGB特許出願第2101908.8号の優先権の利益を主張する。
本願は、その全内容が参照することによって本明細書に組み込まれる2021年2月11日に出願されたGB特許出願第2101908.8号の優先権の利益を主張する。
(使用の分野)
本開示は、診断、計画、および治療における特定の使用例のための病変特有測定値のための医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のためのシステムおよび方法を対象とする。
本開示は、診断、計画、および治療における特定の使用例のための病変特有測定値のための医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のためのシステムおよび方法を対象とする。
患者の生体構造の特定の部分の正確な3Dモデルを作成することは、術前計画のために、洞察を臨床医に提供することによって、外科手術手技を転換させることに役立つ。利益は、例えば、患者のためのより良好な臨床転帰、外科手術のための減らされた時間およびコスト、および患者が計画された外科手術をより深く理解するための能力を含む。
しかしながら、依然として、患者生体構造または病変に関するさらなる洞察を提供するための3Dモデルを提供する必要がある。
既に知られているシステムおよび方法の前述の短所に照らして、患者の医療画像を分析し、診断、計画、および/または治療を補助するための3Dモデルを作成するための改良されたシステムおよび方法の必要がある。
本開示は、診断、計画、および/または治療における特定の使用例のための病変特有測定値のための医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のためのシステムおよび方法を提供することによって、これまでに知られているシステムおよび方法の短所を克服する。
患者の生体構造の縮尺仮想模型、例えば、3D解剖学的モデルの発生は、例えば、術前計画のために、臨床実践における個人化された患者特有の決定を駆動するために使用され得る非常に有用なツールである。本開示は、例えば、生体構造を医療走査から自動的に検出およびセグメント化するための機械学習モデルを構築することによって、患者の完全な生体構造の患者特有の3Dモデルを発生させる方法を実証する。これらのモデルは、キュレートされた意味論的に標識されたデータ組を使用して訓練され得る。3Dセグメント化を生成するために、ニューラルネットワークまたは機械学習アルゴリズムが、医療画像の組内の解剖学的特徴を識別するように訓練される。これらの画像は、解剖学的特徴の場所およびその成分部分および目印で意味論的に標識される。故に、セグメント化アルゴリズムは、新しいデータ組およびそれらの相補的目印を得、それらを使用して、新しい解剖学的特徴または目印を識別することができる。
セグメント化プロセスは、解剖学的特徴の患者特有の洞察を生成することにおける最初のステップであり、それは、臨床設定における意思決定を推進する。Axial Medical Printing Limited(Belfast, United Kingdom)によって市販されている技術は、2D医療走査を患者の生体構造の縮尺3Dモデルに変え、それは、3D意思決定および理解を可能にする。セグメント化プロセスの出力は、走査内の解剖学的特徴を表す座標の精密な組である。生体構造のこの表現は、作り出されるべき特徴についての決定的記述、例えば、サイズ、長さ、ボリューム、直径、斜め断面、およびその他等の標準的測定値を可能にする。結果として、解剖学的特徴または病変の形状および場所が、計算され、外科医による個人化された意思決定プロセスの中に組み込まれ得る。これらの測定値は、患者の条件および任意の提案される介入についての臨界決定を駆動するために使用され得る。
より重要なこととして、本明細書に説明されるシステムは、生体構造および任意の解剖学的特徴の正常状態と病理学的状態との間で区別することができる。訓練プロセスは、この情報でさらに潤色され得、これを使用して、解剖学的特徴のクラスをさらに導出し得る。例えば、血液が、医療走査内で識別およびセグメント化され得る。病理学的状態についての情報を組み込むことによって、血餅も、病変のタイプおよび重症度が識別され得るように、脈管内で識別およびセグメント化され得る。生体構造についての測定値データと組み合わせて、この情報は、脳卒中または冠動脈疾患等の急性血餅ベースの病変における意思決定のために重要である。
病変特有の特許性アーチファクトが、適切なアルゴリズムと特定のデータの組み合わせが、独特なアーチファクト/病変の組を作成するように、本明細書に説明される自動セグメント化アルゴリズムと、各病変に特有である、大規模な標識された訓練データ組を組み合わせることによって、作成され得る。セグメント化の機能性の特定の群化を提供するための能力は、有意な利益を特定の臨床問題に提供する。さらに、自動化されたセグメント化を提供するための能力は、本明細書に説明されるシステムから利益を享受するであろう、いくつかの病変特有用途も開拓する。
一側面によると、医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のための方法が、提供される。方法は、サーバによって、患者の医療画像と、選択された病変を示す医療画像に関連付けられたメタデータとを受信することと、サーバによって、セグメント化アルゴリズムを使用して、医療画像を自動的に処理し、医療画像のピクセルを標識し、ピクセルが正しく標識された可能性を示すスコアを発生させることと、サーバによって、解剖学的特徴識別アルゴリズムを使用して、標識されたピクセルの関連付けられた群を医療画像内の1つ以上の患者特有の解剖学的特徴を分類する解剖学的知識データ組に対して確率的に合致させることと、サーバによって、1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させることと、サーバによって、選択された病変に基づいて、3D表面メッシュモデルから情報を抽出することと、サーバによって、抽出された情報に基づいて、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させることとを含み得る。例えば、3D表面メッシュモデルから抽出された情報は、選択された病変に基づいて、1つ以上の分類された患者特有の解剖学的特徴から分離された解剖学的特徴の3D表面メッシュモデルを含み得る。
サーバによって、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させることは、分離された解剖学的特徴の開始点および終了点を決定することと、開始点から終了点までの軸に沿って事前に画定された間隔でスライスを得ることと、分離された解剖学的特徴の周辺によって画定された各スライスの断面積を計算することと、それぞれの断面積に基づいて、隣接するスライス間の3Dボリュームを外挿することと、隣接するスライス間の外挿された3Dボリュームに基づいて、分離された解剖学的特徴の全体的3Dボリュームを計算することとを含み得る。
サーバによって、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させることは、分離された解剖学的特徴の開始点および終了点と、開始点から終了点までの進行方向とを決定することと、事前に画定された間隔において、進行方向と垂直な少なくとも3つの方向において、軸に沿って光線投射し、投射された各光線と3D表面メッシュモデルとの交点間の距離を決定することと、各間隔において、投射された各光線と3D表面メッシュモデルとの交点間の距離を三角測量することによって、中心点を計算することと、事前に画定された間隔における光線投射が、各間隔において、調節された進行方向と垂直な少なくとも3つの方向において生じるように、各間隔において、隣接する計算された中心点間の方向ベクトルに基づいて、進行方向を調節することと、開始点から終了点までの計算された中心点に基づいて、分離された解剖学的特徴の中心線を計算することとを含み得る。
サーバによって、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させることは、分離された解剖学的特徴の中心線を計算することと、分離された解剖学的特徴の開始点および終了点と、開始点から終了点までの方向ベクトルとを決定することと、事前に画定された間隔において、開始点から終了点までの方向ベクトルに基づいて、中心線に沿って切断面を確立することであって、各切断面は、各間隔における中心線の進行方向と垂直である、ことと、各間隔において、切断面において光線投射し、中心線からの3D表面メッシュモデル上の交点の位置を決定することと、各間隔における決定された交点の位置に基づいて、3D表面メッシュモデルを横断した長さを計算することとを含み得る。
サーバによって、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させることは、分離された解剖学的特徴の開始点および終了点を決定することと、開始点から終了点までの軸に沿って事前に画定された間隔でスライスを得ることと、分離された解剖学的特徴の周辺によって画定された各スライスの断面積を計算することと、各スライスの断面積に基づいて、分離された解剖学的特徴のヒートマップを発生させることとを含み得る。
サーバによって、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させることは、分離された解剖学的特徴の開始点および終了点を決定することと、分離された解剖学的特徴の中心線を計算することと、中心線に沿った隣接する点間の方向進行ベクトルを決定することと、中心線に沿った隣接する点間の方向進行ベクトルの変化の大きさを計算することと、中心線に沿った隣接する点間の方向進行ベクトルの変化の大きさに基づいて、分離された解剖学的特徴のヒートマップを発生させることとを含み得る。
いくつかの実施形態では、3D表面メッシュモデルのための選択された病変に関連付けられた発生させられた生理学的情報は、関連付けられたタイムスタンプを含み得、それによって、方法は、サーバによって、発生させられた生理学的情報および関連付けられたタイムスタンプを記録することと、サーバによって、関連付けられたタイムスタンプに基づいて、選択された病変の進行度を示す記録された生理学的情報間の経時的変化を計算することとをさらに含む。故に、方法は、サーバによって、記録された生理学的情報間の経時的変化の大きさを計算することと、サーバによって、記録された生理学的情報間の経時的変化の大きさに基づいて、分離された解剖学的特徴のヒートマップを発生させることとをさらに含み得る。
サーバによって、選択された病変に基づいて、3D表面メッシュモデルから情報を抽出することは、選択された病変に基づいて、解剖学的特徴を1つ以上の分類された患者特有の解剖学的特徴から分離することと、解剖学的特徴データベースを用いて、分離された解剖学的特徴の特徴を分析し、分離された解剖学的特徴の1つ以上の目印を識別することと、1つ以上の識別された目印を医療画像のピクセルに関連付けることと、識別された目印を備えている分離された解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させることとを含み得る。さらに、方法は、サーバによって、選択された病変と、1つ以上の識別された目印とに基づいて、外科手術手技を実施するための誘導軌道を外科手術実装データベースから識別することと、誘導軌道をユーザに表示することとをさらに含み得る。
加えて、方法は、サーバによって、患者背景データ(patient demographic data)を受信することと、サーバによって、患者背景データと、3D表面メッシュモデルのための選択された病変に関連付けられた発生させられた生理学的情報とに基づいて、1つ以上の医療デバイスを医療デバイスデータベースから識別することと、識別された1つ以上の医療デバイスをユーザに表示することとをさらに含み得る。さらに、方法は、サーバによって、患者背景データを受信することと、サーバによって、患者背景データと、3D表面メッシュモデルのための選択された病変に関連付けられた発生させられた生理学的情報とに基づいて、1つ以上の治療オプションを外科手術実装データベースから識別することと、識別された1つ以上の治療オプションをユーザに表示することとをさらに含み得る。
サーバによって、選択された病変に基づいて、3D表面メッシュモデルから情報を抽出することは、選択された病変に基づいて、解剖学的特徴を1つ以上の分類された患者特有の解剖学的特徴から分離することと、解剖学的特徴データベースを用いて、分離された解剖学的特徴の特徴を分析し、分離された解剖学的特徴の1つ以上の目印を識別することと、参照骨折データベースを用いて、1つ以上の目印の特徴を分析し、分離された解剖学的特徴の骨折を検出することと、1つ以上の識別された目印と、検出された骨折とを備えている分離された解剖学的特徴の3D表面メッシュモデルを発生させることとを含み得る。故に、方法はさらに、分離された解剖学的特徴の3D表面メッシュモデルを参照骨折データベースに対して合致させ、検出された骨折を分類することを含み得る。
方法は、サーバによって、分類された1つ以上の患者特有の解剖学的特徴をバイナリ標識の中に描写することと、サーバによって、バイナリ標識を別個の解剖学的特徴に分けることと、サーバによって、別個の解剖学的特徴を医療画像の元のグレースケール値にマッピングし、医療画像内の背景を除去することとをさらに含み得、発生させられた3D表面メッシュモデルは、別個の解剖学的特徴の表面を画定することによって、または特定の色または透明度値を分類された1つ以上の患者特有の解剖学的特徴にマッピングすることによって画定されるボリュームレンダリングを備えている。いくつかの実施形態では、セグメント化アルゴリズムは、閾値ベース、決定木、連鎖決定フォレスト、またはニューラルネットワーク方法のうちの少なくとも1つを含み得る。選択された病変に関連付けられた生理学的情報は、直径、ボリューム、密度、厚さ、表面積、ハンスフィールド単位標準偏差、または平均のうちの少なくとも1つを含み得る。
本開示の別の側面によると、医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のためのシステムが、提供される。システムは、サーバを含み得、患者の医療画像と、選択された病変を示す医療画像に関連付けられたメタデータとを受信し、セグメント化アルゴリズムを使用して、医療画像を自動的に処理し、医療画像のピクセルを標識し、ピクセルが正しく標識された可能性を示すスコアを発生させ、解剖学的特徴識別アルゴリズムを使用して、標識されたピクセルの関連付けられた群を解剖学的知識データ組に対して確率的に合致させ、医療画像内の1つ以上の患者特有の解剖学的特徴を分類し、1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させ、選択された病変に基づいて、3D表面メッシュモデルから情報を抽出し、抽出された情報に基づいて、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させ得る。例えば、3D表面メッシュモデルから抽出された情報は、選択された病変に基づいて、1つ以上の分類された患者特有の解剖学的特徴から分離された解剖学的特徴の3D表面メッシュモデルを含み得る。
本開示のさらに別の側面によると、その上に記憶される命令を有する非一過性コンピュータ読み取り可能なメモリ媒体が、提供され、命令は、少なくとも1つのプロセッサによってロードされると、少なくとも1つのプロセッサに、患者の医療画像と、選択された病変を示す医療画像に関連付けられたメタデータとを受信させ、セグメント化アルゴリズムを使用して、医療画像を自動的に処理し、医療画像のピクセルを標識し、ピクセルが正しく標識された可能性を示すスコアを発生させ、解剖学的特徴識別アルゴリズムを使用して、標識されたピクセルの関連付けられた群を解剖学的知識データ組に対して確率的に合致させ、医療画像内の1つ以上の患者特有の解剖学的特徴を分類させ、1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させ、選択された病変に基づいて、3D表面メッシュモデルから情報を抽出させ、抽出された情報に基づいて、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させる。
図1を参照すると、マルチスキーム分析プラットフォーム100内に含まれ得るコンポーネントが、説明される。プラットフォーム100は、1つ以上のプロセッサ102、通信回路網104、電力供給源106、ユーザインターフェース108、および/またはメモリ110を含み得る。1つ以上の電気コンポーネントおよび/または回路が、本明細書に説明される種々のコンポーネントの役割のうちのいくつかまたは全てを実施し得る。別個に説明されるが、電気コンポーネントは、別個の構造要素である必要はないことを理解されたい。例えば、プラットフォーム100および通信回路網104は、単一チップ内に具現化され得る。加えて、プラットフォーム100は、メモリ110を有するように説明されるが、メモリチップは、別個に提供され得る。
プラットフォーム100は、メモリを含み得、および/または、1つ以上のバスを介してメモリに結合され得、情報をそれから読み取り得るか、または情報をそれに書き込み得る。メモリ110は、異なるレベルが異なる容量およびアクセス速さを有するマルチレベル階層キャッシュを含むプロセッサキャッシュを含み得る。メモリは、ランダムアクセスメモリ(RAM)、他の揮発性記憶デバイス、または不揮発性記憶デバイスも含み得る。メモリ110は、RAM、ROM、フラッシュ、他の揮発性記憶デバイスまたは不揮発性記憶デバイス、または他の公知のメモリ、またはそれらのある組み合わせであり得、好ましくは、データが選択的に保存され得るストレージを含む。例えば、記憶デバイスは、例えば、ハードドライブ、光学ディスク、フラッシュメモリ、およびZipドライブを含むことができる。プログラマブル命令は、対応する解剖学的目印を含む医療画像内の患者特有の解剖学的特徴を自動的にセグメント化および識別することと、患者特有の解剖学的特徴の3D表面メッシュモデルを発生させることと、3D表面メッシュモデルから情報を抽出し、選択された病変に基づいて、患者特有の解剖学的特徴の生理学的情報を発生させることとを行うためのアルゴリズムを実行するためにメモリ110上に記憶さ得る。
プラットフォーム100は、プロセッサ102を組み込み得、それは、1つ以上のプロセッサから成り得、本明細書に説明される機能を実施するように設計される汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、別々のゲートまたはトランジスタ論理、別々のハードウェアコンポーネント、またはそれらの任意の好適な組み合わせであり得る。プラットフォーム100は、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと併せた1つ以上のマイクロプロセッサ、または任意の他のそのような構成としても実装され得る。
プラットフォーム100は、メモリ内に記憶されるファームウェア/ソフトウェアと併せて、例えば、Windows(登録商標)、Mac OS、Unix(登録商標)、またはSolaris(登録商標) 5.10等のオペレーティングシステム(例えば、オペレーティングシステム124)を実行し得る。プラットフォーム100は、メモリ内に記憶されるソフトウェアアプリケーションも実行する。例えば、ソフトウェアは、例えば、C++、PHP、またはJava(登録商標)を含む当業者に公知の任意の好適なプログラミング言語におけるプログラムであり得る。
通信回路網104は、プラットフォーム100が画像捕捉デバイスと通信すること、および/または、画像ファイル(例えば、2D医療画像)と患者特有の病変を示すそれらに関連付けられたメタデータとを受信するために他のコンピューティングデバイスと通信することを可能にする回路網を含み得る。加えて、または、代替として、画像ファイルは、直接、プラットフォーム100にアップロードされ得る。通信回路網104は、当技術分野において公知の技法を使用して、インターネット、電話ネットワーク、Bluetooth(登録商標)ネットワーク、および/またはWifiネットワーク等を経由して、有線および/または無線通信のために構成され得る。通信回路網104は、Bluetooth(登録商標)チップおよび/またはWifiチップ等の当技術分野において公知の通信チップであり得る。通信回路網104は、プラットフォーム100が、3D表面メッシュモデル、生理学的測定値、および治療オプション、サーバ等のローカルおよび/または遠隔場所等の情報を転送することを可能にする。
電力供給源106は、交流電流または直流電流を供給し得る。直流電流実施形態では、電力供給源は、交換可能バッテリまたは再充電可能バッテリ等の好適なバッテリを含み得、装置は、再充電可能バッテリを充電するための回路網と、取り外し可能電源コードとを含み得る。電力供給源106は、充電器によって、充電器内の誘導コイルおよび誘導コイルを介して、充電され得る。代替として、電力供給源106は、プラットフォーム100内のコンポーネントに給電するために、例えば、AC/DC電力コンバータおよび/またはUSBポートを伴うコードを介して、プラットフォーム100が従来の壁ソケットの中に差し込まれることを可能にするポートであり得る。
ユーザインターフェース108は、入力をユーザから受信し、および/または出力をユーザに提供するために使用され得る。例えば、ユーザインターフェース108は、タッチスクリーン、ディスプレイ、スイッチ、ダイヤル、ライト等を含み得る。故に、ユーザインターフェース108は、3D表面メッシュモデル、生理学的測定値、ヒートマップ、患者特有の病変のための利用可能な医療デバイスのリスト、治療オプション等の情報を表示し、下記にさらに詳細に説明されるように、特定の使用例のための診断、術前計画、および治療を促進し得る。さらに、ユーザインターフェース108は、患者背景データ、例えば、患者サイズ、年齢、体重、医療既往歴、患者特有の病変等を含むユーザ入力と、プラットフォーム100が、適宜、情報を調節し得るように、ユーザに表示される情報に基づくユーザからのフィードバック、例えば、補正された解剖学的特徴識別、生理学的測定値、特定の解剖学的特徴選択とを受信し得る。いくつかの実施形態では、ユーザインターフェース108は、プラットフォーム100上に存在せず、代わりに、通信回路網104を介してプラットフォーム100に通信可能に接続された遠隔の外部コンピューティングデバイス上に提供される。
非一過性コンピュータ読み取り可能な媒体の一例であるメモリ110は、オペレーティングシステム(OS)124と、画像受信機モジュール112と、セグメント化モジュール114と、解剖学的特徴識別モジュール116と、3D表面メッシュモデル発生モジュール118と、解剖学的特徴情報抽出モジュール120と、生理学的情報発生モジュール122とを記憶するために使用され得る。モジュールは、プロセッサ102によって本開示による種々の動作を実施するために実行され得るコンピュータ実行可能命令の形態で提供される。
画像受信機モジュール112は、以下:CT、MRI、PET、および/またはSPCETスキャナのうちの1つまたはそれらの組み合わせから得られる標準的医療画像、例えば、1つ以上の患者特有の解剖学的特徴の2Dおよび/または3D医療画像を受信するために、プロセッサ102によって実行され得る。医療画像は、DICOM等を用いて、標準的準拠様式においてフォーマットされ得る。医療画像は、医療画像内の患者特有の解剖学的特徴に関連付けられた患者特有の病変を示すその中に埋め込まれるメタデータを含み得る。画像受信機モジュール112は、下記にさらに詳細に説明されるように、さらなる処理および分析のために、医療画像を前処理し得る。例えば、医療画像は、新しい医療画像の組を発生させるように前処理され得、新しい医療画像の組は、患者特有の解剖学的特徴、患者の特定の病変、または術前訓練および/または機械学習/ニューラルネットワーク訓練目的等の任意の下流用途に基づいて、所定の方向づけに従って均一に分散させられる。さらに、画像受信機モジュール112は、患者特有の解剖学的特徴の複数の視点から同時に得られる医療画像を受信し、患者特有の解剖学的特徴のセグメント化を改良し得る。
セグメント化モジュール114は、画像受信機モジュール112によって受信される医療画像の自動化されたセグメント化のために、プロセッサ102によって実行され、例えば、標識を医療画像の各ピクセルに割り当て得る。割り当てられた標識は、特定の組織タイプ、例えば、骨、軟組織、血管、器官等を表し得る。具体的に、セグメント化モジュール114は、Haslamの米国特許第11,138,790号および米国特許出願公開第2021/0335041号(両方は、本開示の譲受人に割り当てられ、それらの両方は、参照することによって、その全体として本明細書に組み込まれる)に説明されるように、各技法の結果が、組み合わせられ、最終セグメント化結果を生成し得るように、以下の技法:閾値ベース、決定木、連鎖決定フォレスト、またはニューラルネットワーク方法のうちの1つまたはそれらの組み合わせを含む機械学習ベースの画像セグメント化技法を使用し得る。機械学習ベースの画像セグメント化技法は、事前に標識された医療画像(すなわち、グランドトゥルースデータ)を含む知識データベースを使用して訓練され得る。
例えば、セグメント化モジュール114は、第1のセグメント化技法、例えば、閾値ベースのセグメント化を適用し、特性、例えば、ピクセルのハンスフィールド値が所定の閾値を満たす/超えるかどうかに基づいて、標識を医療画像の各ピクセルに割り当て得る。所定の閾値は、例えば、米国特許第11,138,790号に説明されるように、ヒストグラム分析を介して決定され得る。セグメント化モジュール114は、ロジスティックまたは確率的関数を使用して、ピクセルが閾値ベースのセグメント化によって標識されるような組織タイプである可能性に関するスコアを計算することによって、閾値ベースのセグメント化技法をさらに拡張させ得る。
セグメント化モジュール114は、次いで、決定木を医療画像の各標識されたピクセルに適用し、それによって、少なくとも部分的に、スコアに基づいて(但し、それのみに基づかずに)各ピクセルを分類/標識し得る。米国特許第11,138,790号に説明されるように、決定木は、医療画像をサブサンプリングすることによって、標識されたピクセルの一部に適用され得、それによって、セグメント化モジュール114は、医療画像のピクセルの一部の標識されたピクセルをアップスケールするために標準的な補間方法を使用することによって、医療画像の完全セグメント化を復元し得る。決定木は、各ピクセルに関して、スコアのみならず、例えば、以下の特性を考慮し得る:当該ピクセルの近傍にあるほぼ骨のように見えるピクセルの数;当該ピクセルの近傍にある正確に骨のように見えるピクセルの数;または、所与のピクセルにおける画像の全体的勾配の強度。例えば、当該ピクセルが、60/100のスコアを伴って、骨として標識される場合、決定木の第1の決定ノードは、当該ピクセルの近傍にあるほぼ骨のように見えるピクセルの数を尋ねることができる。回答が、ゼロに近く、当該ピクセルの近傍にほぼ骨のように見えるピクセルが非常に少ないことを意味する場合、セグメント化モジュール114は、前の骨標識が60/100のスコアを有していた場合でも、当該ピクセルが、骨ではないことを決定し得る。新しいスコアが、次いで、当該ピクセルが決定木アルゴリズムによって正しく標識された可能性に関して発生させられ得る。故に、決定木を医療画像のピクセルに適用することは、雑音を殆ど伴わないより正確な最終セグメント化結果を生成し得る。当業者によって理解されるであろうように、決定木は、ピクセルのための標識を決定することにおいて有用であり得る他の特性も考慮し得る。
加えて、または、代替として、セグメント化モジュール114は、連鎖決定フォレストを適用し得、連鎖決定フォレストにおいて、初期/前の決定木の結果と、同じ当該ピクセルに関する別のセグメント化技法(例えば、ニューラルネットワーク)の結果とが、結果に関連付けられたスコアとともに新しい決定木にフィードされ得る。例えば、新しい決定木は、上で説明されるように、1つ以上の質問を尋ね、前のセグメント化技法の各々が当該ピクセルを正しく標識したかどうかを決定し得る。したがって、初期/前の決定木が当該ピクセルを骨として標識したが、ニューラルネットワークが当該ピクセルを骨ではないと標識した場合、新しい決定木は、連鎖決定フォレストによって尋ねられた1つ以上の質問に対する応答に基づいて、当該ピクセルが骨であることを決定し得、それによって、当該ピクセルのためのニューラルネットワークによって配分された標識は、破棄される。さらに、各フォレストノードは、ピクセルが各後続の新しい決定木によって正しく標識された可能性に関するスコアを生成する単純な分類子として扱われ得る。故に、連鎖決定フォレストを医療画像のピクセルに適用することは、より正確な最終セグメント化結果を生成し得る。
解剖学的特徴識別モジュール116は、セグメント化モジュール114によって標識されるピクセルを知識データベース内の解剖学的知識データ組に対して確率的に合致させることによって、医療画像内の1つ以上の患者特有の解剖学的特徴を識別するために、プロセッサ102によって実行され得る。具体的に、米国特許第11,138,790号に説明されるように、解剖学的特徴識別モジュール116は、最初に、例えば、標識されたピクセル間の類似性に基づいて、異なる標識された/分類されたピクセル間のリンクを確立することによって、セグメント化モジュール114によって標識されるピクセルを群化し得る。例えば、「骨」として標識される全てのピクセルは、第1の群内に一緒に群化/リンクされ得、「器官」として標識される全てのピクセルは、第2の群内に一緒に群化/リンクされ得、「血管」として標識される全てのピクセルは、第3の群内に一緒に群化/リンクされ得る。
解剖学的特徴識別モジュール116は、次いで、解剖学的特徴識別アルゴリズムを使用して、解剖学的知識データ組を探索し、解剖学的知識データ組内の既存の知識を用いて群化された標識されたピクセル間のリンクを確立することによって、医療画像内の患者特有の解剖学的特徴を識別し得る。例えば、既存の知識は、解剖学的知識データ組のグラフデータベース内にノードとして表される組織タイプ(例えば、骨、血管、または器官)等の種々の解剖学的特徴に関する既知の情報と、種々のセグメント化アルゴリズムを訓練するために使用され得る事前に標識されたグランドトゥルースデータとを含み得る。
グラフデータベース内の解剖学的特徴の既存の知識の医療オントロジは、一連のノードとして表され得、それらは、機能、近接度、解剖学的群化、または同じ医療画像走査内での表出の頻度のうちの少なくとも1つを通して、一緒に群化される。例えば、器官を表すノードは、それらが互いに対して所定の近接度内にあり、それらの全てが大動脈として一緒に群化される血管を表す近傍のノードであり、それらが同じ医療画像走査内での表出の高頻度を有するので、心臓として一緒に群化され得る。故に、解剖学的特徴識別アルゴリズムは、例えば、群化された標識されたピクセルとノードの群との間の確立されたリンクに基づいて群化された標識されたピクセルに最も類似するノードの群を決定するためのグラフデータベースの探索を通して、医療画像内の患者特有の解剖学的特徴を識別し得る。解剖学的特徴識別モジュール116は、患者特有の解剖学的特徴が解剖学的特徴識別アルゴリズムによって正しく識別された可能性を表すスコアをさらに発生させ得る。
3D表面メッシュモデル発生モジュール118は、上で説明されるセグメント化アルゴリズムの結果および解剖学的特徴識別アルゴリズムの結果に基づいて、医療画像内の患者特有の解剖学的特徴の3D表面メッシュモデルを発生させるために、および、3D表面メッシュモデルをスカラーボリュームから抽出し、3D印刷可能モデルを発生させるために、プロセッサ102によって実行され得る。例えば、米国特許第11,138,790号に説明されるように、3D表面メッシュモデルは、以下の特性を有し得る:全てのばらばらの表面が、閉多様体である;適切な支持が、ばらばらの表面/ボリュームを定位置に保つために使用される;適切な支持が、3D印刷を促進するために使用される;および/または、表面ボリュームが、3D表面メッシュモデルが3D印刷可能であるように、中空ではない。さらに、3D表面メッシュモデル発生モジュール118は、下記にさらに詳細に説明されるように、解剖学的特徴の任意の対応する目印を含む患者特有の解剖学的特徴の3D表面メッシュモデルを発生させ得る。
解剖学的特徴情報抽出モジュール120は、3D表面メッシュモデル発生モジュール118によって発生させられた3D表面メッシュモデルから情報を抽出するために、プロセッサ102によって実行され得る。例えば、解剖学的特徴情報抽出モジュール120は、画像受信機モジュール112によって受信されるメタデータに示される選択された病変に基づいて、医療画像内の患者特有の解剖学的特徴を表す3D表面メッシュモデルから1つ以上の特定の解剖学的特徴を抽出し得る。代替として、プラットフォーム100は、直接、ユーザから、ユーザインターフェース108を介して、例えば、患者背景データおよび医療既往歴とともに、医療画像に関連付けられた選択された病変を示す情報を受信し得る。故に、特定の病変が、所与の患者に関して既知である場合、解剖学的特徴情報抽出モジュール120は、3D表面メッシュモデル発生モジュール118によって発生させられた3D表面メッシュモデルから、病変を含む特定の解剖学的特徴の3D表面メッシュモデルを自動的に抽出し得る。
生理学的情報発生モジュール122は、解剖学的特徴情報抽出モジュール120によって抽出される情報に基づいて、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させるために、プロセッサ102によって実行され得る。例えば、選択された病変に基づいて、生理学的情報発生モジュール122は、例えば、解剖学的特徴の測定値および患者背景データに基づいて、病変を治療するために適切な医療デバイスおよび/または治療オプションのリストを提供することによって、病変の診断および/または治療に関連する生理学的測定値を決定するための計算を実施し得る。医療デバイスおよび/または治療オプションのリストは、生理学的情報発生モジュール122によって、医療デバイスデータベースまたは外科手術実装データベースから抽出され得る。図3A-24Fを参照して下記にさらに詳細に説明されるように、生理学的情報発生モジュール122によって決定される選択された病変に関連付けられた生理学的測定値は、限定ではないが、ボリューム、断面積、直径、中心線、表面、密度、厚さ、蛇行度、特徴サイズおよび場所、血餅、閉塞、および解剖学的特徴および/または対応する目印の経時的成長率を含み得る。さらに、生理学的情報発生モジュール122によって発生させられた生理学的情報は、患者特有の解剖学的特徴の生理学的測定値の視覚的観察を促進するために、ヒートマップを発生させるために使用され得る。
ここで図2を参照すると、プラットフォーム100を使用して、医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のための例示的方法200が、提供される。ステップ202では、医療画像と、選択された病変を示す医療画像に関連付けられたメタデータとが、画像受信機モジュール112によって受信され得る。上で説明されるように、選択された病変を示す情報は、直接、ユーザ入力を介して、患者背景データとともに、受信され得る。ステップ204では、セグメント化モジュール114は、セグメント化アルゴリズムを使用して、医療画像を自動的に処理し、医療画像のピクセルを標識し、ピクセルが正しく標識された可能性を示すスコアを発生させ得る。例えば、セグメント化アルゴリズムは、医療画像のピクセルを標識するために事前に標識された医療画像の知識データ組で訓練された種々の機械学習ベースの画像セグメント化技法のうちの1つまたはそれらの組み合わせを使用し得る。
ステップ206では、解剖学的特徴識別モジュール116は、類似性に基づいて、ステップ204において標識されたピクセルを一緒に群化し、解剖学的特徴識別アルゴリズムを使用して、標識されたピクセルの関連付けられた群を解剖学的知識データ組に対して確率的に合致させ、医療画像内の1つ以上の患者特有の解剖学的特徴を分類し得る。ステップ208では、3D表面メッシュモデル発生モジュール118は、医療画像内の1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させ得る。ステップ210では、解剖学的特徴情報抽出モジュール120は、選択された病変に基づいて、3D表面メッシュモデルから情報を抽出し得、生理学的情報発生モジュール122は、抽出された情報に基づいて、3D表面メッシュモデルのための選択された病変に関連付けられた生理学的情報を発生させ得る。発生させられた生理学的情報は、図3A-24Fを参照して下記にさらに詳細に説明される。
ここで図3を参照すると、患者特有の解剖学的特徴のボリューム測定値を発生させる例示的方法300が、提供される。図2の医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のための方法200のステップ210に関して上で説明されるように、選択された病変に関連付けられた患者特有の解剖学的特徴の生理学的情報、例えば、ボリューム測定値が、発生させられた3D表面メッシュモデルから発生させられ得る。例えば、ステップ302では、特定の解剖学的特徴が、さらなる分析のために、例えば、医療画像に関連付けられたメタデータによって示されるような医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得、それによって、分離された解剖学的特徴の3D表面メッシュモデルは、患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得る。故に、病変を備えている解剖学的特徴のみが、さらに分析され、病変に関連付けられた生理学的情報を発生させ得る。
ステップ304では、分離された解剖学的特徴の開始点および終了点が、例えば、分離された解剖学的特徴の対向端において決定される。例えば、開始点および終了点は、解剖学的知識データ組を探索し、分離された解剖学的特徴の開始点および終了点を導出する機械学習アルゴリズムを介して、決定され得る。ステップ306では、所定のステップサイズが、決定され得、それによって、スライスが、分離された解剖学的特徴の軸に沿って所定のステップサイズによって画定された規則的間隔において得られ得る。例えば、軸は、下記にさらに詳細に説明されるように、開始点から終了点まで延びている方向ベクトルに基づいて決定される分離された解剖学的特徴の中心線であり得る。故に、分離された解剖学的特徴のスライスは、開始点から、終了点の方向に開始する中心線に沿った進行方向と垂直に、各間隔において得られ得る。
ステップ308では、標準的算出関数を使用して、分離された解剖学的特徴の各スライスにおける断面積が、図4Aに示されるように、分離された解剖学的特徴の周辺によって画定されるように、計算され得る。例えば、生体構造、例えば、僧帽弁または大動脈弁生体構造の特定の部分のための自動的にセグメント化された標識の断面積が、例えば、A×B×πを使用して、生体構造の最大の2つの断面の導関数に基づいて計算され得る。動脈瘤の場合、このデータは、外科医に、生体構造に関する動脈瘤の高さ/動脈瘤頸部の長さ比を自動的に提供するために使用され得る。図4Aは、関連付けられた病変が動脈瘤であるとき、分離された解剖学的特徴、例えば、大動脈に沿った3つのスライスを図示し、それに関して、断面積が、計算され、大動脈の3D表面メッシュモデルの上に表示されている。図4Bは、例証として、スライスが、その断面積を計算する目的のために、複雑な構造の軸に沿って得られ得る方法を示す。
再び図3を参照すると、ステップ310では、各隣接するスライス間の3Dボリュームが、隣接するスライスにおける分離された解剖学的特徴の断面積に基づいて外挿され得、それによって、分離された解剖学的構造の全体的ボリュームが、例えば、外挿された3Dボリュームの和を求めることによって、外挿された3Dボリュームに基づいて決定され得る。代替として、分離された解剖学的特徴、例えば、心臓の左心耳の特定の部分のために自動的にセグメント化された標識のボリュームは、ボリュームが査定のためにユーザに表示され得るように、生体構造の意味論的に標識された部分内のボクセルの数に基づいて計算され得る。
ここで図5を参照すると、患者特有の解剖学的特徴の中心線測定値を発生させる例示的方法500が、提供される。図2の医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のための方法200のステップ210に関して上で説明されるように、生理学的情報、例えば、選択された病変に関連付けられた患者特有の解剖学的特徴の中心線測定値が、発生させられた3D表面メッシュモデルから発生させられ得る。例えば、ステップ502では、特定の解剖学的特徴は、分離された解剖学的特徴の3D表面メッシュモデルが、患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得るように、上で説明されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得る。
ステップ504では、分離された解剖学的特徴の開始点および終了点が、例えば、開始点から終了点に向かって延びている方向ベクトルが決定され得るように、分離された解剖学的特徴の対向端において決定される。例えば、開始点および終了点は、解剖学的知識データ組を探索し、分離された解剖学的特徴の開始点および終了点を導出する機械学習アルゴリズムを介して、決定され得る。開始点および終了点は、さらに、3D表面メッシュモデルの境界ボックスに近接し、共通平面上にあり得る。さらに、初期進行方向は、開始点から終了点まで延びている方向ベクトルと一貫するように決定され得る。
ステップ506では、所定のステップサイズが、決定され得、それによって、切断面が、分離された解剖学的特徴の軸に沿って、所定のステップサイズによって画定された規則的間隔で確立され得る。各間隔における切断面は、間隔に関連付けられた進行方向と垂直であり得る。例えば、初期切断面は、開始点から終了点まで延びている方向ベクトルに基づく初期進行方向と垂直であり得る。さらに、複数の光線(例えば、3つの光線)が、進行方向と垂直に、かつ分離された解剖学的特徴の周辺に向かって半径方向外向きに、各間隔において切断面に沿って、複数の事前に画定された方向において光線投射され得、それによって、投射される光線と3D表面メッシュモデルとの交点の位置が、決定され得る。
例えば、図6に示されるように、開始点SPから終了点EPに向かった進行方向に、投射される第1の3つの光線の組は、点602a、602b、602cにおいて、分離された解剖学的特徴、例えば、脈管Vの3D表面メッシュモデルと交差し得る。ステップ506では、光線が投射される点が3D表面メッシュモデルの外側にあると決定された場合、点は、3D表面メッシュモデル内に移動させられ得る。
例えば、図6に示されるように、開始点SPから終了点EPに向かった進行方向に、投射される第1の3つの光線の組は、点602a、602b、602cにおいて、分離された解剖学的特徴、例えば、脈管Vの3D表面メッシュモデルと交差し得る。ステップ506では、光線が投射される点が3D表面メッシュモデルの外側にあると決定された場合、点は、3D表面メッシュモデル内に移動させられ得る。
ステップ508では、各間隔における切断面内の分離された解剖学的特徴の中心点、例えば、CP1が、例えば、分離された解剖学的特徴の交点、例えば、点602a、602b、602cの各々間の距離を三角測量することによって、決定され得る。ステップ510では、新しい進行方向が、前の間隔の前の中心点および現在の中心点から延びている方向ベクトルに基づいて、各間隔において、決定され得る。例えば、図6では、第1の間隔における新しい進行方向は、開始点SPから中心点CP1まで延びている方向ベクトルと一貫し得る。分離された解剖学的特徴が、分岐された脈管である場合、ステップ506-510は、脈管の岐の両方を通して繰り返され、それによって、脈管の3D表面メッシュモデルの各岐のための中心線を発生させ得る。
方法500は、終了点EPに到達するまで、ステップ506-510を繰り返し得る。例えば、図6に示されるように、第2の間隔において、3つの光線が、開始点SPから中心点CP1まで延びている方向ベクトルによって画定される進行方向と垂直な切断面に沿って、投射され得る。投射される光線の交点604a、604b、604cと3D表面メッシュモデルとの間の距離は、三角測量され、第2の間隔における中心点CP2を決定し得る。前の進行方向は、次いで、中心点CP1から中心点CP2まで延びている方向ベクトルによって画定される新しい進行方向に調節され得る。同様に、第3の間隔において、3つの光線が、中心点CP1から中心点CP2まで延びている方向ベクトルによって画定される進行方向と垂直な切断面に沿って、投射され得る。投射される光線の交点606a、606b、606cと3D表面メッシュモデルとの間の距離は、三角測量され、第3の間隔における中心点CP3を決定し得る。前の進行方向は、次いで、中心点CP2から中心点CP3まで延びている方向ベクトルによって画定される新しい進行方向に調節され得る。上で説明されるように、ステップ510-512は、終了点EPに到達するまで繰り返され、それによって、図7Aに示されるように、分離された解剖学的特徴の軸に沿って、一連の中心点CPを決定し得る。故に、上で説明されるように、光線が投射される点は、終了点EPを越えて3D表面メッシュモデルの外側にあり、それによって、点は、3D表面メッシュモデル内に戻されることができず、それによって、分離された解剖学的特徴の中心線の端部を示すであろう。
ステップ512では、分離された解剖学的特徴の中心線は、中心点、例えば、CP1、CP2、CP3・・・CPnの全体性に基づいて決定され得る。例えば、中心線は、図6に示されるように、分離された解剖学的特徴の計算された中心点の全てを通して描かれる線であり得る。図7Bは、図7Aの中心点CPの全てを通して描かれる線として、分離された解剖学的特徴の中心線CLを図示する。故に、図7Cに示されるように、分離された解剖学的特徴の中心線CLの全長が、決定され得る。図7Dは、元の医療画像を横断した図7A-7Cの分離された解剖学的特徴の3D表面メッシュモデルを図示する。
ここで図8を参照すると、方法500が、患者特有の解剖学的特徴の広範なネットワークの中心線を決定するために使用され得る。例えば、図8Aは、分離された解剖学的特徴の3D表面メッシュモデルのために決定される開始点および終了点を図示する。図8Bは、元の医療画像にマッピングされた分離された解剖学的特徴に関して決定された中心線CLを図示する。図8Cは、複数の脈管を備えている解剖学的特徴のための中心線CLを図示し、図8Dは、脈管の広範なネットワークを備えている解剖学的特徴のための中心線CLを図示する。
ここで図9を参照すると、患者特有の解剖学的特徴の表面長測定値を発生させる例示的方法900が、提供される。図2の医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のための方法200のステップ210に関して上で説明されるように、生理学的情報、例えば、選択された病変に関連付けられた患者特有の解剖学的特徴、例えば、表面長測定値が、発生させられた3D表面メッシュモデルから発生させられ得る。例えば、ステップ902では、特定の解剖学的特徴が、上で説明されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得、それによって、分離された解剖学的特徴の3D表面メッシュモデルが、患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得る。
ステップ904では、分離された解剖学的特徴の中心線が、例えば、上で説明される方法500を介して、決定され得る。ステップ906では、分離された解剖学的特徴の開始点および終了点が、例えば、分離された解剖学的特徴の対向端において、決定され得る。ステップ908では、所定のステップサイズが、切断面が分離された解剖学的特徴の軸に沿って所定のステップサイズによって画定された規則的間隔において確立され得るように、決定され得る。図10に示されるように、各間隔における分離された解剖学的特徴、例えば、脈管Vの切断面(例えば、P1、P2)は、間隔に関連付けられた進行方向(例えば、上で説明されるような間隔における中心線の進行方向)と垂直であり得、開始点SPから終了点EPまで延びている方向ベクトルDVに沿って、それぞれの間隔および点において、中心線CLに沿った中心点(例えば、CP1、CP2)を含み得る。
ステップ910では、光線(例えば、光線R1、R2)が、光線と3D表面メッシュモデルとの間の交点(例えば、交点D1、D2)の位置が記録されるように、各切断面(例えば、切断面P1、P2)に沿って、各間隔において、それぞれの中心点(例えば、中心点CP1、CP2)から、3D表面メッシュモデルに向かって半径方向外向きに投射され得る。ステップ10は、各事前に画定された間隔において、繰り返され、3D表面メッシュモデルの表面トポロジに沿って、一連の交点を決定し得る。ステップ912では、ステップ910において決定された交点によって画定されるように、分離された解剖学的特徴の3D表面メッシュモデルの表面を横断して延びている線の全長が、決定された交点に基づいて、計算され得る。図11は、分離された解剖学的特徴の3D表面メッシュモデルの表面トポロジを横断して延びている表面線SLを図示する。
例えば、心臓画像セグメント化に関して、自動化されたセグメント化が完了されると、心臓を包囲する脈管の3D表面メッシュモデルが、作成されるであろう。この3Dデータは、次いで、自動的に分析され、心臓の目印に関する特定の長さを査定し得、目印は、限定ではないが、心房、心室、大動脈、大静脈、僧帽弁、肺動脈弁、大動脈弁、三尖弁、心筋、冠動脈、左心耳を含み得る。
ここで図12を参照すると、ボリュームに基づいて、患者特有の解剖学的特徴のヒートマップを発生させる例示的方法1200が、提供される。上で説明されるように、分離された解剖学的特徴の軸に沿った、事前に画定された間隔における、分離された解剖学的特徴の断面積が、3D表面メッシュモデルのヒートマップが、分離された解剖学的特徴の軸に沿って、3D表面メッシュモデルの断面積に基づいて発生させられ得るように、決定され得る。例えば、ステップ1202では、特定の解剖学的特徴が、分離された解剖学的特徴の3D表面メッシュモデルが、患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得るように、上で説明されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得る。ステップ1204では、分離された解剖学的特徴の開始点および終了点が、決定され、初期進行方向が、開始点から終了点に延びている方向ベクトルと一貫するように決定され得る。ステップ1206では、分離された解剖学的特徴の中心線が、例えば、上で説明される方法500を介して、決定され得る。
ステップ1208では、所定のステップサイズが、スライスが分離された解剖学的特徴の中心線に沿って所定のステップサイズによって画定された規則的間隔において得られ得るように、決定され得る。故に、分離された解剖学的特徴のスライスは、中心線に沿った進行方向と垂直に、各間隔において得られ得る。ステップ1210では、標準的算出関数を使用して、分離された解剖学的特徴の各スライスにおける断面積が、分離された解剖学的特徴の周辺によって画定されるように計算され得る。ステップ1210では、ヒートマップが、3D表面メッシュモデルの各スライスにおける断面積に基づいて発生させられ、それによって、図13Aおよび13Bに示されるように、分離された解剖学的特徴全体を通したボリュームの変化を視覚的に示し得る。
ここで図14を参照すると、蛇行度に基づいて、患者特有の解剖学的特徴のヒートマップを発生させる例示的方法1400が、提供される。上で説明されるように、分離された解剖学的特徴の中心線の事前に画定された間隔における進行方向が、3D表面メッシュモデルのヒートマップが、分離された解剖学的特徴の軸に沿った、進行方向の変化の大きさに基づいて発生させられ得るように、決定され得る。例えば、ステップ1402では、特定の解剖学的特徴が、分離された解剖学的特徴の3D表面メッシュモデルが、患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得るように、上で説明されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得る。ステップ1404では、分離された解剖学的特徴の開始点および終了点が、決定され、初期進行方向が、開始点から終了点に延びている方向ベクトルと一貫するように決定され得る。ステップ1406では、分離された解剖学的特徴の中心線が、例えば、上で説明される方法500を介して、決定され得る。
ステップ1408では、分離された解剖学的特徴の中心線の事前に画定された間隔における進行方向が、例えば、上で説明されるように、中心線に沿った隣接する中心点間に延びている方向ベクトルに基づいて、決定され得る。ステップ1410では、隣接する間隔の進行方向間の変化の大きさが、決定され得る。例えば、変化の大きさは、各間隔におけるそれぞれの進行方向に関連付けられた方向ベクトルを使用して、計算され得る。ステップ1412では、ヒートマップが、3D表面メッシュモデルの軸に沿った隣接する間隔の進行方向間の変化の大きさに基づいて発生させられ、それによって、図15に示されるように、分離された解剖学的特徴の蛇行度を視覚的に示し得る。故に、変化、例えば、分析から出力される角度変化の大きさが、角度偏差の既知の分類の既存の知識データベースと相互参照され、ユーザに表示され得る。蛇行度値は、脈管の角度の総変化として描写され、例えば、760度回転スコアとしてスコア化され得る。
ここで図16を参照すると、識別された目印を用いて、患者特有の解剖学的特徴の3D表面メッシュモデルを発生させる例示的方法1600が、提供される。図2に関して上で説明されるように、図17Aの1702に示されるような医療画像が、医療画像内の分類された患者特有の解剖学的特徴の3D表面メッシュモデルが発生させられ得るように、自動的に処理され、図17Aの1704に示されるような患者特有の解剖学的特徴を識別し得る。方法1600は、目印が3D表面メッシュモデルに描写され得るように、患者特有の解剖学的特徴の対応する目印(例えば、骨切痕または心臓弁)をさらに識別する。例えば、分類された患者特有の解剖学的特徴に基づく3D表面メッシュモデルの発生に先立って、ステップ1602において、特定の解剖学的特徴を示す情報が、図17Aの1706(生体構造境界)に示されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴を表すデータから分離され得る。
ステップ1604では、分離された解剖学的特徴の特徴が、解剖学的特徴データ組を用いて、分析され、選択された病変に関連付けられた分離された解剖学的特徴の1つ以上の目印を識別し得る。例えば、解剖学的特徴データ組は、解剖学的目印の知識、例えば、種々の患者特有の解剖学的特徴に関連付けられた既存の意味論的に標識された解剖学的特徴データ組を含み得、それによって、目印は、分類された分離された解剖学的特徴と解剖学的特徴データ組との間のリンクを確立することによって識別され、個々に標識され得る。ステップ1606では、識別される標識された目印は、図17Aの1708に示されるように、元の医療画像のピクセルに関連付けられ得る。ステップ1608では、分離された解剖学的特徴の3D表面メッシュモデルが、図17Aの1710に示されるように、識別された目印に関連付けられた医療画像のピクセルにマッピングされた識別された目印を描写するように発生させられ得る。
識別された解剖学的目印は、他の解剖学的特徴に関する向きおよび挿入点等、その形態または機能に対して有意性を有する患者の生体構造内の有意義な点である。識別された目印は、外科医が、目印が生体構造の特定の部分に対応することを確実にし、その適切な機能および向きを確実にすることに役立ち得る。識別された目印は、臨床実践内で、生体構造上のマーカとしてさらに利用され、例えば、解剖学的ガイド固定および軌道計画のための初期参照として、患者の診断および/または治療を促進し得る。例えば、各骨のための識別された特定の解剖学的目印は、ガイドが骨の切断および穿孔のために発生させられ得るように、自動的に検出され得る。したがって、識別された解剖学的目印は、重要な利益を有する臨床機能のための入力として使用され得る。例えば、図17Bは、分離された解剖学的特徴(例えば、肩置換術のための肩甲骨)にマッピングされた以下の識別された目印:(A)中心窩、(B)三角骨、(C)、下角、(D)肩甲棘の中心を図示する。故に、識別された目印は、骨内で平面を切断し、軌道を穿孔するために、および骨内へのデバイス固定のために、指針を提供するための参照としての役割を果たし得る。
ここで図18を参照すると、病変のための医療デバイスおよび治療オプションを識別するための例示的方法1800が、提供される。例えば、ステップ1802では、特定の解剖学的特徴が、図19Aに示されるように、分離された解剖学的特徴の3D表面メッシュモデルが、患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得るように、上で説明されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得る。ステップ1804では、分離された解剖学的特徴の生理学的パラメータが、上で説明されるように、分析され、例えば、ボリューム、中心線、表面長、断面積、直径、密度等の測定値を決定し得る。
分離された解剖学的特徴の生理学的パラメータおよび医療画像に関連付けられた患者背景データに基づいて、ステップ1806では、1つ以上の医療デバイスおよび/または治療オプションが、その機能および仕様を含む種々の医療デバイスの知識を有する医療デバイスデータベース、および/または病変特有の治療オプションの知識を有する外科手術実装データベースから識別され得る。例えば、分離された解剖学的特徴の生理学的パラメータは、選択された病変を治療するために使用されることが既知である特定のサイズの医療デバイスが病変を治療することにおいて使用するために識別され得るように、選択された病変のサイズを示し得る。識別された医療デバイスはさらに、内部在庫、例えば、利用可能な医療デバイスから選択され得るか、または、特定の病院によって、または提供され得る。本明細書に説明される知識データ組は、非有機材料も自動セグメント化され得るように、生体構造と非有機材料(例えば、ポリマー、金属、およびセラミック)との組み合わせの知識をさらに含み得る。加えて、知識データ組は、患者特有のガイドの作成のための入力として使用され得る医療デバイスの知識(例えば、骨病変の補正のための既存のインプラントの知識)を含み得る。例えば、デバイスの既知の寸法および変動性が、デバイスの自動化された設計において、入力として使用され得る。ステップ1808では、識別された医療デバイスおよび/または治療オプションが、図19Bおよび19Cに示されるように、ユーザが、術前計画および治療に関する十分な情報を得たうえでの決定をなし得るように、ユーザに表示され得る。
自動化されたセグメント化を提供するための能力は、いくつかの有益である病変特有用途を開拓する。例えば、(仮想または物理的)より高次のボリューム3Dモデルを要求する、いくつかの特定の病変/治療は、下記の表1にリストアップされる。
ここで図20を参照すると、患者特有の解剖学的特徴の骨折を検出および分類するための例示的方法2000が、提供される。図2に関して上で説明されるように、図21Aに示されるような医療画像が、医療画像内の分類された患者特有の解剖学的特徴の3D表面メッシュモデルが発生させられ得るように、自動的に処理され、患者特有の解剖学的特徴を識別し得る。方法1600は、特徴が3D表面メッシュモデルに描写され得るように、骨内の患者特有の解剖学的特徴の対応する骨折(例えば、脛骨、腓骨、または内果等における骨折)をさらに検出/識別する。例えば、ステップ2002において分類された患者特有の解剖学的特徴に基づく3D表面メッシュモデルの発生に先立って、特定の解剖学的特徴を示す情報が、図21Bおよび21Cに示されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴を表すデータから分離され得る。
ステップ2004では、分離された解剖学的特徴の特徴が、解剖学的特徴データ組を用いて分析され、選択された病変に関連付けられた分離された解剖学的特徴の1つ以上の目印(例えば、骨切痕)を識別し得る。上で説明されるように、解剖学的特徴データ組は、目印が、分類される分離された解剖学的特徴と解剖学的特徴データ組との間のリンクを確立することによって、識別され、個々に標識され得るように、種々の患者特有の解剖学的特徴に関連付けられた解剖学的目印の知識を含み得る。ステップ2006では、識別された目印の特徴が、参照骨折データベースを用いて分析され、分離された解剖学的特徴の選択された病変に関連付けられた識別された目印の1つ以上の骨折を識別し得る。参照骨折データベースは、骨折が分類された分離された解剖学的特徴と解剖学的特徴データ組との間のリンクを確立することによって識別され、個々に標識され得るように、種々の骨折の知識(例えば、種々の患者特有の解剖学的特徴に関連付けられた既存の意味論的に標識された参照骨折データ組)を含み得る。ステップ2008では、分離された解剖学的特徴の3D表面メッシュモデルが、図21Dに示されるように、識別された目印と、検出された骨折Fとを描写するように発生させられ得る。さらに、ステップ2010では、3D表面メッシュモデルが、参照骨折データベースに対して合致させられ、骨折タイプを分類し得る。
ここで図22を参照すると、病変の経時的進行度を追跡するための例示的方法2200が、提供される。例えば、ステップ2202では、特定の解剖学的特徴が、分離された解剖学的特徴の3D表面メッシュモデルが患者特有の解剖学的特徴の3D表面メッシュモデルから抽出され、記録され得るように、上で説明されるように、医療画像内の選択された病変に基づいて、患者特有の解剖学的特徴から分離され得る。ステップ2204では、分離された解剖学的特徴の生理学的パラメータが、上で説明されるように、分析され、例えば、ボリューム、中心線、表面長、断面積、直径、密度等の測定値を決定し得る。
例えば、自動化されたセグメント化が完了されると、動脈瘤および血管生体構造の3D表面メッシュモデルが、発生させられ得る。この3Dデータは、次いで、自動的に分析され、動脈瘤形態構造に関する特定の長さを査定し得、特定の長さは、限定ではないが、動脈瘤頸部の測定値、最大距離における動脈瘤の直径測定値、および上方および下方動脈瘤頸部の中心点の測定値を含み得る。
ステップ2206では、分離された解剖学的特徴の分析される生理学的パラメータが、特定の患者に関する生理学的パラメータの時系列記録が経時的に存在するように、タイムスタンプおよび記録され得る。ステップ2208では、記録/タイムスタンプされた生理学的パラメータ間の経時的変化が、例えば、選択された病変の進行度および予後を示すために計算され得る。例えば、図23A-23Fは、例証として、種々の動脈瘤の経時的成長を示し、成長は、最終的破裂につながる。随意に、ステップ2210では、ヒートマップが、図24A-24Fに示されるように、記録/タイムスタンプされた生理学的パラメータ間の経時的変化を視覚的に描写するために発生させられ得る。
ここで図25を参照すると、意味論ボリュームレンダリングのための例示的方法2500が、提供される。医療画像2604のスタックの単一医療画像2602が、図26に示される。ボリュームレンダリングは、3D空間内の医療撮像データ組を可視化するために医療従事者によって大域的に採用される重要な解決策である。それらは、特定の色、強度、または不透明度等のピクセル特性を3D場面内の特定のボクセルにマッピングすることによって機能する。この撮像方法に関連付けられた欠点が存在し、それによって、重複した構造および深部の構造が容易に詳細に可視化されない。したがって、これらの欠点を克服するために、方法2500は、別個の解剖学的特徴の生理学的パラメータが分析され得るように、別個の解剖学的特徴の3D表面メッシュモデルを発生させる。
例えば、自動画像セグメント化の結果は、医療画像、例えば、DICOMファイルに含まれる一連のバイナリピクセルアレイの形態をとり得る。ボリュームに組み立てられると、バイナリピクセルアレイが、識別された生体構造に関連しないソースピクセルボリュームのエリアをマスクするために使用され得る。残りのハンスフィールド値ボリュームが、次いで、ピクセル強度がハンスフィールド値に基づいて決定され得るように、標準的ボリュームレンダリング技法と色伝達関数を使用して、レンダリングされ得る。さらに、解剖学的特徴(例えば、脈管)の長さが、自動化されたセグメント化アルゴリズムおよび後続の3D再構成からの出力に基づいて計算され得る。3D再構成から抽出されるデータは、次いで、自動的に、分析され、1つの特定の解剖学的目印または異常から別のものまでの長さ(例えば、脳卒中の場合、大動脈弓から血栓までの長さ)を出力し得る。測定値は、脈管の場合、脈管の断面上における中心点と脈管を通した外挿された中心点とを作成し、中心点を接合し、生体構造の中心線を作成することによって計算され得る。この中心線は、次いで、自動的に測定され、長さ値として、ユーザに出力され得る。
例えば、ステップ2502では、上で説明されるセグメント化アルゴリズムを使用して発生させられる分類された患者特有の解剖学的特徴が、バイナリ標識の中に描写される(例えば、骨/非骨、脈管/非脈管、器官/非器官等)。ステップ2504では、バイナリ標識が、別個の解剖学的特徴、例えば、心臓の心筋、大動脈、冠動脈等に分けられる。ステップ2506では、別個の解剖学的特徴が、別個の解剖学的特徴のための元のグレースケール値またはハンスフィールド単位のみが、図26および図27Bの2606および2608に示されるように、医療画像内に示され、背景が、図26および図27Cの2610および2612に示されるように、医療画像から除去され、元のグレースケール値またはハンスフィールド単位に描写される別個の解剖学的特徴のみが可視であるように残し得るように、元の医療画像にマッピングされる。
ステップ2508では、別個の解剖学的特徴の3D表面メッシュモデルが、発生させられ得る。3D表面メッシュモデルは、図26の2614に示されるように、別個の解剖学的特徴の表面を画定し得る。加えて、または、代替として、透明度値の特定の色が、図26および図27Dの2616に示されるように、標識された3D表面メッシュモデルにマッピングされ、ボリュームレンダリングを発生させ得る。例えば、ピクセル強度の色マップが、直接、セグメント化のみ内の3Dボクセル強度にマッピングされ、分離された解剖学的特徴の特定のボリューム可視化を可能にし得る。ボクセルは、元の画像の強度に応じて、特定の色を自動的に与えられ得、それは、正常血流または血流のないことを示し得る。血餅、破壊、または生体構造等の特定の着目領域を着色するための能力は、領域の特定の病変のさらなる洞察を可能にする。
図27Dに示されるように、3Dボリュームレンダリングは、血餅/閉塞の存在を示し得る。このデータは、次いで、3Dボリュームレンダリングが、回転または別様に操作および視認され得るように、エンドユーザアプリケーション上にレンダリングされ得る。このデータは、例えば、高強度ピクセルの群化から、石灰化が存在するかどうかをユーザに示すためにも使用され得、さらに、石灰化された構造を表す血餅または閉塞のパーセントを示すことによって、石灰化「スコア」を提供し得る。例えば、閉塞/石灰化の予測が、行われ、元の医療画像上のマスクとして、適用され得、それによって、医療画像の背景部分が、図28Aの2802に示されるように、除去され得る。故に、種々の物質のピクセル強度を考慮した3D表面メッシュモデルが、図28Aの2804、2806、および2808に示されるように、発生させられ得る。図28Bに示されるように、3Dボリュームレンダリングの脈管Vに描写される閉塞Oのサイズが、例えば、脳卒中患者の診断および治療を補助するために、測定され得る。
3Dボリュームレンダリングは、ユーザによって設定され、または自動的に導出され、血管構造、冠動脈、神経脈管内の血餅等のボリュームレンダリングに描写される解剖学的特徴を参照し、それによって、潜在的脳卒中を示すことによって、特定の特徴を可視化し得る。故に、医療画像は、例えば、患者のためのCTA/XA/NM脈管撮像を利用して、モバイルデバイスまたは類似プラットフォーム上で容易に視認され得る意味論的に標識された3D解剖学的知識データ組からの機械学習を使用して、脈管および関連付けられた閉塞の両方の3D表現を作成することによって、自動的にセグメント化および再構成され得る。
3D表面メッシュモデルが、自動化されたセグメント化から発生させられると、医療走査内の生体構造または病変についてのいくつかの測定値を発生させることが可能であろう。さらに、スケーリング情報が、参照点とともに、物理的場面内の患者特有の解剖学的特徴の設置を可能にする。最も単純レベルでは、物理的場面内のメッシュまたは任意のサブメッシュまたは別様に線引きされた領域の物理的測定値が、発生させられ得、それは、メッシュの長さ、広がり、高さ、角度、曲率、蛇行度等を含み得る。充填された構造を前提として、ボリューム、表面積、および直径の測定も、行われ得る。
セグメント化されるべき物質の導出される特性も、測定され得る。基本レベルでは、これらは、物質(血管または骨)の厚さと、正常値(患者または一般)からの既知の偏差とを含み得、それらは、例えば、物質を破壊するために要求される可能性が高い圧力についての予測の発生を可能にするか、または、単に、厚さおよび応力線の可視化を供給し得る。上で述べられた測定値のいずれかの可視化は、外科医に利用可能な任意のより多くの情報が治療のための最良行動方針の決定において有用であり、診断の正確な分析を与えるための能力を提供するであろうから、優れた価値を提供する。これは、メッシュの上への導出された変数の単純オーバーレイを通して、または、入力/所望の属性の追加の分析のためのデータを提供することによって、達成され得る。
上で説明されるように、患者特有の解剖学的特徴の構造を決定することは別として、抽出される多角形モデルは、例えば、骨および脈管寸法、角度および蛇行度差、および相対的スケール、密度等、そうでなければ、ボリュームピクセルデータのみから確認することが困難であろう多数の有用な測定値を決定するための便利な基礎をさらに提供し得る。通常、これらの測定値を決定することは、着目エリアおよび有意義な参照点を識別するために、メッシュの慎重な手動査定を要求するであろう。しかしながら、本明細書に説明される探索幾何学的アルゴリズムは、信頼性がある自動化された代替を提供する。例えば、以下の擬似コードは、脈管長さ、直径、および曲率情報が、ヒト介入を伴わずに、自動的に収集され得る方法を概略する。
ここで図29を参照すると、別個の解剖学的特徴の生理学的パラメータを分析するための例示的方法2900が、提供される。方法2900のステップのうちのいくつかは、分岐経路を伴う脈管の断面の2D例を描写する図30A-30Eを参照することによってさらに詳述され得る。図30Aは、分岐された脈管Vを図示する。ステップ2902では、平面P1、P2、P3が、図30Bに示されるように、脈管Vのボリュームの境界によって画定される脈管Vの入り口点に構築され得る。ステップ2904では、入り口面P1、P2、P3の中心点C1、C2、C3が、それぞれ、図30Cに示されるように、計算され得る。図30Cに示されるように、複数の光線が、中心点C3から脈管Vの構造の中に光線投射され、脈管V内の最長の妨害されない経路を決定し得る。脈管Vの分岐経路のため、図30Cに描写される2つのピーク点PP1、PP2が存在する。これは、距離値のグラフ内の変曲点の数を査定することによって決定され得る。この時点で、アルゴリズム内に多数の経路が前方に存在することが決定されているので、各枝は、制御流から分かれることによって、個々に査定され得る。
ステップ2906では、脈管Vの構造全体が、各点において線L1、L2に沿って投射される光線が、それぞれ、図30Dに示されるように、入り口面P2およびP3と交差し、脈管Vを通した経路の各々を作成する一連の頂点をもたらすまで、脈管Vを通して進められる。ステップ2908では、最良適合スプライン線が、図30Eに示されるように、線L1、L2に沿って、頂点を通して構築され得、それによって、直径測定値が、線L1、L2に沿って、各点において得られ、それによって、脈管Vの完全な表現を提供し得、脈管Vの傾き/蛇行度、直径、内部容積等が決定され得る。
さらに、上で説明される擬似コードから、動脈瘤等の病変の存在は、ループ内で行き詰まる検索点をもたらすであろう。測定線の点が、方向を繰り返し変化させ始める度に、アルゴリズムは、検索ループから抜け出し、動脈瘤に進入したと推測し得る。故に、動脈瘤の生理学的測定値は、例えば、動脈瘤への入口の周囲の点を決定し、入り口面を動脈瘤に対して構築し、入り口面の中心点を決定し、動脈瘤構造の中に光線投射し、最遠点を決定し、最大距離が決定されると、入り口面と最遠点との間の線を構築し、光線投射することによって、垂直距離のチェックを開始することによって、決定され得る。
セグメント化の結果は、特に、腫瘍学に関して、例えば、セグメント化されたエリアの密度を測定すること、生体構造の他の部片との近接度を識別すること、境界を識別し、それを描くことによって、定量化され得る。領域が、物理的場面内で識別され、それが描かれると、領域についての記述が、場面内の他の構造に関連して行われ得る。例えば、腫瘍境界を描き、解剖学的近傍内の重要構造からのその距離を理解することは、腫瘍医にとって有用であろう。さらに、所与の構造の密度は、臨床上関連情報を提供し、例えば、腫瘍学の場合、腫瘍内の低酸素症の洞察を提供し、血餅の場合、血餅が治療され得る方法の洞察を可能にするであろう。
解剖学的領域の密度および厚さを測定するための能力は、例えば、外傷用途におけるねじ選択または血管用途におけるカテーテル直径に関する指針を提供するための能力を可能にするであろう。さらに、解剖学的特徴に沿って、直径を測定するための能力は、直径測定値が、医療デバイスデータベースと相互参照され、その患者のための最良サイズのデバイスを外科医に、示すことを可能にするであろう。
本明細書に説明される機械学習ベースのアルゴリズムは、軸方向軸上で訓練および予測され得、それは、典型的に、医療走査が行われる軸である。機械学習ベースのアルゴリズムに対する修正は、予測機能を変更することを伴い得、別の修正は、訓練および予測機能を変更することを伴い得る。例えば、機械学習ベースのアルゴリズムに対する修正は、全3つの軸において予測を行い、次いで、結果をマージすることを含み得る。このアプローチは、rimasysデータを用いる場合におけるように、ボクセルが等方性である場合、最良に機能するであろう。予測のマージは、いくつかの異なる方略に従い得、例えば、所与のピクセル/ボクセルに関する3つの結果の平均(平均値)、または軸方向スライスの加重された平均+他を求める等、より複雑な解決策に従う。代替として、異なる一次軸に切り替える、例えば、軸方向軸から矢状軸に切り替えることも可能であろう。
全3つの軸上でアルゴリズムを訓練することは、異なる軸からの追加の情報を利用し得る。したがって、軸方向推論モデル、矢状推論モデル、および冠状モデルが、訓練され得る。上で説明されるように、全3つの予測の結果は、単純マージ方略を用いて、組み合わせられ得る。しかしながら、好ましくは、3つのモデルの出力層のいずれかが、より大きいネットワーク内で組み合わせられ得るか、または、アンサンブルモデルが、それらの結果を組み合わせるように作成され得る。
米国特許出願公開第2021/0335041号に説明されるように、アルゴリズムは、本来、3Dで機能し得、それは、メモリ配分の観点から、非常に高価であり得る。この制限を緩和するための1つの他のアプローチは、スライスではなく、一度に立方体を考慮することであろう。このアプローチの利点は、大きく厚いスラブを考慮する代わりに、アルゴリズムが、ボリューム全体にわたってスライドされる小立方体のボリューム上で訓練されるように、訓練において、より関連性があり、かつ即時のコンテキストを考慮することが可能であり得ることである。
米国特許出願公開第2021/0335041号に説明されるサンドイッチアプローチは、より多数のスライスを組み込むように拡張され得、周囲スライスからのピクセルをモデル内により明示的に組み込み得る。例えば、画像内で追加のチャネルを使用する代わりに、大部分の画像フォーマットの複数のチャネル、例えば、3つのチャネルが、この圧縮を達成するために活用され得る。周囲画像を完全画像の中に入り込ませることによって、走査内の周囲画像の数が、全般的に増やされ得る。GPUのサイズが増加するにつれて、走査内の周囲画像の数も、増やされ得る。さらに、
アルゴリズムは、D-Unetのあるバージョンを実装し得、それは、3Dコンテキスト情報を考慮し(3D畳み込みカーネルを介して)、モデルが一度に分析するスライスの量は、増やされ、アルゴリズムにはるかに多くの空間コンテキストを提供し得る。このアーキテクチャは、損失関数への改良とともにアップグレードし、より多くのデータへのアクセスは、ますますより優れたセグメント化モデルをもたらしている。
さらに、本明細書に説明される方法は、ユークリッド距離加重アプローチをさらに利用して、機械学習モデル訓練プロセスにおける損失成分に影響を及ぼし得る。このアプローチは、学習プロセスを誘導し、より大きい重要性のエリアに焦点を当てることに役立つ。例えば、整形外科セグメント化では、検出/見出し、修復することが最も困難である誤差は、互いに非常に近接する骨間の小接続である一方、骨の内側の小孔は、より補正が単純である。図31は、ユークリッド距離加重アプローチを用いて発生させられた加重マスク、および損失関数、例えば、分類別交差エントロピに及ぼされるその影響を図示する。
訓練するためのグランドトゥルースデータ組へのマルチスキームアプローチが、提供される。具体的に、訓練されるべきモデルの目標に応じて、訓練標識を適合させるために使用され得る多くの異なるセグメント化標識スキームが存在する。例えば、外傷骨の内側物質を画定することは、非常に困難であり得るので、それらは、概して、中空としてセグメント化され、したがって、中空骨標識上で訓練された外傷モデルからの予測は、下記の表2に示されるように、機能することがはるかに容易である。
図32は、上で説明されるように、訓練目的のためのグランドトゥルースデータへのマルチスキームアプローチを使用する、医療画像内の骨の種々のセグメント化を図示する。同様に、表3は、グランドトゥルースデータへのマルチスキームアプローチとともに使用される心臓セグメント化標識スキームを図示する。
図33は、訓練目的のためのグランドトゥルースデータの医療画像内の心筋の種々のセグメント化を図示する。
標識スキームを適合させるためのこれらの同じ技法は、正常対病理学的組織、またはいくつかの例では、組織の欠如を画定するために使用され得、それは、着目領域としての病変の意味論セグメント化を可能にし、さらに、病変特有ワークフローが自動的に開始されることを可能にするであろう。さらに、多標識を使用して、生体構造および病変を区別するマルチスキームアプローチは、人体の各解剖学的特徴を意味論的に標識するために使用され得る。種々のスキーム標識の例は、限定ではないが、鼻、涙腺、下鼻甲介、上顎、頬骨、こめかみ、口蓋、頭頂部、槌骨、砧骨、鐙骨、前頭骨、篩骨、鋤骨、蝶形骨、下顎、後頭部、肋骨1、肋骨2、肋骨3、肋骨4、肋骨5、肋骨6、肋骨7、肋骨8(仮肋)、肋骨9(仮肋)、肋骨10(仮肋)、肋骨11(浮遊肋)、肋骨12(浮遊肋)、舌骨、胸骨、頸骨1(環椎)、C2(軸椎)、C3、C4、C5、C6、C7、胸椎1、T2、T3、T4、T5、T6、T7、T8、T9、T10、T11、T12、腰椎1、L2、L3、L4、L5、仙骨、尾骨、肩甲骨、鎖骨、上腕骨、橈骨、尺骨、舟骨、月状骨、三角骨、豆状骨、有鉤骨、有頭骨、菱形骨、大菱形骨、中手骨1、基節骨1、末節骨1、中手骨2、基節骨2、中節骨2、末節骨2、中手骨3、基節骨3、中節骨3、末節骨3、中手骨4、基節骨4、中節骨4、末節骨4、中手骨5、基節骨5、中節骨5、末節骨5、股関節(腸骨、坐骨、恥骨)、大腿骨、膝蓋骨、脛骨、腓骨、距骨、踵骨、舟状骨、内側楔状骨、中間楔状骨、外側楔状骨、立方骨、中足骨1、基節骨1、末節骨1、中足骨2、基節骨2、中節骨2、末節骨2、中足骨3、基節骨3、中節骨3、末節骨3、中足骨4、基節骨4、中節骨4、末節骨4、中足骨5、基節骨5、中節骨5、末節骨5、ウィリス輪、前大脳動脈、中大脳動脈、後大脳動脈、レンズ核線条体動脈、腕頭動脈、右総頸動脈、右鎖骨下動脈、椎骨動脈、脳底動脈、後大脳動脈、後大脳動脈、後交通動脈、左総頸動脈、内頸動脈(ICA)、外頸動脈(ECA)、左鎖骨下動脈、右鎖骨下動脈、内胸動脈、甲状頸動脈、肋頸動脈、左鎖骨下動脈、大動脈、大静脈、腋窩、腋窩動脈、上腕動脈、橈骨動脈、尺骨動脈、下行大動脈、胸部大動脈、腹部大動脈、内腸骨動脈、外腸骨動脈、大腿動脈、膝窩動脈、前脛骨動脈、足背動脈、後脛骨動脈、三尖弁、肺動脈弁、僧帽弁、大動脈弁、右心室、左心室、右心房、左心房、肝臓、腎臓、脾臓、腸、前立腺、大脳、脳心軸、小脳、脳橋、髄質、脊髄、前頭葉、頭頂葉、後頭葉、側頭葉、右冠動脈、左主要冠動脈、左前降順、左回旋枝を含み得る。
補強学習のためのハイブリッドデータ標識が、提供される。機械学習モデルの大部分では、訓練するためのデータの大規模なコーパスを作成することが、不可欠である。本明細書に説明されるようなDICOMSを標識するためのセグメント化アルゴリズムに関して、ロバストなアルゴリズムのための大量のデータを作成するための能力は、熟練エンジニアまたは撮像専門家のリソースによって限定される。セグメント化アルゴリズムの初期結果を利用することによって、本明細書に説明される方法は、大データ組を作成するためにかかる時間を加速させ得る。例えば:
単一画像をセグメント化するための時間(無自動化)=10秒;
ロバストなアルゴリズムのための仮定-100,000枚の標識された画像;
順次セグメント化される100,000枚の画像は、約278時間要する;
単一画像をセグメント化するための時間(無自動化)=10秒;
ロバストなアルゴリズムのための仮定-100,000枚の標識された画像;
順次セグメント化される100,000枚の画像は、約278時間要する;
モデルが、4回訓練され、アルゴリズム訓練が線形であった理論的研究例:
0~25,000枚-約69時間-訓練;
25,001~50,000(アルゴリズムによって25%完了)52時間-再訓練;
50,001~75,000(アルゴリズムによって50%完了)35時間-再訓練;
75,001~100,000(アルゴリズムによって75%完了)17時間
アルゴリズムと当業者のハイブリッドを使用してセグメント化される100,000枚の画像-173時間;
0~25,000枚-約69時間-訓練;
25,001~50,000(アルゴリズムによって25%完了)52時間-再訓練;
50,001~75,000(アルゴリズムによって50%完了)35時間-再訓練;
75,001~100,000(アルゴリズムによって75%完了)17時間
アルゴリズムと当業者のハイブリッドを使用してセグメント化される100,000枚の画像-173時間;
上記の簡略化された例は、セグメント化アルゴリズムが、再訓練の助けを借りて、はるかに高速で所望のレベルの自動化を達成することが可能であろうことを示す。加えて、それは、各データ組が訓練組に追加された後、アルゴリズムを再訓練することによって、さらに発展され得る。これは、AWS Lambdas等のクラウドインフラストラクチャおよびイベント駆動サーバレスコンピューティングプラットフォームを使用することによって、達成され得る。各再訓練後、更新された標識の組をユーザに示すことは、大量のデータを作成するための時間を劇的に減少させ得る。
さらに、大部分の医療画像セグメント化用途は、非常に高レベルの正確度を要求し、したがって、医療画像は、その元の完全分解能において使用され得る。しかしながら、病変、例えば、動脈瘤を検出するために、3D走査の全体または大部分を考察する固有の必要性がある場合、大部分の2Dベースのアプローチは、十分ではないであろう。さらに、現在のハードウェアにおける限界または法外であるコストに起因して、3Dアプローチは、完全分解能走査に適用されないこともある。
したがって、本明細書に説明される方法は、D-Unetベースのアーキテクチャを使用して、CT走査、例えば、神経CT走査内の血管系をセグメント化することによって、精査ボリュームをダウンサンプルし、重要な特徴を見出し得る。このアーキテクチャは、小スタックの2D画像、例えば、下方4スライスおよび上方4スライスを考察し、それによって、ある小3Dコンテキスト情報を提供する。動脈瘤検出の場合、現在のアプローチは、数2D画像のみを一度に考察するとき、動脈瘤および健康な脈管を区別するために十分ではないこともあり、それは、動脈瘤を正しく識別することが可能であるために必要とされるコンテキストを達成するために十分ではないこともある。これは、主に、動脈瘤のテクスチャおよび一般的外観が、単独で、例えば、数2D画像内で考察されるとき、他の血管系から区別不能であるからである。
動脈瘤、血餅、および閉塞を自動的に識別し、潜在的に、位置特定および測定することが可能であることは、神経外科手術に革命を起こし、生命を救い得る。例えば、本明細書に説明される方法は、これらの異常を血管系の残りから区別するために、3D観点から全体的走査を考察し得るより高度な方法を使用し得る。故に、本明細書に説明される方法は、2段階アプローチを実装し得、第1のステップが、完全分解能アプローチを使用して、画像のスタック内の血管系を識別し、次いで、別個のモデルが、第2のステップにおいて、走査の低分解能バージョンを3次元で考察するであろう。動脈瘤が低分解能ボリューム内にある、領域を取得後、領域は、動脈瘤が一般的血管系セグメント化からセグメント化され得るように、高分解能バージョンと共位置合わせされ得る。このアプローチは、正しく識別されるために、はるかに大きいコンテキストを要求する同様にテクスチャ加工された要素を区別する必要性が存在する他の高分解能3Dボリューム用途のための多数の潜在性を有する。
実際の医療画像を使用して、モデル(物理的または仮想)を発生させる目的のための画像の調製は、正確なモデルを発生させるために、ある量の事前フィルタ処理および改良を要求する。したがって、いくつかの変換が、最終モデル品質を劇的に改良するために、画像に実施されなければならない。
例えば、画像の補間は、既存の画像の大規模なデータ組がアルゴリズムを訓練するために使用され得るので、非常に受け入れやすくあり得る。このタイプの問題は、特に、敵対的ネットワークに対して好適である。さらに、画像の位置合わせは、複数の走査モダリティを伴う症例の数が、増加しており、CT->MRI画像に位置合わせする必要性があり得るので、重要であり得る。例えば、複数の走査モダリティからの画像は、2つの異なるデータ組を一緒に整列させることによって、位置合わせされ得、例えば、患者の頭部の医療走査が、提供され、腫瘍が、MRI走査から所望され、骨が、CT走査から所望される場合、目印が、ピクセルおよびボクセルを同一位置において位置合わせするために、MRIおよびCT走査の両方で可視であるように採取され得る。画像が、単一セッションにおいて、複数の視点/平面において得られるMRI走査さえ、平面間の差異が患者のかなり異なるビューを生成し、生体構造の完全に異なる側面をハイライトし得るので、位置合わせを要求し得る。
個々のプロセス自体ではなく、端から端までを可能にするために要求される統合に具体的に焦点を当てることで、本明細書に説明されるシステムおよび方法は、プラットフォームの上流および下流でデータを統合する方法に焦点を当てる。
本分野は、全ての統合を電子医療/健康記録等の下流に含み得る。さらに、EMRからの情報(潜在的に、後に転帰に関連付けるために(予後区分参照))が、照合され得、それは、運送会社または印刷局等との任意の上流統合を含むであろう。本分野における重要な価値は、データの由来の着想およびデータの流れ込みから製造された物体/仮想物体およびそれ以降までの全てのモデルの生成のデジタルスレッドを示すことである。
本発明の種々の例証的実施形態が、上で説明されるが、種々の変更および修正が、本発明から逸脱することなく、その中に行われ得ることが、当業者に明白であろう。添付の請求項は、発明の真の範囲内に該当する、全てのそのような変更および修正を網羅するように意図される。
Claims (21)
- 医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のための方法であって、前記方法は、
サーバによって、患者の医療画像と、選択された病変を示す前記医療画像に関連付けられたメタデータとを受信することと、
前記サーバによって、セグメント化アルゴリズムを使用して、前記医療画像を自動的に処理し、前記医療画像のピクセルを標識し、前記ピクセルが正しく標識された可能性を示すスコアを発生させることと、
前記サーバによって、解剖学的特徴識別アルゴリズムを使用して、前記標識されたピクセルの関連付けられた群を解剖学的知識データ組に対して確率的に合致させ、前記医療画像内の1つ以上の患者特有の解剖学的特徴を分類することと、
前記サーバによって、前記1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させることと、
前記サーバによって、前記選択された病変に基づいて、前記3D表面メッシュモデルから情報を抽出することと、
前記サーバによって、前記抽出された情報に基づいて、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることと
を含む、方法。 - 前記3D表面メッシュモデルから抽出された前記情報は、前記選択された病変に基づいて前記1つ以上の分類された患者特有の解剖学的特徴から分離された解剖学的特徴の3D表面メッシュモデルを備えている、請求項1に記載の方法。
- 前記サーバによって、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることは、
前記分離された解剖学的特徴の開始点および終了点を決定することと、
前記開始点から前記終了点までの軸に沿って事前に画定された間隔でスライスを得ることと、
前記分離された解剖学的特徴の周辺によって画定された各スライスの断面積を計算することと、
前記それぞれの断面積に基づいて、隣接するスライス間の3Dボリュームを外挿することと、
前記隣接するスライス間の外挿された3Dボリュームに基づいて、前記分離された解剖学的特徴の全体的3Dボリュームを計算することと
を含む、請求項2に記載の方法。 - 前記サーバによって、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることは、
前記分離された解剖学的特徴の開始点および終了点と、前記開始点から前記終了点までの進行方向とを決定することと、
軸に沿って事前に画定された間隔において、前記進行方向と垂直な少なくとも3つの方向に光線投射し、投射された各光線と前記3D表面メッシュモデルとの交点間の距離を決定することと、
各間隔において、投射された各光線と前記3D表面メッシュモデルとの交点間の距離を三角測量することによって、中心点を計算することと、
各間隔において、隣接する計算された中心点間の方向ベクトルに基づいて、前記進行方向を調節し、それによって、前記事前に画定された間隔における光線投射が、各間隔において、前記調節された進行方向と垂直な少なくとも3つの方向において生じる、ことと、
前記開始点から前記終了点までの前記計算された中心点に基づいて、前記分離された解剖学的特徴の中心線を計算することと
を含む、請求項2に記載の方法。 - 前記サーバによって、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることは、
前記分離された解剖学的特徴の中心線を計算することと、
前記分離された解剖学的特徴の開始点および終了点と、前記開始点から前記終了点までの方向ベクトルとを決定することと、
前記開始点から前記終了点までの方向ベクトルに基づいて、前記中心線に沿って事前に画定された間隔において切断面を確立することであって、各切断面は、各間隔における前記中心線の進行方向と垂直である、ことと、
各間隔における前記切断面において光線投射し、前記中心線からの前記3D表面メッシュモデル上の交点の位置を決定することと、
前記各間隔における決定された交点の位置に基づいて、前記3D表面メッシュモデルを横断した長さを計算することと
を含む、請求項2に記載の方法。 - 前記サーバによって、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることは、
前記分離された解剖学的特徴の開始点および終了点を決定することと、
前記開始点から前記終了点までの軸に沿って事前に画定された間隔でスライスを得ることと、
前記分離された解剖学的特徴の周辺によって画定された各スライスの断面積を計算することと、
各スライスの断面積に基づいて、前記分離された解剖学的特徴のヒートマップを発生させることと
を含む、請求項2に記載の方法。 - 前記サーバによって、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることは、
前記分離された解剖学的特徴の開始点および終了点を決定することと、
前記分離された解剖学的特徴の中心線を計算することと、
前記中心線に沿った隣接する点間の方向進行ベクトルを決定することと、
前記中心線に沿った隣接する点間の方向進行ベクトルの変化の大きさを計算することと、
前記中心線に沿った隣接する点間の方向進行ベクトルの変化の前記大きさに基づいて、前記分離された解剖学的特徴のヒートマップを発生させることと
を含む、請求項2に記載の方法。 - 前記3D表面メッシュモデルのための前記選択された病変に関連付けられた前記発生させられた生理学的情報は、関連付けられたタイムスタンプを備え、前記方法は、
前記サーバによって、前記発生させられた生理学的情報および前記関連付けられたタイムスタンプを記録することと、
前記サーバによって、関連付けられたタイムスタンプに基づいて、前記選択された病変の進行度を示す前記記録された生理学的情報間の経時的変化を計算することと
をさらに含む、請求項2に記載の方法。 - 前記サーバによって、前記記録された生理学的情報間の経時的変化の大きさを計算することと、
前記サーバによって、前記記録された生理学的情報間の前記経時的変化の前記大きさに基づいて、前記分離された解剖学的特徴のヒートマップを発生させることと
をさらに含む、請求項8に記載の方法。 - 前記サーバによって、前記選択された病変に基づいて、前記3D表面メッシュモデルから情報を抽出することは、
前記選択された病変に基づいて、解剖学的特徴を前記1つ以上の分類された患者特有の解剖学的特徴から分離することと、
解剖学的特徴データベースを用いて、前記分離された解剖学的特徴の特徴を分析し、前記分離された解剖学的特徴の1つ以上の目印を識別することと、
前記1つ以上の識別された目印を前記医療画像の前記ピクセルに関連付けることと、
前記識別された目印を備えている前記分離された解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させることと
を含む、請求項1に記載の方法。 - 前記サーバによって、前記選択された病変と前記1つ以上の識別された目印とに基づいて、外科手術手技を実施するための誘導軌道を外科手術実装データベースから識別することと、
前記誘導軌道をユーザに表示することと
をさらに含む、請求項10に記載の方法。 - 前記サーバによって、患者背景データを受信することと、
前記サーバによって、前記患者背景データと、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた前記発生させられた生理学的情報とに基づいて、1つ以上の医療デバイスを医療デバイスデータベースから識別することと、
前記識別された1つ以上の医療デバイスをユーザに表示することと
をさらに含む、請求項1に記載の方法。 - 前記サーバによって、患者背景データを受信することと、
前記サーバによって、前記患者背景データと、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた前記発生させられた生理学的情報とに基づいて、1つ以上の治療オプションを外科手術実装データベースから識別することと、
前記識別された1つ以上の治療オプションをユーザに表示することと
をさらに含む、請求項1に記載の方法。 - 前記サーバによって、前記選択された病変に基づいて前記3D表面メッシュモデルから情報を抽出することは、
前記選択された病変に基づいて、解剖学的特徴を前記1つ以上の分類された患者特有の解剖学的特徴から分離することと、
解剖学的特徴データベースを用いて、前記分離された解剖学的特徴の特徴を分析し、前記分離された解剖学的特徴の1つ以上の目印を識別することと、
参照骨折データベースを用いて、前記1つ以上の目印の特徴を分析し、前記分離された解剖学的特徴の骨折を検出することと、
前記1つ以上の識別された目印と前記検出された骨折とを備えている前記分離された解剖学的特徴の3D表面メッシュモデルを発生させることと
を含む、請求項1に記載の方法。 - 前記分離された解剖学的特徴の3D表面メッシュモデルを前記参照骨折データベースに対して合致させ、前記検出された骨折を分類することをさらに含む、請求項14に記載の方法。
- 前記サーバによって、前記分類された1つ以上の患者特有の解剖学的特徴をバイナリ標識の中に描写することと、
前記サーバによって、前記バイナリ標識を別個の解剖学的特徴に分けることと、
前記サーバによって、前記別個の解剖学的特徴を前記医療画像の元のグレースケール値にマッピングし、前記医療画像内の背景を除去することと
をさらに含み、
前記発生させられた3D表面メッシュモデルは、前記別個の解剖学的特徴の表面を画定するか、または、特定の色または透明度値を前記分類された1つ以上の患者特有の解剖学的特徴にマッピングすることによって画定されるボリュームレンダリングを備えている、請求項1に記載の方法。 - 前記セグメント化アルゴリズムは、閾値ベース、決定木、連鎖決定フォレスト、またはニューラルネットワーク方法のうちの少なくとも1つを備えている、請求項1に記載の方法。
- 前記選択された病変に関連付けられた生理学的情報は、直径、ボリューム、密度、厚さ、表面積、ハンスフィールド単位標準偏差、または平均のうちの少なくとも1つを備えている、請求項1に記載の方法。
- 医療画像からの患者特有の解剖学的特徴のマルチスキーム分析のためのシステムであって、前記システムは、サーバを備え、前記サーバは、
患者の医療画像と選択された病変を示す前記医療画像に関連付けられたメタデータとを受信することと、
セグメント化アルゴリズムを使用して、前記医療画像を自動的に処理し、前記医療画像のピクセルを標識し、前記ピクセルが正しく標識された可能性を示すスコアを発生させることと、
解剖学的特徴識別アルゴリズムを使用して、前記標識されたピクセルの関連付けられた群を解剖学的知識データ組に対して確率的に合致させ、前記医療画像内の1つ以上の患者特有の解剖学的特徴を分類することと、
前記1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させることと、
前記選択された病変に基づいて、前記3D表面メッシュモデルから情報を抽出することと、
前記抽出された情報に基づいて、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることと
を行うように構成されている、システム。 - 前記3D表面メッシュモデルから抽出された情報は、前記選択された病変に基づいて、前記1つ以上の分類された患者特有の解剖学的特徴から分離された解剖学的特徴の3D表面メッシュモデルを備えている、請求項19に記載のシステム。
- 非一過性コンピュータ読み取り可能なメモリ媒体であって、前記メモリ媒体は、その上に命令を記憶するように構成され、前記命令は、少なくとも1つのプロセッサによってロードされると、
患者の医療画像と選択された病変を示す前記医療画像に関連付けられたメタデータとを受信することと、
セグメント化アルゴリズムを使用して、前記医療画像を自動的に処理し、前記医療画像のピクセルを標識し、前記ピクセルが正しく標識された可能性を示すスコアを発生させることと、
解剖学的特徴識別アルゴリズムを使用して、前記標識されたピクセルの関連付けられた群を解剖学的知識データ組に対して確率的に合致させ、前記医療画像内の1つ以上の患者特有の解剖学的特徴を分類することと、
前記1つ以上の分類された患者特有の解剖学的特徴の表面を画定する3D表面メッシュモデルを発生させることと、
前記選択された病変に基づいて、前記3D表面メッシュモデルから情報を抽出することと、
前記抽出された情報に基づいて、前記3D表面メッシュモデルのための前記選択された病変に関連付けられた生理学的情報を発生させることと
を前記少なくとも1つのプロセッサに行わせる、非一過性コンピュータ読み取り可能なメモリ媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB2101908.8A GB202101908D0 (en) | 2021-02-11 | 2021-02-11 | Axial3D pathology |
GB2101908.8 | 2021-02-11 | ||
PCT/IB2022/051216 WO2022172201A1 (en) | 2021-02-11 | 2022-02-10 | Systems and methods for automated segmentation of patient specific anatomies for pathology specific measurements |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024506638A true JP2024506638A (ja) | 2024-02-14 |
Family
ID=75338999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023548261A Pending JP2024506638A (ja) | 2021-02-11 | 2022-02-10 | 病変特有測定値のための患者特有の生体構造の自動化されたセグメント化のためのシステムおよび方法 |
Country Status (8)
Country | Link |
---|---|
US (3) | US11626212B2 (ja) |
EP (1) | EP4292045A1 (ja) |
JP (1) | JP2024506638A (ja) |
CN (1) | CN116982077A (ja) |
AU (1) | AU2022221260A1 (ja) |
CA (1) | CA3207159A1 (ja) |
GB (1) | GB202101908D0 (ja) |
WO (1) | WO2022172201A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2599181B (en) | 2021-03-23 | 2022-11-16 | Imagination Tech Ltd | Intersection testing in a ray tracing system |
GB2599185B (en) * | 2021-03-23 | 2022-08-24 | Imagination Tech Ltd | Intersection testing in a ray tracing system |
GB2599186B (en) * | 2021-03-23 | 2022-10-12 | Imagination Tech Ltd | Intersection testing in a ray tracing system |
GB2599184B (en) | 2021-03-23 | 2022-11-23 | Imagination Tech Ltd | Intersection testing in a ray tracing system |
US20220392642A1 (en) * | 2021-06-07 | 2022-12-08 | DasiSimulations, LLC | Systems and methods for optimizing medical interventions using predictive models |
WO2024064867A1 (en) * | 2022-09-23 | 2024-03-28 | Montefiore Medical Center | Generating image data for three-dimensional topographical volumes, including dicom-compliant image data for surgical navigation |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5859891A (en) * | 1997-03-07 | 1999-01-12 | Hibbard; Lyn | Autosegmentation/autocontouring system and method for use with three-dimensional radiation therapy treatment planning |
US8515826B2 (en) | 2006-05-18 | 2013-08-20 | Bryan C. Norman | Made-to-order direct digital manufacturing enterprise |
US7599539B2 (en) | 2006-07-28 | 2009-10-06 | Varian Medical Systems International Ag | Anatomic orientation in medical images |
CN102067170A (zh) | 2007-08-31 | 2011-05-18 | 皇家飞利浦电子股份有限公司 | 在存在金属伪影的情况下用于分割的不确定性图 |
DE102009006147A1 (de) | 2008-12-23 | 2010-06-24 | Siemens Aktiengesellschaft | Modellgenerator für kardiologische Erkrankungen |
WO2010132722A2 (en) | 2009-05-13 | 2010-11-18 | The Regents Of The University Of California | Computer tomography sorting based on internal anatomy of patients |
US20110218428A1 (en) | 2010-03-04 | 2011-09-08 | Medical Scan Technologies, Inc. | System and Method for Three Dimensional Medical Imaging with Structured Light |
US8579620B2 (en) | 2011-03-02 | 2013-11-12 | Andy Wu | Single-action three-dimensional model printing methods |
US8907944B2 (en) | 2011-06-28 | 2014-12-09 | General Electric Company | Method and system for navigating, segmenting, and extracting a three-dimensional image |
US9437119B1 (en) | 2012-05-08 | 2016-09-06 | Bioniko Consulting Llc | Method for fabricating simulated tissue structures by means of multi material 3D printing |
US9600895B2 (en) | 2013-05-02 | 2017-03-21 | Saso Koceski | System and method for three-dimensional nerve segmentation using magnetic resonance imaging |
US20140361453A1 (en) | 2013-06-10 | 2014-12-11 | Vaios Triantafyllou | Method and apparatus for appreciating artwork |
US9805463B2 (en) * | 2013-08-27 | 2017-10-31 | Heartflow, Inc. | Systems and methods for predicting location, onset, and/or change of coronary lesions |
EP3049975B1 (en) | 2013-09-25 | 2018-11-07 | HeartFlow, Inc. | Systems and methods for validating and correcting automated medical image annotations |
US10981680B2 (en) | 2013-10-07 | 2021-04-20 | Shay C. Colson | 3-D printed package customization |
US9626583B2 (en) | 2013-12-12 | 2017-04-18 | University of Pittsburg—Of the Commonwealth System of Higher Education | Automated epithelial nuclei segmentation for computational disease detection algorithms |
US9785746B2 (en) * | 2014-03-31 | 2017-10-10 | Heartflow, Inc. | Systems and methods for determining blood flow characteristics using flow ratio |
US9754082B2 (en) | 2014-05-30 | 2017-09-05 | Heartflow, Inc. | Systems and methods for reporting blood flow characteristics |
US10417525B2 (en) | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
US10409235B2 (en) | 2014-11-12 | 2019-09-10 | Siemens Healthcare Gmbh | Semantic medical image to 3D print of anatomic structure |
US9646411B2 (en) | 2015-04-02 | 2017-05-09 | Hedronx Inc. | Virtual three-dimensional model generation based on virtual hexahedron models |
US9839356B2 (en) * | 2015-07-07 | 2017-12-12 | Zoll Medical Corporation | Systems and methods for communicating data |
US10169871B2 (en) | 2016-01-21 | 2019-01-01 | Elekta, Inc. | Systems and methods for segmentation of intra-patient medical images |
US20170228505A1 (en) * | 2016-02-05 | 2017-08-10 | International Business Machines Corporation | System and Method for Optimizing Visualization for Comparative Treatment Analysis from a Cognitive and Personal Approach |
CN109690554B (zh) | 2016-07-21 | 2023-12-05 | 西门子保健有限责任公司 | 用于基于人工智能的医学图像分割的方法和系统 |
IL247245B (en) | 2016-08-11 | 2019-01-31 | Technion Res & Dev Foundation | Systems and methods for printing 3D models |
US10445462B2 (en) | 2016-10-12 | 2019-10-15 | Terarecon, Inc. | System and method for medical image interpretation |
US11138790B2 (en) | 2016-10-14 | 2021-10-05 | Axial Medical Printing Limited | Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images |
GB201617507D0 (en) | 2016-10-14 | 2016-11-30 | Axial3D Limited | Axial3D UK |
US10275927B2 (en) | 2016-11-16 | 2019-04-30 | Terarecon, Inc. | System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing |
US10366490B2 (en) | 2017-03-27 | 2019-07-30 | Siemens Healthcare Gmbh | Highly integrated annotation and segmentation system for medical imaging |
US10032281B1 (en) | 2017-05-03 | 2018-07-24 | Siemens Healthcare Gmbh | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging |
KR102276750B1 (ko) | 2017-05-30 | 2021-07-13 | 디그니티 헬쓰 | 미리 결정된 해부학적, 생체역학적, 및 생리학적 속성들을 갖는 합성 해부학적 모델을 구축하기 위한 시스템들 및 방법들 |
US10762635B2 (en) | 2017-06-14 | 2020-09-01 | Tusimple, Inc. | System and method for actively selecting and labeling images for semantic segmentation |
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
EP3470006B1 (en) | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
US10946586B2 (en) | 2017-11-09 | 2021-03-16 | Centurylink Intellectual Property Llc | Framework for entertainment device communication of embeddable printable objects to printing devices |
EA201700561A1 (ru) * | 2017-11-16 | 2019-05-31 | Общество С Ограниченной Ответственностью "Доммар" | Способ и система выравнивания зубов на основании моделирования движения коронок и корней |
US10878576B2 (en) | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
US10803591B2 (en) | 2018-08-28 | 2020-10-13 | International Business Machines Corporation | 3D segmentation with exponential logarithmic loss for highly unbalanced object sizes |
GB201900437D0 (en) | 2019-01-11 | 2019-02-27 | Axial Medical Printing Ltd | Axial3d big book 2 |
US11413094B2 (en) * | 2019-05-24 | 2022-08-16 | University Health Network | System and method for multi-client deployment of augmented reality instrument tracking |
US11676701B2 (en) * | 2019-09-05 | 2023-06-13 | Pearl Inc. | Systems and methods for automated medical image analysis |
CN114286975A (zh) * | 2019-09-09 | 2022-04-05 | 苹果公司 | 调查研究用户界面 |
US11288806B2 (en) | 2019-09-30 | 2022-03-29 | Siemens Healthcare Gmbh | Protocol-aware tissue segmentation in medical imaging |
-
2021
- 2021-02-11 GB GBGB2101908.8A patent/GB202101908D0/en not_active Ceased
-
2022
- 2022-02-10 CA CA3207159A patent/CA3207159A1/en active Pending
- 2022-02-10 EP EP22704591.1A patent/EP4292045A1/en active Pending
- 2022-02-10 WO PCT/IB2022/051216 patent/WO2022172201A1/en active Application Filing
- 2022-02-10 CN CN202280019730.9A patent/CN116982077A/zh active Pending
- 2022-02-10 JP JP2023548261A patent/JP2024506638A/ja active Pending
- 2022-02-10 AU AU2022221260A patent/AU2022221260A1/en active Pending
- 2022-05-10 US US17/662,802 patent/US11626212B2/en active Active
-
2023
- 2023-04-06 US US18/131,859 patent/US11869670B2/en active Active
-
2024
- 2024-01-08 US US18/407,286 patent/US20240153644A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240153644A1 (en) | 2024-05-09 |
US11626212B2 (en) | 2023-04-11 |
WO2022172201A1 (en) | 2022-08-18 |
AU2022221260A1 (en) | 2023-08-24 |
CA3207159A1 (en) | 2022-08-18 |
EP4292045A1 (en) | 2023-12-20 |
US11869670B2 (en) | 2024-01-09 |
US20220270762A1 (en) | 2022-08-25 |
CN116982077A (zh) | 2023-10-31 |
US20230245784A1 (en) | 2023-08-03 |
GB202101908D0 (en) | 2021-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024506638A (ja) | 病変特有測定値のための患者特有の生体構造の自動化されたセグメント化のためのシステムおよび方法 | |
KR101120250B1 (ko) | 컴퓨터로 구현된 의학 영상 데이터 처리 방법 | |
CN106108925B (zh) | 用于医学图像中全身骨移除和血管可视化的方法和系统 | |
US20190021677A1 (en) | Methods and systems for classification and assessment using machine learning | |
EP2598033B1 (en) | Knowledge-based automatic image segmentation | |
JP7463510B2 (ja) | 骨断片化のケースにおける整形外科手術のための術前計画及び術中ガイダンス | |
US20180108131A1 (en) | Generation of a Patient-Specific Anatomical Atlas | |
WO2009103046A2 (en) | Medical image reporting system and method | |
AU2024200427A1 (en) | Pre-operative planning of surgical revision procedures for orthopedic joints | |
Li et al. | Medical image segmentation in oral-maxillofacial surgery | |
US20180005378A1 (en) | Atlas-Based Determination of Tumor Growth Direction | |
Khandelwal et al. | Spine and individual vertebrae segmentation in computed tomography images using geometric flows and shape priors | |
Miao et al. | CoWRadar: Visual Quantification of the Circle of Willis in Stroke Patients. | |
JP7250954B2 (ja) | 整形外科に関する医用画像データのセグメンテーションのための閉曲面フィッティング | |
US20230207106A1 (en) | Image segmentation for sets of objects | |
Liang | Medical Image Based Preoperative Analysis and Intraoperative Navigation | |
Laura | Graph-matching and FEM-based registration of computed tomographies for outcome validation of liver interventions | |
Glisson | Comparison and assessment of semiautomatic image segmentation in computed tomography scans of the kidney. | |
JP2023097205A (ja) | 画像処理装置、方法およびプログラム | |
Li | Segmentation and symbolic representation of brain vascular network: application to arteriovenous malformations | |
Jin et al. | Image guided medialization laryngoplasty | |
Oyarzun Laura | Graph-matching and FEM-based Registration of Computed Tomographies for Outcome Validation of Liver Interventions | |
CN113177945A (zh) | 用于将分割图链接到体数据的系统和方法 | |
Agyei-Ntim | Statistical Shape Modeling of the Right Ventricle in Pediatric Pulmonary Hypertension | |
PIAU | Segmentation of human muscles of mastication from magnetic resonance images |