JP2023530883A - 早産予測 - Google Patents
早産予測 Download PDFInfo
- Publication number
- JP2023530883A JP2023530883A JP2022574786A JP2022574786A JP2023530883A JP 2023530883 A JP2023530883 A JP 2023530883A JP 2022574786 A JP2022574786 A JP 2022574786A JP 2022574786 A JP2022574786 A JP 2022574786A JP 2023530883 A JP2023530883 A JP 2023530883A
- Authority
- JP
- Japan
- Prior art keywords
- fetus
- images
- birth
- image
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000005107 Premature Birth Diseases 0.000 title claims abstract description 61
- 206010036590 Premature baby Diseases 0.000 title claims description 25
- 238000002604 ultrasonography Methods 0.000 claims abstract description 146
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000002560 therapeutic procedure Methods 0.000 claims abstract description 3
- 210000003754 fetus Anatomy 0.000 claims description 105
- 238000012549 training Methods 0.000 claims description 86
- 238000010191 image analysis Methods 0.000 claims description 68
- 238000013528 artificial neural network Methods 0.000 claims description 55
- 238000011282 treatment Methods 0.000 claims description 51
- 230000001605 fetal effect Effects 0.000 claims description 36
- 230000008774 maternal effect Effects 0.000 claims description 31
- 230000035935 pregnancy Effects 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000007635 classification algorithm Methods 0.000 claims description 15
- 230000008901 benefit Effects 0.000 claims description 14
- 230000009286 beneficial effect Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000003814 drug Substances 0.000 claims description 6
- 229940079593 drug Drugs 0.000 claims description 6
- 230000036266 weeks of gestation Effects 0.000 claims description 6
- 230000003169 placental effect Effects 0.000 claims description 5
- 210000004381 amniotic fluid Anatomy 0.000 claims description 4
- 230000017531 blood circulation Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 210000004696 endometrium Anatomy 0.000 claims description 3
- 208000015181 infectious disease Diseases 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 2
- 210000004369 blood Anatomy 0.000 claims description 2
- 239000008280 blood Substances 0.000 claims description 2
- 230000036772 blood pressure Effects 0.000 claims description 2
- 210000004700 fetal blood Anatomy 0.000 claims description 2
- 239000008103 glucose Substances 0.000 claims description 2
- 230000004217 heart function Effects 0.000 claims description 2
- 230000003907 kidney function Effects 0.000 claims description 2
- 230000035764 nutrition Effects 0.000 claims description 2
- 235000016709 nutrition Nutrition 0.000 claims description 2
- 239000000902 placebo Substances 0.000 claims description 2
- 229940068196 placebo Drugs 0.000 claims description 2
- 238000007790 scraping Methods 0.000 claims description 2
- 230000000391 smoking effect Effects 0.000 claims description 2
- 210000001124 body fluid Anatomy 0.000 claims 1
- 239000010839 body fluid Substances 0.000 claims 1
- 210000000988 bone and bone Anatomy 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 14
- 238000011161 development Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 210000004291 uterus Anatomy 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 6
- 210000002826 placenta Anatomy 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 208000035010 Term birth Diseases 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 4
- 210000003679 cervix uteri Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 208000024827 Alzheimer disease Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008081 blood perfusion Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 210000002458 fetal heart Anatomy 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000014461 bone development Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000002758 humerus Anatomy 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000032696 parturition Effects 0.000 description 2
- 201000011461 pre-eclampsia Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 210000001644 umbilical artery Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010008342 Cervix carcinoma Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000036818 High risk pregnancy Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 206010033128 Ovarian cancer Diseases 0.000 description 1
- 206010061535 Ovarian neoplasm Diseases 0.000 description 1
- 208000006399 Premature Obstetric Labor Diseases 0.000 description 1
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 1
- 208000002495 Uterine Neoplasms Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 230000000454 anti-cipatory effect Effects 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 201000010881 cervical cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000502 dialysis Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 230000002357 endometrial effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 201000003723 learning disability Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 208000018773 low birth weight Diseases 0.000 description 1
- 231100000533 low birth weight Toxicity 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 230000029082 maternal behavior Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 206010046766 uterine cancer Diseases 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Pregnancy & Childbirth (AREA)
- Gynecology & Obstetrics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Multimedia (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Hematology (AREA)
- Hospice & Palliative Care (AREA)
- Physical Education & Sports Medicine (AREA)
- Social Psychology (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Psychology (AREA)
Abstract
将来の医学的事象を予測するシステム及び方法は、医学的画像の処理に基づいている。超音波画像に基づく早産の予測と妊娠週数の推定を例として提示した。将来の医学的事象を予測する前に、その確率を推定する新しい能力は、予防治療の開発に新たな道を提供する。【選択図】図1
Description
本出願は、米国仮特許出願(出願番号第63/041,360号、出願日2020年6月19日)、及び米国非仮特許出願(出願番号第17/352,290号、出願日2021年6月19日)の利益及び優先権を主張する。上記の特許出願の開示内容は、その全体が参照により本明細書に組み込まれる。
本発明は、妊娠を含むがこれに限定されない幅広い医学的状態に適用される予測診断の分野におけるものである。
早産とは、赤ちゃんが推定予定日の3週間以上前に出生することである。言い換えれば、早産とは、妊娠37週目の開始前に出産することである。早産児、特に非常に早く生まれた赤ちゃんは、複雑な医学的問題を抱えていることが多い。一般的には、早産児の合併症は様々である。しかし、赤ちゃんが早く生まれるほど合併症のリスクは高くなる。
胎児超音波検査(sonogram)は、音波を使用して子宮内の胎児の画像を作り出す撮像技術である。胎児超音波画像は、医療提供者が赤ちゃんの成長と発達を評価し、妊娠を監視するのに役立つ。場合によっては、胎児超音波検査を使用して、超音波検査の時点で存在する可能性のある問題を評価し、又は診断を確認することができる。最初の胎児超音波検査は通常、妊娠初期に行われて、妊娠を確認し、妊娠週数を推定する。次の超音波検査は、一般的には、解剖学的な詳細が見えるようになる妊娠中期に行われる。
妊娠等の医学的状態の結果に関する予測を生成するために、超音波、及び任意に他の医学的撮像技術が用いられる。これらの予測は、とりわけ、誕生予定日、早産、及び/又は出産を誘発する必要性を含んでもよい。この予測を任意に使用して、早産を予期して具体的な矯正処置を提供する。この予測により、予期的処置を提供して望ましくない結果を防止する又はさもなければ軽減する、これまで利用できなかった処置の方法が提供される。本発明のシステム及び方法は、予測、予期的処置、及び/又は予測に基づく処置の開発を含む。
様々な実施形態は、画像に基づいて定量的予測出力を作り出すように構成された機械学習システムへの入力として、医学的画像、例えば超音波画像を使用することを含む。これらの機械学習システムでは、回帰、分類法、及び/又は他の機械学習アルゴリズムを使用することがある。例えば、範囲を出力する任意の回帰アルゴリズム、例えば分位点回帰を使用してもよい。いくつかの実施形態では、多数のアルゴリズムが独自の手法で1つのAIに組み込まれる。
また、様々な実施形態は、画像の前処理及び/又は機械学習システムの事前訓練を含む。例えば画像の前処理は、医学的画像の質が低い若しくはばらつきがある又は大きさにばらつきがある場合、例えば画像が超音波画像である場合に、有用であることがわかっている。
様々な実施形態は、画像収集中のリアルタイムフィードバックを含む。このフィードバックは、画像選択、より良い画像の取得及び/又はより有用な画像の取得を対象としてもよい。フィードバックは、取得済みの画像の処理に基づくものであってもよい。例えばいくつかの実施形態では、初期画像の評価を使用して、予測値及び/又は診断値を持つ画像をさらに収集するよう誘導する。任意に、画像処理システムは、画像取込装置に含まれるか、又はローカルエリアネットワーク若しくはインターネット等の通信ネットワークを使用して画像処理装置に接続される。
本発明の様々な実施形態は、早産を予測するように構成された医学的予測システムを備え、本システムは以下を備える。超音波画像を格納するように構成された画像ストレージであって、超音波画像が例えば胎児を含む、画像ストレージ。超音波画像に基づいて胎児が早産で生まれるという推定を提供するように構成された画像解析ロジック。少なくとも胎児が早産で生まれるという推定をユーザに提供するように構成されたユーザインタフェース。画像解析ロジックの少なくとも一部を実行するように構成されたマイクロプロセッサ。画像解析ロジックは、任意に、超音波画像に基づいて胎児の妊娠週数を推定するように構成された第1のロジックであって、妊娠週数が超音波画像生成時点のものである、第1のロジックと、超音波画像に基づいて胎児の出生までの時間を推定するように構成された第2のロジックと、胎児の出生時に胎児の推定妊娠週数を計算するように構成されたロジックと、を備える。出産までの日数は、妊娠週数なしで直接計算できる。この場合、医療提供者は出産が早くなる日数を計算することができる。
本発明の様々な実施形態は、早産の定量的予測を生成する方法を含み、本方法は以下を含む。胎児を含む医学的画像のセットを取得するステップ。機械学習システムを使用して医学的画像を解析して定量的予測を作り出すステップであって、定量的予測が胎児の出生までの時間の推定又は出生時の胎児の妊娠週数の推定を含む、ステップ。定量的予測をユーザに提供するステップ。
本発明の様々な実施形態は、医学的予測システムを訓練する方法を含み、本方法は以下を含む。複数の医学的画像を受信するステップであって、医学的画像が任意に妊娠中の胎児の超音波画像を含む、ステップ。任意に、画像をフィルタリングするステップ。任意に、画像内に含まれるビュー又は特徴に従って画像を分類するステップ。任意に、画像又は画像の種類内の特徴を認識するようニューラルネットワークを事前訓練するステップ。胎児の出生に関する定量的予測を提供するようニューラルネットワークを訓練するステップであって、定量的予測が出生時の胎児の妊娠週数の推定を含むか、又は胎児の現在の妊娠週数の推定及び胎児の出生までの残りの時間の推定を含む、ステップ。任意に、訓練されたニューラルネットワークをテストして定量的予測の精度を決定するステップ。
本発明の様々な実施形態は、ニューラルネットワークを訓練するための超音波画像を収集する方法を含み、本方法は以下を含む。ソーシャルメディアアカウントをスクレイピングするステップ。ソーシャルメディアアカウントの胎児の超音波画像を識別するステップ。ソーシャルメディアアカウント内の出産報告を識別するステップ。超音波画像をソーシャルメディアアカウントに投稿してから出産報告をソーシャルメディアアカウントに投稿するまでの時間を計算するステップ。超音波画像及び計算された時間を使用して、超音波画像が早産の兆候であるという予測を生成するようニューラルネットワークを訓練するステップであって、予測が任意に定量的予測である、ステップ。
本発明の様々な実施形態は、医学的予測に基づいて有益な治療を識別する方法を含み、本方法は以下を含む。将来の医学的状態の定量的予測を決定するステップであって、定量的予測が、医学的状態が将来の時間範囲内に発生する確率を含み、患者の医学的画像の解析に基づく、ステップ。医学的状態の候補治療を患者に提供するステップ。将来の医学的状態の定量的予測を決定し、候補治療を複数の患者に提供するステップを繰り返すステップ。候補治療がそれぞれの時間範囲で複数の患者に統計的関連性のある利益をもたらしたかどうかを決定するステップ。統計的関連性のある利益に基づいて候補治療を有益な治療として識別するステップ。
機械学習システム及びエキスパートシステム等の人工知能システムは、例えば胸部X線を読み取る等、医学的画像の特徴を識別することに使用されてきたが、医学的画像を使用した医学的予測の分野では限られた進歩しか得られていない。人工知能のこれまでの診断用途とは対照的に、本明細書に開示されたシステム及び方法は、人工知能を使用して医学的画像、及び任意に他のデータ処理の予測(predictive)値を実証するものである。例示的な例として、超音波を使用した早産の予測に関連して、このような処理の予測値について説明する。
本明細書に開示されたシステム及び方法は、胎児が早期に生まれる(例えば早産)という定量的(quantitative)予測、又はいくつかの他の医学的事象の定量的予測を提供することが可能である。これらの予測の定量的性質は、従来技術とは明らかに対照的である。例えば定量的予測は、単に妊娠に「リスクがある」ことを識別するだけではない。本明細書で使用されるように、「定量的予測」は、確率、複数の早産クラス内の分類、又は時間推定の少なくとも1つを含む。早産予測の場合、時間推定は、出生までの推定日数及び/又は出生時の推定妊娠週数によって表される場合がある。これらの推定は、2つ、3つ、又はそれ以上の時間範囲で表される場合がある。定量的予測の利点は、単なる(そして誤りがちである)「リスクがある」分類と比較して、はるかに実用的な情報を提供できることである。
図1は、本発明の様々な実施形態による、医学的結果を予測するように構成された医学的予測システム100を示す。予測システム100は、超音波システム及び画像処理用に構成された計算装置等の多数の装置を含んでもよい。予測システム100は、任意に、インターネット等の通信ネットワークを介して様々な構成要素及び/又は外部装置間で通信するように構成される。
予測を生成するための画像処理は、具体的な医学的状態及び/又は事象が将来、例えば将来の日付で始まる時間中に発生するという推定の生成を含む。推定は、任意に、絶対確率又は相対確率で表される。さらに、推定は、時間的要素を含んでもよい。例えば、推定は、早産の可能性が66%であること、妊娠33~34週の間に出産する可能性が妊娠37~38週の間に出産する可能性よりも高いこと、及び/又は妊娠34週までに出産する確率が50%であること等であってもよい。別の例では、予測は、将来の時間内に肺がん又は乳がんが発生する確率を含んでもよい。
予測システム100は、画像を生成するように構成された任意選択の画像生成器110を含む。画像生成器110は、先行技術の超音波、又は処理のために例えばコンピュータネットワークを介して予測システム100の他の要素に画像を提供するようにさらに構成された他の撮像システムを含んでもよい。様々な実施形態では、画像生成器110は、画像生成装置と、予測システム100の1つ以上の要素の任意の組み合わせと、を含むシステムである。例えば、画像生成器110は、ストレージ120と、画像解析ロジック130と、ユーザインタフェース150と、フィードバックロジック170と(本明細書の他の箇所でさらに議論する)、を含む超音波装置であってもよい。様々な実施形態では、画像生成器110は、放射線写真(例えばX線)に基づく撮像装置、磁気共鳴撮像装置、核撮像装置、超音波撮像システム、弾性率計測(elastography)装置、光音響装置、断層撮影(tomography)装置、心エコー検査装置、磁性粒子撮像システム、分光(例えば近赤外線)装置等を含む。
いくつかの実施形態では、予測システム100の他の要素は、画像生成器110に直接接続されるか、又は画像生成器110内に含まれる。例えば画像生成器110は、画像解析ロジック130を有する超音波機械を含んでもよく、画像解析ロジック130は、フィードバックロジック170を介してリアルタイムフィードバックを提供して、超音波データ及び/又は画像の収集を誘導するように構成される。いくつかの実施形態では、画像生成器110は、音源と、音検出器と、音検出器によって検出された音に基づいて超音波画像を生成するように構成されたロジックと、を備える。任意に、画像生成器110は、画像解析ロジック130からのフィードバックに基づいて超音波画像の生成を適合させるように構成される。例えば、音の生成、焦点、処理は、そのような情報を含む画像がより良い予測と推定を提供するであろうという画像解析ロジック130からの指摘に応答して、胎児の小毛細管における血液潅流をより良く検出するように適合され得る。
画像生成器110は、外部から取得した画像を予測システム110が受信する実施形態、又は予測のために生の画像データを使用する実施形態では、任意選択のものである。例えば画像生成器110は、画像ではなく生の超音波(ソノグラム)データを処理して医学的予測を生成する実施形態では、任意選択のものである。いくつかの実施形態では、画像及び/又は生のデータは、インターネット等の通信ネットワークを介して予測システム100によって受信される。画像生成器110によって生成される画像は、胎児の動きを表す画像のシーケンスを含むことができる。例えばシーケンスは、血流、毛細血管の豊富さ、心拍等を示すことがある。また、このようなシーケンスは、動きの方向と速度に関連するドップラー情報を含むことがある。
予測システム100は、ストレージ120をさらに備える。ストレージ120は、生のセンサデータ、医学的画像、医学的データ、実行可能コード(ロジック)、ニューラルネットワーク等を格納するように構成されたデジタルメモリを含む。例えばストレージ120は、光子又は音響検出器によって生成された生のセンサデータを格納するように構成されてもよく、これを使用してX線又は超音波画像を生成することができる。本明細書の他の箇所で議論するように、ストレージ120は任意にメモリ回路を含み、また任意に、上記のデータ型のいずれかを管理及び格納するように構成されたデータ構造を含む。ストレージ120に格納される超音波画像は、任意に600×600ピクセルであり、400×400(又は少なくとも300×300)のランダムクロップが、任意に、本明細書で議論される訓練及び/又は予測のために使用される。本明細書で議論される「超音波画像」は、任意に、超音波データに基づく三次元レンダリングを含む。
いくつかの実施形態では、ストレージ120は、妊娠中の母親及び/又は胎児の超音波画像を格納するように構成された回路を特に含む。超音波画像は、1つ以上の収集セッションで生成されることがある。例えば、超音波画像の第1のセットは、第1のセッションで超音波検査士が一度に取得し、第2の超音波画像のセットは、少なくとも1、2、5、7、15、21、30、60、90若しくは180日後又はこれらの値の間の任意の範囲で起こる第2のセッションで取得される場合がある。特定の母親及び/又は胎児の超音波画像は、上記の持続時間のいずれかを含む一定期間にわたって生成されることがある。例えばハイリスク妊娠の母親は、超音波検査を週1回受ける場合がある。超音波画像は、任意に、ドップラーデータ及び/又は胎児の動きを表す画像のシーケンス(例えばビデオ)を含む。例えば超音波画像は、胎児の心拍又は血流を示すことがある。超音波画像は、胎児の組織、体液又は骨の密度に関する情報をさらに含むことがある。早期予測に有用であることが判明した画像としては、胎児の心拍数、臍動脈、子宮(子宮下部を含む)、子宮頸部、子宮頸部の長さを測定するために特に撮影された子宮頸部ビュー、羊水指数ビュー、腹囲(AC)、児頭大横径(BPD)及び他の全ての脳のビュー、大腿骨、上腕骨、子宮内膜(例えば厚さと血管新生)、子宮頸部に対する胎盤の縁、胎児の腎臓、胎盤、付属器等を示す画像が挙げられる。いくつかの実施形態では、胎児の妊娠週数の推定に有用な画像を、胎盤の妊娠週数の推定に有用な画像とともに処理する。次いで、これらの推定の差が早産予測に使用される。
予測システム100は、超音波画像及び任意に臨床データに基づいて胎児が早産で生まれるという定量的予測を提供するように構成された画像解析ロジック130をさらに含む。この予測は、様々な形式をとり得る推定を含む。例えば予測は、胎児の現在の妊娠週数の推定と、出生前の(残りの)時間(出産までの時間、又は標準の280日よりも早い日数)の推定に基づいてもよい。あるいは、推定は、胎児が早産の指標(例えば低出生体重)を持って生まれる確率を含んでもよく、この推定は、任意に、現在の妊娠週数とは無関係である。また、画像解析ロジック130によって行われる予測は、医師がまだ早産期であっても出産を誘発するか、又は正産期に出産を誘発するかを選択する確率推定を含んでもよい。例えば予測は、医師が妊娠高血圧腎症等の状態を理由に早産を誘発することを選択する確率を含んでもよい。このような予測は、誘発を起こす少なくとも1、2、3若しくは4週間前、又は1、2、3、4、5、6若しくは7ヵ月前に行われ得る。妊娠高血圧腎症の場合、生命を脅かすような形で病状が現れたら、介護者は胎児が早産であるかどうかにかかわらず直ちに誘発を起こす必要があるかもしれない。
いくつかの実施形態では、画像解析ロジック130は、超音波画像に基づいて胎児の妊娠週数を推定するように構成された第1のロジックと、超音波画像に基づいて胎児の出生までの時間を推定するように構成された第2のロジックと、を備える。例えば第1のロジックは、超音波画像を使用して、超音波画像生成時点の妊娠週数を推定するように構成され、一方、第2のロジックは、胎児の出生までの残りの時間を推定するように構成される。次いで、これらの実施形態では、画像解析ロジック130におけるさらなるロジックは、出生までの残りの時間に推定妊娠週数を加算することによって、出生時の胎児の推定妊娠週数を計算するように構成される。第1のロジックと第2のロジックは、任意に、同じ機械学習システム内に配置される。例えば、超音波画像を入力として受信し、妊娠週数と残りの時間の両方を出力する、同じニューラルネットワークに含まれてもよい。同じ機械学習システムを使用して推定妊娠週数と出生までの残りの時間を計算することにより、これら両方の計算の誤差は、2つの誤差が独立である場合に予想されるよりも全体の誤差が少なくなるように関連している可能性がある。
画像解析ロジック130は、幅広い機械学習アルゴリズムを使用して上記の計算を実行するように構成されてもよい。例えばいくつかの実施形態では、画像解析ロジック130は、回帰アルゴリズム(例えば分位点回帰)を使用して、胎児が早産で生まれるという推定を提供し、任意に出生までの時間を推定するように構成される。分位点回帰等は、単なる1つの値の答えではなく、実際の答えが含まれる可能性が高い範囲を予測する。様々な実施形態では、点値ではなく範囲を予測する任意の回帰システムを画像解析ロジック130で使用してもよい。推定として範囲を使用することは、データの過学習(overfitting)を防ぎ、訓練に使用する超音波画像が誤ってラベル付けされる可能性があるときに有用である。画像解析ロジックは、一般的には、1つの超音波画像を解析するのではなく、超音波画像のセットに基づいて予測と推定を行うように構成される。
いくつかの実施形態では、画像解析ロジック130は、分類アルゴリズムを使用して胎児が早産で生まれるという推定を提供するように構成される。出産を「正期産」と「早産」(早産は22日以上早い)の2つのクラスに分類する従来の分類とは対照的に、分類アルゴリズムは、任意に、出生タイミングに関連する3つ、4つ以上の分類を含む。分類アルゴリズムを使用したニューラルネットワークは、妊娠を具体的なクラス、例えば推定される出生の時間範囲に割り当てることができるため、出生までの残りの時間に関する定量的予測を行うことができる。これらの分類は、例えば、早い日数が29日以上の場合は「早産」、14~28日の場合は「境界期」、14日未満の場合は「正期産」等を含んでもよい。実際にはこれらの分類の日付範囲は、異なる実装形態において+/-1~4日変動する場合がある。代替実施形態では、より多くの及び/又は異なる分類が使用される。
分類アルゴリズムを使用するとき、任意に「ラベル平滑化」関数を適用する。一部の訓練画像では、超音波画像が生成された時点でまだ現像されていない状態のためにラベルが正しくない場合があるため、平滑化機能が有益な場合がある。この平滑化関数は、例えば以下に説明する形式をとることができ、任意に、イプシロン(ε)は0.05、0.1、0.3以上である。
いくつかの実施形態では、ラベル平滑化は、損失関数が交差エントロピーであるときに使用され、このモデルは、最後から2番目の層のロジットベクトルzにソフトマックス関数を適用して、その出力確率pを計算する。ラベル平滑化は、モデルが訓練中にラベルを過度に確信的に予測すること、一般化が不十分になることを防ぐための分類問題の正規化技術である。例えば、https://leimao.github.io/blog/Label-Smoothing/を参照。
いくつかの実施形態では、回帰アルゴリズムと分類アルゴリズムの両方を使用して、早産及び/又は出生までの時間を予測する。例えば画像解析ロジック130は、2つの別個のニューラルネットワークを含むことができ、一方は(範囲を出力する)回帰アルゴリズムを適用するように構成されたもの、他方は分類アルゴリズムを適用するように構成されたものである。この場合、分類アルゴリズムは回帰アルゴリズムの前に適用され、回帰アルゴリズムは任意に各クラス別々に適用される。
代替的に、回帰アルゴリズムと分類アルゴリズムの両方が、同じニューラルネットワークによって適用されてもよい。このような実施形態では、ニューラルネットワークは、分類と回帰に基づく予測の両方を作り出すように訓練され、その両方が定量的である。回帰アルゴリズムは、選択された各パーセンタイルに対して1つ以上の値を出力する。例えば、いくつかの実施形態は、出力(これは定量的予測のパーセンタイルを表す)に対して10%、25%、50%、75%、90%のパーセンタイルを使用し、これらのパーセンタイルの各々は、確率及び/又は信頼度尺度と関連付けられることがある。画像のセットの入力から、画像解析ロジック130のニューラルネットワークは、一般的には、選択された各パーセンタイルに対して1つ以上の値を生成する。異なるアルゴリズムからの多数の出力を使用して、早産及び/又は出生までの時間の推測を確認してもよい。回帰アルゴリズムと分類アルゴリズムは同じ結果を作り出すはずであるため、このシナリオは任意に全体的な予測の信頼性を確立するために使用される。
画像解析ロジック130は、回帰及び分類に加えて、又はそれに代わるものとして、他の機械学習アルゴリズム又はその組み合わせを採用してもよい。例えば画像解析ロジック130は、推定範囲を出力する回帰を適用するように構成されてもよく、この範囲は単一点予測よりも正確かつ/又は有用である。しかし、多くのニューラルネットワークがデータの異なるサブセットから生成され(各々が画像/データの異なるサブセットで訓練され)、それが統計的に解析されて平均及び/又は分布を形成する場合には、単一点予測を使用することができる。いくつかの実施形態では、ベイジアン畳み込みニューラルネットワークを使用して認識論的不確定性を捕捉するが、これは、訓練データが限られていることによるモデル適合度に関する不確実性である。具体的には、ニューラルネットワークにおける特定の重み(及びバイアス)値を学習する代わりに、ベイジアン法では、与えられた入力に対する出力を作り出すサンプルとなる重み分布を学習して、重みの不確実性を符号化する。また、ベイジアンネットワークは、本明細書で議論される予測の分類手法において同様の方法で使用することができる。
本明細書の他の箇所で述べたように、画像解析ロジック130は、胎児が早産で生まれるという推定を提供するように(上記アルゴリズム/機械学習技術を使用して)構成されてもよい。この推定は、早産の確率、現在の推定妊娠週数、胎児の出生までの推定時間及び/又は推定総妊娠期間を含むことができる。これらの推定は、超音波画像の処理、及び任意に妊娠に関連付けられる他の要因に基づく。例えば画像解析ロジック130は、臨床データに基づいて上記の推定を生成するように構成されてもよい。この臨床データは、例えば、母親の遺伝、母親の体重、母親の妊娠歴、母親の血糖値、母親の心臓機能、母親の腎臓機能、母親の血圧、胎盤の状態、母親の感染症、母親の栄養、母親の薬剤使用(喫煙とアルコール摂取)、母親の年齢、母親の社会経済的地位、母親の家庭環境、母親の収入、母親の人種、並びに/又は母親の子宮頸部若しくは子宮の特性の1つ、2つ、3つ以上を含むことができる。画像解析ロジック130は、任意に、これらの臨床データの任意の1つ又は組み合わせを入力として取り、本明細書で議論される推定と予測を、部分的にこれらの臨床データに基づいて行うように構成される。
予測システム100は、任意に、画像解析ロジック130によって行われる推定に基づいて有用な出力を計算するように構成された計算ロジック140をさらに含む。例えば計算ロジック140は、現在の妊娠週数と出生までの推定時間に基づいて総妊娠期間を計算するように構成されてもよい。計算ロジック140は、確率分布(例えばパーセンタイルで表される分布)に基づいて総妊娠期間を計算するように構成されてもよい。計算ロジック140は、出生までの推定時間又は推定総妊娠期間に基づいて早産の確率を計算するように構成されてもよい。例えば計算ロジック140は、画像解析ロジック130によって行われる推定に分布関数を適用し、そこから確率分布を作り出してもよい。いくつかの実施形態では、画像解析ロジック130は、この分布関数の特性を生成するように構成される。例えばいくつかの実施形態では、出生までの予想時間の信頼性の推定とこの信頼性の推定を使用して、分布関数の幅(例えば標準偏差)を決定することができる。計算ロジック140は、任意に画像解析ロジック110に含まれる。
予測システム100は、任意に、画像解析ロジック130を使用して行われた推定及び/又は予測をユーザに提供するように構成されたユーザインタフェース150をさらに備える。ユーザインタフェース150は、任意に、グラフィカルユーザインタフェース(とそれに関連付けられるロジックと)を含み、画像生成器110のインスタンス、モバイル機器(この場合、ユーザインタフェース150はモバイルアプリを含むことができる)、又は画像生成器110及び/若しくは画像解析ロジック130から離れた計算装置上に表示されてもよい。例えばユーザインタフェース150は、出生時の胎児の妊娠週数、胎児が早産で生まれるという推定、出生までの推定時刻、及び/又は推定妊娠週数のうち少なくとも1つ又は2つを表示するように構成されてもよい。いくつかの実施形態では、ユーザインタフェース150は、画像解析ロジック130による処理のために遠隔ユーザによって1つ以上の超音波画像をアップロードするように構成される。
本明細書でさらに議論されるように、いくつかの実施形態では、ユーザインタフェース150は、リアルタイムでユーザにフィードバックを提供するように構成される。例えばユーザインタフェース150を使用して、早産に関連するより良い予測及び/又は推定をもたらす画像を生成するように、超音波セッション中に超音波技師に指示を与えてもよい。
予測システム100は、任意に、妊娠に関するデータ、例えば胎児及び/又は胎児の母親に関する臨床データを受信するように構成されたデータ入力部160をさらに含む。データ入力部160は、任意に、本明細書で議論される臨床データのいずれかを受信するように構成される。臨床データは、画像解析ロジック130によって使用されて、本明細書で議論される推定及び/又は確率を生成してもよい。例えばこのデータは、本明細書で議論される臨床データのいずれか、又は画像生成器110のユーザからの入力を含むことができる。いくつかの実施形態では、データ入力部160は、超音波画像等の医学的画像をリモートソースから受信するように構成される。
予測システム100は、任意に、フィードバックロジック170をさらに含む。フィードバックロジック170は、妊娠に関連する推定及び/又は予測の質に基づいて超音波画像の収集を誘導するように構成される。例えば、撮像セッション中に取得した超音波画像の解析ロジック130を使用した解析により、予測及び/又は推定の正確さ、精度及び/又は信頼性が不十分となった場合、フィードバックロジック170は、ユーザインタフェース150を使用して、超音波画像を追加することが望ましいことをユーザに知らせてもよい。
さらに、いくつかの実施形態では、フィードバックロジックは、胎児の心拍の動き、胎児の心拍数、胎盤、子宮頸部、胎児の血流、胎児の骨の発達、胎児の脊椎、胎児の腎臓、胎児の毛細血管の血液潅流、臍帯動脈、子宮、子宮下部セグメント、子宮頸部の長さを測定するために特に撮影された子宮頸部ビュー、羊水指数(AFI)ビュー、腹囲(AC)、児頭大横径(BPD)及び他の全ての脳のビュー、大腿骨、上腕骨、子宮内膜、子宮内膜血管新生、子宮頸部に対する胎盤の縁、胎児の腎臓、付属器等の具体的な特徴の超音波画像を取得するようユーザに指示するように構成される。いくつかの実施形態では、画像解析ロジック130は、画像内に含まれる対象物及び/又は物体に従って超音波画像を分類するように構成される。例えば別個の対象物クラスは、本明細書で議論されるビュー及び/又は特徴のいずれかを含んでもよい。このような実施形態では、画像解析ロジック130は、超音波画像の物体を識別し、各対象物分類に物体の十分な質の画像が存在することを決定するように構成されてもよい。(対象物分類は、出生時の予想妊娠週数のクラスによる超音波画像の分類と混同されないようにする。)十分な画像がない場合、次いでユーザインタフェース150を使用して、画像生成器110のオペレータに追加の物体を含む追加の画像を取得するよう要求してもよい。したがって、フィードバックロジック170は、胎児が早産で生まれるという推定に有用な追加の超音波画像を収集する必要性を示すように構成されてもよい。特定の例では、画像解析ロジック130は、胎盤の妊娠週数を示す少なくとも1セットの画像と、胎児の妊娠週数を示す少なくとも1セットの画像(例えば胎児の骨の発達、及び/又は胎児の心臓の動き)と、任意に子宮の状態を示す1セットの画像と、を要求するように構成されてもよい。場合によっては、フィードバックロジック270は、胎児が早産で生まれるという推定においてより有用な画像を生成するように、画像生成器(例えば超音波探触子)の位置決めを誘導するように構成される。このような誘導は、超音波探触子を具体的な位置に位置決めすること、又は「大腿骨の全長を示す画像を取得する」等の文字/音声による要求を含んでもよい。
様々な実施形態では、フィードバックロジック170は、将来のモデルを訓練してより高い精度を得るのに有益な新たな画像の収集を誘導又は要求するように構成される。
予測システム100は、任意に、訓練ロジック180をさらに含む。訓練ロジック180は、画像解析ロジック130、フィードバックロジック170、画像収集ロジック190、及び/又は本明細書で議論される他の任意の機械学習システムを訓練するように構成される。このような訓練は、一般的には、胎児が早産で生まれるかどうかに関連する定量的予測及び/又は推定を行うことを学習するという最終目標を対象としている。例えば訓練ロジック180は、出生時の胎児の妊娠週数の定量的予測及び/又は推定を行うよう画像解析ロジック130を訓練するように構成されてもよい。本明細書の他の箇所で説明したように、この予測は、分位回帰アルゴリズム及び分類アルゴリズムの両方を一緒に又は別々に使用して行うことができる。
訓練ロジック180は、一般に知られているニューラルネットワーク訓練アルゴリズムの中から適用可能なものを任意に選択して使用することができるが、訓練ロジック180は、任意に、本明細書に開示されたニューラルネットワークをより良く訓練するための様々な改良を含む。例えばいくつかの実施形態では、訓練ロジック180は、超音波画像の特徴をより良く認識するよう画像解析ロジック130のニューラルネットワークを事前訓練するように構成される。この事前訓練は、方位、コントラスト、解像度、視点等が様々である画像に対する訓練を含むことができ、超音波画像内の解剖学的特徴を認識させることを対象とすることができる。事前訓練は、任意にラベル無しデータを使用して実行される。
いくつかの実施形態では、訓練ロジック180は、具体的な条件に対する訓練画像がまばらである又は頻度が低い場合に、追加の訓練画像を生成するように構成される。例えば、最も予測的である画像と特徴が分かれば、訓練ロジック180は、画像のサブセットを取り、GAN(敵対的生成ネットワーク)を使用して、極端な早産等を予測する特徴を含む新しい訓練画像を生成することができる。
いくつかの実施形態では、訓練ロジック180は、多数の画像のセットで訓練するように構成され、画像は任意に異なる母親からのものである。1つの画像ではなく多数の画像のセットで訓練することで、データの過学習を減らすことができる。好ましくは、セットの各々は、本明細書で議論される定量的予測を行うために有用な情報を含む少なくともいくつかの画像がセット内に存在することを十分に保証できる大きさである。
いくつかの実施形態では、訓練ロジック180は、画像を強化するよう画像解析ロジック130を訓練するように構成される。例えば、画像解析ロジック130は、質が悪い超音波画像を強化し、又は処理中の超音波画像では通常見えない胎児の毛細血管の血液潅流及び/若しくは血管新生等の特徴を明らかにするよう事前訓練されてもよい。このような強化により、手持ち式の超音波画像を使用して、処理された画像を生成して早産に関連する定量的予測を行うことができる。
予測システム100は、任意に、画像収集ロジック190をさらに含む。画像収集ロジック190は、ソーシャルメディアアカウント等の通常とは異なるソースから訓練画像と出生情報を収集するように構成されている。例えば画像収集ロジック190は、ソーシャルメディアアカウント(すなわち、Instagram(登録商標)又はFacebook(登録商標))をスクレイピングし、出生前の超音波画像を自動的に識別し、次いでそれらの画像を同じソーシャルメディアアカウント内に投稿された出産報告と相関させるように構成されてもよい。超音波画像から出産報告までの時間を使用して、超音波を収集してから出生するまでの時間、すなわち出生までの残りの妊娠期間を近似することができる。このようなソーシャルメディア収集情報は、任意に訓練ロジック180によって使用されて、画像解析ロジック130を訓練する。いくつかの実施形態では、ソーシャルメディアから検索された超音波画像(又はビデオ)は、画像上又はソーシャルメディアウェブサイト上に日時を含むであろう。また、画像上に妊娠週数を書くこともある程度一般的である。
いくつかの実施形態では、訓練ロジック180は、例えば転送学習のように、多数の段階でニューラルネットワークを訓練するように構成される。例えばニューラルネットワークは、最初に関連性のある胎児の特徴を認識するように訓練され、次いで妊娠週数を推定するように訓練され、次いで出生時の妊娠週数又は出生までの時間の長さの定量的推定を提供するように訓練されてもよい。
予測システム100は、一般的には、本明細書で説明するロジックの一部又は全部を実行するように構成されたマイクロプロセッサ195をさらに含む。例えば、マイクロプロセッサ195は、画像解析ロジック130、計算ロジック140、フィードバックロジック170、訓練ロジック180及び/又は画像収集ロジック190の一部を実行するように構成されてもよい。マイクロプロセッサ195は、これらの機能を実行するように構成された回路及び/又は光学部品を含んでもよい。
図2は、本発明の様々な実施形態による、定量的(任意に医学的)予測を行う方法を示す。定量的予測を任意に使用して、早産を予期して具体的な矯正処置を提供する。このように図2の方法の後、任意に、適切な治療及び/又は処置が続く。
画像取得ステップ210では、1つ以上の画像のセットを取得する。これらの画像は、一般的には、具体的な患者、例えば妊婦と妊婦の胎児に関連している。これらの画像は、予測システム100外部のソースから取得してもよいし、又は画像生成器110を使用して取得してもよい。例えばいくつかの実施形態では、超音波画像は、インターネット等のコンピュータネットワークを介してストレージ120にアップロードされる。電子カルテシステムから画像を受信してもよい。他の実施形態では、画像は、本明細書で議論されるいずれかのような医学的撮像システムを使用して生成される。画像は、任意にストレージ120に格納される。画像は、本明細書で議論されるビュー及び/又は特徴の任意の組み合わせを含むことができ、任意にそれぞれのビュー及び特徴に基づいて分類される(対象物分類)。
任意選択のデータ受信ステップ220では、患者(母親又は胎児)に関する追加の臨床データを受信する。この場合も、このデータは、電子カルテシステムから受信してもよく、患者及び/又は介護者によって提供されてもよい。受信された臨床データは、本明細書で議論される臨床データのいずれかを含むことができ、任意にデータ入力部160を介して受信される。
画像解析ステップ230では、画像取得ステップ210で取得した画像を、画像解析ロジック130を使用して解析する。画像を解析して、1つ以上の定量的予測を作り出す。妊娠の場合、定量的予測は、一般的には胎児の早産に関連する定量的推定を含む。例えば定量的予測は、胎児の現在(画像記録時点)の妊娠週数の推定、胎児の出生までの時間の推定、及び/又は出生時の胎児の妊娠週数の推定を含むことができる。予測は、本明細書の他の箇所で定義されている「定量的予測」である。画像に加えて、定量的予測は、任意に、データ受信ステップ220で受信された臨床データにさらに基づく。画像解析ステップ230における解析方法は、画像解析ロジック130を参照して議論されたものを含め、本明細書の他の箇所で議論されるアルゴリズム及び/又は機械学習システムの任意の組み合わせを含むことができる。例えば医学的画像を解析するステップは、分位回帰アルゴリズム及び/又は分類アルゴリズムを使用して、胎児の早産に関連する定量的予測を行うステップを含むことができる。別の例では、医学的画像を解析するステップは、回帰アルゴリズムを使用して、胎児が早産で生まれるという推定を提供し、任意に出生までの時間を推定するステップを含み、回帰アルゴリズムは、出生時の胎児の推定妊娠週数を少なくとも2つ又は3つの時間範囲のうちの1つに分類するように構成される。
画像解析ステップ230において生成され得る定量的予測の例としては、胎児が早産で生まれる確率、胎児が1つ、2つ以上の早産範囲内で生まれる確率、出産が誘発される確率、胎児が将来の時間内に生まれる確率(「将来の時間」とは開始日が将来である時間期間のこと)、「境界期早産」、「早産」又は「極端な早産」(これらのクラスは時間期間が定義されている)としての出産の分類、妊娠に関連する有害な医学的状態の予測、母親及び/又は胎児の出産後の健康問題の予測、胎盤がそのまま排出されないという予測等が挙げられる。
任意選択のフィードバック提供ステップ240では、ユーザ(例えば介護者)に、画像の収集に関するフィードバックを提供する。このフィードバックは、例えば定量的予測の質及び/又は既に収集された画像の分類に基づくことができる。具体的な例では、超音波セッション中に、介護者は、異なる解像度、異なるビュー、異なる特徴等の追加画像を収集するように要求されることがある。画像取得ステップ210と画像解析ステップ230が任意に繰り返された後、フィードバック提供ステップ240が続く。
予測提供ステップ250では、画像解析ステップ230で生成した定量的予測を、例えば患者又は介護者等のユーザに提供する。予測は、任意に、ストレージ120及び/又は電子カルテ(EMR)システムにも置かれる。様々な実施形態では、予測は、ウェブインタフェースを介して、EMRシステムを介して、モバイルアプリケーションを介して、画像生成器110のディスプレイ、計算装置のディスプレイ上等に提供される。
図3は、本発明の様々な実施形態による、医学的予測システムを訓練する方法を示す。図3に示す方法を任意に使用して、画像解析ロジック130、フィードバックロジック170及び/又は画像収集ロジック190を訓練する。これらの方法は、訓練ロジック180を使用して実行されてもよい。
画像受信ステップ310では、複数の医学的画像を訓練セットとして受信する。受信された医学的画像は、任意に、妊娠中の胎児の超音波画像を含む。受信された画像は、任意に、図5に示す方法を使用して取得され、ストレージ120に格納されてもよい。
任意選択の分類ステップ320では、受信された画像を、画像内に含まれるビュー又は特徴に従って分類する。例えば画像は、胎児の心臓を示すものであると分類されることもあれば、又は胎盤を示すものであると分類されることもある。分類ステップ320は、任意に、画像解析ロジック130に含まれるニューラルネットワークによって実行され、及び/又は訓練ロジック180によって訓練される。また、分類ステップ320は、各画像における胎児の(実際の又は推定)妊娠週数、及び/又はそれぞれの妊娠の既知の結果に従って画像を分類するステップを含んでもよい。例えば画像は、妊娠12週に生成されたものであると分類されることもあれば、画像が生成されてから数週間後に生まれた胎児のものであると分類されることもあり、及び/又は(早産の程度が様々である)早産となった胎児/母親のものであると分類されることもある。
任意選択のフィルタステップ330では、受信された画像をフィルタリングする。フィルタリングするステップは、予測値がほとんど又は全くないと決定された、特徴又はビューを欠く画像を削除するステップを含んでもよい。例えば、母親の膀胱の画像のクラスは、定量的予測を決定する上でほとんど価値がないと決定されることがあり、このクラスの画像は訓練セットから削除されることがある。また、画像は、画質又は解像度等に応じてフィルタリングされてもよい。
いくつかの実施形態では、フィルタステップ330は、様々なクラスにおける複数の画像を均衡化するステップを含む。例えば訓練目的のために、極端な早産、早産、人工出産、正産期出産の数をほぼ同数にすることが望ましい場合がある。具体的には、均衡化するステップを使用して、出生時の妊娠週数に基づいて画像の量を調整してもよい。同様に、訓練目的のために、分類ステップ320で決定されたビュー及び/又は特徴の分類に基づいて、訓練セット内の画像の数を均衡化することが望ましい場合がある。
任意選択の事前訓練ステップ340では、ニューラルネットワークを、任意に、画像又は画像の種類内の特徴を認識するよう事前訓練する。例えば、画像解析ロジック130内のニューラルネットワークは、超音波画像の様々な方位、解像度及び/又は質の特徴を認識するよう事前訓練されてもよい。
訓練ステップ350では、ニューラルネットワークを、胎児の出生に関する定量的予測を提供するよう訓練する。本明細書の他の箇所で議論されるように、定量的予測は、出生時の胎児の妊娠週数の推定、胎児の現在の妊娠週数の推定、及び/又は胎児の出生までの残りの時間の推定を含むことができる。
任意選択のテストステップ360では、テスト画像を使用して、訓練ステップ350で訓練したニューラルネットワークによる予測をテストする。このテストを実行して、ニューラルネットワークによって生成される定量的予測の精度及び/又は正確さを決定してもよい。
図4は、本発明の様々な実施形態による、医学的予測に基づいて有益な治療を識別する方法を示す。医学的状態及び/又は結果の定量的予測を可能にする、本明細書に開示されたシステム及び方法は、有益な治療を識別するための新たな機会を提供する。例えば、望ましくない医学的状態又は事象を予防又は改善することができる治療等である。本明細書に開示された予測の定量的性質により、結果の定量的変化を検出し、治療の有効性の評価に使用することができる。この手法は、本明細書で議論される医学的状態のいずれにも使用し得る。さらに、医学的状態は、定量的予測が決定される時点で存在する又は明らかである必要はない。治療は、薬剤の投与又は物理的処置を含んでもよい。特定の例では、出生の少なくとも1、2、3、4又は6か月前に取得した超音波画像に基づいて、妊婦に対する安静を含む物理的処置の有効性を処方及び/又は評価することができる。治療は、母親の行動の変化を含んでもよい。例えば、身体活動を減らす、身体的に激しい仕事を避ける、等である。治療は、経過観察の超音波検査と評価をさらに含んでもよい。
将来の医学的状態又は事象の定量的予測を任意に使用して、臨床試験のための集団を選択的に選択する。例えば、極端な早産が発生するのは妊娠の1%未満であると仮定すると、妊娠初期に非識別の1%の利益を検出するために、妊婦の一般集団に候補治療を行うのは非効率的である。しかし、極端な早産に至る可能性が最も高い妊娠の1%を識別することで、この集団内で候補治療に対する利益を調査することができる。このような調査は、はるかに効率的であり、より良い統計的関連性で利益を明らかにする可能性が高い。本明細書に開示されたシステム及び方法を使用して、臨床研究のためのそのような好ましい集団を識別してもよい。この手法は、例えばアルツハイマー病又は認知症等、明確な症状が現れるよりもかなり前から発症が始まる(そして治療の利益を享受できる)疾患に対して特に有益である。
予測決定ステップ410では、具体的な患者について、将来の医学的状態の定量的予測を決定する。本明細書の他の箇所で議論されるように、定量的予測は、医学的状態が将来の時間範囲内に発生する確率を含むことができ、定量的予測は、患者の医学的画像の解析に基づくことができる。本明細書で使用される「将来の」時間範囲とは、現在の時刻から始まる時間範囲ではなく、将来のある時間に始まる時間範囲を示すことを意味する。例えば、妊娠中期の超音波検査を受けた時点で、将来の時間範囲は、正産期妊娠の1~2週間前又は2~4週間前となることがある。定量的予測は、本明細書で説明するシステム及び/又は方法のいずれかを使用して行ってもよい。様々な実施形態では、定量的予測を決定するステップから将来の時間範囲までの時間遅延は、数週間、数ヶ月又は数年であってもよい。例えば早産の場合、遅延は少なくとも1、2、3、4又は5ヶ月であってもよい。
候補提供ステップ420では、具体的な患者に候補治療を提供する。治療は、薬剤の投与及び/又は、安静、具体的な食事、身体運動、理学療法、頭の体操、透析、支持服の使用等の物理的処置を含んでもよい。いくつかの実施形態では、候補治療は、定量的予測の基準を満たす患者にのみ提供される。任意に、候補治療は、医学的状態が将来の時間範囲内に発生する定量的予測が50%、66%又は75%を超える患者にのみ提供される。例えばある医薬品は、胎児の極端な早産のリスクが75%を超える妊婦にのみ提供される場合がある。候補治療は、患者が医学的状態の外見的な症状を示す前に、患者に提供されてもよい。
繰り返しステップ430では、将来の医学的状態の定量的予測を決定し、候補治療を複数の患者に提供するステップを繰り返す。患者の数は、統計的に十分な母集団を含むように選択されてもよい。
関連性決定ステップ440では、候補治療がそれぞれの時間範囲で複数の患者に統計的関連性のある利益をもたらしたかどうかを決定する。関連性決定ステップ440は、一般的には、予測決定ステップ410及び候補提供ステップ420後のある時点で、それぞれの患者に対して行われる。関連性決定ステップ440は、各患者について複数のそれぞれの時間範囲に対して、及び/又は異なる患者について異なるそれぞれの時間範囲に対して実行されてもよい。時間範囲は、予測決定ステップ410で将来の医学的状態が予測された時間範囲である。関連性決定ステップ440は、任意に、候補治療を受けた患者とプラセボを投与された患者とを比較するステップを含む。本明細書中で使用される「統計的関連性のある利益」とは、治療の受容及び/若しくは政府承認、又は治療をさらに調査/改良する動機付けにつながる利益をいう。
識別ステップ450では、統計的関連性のある利益に基づいて、候補治療を有益な治療として識別する。候補治療に統計的に関連付けられる改善は、ある集団の患者が介入に適合していることを示す指標でもあること注意されたい。この情報を任意に使用して、介入(治療)を改善する。
図5は、本発明の様々な実施形態による、超音波画像を収集する方法を示す。これらの方法では、ソーシャルメディアアカウントへの投稿を使用して訓練データを生成し、これを任意に使用して図3に示す訓練方法を実行する。図5に示す方法は、任意に、画像収集ロジック190を使用して実行され、超音波画像以外の画像に適用されてもよい。
スクレイピングステップ510では、Facebook(登録商標)又はInstagram(登録商標)等のソーシャルメディアアカウントのコンテンツをレビューし、そのコンテンツにアクセスする。このアクセスは、ブラウザ又はウェブクローラ等の自動システムを使用して実行されてもよい。
画像識別ステップ520では、アクセスしたソーシャルメディアカウント内の胎児を含む超音波画像を識別する。この画像のソーシャルアカウント名(例えばユーザ名及び/又はURL)と投稿日を記録する。任意に、しかし必ずしも必要ではないが、超音波画像はダウンロードされ、ストレージ120に格納される。
出生識別ステップ530では、画像識別ステップ520で記録したソーシャルメディアカウントを再訪問して、出産報告を識別する。そして、出産報告は、超音波画像に見られる胎児に関連付けられると仮定される。
計算ステップ540では、超音波画像をソーシャルメディアアカウントに投稿してから出産報告をソーシャルメディアアカウントに投稿するまでの時間を計算する。次いで、計算された時間は、超音波画像の生成から出生までの時間を表していると仮定される。
訓練ステップ550では、超音波画像及び計算された時間を使用して、ニューラルネットワークを訓練する。ニューラルネットワークは、任意に画像解析ロジック130内に含まれ、超音波画像が早産を示す任意選択の定量的予測を生成するように訓練される。
図2~図5に示す様々な方法は、任意に組み合わせて使用され、任意に図1に示すシステムを使用して実行される。例えば、図2と図3、及び/又は図3と図4の方法を一緒に使用してもよい。図5の方法を使用して、本明細書に開示された他の方法の訓練データを生成してもよい。
例:以下は例示的な例であり、本明細書で議論される実施形態のいずれにも含まれ得る。
本明細書で議論されるニューラルネットワークの訓練には、あらゆる妊娠週数からの全ての超音波を使用する。ただし、妊娠週数の範囲に対して異なるモデルを作成することができる。
注:以下のモデルは、作業モデルの作成方法を示す単なる個々の実施形態である。学習率、バッチサイズ、エポック数等のハイパーパラメータの多くは問題なく調整できる。
コードで使用される全てのライブラリをインポートする。
調査のうち赤ちゃんが妊娠週数37週未満で出生した場合は、一般に「早産」に分類し、37週以上は「正期産」に分類する。
早産カテゴリをさらに3つのグループに分解する。
極端な早産(28週未満)
超早産(28~32週)
中等度早期(32~37週)
ただし 、この特定の分解は厳密には必要ではなく、他の分類を使用してもよい。
早産カテゴリをさらに3つのグループに分解する。
極端な早産(28週未満)
超早産(28~32週)
中等度早期(32~37週)
ただし 、この特定の分解は厳密には必要ではなく、他の分類を使用してもよい。
以下のパスは、「極端な早産」、「超早産」、「中等度早産」、又は「正常」といった予測される各クラスについてサブフォルダを1つずつ含むフォルダである。これは1つの実施形態に過ぎず、任意の数の異なる分類も機能する。例えば、2つ、3つ、4つ又はそれ以上のクラスがあってもよい。
早産は、使用したデータセットの全体の約10%であるが、今回のように均衡したデータセットを使用するときには訓練の方が効果的であると考えられる。検証セットは、実世界での分布の精度を反映するこの実施形態では均衡していないが、他の実施形態では均衡していてもよい。いくつかの実施形態では、ニューラルネットワークは、4つのカテゴリのうちの1つのインスタンスを供給される機会が均等である。様々な実施形態では、訓練セットの少なくとも50%又は75%は、可能なクラス間で均衡した画像を含む。
任意に、画像サイズを400×400ピクセルに設定する。このデータセットの画像のほとんどはこの数倍のサイズであり、訓練と推論の効率を上げるためにサイズを小さくしている。画像サイズを大きくすると精度は高くなるが、リターンは低下する。代替実施形態は、少なくとも224×224ピクセル、640×640ピクセル若しくは2048×2048(ピクセル)、又はその間の任意の範囲の画像を使用する。
これは、訓練及び検証中にニューラルネットワークにデータを供給するオブジェクトを作成する。調査の10%は、訓練の監視に使用される検証セットに入れられる。検証セットは、訓練データ及び先進国一般に存在する早産児の分布と同じものを含む。データは訓練のために不均衡となっているが、検証セットは天然分布であり、いかなる方法でも均衡していない。バッチサイズは自由に28画像に設定でき、必要に応じて調整できる。aug_transformsという関数を追加すると、各画像がランダムに拡張され、これにより過学習を減らすことができる。拡張の例としては、輝度の調整、コントラストの調整、画像の水平方向の反転等が挙げられるが、これらに限定されない。この実施形態は、損失関数として2値交差エントロピー(Binary Cross Entropy)を使用し、これは各画像に対して正確に1つのラベルが存在するにもかかわらず、マルチラベル分類問題として訓練する。他の実施形態は、カテゴリ交差エントロピー、又はデータが回帰問題として見られる場合には平均二乗誤差等、他の損失関数を使用することができる。
訓練と推論を高いレベルで制御するオブジェクトを作成する。重みの減衰に高い値を使用することは、一実施形態に過ぎない。他の形式で重み値を正規化しても同様の効果をもたらす可能性がある。
転移学習に使用するための事前訓練ネットワークを取得するが、最初のランダム化された形成からニューラルネットワークを訓練することもまた有効である。この場合、ResNet-152を使用する。他の種類のresnetも機能し、層の数が多いほど精度が高くなる。他の多くのニューラルネットワークでも使用可能な結果が得られるだろう。以下の例は、訓練の一例を示す。代替実施形態では、パラメータとステップを変えてもよい。
これは、ニューラルネットワークの畳み込み部分のパラメータを凍結し、線形層だけの訓練を可能にする。他の実施形態は、必ずしも層を凍結するステップを必要としない。
スケジューラで学習率を徐々に上げ、その後下げながら、10エポック間ニューラルネットワークを訓練する。最大学習率は1e-3となる。他の実施形態は、代替訓練スケジュールを使用してもよい。
これは、畳み込み層を含むニューラルネットワーク全体の訓練を可能にする。
スケジューラで学習率を徐々に上げ、その後下げながら、5エポック間ニューラルネットワークをさらに訓練する。最大学習率は1e-5となる。
スケジューラで学習率を徐々に上げ、その後下げながら、5エポック間ニューラルネットワークをさらに訓練する。最大学習率は1e-5となる。
予測の閾値が0.5に設定されている場合、この実施形態の最良検証精度は86%である。
このネットワークは、この予測を行うための、調査の最も有用な具体的な解剖学的ビューを決定することを可能にする。ネットワークに供給される具体的な解剖学的ビュー又は他の情報は、それが一般的に有益な情報がない場合は除外することができ、又は最終的な予測を計算する際に様々なビューを重み付けすることができる。
各予測は、モデルの信頼度のスコアを出力する。このスコアは、超音波装置上でリアルタイムに使用されて、精度を向上させるビューを取得したときに超音波技師に通知することができる。あるいは、ソフトウェアは、技術者の労力を必要とせずに信頼度の高いビューを見つけたときに、自動的に取り込むことができる。この技術を使用して、更新されたモデルを継続的に改善するための訓練セットを作成することができ、この訓練セットは、将来のモデルを訓練するためのより良いデータを取り込むフィードバックループである。
訓練されたシステムを任意に使用して、超音波技師にリアルタイムのフィードバックを提供する。例えばシステムは、最も予測可能であると期待される画像を取得したとき、又は取得できなかったときに、技術者に通知してもよい。システムは、母親、胎児又はその両方の具体的な解剖学的構造の画像を取得するよう技術者に要求することができる。取得した画像が早産を予測していると識別したとき、システムは、早産の予測を確認又は否定するために追加の画像を取得するよう技術者に要求してもよい。例えば、胎児の解剖学的構造の一部(例えば心臓)の画像が早産を予測する場合、システムは、その解剖学的構造のさらなる画像又は胎児の解剖学的構造の別の部分(例えば手又は顔)のさらなる画像を取得するよう技術者に要求してもよい。
個々の超音波に基づいて予測を行い、次いでこれらの個々の予測を単純に集計することは有用であるが、改善することができると判断した。この方法の最大の課題は、1つの超音波記録セッションの中で、ある超音波画像は確信的な早産の予測を示し、一方他の解剖学的部位の超音波画像は確信的に正産という結果を予測するため、単純な集計はあまり効果的でないということである。そこで、多数の画像をニューラルネットワーク又はネットワークのシーケンスを通して1つのパスで分類できるようにする、ニューラルネットワークを作成することを決定した。ニューラルネットワークに同時に供給される画像の数が増えると、一般的に精度も上がる。そこで、多数の画像を1つのネットワーク(又はネットワークのシーケンス)を通して(並列的又は連続的に)渡す、より効率的な方法を開発した。
これは必ずしも分類問題である必要はない。予測する値は、所望のターゲットを表す数値とすることができ、回帰を実行するニューラルネットワークが代わりに作成される。
訓練データは、データが特定のクラスに制限されている場合に、画像をあるクラスから別のクラスに変更するようにニューラルネットワークを訓練することによって作成することができる。画像をあるクラスから別のクラスに変換することができるニューラルネットワークの例としては、CycleGANがある。
必ずしも画像を使用する必要はない。画像に変換する前に超音波装置が取り込んだ元となる音波も、この予測のために画像の代わりとして、又は画像に加えて使用することができる。
[CNN-LSTM(畳み込みニューラルネットワーク-長期短期記憶)]
次いで、各画像から有用な情報を抽出し、それを多数のニューラルネットワークを組み合わせて1つのニューラルネットワークに集約できるニューラルネットワークを作成することができると判断したが、これらのネットワークは、別の実施形態では別個のものとすることができる。超音波セッションとは、技術者が患者との1回のやりとりで画像のセットを撮影することである。多くの超音波セッションの画像が100枚を超えることを考慮すると、これは処理効率と精度に有用である。LSTMは、データ点がシーケンス内で相関関係にある連続的な(又は時系列の)データで使用されるように設計されている。超音波セッションの超音波画像は、あったとしても大した順序はないが、この種のネットワークは、1つの画像を処理する前のステップからの情報を伝達し、超音波セッションの各画像が処理された後、この結合された情報を分類することができる。超音波技師は、一般的にはある解剖学的特徴を見てから別の解剖学的特徴に移るため、超音波セッションにはあまり大きな順序がない。使用される解剖学的特徴は、母親又は胎児に限定される必要はなく、両方の組み合わせである可能性があることに留意すべきである。セッション全体のビデオを記録することが可能であり、その実施形態では、ビデオ内の画像は連続的な性質を持ち、この一般的な技術を採用することができる。
次いで、各画像から有用な情報を抽出し、それを多数のニューラルネットワークを組み合わせて1つのニューラルネットワークに集約できるニューラルネットワークを作成することができると判断したが、これらのネットワークは、別の実施形態では別個のものとすることができる。超音波セッションとは、技術者が患者との1回のやりとりで画像のセットを撮影することである。多くの超音波セッションの画像が100枚を超えることを考慮すると、これは処理効率と精度に有用である。LSTMは、データ点がシーケンス内で相関関係にある連続的な(又は時系列の)データで使用されるように設計されている。超音波セッションの超音波画像は、あったとしても大した順序はないが、この種のネットワークは、1つの画像を処理する前のステップからの情報を伝達し、超音波セッションの各画像が処理された後、この結合された情報を分類することができる。超音波技師は、一般的にはある解剖学的特徴を見てから別の解剖学的特徴に移るため、超音波セッションにはあまり大きな順序がない。使用される解剖学的特徴は、母親又は胎児に限定される必要はなく、両方の組み合わせである可能性があることに留意すべきである。セッション全体のビデオを記録することが可能であり、その実施形態では、ビデオ内の画像は連続的な性質を持ち、この一般的な技術を採用することができる。
訓練セット、検証セット、テストセットに分けたデータを入手する。訓練データは通常とは異なる方法で作成する。各調査を画像の個別のフォルダとして使用するのではなく、全ての正産の調査と全ての早産の調査のプールから、ある範囲の画像をランダムにサンプリングするフォルダを作成する。また、実行時に、所望のシーケンス長の各クラスのプールからの画像をサンプリングすることも可能である。他の実施形態は、2、3以上のクラス又は数値を使用することができる。これにはいくつかの理由がある。
第一に、多くの超音波セッションの妊娠週数は、誤差範囲が37週の境界期と重なっており、これは訓練データに誤ってラベル付された調査がかなりの数含まれていることを意味する。
第二に、早産の原因が現れる前に何らかの早産調査が行われたり、どの時点の超音波検査でも早産の原因が見えなかったりすることがある。
ランダムに選択することで、各訓練サンプルが、正しい予測を行うために必要な情報を含む超音波を持つことが可能になる。
予測の代替方法は、超音波検査の日から出生までの時間を予測し、次いでその時間枠が入るクラスを計算することである。この予測は、その後の分類を行わずとも有用である。
また、一般的に、一度の妊娠で多数の超音波検査セッションが実行されることにも留意すべきである。また、予測を行うときには、一度の妊娠からの多数のセッションを組み合わせることもできる。
1回のセッションで切迫早産が示されることがあるが、信頼性は高くない可能性がある。したがって本システムは、フォローアップセッションが望まれること、及びフォローアップセッションを実施すべきタイミングを示してもよい。
一般に、早産には、多数の根本原因があると考えられており、それぞれが異なる処置を提案する。ネットワークは、早産の予測の原因となる解剖学的ビューを医師に知らせることができ、より多くの情報に基づいて処置を選択することを可能にする。
ニューラルネットワークによる予測の誤差を利用して、早産に対する新しい処置を決定し、又は早産に対する理解を深めることができる。例えばネットワークが早産を予測したが、子どもが早産ではなかった場合、その患者の医学的データをデータマイニングして共通点を探し出し、新しい処置を発見することができる。
[データ収集]
1つの調査からの画像を含む各フォルダへのパスを入手する。
1つの調査からの画像を含む各フォルダへのパスを入手する。
この例では、シーケンスの長さを36画像としているが、より小さい又は大きい範囲を使用することができる。画像が多いとより良く機能する可能性が高いが、リターンは低下する。使用されている画像サイズは、画像分類問題に一般的に使用される224×224ピクセルよりもかなり大きい400×400ピクセルである。しかし、より小さい又は大きい画像でも機能する。
エンコーダクラスは、1つの超音波画像で事前訓練されたモデルをとる。最終的な分類層を削除し、各画像について512の特徴を返す。しかし他の実施形態では、特徴の数は1と同じくらい少なくてもよく、512よりはるかに多くてもよい。
CNNLSTMモジュールは、各画像から特徴を取り、画像のシーケンス全体を分類する。
訓練と推論を高いレベルで制御するLearnerオブジェクトを作成する。重みの減衰に高い値を使用することは、正しい予測を行うのに役立つ。
GPUメモリの制約が必要な場合は、GradientAccumulationを使用することができる。これにより、ネットワークの重みを更新する前に、32項目の勾配が累積される。
ModelReseterは、バッチ間のLSTMの隠れ状態をリセットする。
cnnlstm_splitterは、ネットワーク全体の一部を凍結させながら、別の部分の重みを更新することができる。
スケジューラで学習率を徐々に上げ、その後下げながら、5エポック間ニューラルネットワークを訓練する。最大学習率は1e-3となる。これらのパラメータは、この実施形態のために単に選んだものであり、他の多くの選択肢も機能する。
[代替実施形態]
調査の個々の予測を集計し、トーナメントを実行して最終的な分類を決定する。
調査の個々の予測を集計し、トーナメントを実行して最終的な分類を決定する。
示したCNN-LSTMの代わりに強化学習を使用することができる。
データの異なるサブセットで訓練された多数のモデルを使用して、一般的には精度を高めるアンサンブルを作成する。
示したCNN-LSTMの代わりに、CNNモデルをLSTMセルに組み込んだConvLSTMを使用する。
患者の年齢又は既往歴に関連する事象等の画像と組み合わせて、患者に関する追加データを使用する。
早産クラスに加えて、追加の出力を使用することができる。いくつかの例としては、出生までの日数、出生時の体重、現在の妊娠週数等がある。予測のための多数の出力を持つことは、予測される様々な項目間の固有の関係により、予測の全体的な精度を改善することができる。これらの代替予測のいずれも、必要に応じて早産予測なしで実行することができる。
[結論]
本明細書に開示されたシステム及び方法は、臨床の現場から得られた実データに適用されており、90%を超える陽性的中率及び90%を超える陰性的中率を一貫してもたらすことが示されている。場合によっては、99%を超える陽性的中率及び97%を超える陰性的中率を含む結果を達成している。
本明細書に開示されたシステム及び方法は、臨床の現場から得られた実データに適用されており、90%を超える陽性的中率及び90%を超える陰性的中率を一貫してもたらすことが示されている。場合によっては、99%を超える陽性的中率及び97%を超える陰性的中率を含む結果を達成している。
いくつかの実施形態を本明細書で具体的に図示及び/又は説明している。しかし、修正及び変形が、その趣旨及び意図された範囲から逸脱することなく、上記の教示によってカバーされ、かつ特許請求の範囲内に含まれることが認識されるだろう。例えば、超音波画像及び早産が例として本明細書に教示されているが、本明細書で説明するシステム及び方法は、他の医学的情報及び状況にも適用されてもよい。例えば、アルツハイマー病、認知症、多発性硬化症、感染症の長期の後遺症、子宮頸がん、卵巣がん、子宮がん、及び/又は超音波画像に前駆病変が存在し得る他の任意の医学的状態の予測が挙げられる。開示された方法及びシステムを使用して、現在の臨床状態を個別に又は将来の状態の(任意に定量的な)予測と組み合わせて決定してもよい。また、本明細書に開示されたシステム及び方法を使用して、出生後の胎児の将来の健康状態を予測してもよい。例えば、将来の学習障害、認知能力、性格、様々な器官の発達不良又は機能低下等が挙げられる。
本明細書の教示は、医学的画像、例えば超音波画像の使用を含むが、様々な実施形態では、システム及び方法は、画像の形式以外の生のデータを使用してもよい。例えば画像解析ロジック130は、任意に、生の超音波データから生成された画像ではなく、又はそれに加えて、生の超音波データを処理するように訓練される。
本明細書で議論される実施形態は、本発明を例示するものである。本発明のこれらの実施形態が例示を参照して説明されているため、説明した方法及び特定の構造の様々な修正又は適合が当業者に明らかになる可能性がある。本発明の教示に依拠し、かつこれらの教示によって技術を進歩させた全てのこのような修正、適合又は変形の全ては本発明の精神及び範囲内にあると考えられる。したがって、本発明が例示された実施形態のみに限定されるものではないことが理解されるため、これらの説明及び図面は限定的な意味で考慮されるべきではない。
本明細書で議論される「ロジック」は、非一過性のコンピュータ可読媒体に格納されたハードウェア、ソフトウェア又はそれらの任意の組み合わせを含むように明示的に定義される。このロジックを電子及び/又はデジタル装置に実装して、特殊用途計算システムを作り出してもよい。本明細書で議論されるシステムのいずれかは、任意に、本明細書で議論されるロジックの任意の組み合わせを実行するように構成された電子回路及び/又は光学回路を含むマイクロプロセッサを含む。本明細書で議論される方法は、任意に、当該マイクロプロセッサによるロジックの実行を含む。
本明細書で言及する計算システム及び/又はロジックは、集積回路、マイクロプロッサ、パーソナルコンピュータ、サーバ、分散型計算システム、通信装置、ネットワーク装置等、及びこれらの様々な組み合わせを含むことができる。また、計算システム又はロジックは、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、磁気媒体、光学媒体、ナノ媒体、ハードドライブ、コンパクトディスク、デジタル多用途ディスク(DVD)、光学回路、及び/又はデータベースのようなアナログ若しくはデジタル情報を格納するように構成されたその他の装置等の、揮発性及び/又は不揮発性メモリを含んでいてもよい。本明細書で使用されるコンピュータ可読媒体は、明示的に紙を除く。本明細書に記載された方法のコンピュータ実装ステップは、コンピュータ可読媒体に格納された命令のセットを含むことができ、これは、実行されると計算システムにステップを実行させる。プログラムソフトウェアからの命令に従って特定の機能を実行するようにプログラムされた計算システムは、それらの特定の機能を実行するための特殊用途計算システムである。特殊用途計算システムがこれらの特定の機能を実行する間に操作されるデータは、少なくとも、計算システムのバッファに電子的に保存され、格納されたデータが変化するごとに、特殊用途計算システムをある状態から次の状態へと物理的に変化させる。
Claims (54)
- 早産を予測するように構成された医学的予測システムであって、前記システムは、
超音波画像を格納するように構成された画像ストレージであって、前記超音波画像が胎児を含む、画像ストレージと、
前記超音波画像に基づいて前記胎児が早産で生まれるという定量的予測を提供するように構成された画像解析ロジックと、
少なくとも前記胎児が早産で生まれるという前記予測をユーザに提供するように構成されたユーザインタフェースと、
前記画像解析ロジックの少なくとも一部を実行するように構成されたマイクロプロセッサと、を備える、システム。 - 前記超音波画像を生成するように構成された画像生成器をさらに備える、請求項1に記載のシステム。
- 前記胎児又は前記胎児の母親に関する臨床データを受信するように構成されたデータ入力部をさらに備え、
前記胎児の出生までの推定時間が前記臨床データに基づく、請求項1又は2に記載のシステム。 - 前記胎児が早産で生まれるという前記予測の質、又は収集された前記画像の対象物クラスへの分類に基づいて前記超音波画像の収集を誘導するように構成されたフィードバックロジックをさらに備える、請求項1~3のいずれか一項に記載のシステム。
- 前記胎児の出生までの時間を推定するように構成された前記ロジックを訓練するように構成された訓練ロジックをさらに備える、請求項1~4のいずれか一項に記載のシステム。
- ソーシャルメディアソースから医学的データを収集するように構成された画像収集ロジックをさらに備え、
前記医学的データが訓練画像と出生情報とを含み、
前記訓練画像が超音波を使用して生成される、請求項1~5のいずれか一項に記載のシステム。 - 前記胎児を含む前記超音波画像が少なくとも1ヵ月、2ヵ月又は3ヵ月を含む期間にわたって生成される、請求項1~6のいずれか一項に記載のシステム又は請求項31~53のいずれか一項に記載の方法。
- 前記超音波画像が、ドップラー情報、又は体液、骨若しくは組織の密度情報を含む、請求項1~7のいずれか一項に記載のシステム又は請求項31~53のいずれか一項に記載の方法。
- 前記画像解析ロジックが、
前記超音波画像に基づいて前記胎児の妊娠週数を推定するように構成された第1のロジックであって、前記妊娠週数が前記超音波画像生成時点のものである、第1のロジックと、
前記超音波画像に基づいて前記胎児の出生までの時間を推定するように構成された第2のロジックと、
前記胎児の出生時に前記胎児の推定妊娠週数を計算するように構成されたロジックと、を備える、請求項1~8のいずれか一項に記載のシステム又は請求項31~53のいずれか一項に記載の方法。 - 前記画像解析ロジックが、回帰アルゴリズムを使用して、前記胎児が2つ以上の時間範囲内に早産で生まれるという推定を提供し、任意に出生までの時間を推定するように構成され、
前記回帰アルゴリズムが任意に分位回帰アルゴリズムである、請求項1~9のいずれか一項に記載のシステム。 - 前記画像解析ロジックが、範囲予測を出力する回帰アルゴリズムを使用して、前記胎児が早産で生まれるという推定を提供し、任意に出生までの時間を推定するように構成される、請求項1~10のいずれか一項に記載のシステム。
- 前記画像解析ロジックが、分類アルゴリズムを使用して、前記胎児が早産で生まれるという推定を提供するように構成され、
前記分類アルゴリズムが少なくとも2つ又は3つの出生タイミングの分類を含む、請求項1~11のいずれか一項に記載のシステム。 - 前記画像解析ロジックが、超音波画像を受信し、前記胎児が早産で生まれるという前記予測を表す出力を生成するように構成されたニューラルネットワークを含む、請求項1~12のいずれか一項に記載のシステム。
- 前記画像解析ロジックが、超音波画像を受信し、前記胎児の出生までの時間を示す出力を生成するように構成されたニューラルネットワークを含む、請求項1~13のいずれか一項に記載のシステム。
- 前記胎児が早産で生まれるという前記定量的予測が、前記胎児が早産で生まれる確率の推定を含み、
前記推定が、任意に、子宮頸部及び/又は羊水指数の画像に基づく、請求項1~14のいずれか一項に記載のシステム。 - 前記定量的予測が、子宮内膜及び/又は子宮壁を含む超音波画像に基づく、請求項1~15のいずれか一項に記載のシステム。
- 前記ユーザインタフェースが、妊娠週数、前記胎児の出生までの推定時間及び出生時の前記妊娠週数の少なくとも2つをユーザに提供するように構成される、請求項1~16のいずれか一項に記載のシステム。
- 前記画像生成器が、音源と、音検出器と、前記音検出器によって検出された音に基づいて前記超音波画像を生成するように構成されたロジックと、を備える、請求項2~17のいずれか一項に記載のシステム。
- 前記画像生成器が、前記画像解析ロジックの出力に基づいて前記超音波画像の前記生成を適合させるように構成される、請求項2~18のいずれか一項に記載のシステム。
- 前記画像生成器が、胎児の動きを表す画像のシーケンスを生成するように構成され、
前記画像のシーケンスが、任意に、胎児の血流、毛細血管の豊富さ、及び/又は心臓の動きを含む、請求項2~19のいずれか一項に記載のシステム。 - 前記画像生成器が、前記超音波画像を生成するように構成された音源の位置を修正するようユーザに指示するように構成される、請求項2~20のいずれか一項に記載のシステム。
- 前記画像解析ロジックが、データ入力部を介して受信された臨床データに基づいて前記胎児が早産で生まれるという予測をするようにさらに構成される、請求項1~21のいずれか一項に記載のシステム。
- 前記臨床データが、母親の遺伝、母親の体重、母親の妊娠歴、母親の血糖値、母親の心臓機能、母親の腎臓機能、母親の血圧、胎盤の状態、母親の感染症、母親の栄養、母親の薬剤使用(喫煙とアルコール摂取)、母親の年齢、及び/又は母親の子宮頸部若しくは子宮の特性のうちの少なくとも1つを含む、請求項22に記載のシステム又は請求項41に記載の方法。
- 前記フィードバックロジックが、前記胎児が早産で生まれるという前記予測においてより有用な画像を生成するように、画像生成器の位置決めを誘導するように構成される、請求項4~23のいずれか一項に記載のシステム。
- 前記フィードバックロジックが、前記胎児が早産で生まれるという前記予測に有用な追加の超音波画像を収集する必要性を示すように構成される、請求項4~24のいずれか一項に記載のシステム。
- 前記画像解析ロジックが機械学習システムを含み、
訓練ロジックが、前記超音波画像の特徴を認識するよう前記機械学習システムを事前訓練するように構成される、請求項1~25のいずれか一項に記載のシステム。 - 前記画像解析ロジックが機械学習システムを含み、
訓練ロジックが、前記胎児が早産で生まれるという前記定量的予測を行うよう前記機械学習システムを訓練するように構成される、請求項1~26のいずれか一項に記載のシステム。 - 前記画像解析ロジックが機械学習システムを含み、
訓練ロジックが、回帰アルゴリズムと分類アルゴリズムの両方を使用して前記胎児が早産で生まれるという前記予測を行うよう前記機械学習システムを訓練するように構成される、請求項1~27のいずれか一項に記載のシステム。 - 前記画像収集ロジックが、ソーシャルメディアアカウントから前記訓練画像を収集し、同じそれぞれのソーシャルメディアアカウントから生年月日を含む出生情報を収集し、前記訓練画像の前記生成からそれぞれの前記生年月日までの時間を決定するように構成される、請求項6~28のいずれか一項に記載のシステム。
- 前記画像収集ロジックが、ソーシャルメディアアカウント内の超音波画像を検出するように構成され、ソーシャルメディアアカウント内の関連する出産報告を検出するように構成される、請求項6~29のいずれか一項に記載のシステム。
- 早産の定量的予測を生成する方法であって、前記方法は、
胎児を含む医学的画像のセットを取得するステップと、
機械学習システムを使用して前記医学的画像を解析して前記定量的予測を作り出すステップであって、前記定量的予測が前記胎児の出生までの時間の推定又は出生時の前記胎児の妊娠週数の推定を含む、ステップと、
前記定量的予測をユーザに提供するステップと、を含む、方法。 - 医学的予測システムを訓練する方法であって、前記方法は、
複数の医学的画像を受信するステップであって、前記医学的画像が任意に妊娠中の胎児の超音波画像を含む、ステップと、
任意に、前記画像をフィルタリングして、前記複数の医学的画像から予測値の乏しい画像を削除するステップと、
任意に、前記画像内に含まれるビュー又は特徴に従って前記画像を分類するステップと、
任意に、前記画像又は画像の種類内の特徴を認識するようニューラルネットワークを事前訓練するステップと、
前記胎児の出生に関する定量的予測を提供するよう前記ニューラルネットワークを訓練するステップであって、前記定量的予測が出生時の前記胎児の妊娠週数の推定を含むか、又は前記胎児の現在の妊娠週数の推定及び前記胎児の出生までの残りの時間の推定を含む、ステップと、
任意に、訓練されたニューラルネットワークをテストして前記定量的予測の精度を決定するステップと、を含む、方法。 - ニューラルネットワークを訓練するための超音波画像を収集する方法であって、前記方法は、
ソーシャルメディアアカウントをスクレイピングするステップと、
前記ソーシャルメディアアカウントの胎児の超音波画像を識別するステップと、
前記ソーシャルメディアアカウント内の出産報告を識別するステップと、
前記超音波画像を前記ソーシャルメディアアカウントに投稿してから前記出産報告を前記ソーシャルメディアアカウントに投稿するまでの時間を計算するステップと、
前記超音波画像及び計算された時間を使用して、超音波画像が早産の兆候であるという予測を生成するようニューラルネットワークを訓練するステップであって、前記予測が任意に定量的予測である、ステップと、を含む、方法。 - 医学的予測に基づいて有益な治療を識別する方法であって、本方法は、
将来の医学的状態の定量的予測を決定するステップであって、前記定量的予測が、前記医学的状態が将来の時間範囲内に発生する確率を含み、患者の医学的画像の解析に基づく、ステップと、
前記医学的状態の候補治療を前記患者に提供するステップと、
将来の医学的状態の定量的予測を決定し、候補治療を複数の患者に提供するステップを繰り返すステップと、
前記候補治療がそれぞれの時間範囲で前記複数の患者に統計的関連性のある利益をもたらしたかどうかを決定するステップと、
前記統計的関連性のある利益に基づいて前記候補治療を前記有益な治療として識別するステップと、を含む、方法。 - 医学的画像が、胎児又は前記胎児の母親の超音波画像を含む、請求項31~34のいずれか一項に記載の方法。
- 医学的画像が、本明細書で議論される画像の種類又は特徴のいずれかを含み、任意に、本明細書で議論される画像の種類又は特徴のいずれかを含むように分類される、請求項31~35のいずれか一項に記載の方法。
- 胎児又は前記胎児の母親に関する臨床データを受信するステップをさらに含み、
前記胎児の出生までの推定時間が前記臨床データに基づいている、請求項31~36のいずれか一項に記載の方法。 - 前記予測の質又は既に収集された画像の対象物分類に基づいて超音波画像の収集に関するフィードバックをユーザに提供するステップをさらに含む、請求項31~37のいずれか一項に記載の方法。
- 胎児の出生までの時間、出生時の前記胎児の妊娠週数、及び/又は前記胎児の現在の妊娠週数を推定するよう機械学習システムを訓練するステップをさらに含む、請求項31~38のいずれか一項に記載の方法。
- 医学的画像を解析するステップが、分位回帰アルゴリズムを使用して胎児が早産で生まれるという推定を提供し、任意に出生までの時間を推定するステップを含み、前記分位回帰アルゴリズムが、出生時の前記胎児の推定妊娠期間を少なくとも2つ又は3つの時間範囲のうちの1つに分類するように構成される、請求項31~39のいずれか一項に記載の方法。
- 前記定量的予測が、データ入力部を介して受信された胎児の母親に関する臨床データにさらに基づく、請求項31~40のいずれか一項に記載の方法。
- 医学的画像を解析するステップが、分位回帰アルゴリズム及び/又は分類アルゴリズムを使用して、胎児が早産で生まれるという予測を行うステップを含む、請求項31~41のいずれか一項に記載の方法。
- ビュー又は特徴の対象物分類に基づいて前記画像を均衡化するステップをさらに含む、請求項31~42のいずれか一項に記載の方法。
- 出生時の妊娠週数に基づいて前記画像の量を均衡化するステップをさらに含む、請求項31~43のいずれか一項に記載の方法。
- 前記定量的予測が、本明細書に記載のシステム又は方法の1つを使用して行われる、請求項31~44のいずれか一項に記載の方法。
- 候補治療が、医学的状態が時間範囲内に発生する定量的予測が50%、66%又は75%を超える患者にのみ提供される、請求項31~45のいずれか一項に記載の方法。
- 医学的状態が胎児の早産である、請求項31~46のいずれか一項に記載の方法。
- 医学的状態が、前記定量的予測が決定される時点で医学的画像に存在しない又は明らかでない、請求項31~47のいずれか一項に記載の方法。
- 候補治療が、薬剤の投与又は物理的処置を含む、請求項31~48のいずれか一項に記載の方法。
- 候補治療が、患者が医学的状態の何らかの症状を示す前に、複数の患者に提供される、請求項31~49のいずれか一項に記載の方法。
- 候補治療が統計的関連性のある利益をもたらしたかどうかを決定するステップが、一部の患者にプラセボを提供するステップを含む、請求項31~50のいずれか一項に記載の方法。
- 前記定量的予測を決定するステップから時間範囲までの時間が、少なくとも1、2又は3ヵ月である、請求項31~51のいずれか一項に記載の方法。
- 医学的状態が、本明細書で議論される前記医学的状態のいずれかである、請求項31~52のいずれか一項に記載の方法。
- 画像ソースが超音波装置を含む、請求項1~30のいずれか一項に記載のシステム又は請求項31~53のいずれか一項に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063041360P | 2020-06-19 | 2020-06-19 | |
US63/041,360 | 2020-06-19 | ||
US17/352,290 | 2021-06-19 | ||
US17/352,290 US11266376B2 (en) | 2020-06-19 | 2021-06-19 | Premature birth prediction |
PCT/US2021/038164 WO2021258033A1 (en) | 2020-06-19 | 2021-06-20 | Premature birth prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023530883A true JP2023530883A (ja) | 2023-07-20 |
JPWO2021258033A5 JPWO2021258033A5 (ja) | 2024-06-21 |
Family
ID=79022691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022574786A Pending JP2023530883A (ja) | 2020-06-19 | 2021-06-20 | 早産予測 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11266376B2 (ja) |
EP (1) | EP4168933A1 (ja) |
JP (1) | JP2023530883A (ja) |
KR (1) | KR20230029752A (ja) |
CN (1) | CN115769309A (ja) |
IL (1) | IL298790B1 (ja) |
WO (1) | WO2021258033A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230069287A (ko) * | 2021-11-11 | 2023-05-19 | 연세대학교 산학협력단 | 초음파 이미지 기반 양수 지표 측정 장치 및 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024010854A1 (en) * | 2022-07-07 | 2024-01-11 | Diagnose Early, Inc. | Rapid generation of breath-based health reports and systems for use in the same |
GB202211036D0 (en) * | 2022-07-28 | 2022-09-14 | Intelligent Ultrasound Ltd | Gestational age estimation method and apparatus |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040153008A1 (en) * | 2001-06-05 | 2004-08-05 | Yehuda Sharf | Probe anchor |
US8556814B2 (en) | 2007-10-04 | 2013-10-15 | Siemens Medical Solutions Usa, Inc. | Automated fetal measurement from three-dimensional ultrasound data |
US20140089004A1 (en) | 2012-09-27 | 2014-03-27 | University Of Utah Research Foundation | Patient cohort laboratory result prediction |
CA2907120C (en) * | 2013-03-15 | 2023-10-17 | Sera Prognostics, Inc. | Biomarkers and methods for predicting preterm birth |
CN104376191B (zh) * | 2013-08-16 | 2021-07-13 | Ge医疗系统环球技术有限公司 | 预测胎龄的方法和装置 |
CA2944060A1 (en) | 2014-04-01 | 2015-10-08 | Montclair State University | System and method for predicting fetal and maternal health risks |
US10319047B2 (en) | 2015-06-29 | 2019-06-11 | International Business Machines Corporation | Identification of life events within social media conversations |
US20170086785A1 (en) * | 2015-09-30 | 2017-03-30 | General Electric Company | System and method for providing tactile feedback via a probe of a medical imaging system |
WO2017152029A1 (en) * | 2016-03-04 | 2017-09-08 | The Trustees Of Columbia University In The City Of New York | Devices and methods for preventing preterm birth |
US11515003B2 (en) * | 2016-07-27 | 2022-11-29 | Sequenom, Inc. | Copy number alteration and reference genome mapping |
KR102139856B1 (ko) * | 2017-06-23 | 2020-07-30 | 울산대학교 산학협력단 | 초음파 영상 처리 방법 |
WO2019016759A1 (en) * | 2017-07-19 | 2019-01-24 | Bloom Technologies NV | MONITORING UTERINE ACTIVITY AND ASSESSING A RISK OF BIRTH BEFORE TERM |
-
2021
- 2021-06-19 US US17/352,290 patent/US11266376B2/en active Active
- 2021-06-20 JP JP2022574786A patent/JP2023530883A/ja active Pending
- 2021-06-20 WO PCT/US2021/038164 patent/WO2021258033A1/en unknown
- 2021-06-20 CN CN202180043378.8A patent/CN115769309A/zh active Pending
- 2021-06-20 KR KR1020237000075A patent/KR20230029752A/ko active Search and Examination
- 2021-06-20 IL IL298790A patent/IL298790B1/en unknown
- 2021-06-20 EP EP21825348.2A patent/EP4168933A1/en active Pending
-
2022
- 2022-01-11 US US17/573,246 patent/US11969289B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230069287A (ko) * | 2021-11-11 | 2023-05-19 | 연세대학교 산학협력단 | 초음파 이미지 기반 양수 지표 측정 장치 및 방법 |
KR102631689B1 (ko) | 2021-11-11 | 2024-01-31 | 연세대학교 산학협력단 | 초음파 이미지 기반 양수 지표 측정 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2021258033A1 (en) | 2021-12-23 |
EP4168933A1 (en) | 2023-04-26 |
CN115769309A (zh) | 2023-03-07 |
KR20230029752A (ko) | 2023-03-03 |
IL298790B1 (en) | 2024-03-01 |
IL298790A (en) | 2023-02-01 |
US20210393235A1 (en) | 2021-12-23 |
US11266376B2 (en) | 2022-03-08 |
US20220133260A1 (en) | 2022-05-05 |
US11969289B2 (en) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108784655B (zh) | 针对医疗患者的快速评估和后果分析 | |
US10176896B2 (en) | Coronary computed tomography clinical decision support system | |
US10984905B2 (en) | Artificial intelligence for physiological quantification in medical imaging | |
US10825167B2 (en) | Rapid assessment and outcome analysis for medical patients | |
JP2023530883A (ja) | 早産予測 | |
CA2555080A1 (en) | Systems and methods for automated diagnosis and decision support for heart related diseases and conditions | |
US11978208B2 (en) | Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program | |
US20230248998A1 (en) | System and method for predicting diseases in its early phase using artificial intelligence | |
Hennessey et al. | Artificial intelligence in veterinary diagnostic imaging: A literature review | |
JP2022534567A (ja) | プロトコル構成を決定するための統合ニューラルネットワーク | |
Sharma et al. | Classification of heart disease from MRI images using convolutional neural network | |
US20230126877A1 (en) | Synthetic data generation and annotation for tumor diagnostics and treatment | |
US20230172580A1 (en) | Ultrasound with Gender Obfuscation | |
US20240173011A1 (en) | Artificial Intelligence System for Determining Expected Drug Use Benefit through Medical Imaging | |
Ahmed et al. | Intracranial Hemorrhage Detection using CNN-LSTM Fusion Model | |
WO2023147114A1 (en) | Ultrasound with gender obfuscation | |
US20240197287A1 (en) | Artificial Intelligence System for Determining Drug Use through Medical Imaging | |
US20240173012A1 (en) | Artificial Intelligence System for Determining Clinical Values through Medical Imaging | |
US20230274424A1 (en) | Appartus and method for quantifying lesion in biometric image | |
Hsu | Clinical Model for Cerebral Vasospasm Prediction | |
EP4261843A1 (en) | Methods and systems for echocardiography-based prediction of coronary artery disease | |
Farooq Akhtar | Machine-learning models for obese patients stratification | |
Tamilselvi et al. | Analysis of Amniotic fluid in fetal assessment using Biophysical Profile Images | |
Zhang | Using Deep Learning Technology to Analyze Physiological Data of Pregnant Women for Risk Assessment of Cardiovascular Diseases during Pregnancy and Postpartum Period | |
Devisri et al. | Fetal growth analysis from ultrasound videos based on different biometrics using optimal segmentation and hybrid classifier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240613 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240613 |