KR20240008838A - 인공 지능-보조 이미지 분석을 위한 시스템 및 방법 - Google Patents
인공 지능-보조 이미지 분석을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240008838A KR20240008838A KR1020237037604A KR20237037604A KR20240008838A KR 20240008838 A KR20240008838 A KR 20240008838A KR 1020237037604 A KR1020237037604 A KR 1020237037604A KR 20237037604 A KR20237037604 A KR 20237037604A KR 20240008838 A KR20240008838 A KR 20240008838A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- computer
- medical
- report
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 322
- 238000010191 image analysis Methods 0.000 title claims abstract description 47
- 238000013473 artificial intelligence Methods 0.000 title abstract description 142
- 210000003484 anatomy Anatomy 0.000 claims description 143
- 238000004422 calculation algorithm Methods 0.000 claims description 143
- 238000005259 measurement Methods 0.000 claims description 70
- 238000003709 image segmentation Methods 0.000 claims description 67
- 230000011218 segmentation Effects 0.000 claims description 61
- 238000003860 storage Methods 0.000 claims description 58
- 238000010801 machine learning Methods 0.000 claims description 57
- 238000004891 communication Methods 0.000 claims description 56
- 238000013528 artificial neural network Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 54
- 238000003058 natural language processing Methods 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 49
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 49
- 238000012552 review Methods 0.000 claims description 46
- 238000002591 computed tomography Methods 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 37
- 230000007170 pathology Effects 0.000 claims description 33
- 238000012014 optical coherence tomography Methods 0.000 claims description 32
- 210000004185 liver Anatomy 0.000 claims description 30
- 210000000056 organ Anatomy 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 25
- 210000003734 kidney Anatomy 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 21
- 238000013442 quality metrics Methods 0.000 claims description 19
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 19
- 210000001519 tissue Anatomy 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 16
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 238000002600 positron emission tomography Methods 0.000 claims description 15
- 238000002604 ultrasonography Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000001000 micrograph Methods 0.000 claims description 13
- 210000000988 bone and bone Anatomy 0.000 claims description 12
- 238000002091 elastography Methods 0.000 claims description 12
- 206010028980 Neoplasm Diseases 0.000 claims description 10
- 210000004556 brain Anatomy 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 210000004072 lung Anatomy 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 210000000115 thoracic cavity Anatomy 0.000 claims description 9
- 210000000845 cartilage Anatomy 0.000 claims description 7
- 210000002216 heart Anatomy 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 210000003041 ligament Anatomy 0.000 claims description 6
- 208000024891 symptom Diseases 0.000 claims description 6
- 210000001503 joint Anatomy 0.000 claims description 5
- 210000005036 nerve Anatomy 0.000 claims description 5
- 210000005010 torso Anatomy 0.000 claims description 5
- 208000035473 Communicable disease Diseases 0.000 claims description 4
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 210000000038 chest Anatomy 0.000 claims description 4
- 239000003623 enhancer Substances 0.000 claims description 4
- 210000003414 extremity Anatomy 0.000 claims description 4
- 208000015181 infectious disease Diseases 0.000 claims description 4
- 210000002751 lymph Anatomy 0.000 claims description 4
- 210000002435 tendon Anatomy 0.000 claims description 4
- 210000004204 blood vessel Anatomy 0.000 claims description 3
- 239000002872 contrast media Substances 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 210000005095 gastrointestinal system Anatomy 0.000 claims description 3
- 210000001365 lymphatic vessel Anatomy 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 210000000496 pancreas Anatomy 0.000 claims description 3
- 210000001685 thyroid gland Anatomy 0.000 claims description 3
- 230000000747 cardiac effect Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 claims description 2
- 230000001850 reproductive effect Effects 0.000 claims description 2
- 238000001757 thermogravimetry curve Methods 0.000 claims description 2
- 210000001635 urinary tract Anatomy 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims 3
- 230000008569 process Effects 0.000 description 100
- 238000003384 imaging method Methods 0.000 description 63
- 238000002372 labelling Methods 0.000 description 63
- 210000001050 stape Anatomy 0.000 description 55
- 238000012545 processing Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 34
- 238000007726 management method Methods 0.000 description 30
- 238000005457 optimization Methods 0.000 description 30
- 230000000670 limiting effect Effects 0.000 description 26
- 238000013459 approach Methods 0.000 description 23
- 230000008901 benefit Effects 0.000 description 20
- 238000012549 training Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 18
- 208000031481 Pathologic Constriction Diseases 0.000 description 17
- 230000036262 stenosis Effects 0.000 description 17
- 208000037804 stenosis Diseases 0.000 description 17
- 230000003187 abdominal effect Effects 0.000 description 11
- 238000011160 research Methods 0.000 description 11
- 210000000278 spinal cord Anatomy 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 10
- 238000002059 diagnostic imaging Methods 0.000 description 10
- 210000003127 knee Anatomy 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 10
- 210000002517 zygapophyseal joint Anatomy 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000003902 lesion Effects 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 206010017076 Fracture Diseases 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 239000003607 modifier Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000750 progressive effect Effects 0.000 description 6
- 238000000275 quality assurance Methods 0.000 description 6
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 description 5
- 238000011976 chest X-ray Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 210000004705 lumbosacral region Anatomy 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 208000010392 Bone Fractures Diseases 0.000 description 4
- 208000032170 Congenital Abnormalities Diseases 0.000 description 4
- 241000237970 Conus <genus> Species 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 238000011961 computed axial tomography Methods 0.000 description 4
- DDRJAANPRJIHGJ-UHFFFAOYSA-N creatinine Chemical compound CN1CC(=O)NC1=N DDRJAANPRJIHGJ-UHFFFAOYSA-N 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 3
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 3
- 208000008558 Osteophyte Diseases 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 3
- 210000001264 anterior cruciate ligament Anatomy 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 210000000513 rotator cuff Anatomy 0.000 description 3
- 238000013518 transcription Methods 0.000 description 3
- 230000035897 transcription Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 210000002700 urine Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 206010007710 Cartilage injury Diseases 0.000 description 2
- 241001653121 Glenoides Species 0.000 description 2
- 229920003354 Modic® Polymers 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 210000003679 cervix uteri Anatomy 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 229940109239 creatinine Drugs 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 210000004262 dental pulp cavity Anatomy 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 201000010934 exostosis Diseases 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000003907 kidney function Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000004789 organ system Anatomy 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 210000004417 patella Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 239000006187 pill Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 210000002303 tibia Anatomy 0.000 description 2
- 210000004353 tibial menisci Anatomy 0.000 description 2
- 230000000451 tissue damage Effects 0.000 description 2
- 231100000827 tissue damage Toxicity 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 244000125300 Argania sideroxylon Species 0.000 description 1
- 206010008479 Chest Pain Diseases 0.000 description 1
- 206010010214 Compression fracture Diseases 0.000 description 1
- 241000870659 Crassula perfoliata var. minor Species 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 206010019909 Hernia Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010020462 Humerus fracture Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 1
- 208000007623 Lordosis Diseases 0.000 description 1
- 206010027525 Microalbuminuria Diseases 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 206010029174 Nerve compression Diseases 0.000 description 1
- 108091028043 Nucleic acid sequence Proteins 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 244000218514 Opuntia robusta Species 0.000 description 1
- 235000003166 Opuntia robusta Nutrition 0.000 description 1
- 208000027790 Rib fracture Diseases 0.000 description 1
- 208000020307 Spinal disease Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- PNNCWTXUWKENPE-UHFFFAOYSA-N [N].NC(N)=O Chemical compound [N].NC(N)=O PNNCWTXUWKENPE-UHFFFAOYSA-N 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 210000004100 adrenal gland Anatomy 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 210000001691 amnion Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000003164 cauda equina Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000009535 clinical urine test Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 210000004439 collateral ligament Anatomy 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002593 electrical impedance tomography Methods 0.000 description 1
- 229940124645 emergency medicine Drugs 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000004996 female reproductive system Anatomy 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 208000006750 hematuria Diseases 0.000 description 1
- 238000002649 immunization Methods 0.000 description 1
- 230000003053 immunization Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000003908 liver function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000000885 nephron Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000003458 notochord Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000000771 oncological effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000000426 patellar ligament Anatomy 0.000 description 1
- 210000003899 penis Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000002967 posterior cruciate ligament Anatomy 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011471 prostatectomy Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000003772 radiology diagnosis Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000003079 salivary gland Anatomy 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 210000001732 sebaceous gland Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 206010041525 spina bifida occulta Diseases 0.000 description 1
- 208000005198 spinal stenosis Diseases 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000001550 testis Anatomy 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000001541 thymus gland Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 238000005353 urine analysis Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000002645 vision therapy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4566—Evaluating the spine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/134—Hyperlinking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Dentistry (AREA)
- Physical Education & Sports Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 명세서에서 개시된 것은 인공 지능-보조 이미지 분석을 위한 플랫폼을 제공하기 위한 시스템, 방법 및 소프트웨어이다.
Description
본 출원은 2021년 3월 31일에 출원된 미국 가특허출원 제63/169,050호의 이익을 청구하며, 그 미국 가특허출원의 전체 개시는 본 명세서에서 참조로서 인용된다.
의료 이미징 기술의 개선은 외과적 수술에 호소하지 않고도 더 빠르고 더 정확한 진단을 허용하였다. X-선, 초음파, 자기 공명 이미징(MRI) 및 컴퓨팅 단층 촬영(CT)과 같은 이용 가능한 이미징 기술의 광범위한 어레이가 여러 가능한 질병의 향상된 진단을 제공한다. 그러나 이미징 기술에서의 개선에도, 의료 이미지의 해석은, 이미지를 해석하며 노동집약적으로 소견을 의료 보고서에 입력하는 사람에 의존하기 때문에 속도 및 효율에 제한이 있는 대부분의 수동 프로세스이다.
본 명세서에서 개시된 것은 의료 이미지를 해석하고 보고서를 생성하기 위한 시스템, 소프트웨어 및 방법이다. 일부 양상에서, 본 명세서에서 기재한 시스템, 소프트웨어 및 방법은 방사선 기술 스택(예컨대, RIS, PACS, AI, 보고서 등)의 여러 서브시스템에의 단일 인터페이스를 나타낸다. 시스템은 방사선 전문의와 같은 사용자에게 통일된 경험을 제공할 수 있으며, 프래그먼화된 테크 스택 하에서는 그렇지 않으면 가능하지 않았을 지원과 분석을 제공할 수 있다. 일부 경우에, 시스템은 본 명세서에서 기재한 것들과 같은 복수의 서브시스템을 포함한다.
의료 이미지 해석은, 임상의가 입력으로서 의료 이미지 세트 및 연관된 임상 정보(예컨대, 의료 이력, 이미징을 위한 표시)를 수신하며 소견(모든 주목할 만한 관찰 리스트) 및 임프레션(impression)(예컨대, 주치의가 인식하기 위한 임상적으로 중요한 소견의 등급이 매겨진 요약)을 포함하는 텍스트 보고서를 생성하는 프로세스이다. 기존의 방사선 기술 스택은 여러 결함을 공유한다. 첫째, 이 기술 스택은 매우 프레그먼트화되며, 종종 애플리케이션 사이의 매우 제한된 통신을 갖는 이질적인 애플리케이션에 의존한다. 둘째, 부분적으로 PACS 이미지 뷰어와 보고 소프트웨어 사이의 통합의 결여로 인해, 이들 애플리케이션은, 사용자가 그 시선을 해석 중인 이미지로부터 멀리 돌리는 것을 필요로 하는 멀티-헤드 컴퓨터 디스플레이 셋업 상에서 상이한 모니터 상에 디스플레이된다. 이것은 "눈길을 돌리는 문제"라고도 하였다(Sistrom CL J Dig Imag 2005). 보고서의 음성-문자 구술이 이러한 문제를 해결하고자 하지만, 실제로 매우 부족하며 이는 사용자가 보지 않고도 잘못된 템플릿 필드에 구술함으로써 계속 눈길을 돌리거나 오기를 하거나 하기 때문이다(Ringler MD 등, Healt Informatics Journal 2017). 심지어 사용자가 딕터폰(dictaphone) 상에서 "그 다음 필드" 및 "이전 필드" 버튼이나 구두 명령을 사용하는 경우에, 오류가 여전히 발생할 수 있다. 시각적 피드백이 없이, 텍스트가 보고서 템플릿의 부정확한 섹션에 있게 된다.
본 명세서에서 개시되는 것은 이미지 해석의 작업 시 사람 독자를 보조하는데 사용되는 컴퓨터-보조 알고리즘이며, 이 알고리즘은 인공 지능(AI), 딥러닝(DL), 기계 학습(ML), 컴퓨터-보조 검출/진단(CADe/CADx) 및 기타 알고리즘 중 하나 이상을 병합할 수 있다. 본 명세서에서 개시되는 것은 AI 출력을 임상의에게 제시하며 보고서 생성을 보조하기 위한 시스템, 소프트웨어 및 방법이다. 일부 양상에서, 시스템은 또한 사업 관리, 품질 보장 및 자체-개선을 목적으로 분석을 생성하는데 사용된다.
본 명세서에서 개시된 것은, 해부학적 변형의 라벨링을 포함한 AI-보조 이미지 세그먼트화 및/또는 라벨링을 제공하기 위한 시스템, 소프트웨어 및 방법이 있다. 예컨대, X-선과 같은 의료 이미지는 척추 해부학적 구조의 해부학적 변형을 취급하는 성능으로 등골뼈를 위해 자동으로 세그먼트화되어 라벨링될 수 있다. 정상 해부학적 특성이 알고리즘에 의해 검출될 수 있지만, 해부학적 변형의 존재가 부정확한 라벨링, 예컨대 피험자의 이상 수의 등골뼈 또는 이행 등골뼈와 같은 부정확한 라벨링을 초래할 수 도 있다. 그에 따라, 해부학적 변형을 고려하면, 더 정확한 라벨링을 할 수 있으며, 이점은 임상의로부터 컴퓨팅 시스템으로 의료 이미지 해석의 작업부담을 성공적으로 옮기며 주치의에게 정확히 보고하는데 중요하다. 이미지 분석 알고리즘(들)은 세그먼트화 및/또는 라벨링을 실행하는데 활용될 수 있다.
의료 이미징 분야 내에서, 의료 이미징 스캐너(예컨대, MRI)는 임상의가 검토하기 위한 하나 이상의 이미지의 세트를 생성한다. 하나 이상의 정보 서브시스템에 의해 제공되는 많은 기능이 있을 수 있다. RIS(Radiology Information System: 방사선 정보 시스템)은 오더 입력, 선-인증, 환자-인구통계 및 보험 정보, 스케줄링, 자원 관리, 검사 성과 추적, 보고서 배포, 비용청구 및 배상 등과 같은 여러 비-이미지 정보 및 기능을 취급한다. 종종, RIS 시스템은 해석을 대기하고 있는 연구 대상인 환자의 작업리스트를 취급한다. 이미지 기록 및 보기는 종종 PACS(Picture Archiving and Communication System)로서 지칭되며, 여기서 임상의는 특정 환자 연구에 대응하는 이미지 스택을 스크롤할 수 있다. 일부 PACS 시스템은 소프트웨어 보조의 일부 통합을 제공한다. 일부 경우에, 소프트웨어 보조는 전문 독립형 워크스테이션을 통해 제공된다. 보고는 키보드-기반 편집을 통한 사람 또는 컴퓨터화된 음성-문자 전사를 통해 실행될 수 있다. 보고 시스템은 종종 독립형 시스템이다.
일부 양상에서, AI 시스템 환자분류(triage)가 검사하여, 두개내출혈(intracranial hemorrhage)과 같은 긴급한 소견이 검출된다면 해석을 우선 처리한다. 해당 가능 소견을 검출하는 다른 AI 알고리즘은 독자에게, 의심 구역이 발견된 이미지 상에 주석을 제공한다. 특정 해부학적 구역을 세그먼트화하도록 설계된 AI 알고리즘은 세그먼트화된 구역을 사용자에게 제공하며 이 구역을 기반으로 하여 추가 정량적 메트릭스를 제공할 수 도 있다.
본 명세서에서 개시한 시스템, 소프트웨어 및 방법에서 활용되는 알고리즘, 프로그램 및 기능 중 하나 이상은 통일된 사용자 인터페이스를 갖는 단일 기술 스택에 통합될 수 있어서 일 기능으로부터 다른 기능으로의 효율적인 통신 및 원활한 전환을 허용한다. 예컨대, 의료 이미지는 인공 지능을 사용하여 평가되어 이미지에서 하나 이사의 세그먼트화된 특성을 검출할 수 도 있으며, 이들 특성은, 사용자가 허락하도록 프롬프팅될 수 도 있는 소견의 텍스트 기재를 생성하도록 분석된다. 허락된 소견은 의료 보고서에 자동으로 병합될 수 있으며, 보고서의 사용자나 후속한 소비자는, 이미지에서 소견의 위치에 다시 링크되는 선택된 소견 텍스트로 보고서를 브라우징할 수 도 있다. 이들 상이한 모듈이나 기능은 구별된 사용자 인터페이스 및/또는 애플리케이션 또는 프로그램 대신 단일 통일된 사용자 인터페이스를 통해 통합될 수 있다. 그에 따라, 본 개시는, 복수-양식 이미지 검토 기능, 환자 작업리스트 및 구술 및 전사 서비스를 포함할 수 있는 완료된 방사선 작업흐름을 위한 툴을 제공한다. 그에 따라, 본 개시는 기존의 방사선 기술 스택에서 여러 결함을 해결한다. 예시적인 예로서, 본 명세서에서 개시된 것은 컴퓨터 기반 시스템이나 플랫폼으로서, (a) 프로세서; (b) 의료 이미지를 디스플레이하기 위한 그래픽 사용자 인터페이스를 보여주도록 구성되는 디스플레이; (c) 명령으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령은, 상기 프로세서에 의해 수행될 때, 상기 프로세서가: (i) AI-보조 이미지 세그먼트화 및 라벨링을 위한 모듈; (ii) 소견 및/또는 측정, 비교 및 문의의 AI-보조 구술을 위한 모듈; (iii) 소견의 양방향 동적 링크를 위한 모듈; (iv) AI 소견 디스플레이 및 상호동작을 위한 모듈; (v) AI 보조를 추적하며 분석하기 위한 모듈; (vi) 사용자를 위해 통신 허브를 제공하는 모듈; (vii) 작업리스트 관리를 제공하는 모듈; (viii) AI-작동 품질 메트릭스를 위한 모듈; (ix) AI-보조 자체-개선을 위한 모듈, 및 (x) 프로토콜을 게재하기 위한 모듈을 제공하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 기반 시스템이나 플랫폼이다. 전체적인 시스템이나 플랫폼은, 유효화하는 및/또는 보고서 생성에 관련되는 특정 프로세스를 실행하도록 구성되는 개별 모듈이나 서브시스템 중 하나 이상에 의한 의료 보고서 생성을 위해 구성될 수 있다. (전체 시스템이나 플랫폼의 시스템이나 서브시스템으로서 또한 지칭될 수 있는) 이들 모듈 각각은 예컨대 단일 기술 스택에서 함께 동작하도록 구성될 수 있다.
본 명세서에서 개시된 것은 의료 보고서 생성을 위한 컴퓨터 기반 시스템으로서, (a) 프로세서; (b) 의료 이미지를 평가하기 위한 그래픽 사용자 인터페이스를 보여주기 위한 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 상기 의료 이미지에 관련된 컴퓨터-생성 소견을 포함하는 의료 보고서를, 사용자가 상기 보고서 내에 상기 컴퓨터-생성 소견의 포함을 허락할 때, 생성하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 기반 시스템이다. 일부 실시예에서, 이 시스템은, 상기 컴퓨터 생성 소견을 생성하도록 구성되는 이미지 분석 알고리즘을 포함하며, 상기 이미지 분석 알고리즘은, 상기 의료 이미지를 복수의 이미지 특성에 대응하는 다수의 픽셀 세그먼트로 분할하기 위한 이미지 세그먼트화 알고리즘을 포함한다. 일부 실시예에서, 상기 이미지 분석 알고리즘은, 상기 복수의 이미지 특성 중 적어도 하나의 이미지 특성에 주석을 다는 주석 알고리즘을 포함한다. 일부 실시예에서, 상기 복수의 이미지 특성은 계층으로 구성된다. 일부 실시예에서, 상기 복수의 특성 각각은 해부학적 구조, 조직 유형, 종양 또는 조직 이상(abnormality), 콘트라스트 촉진제(contrast agent) 또는 이들의 조합에 대응한다. 일부 실시예에서, 상기 복수의 특성은 신경, 혈관, 림프관, 기관(organ), 관절, 뼈, 근육, 연골, 림프, 혈액, 지방, 인대 또는 힘줄 중 하나 이상을 포함한다. 일부 실시예에서, 상기 의료 보고서는 상기 적어도 하나의 특성을 서술하거나 평가하는 하나 이상의 문장이나 문구를 포함한다. 일부 실시예에서, 상기 시스템은, 상기 사용자가 상기 컴퓨터-생성 소견의 포함을 허락할 때를 지시하는 입력을 검출하거나 기록하도록 구성되는 오디오 검출 구성요소를 더 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지(thermogram image), 양전자 방출 단층 촬영(PET: Positron Emission Tomography) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 상기 사용자는 의료인(healthcare provider)이다. 일부 실시예에서, 상기 의료인은 방사선 전문의, 방사선사 또는 어시스턴트, 외과의, 가정의, 내과의, 소아과의사, 산과의사/부인과의사, 피부과의사, 전염병 의사, 신장전문의, 안과의사, 흉부외과전문의, 신경과전문의, 마취과의사, 종양전문의, 간호사 또는 물리치료사이다. 일부 실시예에서, 상기 컴퓨터 프로그램은, 상기 프로세서가 기계 학습 분류기 알고리즘을 사용하여 상기 이미지를 분석하게 하여, 상기 컴퓨터-생성 소견을 포함하는 결과를 생성하도록 더 구성된다. 일부 실시예에서, 상기 컴퓨터-생성 소견은 병리(pathology)의 식별 또는 평가를 포함한다. 일부 실시예에서, 상기 병리의 상기 식별 또는 평가는 상기 병리의 심각도, 양(예컨대, 폐 혹의 개수), 측정치(예컨대, 폐 혹의 길이, 면적 및/또는 볼륨), 존재 또는 부재 또는 그 징후(sign) 또는 증상(symptom) 중 적어도 하나를 포함한다. 일부 실시예에서, 상기 컴퓨터-생성 소견은, 상기 소견이 상기 병리의 긍정적인 식별 또는 기재를 포함할 때 상기 의료 보고서에 포함된다. 일부 실시예에서, 상기 시스템은 클라우드-기반 서버나 네트워크를 사용하여 상기 의료 이미지의 분석 및 상기 보고서의 생성 중 적어도 하나를 실행한다. 일부 실시예에서, 상기 프로세서는, 사용자 그룹에 의한 검토에 이용 가능한 복수의 케이스로부터 하나 이상의 이미지를 포함하는 하나 이상의 케이스를 상기 사용자가 예약하게 하는 작업리스트 관리 인터페이스를 제공하도록 구성된다. 일부 실시예에서, 상기 프로세서는, 상기 컴퓨터-생성 소견과 상기 보고서에 포함된 사용자-소견 사이의 일치(congruence)를 결정하도록 구성된다. 일부 실시예에서, 상기 프로세서는, 상기 특성과 상기 입력 사이의 일치의 결정을 기반으로 하여 상기 의료 보고서의 일부분을 자동으로 채우도록(populate) 구성된다. 일부 경우에, 상기 프로세서는, 상기 컴퓨터-생성 소견을 허락 및 선택적으로는 편집을 위해 상기 사용자에게 제시하도록 구성되며, 허락된 컴퓨터-생성 소견은 상기 보고서의 상기 일부분에 자동으로 채워진다. 일부 경우에, 상기 프로세서는 상기 보고서의 품질 메트릭 평가를 실행하도록 구성된다. 일부 경우에, 상기 품질 메트릭 평가는 상기 보고서의 자연어 처리를 사용하여 하나 이상의 소견의 리스트를 생성하는 것과, 하나 이상의 소견의 상기 리스트를 분석하여 하나 이상의 품질 메트릭을 생성하는 것을 포함한다. 일부 경우에, 상기 프로세서는 상기 시스템과의 사용자 상호동작에 관한 분석을 수집하며 효율이나 품질을 개선하기 위한 피드백을 제공하도록 구성된다.
본 명세서에서 개시된 것은 의료 보고서 생성을 위한 컴퓨터로 구현되는 방법으로서, (a) 의료 이미지를 디스플레이하는 단계; (b) 상기 의료 이미지에 관련된 컴퓨터-생성 소견을 포함하는 의료 보고서를, 사용자가 상기 보고서 내에 상기 컴퓨터-생성 소견의 포함을 허락할 때, 생성하는 단계를 포함하는, 컴퓨터로 구현되는 방법이다. 일부 실시예에서, 이 방법은, 상기 컴퓨터 생성 소견을 생성하도록 구성되는 이미지 분석 알고리즘을 포함하며, 상기 이미지 분석 알고리즘은, 상기 의료 이미지를 복수의 이미지 특성에 대응하는 다수의 픽셀 세그먼트로 분할하기 위한 이미지 세그먼트화 알고리즘을 포함한다. 일부 실시예에서, 상기 이미지 분석 알고리즘은, 상기 복수의 이미지 특성 중 적어도 하나의 이미지 특성에 주석을 다는 주석 알고리즘을 포함한다. 일부 실시예에서, 상기 복수의 이미지 특성은 계층으로 구성된다. 일부 실시예에서, 상기 복수의 특성 각각은 해부학적 구조, 조직 유형, 종양 또는 조직 이상, 콘트라스트 촉진제 또는 이들의 조합에 대응한다. 일부 실시예에서, 상기 복수의 특성은 신경, 혈관, 림프관, 기관, 관절, 뼈, 근육, 연골, 림프, 혈액, 지방, 인대 또는 힘줄 중 하나 이상을 포함한다. 일부 실시예에서, 상기 의료 보고서는 상기 적어도 하나의 특성을 서술하거나 평가하는 하나 이상의 문장이나 문구를 포함한다. 일부 실시예에서, 상기 시스템은, 상기 사용자가 상기 컴퓨터-생성 소견의 포함을 허락할 때를 지시하는 입력을 검출하거나 기록하도록 구성되는 오디오 검출 구성요소를 더 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 상기 사용자는 의료인이다. 일부 실시예에서, 상기 의료인은 방사선 전문의, 방사선사 또는 어시스턴트, 외과의, 가정의, 내과의, 소아과의사, 산과의사/부인과의사, 피부과의사, 전염병 의사, 신장전문의, 안과의사, 흉부외과전문의, 신경과전문의, 마취과의사, 종양전문의, 간호사 또는 물리치료사이다. 일부 실시예에서, 상기 방법은, 기계 학습 분류기 알고리즘을 사용하여 상기 이미지를 분석하여, 상기 컴퓨터-생성 소견을 포함하는 결과를 생성하는 단계를 포함한다. 일부 실시예에서, 상기 컴퓨터-생성 소견은 병리의 식별 또는 평가를 포함한다. 일부 실시예에서, 상기 병리의 식별 또는 평가는 상기 병리의 심각도, 양, 측정치, 존재 또는 부재 또는 그 징후 또는 증상 중 적어도 하나를 포함한다. 일부 실시예에서, 상기 컴퓨터-생성 소견은, 상기 소견이 긍정적인 식별 또는 상기 병리를 포함할 때 상기 의료 보고서에 포함된다. 일부 실시예에서, 상기 시스템은 클라우드-기반 서버나 네트워크를 사용하여 상기 의료 이미지의 분석 및 상기 보고서의 생성 중 적어도 하나를 실행한다. 일부 실시예에서, 상기 방법은, 검토에 이용 가능한 복수의 케이스로부터 하나 이상의 이미지를 포함하는 하나 이상의 케이스를 상기 사용자가 예약하게 하는 작업리스트 관리 인터페이스를 제공하는 단계를 포함한다. 일부 실시예에서, 상기 방법은, 상기 컴퓨터-생성 소견과 상기 보고서에 포함된 사용자-소견 사이의 일치를 결정하는 단계를 포함한다. 일부 실시예에서, 상기 방법은, 상기 특성과 상기 입력 사이의 일치의 결정을 기반으로 하여 상기 의료 보고서의 일부분을 자동으로 채우는 단계를 포함한다. 일부 경우에, 상기 프로세서는, 상기 컴퓨터-생성 소견을 허락 및 선택적으로는 편집을 위해 상기 사용자에게 제시하도록 구성되며, 허락된 컴퓨터-생성 소견은 상기 보고서의 상기 일부분에 자동으로 채워진다. 일부 경우에, 상기 프로세서는 상기 보고서의 품질 메트릭 평가를 실행하도록 구성된다. 일부 경우에, 상기 품질 메트릭 평가는 상기 보고서의 자연어 처리를 사용하여 하나 이상의 소견의 리스트를 생성하는 것과, 하나 이상의 소견의 상기 리스트를 분석하여 하나 이상의 품질 메트릭을 생성하는 것을 포함한다. 일부 경우에, 상기 프로세서는 상기 시스템과의 사용자 상호동작에 관한 분석을 수집하며 효율이나 품질을 개선하기 위한 피드백을 제공하도록 구성된다.
본 명세서에서 개시된 것은 의료 이미지를 평가하기 위한 컴퓨터 기반 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 상기 프로세서에 결합되며, 상기 의료 이미지를 보고 있는 사용자의 눈의 위치나 움직임을 추적하도록 구성되는 눈-추적 구성요소; (d) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 상기 의료 이미지를 상기 디스플레이 상에 디스플레이하게 하고; (ii) 상기 눈-추적 구성요소로 상기 사용자의 상기 눈의 상기 위치나 상기 움직임을 검출하게 하고; (iii) 상기 의료 이미지를 분석하게 하고, 상기 의료 이미지 내에서 복수의 특성을 식별하게 하고; (iv) 상기 사용자의 상기 눈의 상기 위치나 상기 움직임을 적어도 부분적으로 기반으로 하여, 상기 사용자가 그 비전을 보낸 상기 복수의 특성 중 특성을 결정하게 하고; (v) 상기 사용자로부터 입력을 수신하게 하며; (vi) 상기 특성을 상기 사용자로부터의 상기 입력과 연관시키게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 시스템이다. 일부 실시예에서, 상기 특성과 상기 사용자로부터의 상기 입력은 상기 특성과 상기 입력의 일치하거나 중첩하는 시간-스탬프를 기반으로 하여 연관된다. 일부 실시예에서, 상기 시스템은, 상기 프로세서에 통신 가능하게 결합되며, 상기 입력의 적어도 일부를 형성하는 상기 사용자가 말한 하나 이상의 소리를 검출하거나 기록하도록 구성되는 오디오 검출 구성요소를 더 포함한다. 일부 실시예에서, 상기 컴퓨터 프로그램은, 상기 프로세서가 음성 인식 알고리즘을 사용하여 상기 하나 이상의 소리를 분석하게 하여 상기 사용자가 말한 하나 이상의 단어를 식별하도록 구성된다. 일부 실시예에서, 상기 컴퓨터 프로그램은, 상기 프로세서가 상기 사용자가 말한 하나 이상의 단어를 적어도 부분적으로 기반으로 하여 의료 보고서에 삽입하기 위한 하나 이상의 문장이나 문구를 생성하게 하도록 구성된다. 일부 실시예에서, 상기 컴퓨터 프로그램은, 상기 프로세서가, 상기 특성과 상기 입력을 적어도 부분적으로 기반으로 하여 의료 보고서의 적어도 일부분을 자동으로 생성하게 하도록 더 구성된다. 일부 실시예에서, 상기 컴퓨터 프로그램은, 상기 프로세서가 상기 의료 보고서를 제3자와 공유하게 하거나 통신하게 하도록 더 구성된다. 일부 실시예에서, 상기 의료 이미지는 X-선 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 상기 특성은 해부학적 구조의 신원, 상기 해부학적 구조의 측정치, 상기 해부학적 구조의 수 또는 상기 해부학적 구조의 병리이다. 일부 실시예에서, 상기 시스템은 클라우드-기반 서버나 네트워크를 사용하여 상기 위치 및 상기 제2 입력을 기반으로 한 상기 이미지의 분석 및 상기 보고서의 일부분의 생성 중 적어도 하나를 실행한다. 일부 실시예에서, 상기 프로세서는 검토에 이용 가능한 복수의 케이스로부터 하나 이상의 이미지를 포함하는 하나 이상의 케이스를 상기 사용자가 예약하게 하는 작업리스트 관리 인터페이스를 제공하도록 구성된다.
본 명세서에서 개시된 것은 의료 이미지를 평가하기 위한 컴퓨터로 구현되는 방법으로서, (a) 상기 의료 이미지를 디스플레이 상에 디스플레이하는 단계; (b) 눈-추적 구성요소로 사용자의 눈의 위치나 움직임을 검출하는 단계; (c) 상기 의료 이미지를 분석하며 상기 의료 이미지 내에서 복수의 특성을 식별하는 단계; (d) 상기 사용자의 상기 눈의 상기 위치나 상기 움직임을 적어도 부분적으로 기반으로 하여, 상기 사용자가 그 비전을 보낸 상기 복수의 특성 중 특성을 결정하는 단계; (e) 상기 사용자로부터 입력을 수신하는 단계; 및 (f) 상기 특성을 상기 사용자로부터의 상기 입력과 연관시키는 단계를 포함하는, 컴퓨터로 구현되는 방법이다. 일부 실시예에서, 상기 특성과 상기 사용자로부터의 상기 입력은 상기 특성과 상기 입력의 일치하거나 중첩하는 시간-스탬프를 기반으로 하여 연관된다. 일부 실시예에서, 상기 방법은, 오디오 검출 구성요소를 사용하여, 상기 입력의 적어도 일부를 형성하는 상기 사용자가 말한 하나 이상의 소리를 검출하거나 기록하는 단계를 포함한다. 일부 실시예에서, 상기 방법은, 음성 인식 알고리즘을 사용하여 상기 하나 이상의 소리를 분석하여 상기 사용자가 말한 하나 이상의 단어를 식별하는 단계를 포함한다. 일부 실시예에서, 상기 방법은, 상기 사용자가 말한 하나 이상의 단어를 적어도 부분적으로 기반으로 하여 의료 보고서에 삽입하기 위한 하나 이상의 문장이나 문구를 생성하는 단계를 포함한다. 일부 실시예에서, 상기 방법은, 상기 특성과 상기 입력을 적어도 부분적으로 기반으로 하여 의료 보고서의 적어도 일부분을 자동으로 생성하는 단계를 포함한다. 일부 실시예에서, 상기 방법은, 상기 의료 보고서를 제3자와 공유하거나 통신하는 단계를 포함한다. 일부 실시예에서, 상기 의료 이미지는 X-선 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 상기 특성은 해부학적 구조의 신원, 상기 해부학적 구조의 측정치, 상기 해부학적 구조의 수 또는 상기 해부학적 구조의 병리이다. 일부 실시예에서, 상기 방법은 클라우드-기반 서버나 네트워크를 사용하여 상기 위치 및 상기 제2 입력을 기반으로 한 상기 이미지의 분석 및 상기 보고서의 일부분의 생성 중 적어도 하나를 실행하는 단계를 포함한다. 일부 실시예에서, 상기 방법은 검토에 이용 가능한 복수의 케이스로부터 하나 이상의 이미지를 포함하는 하나 이상의 케이스를 상기 사용자가 예약하게 하는 작업리스트 관리 인터페이스를 제공하는 단계를 포함한다.
본 명세서에서 개시된 것은 컴퓨터 기반 보고서 생성 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 상기 디스플레이 상에 복수의 특성을 포함하는 의료 이미지를 디스플레이하게 하고; (ii) 상기 사용자로부터 입력을 수신하게 하고; (iii) 상기 복수의 특성으로부터의 특성과 상기 입력을 연관시키게 하며; (iv) 상기 입력을 포함하는 의료 보고서를 생성하게 하며, 상기 의료 보고서 내의 상기 입력은 태그와 연관되며, 상기 태그가 체결될 때, 상기 입력과 연관된 상기 특성이 디스플레이되는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 보고서 생성 시스템이다. 일부 실시예에서, 상기 복수의 특성 각각은 해부학적 구조, 조직 유형, 종양 또는 조직 이상, 콘트라스트 촉진제 또는 이들의 조합에 대응한다. 일부 실시예에서, 상기 입력은 상기 특성을 서술하거나 평가하는 하나 이상의 구어 또는 문어를 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 상기 특성과 상기 사용자로부터의 상기 입력은 상기 특성과 상기 입력의 일치하거나 중첩하는 시간-스탬프를 기반으로 하여 연관된다. 일부 실시예에서, 상기 태그는 하이퍼링크를 포함한다. 일부 실시예에서, 상기 사용자는 방사선 전문의이며, 상기 의료 보고서는 방사선 전문의의 보고서를 포함한다. 일부 실시예에서, 상기 사용자는 의료인을 포함한다.
본 명세서에서 개시된 것은 컴퓨터로 구현되는 방법으로서, (a) 복수의 특성을 포함하는 의료 이미지를 디스플레이하는 단계; (a) 사용자로부터 입력을 수신하는 단계; (c) 상기 복수의 특성으로부터의 특성과 상기 입력을 연관시키는 단계; 및 (d) 상기 입력을 포함하는 의료 보고서를 생성하는 단계를 포함하며, 상기 의료 보고서 내의 상기 입력은 태그와 연관되며, 상기 태그가 체결될 때, 상기 입력과 연관된 상기 특성이 디스플레이되는, 컴퓨터로 구현되는 방법이다. 일부 실시예에서, 상기 복수의 특성 각각은 해부학적 구조, 조직 유형, 종양 또는 조직 이상, 콘트라스트 촉진제 또는 이들의 조합에 대응한다. 일부 실시예에서, 상기 입력은 상기 특성을 서술하거나 평가하는 하나 이상의 구어 또는 문어를 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 상기 특성과 상기 사용자로부터의 상기 입력은 상기 특성과 상기 입력의 일치하거나 중첩하는 시간-스탬프를 기반으로 하여 연관된다. 일부 실시예에서, 상기 태그는 하이퍼링크를 포함한다. 일부 실시예에서, 상기 사용자는 방사선 전문의이며, 상기 의료 보고서는 방사선 전문의의 보고서를 포함한다. 일부 실시예에서, 상기 사용자는 의료인을 포함한다.
본 명세서에서 개시된 것은 컴퓨터 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 사용자로부터의 명령에 응답하여, 기계 학습 소프트웨어 모듈을 사용하여 의료 이미지를 분석하여, 컴퓨터-소견을 생성하게 하고; (ii) 상기 컴퓨터-소견을 상기 사용자에 의해 생성되는 의료 보고서에 병합하라는 옵션을 상기 사용자에게 제공하게 하며; (iii) 상기 의료 보고서를 분석하여, 상기 컴퓨터-소견이 상기 의료 보고서에 있는지를 결정하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 시스템이다. 일부 실시예에서, 상기 기계 학습 소프트웨어 모듈은 적어도 하나의 의료 이미지와 적어도 하나의 대응 의료 보고서를 사용하여 훈련된다. 일부 실시예에서, 상기 기계 학습 소프트웨어 모듈은 신경 네트워크를 포함한다. 일부 실시예에서, 상기 기계 학습 소프트웨어 모듈은 분류기를 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 자연어 처리가 상기 의료 보고서를 분석하는데 사용된다. 일부 실시예에서, 상기 의료 보고서는 방사선 보고서를 포함한다.
본 명세서에서 개시된 것은 컴퓨터로 구현되는 방법으로서, (a) 사용자로부터의 명령에 응답하여, 기계 학습 소프트웨어 모듈을 사용하여 의료 이미지를 분석하여, 컴퓨터-소견을 생성하는 단계; (b) 상기 컴퓨터-소견을 상기 사용자에 의해 생성되는 의료 보고서에 병합하라는 옵션을 상기 사용자에게 제공하는 단계; 및 (c) 상기 의료 보고서를 분석하여, 상기 컴퓨터-소견이 상기 의료 보고서에 있는지를 결정하는 단계를 포함하는, 컴퓨터로 구현되는 방법이다. 일부 실시예에서, 상기 기계 학습 소프트웨어 모듈은 적어도 하나의 의료 이미지와 적어도 하나의 대응 의료 보고서를 사용하여 훈련된다. 일부 실시예에서, 상기 기계 학습 소프트웨어 모듈은 신경 네트워크를 포함한다. 일부 실시예에서, 상기 기계 학습 소프트웨어 모듈은 분류기를 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 자연어 처리가 상기 의료 보고서를 분석하는데 사용된다. 일부 실시예에서, 상기 의료 보고서는 방사선 보고서를 포함한다.
본 명세서에서 개시된 것은 컴퓨터 기반 이미지 분석 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 의료 이미지를 수신하게 하며; (ii) 제1 모듈과 제2 모듈을 포함하는 이미지 분석 알고리즘에 상기 의료 이미지를 입력으로서 제공하게 하며, 상기 제1 모듈은 적어도 상기 입력을 기반으로 하여 제1 출력을 생성하며, 상기 제2 모듈은 상기 제1 모듈의 적어도 상기 입력과 상기 제1 출력을 기반으로 하여 제2 출력을 생성하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 이미지 분석 시스템이다. 일부 실시예에서, 프로세서는 또한, 상기 이미지 분석 알고리즘에 의해 생성되는 상기 제1 출력과 상기 제2 출력으로 상기 의료 이미지를 디스플레이하게 된다. 일부 실시예에서, 상기 이미지 분석 알고리즘은 신경 네트워크 아키텍쳐를 포함한다. 일부 실시예에서, 상기 제1 모듈과 상기 제2 모듈 각각은 신경의 하나 이상의 계층을 포함한다. 일부 실시예에서, 상기 의료 네트워크 아키텍쳐는 모듈 시퀀스를 포함하며, 시퀀스의 각 후행 모듈은 상기 의료 이미지와 선행 모듈의 출력을 기반으로 하여 출력을 생성한다. 일부 실시예에서, 상기 모듈 시퀀스는, 각각의 후행 모듈이 각각의 선행하는 모듈보다 더 큰 난이도 출력을 갖고 분석 난이도의 순서로 배치된다. 일부 실시예에서, 상기 신경 네트워크 아키텍쳐는 인공 신경 계층 사이의 스킵(skip) 연결을 포함한다. 일부 실시예에서, 상기 스킵 연결은 신경 네트워크 아키텍쳐의 모듈 시퀀스에서 상이한 모듈에 걸쳐서 발생한다. 일부 실시예에서, 상기 제1 출력과 상기 제2 출력 각각은 상기 의료 이미지에 대응하는 하나 이상의 세그먼트나 라벨을 포함한다. 일부 실시예에서, 상기 이미지 분석 알고리즘의 각 모듈은 분류기를 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 프로세서는 또한, 상기 제1 출력과 상기 제2 출력 중 하나 이상을 기반으로 하여 하나 이상의 컴퓨터-소견을 포함하는 의료 보고서를 생성하게 된다. 일부 실시예에서, 상기 의료 보고서는 방사선 보고서를 포함한다.
본 명세서에서 개시된 것은 컴퓨터로 구현되는 방법으로서, (i) 의료 이미지를 수신하는 단계; 및 (ii) 제1 모듈과 제2 모듈을 포함하는 이미지 분석 알고리즘에 상기 의료 이미지를 입력으로서 제공하는 단계를 포함하며, 상기 제1 모듈은 적어도 상기 입력을 기반으로 하여 제1 출력을 생성하며, 상기 제2 모듈은 상기 제1 모듈의 적어도 상기 입력과 상기 제1 출력을 기반으로 하여 제2 출력을 생성하는, 컴퓨터로 구현되는 방법이다. 일부 실시예에서, 이 방법은, 상기 이미지 분석 알고리즘에 의해 생성되는 상기 제1 출력과 상기 제2 출력으로 상기 의료 이미지를 디스플레이하는 단계를 더 포함한다. 일부 실시예에서, 상기 이미지 분석 알고리즘은 신경 네트워크 아키텍쳐를 포함한다. 일부 실시예에서, 상기 제1 모듈과 상기 제2 모듈 각각은 신경의 하나 이상의 계층을 포함한다. 일부 실시예에서, 상기 신경 네트워크 아키텍쳐는 모듈 시퀀스를 포함하며, 시퀀스의 각 후행 모듈은 상기 의료 이미지와 선행 모듈의 출력을 기반으로 하여 출력을 생성한다. 일부 실시예에서, 상기 모듈 시퀀스는, 각각의 후행 모듈이 각각의 선행하는 모듈보다 더 큰 난이도 출력을 갖고 분석 난이도의 순서로 배치된다. 일부 실시예에서, 상기 신경 네트워크 아키텍쳐는 인공 신경 계층 사이의 스킵 연결을 포함한다. 일부 실시예에서, 상기 스킵 연결은 신경 네트워크 아키텍쳐의 모듈 시퀀스에서 상이한 모듈에 걸쳐서 발생한다. 일부 실시예에서, 상기 제1 출력과 상기 제2 출력 각각은 상기 의료 이미지에 대응하는 하나 이상의 세그먼트나 라벨을 포함한다. 일부 실시예에서, 상기 이미지 분석 알고리즘의 각각의 모듈은 분류기를 포함한다. 일부 실시예에서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지이다. 일부 실시예에서, 이 방법은, 상기 제1 출력과 상기 제2 출력 중 하나 이상을 기반으로 하여 하나 이상의 컴퓨터-소견을 포함하는 의료 보고서를 생성하는 단계를 더 포함한다. 일부 실시예에서, 상기 의료 보고서는 방사선 보고서를 포함한다.
본 명세서에서 개시된 것은 게재(hanging) 프로토콜을 제공하도록 구성되는 컴퓨터 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 최적화를 위한 하나 이상의 기준을 정의하는 사용자 입력을 수신하게 하고; 및 상기 하나 이상의 기준을 기반으로 하여 행잉 프로토콜을 제공하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 시스템이다. 일부 실시예에서, 이 시스템은 하나 이상의 이미지를 포함하는 이미지 연구 또는 이미지 시리즈를 획득하고; 최적화를 위한 하나 이상의 기준을 정의하는 사용자 입력을 수신하며; 상기 하나 이상의 기준을 기반으로 하여 상기 이미지 연구를 위해 최적화된 행잉 프로토콜을 제공하도록 구성된다. 일부 실시예에서, 행잉 프로토콜은, 허용되거나 허용되지 않는 기준의 하드 코딩(예컨대, 필요 기준을 구축하는 미리 설정된 규칙)을 기반으로 하여 최적화되지 않는다. 일부 실시예에서, 행잉 프로토콜은 수치 최적화를 기반으로 하여 최적화된다. 일부 실시예에서, 기준은 하나 이상의 연구 속성에 대응한다. 일부 실시예에서, 기준은 하나 이상의 이전 이미지 연구를 포함한다. 일부 실시예에서, 기준은 하나 이상의 이미지나 이미지 시리즈를 포함하는 하나 이상의 이전 이미지 연구를 포함한다. 일부 실시예에서, 하나 이상의 이전 이미지 연구는 기준을 구축하도록 사용자에 의해 선택된다. 일부 실시예에서, 행잉 프로토콜은 하나 이상의 이전 이미지 연구로부터 추출된 하나 이상의 속성을 기반으로 하여 최적화된다. 일부 실시예에서, 행잉 프로토콜의 최적화는, 하나 이상의 이전 이미지 연구로부터 추출된 하나 이상의 속성을 기반으로 하여 복수의 행잉 프로토콜로부터 최적 행잉 프로토콜의 선택을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는, 이미지 연구에 대한 이미징 순서, 임상 텍스트, 메타데이터(예컨대, DICOM 메타데이터) 또는 이미지 데이터(예컨대, DICOM 픽셀 데이터) 중 적어도 하나로부터 정보를 획득하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 자연어 처리 알고리즘을 사용하여 이미징 순서, 임상 텍스트 또는 둘 모두로부터 하나 이상의 관련 특성을 추출하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 컴퓨터 비전 알고리즘을 사용하여 이미지 데이터로부터 관련 특성을 추출하는 것을 포함한다. 일부 실시예에서, 컴퓨터 비전 알고리즘은 연구 속성에 관한 정보를 제공하는 시각 특성을 식별하거나 추출하도록 구성된다. 일부 실시예에서, 행잉 프로토콜의 최적화는 메타데이터(예컨대, DICOM 메타데이터)로부터 특성을 추출한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 출력으로서 하나 이상의 속성을 생성하도록 추출된 특성을 입력으로서 기계 학습 분류기에 제공하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜은 기계 학습 분류기에 의해 생성되는 하나 이상의 속성에 따라 최적화된다.
일부 실시예에서, 본 명세서에서 개시된 것은 행잉 프로토콜을 제공하기 위한 방법으로서, 최적화를 위한 하나 이상의 기준을 정의하는 사용자 입력을 수신하는 단계; 및 상기 하나 이상의 기준을 기반으로 하여 행잉 프로토콜을 제공하는 단계를 포함하는, 행잉 프로토콜 제공 방법이다. 일부 실시예에서, 본 명세서에서 개시된 것은 행잉 프로토콜을 제공하기 위한 방법으로서, 하나 이상의 이미지를 포함하는 이미지 연구 또는 이미지 시리즈를 획득하는 단계; 최적화를 위한 하나 이상의 기준을 정의하는 사용자 입력을 수신하는 단계; 및 상기 하나 이상의 기준을 기반으로 하여 상기 이미지 연구를 위해 최적화된 행잉 프로토콜을 제공하는 단계를 포함하는, 행잉 프로토콜 제공 방법이다. 일부 실시예에서, 행잉 프로토콜은, 허용되거나 허용되지 않는 기준의 하드 코딩(예컨대, 필요 기준을 구축하는 미리 설정된 규칙)을 기반으로 하여 최적화되지 않는다. 일부 실시예에서, 행잉 프로토콜은 수치 최적화를 기반으로 하여 최적화된다. 행잉 프로토콜 시스템, 소프트웨어 및 방법은 본 명세서에서 개시된 다른 시스템, 소프트웨어 및 방법 중 임의의 것과 조합하여 이들이 보기, 검토, 분석 또는 그 밖에 이미지(예컨대, AI-보조 소견, 자동화된 보고서 생성 등)와의 상호동작에 관련되는 정도로 사용될 수 있다. 예시적인 예로서, 사용자는, 자동화된/반-자동화된 보고서 생성을 위한 소견의 AI-보조 이미지 세그먼트화 및 생성을 실행하는 시스템 - 의료 이미지의 검토의 일부로서 이미지의 디스플레이 및 레이아웃을 제공하기 위한 행잉 프로토콜 시스템/서브시스템을 활용함 - 을 사용할 수 도 있다. 일부 실시예에서, 기준은 하나 이상의 연구 속성에 대응한다. 일부 실시예에서, 기준은 하나 이상의 이전 이미지 연구를 포함한다. 일부 실시예에서, 기준은 하나 이상의 이미지나 이미지 시리즈를 포함하는 하나 이상의 이전 이미지 연구를 포함한다. 일부 실시예에서, 하나 이상의 이전 이미지 연구는 기준을 구축하도록 사용자에 의해 선택된다. 예시적인 예로서, 사용자는 흉부 X-선에 관련된 여러 표본(exemplar) 이미지 연구나 이미지 시리즈를 선택하여 장래 흉부 X-선 이미지 연구나 이미지 시리즈를 위한 기준을 설정한다. 이들 이전 이미지 연구나 이미지 시리즈로부터의 관련 특성은 추출되어, 현재 이미지 연구나 이미지 시리즈에 궁극적으로 사용되는 행잉 프로토콜을 최적화하는데 사용되는 하나 이상의 속성을 결정하는데 사용된다. 일부 실시예에서, 행잉 프로토콜은 하나 이상의 이전 이미지 연구로부터 추출된 하나 이상의 속성을 기반으로 하여 최적화된다. 일부 실시예에서, 행잉 프로토콜의 최적화는 하나 이상의 이전 이미지 연구로부터 추출된 하나 이상의 속성을 기반으로 하여 복수의 행잉 프로토콜로부터 최적의 행잉 프로토콜의 선택을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는, 이미지 연구에 대한 이미징 순서, 임상 텍스트, 메타데이터(예컨대, DICOM 메타데이터) 또는 이미지 데이터(예컨대, DICOM 픽셀 데이터) 중 적어도 하나로부터 정보를 획득하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 자연어 처리 알고리즘을 사용하여 이미징 순서, 임상 데이터 또는 둘 모두로부터 하나 이상의 관련 특성을 추출하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 컴퓨터 비전 알고리즘을 사용하여 이미지 데이터로부터 관련 특성을 추출하는 것을 포함한다. 예컨대, 컴퓨터 비전 알고리즘은 연구 속성에 관한 정보를 제공하는 시각 특성을 식별하거나 추출하도록 구성된다. 일부 실시예에서, 행잉 프로토콜의 최적화는 메타데이터(예컨대, DICOM 메타데이터)로부터 특성을 추출한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 출력으로서 하나 이상의 속성을 생성하도록 추출된 특성을 입력으로서 기계 학습 분류기에 제공하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜은 기계 학습 분류기에 의해 생성되는 하나 이상의 속성에 따라 최적화된다.
본 명세서에서 개시된 것은 의료 이미지를 위한 임상적으로 관련된 정보를 디스플레이하는 방법으로서, (a) 디스플레이 상에 보여지는 의료 이미지의 일부분의 사용자 선택을 검출하는 단계; (b) 상기 의료 이미지의 일부분 내에서 특성을 식별하는 단계; (c) 상기 특성에 속하는 임상적으로 관련된 정보를 자동으로 디스플레이하는 단계를 포함하는, 상기 디스플레이 방법이다. 일부 실시예에서, 상기 의료 이미지는 피험자의 해부학적 부분을 포함한다. 일부 실시예에서, 상기 해부학적 부분은 사지, 몸통, 가슴, 복부, 머리 중 적어도 하나를 포함한다. 일부 실시예에서, 상기 피험자의 특성은 기관을 포함한다. 일부 실시예에서, 상기 기관은, 심장, 폐, 신장, 간, 위장계, 뇌, 뼈, 췌장, 갑상선, 요로 기관, 생식 기관 또는 이들의 조합으로부터 선택된다. 일부 실시예에서, 상기 방법은 의료 이미지를 세그먼트화하여 상기 특성을 검출하는 단계를 더 포함한다. 일부 실시예에서, 상기 의료 이미지는 세그먼트화 알고리즘을 사용하여 분석된다. 일부 실시예에서, 이 방법은, 기계 학습 알고리즘을 사용하여 상기 의료 이미지를 분석하여 상기 특성을 식별하는 단계를 더 포함한다. 일부 실시예에서, 상기 의료 이미지는 복수의 특성을 포함한다. 일부 실시예에서, 상기 복수의 특성 중 각각의 특성은 세그먼트화된다. 일부 실시예에서, 임상학적으로 관련된 정보를 제공하는 단계가 의료 보고서, 이전 의료 이미지, 연구실 보고서, 상기 의료 이미지에 속한 기록 또는 그 조합 중 하나 이상으로부터 정보를 추출하는 단계를 포함한다. 일부 실시예에서, 정보를 추출하는 단계는 사용 자연어 처리를 포함한다. 일부 실시예에서, 비-임상학적으로 관련된 자료를 포함하는 것으로 간주되는 정보가 제공되지 않는다. 일부 실시예에서, 이 방법은 정보가 임상학적으로 관련된 정보인지를 결정하는 단계를 더 포함한다. 일부 실시예에서, 정보가 임상학적으로 관련된 정보인지를 결정하는 단계는 하나 이상의 키워드를 검출하는 단계 및/또는 하나 이상의 규칙을 적용하는 단계를 포함한다. 일부 실시예에서, 이 방법은 상기 임상학적으로 관련된 정보의 적어도 일부분의 사용자 선택을 결정하는 단계를 더 포함한다. 일부 실시예에서, 이 방법은 상기 특성에 줌인하는 단계를 더 포함한다. 일부 실시예에서, 이 방법은, 상기 특성에 속한 임상학적으로 관련된 정보의 제2 세트를 제공하는 단계를 더 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 상기 임상학적으로 관련된 정보와 상이하다. 일부 실시예에서, 상기 특성은 간을 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 간에 속한 소견 또는 임프레션(impressions)을 포함한다. 일부 실시예에서, 상기 특성은 신장을 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 신장에 속한 소견 또는 임프레션을 포함한다. 일부 실시예에서, 상기 특성은 폐를 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 폐에 속한 소견 또는 임프레션을 포함한다. 일부 실시예에서, 상기 특성은 심장을 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 심장에 속한 소견 또는 임프레션을 포함한다. 일부 실시예에서, 상기 특성은 뇌를 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 뇌에 속한 소견 또는 임프레션을 포함한다. 일부 양상에서, 본 명세서에서 개시된 것은 의료 이미지를 위한 임상학적으로 관련된 정보를 디스플레이하기 위한 방법을 실행하도록 구성되는 시스템이다.
본 발명의 신규한 특성은 특히 첨부한 청구범위에서 제시되어 있다. 본 발명의 특성과 장점은 본 발명의 원리가 활용되어 있는 예시한 예를 제시하는 다음의 상세한 설명을 참조하여 더 잘 이해될 것이며, 수반하는 도면은 다음과 같다:
도 1은, 사용자의 상호동작의 AI 알고리즘, 시각화 및 캡쳐와 분석을 사용하여 의료 이미지의 세그먼트화 및 라벨링을 하여 보고서에 삽입하기 위한 소견을 생성하는 공정의 비제한적 예를 예시하는 흐름도를 도시한다.
도 2는 디스크 높이의 C2 내지 C3 손실의 의료 이미지의 예시적인 예를 도시한다.
도 3은 링크된 진단 보고서를 생성하기 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 4는 링크되고 추론된 최대 정보 이미지를 가진 소견의 예시적인 예를 도시한다.
도 5는, 의료 보고서에 삽입하기 위해 사용자가 확인하기 위해 제시되는 소견을 가진 의료 이미지의 예시적인 예를 도시한다.
도 6은, 사용자 구술의 기록을 제어하여 AI-보조 소견을 생성하기 위한 윈도우를 갖는 의료 이미지의 예시적인 예를 도시한다.
도 7은, 사용자가 AI-보조 소견을 허락하거나 수정하는 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 8은, AI 알고리즘을 개선하기 위한 피드백 루프를 포함하는 의료 이미지의 분석을 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 9는, 통신을 관리하고 및/또는 대기열(queue)에 넣기 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 10은, 방사선 보고서 및 이 보고서의 동료 검토를 위한 작업 흐름을 발생시키기 위한 종래의 임상 작업 흐름을 도시한다.
도 11은, 품질이나 성능 메트릭스를 발생시키기 위해 방사선 보고서의 언어의 AI-보조 또는 자동 분석의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 12는, 오버-리드 비교 프로세스의 비제한적인 예를 예시하는 흐름도를 도시하며, 이 프로세스에서, 자연어 처리가 사용되어 쌍방식으로 비교될 수 있는 각각의 보고서를 위한 요약 소견을 생성한다.
도 13은, 객관적인 비교를 위한 NLP 요약 방사선 전문의 보고서에 비교될 수 있는 요약 소견의 체계적인 리스트를 생성하기 위해 AI 컴퓨터 비전을 사용하여 자동 검토의 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 14는, 하나 이상의 성능이나 품질 메트릭스에 따라 방사선 전문의의 소견을 평가하여 이를 (예컨대, 더 경험이 있는/숙련된 방사선 전문의로부터의) "이상적인" 소견/프로세스에 비교하기 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 15는, 본 명세서에서 기재한 바와 같은 프로세스나 방법 중 임의의 것을 수행하기 위한 컴퓨터 시스템의 비제한적인 실시예를 도시한다.
도 16은 라벨 추출 파이프라인의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 17은, 컴퓨터 비전 모델 출력으로부터 텍스트를 생성하기 위한 NLP 파이프라인의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 18은, 신경 네트워크를 사용한 이미지 세그먼트화를 위한 프로세스의 비제한적인 예를 도시한다.
도 19는, 의료 이미지에서 하나 이상의 해부학적 구조에 대한 예측을 생성하기 위한 프로세스의 비제한적인 예를 도시한다.
도 20은, 작업 공간 이미지 뷰어 모듈, 자동 네비게이터 모듈 및 보고서 모듈의 도표를 도시한다.
도 21은, 세그먼트화 모듈, 라벨링 모듈, 사용자 점검 단계 모듈 및 해부학적 매퍼 모듈을 가진 해부학적 네비게이터 모듈의 도표를 도시한다.
도 22는, 단일 등급으로서 세그먼트화된 모든 가시적 등골뼈(vertebrae)를 가진 의료 이미지의 예시적인 예를 도시하며, 가시적 디스크 모두는 개별 등골뼈 사이를 구별하려는 어떠한 의도 없이 단일 등급으로서 세그먼트화되어 있다.
도 23은, 모든 등골뼈를 표시하는 영역을 개별 등골뼈로 세분하며, 모든 척추간 디스크를 표시하는 영역을 개별 디스크로 세분하는 세그먼트화된 척추의 라벨링을 가진 의료 이미지의 예시적인 예를 도시하며, 원래의 소스 이미지는 왼쪽에 도시되어 있으며 라벨링된 세그먼트화된 이미지가 오른쪽에 도시되어 있다.
도 24는, 세그먼트화 및 라벨링, 거부 또는 편집 세그먼트화 및 라벨링의 정확도를 확인하기 위한 옵션을 사용자에게 제공하는 해부학적 네비게이터-작동 이미지의 예시적인 예를 도시한다.
도 25는, 출력을 생성하는데 사용되는 분류기를 갖는 모듈과 계층 사이의 관계의 예시적인 도표를 도시한다.
도 26은, 인공 뉴런 계층 사이의 (미도시한) 스킵 연결을 포함하는 진보적인 추론을 위한 예시적인 신경 네트워크 아키텍쳐를 도시한다.
도 27은, 보고서 생성 동안 AI-보조 소견을 예시하는 흐름도를 도시한다.
도 28a는 이미지의 에지 포텐셜 맵을 계산하기 위한 공식의 예를 도시한다.
도 28b는, 에지 포텐셜 맵을 계산하기 위한 이미지 그레디언트 크기와 반비례로 변하는 공식이나 함수의 예를 도시한다.
도 28c는 계산된 종점의 예시적인 예를 도시한다.
도 29a는, 해부학적 부분의 일치하는 쌍 사이의 거리의 제곱 합(D)을 계산할 수 있는 공식을 도시한다.
도 29b는, 고정된 이미지 스택(위)과 움직이는 이미지 스택(아래) 모두에 대한 각각의 이미지 스택(얇은 수평선)에 수직인 선 상에 계산되며 투영되는 4개의 해부학적 영역 중심(원)을 갖는 이미지 비교 접근의 예시적인 예를 도시한다.
도 30은 상대 사이의 메시지의 송신의 도표를 도시한다.
도 31은 비디오-기반 통신과 화면 공유의 도표를 도시한다.
도 32는 VoIP 통화 대기열의 도표를 도시한다.
도 33은 작업리스트 관리를 위한 프로세스를 예시하는 흐름도를 도시한다.
도 34는, 이미지 순서를 사용한 연구-레벨 분류를 위한 프로세스를 예시하는 예시적인 도표를 도시한다.
도 35는 시리즈-레벨 분류를 위한 프로세스의 예시적인 도표를 도시한다.
도 36은, 2×8 뷰포트 레이아웃으로의 현재 및 이전 MRI 연구의 원하는 레이아웃의 예시적인 예를 제공한다.
도 37a는, 평가 중인 현재 이미지에서 L4-L5 해부학적 구조를 위한 소견 네비게이터 기능을 도시한다.
도 37b는, 현재의 이미지를 이전 보고서 소견과 비교할 때 소견 네비게이터 기능을 도시한다.
도 38a는, 소견이 보고서를 비교할 때 어떻게 보일 수 도 있는지의 예를 도시한다.
도 39a, 도 39b 및 도 39c는, 소견 대시보드 내에서 각각 L2, L3 및 L4 등골뼈로부터의 진전을 예시하며, 소견에 대한 텍스트-라벨 아이콘이 이미지로부터의 개별 보기 윈도우 내에 도시되어 있다.
도 39d는, 소견이 대응 보기 윈도우 내에서 해부학적 구조에 인접하게 보여지는 대안적인 보기 배치를 도시한다.
도 40은, 이미지 내부에서 사용자 좌표 선택(예컨대, x/y/z 좌표), 및 URL 하이퍼링크를 통한 이미지 좌표에 연결된 연관된 소견의 대응 생성의 예시적인 예를 도시한다.
도 41a는, 방사선 전문의가 특정 연구를 게재하는 방법을 선택할 때를 고려할 수 도 있는 복수의 인자를 상세하게 도시한다.
도 41b는, 온보딩 세션 동안 사용자가 특징의 특정한 조합을 어떻게 선택하여 게재 중인 프로토콜을 정의하도록 사용하는지를 도시한다.
도 41c는 행잉 프로토콜 온보딩 작업흐름의 일 예시적인 실시예를 디스플레이하는 도면이다.
도 41d는 행잉 프로토콜이 저장되는 예시적인 실시예를 디스플레이하는 도면이다.
도 41e는, 이들 시리즈가 이용 가능하지 않는다면 이 케이스에 대한 제2 선호 행잉 프로토콜을 표시하는 옵션을 디스플레이하는 도면이다.
도 42는, 일반 규칙을 기반으로 하여 생성되는 제안된 매크로의 예시적인 예를 도시한다.
도 43a는, 사용자가 복부 MRI의 영역을 선택하기 전 복부 MRI의 일 예시적인 실시예를 도시한다.
도 43b는, 사용자가 복부 MRI에서 간 위에서 포인터를 선택하거나 그 위에서 이동한 후 복부 MIR 및 간 연구 값의 일 예시적인 실시예를 도시한다.
도 43c는, 사용자가 복부 MRI에서 신장 위에서 포인터를 선택하거나 그 위에서 이동한 후 복부 MIR 및 신장 외과 보고서의 일 예시적인 실시예를 도시한다.
도 43d는, 사용자가 간 값을 선택하거나 그 위에서 이동한 후, 방사선 보고서로부터의 추출된 소견 및 임프레션과 간에 집중하는 복부 MRI의 줌인 부분의 일 예시적인 실시예를 도시한다.
도 1은, 사용자의 상호동작의 AI 알고리즘, 시각화 및 캡쳐와 분석을 사용하여 의료 이미지의 세그먼트화 및 라벨링을 하여 보고서에 삽입하기 위한 소견을 생성하는 공정의 비제한적 예를 예시하는 흐름도를 도시한다.
도 2는 디스크 높이의 C2 내지 C3 손실의 의료 이미지의 예시적인 예를 도시한다.
도 3은 링크된 진단 보고서를 생성하기 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 4는 링크되고 추론된 최대 정보 이미지를 가진 소견의 예시적인 예를 도시한다.
도 5는, 의료 보고서에 삽입하기 위해 사용자가 확인하기 위해 제시되는 소견을 가진 의료 이미지의 예시적인 예를 도시한다.
도 6은, 사용자 구술의 기록을 제어하여 AI-보조 소견을 생성하기 위한 윈도우를 갖는 의료 이미지의 예시적인 예를 도시한다.
도 7은, 사용자가 AI-보조 소견을 허락하거나 수정하는 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 8은, AI 알고리즘을 개선하기 위한 피드백 루프를 포함하는 의료 이미지의 분석을 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 9는, 통신을 관리하고 및/또는 대기열(queue)에 넣기 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 10은, 방사선 보고서 및 이 보고서의 동료 검토를 위한 작업 흐름을 발생시키기 위한 종래의 임상 작업 흐름을 도시한다.
도 11은, 품질이나 성능 메트릭스를 발생시키기 위해 방사선 보고서의 언어의 AI-보조 또는 자동 분석의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 12는, 오버-리드 비교 프로세스의 비제한적인 예를 예시하는 흐름도를 도시하며, 이 프로세스에서, 자연어 처리가 사용되어 쌍방식으로 비교될 수 있는 각각의 보고서를 위한 요약 소견을 생성한다.
도 13은, 객관적인 비교를 위한 NLP 요약 방사선 전문의 보고서에 비교될 수 있는 요약 소견의 체계적인 리스트를 생성하기 위해 AI 컴퓨터 비전을 사용하여 자동 검토의 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 14는, 하나 이상의 성능이나 품질 메트릭스에 따라 방사선 전문의의 소견을 평가하여 이를 (예컨대, 더 경험이 있는/숙련된 방사선 전문의로부터의) "이상적인" 소견/프로세스에 비교하기 위한 프로세스의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 15는, 본 명세서에서 기재한 바와 같은 프로세스나 방법 중 임의의 것을 수행하기 위한 컴퓨터 시스템의 비제한적인 실시예를 도시한다.
도 16은 라벨 추출 파이프라인의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 17은, 컴퓨터 비전 모델 출력으로부터 텍스트를 생성하기 위한 NLP 파이프라인의 비제한적인 예를 예시하는 흐름도를 도시한다.
도 18은, 신경 네트워크를 사용한 이미지 세그먼트화를 위한 프로세스의 비제한적인 예를 도시한다.
도 19는, 의료 이미지에서 하나 이상의 해부학적 구조에 대한 예측을 생성하기 위한 프로세스의 비제한적인 예를 도시한다.
도 20은, 작업 공간 이미지 뷰어 모듈, 자동 네비게이터 모듈 및 보고서 모듈의 도표를 도시한다.
도 21은, 세그먼트화 모듈, 라벨링 모듈, 사용자 점검 단계 모듈 및 해부학적 매퍼 모듈을 가진 해부학적 네비게이터 모듈의 도표를 도시한다.
도 22는, 단일 등급으로서 세그먼트화된 모든 가시적 등골뼈(vertebrae)를 가진 의료 이미지의 예시적인 예를 도시하며, 가시적 디스크 모두는 개별 등골뼈 사이를 구별하려는 어떠한 의도 없이 단일 등급으로서 세그먼트화되어 있다.
도 23은, 모든 등골뼈를 표시하는 영역을 개별 등골뼈로 세분하며, 모든 척추간 디스크를 표시하는 영역을 개별 디스크로 세분하는 세그먼트화된 척추의 라벨링을 가진 의료 이미지의 예시적인 예를 도시하며, 원래의 소스 이미지는 왼쪽에 도시되어 있으며 라벨링된 세그먼트화된 이미지가 오른쪽에 도시되어 있다.
도 24는, 세그먼트화 및 라벨링, 거부 또는 편집 세그먼트화 및 라벨링의 정확도를 확인하기 위한 옵션을 사용자에게 제공하는 해부학적 네비게이터-작동 이미지의 예시적인 예를 도시한다.
도 25는, 출력을 생성하는데 사용되는 분류기를 갖는 모듈과 계층 사이의 관계의 예시적인 도표를 도시한다.
도 26은, 인공 뉴런 계층 사이의 (미도시한) 스킵 연결을 포함하는 진보적인 추론을 위한 예시적인 신경 네트워크 아키텍쳐를 도시한다.
도 27은, 보고서 생성 동안 AI-보조 소견을 예시하는 흐름도를 도시한다.
도 28a는 이미지의 에지 포텐셜 맵을 계산하기 위한 공식의 예를 도시한다.
도 28b는, 에지 포텐셜 맵을 계산하기 위한 이미지 그레디언트 크기와 반비례로 변하는 공식이나 함수의 예를 도시한다.
도 28c는 계산된 종점의 예시적인 예를 도시한다.
도 29a는, 해부학적 부분의 일치하는 쌍 사이의 거리의 제곱 합(D)을 계산할 수 있는 공식을 도시한다.
도 29b는, 고정된 이미지 스택(위)과 움직이는 이미지 스택(아래) 모두에 대한 각각의 이미지 스택(얇은 수평선)에 수직인 선 상에 계산되며 투영되는 4개의 해부학적 영역 중심(원)을 갖는 이미지 비교 접근의 예시적인 예를 도시한다.
도 30은 상대 사이의 메시지의 송신의 도표를 도시한다.
도 31은 비디오-기반 통신과 화면 공유의 도표를 도시한다.
도 32는 VoIP 통화 대기열의 도표를 도시한다.
도 33은 작업리스트 관리를 위한 프로세스를 예시하는 흐름도를 도시한다.
도 34는, 이미지 순서를 사용한 연구-레벨 분류를 위한 프로세스를 예시하는 예시적인 도표를 도시한다.
도 35는 시리즈-레벨 분류를 위한 프로세스의 예시적인 도표를 도시한다.
도 36은, 2×8 뷰포트 레이아웃으로의 현재 및 이전 MRI 연구의 원하는 레이아웃의 예시적인 예를 제공한다.
도 37a는, 평가 중인 현재 이미지에서 L4-L5 해부학적 구조를 위한 소견 네비게이터 기능을 도시한다.
도 37b는, 현재의 이미지를 이전 보고서 소견과 비교할 때 소견 네비게이터 기능을 도시한다.
도 38a는, 소견이 보고서를 비교할 때 어떻게 보일 수 도 있는지의 예를 도시한다.
도 39a, 도 39b 및 도 39c는, 소견 대시보드 내에서 각각 L2, L3 및 L4 등골뼈로부터의 진전을 예시하며, 소견에 대한 텍스트-라벨 아이콘이 이미지로부터의 개별 보기 윈도우 내에 도시되어 있다.
도 39d는, 소견이 대응 보기 윈도우 내에서 해부학적 구조에 인접하게 보여지는 대안적인 보기 배치를 도시한다.
도 40은, 이미지 내부에서 사용자 좌표 선택(예컨대, x/y/z 좌표), 및 URL 하이퍼링크를 통한 이미지 좌표에 연결된 연관된 소견의 대응 생성의 예시적인 예를 도시한다.
도 41a는, 방사선 전문의가 특정 연구를 게재하는 방법을 선택할 때를 고려할 수 도 있는 복수의 인자를 상세하게 도시한다.
도 41b는, 온보딩 세션 동안 사용자가 특징의 특정한 조합을 어떻게 선택하여 게재 중인 프로토콜을 정의하도록 사용하는지를 도시한다.
도 41c는 행잉 프로토콜 온보딩 작업흐름의 일 예시적인 실시예를 디스플레이하는 도면이다.
도 41d는 행잉 프로토콜이 저장되는 예시적인 실시예를 디스플레이하는 도면이다.
도 41e는, 이들 시리즈가 이용 가능하지 않는다면 이 케이스에 대한 제2 선호 행잉 프로토콜을 표시하는 옵션을 디스플레이하는 도면이다.
도 42는, 일반 규칙을 기반으로 하여 생성되는 제안된 매크로의 예시적인 예를 도시한다.
도 43a는, 사용자가 복부 MRI의 영역을 선택하기 전 복부 MRI의 일 예시적인 실시예를 도시한다.
도 43b는, 사용자가 복부 MRI에서 간 위에서 포인터를 선택하거나 그 위에서 이동한 후 복부 MIR 및 간 연구 값의 일 예시적인 실시예를 도시한다.
도 43c는, 사용자가 복부 MRI에서 신장 위에서 포인터를 선택하거나 그 위에서 이동한 후 복부 MIR 및 신장 외과 보고서의 일 예시적인 실시예를 도시한다.
도 43d는, 사용자가 간 값을 선택하거나 그 위에서 이동한 후, 방사선 보고서로부터의 추출된 소견 및 임프레션과 간에 집중하는 복부 MRI의 줌인 부분의 일 예시적인 실시예를 도시한다.
본 명세서에서 개시된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 의료 이미지는 디스플레이 상에 시각화될 수 있으며, 방사선 전문의와 같은 사용자가 스트림라인 프로세스를 사용하여 이미지를 해석할 수 있어서 의료 보고서에 삽입하기 위한 소견을 효율적으로 생성할 수 있다. 사용자 입력은, 대안적으로 또는 눈-추적 장비와 소프트웨어를 사용하여 검출되는 시선 고정점 입력과 조합하여 마우스나 다른 입력 장치의 움직임이나 위치를 포함할 수 있다. 사용자 입력은 시스템이 사용자가 이미지의 어떤 부분을 선택하고 있거나 보고 있는지를 검출하게 할 수 있다. 이미지의 일부분은 이미지 세그먼트화 알고리즘에 따라 세그먼트화하여 라벨링될 수 도 있으며, 이미지 세그먼트화 알고리즘은 해부학적 변형을 고려하도록 구성될 수 있다. 게다가, 이미지의 선택된 부분의 평가나 해석의 사용자 구술은 오디오 검출 및 분석 알고리즘을 통해 문자로 변환될 수 있다. 사용자 입력과 구술의 조합은 이미지의 선택된 부분에 대응하는 임상적 소견을 생성하는데 사용될 수 도 있다. 소견은, 구술 시에 사용자 입력으로부터 추론되는 임상적 컨텍스트 - 예컨대 임의의 유용한 측정(들)(예컨대, 디스크의 치수(들)과 함께 분석(예컨대, "디스크 탈출")을 구술할 때 사용자가 "보고 있었던" 또는 "가르키고 있었던" 해부학적 세그먼트(예컨대, L4 내지 L5 디스크)를 명시함 - 를 기반으로 하여 해석될 수 있다. 소견 텍스트가 생성되면, 시스템은 사용자에게 의료 보고서에 삽입하기 전 소견을 수정하고 및/또는 확인하기 위한 옵션 - 이것은 사용자 확인을 기반으로 하여 청구를 처리하는 지불/청구 서브시스템과 선택적으로 통합됨 - 을 제시할 수 도 있다. 알고리즘은 AI-생성 소견과 사용자 구술/입력 - 보고서를 마무리할 때 소견을 수정/확인 시 사용자를 돕도록 제공될 수 도 있음 - 사이의 일치나 불일치를 결정하도록 보고서에서 소견에 적용될 수 있다. 최종 보고서는 하나 이상의 소견을 추론하며 및/또는 이를 임상적 컨텍스트 - 이들 임상적 컨텍스트 내에서 이들 소견이 생성되었음 - 에 링크하도록 구성될 수 있으며, 예컨대 소견을, 소견에 도달하는데 사용되는 가장 유용한 이미지 및/또는 이미지 세그먼트에 링크한다(예컨대, 소견에 이미지로의 하이퍼링크와 소견을 생성하는데 사용되는 입력을 태그함). 이로 인해 보고서의 후속한 뷰어는 원래의 사용자나 방사선 전문의가 사용한 동일한 정보를 시각화할 수 있어서 원래 소견의 더 알려진 평가나 확인을 허용할 수 있다. 게다가, 시스템은 지능형 작업리스트 관리 및/또는 통신 우선순위화와 대기열을 제공할 수 있어서 (예컨대, 이미지 연구 및/또는 이미지 시리즈를 위한) 작업흐름 효율을 개선할 수 있다. 시스템은 품질 측정의 자동화된 생성과 추적을 사용할 수 있어서 사용자/방사선 전문의 성과의 평가와 피드백을 제공할 수 있다. 시스템 자체와의 사용자 상호동작은 또한 캡쳐되어 성과를 개선할 수 도 있다. 일부 경우에, 시스템은 최적의 이미지 배치를 위한 여러 기준을 기반으로 하여 행잉 프로토콜을 생성하거나 제공한다. 이 시스템, 소프트웨어 및 방법은 본 명세서에서 기재한 프로세스 및/또는 기능의 임의의 조합을 포함할 수 있다.
그에 따라, 본 명세서에서 개시한 시스템, 소프트웨어 및 방법은 AI-보조 이미지 세그먼트화 및 라벨링, 소견 및/또는 측정의 AI-보조 구술, 소견의 비교, 및 문의, 양방향 동적 링크, AI 소견 디스플레이 및 상호동작, AI 보조를 추적 및 분석, 방사선 전문의를 위한 통신 허브, 작업리스트 관리, AI-작동 품질 메트릭스, AI-보조 자체-개선, 심층 정보 연계 및 행잉 프로토콜을 위한 AI를 포함하지만 이들로 제한되지 않는 본 명세서에서 개시한 프로세스 또는 서브시스템의 하나 이상을 병합할 수 있다. 프로세스나 서브시스템에 사용될 수 있는 알고리즘은 본 명세서에서 개시된 컴퓨터 비전 및 자연어 처리 알고리즘과 같은 여러 모델을 포함한다. 그에 따라, 본 개시는 이 문단에서 개시한 서브시스템과 방법의 앞선 리스트를 포함하는 본 명세서에서 개시한 시스템/서브시스템 및 방법의 임의의 조합을 상정한다. 사실, 본 개시의 장점 중 하나는, 플랫폼이나 시스템이 통합된 의료 이미지 분석 및 보고서 생성 경험을 제공하도록 본 명세서에서 개시한 서브시스템과 방법의 임의의 조합을 포함할 수 도 있다는 점이다. 서브시스템은 별도의 독점적 소프트웨어 솔루션으로 격리되기보다는 동일한 프레임워크 내에 통합될 수 도 있다. 예컨대, 방사선 전문의는 작업리스트 관리를 사용할 수 도 있어서 이들의 평가한 의료 이미지의 흐름, 더 효율적인 이미지 배치를 제공하기 위한 행잉 프로토콜, 의료 이미지 내에서 특성을 더 쉽게 식별하기 위한 AI-보조 이미지 세그먼트화 및 라벨링을 구성할 수 도 있으며, 소견 및/또는 측정의 AI-보조 구술을 사용할 수 도 있어서 소견이 생성되어 의료 보고서에 삽입되게 하는 속도를 개선할 수 도 있으며, 심층 정보 연계를 사용하여 의료 이미지에서 특정 특성을 볼 때 관련 연구실 결과에 액세스할 수 도 있다.
본 명세서에서 개시된 것은, 의료 보고서 생성을 위한 컴퓨터 기반 시스템으로서, (a) 프로세서; (b) 의료 이미지를 평가하기 위한 그래픽 사용자 인터페이스를 보여주기 위한 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 상기 의료 이미지에 관련된 컴퓨터-생성 소견을 포함하는 의료 보고서를, 사용자가 상기 보고서 내에 상기 컴퓨터-생성 소견의 포함을 허락할 때, 생성하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 시스템이다.
본 명세서에서 개시되는 것은, 의료 보고서 생성을 위한 컴퓨터로 구현되는 방법으로서, (a) 의료 이미지를 디스플레이하는 단계; (b) 상기 의료 이미지에 관련된 컴퓨터-생성 소견을 포함하는 의료 보고서를, 사용자가 상기 보고서 내에 상기 컴퓨터-생성 소견의 포함을 허락할 때, 생성하는 단계를 포함하는, 컴퓨터로 구현되는 방법이다.
본 명세서에서 개시된 것은, 의료 이미지를 평가하기 위한 컴퓨터 기반 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 상기 프로세서에 결합되며, 상기 의료 이미지를 보고 있는 사용자의 눈의 위치나 움직임을 추적하도록 구성되는 눈-추적 구성요소; (d) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 상기 의료 이미지를 상기 디스플레이 상에 디스플레이하게 하고; (ii) 상기 눈-추적 구성요소로 상기 사용자의 상기 눈의 상기 위치나 상기 움직임을 검출하게 하고; (iii) 상기 의료 이미지를 분석하게 하고, 상기 의료 이미지 내에서 복수의 특성을 식별하게 하고; (iv) 상기 사용자의 상기 눈의 상기 위치나 상기 움직임을 적어도 부분적으로 기반으로 하여, 상기 사용자가 그 비전을 보낸 상기 복수의 특성 중 특성을 결정하게 하고; (v) 상기 사용자로부터 입력을 수신하게 하며; (vi) 상기 특성을 상기 사용자로부터의 상기 입력과 연관시키게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 시스템이다.
본 명세서에서 개시된 것은, 의료 이미지를 평가하기 위한 컴퓨터로 구현되는 방법으로서, (a) 상기 의료 이미지를 디스플레이 상에 디스플레이하는 단계; (b) 눈-추적 구성요소로 사용자의 눈의 위치나 움직임을 검출하는 단계; (c) 상기 의료 이미지를 분석하며 상기 의료 이미지 내에서 복수의 특성을 식별하는 단계; (d) 상기 사용자의 상기 눈의 상기 위치나 상기 움직임을 적어도 부분적으로 기반으로 하여, 상기 사용자가 그 비전을 보낸 상기 복수의 특성 중 특성을 결정하는 단계; (e) 상기 사용자로부터 입력을 수신하는 단계; 및 (f) 상기 특성을 상기 사용자로부터의 상기 입력과 연관시키는 단계를 포함하는, 컴퓨터로 구현되는 방법이다.
본 명세서에서 개시된 것은, 컴퓨터 기반 보고서 생성 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 상기 디스플레이 상에 복수의 특성을 포함하는 의료 이미지를 디스플레이하게 하고; (ii) 상기 사용자로부터 입력을 수신하게 하고; (iii) 상기 복수의 특성으로부터의 특성과 상기 입력을 연관시키게 하며; (iv) 상기 입력을 포함하는 의료 보고서를 생성하게 하며, 상기 의료 보고서 내의 상기 입력은 태그와 연관되며, 상기 태그가 체결될 때, 상기 입력과 연관된 상기 특성이 디스플레이되는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 보고서 생성 시스템이다.
본 명세서에서 개시된 것은 컴퓨터로 구현되는 방법으로서, (a) 복수의 특성을 포함하는 의료 이미지를 디스플레이하는 단계; (a) 사용자로부터 입력을 수신하는 단계; (c) 상기 복수의 특성으로부터의 특성과 상기 입력을 연관시키는 단계; 및 (d) 상기 입력을 포함하는 의료 보고서를 생성하는 단계를 포함하며, 상기 의료 보고서 내의 상기 입력은 태그와 연관되며, 상기 태그가 체결될 때, 상기 입력과 연관된 상기 특성이 디스플레이되는, 컴퓨터로 구현되는 방법이다.
본 명세서에서 개시된 것은 컴퓨터 시스템으로서, (a) 프로세서; (b) 디스플레이; (c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가: (i) 사용자로부터의 명령에 응답하여, 기계 학습 소프트웨어 모듈을 사용하여 의료 이미지를 분석하여, 컴퓨터-소견을 생성하게 하고; (ii) 상기 컴퓨터-소견을 상기 사용자에 의해 생성되는 의료 보고서에 병합하라는 옵션을 상기 사용자에게 제공하게 하며; (iii) 상기 의료 보고서를 분석하여, 상기 컴퓨터-소견이 상기 의료 보고서에 있는지를 결정하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 시스템이다.
본 명세서에서 개시된 것은 컴퓨터로 구현되는 방법으로서, (a) 사용자로부터의 명령에 응답하여, 기계 학습 소프트웨어 모듈을 사용하여 의료 이미지를 분석하여, 컴퓨터-소견을 생성하는 단계; (b) 상기 컴퓨터-소견을 상기 사용자에 의해 생성되는 의료 보고서에 병합하라는 옵션을 상기 사용자에게 제공하는 단계; 및 (c) 상기 의료 보고서를 분석하여, 상기 컴퓨터-소견이 상기 의료 보고서에 있는지를 결정하는 단계를 포함하는, 컴퓨터로 구현되는 방법이다.
본 명세서에서 개시된 것은 의료 보고서를 제시하는 컴퓨터로 구현되는 방법으로서, (a) 디스플레이 상에 보여지는 의료 이미지의 일부분의 사용자 선택을 검출하는 단계; (b) 상기 의료 이미지의 일부분 내에서 특성을 식별하는 단계; (c) 상기 특성에 속하는 임상적으로 관련된 정보를 자동으로 디스플레이하는 단계를 포함하는, 컴퓨터로 구현되는 방법이다.
AI-보조 이미지 세그먼트화 및 라벨링
본 명세서에서 개시된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은, 해부학적 변형의 라벨링을 포함한 AI-보조 이미지 세그먼트화 및/또는 라벨링을 제공한다. 이들 프로세스는, 독립형이거나 본 명세서에서 개시된 바와 같은 더 큰 플랫폼이나 시스템의 일부일 수 있는 시스템, 서브 시스템 또는 모듈을 통해 구현될 수 있다. 예컨대, X-선 또는 MRI와 같은 의료 이미지는 이미지를 하나 이상의 구역으로 분할하도록 이미지 세그먼트화 알고리즘을 사용하여 평가될 수 있다. 이들 구역은, 특정한 해부학적 특징을 공유하는 대상이나 경계에 대응하는 픽셀 세트일 수 있다. 예컨대, 사람 등골뼈의 X-선 이미지는, 개별 뼈에 대응하는 세그먼트로 이미지를 분할하도록 세그먼트화될 수 있다. 세그먼트화는, 의료적으로 관련될 수 있으며 그에 따라 분석이나 보고서 내에 포함하기에 적절한 의료 이미지의 표현을 제공한다. 이미지의 세그먼트는 개별 픽셀에 할당되는 하나 이상의 라벨에 따라 정의될 수 있다. 따라서, 등골뼈 세그먼트를 구성하는 픽셀은 등골뼈에 대한 공통 라벨을 공유할 것이다. 이미지 또는 그 세그먼트화된 부분을 적용한 이미지 및/또는 라벨의 세그먼트화된 부분이 컴퓨터-소견으로서 사용될 수 있다.
일부 경우에, 이미지 세그먼트화는 이미지 세그먼트화 모듈에 의해 실행된다. 이미지 세그먼트화 모듈은 해부학적 네비게이터 모듈의 구성요소 모듈일 수 도 있다.
일부 경우에, 이미지 세그먼트화는, 전체 이미지의 적어도 일부분을 포함하거나, 대안적으로나 조합하여서, 이미지에서 검출된 하나 이상의 윤곽이나 에지를 포함하는 하나 이상의 구역을 생성한다. 이들 구역이나 윤곽은 하나 이상의 유사한 특징이나 속성을 공유하는 픽셀로 구성된다. 그러한 특징의 비-제한적 예는 색, 밀도, 세기 및 텍스쳐를 포함한다. 인접한 구역은 일반적으로 그러한 하나 이상의 특징에서의 차이를 기반으로 하여 검출된다. 일부 경우에, 이미지 세그먼트화는 단일 특징 또는 대안적으로는 하나 이상의 특징의 조합을 기반으로 하여 실행된다. 의료 이미지는, 시간이나 다른 파라미터가 볼륨에 걸쳐 변한다면 2D 이미지 또는 3D 이상의 차원의 이미지일 수 있다.
상세한 인간 해부학적 구조의 이미지 세그먼트화 및 라벨링은, 특히 해부학적 구조의 자연적 변화와 병리의 가능한 존재가 있는 경우, 어렵다. 이러한 어려움은, 특히 세그먼트화되며 라벨링될 수많은 차별적인 구역(예컨대, 24개의 등골뼈와 23개 추간 디스크가 있는 척추)의 이 있어서 작업이 전경 대 배경(2종류)을 초과하는 경우에 자명하다. 추가로, 일부 해부학적 구조는 주어진 이미징 양식에서의 구조들보다 상당히 더 섬세할 수 있다. 그에 따라, 본 명세서에서 개시된 것은, 전체 문제 세트가 해결될 때까지 점진적으로 더 어려운 문제를 알려주기 위해 용이한 문제를 해결하도록 학습하며 그 후 이들 추론을 점진적으로 사용함으로써 용이한 문제와 어려운 문제의 세트를 해결할 수 있는 점진적인 추론 접근을 포함하는 시스템, 소프트웨어 및 방법이다.
일부 실시예에서, 이미지 세그먼트화는 해부학적 변형을 고려하는 다수의 해부학적 부분 상에서 실행되며, 이들 변형에서, 해부학적 구성요소의 수, 이들 구성요소의 형상/형태 또는 이들 구성요소 사이의 공간적 관계는 환자마다 변할 수 도 있다.
일부 경우에, 이미지 세그먼트화 알고리즘은 해부학적 변형을 검출하도록 구성된다. 피험체가 보통 우세한 해부학적 구조를 가질 것이지만, 결함 알고리즘이 고려하는데 실패할 수 있는 변형이 존재한다. 예로서, 척추는 상이한 수의 등골뼈나 세그먼트를 갖는 상이한 섹션으로 나뉜다. 등골뼈는 총 33개의 등골뼈의 경우 통상 7개의 경추, 12개의 흉추, 5개의 요추, 5개의 천추 및 4개의 미추를 포함한다. 그러나 척추 해부학적 구조의 변형은 상당히 일반적이며 이들 중 많은 것은 잠재적으로는 등골뼈의 라벨링에 혼란을 초래할 수 있다.
Durand 등(Mag Res 이미징 Clin N Am 18 2010)에 따르면, 여러 종류의 해부학적 변형이 있다. 제1 종류는 반등골뼈 및 웨지 등골뼈를 포함하는 개선의 실패로 인한 형태의 변형이다. 제2 종류는, 연속되는 등골뼈 바디가 블록 등골뼈, 유닐래터럴 바 등골뼈(unilateral bar vertebrae) 및 환추후두골유합(atlantooccipital fusion)를 포함한 개선 동안 분리하는데 실패하는 세그먼트화의 경우이다. 제3 변형 종류는 치상돌기 분리증(os odontoideum), 버터플라이 등골뼈, 숨은척추갈림증(spina bifida occulta) 및 림버스 등골뼈(limbus vertebrae)를 포함한 퓨전 및 갈라진 형태의 변형이다. 사소한 변형의 예는 지방 필럼 터미날(fatty filum terminale), 지속적인 척색(persistent notochord), 쉬모를 결절(Schmorl's node) 및 이행 등골뼈를 포함한다. 이들 변형은 각각의 등골뼈의 일반 외양에서의 변화, 전체 레이아웃에서의 변화 및 등골뼈의 수와 라벨에서의 각각의 변화 중 어느 하나로서 명백하게 된다.
방사선 촬영으로 오라벨링된 등골뼈의 임상적 중요성은, 부정확한 등골뼈 라벨이 외과 수술이나 주사를 잘못된 레벨로 초래할 수 있으므로 과장될 수 없다. 다른 복잡한 인자로는, 환자가 해부학적 변형을 갖는다면, 증상의 임상적 상관이 또한 오류가 있을 수 있다는 점이다. 그에 따라, 자동화된 이미지 세그먼트화의 분야에서, 해부학적 변형의 이미지를 포함한 의료 이미지를 정확히 세그먼트화하는 성능이 매우 중요하다.
그에 따라, 본 명세서에서 개시된 것은, 해부학적 변형을 검출하도록 구성되는 세그먼트화 알고리즘을 사용하여 이미지 세그먼트화를 실행하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 로컬라이저 또는 스카웃 이미지가 이미지 세그먼트화를 향상시키는데 사용된다. 이들은 일반적으로 낮은 해상도이지만, 더 넓은 뷰 이미지 필드 - 더 고 해상도 진단 이미지 획득을 적절히 위치지정할 목적으로 획득됨 - 이다. 예로서, 전체 척추가 분석될 이미지 시리즈의 뷰 필드 내에 있지 않다면, 하나 이상의 등골뼈에 의한 라벨의 시프트가, 특히 해부학적 변형의 존재 시에, 더 가능성이 있다. 일부 경우에, 큰 뷰 필드 로컬라이저 이미지가, 이들 이미지가 등골뼈의 전체 시퀀스와 신원을 식별하도록 획득되었다면, 특히 서지털(sagittal)에서 사용된다. 등골뼈의 추정 라벨링은 두개골-말단부 방향으로 로컬라이저 이미지로부터 이뤄질 수 있다. 이미지 시리즈가 기준 UID의 동일 DICOM 프레임을 공유한다면, 공유된 좌표계가 가정될 수 도 있으며, 추정 라벨이 바로 전송될 수 도 있다. 이미지 시리즈가 기준 프레임을 공유하지 않는다면, 이미지는 서로 등록될 수 있어서 공유 기준 프레임 기준을 구축할 수 있다. 일부 실시예에서, 큰 뷰 필드, 저-해상도 로컬라이저/스카웃 이미지가 사용되어 더 작은 진단 뷰 이미지 필드보다 더 큰 컨텍스트를 제공한다. 예컨대, 등골뼈의 정확한 라벨을 결정하는 것을 보통 척추의 어느 한 단부(Cl 등골뼈나 엉치뼈 중 어느 하나)로부터 계수함을 수반한다.
일부 경우에, 이미지 세그먼트화는 척추의 이미지에 관해 실행된다. 예로서, 세그먼트화 모듈에의 입력 이미지는 척추의 MRI T2-가중 서지털 이미지이다. 이미지 세그먼트화는 다음의 4개의 종류 사이를 구별하도록 실행될 수 있다: 등골뼈, 추간 디스크, 척수 및 배경. 이 단계에서, 보이는 등골뼈는 단일 종류로서 세그먼트화되며, 보이는 디스크는 단일 종류로서 세그먼트화되며 개별 등골뼈 사이를 구별하고자 시도하지 않는다(도 22).
이미지 세그먼트화는 컨볼루션 신경 네트워크(CNN)를 포함한 다양한 기술을 사용하여 실행될 수 있다. 예시적인 예로서, 이미지 세그먼트화는 아담(Adam) 옵티마이저(Long J 등, arXiv 2015)에 의한 교차 엔트로피 손실을 사용한 2.5D 완전 컨볼루션 네트워크(FCN)를 사용하여 실행된다. 일부 경우에, 이미지는 크기조정되며 세기 공칭화된다. 하이퍼파라미터 검색이 격자 검색을 통해 실행된다. 조직화(regularization)는 조기 정지 기준, 일괄 정규화 및 드롭아웃을 포함한다. 일부 경우에, 단일 FCN 모델이 경부, 흉부, 요부 척추 이미징 연구의 세그먼트화에 사용된다. 도 22에 도시한 바와 같이, 해부학적 네비게이터는, 원래의 소스 이미지가 왼쪽에 도시되며 계산된 세그먼트화가 오른쪽에 도시된 척추 세그먼트화를 도시하며 등골뼈 본체는 황색으로 추간 디스크는 청색으로 되어 있다.
일부 경우에, 세그먼트화 알고리즘은 라벨 할당의 최적화를 실행하여 각 구역의 해부학적 종류를 규정한다. 로컬라이저 이미지는 통상 더 넓은 뷰 필드를 가지며, 이러한 더 넓은 뷰 필드는 해부학적 구조에 번호를 매기기 시작할 기준점의 식별을 허용한다(예컨대, 두개골 방향으로 번호를 매기는 Cl 등골뼈 또는 말단부 방향으로 번호를 매기는 Sl 등골뼈). 일부 경우에, 라벨은 먼저 로컬라이저로부터 결정된 후 고려 중인 시리즈에 전송된다. 다른 경우에, 로컬라이저로부터의 범용 정보와 고려 중인 시리즈로부터의 더 로컬라이즈된 정보를 모두 사용하여 동적인 라벨 조정이 있어서, 라벨은 로컬라이저와 고려중인 시리즈 모두에서 조정될 것이다.
일부 경우에, 여러 이미지 시리즈 내에서 개별 구역에의 등골뼈 라벨의 할당은 최적화 문제로서 제기되며, 이러한 문제는 동적 프로그래밍 또는 다른 최적화 프레임워크로 해결한다. 2개의 DNA 시퀀스의 시퀀스 정렬 문제와 유사하게, 정렬될 2개의 시퀀스는 이미지에서 식별되는 시퀀스 등골뼈 본체와 등골뼈 라벨의 시퀀스이다. 스코어링 기능은 각 이미지 구역에의 각 등골뼈 라벨의 코스트를 계산하는 시퀀스 간 스코어를 포함할 수 있다. 예컨대, 특정한 이미지 구역이 열악하게 돌출하는 극상돌기(spinous process)를 갖는 등골뼈를 포함한다면, 알고리즘은 이것에 다른 일치보다 흉부 등골뼈 라벨(T1-T12)을 갖는 일치에 대해 더 큰 스코어를 할당할 수 도 있다. 스코어링 기능은 이미지 구역에 대해서와 등골뼈 라벨에 대해서 모두 인트라-시퀀스 스코어를 또한 포함할 수 있다. 이미지 구역의 경우, 중심의 구분적 선형 시퀀스가 (예각을 포함하여) 앞뒤로 급하게 방향을 바꾼다면(zig back and fort), 상대적으로 직선(둔각)이 사용되는 경우보다 더 낮은 스코어를 받을 수 도 있다. 등골뼈 라벨의 시퀀스의 경우, 비순차적 시퀀스(예컨대, T5-T7-T6)가 훨씬 더 낮은 스코어를 받을 수 도 있다.
척추의 이미지 라벨링의 일예에서, 모든 등골뼈를 나타내는 구역은 개별 등골뼈(C1 내지 S1)로 세분되며, 모든 추간 디스크를 나타내는 구역은 개별 디스크(C2-C3 내지 L5-S1)로 세분된다. 척추 라벨링의 예가 도 23에 도시되어 있다. 왼쪽/오른쪽 포라멘(foramen)과 왼쪽/오른쪽 후관절에 대응하는 지점이 각 추간 디스크 레벨에 놓인다. 요추 연구의 경우, 단일 지점이 척수 원추(conus medullaris)에 놓일 수 도 있다. 사용자가 원하는 경우 이들 구역/지점 및/또는 텍스트 라벨 중 임의의 것의 시각화를 온 또는 오프할 수 도 있다. 일부 경우에, 라벨이 있는 전체 척추 모델은 3D로 시각화된다. 등골뼈 및 디스크 라벨링은 여러 기계 학습 알고리즘, 예컨대 컨볼루션 신경 네트워크(CNN)와 같은 네트워크를 사용하여 실행될 수 있다. 예시적인 비-제한 예는 아담 옵티마이저(Chen LC 등, IEEE PAMI 2018)에 의한 교차 엔트로피 손실을 사용한 2.5D DppeLab v3 신경 네트워크이다. 이미지는 크기조정되며 세기 공칭화된다. 하이퍼파라미터 검색이 격자 검색을 통해 실행된다. 조직화는 조기 정지 기준, 일괄 정규화 및 드롭아웃을 포함한다. 왼쪽/오른쪽 포라멘, 왼쪽/오른쪽 후관절 및 코너스의 랜드마크 검출은 컨볼루션 포즈 머신(CPM)을 사용하여 실행될 수 있으며, CPM은 포즈의 장거리 이미지 시퀀스 장점을 컨볼루션 신경 네트워크의 특성 검출 및 공간 컨텍스트 인지 장점과 결합한다(Wei SE 등, arXiv2016). 이들 네트워크는 유클리드 거리 메트릭스와 퍼센티지 커렉트 키포인트(PCK) 메트릭스를 통해 평가될 수 있다.
일부 경우에, 세그먼트화 및/또는 라벨링 알고리즘은 예컨대 하나 이상의 의료 이미지에서 해부학적 구조나 특성을 세그먼트화하고 및/또는 라벨링하도록 구성되는 딥러닝 신경 네트워크와 같은 기계 학습 알고리즘이다. 이미지 세그먼트화 및/또는 라벨링 알고리즘의 추가 설명은 컴퓨터 비전에 관한 것과 같은 본 개시 전반에서 볼 수 있다.
일부 실시예에서, 신경 네트워크 아키텍쳐는 이미지 세그먼트화 및 해부학적 구조나 특성 라벨링을 실행하는데 사용된다. 신경 네트워크 아키텍쳐의 예는 인셉션(inception)이며, 이것은 여러 기계 학습 문제를 성공적으로 해결하는데 사용되었다(Szegedy 등 2014). 다른 혁신 중에서도, 이 아키텍쳐는, 입력에서 출력까지의 중간 모듈에서 보조 분류기를 추가함으로써 역전파(backpropagation) 동안 사라지는 그레디언트의 문제를 해결한다. 각 모듈은 하나 이상의 인공적 신경 계층을 구성된다. 이들 보조 분류기는 하나 이상의 인공적 신경 계층으로 또한 구성되며, 그레디언트 값을 더 이른 모듈에 투입하며, 이 더 이른 모듈에서, 이들 값은 그렇지 않았다면 출력으로부터 시작하여 크게 감소하였을 것이다. 특히, 이 아키텍쳐에서, 분류기 출력 모두는 동일하다. 도 25는 인셉션을 위한 요약된 신경 네트워크 아키텍쳐를 도시한다. 보조 분류기는 중간 모듈에 추가되어 출력으로부터 입력으로 다시 전파된 그레디언트 신호를 증가시킨다. 훈련 동안, 손실 기능을 계산하는데 사용된 목표는 최종 분류기와 보조 분류기 사이에서 동일하다.
본 명세서에서 개시된 것은, 인셉션에서 보조 분류기의 사용과 같은 기존의 접근법에 비해 여러 가지 장점을 제공하는 점진적인 추론 접근법을 사용하여 이미지 세그먼트화 및/또는 라벨링을 실행하기 위한 시스템, 소프트웨어 및 방법이 있다. 예시적인 예로서, 점진적인 추론을 병합한 신경 네트워크 아키텍쳐는 복잡한 이미지를 위한 더 큰 세그먼트화 및/또는 라벨링 정확도를 제공하는데 사용될 수 있다. 일부 실시예에서, 이미지 세그먼트화 및/또는 라벨링을 실행하기 위한 알고리즘은 일련의 모듈로 구성되는 이미지 분석 아키텍쳐를 포함하며, 여기서 각 모듈은 이미지의 각각의 구성요소를 분석하여 대응하는 출력을 생성한다. 제1 모듈은 입력 데이터(예컨대, 이미지 데이터)의 분석을 실행하여 출력을 생성한다. 각각의 후행 모듈은 입력 데이터 및/또는 그 일부분 모두를 선행 모듈의 출력과 함께 분석할 수 있어서 그 다음 출력을 생성할 수 있다. 그에 따라, 더 이른 출력이 인셉션 - 여기서 중간 출력이 훨씬 더 좁은 방식으로 사용됨 - 에서 보조 분류기의 사용과 달리 후속한 추론 프로세스에서 사용되어, 오직 손실 기능에 기여한다. 모듈은 분석 작업의 증가한 난이도의 시퀀스에서 배치될 수 있어서, 각각의 후행 모듈에 의해 실행된 분석에의 각각의 선행하는 모듈의 출력의 통합이 후행 모듈의 분석의 정확도를 향상시킨다.
도 26은 점진적인 추론을 위한 신경 아키텍쳐의 비-제한적인 실시예의 요약된 도면을 제공한다. 도시한 바와 같이, 신경 아키텍쳐는 원래의 이미지와 선행하는 모듈의 출력을 분석하는 3개의 모듈의 시리즈를 사용한다. 이 실시예에서, 출력의 레벨은 작업 복잡도 면에서 용이, 중간 및 어려움으로 나뉜다. 예컨대 적어도 2, 3, 4, 5, 6, 7, 8, 9 또는 10 이상의 레벨과 같이 임의의 수의 복잡도 레벨은 이 아키텍쳐와 함께 사용될 수 있다. 제1 레벨에 후속하여, 원래의 입력 이미지나 이미지 데이터는 이전 레벨 출력과 결합(concatenate)될 수 있어서 그 다음 레벨로의 입력이 될 수 있다. 또한, 그레디언트는 또한 각 레벨에 걸쳐 역전파됨을 주목해야 한다. 복잡도 레벨의 여러 해부학적 구역으로의 할당은 인근 해부학적 구조에의 의존도와 외양의 서틀티(subtlety)를 수동으로 고려하여 해부학적 구역을 로컬화함으로써 추정될 수 도 있다. 대안적으로, 이점은, 점진적인 추론을 사용하지 않아 더 낮은 정확도 해부학적 구역이 더 어렵게 고려될 주어진 신경 네트워크에서 세그먼트화 정확도에 순위를 매김으로써 정량적으로 결정될 수 있다.
"점진적인 추록" 접근법은, 다수의 원하는 출력을 갖는 문제에 적용되는 임의의 신경 네트워크 아키텍쳐에 거의 적용될 수 있다. 예컨대, 출력은 다수의 카테고리 이미지 세그먼트화 작업에서 수많은 해부학적 구역을 나타낼 수 도 있다. 출력 중 일부는 상대적으로 결정하기 용이할 수 도 있는 반면, 다른 출력은 사람 전문가와 알고리즘 모두에 대해서 결정하기 어렵다. 예는 무릎 MRI의 다수의 구역의 세그먼트화에 있을 것이며, 여기서 뼈(대퇴골, 슬개골, 경골, 비골)는 일반적으로 기술하기 용이한 반면, 연골은 중간 난이도일 수 있으며, 인대(PCL, ACL, MCL, LCL)는 가장 난이도가 있을 수 도 있다.
다른 예는 MRI 또는 CT 이미지에서 등골뼈의 세그먼트화 및 라벨링에 있다. 이 작업에서 어려움 중 하나는 등골뼈가, 라벨링이 라벨링 시 하나(또는 이상) 만큼 오프가 되는 문제가 있기 쉽게 하는 유사한 외양을 갖는다는 점이다. 대부분의 사람 해석은 계수를 시작하는 척추의 말단(경추에서 뇌의 베이스 아래 C1/C2나 요추의 엉치뼈에서 S1 중 어느 하나)을 식별함으로써 시작한다. 예시적인 예로서, 점진적인 추론 접근법은 용이한 작업으로서 말단(C1/C2 또는 S1)을 사용하며 그 후 점진적으로 (말단부 방향으로나 두개골 방향으로 중 어느 하나로 각각 선행하여) 거기로부터 순차적으로 각각의 등골뼈를 세그먼트화하며 라벨링하는 작업을 해결한다. 난이도 레벨의 수를 제한하기 위해, 등골뼈는 2 내지 4개의 그룹으로 점진적으로 고려될 수 도 있다. 유사한 예가 해부학적 구조와 이미지 획득 양식의 모든 조합에 대해서 볼 수 있다. 본 명세서에서 개시한 방법에 따른 세그먼트화 및/또는 라벨링을 위해 이미징될 수 있는 해부학적 구조의 비-제한적 예는 머리, 뇌, 몸통, 복부, 심장, 폐, 전립선, 유방, 림프, 갑상선, 비장, 부신, 결장, 직장, 방광, 난소, 피부, 간, 척추, 뼈, 췌장, 자궁 경부, 타액선, 피지선, 고환, 흉선, 음경, 자궁 및 기타 해부학적 부분, 기관 또는 조직을 포함한다. 일부 실시예에서, 이미지는 몸통이나 사지(예컨대, 팔 또는 다리)와 같은 신체의 큰 부분을 포함한다. 일부 실시예에서, 이미지는 기관계, 예컨대 심혈관계, 골격계, 위장계, 내분비계 또는 신경계를 포함한다. 해부학적 영역, 기관 또는 조직은 질병에 걸리거나 부상을 입을 수 있거나 하나 이상의 인공물 또는 질병이나 부상의 특성을 포함할 수 있다. 예컨대, 유방 조영술에는 종양을 나타내는 이미지 특성이 포함될 수 있으며, 팔의 X-선에는 상완골 골절을 나타내는 이미지 특성이 포함될 수 있다.
본 개시에 따라 기재된 바와 같이 다양한 유형의 이미지, 예컨대 자기공명영상(MRI), CT(컴퓨터 단층 촬영), CAT(컴퓨터 축 단층 촬영), 양전자 방출 단층 촬영(PET), 단일 광자 방출 컴퓨터 단층 촬영(SPECT), 초음파, X선 이미지, 기타 유형의 의료 이미지가 분석될 수 있다.
복수의 원하는 출력의 다른 예는 동일한 입력 데이터에 적용되는 상이한 작업을 포함할 수 도 있다. 예컨대, 용이한 출력은 이미지 세그먼트화 작업일 수 있고, 중간 출력은 해부학적 구역을 라벨링하는 것일 수 있으며, 어려운 작업은 해당 영역 내의 병리를 검출하는 것일 수 있다. 이러한 점진적 추론 아키텍처는 초기 단계에서 추론된 정보가 나중에 더 어려운 단계에 유익하다는 가정 하에 적용될 수도 있다. 등급별 난이도 단계는 3개로 제한되지 않으며 원하는 특정 수준에 따라 임의의 숫자가 될 수 있다.
일부 실시예에서, 이들 단계 각각에 대한 손실 함수는 개별적으로 계산되고 전체 손실 함수에 부가적으로 또는 비선형적으로 기여한다. 예컨대, 손실은 이전 손실에 대한 더 작은 계수와의 선형 결합일 수 있다. 대안적으로, 선형 결합 이전에 손실을 거듭제곱할 수도 있다.
일부 실시예에서, 용이한 단계에 대한 입력은 전체 작업에 대한 원시 입력(raw input)이다. 이미지 세그먼트화의 경우에, 원시 입력은 소스 이미지 자체가 된다. 일부 실시예에서, 원시 입력은 이미지 세그먼트화 및/또는 라벨링 알고리즘에 의한 분석에 앞서 사전 처리된다. 사전 처리에는 이미지를 표준 크기로 크기 조정하거나, 컬러 이미지(들)를 그레이스케일로 변환하거나, 이미지(들)에서 노이즈를 제거하는 등 하나 이상의 단계가 포함될 수 있다. 일부 실시예에서, 후속 단계에서, 후행하는 모듈에 대한 입력은 원래 입력 또는 원시 입력과 이전 단계(들) 또는 모듈(들)의 출력의 계층별 결합이다. 예컨대, 이전 출력은 복수 종류 분류기에 대한 소프트맥스 출력일 수 있다. 따라서 후속 모듈에서는 이전에 추론된 출력을 고려하여 점점 더 어려워지는 문제에 대한 정보를 추가할 수 있다. 일부 실시예에서, 신경 네트워크가 사용되며, 여기서 신경 네트워크는 복수의 모듈 및 복수의 분류기를 포함한다. 각 모듈은 하나 이상의 인공 뉴런 계층으로 구성될 수 있다. 분류기는 또한 하나 이상의 뉴런 계층으로 구성될 수 있으며, 분류기가 입력의 결정 또는 분류(예컨대, 이미지 또는 픽셀)를 나타내는 출력을 생성한다는 차이점이 있다.
난이도 레벨이 너무 높으면 신경 네트워크의 전체 계층 수가 너무 많아지기 때문에 불리할 수 있다. 따라서, 일부 실시예에서, 각 난이도 레벨은 세그먼트화될 복수의 개별 작업 또는 종류를 포함한다. 이러한 접근법을 다양한 응용 영역에 일반화하기 위해, 한 가지 유리한 접근법은 세그먼트화할 다양한 종류를 설명하기 위한 계산 온톨로지를 개발하고 사용하는 것이다. 특히, 온톨로지는 유사한 난이도의 종류를 쉽게 식별할 수 있도록 풍부한 계층적 관계를 가지고 있다. 예컨대, 온톨로지는 모든 뼈가 하나의 난이도 종류에 속하는 것으로 식별하는 반면 모든 연골과 인대는 각각의 난이도 종류에 속한다.
일부 실시예에서, 점진적 추론을 위한 신경 네트워크 아키텍처는 인공 뉴런계층 사이의 스킵 연결을 포함한다. 스킵 연결은 예컨대 상이한 난이도 계층의 모듈과 분류기에 걸쳐 어디에서나 발생할 수 있다. 이러한 스킵 연결은 도 26에 도시되어 있지 않지만. 이 접근법과 일치하는 다양한 신경 네트워크 아키텍처가 사용될 수 있다. 이 접근법의 장점은 이전에 계산된 특성 맵을 후속 계층에서 사용하여 네트워크가 이러한 경계를 넘어 특성을 다시 학습해야 하는 비효율적인 필요성을 제거할 수 있다는 것이다.
본 명세서에 개시된 진보적 추론 아키텍처는 모듈(들) 계층 및 분류기 계층 각각의 특정 구현이 거의 모든 다른 신경 네트워크 계층으로 대체될 수 있는 거의 모든 신경 네트워크 백본 구조에 적용될 수 있다.
소견 및/또는 측정, 비교 및 문의의 AI-보조 구술
본 명세서에서 개시된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은 이미지(예컨대, 마우스 움직임 또는 눈 움직임) 및 언어 동작(예컨대, 구술)과의 사용자 상호동작을 검출하고 결합된 입력을 기반으로 AI-보조 소견/측정을 생성한다. 본 명세서에 기재된 AI-기반 이미지 세그먼트화 알고리즘은 의료 이미지의 부분(예컨대, 해부학적 구역)을 자동 또는 반자동으로 검출하고 라벨링할 수 있다. 이 시스템은 디스플레이에서 세그먼트화된 이미지를 보고 있는 사용자가 마우스 커서로 이미지를 가리키는 등(예컨대, 라벨링된 세그먼트) 이미지와 상호동작할 수 있도록 한다. 사용자는 이미지에 대응하거나 관련된 하나 이상의 설명, 예컨대 커서가 가리키는 이미지의 부분 또는 세그먼트에 대한 의학적 설명 또는 소견을 구술할 수 있다. 일부 경우에, 시스템이 구술을 검출하기 위한 마이크 또는 오디오 검출 구성요소를 포함하고 이를 해당 텍스트로 변환한다. 시스템은 입력(커서 및 구술)을 결합하여 AI-보조 소견/측정을 생성할 수 있다. 예컨대, 사용자가 X-선에서 L5 등골뼈를 커서로 가리키거나 보면서 구두로 "골절"이라고 말하면, 시스템은 L5 등골뼈에 골절이 있음을 나타내는 X-선 이미지에 대한 의료 보고서에 삽입되는 소견(예컨대, 문장)을 생성한다. 이 프로세스의 비제한적인 예가 도 1의 흐름도에 도시되어 있다. 흐름도는 AI 알고리즘(예컨대, 기계 학습 알고리즘을 사용하여 훈련된 신경 네트워크)을 사용하여 의료 이미지를 세그먼트화고 라벨링한 후 사용자에게 시각화하는 것을 보여준다. 사용자와 이미지의 상호 작용은 포인트 앤 클릭 또는 눈 추적과 문구의 구술을 사용하여 검출될 수 있으며, 이는 완전한 문구 또는 문장으로 변환되어 보고서에 삽입된다. 이러한 프로세스는, 독립형일 수도 있고 여기에 개시된 더 큰 플랫폼이나 시스템의 일부일 수도 있는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법의 한 가지 장점은 AI-보조 의료 보고서 생성이 의료 이미지의 더 빠르고 효율적인 분석과 해당 의료 보고서 생성을 가능하게 한다는 것이다. 검사를 판독하는 프로세스 동안, 방사선 전문의는 종종 해부학적 위치 지정을 포함하여 음성-텍스트 전사 시스템에 소견을 그대로 지시한다. 여기에는 구술하는 해부학적 부분을 구두로 말하고 해부학적 소견에 대한 완전한 문장을 만드는 것이 포함되며, 이는 시간이 많이 걸릴 수 있다.
따라서, 본 개시는 기존의 구술 프로세스의 시간 소모적 성질을 극복하기 위해 이미지 세그먼트화 및 사용자 입력/상호작용을 통합한다. 특히, 해부학적 구역의 AI-기반 이미지 세그먼트화와 중복 입력(예컨대, 마우스 클릭, 눈 추적)을 통해 방사선 전문의는 세그먼트화된 영역을 선택하고 약어 또는 단축 문구를 말할 수 있으며 가리키는 위치에 따라 위치 및 임상 컨텍스트를 추론할 수 있어서, 결국 완전한 문장이 임상 보고서에 삽입된다. 의료 이미지(들)는 관련 해부학적 구역으로 자동으로 세그먼트화되고 해부학적 구조에 대한 코드화 및/또는 일반 텍스트 설명을 포함하여 라벨링될 수 있다. 세그먼트화 알고리즘은 원시 입력 이미지뿐만 아니라 신체의 어느 부분이 스캔되었는지에 관한 이용 가능한 메타데이터를 제공할 수 있다. 따라서, 방사선 전문의 또는 사용자가 세그먼트화되고 라벨링된 이미지 부분을 가리키거나 보고 그 문구를 구술하면, 해당 소견이 자동으로 보고서에 통합될 수 있다. 이를 통해 컴퓨터-소견을 사람-소견과 함께 보고서에 통합할 수 있다. 예컨대, 이미지 부분의 세그먼트화 및 라벨은 전체 소견 중 컴퓨터-소견 부분일 수 있는 반면, 사람-구술 부분은 사람-소견일 수 있다. 예시적인 예로서, 사용자가 의료 이미지에서 신경 포라멘(세그먼트화/라벨링 알고리즘에 의해 C2-C3 포라멘으로 라벨링됨)을 가리키거나 보고 "협착증"이라고 말하면, "C2-C3 레벨에서 신경 포라멘 협착증"이라는 소견이 생성될 수 도 있어서, 인간과 컴퓨터 소견 모두를 통합할 수 도 있다.
일부의 경우에, 본 명세서에서 개시된 것은 소견의 AI-보조 구술이다. 이 정보의 한 가지 용도는 사용자가 특정 해부학적 위치에서 소견을 구술하고 있을 때이다. 예컨대, "T1-T2 등골뼈 레벨의 디스크 돌출" 소견은 일반적으로 "T1-T2 등골뼈 레벨"을 명시적으로 구술해야 하는 것을 포함한다. 위에서 기재한 대로 이미지 세그먼트화를 이미지의 마우스 포인터 위치와 함께 사용하거나 눈 추적 소프트웨어를 사용하여 이미지 위치를 결정하면, 사용자는 더 이상 위치를 구술할 필요가 없으며, AI-보조 보고는, T1-T2 디스크를 가리키거나 보는 동안 "디스크 돌출"이 구술될 필요만 단지 있을 것이다. 물론 "디스크 돌출"을 어떤 소견 유형으로든 대체할 수 있다.
사용자의 구술은 의료 보고서에 통합될 해당 텍스트로 변환될 수 있다. 구술은 문자 그대로 텍스트 그대로 변환될 수 있으며, 대안적으로 또는 조합하여 텍스트 또는 구술을 "번역" 또는 "해석"하여 보고서에 통합되는 최종 텍스트를 생성할 수 있다. 시스템은 캡처된 오디오를 텍스트/단어로 변환하거나 오디오/텍스트/단어를 새로운 형식이나 구성으로 번역하거나 해석하는 알고리즘으로 구성될 수 있다. 따라서, 일부 경우에, 시스템은 음성 오디오에서 약칭 또는 속어를 검출하고 오디오를 의료 보고서에 대한 긴 형식 또는 적절한 형식(예컨대, 일반 영어)으로 변환하도록 구성된 알고리즘을 포함한다. 예컨대, 사용자는 커서를 가리키거나 "C5 등골뼈"라고 라벨링된 X선 이미지의 세그먼트(예컨대, 컴퓨터-소견)를 응시하면서 "압박 골절"(예컨대, 사람-소견)을 말할 수 도 있으며, 시스템은 X-선 이미지에 대한 의료 보고서에 "C5 등골뼈에 압박 골절이 보인다"라는 서면 소견을 자동으로 생성한다. 도 2는 둘러싸는 선에 의해 식별되는 해부학적 부분과 해부학적 부분에 인접하게 위치하는 대응 라벨 "C2-C3: 디스크 높이 손실"을 갖는 의료 이미지의 예를 예시한다.
일부 경우에, 본 명세서에서 기재된 것은 AI-보조 측정 구술이다. 이는 자동화된 측정 시스템을 통해 구현될 수 있다. 통상적인 방사선과 보고서 내의 많은 소견은 특정 해부학적 위치에서 어느 정도 심각도를 지닌 특정 소견이 존재함을 기록한다. 다른 일반적인 소견 유형은 예상 값 범위를 벗어난 일부 해부학적 구조의 정량적 측정이다. 현재, 사용자는 측정 도구로 전환한 다음 선형 측정을 위해 이미지 위에 명시적으로 라인 세그먼트를 그린다. 그런 다음, 측정값을 문자 그대로 구술한다, 예컨대, "내측에서 측면까지 4.4cm x 5.2cm AP 크기의 찢어짐 결함이 있는 전체 극상근 및 극하근 건(tendon) 풋프린트의 전체 두께 파열"이라고 구술한다. 대조적으로, 본 개시는 사용자가 (라인 세그먼트의 시작 및 종점을 명시적으로 설정할 필요 없이) 가리키거나 관련 해부학적 구조를 보고 측정하라는 명령(예컨대, "측정"하라는 구두 명령)을 줄 수 있도록 한다. 명령의 비제한적인 예로는 자동 측정("이것을 측정하시오"), 비교 케이스 흐름("이것을 비교하시오") 및 이미지 문의("이것이 무엇입니까?", CADx, CBIR)가 있다. 따라서 해부학적 세그먼트화를 사용함으로써, AI 시스템은 선형 측정을 수행할 선 세그먼트를 정의하기 위해 정반대 광선 캐스팅에 대한 경계로 세그먼트화된 해부학적 구조를 사용하여 측정할 해부학적 구조의 부분을 알 수 있다. 그러면 AI 시스템이 보고서에 삽입할 문장을 자동으로 구성할 수 있다. 종양학적 이미지의 컨텍스트에서 한 가지 예는 RECIST("Response Evaluation Critrieria In Solid Tumors: 고형 종양의 반응 평가 기준") 시스템의 최대 높이/폭 측정을 적용하는 것이다.
시스템에 명령을 내리기 위해 구술을 사용할 수 있지만, 비언어적 명령은 단독으로 또는 조합하여 사용할 수 있다. 예컨대, 사용자는 세그먼트를 선택하고 및/또는 시스템이 해부학적 특징 또는 세그먼트를 측정하도록 하기 위해 의료 이미지를 가리키고 클릭하기 위해 마우스 및/또는 키보드를 사용할 수 도 있다. 일부 경우에, 터치 스크린 디스플레이의 경우와 같이, 사용자는 스타일러스나 손가락을 이용하여 의료 이미지 상의 위치를 표시할 수도 있다.
일부 실시예에서, 시스템의 해부학적 구조 각 부분은 해부학적 구조의 유형을 설명하는 태그를 갖는다. 이는 소프트웨어 온톨로지의 각 해부학적 구조의 유형에 대한 고유 식별자이다. 이 식별자는 다른 모든 사용자 작업이 이 컨텍스트에서 발생하도록 해부학적 컨텍스트를 전체적으로 설정하는 데 사용된다. 일부 경우에서, 사용자가 이미지에 보여진 해부학적 구조의 부분을 선택(예컨대, 마우스 또는 눈 추적을 사용하여)하면, 해당 해부학적 구조의 부분과 관련된 가능한 임상 소견 리스트가 사용자에게 제시된다. 일 실시예에서, 리스트는 이 특정 환자에 대한 이미징 외관을 고려하지 않고 유병률이 감소하는 순서로 가능한 소견을 포함한다. 일부 경우에, 리스트는 사용자가 조정할 수 있는 길이(예컨대, 상위 10개 소견)로 축소된다.
다른 실시예에서, 소견 리스트는, 추론이 이 특정 환자에 특정한 이미지의 특정 구역에서 가능한 소견 리스트를 생성하는 컴퓨터 보조 검출/진단 모듈에 의해 생성된다. 가능한 각 소견에 대해 스코어 또는 확률이 생성될 수 있으며 소견은 선택적으로 스코어 또는 확률의 내림차순으로 제시된다. 컴퓨터 보조 검출은 이미지 분석 알고리즘에 의해 생성된 출력일 수 있다. 일부 실시예에서, 출력은 점진적 추론을 위해 구성된 신경 네트워크 아키텍처를 포함하는 이미지 분석 알고리즘을 사용하여 생성되는 예측되거나 검출된 특징 또는 병리이다. 예시적인 예로서, 신경 네트워크는 입력 의료 이미지와 이전 분류기에 의해 생성된 출력을 기반으로 입력을 생성하는 분류기가 포함된 모듈 시퀀스로 구성된다. 이 예에서, 이 신경 네트워크의 분류기는 이미지 세그먼트화를 수행하고 이미지의 세그먼트화된 부분에 라벨링을 한 다음, 순차적으로 라벨링된 세그먼트에 대한 병리(예컨대, 병변, 협착, 골절 등)를 식별하며, 이때 세그먼트화 출력은, 식별된 이미지 세그먼트의 라벨링을 수행하는 분류기와 라벨이 지정된 이미지 세그먼트 및 원본 이미지를 사용하여 병리를 식별하는 분류기에 의해 원본 이미지와 결합하여 사용된다.
일부 실시예에서, 사용자가 특정 소견(예컨대, 가능한 소견 리스트에서)을 선택할 때, 소견의 구조화된 표현이 생성된다. 이 소견을 나타내는 한 가지 가능한 방법은 해부학적 위치 및 관찰 유형과 같은 다양한 개념을 나타내는 지식 그래프를 이용하는 것이다. 각 위치 또는 관찰에 대해, 개념이기도 한 다양한 수식어가 서브-해부학적 위치 또는 관찰의 심각도와 같이 이와 연관될 수 있다. 지식 그래프에서, 각 개념은 노드이며 두 노드 사이의 방향성 호는 관계를 나타낸다. 예컨대, "C2-C3 포라멘"은_관찰을 가지며, "협착증"은 _심각도 "경미함"을 갖는다.
일부 실시예에서, 이미징 소견의 구조화된 표현은 보고서에 삽입하기 위해 자연 텍스트로 변환된다. 일부 경우에, 이전 이미징 소견의 데이터베이스와 지식 그래프로 구조화된 표현을 문의하여 이러한 자연스러운 텍스트 표현이 생성된다. 대안으로 또는 조합하여, 자연 텍스트 표현은 지식 그래프의 구조를 고려하여 간단한 생성 규칙 세트를 통해 생성될 수 있다. 이전 단락의 예에서, 문의는 파싱된 소견의 기존 데이터베이스에서 "경미한 신경 포라멘 협착증이 C2-3 레벨에서 관찰된다"를 반환하는 반면, "<해부학적 구조>에는 <심각도> <관찰>이 있다"와 같은 생성 규칙은 "C2-C3 포라멘에 경미한 협착증이 있다."을 반환할 수 있다.
일부 실시예에서, 본 명세서에서 개시된 것은 AI-보조 자동 측정 기능이다. 현재, 선형 의료 이미지 측정은 사용자가 한 점을 클릭하여 눈금자를 고정한 다음 선 세그먼트를 끌어 마우스 버튼을 놓으면 눈금자가 설정되고 시각적으로 길이를 디스플레이하는 디지털 눈금자를 사용하여 수행된다. 그러나 이러한 상호동작은 특히 개체가 몇 개의 화면 픽셀만 확장하여 측정된 길이를 고도로 양자화하는 낮은 이미지 배율에서 의심되는 종양과 같은 작은 개체를 측정하는 경우 부정확할 수 있다. 이는 또한 사용자가 매우 고 정밀도로 마우스를 제어해야 하기 때문에 작업의 지루함을 가중시킨다.
일부 실시예에서, 자동 측정 도구는 반수동식이며, 측정 도구가 활성화되면 마우스 포인터 근처의 확대된 이미지 버전이 확대되지 않은 이미지 위에 중첩되고 눈금자 끝점 조작 시 마우스 움직임이, 위에서 설명한 문제를 피하기 위해 확대된 이미지에서 수행된다. 또한, 눈금자 끝점이 이미지의 이미지에 최대한 가깝게 배치되도록 보조하는 기능도 제공된다. 이는 도 28a에 도시된 공식을 사용하여 계산될 수 있는 이미지(I)의 에지 전위 맵을 계산함으로써 달성된다. 이미지 그레디언트는 잘 알려진 캐니 에지 검출기(Canny, IEEE TP AMI 1986)에서 사용되는 가우스 커널 G의 도함수를 사용한 컨볼루션을 사용하여 계산할 수 있다. 에지 전위 맵(g)은 도 28b에 도시된 공식과 같이 이미지 그레디언트 크기에 반비례하여 변화하는 임의의 함수를 사용하여 계산될 수 있다.
일부 실시예에서, 배치된 눈금자 끝점의 원래 위치로부터, 원하는 끝점은 2개의 눈금자 끝점에 의해 규정된 선을 따라 선 검색을 수행함으로써 계산된다. 에지 전위 맵을 사용하여 눈금자 끝점이 원하는 끝점이 되는 지점에서 로컬 최소값에 속하도록 할 수 있다. 따라서 눈금자 끝점이 처음에 이미지 에지 근처에 배치되어 있는 한, 이들 눈금자 끝점은 자동으로 에지를 찾아 고정할 수 있다. 도 28c는 계산된 끝점의 예시적인 예를 도시한다.
일부 실시예에서, 자동 측정 도구는 완전히 자동화되어 있으며, 여기서 사용자는 도구를 시작하기 위해 이미지 상의 단일 지점만 규정하면 된다. 선형 측정은 다양한 각도에서 이루어질 수 있으며 사용자는 ID 측정의 경우 하나의 가장 긴 것이나 2D 또는 3D 측정의 경우 가장 긴 측정값과 이에 수직인 측정값을 중 하나를 선택할 수 있다. 이러한 자동화된 측정은 마우스 클릭(예컨대, 트랙볼 클릭, 터치패드 클릭 또는 임의의 다른 동등한 장치 포함)에 의해 또는 눈-추적 장치와 같은 기타 컴퓨터 입력 장치에 의해 규정될 수 있다.
자동 측정은 초기에 배치된 지점을 기반으로 하여 수행될 수 있다. 예시적인 예로서, 초기에 배치된 지점은 일반적으로 물체의 중심 근처에 배치되고 별 모양의 패턴을 사용하여 다양한 각도(예컨대, 45도마다)에서 방향 선 검색을 수행한다. 이 예에서는, 충분한 깊이의 로컬 최소값(예컨대, 초기 지점에서 에지 전위의 50% 미만)에 도달할 때 각각의 검색은 종료한다.
반-수동 및 완전 자동 측정 방법 모두에 대해, 사용자는 음성 입력을 사용하여 원하는 끝점을 증가/감소시키거나 함으로써(예컨대, "더 크게" 또는 "더 작게"라고 말함) 자동화된 방식으로 측정을 조정할 수 도 이다. 대안적으로 또는 조합하여, 마우스 스크롤 휠(또는 일부 다른 적절한 사용자 입력)이 유사한 효과를 위해 사용될 수 있다.
일부 실시예에서, 본 명세서에서 개시된 것은 비교 케이스 흐름이라고 할 수 있는 이전 연구에 대한 AI-보조 비교이다. 본 시스템, 소프트웨어 및 방법을 통해 사용자는 현재 이미징 연구와 이용 가능한 이전 연구 사이에서 (가리키거나 바라보는 방식으로) 문의되는 특정 해부학적 구조를 비교할 수 있다. 현재, 이전 연구(들)를 사용할 수 있는 경우, 사용자는 두 스캔에서 동일한 해부학적 구조를 수동으로 찾은 다음, 비교를 위해 현재 및 이전 연구에서 소견 또는 측정값을 만들어야 한다. 따라서, 현재 이미지 스택의 이미지 슬라이스를 스크롤하면 두 이미지 스택 사이의 해부학적 위치를 보존하면서 이전 이미지 스택이 스크롤되도록 링크된 스크롤링을 갖는 것이 바람직할 것이다. 현재 구현에서는 이미지 대 이미지 등록을 사용하여 이 작업을 실행한다. 이미지 등록은, 동일한 해부학적 구조가 움직이는 이미지에서와 같이 고정된 이미지에서 동일한 좌표를 갖도록 한 이미지의 좌표계를 다른 이미지의 좌표계로 변환하는 것을 결정하는 것으로 구성된다. 이를 달성하기 위해 강성 변환(병진 및 회전만) 또는 비강성 변환을 사용할 수 있으며 비강성 변환의 경우 상당한 계산 리소스가 필요하다.
따라서, 본 명세서에서 개시된 것은, 해부학적 세그먼트화 및 라벨링을 활용하는 이전 연구 또는 비교 케이스 흐름과의 AI-보조 비교를 위한 시스템, 방법 및 소프트웨어이다. 현재 및 이전 이미지 스택 모두에 대해, 관련 해부학적 구조의 세그먼트화 및 라벨링을 계산할 수 있다. 3D-3D 이미지 등록의 일반적인 케이스와 비교하여, 등록이 한 이미지 스택에 이미지가 주어지는 1D이고, 다른 이미지 스택에 가장 가깝게 일치하는 이미지가 완전한 3D 회전 없이 바람직하도록 단순화된 가정을 할 수 있다. 일부 경우에, 고정 이미지 스택의 현재 이미지가 사용자에 의해 선택되며, 요구 사항은 고정 이미지의 해부학적 구조와 가장 일치하는 동영상 스택에서의 이미지를 찾는 것이다. 이를 ID 문제로 고려하기 위해, 각 3D 해부학적 라벨링된 구역의 중심을 계산한 다음, 이미지 스택에 수직인 선에 투영할 수 있다. 이는 고정 이미지 스택과 이동 이미지 스택 모두에 대해 수행된다. 일치하는 해부학적 구역 쌍 사이의 거리(di)가 계산되고 그 제곱합(D)은 도 29a에 도시된 공식에 따라 계산될 수 있다. 고정 이미지와 이동 이미지 간의 최적의 ID 변환을 찾기 위해 이 합계를 최소화할 수 있다. 도 29b는 고정된 이미지 스택(위)과 이동하는 이미지 스택(아래) 모두에 대해 각 이미지 스택에 수직인 선(가는 수평선)에 계산되고 투영된 4개의 해부학적 구역 중심(원)을 사용하는 이러한 접근법의 예시적인 예를 도시한다. 쌍별 거리는 두꺼운 수평 선으로 도시된다.
따라서, 해부학적 세그먼트화를 사용함으로써, 사용자는 "이것을 비교하세요"라는 명령을 내릴 수 있으며, AI 시스템은 현재 및 이전 연구(들)에 걸쳐 일치하는 해부학적 위치를 결정한 다음 선택적으로 각 연구에 대해 소견/측정 리스트를 제공한다. 정량적 측정의 경우, 시스템은 정량적 비교(예컨대, 백분율 변화)를 수행하고 텍스트를 생성하여 자동으로 보고서에 삽입할 수 있다(예컨대, 정량적 측정인 컴퓨터-소견).
일부 실시예에서, 본 명세서에서 개시되는 것은 이미지 문의 기능으로 지칭될 수 있는 AI-보조 문의이다. 본 시스템, 소프트웨어 및 방법을 통해 이미지의 특정 구역에 대한 AI-보조 문의가 가능하다. 사용자(예컨대, 방사선 전문의)가 이미지에서 이상 가능성이 있는 영역을 본 경우, 해당 구역을 가리키거나 바라보며 "이게 뭐지?"라고 말하면 이미지의 이 영역과 연관된 가능한 소견 리스트(예컨대, 세그먼트화되고 라벨링된 해부학적 부분에 대한 예측 병리의 컴퓨터-소견)이 제시된다. 이미지 분석을 위한 하나 이상의 알고리즘이나 모델을 포함하는 AI 비전 시스템이나 모듈을 사용하여 가능한 소견을 생성할 수 있다. 일부 실시예에서, AI-보조 문의 기능은 이미징 이상 카테고리의 광범위한 스펙트럼을 찾도록 구성된다. 예컨대, 척추 MRI에는, 관찰할 수 있는 상이한 이상 카테고리가 약 50개 있을 수 있으며, 이러한 이상 카테고리는 다양한 기계 학습 아키텍처를 사용하여 검출할 수 있다. 일부 실시예에서, 각 이상 카테고리에 대해 특정 모델이 생성된다. 예컨대, 한 가지 접근법은 50개의 상이한 이상 카테고리에 대해 50개의 상이한 검출 모델을 구축하고 훈련하는 것이다. 일부 실시예에서, 다양한 이상 카테고리를 검출하기 위해 단일 다중 작업 모델 또는 알고리즘이 생성된다. 예컨대, 다중-작업 학습(MTL) 접근법을 사용하여 50개의 상이한 유형의 이상을 검출하도록 단일 모델을 훈련할 수 있다. 일부 실시예에서, 다중 개별 모델과 단일 다중 작업 모델 접근법의 조합이 사용된다(예컨대, 관련 카테고리에 대한 다중 작업 모델 및 관련되지 않은 카테고리에 대한 다중 단일 모델). 심각도와 같은 추가적인 설명도 각 후보 이상에 대한 모델에 의해 추론될 수 있다(예컨대, 척추에서 발견된 병변은 해당 심각도 스코어 또는 지표를 가질 수 있음).
본 명세서에 개시된 이미지 문의 기능은 다중 이상 카테고리 검출의 결과를 얻기 위해 이미지를 문의할 수 있게 한다. 이미지 해석 중 언제든지, 사용자는 지정된 마우스 버튼, 키보드 단축키, 음성 명령("이게 뭐죠?") 또는 기타 적절한 사용자 입력을 사용하여 문의를 시작할 수 있다. 문의 시, 이미지 위치는 마우스를 사용하거나 눈-추적 장치와 같은 다른 컴퓨터 입력 장치를 사용하여 규정할 수 있다. 일부 실시예에서, 후보 이상 카테고리(예컨대, 후보 병변)가 지정된 이미지 위치에 충분히 가깝고 주어진 임계값보다 높은 확률 또는 스코어를 갖는 경우, 이 결과는 사용자에게 제시되고 이 소견을 설명하는 전문 문장이 생성된다(예컨대, 컴퓨터-소견). 일부 경우에, 사용자에게 의료 보고서의 소견 섹션에 있는 문장을 허락하거나 거부하라고 프롬프팅될 것이다.
따라서, 본 명세서에 개시된 AI 비전 시스템 또는 모듈은 이미지의 임의의 주어진 지점에서 반환될 수 있는 수많은 가능한 소견을 제공하는 하나 이상의 알고리즘 또는 모델을 포함할 수 있다. 예컨대, 이미지의 주어진 지점에는 가능한 각 소견에 대한 확률(또는 확률과 유사한 수량) 맵이 있다. 사용자가 지정한 지점이 주어지면, AI 시스템은 가능한 소견의 순위 리스트를 내림차순으로 반환할 수 있다. 리스트는 주어진 확률 레벨이나 길이에서 잘릴 수 있다. 사용자는 구두로 "예" 또는 "아니요" 명령을 내리거나 적절한 버튼을 클릭하여 AI 시스템이 이 소견에 대한 텍스트를 자동으로 생성하여 보고서에 삽입할지 여부를 선택할 수 있다. 일부 경우에, 본 명세서에 개시된 시스템, 소프트웨어 및 방법은 콘텐츠 기반 이미지 검색(CBIR) 기능으로 강화되어 문의되는 구역을 사용하여 해당 소견 또는 진단과 함께 미리 채워진 데이터베이스 내에서 유사한 이미지를 찾을 수 있다. 그러면, 사용자는 시각적 유사성을 통해 어떤 CBIR 결과가 현재 문의와 일치하는지 확인할 수 있으며 위와 같이 보고서 텍스트가 자동으로 생성되어 보고서에 삽입된다. 예컨대, 실제 소견으로 라벨링된 유사한 이미지를 검색하면 사용자가 고려 중인 소견이 실제로 무엇인지 결정하는 데 도움이 될 수 있다.
대안적으로 또는 마우스 커서 검출과 결합하여, 눈-추적을 사용하여 하나 이상의 시선 고정 지점을 나타내는 입력을 얻을 수 있다. 이를 통해 사용자가 마우스, 트랙패드, 키워드 또는 기타 물리적 입력 장치(예컨대, 터치스크린의 손가락이나 스타일러스)를 조작하지 않고도 이미지와의 사용자 상호 작용을 검출할 수 있다. 시스템은 눈 위치 및/또는 눈 움직임을 측정하기 위한 하나 이상의 눈-추적 장치(들)를 포함할 수 있다. 일부 경우에, 시스템은 눈 추적 알고리즘을 활용하여 의료 이미지에서 사용자의 시선 고정 지점을 외삽한다. 이미지는 컴퓨터 화면이나 디스플레이에 디스플레이될 수도 있고, 대안으로 투영된 이미지에 디스플레이될 수도 있다. 눈 추적 장치는 카메라나 기타 광학 센서일 수 있다. 일부 경우에, 시스템은 사용자의 눈(들)에 광(예컨대, 적외선)을 투사하는 발광 장치를 포함한다. 그러면, 광학 센서가 눈(들)에서 반사되는 광을 검출한다. 광학 센서에 의해 검출된 반사광의 패턴을 사용하여 해당 시선 고정 지점을 계산할 수 있다. 광은 근적외선(IR) 광일 수 있는데, 이는 사람의 눈에 보이지 않는다는 장점이 있다. 비디오-기반 눈 추적 시스템은 반사된 광과 동공의 각막(corneal) 반사 이미지를 촬영할 수 있다. 각막 반사와 동공은 시선 고정 지점을 식별하기 위한 목적으로 눈 위치 및/또는 움직임을 결정하는 특징으로 사용될 수 있다. 이 시스템은 디스플레이 또는 모니터(예컨대, 디스플레이에 내장되거나 부착된 발광 장치 및 광학 센서)에 설치할 수 있다.
일부 경우에, 눈-추적 시스템은 눈 추적 입력을 기반으로 하여 사용자 명령을 검출하도록 구성된다. 사용자 명령은 예컨대 마우스, 키보드, 트랙패드, 조이스틱, 컨트롤러 또는 스타일러스와 같은 기존 입력 장치를 사용하여 사용할 수 있는 다양한 입력 명령을 포함할 수 있다. 눈 추적 입력을 사용하여 전달할 수 있는 사용자 명령의 비제한적인 예로는 선택 또는 선택 취소(예컨대, 의료 이미지의 구역 또는 특성), 스크롤링, 확대(예컨대, 줌인, 줌아웃), 이미지 사이의 전환, 이미지 열기 또는 닫기를 포함한다. 눈 추적 입력은 특정 명령에 대응하도록 사전 프로그래밍될 수 있다. 대안적으로 또는 조합하여, 하나 이상의 눈 추적 입력은 사용자가 지정한 명령에 대응하도록 맞춤화될 수 있다. 눈 추적 입력은 깜박임(예컨대, 화면의 시선 고정 지점 표시를 고정하기 위해 깜박임), 깜박임 횟수(예컨대, 빠르게 연속해서 여러 번 깜박임) 및 특정 방향으로 응시와 같은 하나 이상의 동작을 포함할 수 있다. 예컨대, 사용자는 특정 방향이나 의료 영상의 에지를 향해 응시하거나 해당 방향으로 스크롤할 수 있다. 사용자는 스크롤 또는 기타 명령을 시작하기 위해 최소 지속기간(예컨대, 0.5초, 1초, 2초 등) 동안 시선을 유지해야 할 수도 있다. 마찬가지로, 사용자 명령을 실행하기 위해 깜박임이 최소 기간 동안 유지되도록 시스템을 구성할 수 있다.
따라서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법을 통해 사용자는 자신들의 마우스 또는 눈-추적 소프트웨어/하드웨어를 가르켜 의료 이미지의 특성이나 세그먼트를 식별하고 약어를 말할 수 있고, 가리키고 있는/보고 있는 위치에 따라 위치와 임상 컨텍스트를 추론하여 완전한 문장이 임상 보고서에 삽입되게 할 수 있다. 따라서 "가리킴" 및/또는 "보기" 메커니즘은 AI-기반 세그먼트화를 사용하여 마우스 또는 눈 위치에 의해 추론되는 위치로 임상 측정을 시작하는 데 사용될 수 있다.
소견의 양방향 동적 링크
본 명세서에서 기재한 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 시스템, 소프트웨어 및 방법이 보고서에서 소견의 양방향 동적 링크를 제공한다. 사용자가 구술한 소견은 시각화된 이미지/면적/볼륨(예컨대, 축방향 슬라이스(13))을 포함할 수 있다. 이러한 이미지는 흔히 "주요 이미지" 또는 "북마크"라고 지칭하며, 주치의(또는 향후 후속 검사를 수행하는 방사선 전문의)가 논의 중인 병변이나 구역을 보다 쉽게 찾을 수 있도록 보고서에 기록될 수 있다. 의료 이미지의 진단 해석 작업은 관심 있는 소견을 포함한 이미지 영역을 찾은 다음 보고서에서 소견에 대한 텍스트 설명을 만드는 것으로 요약될 수 있다. 현재, 사용자가 해석에 도움을 받지 않는 경우, 이미지 관심 구역을 소견 텍스트에 링크하는 정보는 일반적으로 보고서 텍스트에 제공된 해부학적 위치에 의해 암시적으로 제공된다. 가끔, 사용자는 보고서의 주요 이미지 위치(예컨대, 축방향 슬라이스(13))를 지정하여 소견의 위치를 기록할 수 있다. 그러나 이는 이미지가 체적인 경우 3차원 중 하나만 지정한다. 이러한 프로세스는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있으며, 이는 독립형일 수도 있고 여기에 개시된 더 큰 플랫폼이나 시스템의 일부일 수도 있다.
따라서, 본 명세서에서 개시된 것은 (최대한) 정보 이미지를 자동으로 추론하고 보기 및 구술 컨텍스트를 기반으로 보고서에서 해당 이미지에 대한 링크를 생성하기 위한 시스템, 소프트웨어 및 방법이다. 정보 이미지를 추론하는 데 사용되는 보기 및 구술 컨텍스트는 눈 추적, 마우스 위치, 화면 상의 이미지, AI 알고리즘의 출력, 이미지(예컨대, X-선, CT, MRI 등) 중 하나 이상을 포함할 수 있다. 진단 보고서를 생성하는 동안, 사용자는 입력 이미지와 출력 텍스트라는 두 가지 기본 데이터 보기 모드를 사용할 수 있다. 이 서브시스템은 입력 이미지 관심 구역과 출력 소견 텍스트 간의 링크를 명시적으로 만든다. AI 출력 내에서 이 링크를 내부적으로 기록하는 것은 각 AI 생성 소견에 대한 메타데이터 내에 관심 구역(예컨대, 윤곽 또는 경계 상자)을 기록하는 것을 포함한다. 이 서브시스템은 해석 중 사용자, 향후 후속 검사 중 후속 사용자, 주치의 또는 심지어 환자일 수 있는 사용자에게 이러한 링크를 분명하게 만든다. 사용자가 관심 있는 이미지 구역을 선택하면(예컨대, 해당 구역 위에 마우스를 올리거나 마우스를 이동하거나 리스트에서 선택하여) 보고서의 해당 AI-생성 텍스트가 차별화된 방식으로 조명되거나 강조 표시될 수 있다(예컨대, 차별화되거나 대조되는 배경색으로 강조 표시된 텍스트). 유사하게, 사용자가 보고서에서 소견 텍스트를 선택하면(예컨대, 보고서의 문장 위에 마우스를 올리거나 리스트에서 선택하여), 해당 이미지 관심 구역이 차별화된 방식으로 강조 표시된다(예컨대, 구역 경계가 그려진다 및/또는 구역 내부에 차별화된 색조가 부여된다). 일부 경우에, 이미지나 텍스트 위에 마우스를 올려 선택 항목을 선택하면, 마우스 포인터가 움직일 때 선택 항목이 동적으로 변경될 수 있어서, 임의의 마우스 클릭을 필요하지 않은 빠른 상호 작용이 가능하다. 이 프로세스의 비제한적인 예를 도시하는 흐름도가 도 3에 도시되어 있다. 연관된 링크가 있는 추론된 최대 정보 이미지의 예시적인 예가 도 4에 도시되어 있다.
일부 경우에, 다중 선택 성능이 허용된다. 예컨대, 이미지 내에서 올가미(lasso) 유형 도구(예컨대, 직사각형 또는 자유 형식)를 통해 관심 있는 다수의 이미지 영역을 선택한 다음 이 도구로 선택한 모든 해당 소견을 강조 표시할 수 있다. 원하는 경우, 다중 선택 시 단일 작업으로 모든 소견을 삭제할 수 있다. 유사하게, 다수의 텍스트 구역을 강조 표시하여(하나의 긴 연속 선택을 통해 또는 시프트-클릭 복수 회 텍스트 복수 회 선택을 통해) 다수의 텍스트 소견을 선택할 수 있으며, 그런 다음 관심 있는 모든 해당 이미지 구역이 다중 선택될 것이다. 일부 경우에, 다중 선택 삭제가 허용된다.
방사선과 전문의는 종종 보고서를 작성하는 위치("보고자")와 환자 이미지(보통 연구당 1-8개의 뷰포트에 걸쳐 분산된 다중 시리즈) 사이를 앞뒤로 참조한다. 보고서를 구술하거나 입력하는 경우, 이미지와 해당 텍스트에 기록할 가치가 있다고 간주되는 해부학적 구조 또는 병리학의 공간적 위치, 방향 및 크기 사이에 암묵적인 쌍이 많이 있다. 기술적 관점에서 볼 때, 일반적으로 이 링크는 생성되자마자 손실된다. 방사선 전문의는 환자의 관련 해부학적 구조나 병리 상태를 전달하기 위해 일시적으로만 이를 고려한다. 그러나 이 링크를 캡처하면 풍부한 정보를 얻을 수 있다. 따라서, 본 명세서에 개시된 시스템 및 방법은 보고자의 특정 텍스트와 해당 이미지 위치 특징 사이의 링크(예컨대, 하이퍼링크)를 제공한다. 이러한 링크에 캡처된 정보는 생성 당시의 사용자 상태를 캡처할 수 있으며 이 환자의 케이스를 읽는 미래 사용자, 링크가 포함된 문제의 케이스에 대한 보조 독자, 주치의, 외과 의사, 기타 의료 종사자, 환자, 기계 학습 교육 및 검증에 가치를 추가하도록 활용될 수 있다.
특정 환자에 대한 연구 및 일련의 시리즈에서 주어진 위치에 직접 링크할 수 없으면 결국 방사선 전문의의 작업량이 증가한다. 특히, 사용자가 보고서의 일부와 보고서의 해당 섹션을 프롬프팅한 해당 이미지 데이터로 방향을 바꿔야 할 때마다, 사용자는 이미지를 재탐색해야 한다. 이 재탐색은 시간이 많이 걸리고 불필요하다.
일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 정보가 생성될 때 복수의 정보를 캡처하는 하나 이상의 링크(예컨대, 하이퍼링크)를 제공한다. 일부 실시예에서, 하이퍼링크의 생성은 사용자가 도구 모음에서 또는 음성 명령으로 하이퍼링크 도구를 선택할 때 발생한다. 링크의 목표는 이미지에 대한 일부 컨텍스트와 보고자에 대한 일부 컨텍스트를 포함하여 사용자 상태에 대한 관련 요소를 캡처하는 것이다. 일 실시예에서, 사용자는 링크하고 싶은 위치를 명시적으로 나타내도록 요청받는다. 다른 실시예에서, 이미지 상의 사용자 상태가 자동으로 캡처된다. 보고자에 대해 수집된 정보는 보고자의 커서 위치, 이전 또는 다음 문장 또는 문장들의 내용, 섹션 헤더 또는 헤더들, 링크가 형성되었기 전에 사용자가 얼마나 빨리 말했는지 또는 이들의 조합을 포함할 수 있지만, 이들로 제한되지 않는다. 이미지 데이터에 대해 수집된 정보는 뷰포트에서 사용되는 시리즈, 사용 중인 뷰포트 수, 보고 있는 각 시리즈의 슬라이스 번호, 각 이미지 내의 좌우 위치 및 줌 레벨, 각 이미지의 WW/WL을 포함할 수 있지만, 이들로 제한되지 않는다. 이미지에 대한 주석이 실행되는 실시예에서, 주석은 단일 클릭(환자 공간의 위치를 나타냄), 방향 식별, 형상 그리기 또는 다른 적합한 사용자 입력 또는 방법의 형태로 발생할 수 있었다.
일부 실시예에서, 링크는 GUI(예컨대, 도구 모음)로부터의 "링크" 도구의 사용자 선택, 음성 명령, 또는 적절한 대체 사용자 입력에 의해 생성된다. 일부 실시예에서, 사용자는 이미지의 특정 위치에 주석을 단다. 일부 실시예에서, 링크된 보고자의 텍스트 섹션이 자동으로 제안된다. 일부 실시예에서, 보고자의 텍스트 섹션은 사용자에 의해 지정되거나 편집될 수 있다. 링크된 텍스트 내에는 다양한 정보가 포함될 수 있다. 이 정보는 해부학적 위치, 병리, 해부학적 위치 및 병리의 특징, 측정 또는 이들의 조합이 포함될 수 있지만 이에 제한되지는 않는다.
보고자 하이퍼링크 문장에 캡쳐된 정보는 온톨로지에 의해 이해될 수 있으며 향후 특성에 대해 참조될 수 있다. 예컨대, 일 실시예에서, 이 케이스를 다시 읽는 방사선 전문의는 이 케이스를 다시 참조할지 또는 이 케이스를 이전으로 활용하는지에 따라 링크에서 캡처된 특정 위치 또는 사용자 상태로 이미지의 방향을 바꿀 수 있다. 사용자는 다양한 방법으로 방향을 바꿀 수 있으며, 다양한 방법은, 직접적으로나 또는 온톨로지에 의해 이해된 특정 해부학적 구조나 소견 주위의 컨텍스트에 문의함으로써, 보고자의 링크를 클릭하거나 링크에 캡처된 용어를 문의하는 것을 포함할 수 있으나 이들로 제한되지 않는다. 예컨대, 도 XX에서, 링크된 텍스트는 "두께 약 1.2cm, 길이 2.0cm의 후방 하부 관절와를 따라 인접하는 견관절 낭종이 있는 후방/후방 하순 파열"이다. 사용자는, 텍스트의 제목 또는 제목들, 예컨대, "관절순" 또는 "소견"에 의해, 이 하이퍼링크에 포함된 특정 텍스트, 예컨대, "상순(labral) 찢어짐"을 통해 검색할 수 있거나, 온톨로지가 허용하는 표현 일치, "후상하부"는 "후부하부"와 동일한 것에 해당한다는 이해, 또는 온톨로지가 허용하는 보다 일반적인 이해, 예컨대 "후 상부" 또는 "후상부" 관절순에 대한 요청이 우위 방향으로 짧은 거리의 위치로 탐색해야 한다는 것을 이해를 통해 검색할 수 있다. 도 40은 이미지 내의 좌표(예컨대, x/y/z 좌표)의 사용자 선택과 URL 하이퍼링크를 통해 이미지 좌표에 연결되는 관련 소견의 해당 생성에 대한 예시적인 예를 도시한다. 이 하이퍼링크는 사용자를 이미지 좌표의 연관된 해부학적 구조로 안내하도록 선택될 수 있도록 보고서 내에 포함될 수 있다.
일부 실시예에서, 링크 도구는 의료 분야 전반에 걸쳐 다양한 사용자를 위한 유틸리티를 갖는다. 케이스를 다시 읽는 방사선 전문의의 경우, 일부 실시예에서는 관련 링크된 소견을 신속하게 다시 게재하거나 탐색할 수 있다. 방사선 전문의가 이 환자의 향후 케이스를 읽고 이를 이전 이력으로 활용하면, 링크에 표시된 대로 환자 공간의 동일한 위치로 현재 케이스를 탐색할 수 있다. 또한, 이전 케이스에서 캡처된 사용자 상태에 따라 현재 케이스를 게재할 수도 있다. 또한, 이전 케이스의 링크에서 표시 강조된 대로 현재 케이스의 보고자의 해당 부분을 보여줄 수 있다. 추가적으로, 그들은 직접적으로 링크되거나 온톨로지나 제목을 통해 이해되는 텍스트를 통해 이전 케이스를 탐색할 수 있다. 예시적인 예로, 사용자는 "이전 소견을 보여주세요"라고 말할 수 있다. 2차 방사선 전문의(예컨대, 2차 의견 제공을 요청한 방사선 전문의)의 경우, 링크를 통해 2차 방사선 전문의가 이미지를 다시 탐색할 필요 없이 질문받은 위치에 직접 도달할 수 있다. 동일한 종류의 성능은 이미지를 직접 다시 탐색하는 대신 연구의 가장 관련성이 높은 부분을 빠르게 볼 수 있는 주치의와 외과 의사에게 유용성을 제공한다. 일 실시예에서, 소프트웨어는 지정된 위치와 함께 이미지(들)에 보고자 텍스트를 제시한다. 환자의 경우, 링크를 통해 방사선 전문의와 주치의가 의사소통에 필요하다고 느낀 특정 병리에 대한 데이터를 빠르고 쉽게 탐색할 수 있다. 마지막으로 AI 과학자나 다른 사용자는 보고서와 이미지 데이터의 결합을 활용하여 기계 학습 모델을 훈련하고 평가할 수 있다. 이 데이터는 병원을 대신하여 품질 보증을 위해 사용될 수도 있다. 품질 보증은 방사선 전문의가 기록한 소견의 위치, 해당 보고서 텍스트 및 링크된 데이터의 기타 속성을 추적하는 것을 포함할 수 있지만, 이것으로 제한되지 않는다.
AI 소견 디스플레이 및 상호동작
본 명세서에서 기재된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이 있다. 일부 경우에, 이 시스템, 소프트웨어 및 방법이 AI-생성 소견을 디스플레이하고 상호동작하는 것을 포함한다. 추가 검토를 위해 허락 또는 거부할 수 있도록 잠재적인 소견 또는 병변 리스트가 사용자에게 제시될 수 있다. 이 서브시스템의 범위는 AI 소견을 사용자에게 시각적으로 표시하는 것뿐만 아니라 각 소견을 허락, 편집 또는 거부하는 데 필요한 상호동작이다. 예로서, 사용자나 방사선 전문의에게는 AI 소견/진단 위에 진단 보고서에 삽입하도록 제안된 연관 의료 텍스트가 포함된 카드 오버레이가 제시된다. 사용자는 음성, 키보드 또는 기타 적절한 입력 장치를 사용하여 이 텍스트를 편집할 수 있다. 도 5는 사용자가 의료 보고서에 삽입하기 위해 확인할 소견이 제시된 의료 이미지의 예를 도시한다. 소견 내용에는 "전체 근관 크기는 12mm로 발달상 크고 이러한 퇴행성 변화는 심각한 근관 협착을 일으키는 것으로 보인다"라고 명시되어 있으며 12mm 측정값이 디스플레이된 "C4"로 라벨링된 이미지의 해당 세그먼트와 함께 의료 이미지에 중첩된다. 이러한 프로세스는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있으며, 이는 독립형일 수도 있고 여기에 개시된 더 큰 플랫폼이나 시스템의 일부일 수도 있다.
일부 경우에, 이 시스템, 소프트웨어 및 방법은 출력의 차원을 찾기 위한 AI를 제공한다. AI 시스템 출력은 소견을 촉발한 이미지 관심 구역의 차원에 따라 그룹화될 수 있다. 점별 소견은 0차원이며 해부학적 랜드마크(예컨대, xyphoid)에서 발생할 수 있거나 경계가 불분명할 수 있는 구역(예컨대, 염증이 있는 관절)의 중심 또는 질량 중심일 수 있다. 선형 소견은 1차원이며 거리 측정(예컨대, 척추 디스크 두께)을 정의하는 한 쌍의 점이나 관형 구조(예컨대, 중앙 척추관)의 중심선 구조에서 발생할 수 있다. 평면 소견은 2차원적이며 2D 투영 이미지 내의 3D 영역(예컨대, 흉부 X-선의 종격동)에서 발생하거나 비다양체 공간 영역(예컨대, 후두 입구)에서 발생할 수 있다. 용적 소견은 3차원적이며 해부학적 구조(예컨대, 간)의 3D 영역에서 발생할 수 있다. 4D(및 그 이상) 데이터 세트에 대해서는 더 높은 차원의 시변 소견도 가능하다.
본 명세서에서 기재된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 이미지 탐색을 가능하게 하는 시스템, 소프트웨어 및 방법("해부학적 네비게이터" 또는 "해부학적 네비게이터 모듈"이라고도 함)이다. 일부 경우에, 해부학적 네비게이터는, 예컨대 성인 척추의 MRI와 같은 방사선 영상 소견을 보고하는 동안 사용되도록 구성된 향상된 사용자 인터페이스이다. 해부학적 네비게이터는 작업 공간 이미지 뷰어 모듈과 함께 보조장치로서 사용할 수 있으며 방사선 보고서 생성을 위해 보고자 모듈과 통신할 수 있다. 작업 공간 이미지 뷰어는 2D 다면 재구성 또는 3D 볼륨 렌더링을 위한 다중 이미지 뷰포트, 이미지 스크롤/패닝/줌잉, 윈도우/레벨, 사용자-생성 이미지 주석 또는 이들의 조합을 포함한 의료 이미지를 디스플레이할 수 있다. 보고자 모듈은 보고서 템플릿 및 매크로, 음성-텍스트 입력, 녹음기 기반 템플릿 필드 탐색을 포함하는 기능을 실행할 수 있다. 일부 경우에, 작업 공간 이미지 뷰어와 보고자가 해부학적 네비게이터 없이 이미지 뷰어와 보고자가 독립적으로 작동하도록 구성된다. 도 20은 작업 공간 이미지 뷰어 모듈, 해부학적 네비게이터 모듈 및 보고자 모듈 간의 관계를 도시하는 예시적인 도를 제공한다.
일부 경우에, 작동되면, 해부학적 네비게이터는 오류를 줄이고 효율성을 높이기 위해 여러 상호동작 중 하나를 사용하여 이미지 뷰어와 보고자를 동기화 상태로 유지할 수 있다. 예컨대, 사용자는 다음 중 하나 이상을 수행할 수 있다: (1) 보고서 템플릿 필드를 탐색하려면 이미지에서 해부학적 구역을 선택하고, (2) 이미지를 탐색하려면 보고서 템플릿 필드를 선택하고, (3) 음성으로 해부학적 구역을 선택하여 이미지와 보고서를 모두 탐색한다.
1) 사용자는 이미지 뷰포트에서 해부학적 구역(예컨대, L2-L3 추간 디스크)을 선택한다. 해부학적 구역 위로 마우스 포인터를 이동하는 동안, 텍스트 라벨(예컨대, "L2-L3")이 있는 반투명 색상의 경계가 이미지 뷰포트의 시각적 피드백을 위해 동적으로 디스플레이된다. 해부학적 구역에서 마우스를 클릭하면, 해부학적 네비게이터가 보고자 텍스트 입력 커서를 일치하는 템플릿 필드(예컨대, "L2-L3:" 필드)에 배치한다. 따라서, 보고자 텍스트 입력 커서는 의료 보고서에서 새로운 텍스트가 생성되는 삽입 지점을 표시한다.
2) 사용자는 딕타폰(dictaphone)이나 마우스의 다음/이전 버튼을 사용하여 보고자 텍스트 입력 커서를 원하는 템플릿 필드로 이동할 수 있다. 앞서와 같이, 시각적 피드백을 위해 반투명 색상의 경계와 텍스트 라벨이 보여진다. 해부학적 네비게이터는 이미지 뷰포트를 스크롤, 패닝 및 주밍하여 L2-L3 추간 디스크와 그 주변을 디스플레이한다.
3) 예컨대, 사용자는 "L2-L3으로 점프"라고 말할 수 있으며, 뷰어와 보고자 모두 위의 1) 및 2)에 기재한 대로 업데이트된다.
본 명세서에서 사용된 바와 같이, "해부학적 설명자"는 예컨대 사용자가 이미지에서 선택할 수 있거나, 보고서 템플릿에서 선택할 수 있거나, 어디로 점프(jump-to) 명령으로서 말할 수 있는 각 해부학적 구역을 표현하는 데 사용되는 열거된 코드를 지칭한다. 해부학적 설명자 세트는 모든 피험자에게 예상되는 정상적인 해부학적 구조를 포함한다. 일부 경우에, 해부학적 설명자 세트는 어떤 유형의 병리학적 설명자도 포함하지 않는다. 해부학적 설명자의 비제한적인 리스트가 표 1에 나와 있다.
표 1. 척추에 대한 해부학적 네비게이터에 의해 사용되는 해부학적 설명자. 임의의 주어진 척추 구역에 대한 이미징 연구의 경우, 일반적으로 이미지 뷰 필드에 있고 라벨링된 인접 구역의 몇 개의 등골뼈와 디스크가 있다. 등골뼈, 디스크 및 척수는 체적 이미지 구역으로 표시되는 반면, 포라멘, 후관절 및 척수 원추는 단일 지점을 중심으로 하는 작은 구형 구역으로 표현된다. L= 왼쪽, R = 오른쪽.
| 척추 구역 | 해부학적 설명자 | |||
| 등골뼈 | 디스크 | 디스크 간 레벨 | 기타 | |
| 경부 | C1 내지 C7 | C1-C2 내지 C7-T1 | L/R 포라멘 L/R 후관절 |
척수 |
| 흉부 | T1 내지 T12 | T1-T2 내지 T12-L1 | L/R 포라멘 L/R 후관절 |
척수 |
| 요부 | L1 내지 L5, S1 | L1-L2 내지 L5-S1 | L/R 포라멘 L/R 후관절 |
척수, 척수 원추 |
일부 경우에, 이미지는 이미지 세그먼트화 및 라벨을 미리 계산하기 위해 PACS(사진 아카이브 및 통신 소프트웨어)/VNA(벤더 중립 아카이브)에서 해부학적 네비게이터로 푸시된다(표 1 참조). 런타임에서, 이미지 뷰포트에서 마우스 클릭을 하면, 해부학적 네비게이터에 3D 좌표가 전송될 수 있으며, 그러면 해당 해부학적 설명자를 찾아 해당 설명자를 보고자에게 보낼 수 있다. 보고 템플릿 필드가 선택되면, 해당 해부학적 설명자는 해당 이미지 구역에 대한 패딩된 경계 상자를 결정하는 해부학적 네비게이터로 전송될 수 있으며, 이는 이미지 뷰포트를 스크롤, 패닝 및 주밍하는 데 사용할 수 있다.
해부 네비게이터 모듈은 하나 이상의 구성요소 모듈, 예컨대 세그먼트화 모듈, 라벨링 모듈, 사용자 확인 단계 모듈 및/또는 해부학적 매퍼 모듈을 포함할 수 있다. 도 21은 이러한 모듈의 도면을 도시한다. 세그먼트화 모듈은 하나 이상의 의료 이미지에 대해 이미지 세그먼트화를 실행할 수 있는 반면, 라벨링 모듈은 이미지 내의 세그먼트화된 특성을 라벨링할 수 있다. 세그먼트화 및 라벨링 기능은 "AI-보조 이미지 세그먼트화 및 라벨링" 섹션을 포함하여 본 개시에 기재된 대로 수행될 수 있다.
일부 경우에, 시스템, 소프트웨어 및 방법은 AI 소견의 하나 이상의 탐색 모드를 제공한다. 다양한 탐색 모드가 "탐색 모듈" 또는 "해부학적 매퍼 모듈"을 통해 제공될 수 있다. 하나 이상의 탐색 모드의 경우, 해부학적 매퍼 모듈은 사용자가 허락한 라벨링된 이미지 구역을 입력으로 취할 수 있다. 다수의 탐색 모드가 결합되어 사용자가 AI 결과를 탐색하는 두 가지 이상의 방법을 제공할 수 있다(예컨대, 본 명세서에서 개시된 모드의 임의 조합).
한 탐색 모드에서, 시스템은 단층 촬영 이미지의 상단에서 이미지 소견의 기하학적 표현을 렌더링하거나 체적 렌더링 내에 삽입하면 소견을 제시하는 동안 일반적인 방식(예컨대, 영화 모드에서 슬라이스를 스크롤하는 것)으로 이미지의 탐색을 허용한다. 아래와 같이 카드 중첩을 야기하는 구역 위에 마우스 포인터를 올리면 소견에 대한 추가 정보를 확인할 수 있다.
본 명세서에서 개시된 것은 종종 신뢰도나 확률이 내림차순으로 또는 해부학적 순서(예컨대, 상위에서 하위로)로 CAD 소견 리스트를 사용자에게 제시하는 제2 탐색 모드이다. 한 소견을 선택하면, 이미지 디스플레이가 소견 좌표로 이동한다. 그런 다음 사용자는 이를 허락하고 생성된 텍스트를 보고서에 추가할지 아니면 거부할지 결정한다.
본 명세서에서 개시된 것은 이미 생성된 보고서 텍스트를 검토하기 위한 제3 탐색 모드이다. 보고서 내에서 문장을 선택하면, 이미지 디스플레이가 자동으로 이미지 내 구역을 보여주는 올바른 좌표로 탐색한다. 일부 실시예에서, 사용자는 보고서 템플릿 필드를 선택할 수 있어서 해당 필드에 대한 해부학적 설명자를 경계 상자로 변환할 수 있다. 예컨대, 사용자가 보고서 템플릿 필드를 선택하며, 해당 필드에 대한 해부학적 설명자가 다음과 같이 패딩된 경계 상자로 변환된다. 라벨링된 세그먼트화 맵의 해당 픽셀 라벨에 대한 긴밀한 경계 상자가 최소/최대 xyz 경계로 계산되며, 주변 해부학적 구조의 컨텍스트를 제공하기 위해, 모든 방향에서 경계 상자에 추가 50% 패딩이 추가된다. 이미지 뷰포트는 이 경계 상자에 맞게 스크롤, 패닝 및 주밍된다. 다음으로, 경계 상자 중심이 이미지 뷰포트의 중심에 오도록 각 이미지 뷰포트를 스크롤하고 패닝한다. 그런 다음, 각 이미지 뷰포트의 패딩된 각 경계 상자를 완전히 포함하는 최대 줌이 설정된다.
보고자 윈도우로 다시 "눈길을 돌리는" 양을 줄이기 위해, 해부학적 설명자의 시각적 피드백이 실시간으로 제공될 수 있다. 예컨대, 이미지 뷰포트에 걸쳐서 마우스를 이동하면, 해부학적 설명자가 조회되고 해당 텍스트가 이미지 뷰포트에 주석으로 디스플레이된다. 추가로 또는 조합하여, 라벨링된 구역의 형상이 반투명 색상 경계로 디스플레이된다.
본 명세서에서 개시된 것은 해부학적 설명자에 해당하는 보고자 텍스트를 입력하거나 통합하기 위해 이미지를 선택하거나 이미지와 상호동작하기 위한 제4 탐색 모드이다. 예컨대, 사용자가 이미지를 클릭하며, 3D 좌표(예컨대, 주어진 DICOM 참조 프레임 내의 DICOM 참조 좌표 시스템)는 라벨링된 세그먼트화 맵에서 직접 픽셀 조회를 통해 해부학적 설명자에 매핑된다. 그러면 보고자 텍스트 입력 커서가 해당 설명자에 해당하는 필드에 배치된다. 결과가 배경 라벨이라면, 포괄적인 템플릿 필드(예컨대, "추가 정보:")가 선택될 수 있다.
본 명세서에 사용된 바와 같이, "라벨링된 세그먼트화 맵"은 의료 이미지 상단의 중첩을 의미한다. 라벨링된 세그먼트화 맵에는 이미지의 다수의 해부학적 구역에 해당하는 다수의 종류가 있을 수 있다. 일부 실시예에서, 라벨링된 세그먼트화 맵은 이미지 픽셀과 일대일 대응하는 픽셀 어레이이다. 세그먼트화 맵의 값은 두 가지 형식 중 하나일 수 있다. "하나의 핫 인코딩"에서, 세그먼트화 픽셀 값은 각 이진수(비트)가 상이한 종류를 나타내는 음수가 아닌 정수이다. "인덱스 모드"에서, 픽셀의 정수 값은 1부터 N까지의 숫자이며, N은 종류의 수이다.
본 명세서에서 개시된 것은 음성-텍스트를 통해 해부학적 설명자를 제공하기 위한 제5 상호동작 모드이다. 해당 템플릿 필드가 선택되고, 이미지 뷰포트가 적절하게 스크롤, 패닝 및 주밍되며 이미지 영역에 대한 시각적 피드백이 제공된다.
일부 경우에, 시스템, 소프트웨어 및 방법은, 예컨대 이미지에 중첩된 소견의 불투명도와 같은 AI 소견의 명확성의 조정을 허용한다. 예컨대, 사용자는 해석을 위해 이미지를 검토하는 동안 AI 소견이 얼마나 눈에 띄는지에 대해 선호도 범위를 가질 수 있다. 한편, 방사선 전문의와 같은 사용자는 검토 중에 AI 소견에 대한 침입을 최소화하기를 원할 수 있으므로, 소견 그래픽 및/또는 텍스트의 다양한 중첩된 렌더링은 매우 낮은 불투명도 값을 갖게 된다. 선택적으로, 사용자는 단일 키보드나 마우스 동작(또는 터치스크린 상의 제스처와 같은 기타 UI 또는 입력 동작)을 사용하여 AI 소견 디스플레이를 켜거나 끌 수 있다. 다른 한편, 다른 사용자는 제안된 놓치지 않기 위해 더 유망한 AI 소견을 디스플레이하기 원할 수 있으며, 이 경우 렌더링된 소견의 불투명도가 더 높아진다. 따라서, 시스템을 통해 사용자는 AI 소견을 켜거나 끌 수 있을 뿐만 아니라 AI 소견의 불투명도를 지속적으로 변경할 수 있다.
일부 경우에, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법을 통해 사용자가 AI 소견과 상호동작할 수 있다. 잠재적으로 많은 수의 AI 소견이 있기 때문에, 이를 신속하게 허락, 편집 또는 거부하는 능력은 효율적인 보고서 생성 프로세스를 제공하는 데 가장 중요하다. 따라서, 시스템에서는, 다음: (1) 키보드 사용, (2) 사용자 인터페이스 상의 버튼 사용, (3) 빠른 단음절 옵션을 제공하도록 "예"나 "아니오"라고 말하는 음성 사용 또는 (4) 손 제스처 인식 시스템 중 하나를 사용하여 명령을 제공함으로써, 사용자가 소견을 허락하거나 거부할 수 있다. 소견을 편집하기 위해, 사용자가 편집하려는 텍스트를 선택할 수 도 있고 키보드나 음성 구술을 사용하여 특정 텍스트를 교체할 수 있다. 예컨대, 사용자는 해부학적 영역 "으로 점프"라고 말할 수 도 있으며, 이는 커서가 일치하는 필드에 배치되게 하는 반면, 이미지(들)는 스크롤, 패닝 및/또는 주밍되어 해부학적 구역에 중심을 둔다. 다른 입력 방법이 또한 이 프로세스와 호환될 수 있다. 도 6은, AI-보조 소견을 생성하기 위해 사용자 구술 기록을 제어하기 위한 윈도우가 있는 의료 이미지의 스크린샷을 도시한다. 사용자가 AI-보조 소견을 허락하거나 수정하는 프로세스의 비제한적인 예를 예시하는 흐름도가 도 7에 도시되어 있다.
대시보드 및 소견 탐색
방사선과 보고서는 종종 그 프리젠테이션이 반-구조화되어 있다. 보고서의 주요 섹션에는 일반적으로 수술, 이력, 기술, 소견 및 임프레션을 포함한다. 소견 섹션은 종종 하위 섹션 헤더와 콜론으로 세분된다(예컨대, LI와 L2 등골뼈 사이의 추간 디스크를 나타내는 "L1-L2:"). 하위 섹션 헤더 다음에는 이미징 소견, 즉 관찰을 나타내는 개별 문장이 있다. 본 명세서에서 개시된 것은 사용자가 하위 섹션 사이를 점프하는 동시에 (1) 선택된 해부학적 구역을 보여주기 위해 이미지 뷰포트를 스크롤, 패닝 및/또는 주밍하는 것 및/또는 (2) 보고서의 해당 하위 섹션에 보고서 편집기 텍스트 커서가 있게 하는 해부학적 네비게이터를 제공하기 위한 시스템과 방법이다. 이 방법의 장점 중 하나는 사용자가 종종 상이한 모니터에 있는 보고서로 시선을 바꾸지 않고도 이미지에 시선을 고정할 수 있다는 것이다.
일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 사용자가 하위 섹션(예컨대, 해부학적 네비게이터가 사용자가 그 사이를 점프할 수 있게 하는 하위 섹션) 내의 개별 소견 문장을 탐색할 수 있도록 구성된 소견 네비게이터를 포함한다. 이 탐색은 다양한 방법으로 수행될 수 있다. 일부 실시예에서, 딕타폰 장치의 프로그램 가능 버튼은 소견을 탐색하는데, 예컨대 소견 문장을 가로질러 앞으로 또는 뒤로 이동하는 데 사용된다. 대안적으로 또는 조합하여, 사용자는 음성 명령(예컨대, "다음" 또는 "이전")을 사용할 수 있거나, 소프트웨어의 그래픽 사용자 인터페이스(GUI) 상의 버튼을 사용할 수 있다. 해부학적 구조 또는 해부학적 네비게이터를 통해, 사용자는 상이한 해부학적 구조를 탭할 수 있거나 그 밖에 해부학적 구조 사이를 이동/선택할 수 있는 동시에, 이미지 세그먼트화를 사용하여 선택한 해부학적 구조를 시각화하고 사용자가 이미지를 계속 주시할 수 있다. 이에 비해, 소견 네비게이터를 통해, 사용자는 주어진 해부학적인 구조 또는 해부학적 구조 내에서 상이한 소견 사이를 탭하거나 이동/선택할 수 있으며 동시에, 사용자는 이미지를 계속해서 주시할 수 있다. 예시적인 예로서, 해부학적 네비게이터를 통해, 사용자가 해부학적 구조 1에서 해부학적 구조 2 등 사이를 탭할 수 있는 반면, 소견 네비게이터를 통해, 사용자는 해부학적 구조 1 내에서 소견 la 내지 소견 lb 등을 탭할 수 있다. 사용자가 해부학적 구조 1에 대한 소견을 마무리할 때, 이들은 해부학적 구조 2에 대한 소견 2a, 소견 2b 등 평가할 나머지 해부학적 구조까지 이동할 수 있다. 일부 실시예에서, 소견 네비게이터는 하나 이상의 선택된 소견을 시각화하기 위해 소견 선반을 보여준다. 소견 네비게이터 기능의 예시적인 예가 도 37a 및 도 37b에 도시되어 있다. 도 37a는 평가 중인 현재 이미지의 L4-L5 해부학적인 구조에 대한 소견 네비게이터 기능을 도시한다. 도 37b는 현재 이미지를 이전 보고서 소견와 비교할 때 소견 네비게이터 기능을 도시한다.
일부 실시예에서, 선택된 소견 문장은 소프트웨어의 이미지 보기 모듈의 이미지 뷰포트 내 또는 근처에, 예컨대 이미지 자체 아래 또는 상단에 떠 있는 공간 스트립에 또는 "소견 선반'에 디스플레이된다. 선택된 소견 문장은 사용자의 선호도에 따라 다양하게 디스플레이될 수 도 있다. 일부 실시예에서, 소견 문장 텍스트는 소견 선반에 그대로 디스플레이된다. 일부 실시예에서, 소견 문장은 의학적으로 특정하지 않은 단어(예컨대, "the" 또는 "is")를 무시하면서 의학적으로 특정한 핵심 단어(예컨대, "포라멘 협착증(foraminal stenosis)" 또는 "골절(fracture)") 또는 문구 세트로 디스플레이된다. 단어 또는 문구는 단어 태그 위젯(예컨대, 선택, 삭제, 재정렬 및 기타 조작을 허용하는 필(pill) 또는 상자 모양의 GUI 위젯)에 디스플레이될 수 있다. 일부 실시예에서, 위젯은, 사용자가 관련 단어 또는 문구로부터 선택할 수 있게 하는 각각의 필 위젯에서 풀다운 메뉴가 활성화될 수 있게 한다. 예컨대, 소견의 심각도를 설명하기 위해 "경미함"을 사용하는 경우, 풀다운 메뉴에는 "경미함", "보통" 및 "심각함"을 포함한 선택을 가질 것이다. 일부 실시예에서, 풀다운 메뉴에서 온톨로지적으로 밀접하게 관련된 용어를 찾는 데 컴퓨터 온톨로지가 사용된다. 예컨대, 텍스트 라벨, 아이콘, 형상 또는 다양한 색상을 사용하여 다양한 카테고리의 단어나 문구를 사용자에게 나타낼 수 있다. 예시적인 예로서, "경미한 광범위 기반 골극 복합체가 있다"라는 소견 문장은 "경미함", "광범위 기반" 및 "골극"이라는 필로 표시될 수 도 있다. 일부 실시예에서, 소견 문장은 순수 그래픽 아이콘을 통해(예컨대, 자동차 대시보드의 엔진 경고등과 유사) 소견 선반에 디스플레이된다. 각 소견 유형에 대해 고유한 아이콘이 생성될 수 도 있다. 아이콘 상단의 색상 및/또는 그래픽 배지를 사용하여 소견에 대한 추가 수정자를 나타낼 수 도 있다. 예컨대, 척추 종판 결함(Modic 변화)은 디너 플레이트로 표시될 수 도 있다. 이 예에서, Modic 유형(1, 2 또는 3)을 플레이트 상단에 숫자 배지로 추가할 수 있으며, 노란색, 주황색 또는 빨간색과 같은 색상을 사용하여 경미함, 보통 또는 심각함을 나타낼 수 도 있다.
일부 실시예에서, 소견 문장의 디스플레이는 사용자가 소견 문장을 구두로 구술하는 동안 동적으로 업데이트된다. 단순히 구술된 문장을 그대로 디스플레이하는 경우, 음성-텍스트 알고리즘에 의해 인식되는 단어는 텔레비전 자막 서비스와 유사하게 하단을 스크롤할 수 있다. 필이나 아이콘은 음성에서 인식되는 순서대로 나타날 것이다.
방사선 전문의가 하나 이상의 이전 연구와 함께 현재 연구를 읽고 있을 때, 이들 상이한 연구를 나타내는 이미지 뷰포트는 통상적으로 나란히 디스플레이된다. 이 경우, 각 연구 뷰포트에는 해당 방사선 보고서의 소견을 나타내는 자체 소견 선반이 있다. 이를 통해, 사용자는 시선을 다른 모니터로 전환하지 않고도 다양한 연구 전반에 걸쳐 개별 소견을 시각적으로 비교할 수 있다. 특히, 사용자는 현재 보고서에 구술하면서 이전 보고서의 다음 소견으로 진행할 수 있다.
본 명세서에서 개시된 바와 같이 소견을 이전 연구로부터 현재 연구에 링크하는 장점은, 각 행이 동일한 해부학적 구조와 소견 유형에 일치하는 현재 및 이전 소견을 포함하는 표 형식으로 현재 및 이전 보고서를 등록할 수 있도록 사용될 수 있다는 점이다. 예컨대, 한 행은 L4-L5의 디스크 골극 복합체를 나타낼 수 있으며 한 열에는 현재 연구, 다음 열에는 이전 연구가 있을 수 있다. 관련 소견의 이러한 시각적 정렬을 통해 보고서 생산자와 소비자 모두 두 보고서 간의 차이점을 훨씬 쉽게 이해할 수 있다. 이 관점에서, 특정 실시예에서, 필 색 구성표와 유사한 소견 텍스트의 색 강조 표시가 키워드의 시각적 인식을 촉진하는 데 사용된다. 도 38a는 보고서를 비교할 때 소견이 어떻게 보일 수 있는지에 대한 예를 도시한다. 이에 비교하여, 도 38b는 보고서를 등록하면 특정 소견을 적절한 표 형식으로 서로 등록하여 쉽게 비교할 수 있는 방법을 도시한다.
일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 평가 중인(예컨대, 뷰포트에서) 해부학적 구조 또는 특성에 대한 하나 이상의 이미지를 보여주는 소견 대시보드를 제공한다. 사용자가 해부학적 구조에서 구조로 탐색하면, 연관된 소견이 대시보드 내에 디스플레이될 수 도 있다. 이러한 소견은 텍스트 및/또는 아이콘이나 기호로 디스플레이될 수 도 있다. 예컨대, 도 39a 내지 도 39c는 소견 대시보드 내에서 각각 L2, L3 및 L4 등골뼈로부터의 진행을 도시하며, 여기서 소견에 대한 텍스트-라벨링된 아이콘은 이미지와 별도의 보기 윈도우 내에 보여진다. 도 39d는, 소견이 해당 보기 윈도우 내의 해부학적 구조에 인접하여 보여지는 대안적인 보기 배열을 도시한다.
해부학적 네비게이터로 강화된 도구 및 특성
반자동 측정: 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은, 해부학적 네비게이터에 의해 제공되는 추가 상황 정보를 활용하는 이미지 분석/평가, 소견 생성 및/또는 보고서 생성을 보조하는 하나 이상의 도구를 제공한다. 일부 실시예에서, 반자동 측정 프로세스는 GUI를 통해 길이 측정 도구를 제공하는 것을 포함한다. 예시적인 예에서, 사용자가 그 길이 측정 도구를 사용하여 척추 디스크 전체를 측정하는 경우, 리스트의 등급을 매긴다(if ((length_measure_tool_start == L4) && (length_measure_tool_end == L4)) then (INSERT RADIOLOGIST SPECIFIED VERBIAGE / PICKLIST BASED ON MEASUREMENT VALUE)). 일부 실시예에서, "반자동 측정"을 사용하여, 사용자는, 2) 특정 해부학적 컨텍스트(각 도구의 끝점에 의해 지정됨)에 사용 중인 1) 특정 측정 도구를 기반으로 하여, 템플릿별(또는 더 높은 순서) 기반으로, 자동 삽입하기 원하는 설명(또는 선택 리스트)을 지정할 수 있다. 된다. 따라서, 사용되는 측정 도구의 값을 기반으로 하여, 사용자는 보고서에 삽입하려는 표현을 결정할 수 있다. 이러한 방식으로, 보고서에 삽입된 콘텐츠는 사용자(예컨대, 방사선 전문의 또는 의사)에 의해 주도된다.
도구 휠 시프트: 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 상이한 해부학적 컨텍스트(예컨대, 해부학적 네비게이터에 의해 제공됨)에 의존하여 사용될 수 있는 다양한 도구를 제공한다. 일부 실시예에서, 시스템 및 방법은 도구 휠을 제공한다. 사용자가 도구 휠에 액세스하기 위해 마우스 오른쪽 버튼을 클릭하면 고정된 도구 키트가 제시된다. 일부 경우에, 경우 유형을 기반으로 하여 툴킷이 변경될 수 있다. 그러나 해부학적 네비게이터 컨텍스트를 사용하면, 선택하는 이미지 부분의 컨텍스트에 의존하여 상이한 도구를 지정할 수 있다. 예컨대, L4 디스크를 클릭하는 것과 비교하여 사용자가 간을 마우스 오른쪽 버튼으로 클릭하면 상이한 도구를 지정할 수 있다. 이러한 방식으로, 사용자는 도구 휠을 단순하고 깔끔하게 유지할 수 있으며, 더 이상 도구 모음이 전혀 필요하지 않다(모든 도구는 상이한 해부학적 컨텍스트에서 지정됨).
동적 매크로 디스플레이: 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 사용자가 매크로를 "글로벌" 매크로로서 또는 특정 "시리즈 설명"에 특정한 것으로 지정할 수 있도록 한다. 예컨대, 향상된 컨텍스트를 기반으로 사용자에게 제시되는 데이터를 단순화하는 것이 목표인 경우, 사용자가 신체의 어느 부분에 코멘트하고 있는지를 알면(해부학적 네비게이터 및 템플릿 매퍼, 눈 추적 등을 선택적으로 사용) 특정 매크로가 현재 해부학적/임상적 컨텍스트와 관련이 없는 보고자 UI에서 감춰지게 한다. 감춰진 매크로는 여전히 작동할 수 있지만, 이 접근법은 불필요하거나 관련 없는 매크로가 GUI에 디스플레이되지 않도록 제거하여 매크로 메뉴를 간소화한다. 또한, 이 접근법을 통해 임상적으로 가장 관련성이 높은 하나 이상의 매크로가 디스플레이될 수 있다. 매크로는 효율성에 도움이 되지만 드물게 채택되므로, 관련성이 있거나 가장 관련성이 높은 매크로의 단축된 리스트를 디스플레이하여, 채택률이 향상되어 효율성이 향상될 수 있다.
동적 이미지 줌: 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 이미지 크기를 최대화하는 우수한 이미지 뷰어를 디스플레이한다. 최상의 뷰어는 일반적으로 가장 큰 이미지를 가진 뷰어로 간주된다. 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 뷰포트 이외의 화면에서 다른 모든 버튼/UI 요소를 제거함으로써 더 큰 이미지를 달성한다. 대안적으로, 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 이미지를 동적으로 주밍하기 위해 해부학적 컨텍스트(해부학적 네비게이터 또는 템플릿 매퍼를 통해 유도됨)을 사용한다. 예로서, 척추 이미지의 경우에, 사용자는 처음에는 전체 이미지를 보고 싶을 수도 있고, 소견 섹션에서 제1 디스크 레벨을 살펴보면, 가장 먼저 해당 디스크를 면밀히 조사하고 싶을 수도 있다. 특히, 사용자가 L4/5를 클릭하면, 해부학적 네비게이터는 템플릿의 L4/5 섹션으로 탐색하고 L4/5 주위의 모든 뷰포트를 동적으로 주밍할 수 있다.
동적 이미지 스크롤: 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 사용자가 수동으로 스크롤할 것을 요구하지 않고 자동화된 동적 스크롤링 기능을 제공한다. 일부 실시예에서, 이미지에 대한 해부학적 컨텍스트가 알려지면, 방사선 전문의가 일반적으로 하는 전통적인 방식에 따라 해부학적 구조를 통해 스크롤하는 동적 스크롤링 기능이 수행된다(예컨대, 15초와 같은 설정된 시간 기간 동안 앞에서부터 뒤로, 뒤 및 전방으로). 일부 실시예에서, 사용자는 특정 구조가 자동으로 스크롤되어 보고 구술할 수 있도록 원하는 방식을 설정할 수 있다. 예시적인 예로서, 사용자가 L4-5를 클릭하면, 뷰어는 모든 시리즈에서 L4/5에 해당하는 모든 이미지로 점프하며, 동적 스크롤이, 사용자가 그 다음 보고서 섹션에 탭할 때까지 디스크의 시작부터 끝까지 그리고 뒤로 발생한다.
AI 보조 추적 및 분석
본 명세서에서 기재된 것은, 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 시스템, 소프트웨어 및 방법이 AI 보조 추적 및 분석을 제공한다. 일부 경우에, 시스템은 사용자가 동의하고 보고서에 입력된 AI 소견에 대해서만 요금을 적용한다. 일부 경우에, 시스템은 AI 생성 소견이 사용자가 구술한 소견 간의 일치 또는 불일치를 결정하기 위한 알고리즘을 포함한다. 이러한 일치성은 사용자가 AI 생성 소견을 허락하거나 거부/수정할 때 고려할 수 있는 지표, 등급 또는 스코어로서 제공될 수 있다. 예컨대, 시스템은 입력의 조합을 활용하여 소견을 생성한 다음 사용자의 구술과 소견 사이의 일치/불일치 추정치(예컨대 추정된 일치 백분율)를 계산할 수 있다. 일부 경우에, 시스템이 일치/불일치를 결정하는 데 자연어 처리를 활용한다. 이러한 프로세스는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있으며, 이는 독립형일 수도 있거나 본 명세서에서 개시된 더 큰 플랫폼이나 시스템의 일부일 수 있다.
기계 학습 기반 컴퓨터 비전 알고리즘과 NLP 알고리즘 및 시스템의 성능을 모니터링하고 개선하기 위해, 계산 시스템은 능동적 학습을 허용하는 사용자 인터페이스 시스템에 연결될 수 있다. 능동 학습은 실제 사용자 상호동작 데이터가 알고리즘의 훈련 세트로 다시 공급되어 AI 알고리즘이 "야생" 알고리즘 성능을 반영하는 실제 세계에서 수집된 데이터로부터 학습할 수 있도록 돕는 프로세스이다. 따라서, 여기에 개시된 것은 사용자로부터 실제 피드백을 수집하는 시스템과, AI 모델의 출력(기재된 UI 구성요소를 통해)과 사용자의 명시적인 상호동작과 사용자가 진단 보고서에 구술한 단어 사이의 불일치를 검출하는 NLP-기반 시스템이다. 이 시스템은 최고 충실도의 실제 데이터가 훈련용 알고리즘에 다시 공급됨을 보장한다. 이 프로세스의 비제한적인 흐름도가 도 8에 예시되어 있다. 흐름도는 의료 보고서에 삽입할 소견(예컨대, AI-보조 소견)을 생성하기 위해 AI 알고리즘으로 분석되는 의료 이미지를 보여준다. 다음으로, AI 소견은 소견을 수정하거나 허락하도록 선택할 수 있는 방사선 전문의와 같은 사용자에게 디스플레이된다. 두 결정 모두 향후 성능을 향상시키기 위해 알고리즘을 추가로 훈련하는 데 사용할 수 있는 실지 검증 데이터를 제공한다. 그러면 수정된 소견이 허락될 수 도 있다. 소견이 허락되면, 청구 시스템은 소견에 해당하는 요금을 허락할 수 있다.
통신 허브
본 명세서에서 개시된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은 방사선 전문의와 같은 사용자에게 통신 허브를 제공한다. 일부 경우에, 이 시스템을 통해 해석 중 중단을 줄이기 위해 다양한 채널의 통신을 대기열에 추가할 수 있다. 방사선 전문의는 환자 진료 과정에서 주치의, 직원 및 기타 이해관계자로부터 걸려오는 전화 통화로 주의가 산만해지는 경우가 많다. VoIP 시스템을 통해 전화 통화를 지능적으로 라우팅함으로써, 사용자가 현재 케이스 읽기를 마칠 때까지 통화를 보류함으로써 시간 및 컨텍스트 전환을 절약할 수 있다. 중단 최소화의 값은 아이오와 대학에서 입증되었다. 이 대학에 소속된 10명의 방사선 전문의 그룹은 방사선 전문의가 현재 케이스 판독을 완료했을 때까지 전화 통화를 대기할 보조자를 고용하여 시간과 컨텍스트 전환 측면에서 연간 600,000달러를 절약했다. 따라서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 사람의 도움 없이도 통신 대기열을 자동화함으로써 이 프로세스에 대한 추가 개선을 제공한다. 이러한 프로세스는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있으며, 이는 독립형일 수도 있거나 본 명세서에서 개시된 바와 같은 더 큰 플랫폼이나 시스템의 일부일 수도 있다.
이미지 해석 중 사용자의 방해를 효과적으로 관리하기 위해, 기재된 시스템은 단일 제어 시스템을 통해 모든 통신 채널을 라우팅할 수 있다. 통신 채널은 전화 통화(유선 및 휴대폰), 화상 통화 또는 기타 비디오-기반 통신, 화면 공유, VoIP 통화 대기, 메시지로 된 코멘트 기반 통신, 팩스, 문자 메시지, 기타 채팅 및 메시징(예컨대, 특정 환자 컨텍스트를 열 수 있는 첨부 파일이 포함된 채팅 기반 통신), 이메일, 음성 메일, 호출기, 소셜 미디어 또는 기타 형태의 통신을 포함하지만, 이들로 제한되지 않는다. 사용자가 기재된 시스템에 로그인하고 해석 중에(예컨대, 작업리스트의 연구가 현재 해석을 위해 열려 있는 경우), 시스템은, 어떤 통신이 사용자를 중단시키도록 허용되며, 어떤 통신이 현재 연구 해석이 마무리되거나 사용자가 시스템을 전체적으로 로그 오프할 때까지 통신 대기열에 배치되는지를 선택적으로 제어할 수 있다. 일부 경우에, 시스템이 각 통신에 우선순위 레벨을 할당한다. 예컨대, 사용자의 중단을 허용하는 높은 우선순위 통신, 대기열의 맨 위에 배치되는 중간 우선순위 통신, 대기열의 뒤/후방에 배치되는 낮은 우선순위 통신과 같은 두 개 이상의 우선순위 레벨이 있을 수 있다.
일부 경우에, 시스템은 방사선 전문의와 같은 사용자 사이, 그리고 방사선 전문의와 기타 이해관계자(예컨대, 주치의) 사이의 실시간 및/또는 비동기식 컨텍스트-기반 통신을 제공한다. 본 명세서에 사용된 컨텍스트-기반이란 환자 또는 환자 관련 정보를 통신 내에 삽입하는 개념을 지칭한다. 컨텍스트-기반 통신을 위한 다양한 구성요소의 비제한적인 예는 특정 환자 컨텍스트를 열 수 있는 첨부 파일이 있는 채팅 기반 통신, 비디오 기반 통신, 화면 공유, 이미지로 된 코멘트-기반 통신, VoIP 통화 대기 또는 이들의 조합을 포함한다.
본 명세서에서 개시된 것은 다양한 형태의 컨텍스트-기반 통신이 구현될 수 있는 방법을 예시하는 비제한적인 실시예이다. 일부 실시예에서, 채팅-기반 통신의 경우, 발신자는 동일한 소프트웨어 애플리케이션(예컨대, AI-보조 이미지 해석/분석을 위해)을 사용하거나 로그인한 수신자에게 메시지를 보낼 수 있거나, 이메일을 통해 메시지의 통지를 수신할 수 있다. 발신자는, 사용자에게 올바른 권한이 있는 경우, 소프트웨어 애플리케이션에서 열 수 있는 환자 연구(예컨대, 평가 중인 하나 이상의 의료 이미지 포함)에 대한 컨텍스트 기반 링크를 삽입할 수 있다. 사용자의 권한 세트와 발신자의 선호도에 따라, 익명화된 연구 버전을 볼 수 도 있다. 이러한 익명화는 실시간으로 동적으로 발생할 수 있거나 메시지가 전송되기 전에 미리 실행될 수 있다. 도 30은 당사자들 간의 메시지 전송의 도표를 도시한다.
일부 실시예에서, 사용자는 통신 허브를 통해 다른 사용자와 비디오 채팅을 시작할 수 있다. 이 비디오 채팅은 참가자가 다른 사용자의 화면을 볼 수 있는 화면 공유도 포함할 수 있다. 도 31은 비디오-기반 통신 및 화면 공유의 도표를 도시한다.
일부 실시예에서, 사용자는 코멘트 기반 협업을 활용할 수 있다. 사용자는 이미지에 댓글을 남길 수 있고 다른 사용자를 태그하여 피드백을 요청할 수 있다. 태그된 사용자는 협업 요청을 알리는 알림을 받을 수 있다. 알림을 선택하거나 응답하면, 이미지 컨텍스트에서의 코멘트로 이동하여 스레드에서 코멘트에 응답할 수 있다(예컨대, 알림을 클릭하면 관련 부분과 해당 코멘트가 있는 이미지가 열린다).
일부 실시예에서, 사용자는 VoIP 통화 대기열을 사용하여 컨텍스트-기반 메시지를 보낼 수 있다. 소프트웨어 애플리케이션 또는 플랫폼의 각 사용자는 전화 통화를 수신하기 위해 라우팅될 수 있는 VoIP 번호를 수신할 수 있다. 일부 경우에, 시스템이 사용자의 작업 흐름의 어디에 있는지에 따라 전화 통화를 지능적으로 대기열에 추가한다. 예컨대, 사용자가 진단을 진행 중인 경우, 시스템은 사용자가 현재 진단 세션을 마칠 때까지 통화를 보류한다. 도 32는 VoIP 통화 대기열의 도표를 도시한다.
일부 경우에, 누구로부터의 통신을 중단할 수 있는지에 대한 논리 또는 우선 순위 레벨은 사용자 및/또는 조직에 의해 수동으로 결정되거나 주문화 된다. 예컨대, 일부 특정 전화번호에서 걸려온 전화 통화는 허용 리스트에 추가되고 다른 전화번호는 해석 중에 대기열에 있을 수 있다. 선택적으로, 설정된 반복 횟수를 초과한 후 반복 전화 통화를 허용하도록 규칙을 설정할 수 있다. 문자 메시지나 이메일과 같은 다른 통신 채널에서, 긴급 메시지는 "긴급" 또는 "즉시(stat)"와 같은 특정 키워드로 식별되고 다른 모든 메시지는 대기열에 추가될 수 있다. 오디오 및 문자 메시지 모두, 수신 통신의 우선순위를 가장 잘 예측하기 위해 음성-텍스트 번역 및/또는 자연어 처리를 기계 학습과 함께 사용할 수 있다.
일부 경우에, 각 통신 후에 사용자에게 중단이 허락 가능한지 여부를 묻거나 해석 중에 어떤 통신에 응답하는지 관찰함으로써 통신의 논리가 기계 학습을 통해 결정된다. 일부 경우에, 해석이 완료되거나 사용자가 로그오프를 시작한 후, 대기 중인 통신이 제시되고 적절한 애플리케이션을 실행함으로써 응답이 촉진된다. 이 프로세스를 예시하는 흐름도의 예가 도 9에 도시되어 있다.
해석이 완료되고 사용자가 통신에 응답하거나 회신할 때, 시스템은 이메일 회신 시작, IP 전화 통화를 통한 음성 통화 등을 통해 통신을 초기화할 수 있도록 구성된다. 또한, 사용자는 특정 임상 소견을 입증하기 위해 실시간으로 이미지를 공유해야 할 수 도 있다. 안전한 HIPAA-준수 화면 공유가 이용될 수 있으므로 사용자는 이미지의 어떤 부분이 가장 관련성이 있는지 다른 방사선 전문의나 주치의에게 입증할 수 있다. 대안으로 또는 마우스 포인터 위치 공유와 결합하여, 사용자가 소견을 기재할 때 이미지의 어느 부분을 보고 있는지 입증하기 위해 눈 추적을 사용할 수 있다.
일부 실시예에서, 통신 허브는 사용자가 소견의 정확성을 볼 수 있도록 하나 이상의 피드백 채널을 제공하도록 구성된다. 예컨대, 사용자 자신의 소견 및/또는 다른 사용자의 소견에 대해 환자 결과(최종 진단, 결론 등)가 제공될 수 있다.
작업리스트 관리
본 명세서에서 기재된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법이 방사선 전문의 또는 다른 사용자가 분석을 위해 의료 이미지를 예약할 수 있도록 하는 작업리스트 관리 시스템을 제공한다. 일부 경우에, 사용자는 최소 또는 최대 수(예컨대, 적어도 1, 2, 3, 4 또는 5, 또는 최대 2, 3, 4, 5, 6, 7, 8, 9, 10, 15 또는 20)를 갖는 케이스 및/또는 이미지 리스트를 선택할 수 있고, 이들을 예약하고, 그 후 다른 리스트를 선택하기 전에, 다음 시간 기간 동안 이들 케이스의 검토를 진행한다. 이를 통해 사용자는 이들이 원하는 케이스를 선택할 수 있지만, 예약할 수 있는 케이스의 수를 제한하고 하위 전문가가 어떤 연구를 검토하는지 제도적으로 규정된 규칙을 통해 케이스를 선별적으로 선택하는 것을 방지할 수 있다. 일부 경우에, 작업리스트 관리 시스템은 관리자 및/또는 방사선 전문의에 의해 구성할 수 있다. 구성 가능한 파라미터는 예약할 수 있는 최소 또는 최대 케이스 수, 사용자가 케이스(들)를 예약할 수 있는 설정 시간 또는 기간, 사용자가 조기 예약 후 케이스(들)를 예약할 수 있기 전의 최소 대기 시간, 사용자가 예약하도록 허용 및/또는 예약이 필요한 케이스(들) 또는 이미지(들)의 유형(예컨대, 사용자가 긴급으로 라벨링된 케이스를 가져가야 할 수 있음) 또는 기타 관련 파라미터를 포함할 수 있다. 이러한 프로세스는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있으며, 이는 독립형일 수도 있거나 본 명세서에서 개시된 더 큰 플랫폼이나 시스템의 일부일 수도 있다.
의료 이미징 그룹 진료 설정에서, 일반적으로 해석을 시작할 수 있는 다수의 의사가 임의의 주어진 시간에 해석을 기다리고 있으며 대기 중인 다수의 환자의 이미징 연구가 있다. 두 명의 의사가 동일한 연구를 해석하는 것을 방지하기 위해, 작업리스트 시스템을 사용하여 특정 의사에게 할당되거나 예약된 케이스를 검토하지 못하도록 잠글 수 있다. 의사에게 연구를 할당하는 방법에는 여러 가지가 있다. 첫째, 공유 작업리스트는 검토 가능한 모든 연구를 제공한다. 의사는 자신의 판단과 동기를 사용해 연구를 선택한다. 대안적으로, 특정 연구를 의사에게 할당하는 것은 행정 직원이나 진료 관리에서 제공하는 기준에 기반한 컴퓨터화된 작업흐름 엔진에 의해 수행될 수 있다. 현재 작업흐름 엔진은 의사 및 현재 작업리스트에 대한 일반 정보를 고려하지만 이미징 양식 및 신체 부위 외에 할당할 연구 내용은 고려하지 않는다.
본 명세서에서 개시된 작업리스트 관리 시스템은 작업리스트에 대한 연구 할당을 최적화하기 위해 진단 AI 컴퓨터 비전을 사용하는 지능형 컴퓨터 작업리스트 엔진을 제공한다. 다양한 이미지 분석 시스템을 사용하여 이미지에서 직접 진단 정보를 추론할 수 있다. 종양 크기 측정과 같은 정량적 이미지 특성을 치료 반응 추적에 사용할 수 있다. CADe 및 CADx 시스템은 다양한 유형의 병변을 검출하고 진단하는 데 사용할 수 있다. 다른 예로서, CADt는 응급실에서 머리 CT의 두개내 출혈(ICH)과 같이 즉각적인 주의가 필요한 매우 긴급한 케이스를 분류하는 데 사용될 수 있다.
따라서, 작업리스트 관리 시스템은 AI 시스템을 활용하여 이미징 연구의 내용(예컨대, 하나 이상의 연구의 이미지 또는 이미지 시리즈)을 분석하기 위해 컴퓨터 비전(CV)을 수행할 수 있다. 이 정보는 주어진 이미징 연구 해석의 난이도를 추정하는데 사용될 수 있으며, 이는 주어진 의사가 케이스를 해석할 가능 시간과 품질에 영향을 미치는 데 사용될 수 있다. 이 접근법의 장점은 그룹 진료 환경에서 의료 이미징 해석 작업량을 분산하기 위한 공식적이고 수학적으로 최적화 가능한 방법(그룹 진료 관점에서)을 제공한다는 것이다. 이와 비교하여, 인간 관리자는 추가 인력이 필요하고 주관적인 판단과 편견에 기반을 두고 있는 반면, 의사가 보편적인 작업리스트에서 스스로 선택하도록 하는 것은 해석의 용이성을 기반으로 연구를 개별적으로 경쟁할 수 있는 선별 현상을 겪는다. 기존 워크리스트 엔진은 의료 영상의 임의의 진단 정보를 고려하지 않는다.
일부 실시예에서, 작업리스트 관리 시스템은, 예컨대 1) 의사에 대한 이력 및 인구통계학적 데이터의 데이터베이스, 2) 의사의 작업리스트 현황, 3) 이미징 연구 자체로부터 유도한 진단 정보 또는 이들의 임의의 조합과 같은 하나 이상의 소스로부터 정보를 고려하는 연구 라우팅 추천 시스템 또는 서브시스템 또는 모듈을 사용하는 지능형 작업리스트 엔진을 포함한다.
도 33은 지능형 작업리스트 엔진 개요의 예시적인 도표를 제공한다. 의사 작업리스트에 할당되는 들어오는 연구는 컴퓨터 비전/인공 지능(CV/AI) 시스템에 의해 처리되어 연구 난이도 추정치를 생성한다. 연구 라우팅은 1) 의사 인구통계(예컨대, 자격 증명), 2) 과거 의사 데이터와 들어오는 이미징 연구에서 유도된 추정 연구 품질, 3) 과거 의사 데이터, 들어오는 이미징 연구 및 의사의 작업리스트의 현재 상태에서 유도된 추정 연구 효율성을 기반으로 한다. 이 예에서, 추천의 결과는 해석을 위해 연구를 라우팅하기 위한 특정 의사의 작업리스트를 선택하는 것이다.
본 명세서에서 개시된 것은 지능형 작업리스트 관리를 위한 시스템, 소프트웨어 및 방법이다. 일부 실시예에서, 지능형 작업리스트 관리 시스템은 할당되지 않은 이미지 연구를 수신하고; 이미지 연구 분석에 대한 추정 난이도를 생성하기 위해 이미지 연구에 대한 컴퓨터 비전 분석을 실행하며; 적어도 추정 난이도 및 이전 사용자 데이터에 기반으로 하여 복수의 사용자 중에서 선택된 사용자에게 이미지 연구를 라우팅하거나 할당하도록 구성된다. 일부 실시예에서, 지능형 작업리스트 관리 시스템은 이미지 연구를 수신하고; 이미지 연구 분석에 대한 추정 난이도를 포함하는 출력을 결정하며; 적어도 추정된 난이도 및 이전 사용자 데이터를 기반으로 하여 복수의 사용자 중에서 선택된 사용자에게 이미지 연구를 라우팅하거나 할당하도록 구성된다. 일부 실시예에서, 작업리스트 관리 시스템은, 의사의 인구통계, 추정된 품질, 추정된 효율성, 또는 이들의 임의의 조합을 기반으로 하여 복수의 사용자 중에서 선택된 사용자를 추천하는 연구 라우팅 추천 시스템 또는 서브시스템 또는 모듈을 사용한다. 일부 실시예에서, 추정 품질 및 추정 효율성은 이전 사용자 데이터(예컨대, 과거 의사 데이터) 및 추정 연구 난이도 또는 이미지 연구 분석의 난이도를 기반으로 하여 생성된다.
일부 실시예에서, 작업리스트 관리 시스템은 과거 의사 데이터 소스를 활용한다. 이 지능형 작업리스트는 사용자가 자신의 작업을 수행하는 데 필요한 모든 도구로 구성된 대규모 웹-기반 시스템의 구성요소일 수 있다(예컨대, 지능형 작업리스트 관리는 이미지 검토, 분석, 보고서 생성 및 관리와 관련된 다양한 기능을 위해 본 명세서에서 개시된 시스템/서브시스템 및 모듈의 임의의 조합을 통합하는 전체 시스템의 일부일 수 있음). 일부 실시예에서, 그 주요 기능은 이미지 보기, 보고서 생성 및 작업리스트 관리를 포함한다. 사용자가 이미지를 보고, 보고서를 생성하고, 다양한 환자 케이스를 검토하면서, 이 시스템과의 상호동작이 데이터베이스에 저장될 수 있다. 예컨대, 의사가 작업리스트에서 환자 연구를 선택하고 해석할 때마다, 사용 및 상호동작 데이터가 추적되어 데이터베이스에 저장될 수 있다. 또한, 동료 검토 데이터가 웹-기반 시스템 내에서 수행 및 저장될 수 있으므로 정적으로 샘플링된 기준으로 동료가 판단한 개별 의사의 진단 품질을 추정할 수 있다.
일부 실시예에서, 의사 인구통계 데이터는 하위 전문 교육 및 자격, 국가 면허 및 자격 증명, 실무 연수, 작업 일정 또는 이들의 조합과 같은 항목을 포함하지만 이들로 제한되지는 않는다. 추정 품질 및 추정 효율성은 적어도 의사별 정보 및/또는 연구별 정보를 사용하여 결정할 수 있다. 의사의 품질 메트릭스는 주로 앞서 언급한 동료 검토 프로세스에서 유도된다. 이러한 동료 검토 프로세스는 의료 행위 외부에서 또는 내부적으로 실행될 수 있으며, 다른 의사가 선택된 이전 해석을 검토(또는 "재해독")하고 그 심각도 및 임상적 중요성을 포함한 불일치를 식별하도록 요구한다. 동료 검토 데이터의 다른 소스는 앞서 언급한 이 특허 내에 기재된 AI-보조 품질 메트릭스에서 나온 것이다. 의사의 효율성 메트릭스는 중단 조정(이 특허에서 앞서 언급한 통신 허브 참조), 진단 난이도(이 특허에서 기재한 바와 같은 보고서 내용 분석 및 컴퓨터 비전 모두에서)에 대한 조정 및 설정 작업에 소요되는 시간(설정 작업은 사용자가 이미지 픽셀을 보고 이미지 보기를 위한 레이아웃 선택 및 적절한 시리즈를 레이아웃으로 끌어서 놓기 등의 보고서 작성 이외의 작업을 수행함)이 포함된 연구 소요 시간(TAT) 및 해석 시간을 포함하지만, 이들로 제한되지 않는다.
의사 작업리스트. 일부 실시예에서, 의사 작업리스트에 걸쳐 로드 밸런싱을 제공하기 위해, 작업리스트 관리 시스템은 하나 이상의 로드 밸런싱 요소를 고려한다. 예컨대, 시스템은 연구 할당 시 모든 의사 작업리스트에 걸친 연구 배포에 관한 정보를 통합할 수 있다. 하나 이상의 규칙을 사용하여 하나 이상의 로드 밸런싱 요소를 작업리스트 관리 프로세스에 통합할 수 있다. 예컨대, 현재 작업리스트가 더 짧은 의사는 다른 모든 사항이 동일할 경우 이미지 연구에 할당될 가능성이 더 높다. 일부 실시예에서, 작업리스트 완료가 예정된 근무일의 종료와 일치하도록 의사의 작업 일정이 고려된다. 더 적거나 더 많은 작업을 수동으로 요청하는 기능도 고려할 수 있다.
AI 추정 연구 난이도. 일부 실시예에서, 작업리스트 관리 시스템은 결과를 해석하고 보고하는 데 있어서의 어려움을 추정한다. 특정 실시예는 AI-보조 소견 검출을 사용하여 불확실성에 의해 가중된, 예컨대,｜1-소견의 확률｜의 이미징 소견의 수를 사용하여 이미징 연구의 진단 내용을 평가한다. 특정 실시예는 또한 드물고 보급률이 저-우세 소견 및/또는 저 이미지 품질에 대한 증가된 가중치를 포함한다.
일부 실시예에서, 주어진 연구에 대해 예상되는 진단 품질의 추정치를 생성하기 위해 의사 품질 지표와 AI 추정 연구 난이도가 결합된다. 주어진 연구에 대한 해석 효율성 추정치를 생성하기 위해 의사 효율성 메트릭스, AI 추정 연구 난이도 및 의사 작업리스트의 현재 상태 중 둘 이상을 결합할 수 있다. 이러한 수학적 조합은 선형 조합, 거듭제곱 또는 지수 조합과 같은 비선형 조합 또는 주어진 이미징 연구 세트에 대한 실제 품질과 효율성을 가장 정확하게 예측하는 이러한 입력의 조합을 학습하도록 훈련될 수 있는 기계 학습 기능에 의해 생성될 수 있지만 이들로 제한되지는 않는다.
일부 실시예에서, 의사 작업리스트에 연구 할당을 하기 위해, 의사 인구통계, 추정 품질 및 추정 효율성은 전반적인 효율성(진료에 대한 TAT)과 전반적인 품질(진료에 대한 종합적인 동료 검토 메트릭스)사이의 균형을 맞추기 위해 의료 진료에 의해 규정된 기준 및 경험적 방법을 사용하여 결합되면서, 동시에 개별 의사 선호도 및 의료법적 의무를 충족한다. 특정 실시예에서, 의사 작업리스트에 대한 연구 할당을 생성하기 위해 최대화되는 수학적 함수는 인공 신경 네트워크이다. 일부 실시예에서, 인공 신경 네트워크는 추천 시스템이 행동으로 할당된 에이전트인 강화 학습을 사용하여 훈련되어, 결합된 효율성과 품질의 보상을 최대화하려고 한다.
긴 충분한 시간이 지나면, 추천 강화 학습 알고리즘은 작업리스트 추천 정책을 조정하여 결합 효율성과 품질을 지속적으로 향상시킬 수 있다.
AI-작동 품질 메트릭스
본 명세서에서 기재된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우, 이 시스템, 소프트웨어 및 방법은 자연어 처리(NLP) 및/또는 컴퓨터 비전을 활용하여 품질 평가를 위한 이미징 연구의 오버-리드(over-read)를 더 잘 가능하게 한다. NLP는 정부가 요구하는 필수 오버-리드 통계를 자동 생성하기 위해 비교 연구에 적용될 수 있다. 일부 경우에, 시니어 방사선 전문의와 같은 한 사용자 그룹이 해석한 연구가 다른 사용자 그룹(예컨대, 하위 방사선 전문의)의 워크플로에 공급되고 NLP 및 기계 학습을 사용하여 임상 품질의 자동 오버-리드 및 측정을 실행한다. 일부 경우에, 컴퓨터 비전 및 NLP는 다음 중 하나 이상을 수행하는 데 사용된다: (1) 보고서 텍스트 품질 메트릭스 계산, (2) 오버-리드 연구의 자동 비교 작동, (3) 품질 보증을 위한 완전히 자동화된 오버-리드 작동. 이러한 프로세스는, 독립형일 수도 있고 여기에 개시된 더 큰 플랫폼이나 시스템의 일부일 수도 있는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있다.
진단 방사선에서, 동료 검토는 다른 사용자의 방사선 보고서의 정확성을 평가하는 프로세스이다. 현재, 이는 제2 사용자 또는 다른 제3자의 주관적인 의견을 수반한다. 검토자는 표준화된 평가 척도를 사용할 수 도 있다. 예컨대, 3점 척도는 (1) 일치, (2) 소견이 반드시 기록될 것으로 예상되지 않는 불일치, (3) 소견이 항상 이루어져야 하는 불일치를 구분할 수 도 있다. 불일치는 임상적으로 유의미한지 여부로 기록될 수 있다. 이는 두 사용자가 독립적으로 연구를 읽는 이중 읽기, 두 번째 읽기 또는 오버-리드와 구별되며, 두 사용자가 합의된 의견에 도달하는 공동 보고와는 구별됨을 주목해야 한다. 이 동료 검토는 품질 보증 또는 품질 개선 목적으로 사용될 수 있다. 방사선 보고서 작성을 위한 임상 작업 흐름과 동료 검토를 위한 작업 흐름을 예시하는 흐름도가 도 10에 도시되어 있다.
예로서, ACR(American College of Radiology)은 연간 요금 기반 RADPEER 시스템을 제공한다. 이 웹-기반 프로그램에서, 원래의 방사선과 전문의 이름 없이 연구 및 보고서를 제출하고 그 결과를 방사선과 실무위원장에게 다시 제출한다. 미국에서, 2008년 MIPPA(Medicare Improvements for Patients & Providers Act)가 RADPEER와 같은 동료 검토를 포함하는 CMS 인증 기준을 만들었다. RADPEER 비용은 의사당 연간 약 $80-160이다.
Donabedian 프레임워크에 따르면, 품질 측정 또는 메트릭스는 구조적 측정, 프로세스 측정 또는 결과 측정으로 분류될 수 있다. 구조적 측정은 일반적으로 안전 및 기술 장비 측정과 관련된다. 프로세스 측정은 측정 용이성으로 인해 공통적으로 사용되며 보고서 완료 시간, 환자 대기 시간 등을 포함한다. 가장 바람직한 결과 측정은 측정하기 가장 어렵다. 현재, 동료 검토가 진정한 진단 정확성을 위한 프록시로 사용되며 RADPEER와 같은 시스템에서 구현된다.
따라서, 일부 양상에서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 방사선 보고서의 언어에 대한 AI-보조 또는 자동 분석을 실행하여 품질 메트릭스를 생성한다. 예컨대, 종종 "헤징"이라고 불리는 불확실성을 나타내기 위해 문구를 사용하는 보고서를 주치의는 권장되지 않는다. 따라서, 본 명세서에 개시된 NLP 시스템은 헤징으로 나타나는 문구를 검출하고 먼저 사용자가 이 보고서를 구술할 때 사용자에게 경고 및/또는 제안을 생성하도록 구성될 수 있다. 또한 시스템은 시간이 지남에 따라 헤징 경향을 정량화하고 추적하여 개선할 수 있는 부정적인 추세와 패턴을 식별할 수 있다. 이러한 추세 및/또는 패턴은 방사선 전문의나 사용자에게 피드백이나 지침을 제공하기 위해 품질 관리 메트릭스를 사용하여 스코어를 매기거나 평가할 수 도 있다. 예컨대, 다음 중 하나 이상과 같은 품질 제어 평가를 포함하는 성과 보고서가 제공될 수 있다: 진단 그룹에 대한 평균에 대한 사용자의 헷징 언어 사용의 비교, 강점/약점을 식별하는 데 도움이 되는 이미지/분석 유형 및 이에 상응하는 헤징 언어 사용의 분해, 및 헤징 언어 사용을 줄이기 위한 그에 따른 제안 또는 지침. 이 개선된 품질 검토 작업 흐름의 개요가 도 11에 도시되어 있다. 현재 동료 검토 시스템(도 10 참조)는 동료 검토자가 편견으로 이어질 가능성이 있는 사용자 보고서를 사용하여 케이스를 읽다. 본 명세서에서 개시된 NLP 시스템의 특성 중 하나는 방사선학 보고서 자유 텍스트를 특정 정보 모델(해부학적 위치, 관찰, 심각도)을 따르는 개별 소견의 구조화된 형식으로 소화하는 능력이다. 이러한 구조화된 형식에서는, 소견을 통계적으로 비교할 수 있다. 이는 한 명 이상의 사용자가 동료 검토 프로세스에 참여한다는 지식 없이도 연구를 읽고 나중에 보고서를 비교하는 오버-리드에 대한 새로운 패러다임을 가능하게 한다. 이를 통해 완전히 블라인드 검토 프로세스가 가능해진다. 도 12는 쌍 방식으로 비교할 수 있는 각 보고서에 대한 요약된 소견의 체계적인 리스트을 생성하기 위해 자연어 처리를 사용하는 이러한 오버-리드 비교 프로세스를 예시하는 흐름도를 도시한다.
일부 양상에서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 사용자가 보고서의 "소견" 섹션에 기록한 내용과 유사한 방식으로 소견을 검출할 수 있다. 이는 본 개시 내용 전반에 걸쳐 논의된 NLP-해석된 소화 소견과 동일한 형식으로 생성될 수 있다. 이 설계 내에서, AI 컴퓨터 비전과 NLP 시스템은 추가 사용자 노력 없이도 별도의 오버-리드 역할을 하여 완전히 자동화된 품질 보증 시스템을 가능하게 한다. 일부 경우에, 시스템은 추가 검사 및 검토를 위해 사용자와 AI 컴퓨터 비전 시스템 간의 상당한 불일치가 포함된 보고서에 자동으로 플래그를 지정한다. 도 13은 AI 컴퓨터 비전을 사용하여 객관적인 비교를 위해 NLP 소화 방사선 전문의 보고서와 비교할 수 있는 소화된 소견의 체계적 리스트을 생성하는 이러한 자동 검토 프로세스를 예시하는 흐름도를 도시한다.
AI-보조 자체-개선
본 명세서에서 기재된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은 기계 학습을 활용하여 사용자가 컴퓨터 비전 및/또는 NLP 시스템에 참여하여 사용자 프로세스(예컨대, 분석)의 품질을 예측하는 방법에 대한 데이터를 분석하고 선택적으로 이 프로세스의 품질과 효율성을 향상시키기 위한 팁을 제공한다. 이 정보는 기계 학습을 사용하여 케이스의 주요 이미지를 결정하는 데에도 사용될 수 있다. 본 명세서에서 개시된 시스템을 사용하는 사용자의 부산물은 특히 생산성이 낮고 경험이 적은 방사선 전문의와 비교할 때 가장 생산적이고 경험이 풍부한 방사선 전문의가 이 시스템/소프트웨어에 참여하는 방법에 대한 데이터를 수집하고 분석할 수 있다는 것이다. 이 데이터를 사용하여, 기계 학습 방법을 사용하여 가장 생산적이고 경험이 풍부한 방사선 전문의와 동일한 방식으로 이 시스템/소프트웨어를 사용하고 그에 참여하도록 방사선 전문의에게 알리고 교육할 수 있다. 이러한 프로세스는, 독립형일 수도 있거나 본 명세서에서 개시된 더 큰 플랫폼이나 시스템의 일부일 수도 있는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 품질을 결정하거나 추정하도록 구성될 수 있다. 본 개시 내용 전반에 걸쳐 기재된 바와 같이, 해석적 품질은 동료-검토 및 AI-보조 또는 자동화된 품질 측정과 같은 방법을 포함하는 다양한 메트릭스에 의해 결정될 수 있다. 이들 메트릭스를 저장하고 시간이 지남에 따라 추적할 수 있어, 개별 방사선 전문의의 추세나 진행 상황을 식별할 수 있다. 시간이 지남에 따라, 이러한 동료-검토 측정을 통해 최고 품질과 연관된 방사선 전문의의 사용 패턴을 식별할 수 있다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 이미지 탐색 정보를 캡처하도록 구성될 수 있다. 무료 검색 중에, AI가 사용자에게 어디에 집중해야 하는지 프롬프팅하지 않을 때, 시스템은 어떤 이미지가 어떤 패턴으로 검사되고 있는지에 대한 정보를 캡처할 수 있다. 예컨대, 일부 사용자는 하위 진단 품질로 인해 일부 시리즈(예컨대, 스카우트 이미지)를 검사하지 않기로 선택할 수 도 있다. 그러나 다른 사용자는 의료법적 이유로 해당 시리즈를 검사하기로 선택할 수 도 있다. 시스템은 사용자 간의 이러한 차이를 기록하고 분석할 수 있다. 일부 경우우에, 시스템은 이미지 스택 중 어떤 이미지를 얼마나 오랫동안 본 것인지 기록한다. 기록 및 분석할 수 있는 추가 정보는 눈-추적 하드웨어를 사용한 시선 또는 응시 고정 정보를 포함한다. 시스템은 이 정보를 분석하여 상이한 품질 평가의 사용자 간의 패턴 차이를 찾을 수 있다. 일부 경우에, 사용자가 이미지를 너무 빠르게 스크롤하거나 더 높은 성과를 내는 방사선 전문의에 비해 해부학적 주변 영역을 보는 데 충분한 시간을 소비하지 않는 경우, 이러한 차이점이 기록되어 자체-개선을 위해 사용자에게 보고될 수 있다. 정확하고 효율적인 해석을 방해하는 인체공학적 장애물을 결정하기 위해 마우스 주행 거리계 측정과 같은 UI 관련 측정을 수행할 수 있다. 해석 프로세스 중단에 관한 정보도 추론하고 추적할 수 있다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 AI 상호동작 정보를 캡처하도록 구성될 수 있다. 본 명세서에 개시된 AI 시스템은 가능한 한 최소한의 제한 방식으로 사용자에게 잠재적 소견을 제시할 수 있다. 예컨대, 소견은 신뢰도나 확률이 감소하는 순서로 제시 및/또는 탐색될 수 있다. 대안적으로 또는 조합하여, 소견은 공간 순서(예컨대, 아래에서 위까지) 또는 기관계별로 탐색될 수 있다. 사용자 간의 패턴 차이를 알고리즘으로 분석하여 어떤 패턴이 최고 품질의 해석으로 이어지는지 결정할 수 있다. 순위가 낮거나 비정상적인 패턴을 가진 사용자에게 알림을 보내 자체-개선의 기회를 제공할 수 있다. 도 14는 이 프로세스를 예시하는 흐름도를 도시한다. 도시된 대로, 사용자는 워크스테이션을 사용하여 의료 데이터에 액세스하고 해석하여 보고서에 삽입할 소견을 생성한다. 보고서가 생성되지만, 또한 사용자의 소견을 평가하여 보다 경험이 많고 숙련된 방사선 전문의의 "이상적인" 소견/프로세스와 비교하는 프로세스가 수행된다. 특히, AI 알고리즘은 소견을 분석하여 하나 이상의 성능 또는 품질 측정/메트릭스를 생성한다. 그런 다음 소견을 비교하여 성능의 델타 또는 차이를 결정한다. 마지막으로, 이러한 비교 분석의 결과를 사용자에게 제공할 수 있다.
행잉 프로토콜을 위한 인공 지능
본 명세서에서 기재한 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은 행잉 프로토콜의 자동 생성을 제공한다. 사용자가 케이스를 열면, "행잉 프로토콜"은 사용자가 보기를 원하는 구성으로 이미지를 디스플레이하는 데 사용된다. 현재, 사용자는 이러한 "행잉 프로토콜"을 수동으로 생성해야 하는데, 이는 비효율적인 프로세스이다. 따라서, 일부 경우에, 사용자 참여 데이터 및 의료 이미지 헤더 데이터에 기계 학습을 적용하여 이미지가 화면에 정렬되어야 하는 방식을 결정하는 프로세스를 자동화한다. 이를 통해, 각 케이스를 사용자의 선호도에 따라 디스플레이할 수 있다. 이러한 맞춤화 및 자동화는 이미지 해석 및 보고서 생성을 위한 보다 간편하고 효율적인 프로세스를 제공한다. 이러한 프로세스는 독립형일 수도 있거나 본 명세서에서 개시한 더 큰 플랫폼이나 시스템의 일부일 수도 있는 시스템, 서브시스템 또는 모듈을 통해 구현될 수 있다.
행잉 프로토콜을 생성하거나 제공하기 위한 시스템은 행잉 프로토콜 시스템, 서브시스템 또는 모듈로 지칭될 수 있다. 행잉 프로토콜 시스템 또는 서브시스템 또는 모듈은 본 명세서에서 개시된 다른 시스템, 서브시스템 또는 모듈중 하나 이상과 함께 행잉 프로토콜 기능을 제공하도록 구현될 수 있다. 예시로서, 의료 이미지의 AI-보조 해석 및 보고를 위한 시스템은 AI-보조 이미지 세그먼트화, 특성 식별 또는 이미지 라벨링, 지능형 작업리스트 관리 등에 수반되는 것들과 같은 다른 시스템/서브시스템/모듈과 함께 적절한 행잉 프로토콜을 식별하거나 적용하는 행잉 프로토콜 시스템/서브시스템/모듈을 포함할 수 있다.
이미징 하드웨어의 차이, 연구 프로토콜의 차이 및 시간에 따른 변화로 인해, 연구에서 획득한 이미징 시리즈 세트와 해당 텍스트 설명이 크게 달라질 수 있어 현재 연구와 이전 연구 간의 시리즈를 일치시키는 것이 어려울 수 있다. 기술적 이미징 파라미터(예컨대, MRI의 TE 및 TR) 분석을 통해 시리즈 간의 자세한 비교가 가능하다. 일부 경우에, 기계 학습 방법을 사용하여 DICOM 이미지에서 표준화된 기술 획득 파라미터의 벡터를 분석하여 시리즈 유사성을 결정한다.
환자 의료 이미지가 해석되고 보고서가 생성되는 의료 환경에서, 다수의 이미지를 동시에 디스플레이하기 위해 다양한 방법이 사용된다. 과거에, 아날로그 라이트 박스를 사용하여 필름을 봤을 때, "행잉 프로토콜"이라는 용어는 주어진 환자 영상 연구에서 의사가 선호하는 다수의 필름의 레이아웃을 지칭하였다. 디지털 이미징이 현재 지배적인 패러다임이므로, 행잉 프로토콜은 이제 특정 이미지 시리즈(또는 특정 이미지)를 직사각형 그리드에 걸쳐 있는 복수의 뷰포트(종종 여러 컴퓨터 디스플레이에 걸쳐 있음)에 매핑하는 것을 지칭한다. DICOM 표준에서 예시된 것처럼, 행잉 프로토콜의 프로세스 흐름은 두 단계: (1) 선택을 포함하는 행잉 프로토콜 정의와, (2) 처리 및 레이아웃을 포함하는 행잉 프로토콜 디스플레이로 구성된다.
행잉 프로토콜 정의 단계 동안, 선택 시 영상 연구가 주어지면, 목표는 컴퓨터 디스플레이(들)의 이미지 또는 이미지 시리즈의 디스플레이 및 레이아웃을 정의할 잠재적으로 적용 가능한 행잉 프로토콜의 아카이브와 일치시키는 것이다. 일치 기준에는 양식, 해부학적 구조, 측면성, 수술, 수술 이유, 이전 내용(priors) 수 또는 이들의 조합을 포함할 수 있다. 또한 매칭 프로세스에는 디스플레이 수, 디스플레이 해상도 및/또는 디스플레이의 비트 깊이를 포함한 디스플레이 환경이 포함될 수 있다. 마지막으로, 행잉 프로토콜에 정의된 세트와 특정 이미지 또는 이미지 시리즈 속성 값을 일치시켜 이미지 세트를 정의할 수 있다. 그러나 이는 사이트마다, 운영자마다 다른 자유 텍스트 시리즈 설명 태그에 대한 의존성으로 인해 종종 실패한다.
행잉 프로토콜 디스플레이 단계 동안, 처리에서, 이미지 세트는, 재형식화(예컨대, MPR, 3D 렌더링), 필터링(예컨대, "축방향"), 정렬(축을 따라 또는 획득 시간에 의해) 또는 다른 기준에 의해 행잉 프로토콜에 의해 지정된 대로 디스플레이 세트에 매핑된다. 이 단계에서는 순서화된 이미지 상자 세트를 정의할 수도 있다. 레이아웃에서, 처리 단계에서 정의된 순서에 따라 이미지 상자를 표시 위치에 매핑할 수 있다.
행잉 프로토콜에 대한 기존의 접근법은 일반적으로 정의와 디스플레이 모두에 대해 간단한 속성 값 일치 기준을 사용하는데, 이는 취약하며 예상되는 속성 값의 변동성을 처리할 수 없는 경향이 있다. 그러나 실제 환경에서, 속성 값에 상당한 변동이 있어 기존 행잉 프로토콜의 실패율이 높다. 정의 및/또는 디스플레이에 기계 학습 접근법이 사용되는 경우에도, 작업은 이미지 시리즈가 뷰포트에 정확하게 일치하거나 전혀 일치하지 않는 검색 프로세스로 프레임화된다. 선택 시, 단일 일치 프로토콜을 찾기 위해, 간단한 속성 값 일치 규칙에 의해서 속성 값 또는 연구에 관한 다른 고 레벨 정보에 적용된 기계 학습에 의해서 중 어느 하나로, 이미지 연구 메타데이터 속성 값을 검사한다. 디스플레이에서, 이미지 또는 이미지 시리즈를 예상 리스트과 일치시키는 프로세스는 동일한 검색 프로세스 매칭 패러다임을 따른다. 두 케이스 모두, 메타데이터에 대한 기대치에서 어느 정도 벗어나는 취약성이 발생한다. 예컨대, 새로운 연구에서 연구 설명 문자열에 약간의 차이가 있으면(예컨대, "LEFT KNEE" 대신 "LT KNEE" 사용), 임의의 알려진 행잉 프로토콜과 일치하지 않을 수 있다. 시리즈 레벨의 다른 예로, 메타데이터의 사소한 변화(예컨대, "T1 AXIAL"이 아닌 "Tlw AX")로 인해, 이미지 세트에서 일치하지 못해 뷰포트가 비어 있을 수 있다.
본 명세서에서 개시된 것은 행잉 프로토콜의 향상된 제공을 위한 시스템, 소프트웨어 및 방법이다. 본 개시의 장점은 검색 및/매칭 개별 개체(예컨대, 행잉 프로토콜에의 이미징 연구; 이미지 박스로의 디스플레이 세트) 중 하나에서의 문제를 수치 최적화 문제로 재프레임화하는 것이다. 일부 실시예에서, 본 명세서에 개시된 행잉 프로토콜 시스템은 이미지 시리즈의 바람직한 선택 및 레이아웃을 정의하는 기준 세트를 최적화한다. 예시적인 예로서, "이 정확한 유형의 이미지를 이 정확한 위치에 넣으십시오"라고 말함으로써 행잉 프로토콜을 정의하는 대신, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 사용자가 명시적으로 또는 예(들)를 제공함으로써 최적화될 기준을 정의할 수 있게 한다. 어떤 정보가 있어야 하고, 없어야 하는지에 대한 하드 코딩은 없다. 대신, 수치 최적화는 그것이 유연하지 않고 선입견된 스키마에 맞는지 여부에 관계없이 당면한 정보에 대해서만 작동하기 때문에 시스템이 훨씬 덜 취약한다.
일부 실시예에서, 본 명세서에서 개시된 것은 행잉 프로토콜을 제공하기 위한 방법으로서, 최적화를 위한 하나 이상의 기준을 규정하는 사용자 입력을 수신하는 단계; 및 상기 하나 이상의 기준을 기반으로 하여 행잉 프로토콜을 제공하는 단계를 포함하는, 행잉 프로토콜 제공 방법이다. 일부 실시예에서, 본 명세서에서 개시된 것은 행잉 프로토콜을 제공하기 위한 방법으로서, 하나 이상의 이미지를 포함하는 이미지 연구 또는 이미지 시리즈를 획득하는 단계; 최적화를 위한 하나 이상의 기준을 규정하는 사용자 입력을 수신하는 단계; 및 상기 하나 이상의 기준을 기반으로 하여 상기 이미지 연구를 위해 최적화된 행잉 프로토콜을 제공하는 단계를 포함하는, 게제 프로토콜 제공 방법이다. 일부 실시예에서, 행잉 프로토콜은, 허용되거나 허용되지 않는 기준의 하드 코딩(예컨대, 필요 기준을 구축하는 미리 설정된 규칙)을 기반으로 하여 최적화되지 않는다. 일부 실시예에서, 행잉 프로토콜은 수치 최적화를 기반으로 하여 최적화된다. 행잉 프로토콜 시스템, 소프트웨어 및 방법은 본 명세서에서 개시된 다른 시스템, 소프트웨어 및 방법 중 임의의 것과 조합하여 이들이 보기, 검토, 분석 또는 그 밖에 이미지(예컨대, AI-보조 소견, 자동화된 보고서 생성 등)와의 상호동작에 관련되는 정도로 사용될 수 있다. 예시적인 예로서, 사용자는, 자동화된/반-자동화된 보고서 생성을 위한 소견의 AI-보조 이미지 세그먼트화 및 생성을 실행하는 시스템 - 의료 이미지의 검토의 일부로서 이미지의 디스플레이 및 레이아웃을 제공하기 위한 행잉 프로토콜 시스템/서브시스템을 활용함 - 을 사용할 수 도 있다. 일부 실시예에서, 기준은 하나 이상의 연구 속성에 대응한다. 일부 실시예에서, 기준은 하나 이상의 이전 이미지 연구를 포함한다. 일부 실시예에서, 기준은 하나 이상의 이미지나 이미지 시리즈를 포함하는 하나 이상의 이전 이미지 연구를 포함한다. 일부 실시예에서, 하나 이상의 이전 이미지 연구는 기준을 구축하도록 사용자에 의해 선택된다. 예시적인 예로서, 사용자는 흉부 X-선에 관련된 여러 표본 이미지 연구나 이미지 시리즈를 선택하여 장래 흉부 X-선 이미지 연구나 이미지 시리즈를 위한 기준을 설정한다. 이들 이전 이미지 연구나 이미지 시리즈로부터의 관련 특성은 추출되어, 현재 이미지 연구나 이미지 시리즈에 궁극적으로 사용되는 행잉 프로토콜을 최적화하는데 사용되는 하나 이상의 속성을 결정하는데 사용된다. 일부 실시예에서, 행잉 프로토콜은 하나 이상의 이전 이미지 연구로부터 추출된 하나 이상의 속성을 기반으로 하여 최적화된다. 일부 실시예에서, 행잉 프로토콜의 최적화는 하나 이상의 이전 이미지 연구로부터 추출된 하나 이상의 속성을 기반으로 하여 복수의 행잉 프로토콜로부터 최적의 행잉 프로토콜의 선택을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는, 이미지 연구에 대한 이미징 순서, 임상 텍스트, 메타데이터(예컨대, DICOM 메타데이터) 또는 이미지 데이터(예컨대, DICOM 픽셀 데이터) 중 적어도 하나로부터 정보를 획득하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 자연어 처리 알고리즘을 사용하여 이미징 순서, 임상 데이터 또는 둘 모두로부터 하나 이상의 관련 특성을 추출하는 것을 포함한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 컴퓨터 비전 알고리즘을 사용하여 이미지 데이터로부터 관련 특성을 추출하는 것을 포함한다. 예컨대, 컴퓨터 비전 알고리즘은 연구 속성에 관한 정보를 제공하는 시각 특성을 식별하거나 추출하도록 구성된다. 일부 실시예에서, 행잉 프로토콜의 최적화는 메타데이터(예컨대, DICOM 메타데이터)로부터 특성을 추출한다. 일부 실시예에서, 행잉 프로토콜의 최적화는 출력으로서 하나 이상의 속성을 생성하도록 추출된 특성을 입력으로서 기계 학습 분류기에 제공하는 것을 포함한다. 일부 실시예에서, 게재 플토콜은 기계 학습 분류기에 의해 생성되는 하나 이상의 속성에 따라 최적화된다.
연구-레벨 분류. 일부 실시예에서, 연구-레벨 분류가 실행된다. 연구 속성은 예컨대 RadLex Playbook에 의해 정의될 수 있으며, 양식(예컨대, MR), 양식 수정자(예컨대, 혈관 조영술), 수술 수정자(예컨대, 경정맥), 모집단(예컨대, 소아과), 신체 부위(예컨대, 목), 해부학적 초점(예컨대, 척추), 측면성(예컨대, 왼쪽), 검사 이유(예컨대, 선별검사), 기술(예컨대, 이중 에너지 CT), 약물(예컨대, IV 조영제 사용) ), 보기(예컨대, 측면) 또는 이들의 조합과 같은 하나 이상의 속성을 포함한다.
일부 실시예에서, 이들 속성은 하나 이상의 정보 소스, 예컨대 이미징 순서, 임상 텍스트, DICOM 메타데이터 및/또는 DICOM 픽셀 데이터를 고려하는 기계 학습 분류기에 의해 추론된다. 일부 실시예에서, 자연어 처리(NLP)는 연구 속성을 결정하는 데 부분적으로 관련된 텍스트 기반 특성을 결정하는 데 사용된다. 일부 실시예에서, 감독 문서 분류가 전술한 연구 속성 중 하나 이상에 대한 연구 속성 값을 예측하는 데 사용된다. DICOM 메타데이터 값은 구조화되지 않은 문자열(예컨대, 연구 설명)과 카테고리 또는 연속 값(예컨대, 에코 시간 또는 반복 시간)으로 나눌 수 있다. 일부 실시예에서, 훈련 데이터세트로부터, 구조화되지 않은 문자열이 토큰화된 다음 벡터화된다. 일부 실시예에서, 카테고리 데이터는 원-핫 인코딩되는 반면, 연속 값은 분류기로 전달되는 메타데이터 벡터를 생성하기 위해 직접 사용된다. 일부 실시예에서, 픽셀 데이터는 연구 속성을 예측하기 위해 컴퓨터 비전 모델을 통해 공급된다. 일부 실시예에서, ResNet-50과 같은 컨벌루션 신경 네트워크가, 모델이 이미지별로 또는 시리즈별로 훈련되고 결과가 집계되어 각 연구 속성의 연구-레벨 추정치를 생성하는 연구 속성 값을 예측하는 데 사용된다.
연구 속성을 결정하기 위한 프로세스의 예시적인 도표가 도 34에 도시되어 있다. 도 34는 이미징 순서, 임상 텍스트, DICOM 메타데이터 및 DICOM 픽셀 데이터를 입력으로 사용하여 연구-레벨 분류를 위한 프로세스를 설명하는 도표를 도시한다. 자연어 처리는 연구 속성에 대한 일부 정보를 제공하는 이미징 순서 및 임상 텍스트에서 관련 특성을 추출하는 데 사용된다. 컴퓨터 비전은 연구 속성에 대한 정보를 제공하는 시각적 특성을 추출하는 데 사용된다. 그런 다음, 기계 학습 분류기를 사용하여 이를 DICOM 메타데이터와 결합하여 연구 속성 리스트를 생성한다.
일부 실시예에서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 현재 이미지 연구 또는 이미지 시리즈와 관련된 하나 이상의 이전 연구를 포함하도록 이미지 디스플레이를 최적화한다. 관련 이전 연구나 이미지를 확인하는 프로세스를 '관련 이전 결정'이라고 할 수 있다. 최적의 행잉 프로토콜을 통해 이미지 표시를 최적화하는 것은 검토 중인 현재 연구와 관련된 하나 이상의 이전 연구 디스플레이를 포함할 수 있다. 예컨대, 현재 연구가 머리 CT이지만 발목 X-선에 대한 이전 연구가 있는 경우, 환자는 관련성이 없는 이전 영상 연구를 가질 수 있다. 일부 실시예에서, 추출된 연구 속성은, 사용자가 관련성에 대한 기준 - 선택적으로는, 신체 부위, 해부학적 초점, 측면성 또는 이들의 조합을 매칭하거나 부분적으로 매칭하는 것을 포함 - 선택할 수 있게 함으로써 모든 환자의 이전 이미징 연구 리스트로부터 관련 이전 정보(예컨대, 이미지 연구, 이미지 시리즈/이미지)를 결정하는 데 사용된다. 일부 실시예에서, 컴퓨터 비전은 어떤 신체 부위가 이미지화되는지 결정하는 데 사용되며, 이는 이전에 달성되지 않았던 관련 이전 결정의 성능 레벨을 가능하게 한다. 시리즈 설명과 같은 메타데이터만을 사용하는 기존 방법은 MRI가 하지의 것인지 판단할 수 있지만 무릎, 다리, 발목, 발을 구분할 수 없는 반면, 본 명세서에서 기재한 자연어 처리 및 컴퓨터 비전 기반 방법은 이러한 일반적으로 겪는 문제를 해결할수 있다.
일부 실시예에서, 본 명세서에서 개시된 행잉 프로토콜을 최적화하기 위한 시스템, 소프트웨어 및 방법은 이미지 연구 레벨 분류 또는 이미지 시리즈 레벨 분류에 관한 것이다. 상이한 이미지 시리즈를 특성화하기 위한 해법은 현재는 없다.
따라서, 일부 실시예에서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 이미지 시리즈에 대한 분류 스키마뿐만 아니라 각 시리즈 속성의 값을 결정하기 위한 메커니즘을 제공한다.
이미지 시리즈 스키마 속성은 유형(예컨대, 소스 이미지, 스카우트/로컬라이저, 2차 캡처, 문서), 방향/보기(예컨대, 축방향, 관상 등), 가중치/조직 선택(예컨대, Tlw, STIR), 콘트라스트(예컨대, 정맥내), 위상/시점(예컨대, 최고 동맥기), 획득(예컨대, 얇은 조각), 재구성(예컨대, 뼈 커널) 또는 이들의 조합을 포함한다. 연구 레벨 분류 프로세스와 유사하게, 메타데이터(예컨대, DICOM 메타데이터) 및/또는 이미지 데이터(예컨대, DICOM 픽셀 데이터)를 기계 학습 분류기에 공급하여 위에 나열된 것과 같은 시리즈 속성 리스트을 생성할 수 있다. 이 이미지 시리즈 속성 스키마를 사용하면, 사실상 동일한 시리즈가 동일한 시리즈 속성 값을 갖는 것으로 쉽게 식별할 수 있다는 장점이 있다. 이는, 과도한 환자 움직임과 같은 제1 획득의 일부 문제로 인해 시리즈를 다시 획득할 때 발생할 수 있다. 일반적으로, 해석 중인 의사는 행잉 프로토콜에 제1 획득을 디스플레이하는 것을 원하지 않는다. 다수의 계열 속성을 분류하는 이 방법은 가능한 모든 시리즈를 단순 리스트로 열거하는 일반적으로 기재되는 방법과 대조된다.
도 35는 시리즈-레벨 분류 프로세스의 예시적인 도를 도시한다. 도 35에 도시된 바와 같이. DICOM 메타데이터와 DICOM 픽셀 데이터를 입력으로 사용하여 시리즈-레벨 분류를 실행한다. 컴퓨터 비전은 시리즈 속성에 대한 정보를 제공하는 시각적 특성을 추출하는 데 사용된다. 연구 속성 리스트을 생성하기 위해 기계 학습 분류기를 사용하여 이를 DICOM 메타데이터와 결합한다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 관련 시리즈 결정 및 디스플레이 선호도를 수행할 수 있다. 행잉 프로토콜을 정의할 때, 사용자는 찾을 것으로 예상되는 시리즈에 대한 시리즈 속성 값을 지정한 다음, 명시적으로 또는 예시를 통해 디스플레이 및 레이아웃 규칙을 정의할 수 있다. 따라서, 디스플레이는 2D 이미지 스택, 다중 평면 리포맷(예컨대, 축방향 획득의 시상), 곡선 평면 리포맷, 체적 렌더링 또는 기타 적절한 포맷을 디스플레이하는 것으로 정의될 수 있다. 사용자는, 2차 캡처나 문서 등 포함하고 싶지 않은 특정 시리즈를 지정할 수 있다. 일부 실시예에서, 사용자가 시리즈 유형을 디스플레이하기 원하는 방법을 정의하지도 않거나 제외하지도 않은 경우, 이는 불확실해진다. 기존의 행잉 프로토콜 시스템은 정확한 메타데이터 값(예컨대, 시리즈 설명)과 일치하지 못하는 경우가 많으므로 사용자가 표시하기를 원하더라도 해당 시리즈를 디스플레이용으로 포함하지 못한다. 대조적으로, 본 시스템, 소프트웨어 및 방법은, 불확실한 시리즈가, 명시적으로 포함되거나 배제되지 않고, 기본적으로 기본 2D 이미지 스택 디스플레이를 사용하여 디스플레이되도록 구성된다. 본 명세서에서 기재한 시리즈 속성 체계의 장점은 기존 시스템에서는 달성할 수 없는 유연성을 허용하는 모든 이미지 시리즈의 일반화된 분류를 허용한다는 것이다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 디스플레이의 레이아웃을 구성할 수 있다. 기존의 행잉 프로토콜 레이아웃 정의는 각 디스플레이의 뷰포트 그리드 크기(예컨대, 3x4)를 미리 정의하고 각 뷰포트에 디스플레이할 정확한 시리즈를 정의하는 것을 필요로 한다. 대조적으로, 본 명세서에 개시된 것은, 미리 정의된 뷰포트 그리드를 필요로 하지 않고 각 뷰포트에 디스플레이될 시리즈의 명시적인 정의를 필요로 하지 않는 시스템, 소프트웨어 및 방법이다. 이는 사용자가 상이한 디스플레이 하드웨어(예컨대, 집 대 사무실)를 사용하여 상이한 설정에서 이미지를 해석하는 경우 본 명세서에서 기재된 동적 레이아웃 엔진이 디스플레이에 대한 일반적인 사용자 선호도를 존중하면서 각 상황에 적응적으로 조정할 수 있기 때문에 유리한다. 또한, 존재하는 관련 시리즈 수와 관련 이전 연구 수의 이질성으로 인해, 필요한 뷰포트 수는 환자별로 다를 수 있다. 동적 레이아웃 엔진의 다른 장점은 사용자가 제3 또는 제4 이전 연구와 같은 특정 시리즈를 켜거나 끌 수 있고 동적 레이아웃이 최적화된 전체 레이아웃으로 실시간으로 조정된다는 것이다.
도 36은 2x8 뷰포트 레이아웃으로의 현재 및 이전 MRI 연구의 원하는 레이아웃의 예시적인 예를 제공한다. 현재/이전 속성은 행에 있는 반면 가장 거친 열 속성은 방향(sag/ax)이고 가장 세부적인 열 속성은 가중치(T1/T2)이다. 각 속성 내의 값 순서도 정의된다(Sag < Ax, T1 < T2).
도 36을 통해 예시된 레이아웃을 지정하기 위한 방법의 특정 예에서, 각 시리즈 속성은 행 또는 열과 연관된다. 행과 열의 경우, 연관된 시리즈 속성의 순서는 대략적인 것에서 세부적인 것까지 이루어진다. 마지막으로, 각 시리즈 속성에 대해, 개별 값은 사용자 선호도에 따라 순서화된다. 레이아웃을 지정하는 방법의 예시적인 예에서, 사용자는 이미지 시리즈가 만족될 때까지 뷰포트에 수동으로 드래그 앤 드롭한다. 행 대 열 할당, 대략적인 것에서 세부적인 것으로의 순서화, 및 속성 값 순서화가 제공된 예에서 추론된다. 사용자가 일관되지 않은 순서를 제공하는 경우 더 우세한 케이스를 사용하여 레이아웃 규칙을 정의할 수 있으며, 시스템 기본 선택에 따라 연결이 끊어질 수 있다. 추가적으로, 이미지 연구의 게재를 재배치하는 사용자의 동작은 성능을 향상시키기 위해 사용되는 학습된 규칙의 가중 실행 평균을 통해 시간이 지남에 따라 추적될 수 있다.
일부 경우에, 발생할 수 있는 문제는 특정 뷰포트가 채워지지 않은 경우 레이아웃을 정렬하는 방법이다. 예컨대, 행잉 프로토콜에 존재하지 않는 현재 T2 축방향 시리즈가 필요한 경우이다. 이 문제는 이미지 수집 프로토콜 또는 이미징 양식이 다를 수 있는 현재 및 이전 연구에서 자주 발생할 수 있다. 수많은 빈 뷰포트를 남겨 두는 대신, 본 명세서에서 기재한 시스템은 정확한 행/열 순서 지정 규칙을 따르는 것보다 가능한 한 많은 뷰포트를 채우는 데 더 높은 값을 부여할 수 있는 최적화 방식을 정의할 수 있다. 예컨대, 각 규칙에는 가중치가 부여되어 만족되면 해당 레이아웃의 목적 함수가 해당 가중치만큼 증가한다. 채워진 각 뷰포트에 대해 상이한 가중치가 주어질 수 있다. 추가적으로, 레이아웃 최적성에 대한 다른 고려 사항은 각 뷰포트의 종횡비 및 크기와 같은 상이한 가중치로 고려될 수 있다. 따라서, 일부 실시예에서, 레이아웃은 복수의 가중된 규칙을 기반으로 하여 최적화된다.
도 41a는 방사선 전문의가 특정 연구를 게재하는 방법을 선택할 때 고려할 수 있는 요소의 수를 자세히 설명한다. 이러한 결정은 케이스에 이전 케이스가 있는지 여부, 읽고 있는 뷰어 윈도우의 수, 케이스의 양식(및 해당되는 경우 이전 케이스), 케이스에 포함된 신체 부위(및 해당되는 경우 이전 케이스) 및 뷰포트의 수를 포함한다. 방향과 가중치는 각 시리즈의 두 가지 기본 특성으로, 어떤 시리즈가 어떤 뷰포트에 배치되어야 하는지 결정할 때 고려된다. 그러나 콘트라스트의 유무, 특정 시리즈에서 캡처된 동작의 유무, 특정 시리즈에서 언급된 특정 이미징 아티팩트의 유무 또는 기타 요인을 포함하되 이들로 제한되지 않는 다른 특징이 고려될 수 있다.
도 41b는 온보딩 세션 동안 사용자가 행잉 프로토콜을 정의하는 데 사용할 특정 특성 조합을 선택할 수 있는 방법을 도시한다. 이 예시적인 예에서, 방사선 전문의는 사전 검사가 없고 뷰어가 1명이며 뷰포트가 4개인 MR 무릎 케이스에 대한 행잉 프로토콜을 정의하고 있다. 도 41c는 행잉 프로토콜 온보딩 작업흐름의 가능한 버전을 디스플레이한다. 이 경우, 사용자는 케이스를 정의하는 주요 특징으로서 방향과 가중치를 활용하고 있다. 이 실시예에서, 사용자는 케이스를 어떻게 게재하고 싶은지 정의하기 위해 방향과 가중치의 특정 조합을 클릭하고 드래그할 수 있다. 도 41d는 이 프로토콜의 저장을 디스플레이하고, 도 41e는, 이러한 시리즈를 사용할 수 없는 경우 이 케이스에 대한 제2 선호 행잉 프로토콜을 나타내는 옵션을 디스플레이한다. 이러한 선호는 캡처되어 저장된다. 새로운 케이스가 주어지면, 소프트웨어는 여기에 지정된 규칙에 대해 새 시리즈를 일치시킬 수 있고 사용 가능한 경우 백업을 제공할 수 있다. 또한, 적어도 하나의 실시예에서, 소프트웨어는 이전 케이스의 특징을 이해할 수 있고 특정 "가장 관련성 있는" 이전 케이스를 선택할 수 있으며, 여기서 관련성은 해부학적 또는 병리학적 고려 사항에 의해 정의될 수 있다. 일부 실시예에서, 이전 케이스에 대한 보고서의 관련 텍스트의 존재는 선택을 알리는 데 사용된다. 일부 실시예에서, 관련성은, 방사선 전문의가 현재 보고서에 명시한 용어에 의해 정의될 수 있다. 예컨대, 방사선 전문의가 흉통을 언급한 경우, 갈비뼈 골절을 언급한 이전 보고서는 관련성이 있는 것으로 언급될 수 있다.
스마트 매크로
방사선 전문의는 보고서에 텍스트를 채우는 프로세스를 쉽게 하기 위해 "매크로"를 정의할 수 있다. 매크로는 소프트웨어가 자동으로 더 긴 문구를 완성하기 위해 이해하는 미리 정의된 문구이다. 일반적으로 방사선 전문의는 자신의 매크로를 수동으로 정의해야 하는데 이는 느리고 지루한 프로세스가 될 수 있다. 예컨대, 사용자는 매크로를 실행하는 문구와 매크로가 완료해야 하는 텍스트를 정의해야 할 수 도 있다. 따라서, 본 명세서에서 개시되는 것은, 사용자가 작업 흐름을 설계하는 데 도움을 줄 수 있는 하나 이상의 매크로 세트를 자동으로 생성하기 위해 반복 문구를 이해하기 위해 특정 방사선 전문의에 의해 생성된 하나 이상의 이전 보고서를 파싱하기 위한 시스템 및 방법이다. 이 접근법을 사용하여, 향후 보고를 위해 일련의 제안된 매크로가 사용자에게 제시될 수 있다.
숙련된 방사선 전문의는 매달 수백 또는 수천 건의 보고서를 구술한다. 수개월 또는 수년에 걸쳐, 이들 방사선 전문의는 특정 경향에 따라 작성되거나 구술된 수많은 보고서를 축적한다. 일 예에서, 특정 방사선 전문의는 "극상근 손상되지 않음"이라고 보고하는 반면, 동료 중 한 명은 "연령에 비해 극상근이 정상"이라고 보고할 수 있다. 방사선 전문의마다 셀 수 없이 많은 차이가 있으며, 특히 보고되는 해부학적 구조, 존재 여부로 확인된 병리 또는 소견, 병리의 심각도, 환자 인구통계, 방사선과 진단, 주치의 및 보고서의 생성 주변의 기타 품질에 대한 셀 수 없이 많은 차이가 있다.
본 명세서에서 개시된 바와 같이, 하나 이상의 이전 보고서를 포함하는 데이터 세트는 그 안에 포함된 공통 문구를 이해하는 데 사용될 수 있다. 일부 실시예에서, 알고리즘은 단순히 문구의 통계적 발생률에 기반하여 공통 문구를 식별하는 데 사용된다. 이러한 문구는 정보가 없는 단어(의미를 전달하지 않는 단어)가 전체 통계에 영향을 미치지 않도록 정규화, 처리 또는 필터링될 수 있다. 예컨대, "극상근 손상되지 않음"과 "극상근이 손상되지 않음"은 동일한 것으로 간주된다. 일부 실시예에서, 알고리즘은 온톨로지를 통해 공통 문구를 이해하기 위해 방사선 전문의의 보고서를 파싱한다. 온톨로지는 단어 관계의 논리적 이해를 위해 사전에 프로그래밍되거나 학습된 프레임워크이다. 방사선학 온톨로지를 활용하면, 생성될 수 있는 매크로 유형이 더 높은 요약 레벨로 존재할 수 있다. 예컨대, "극상근 정상, 극하근 정상, 소원근 정상, 견갑하근 정상"이라는 문구가 모두 나타나면, 온톨로지는 이를 회전근개가 정상임을 의미하는 것으로 인식하고 매크로 추천, "회전근개 정상"을 제공하여, 이 전체 문구를 자동 완성한다.
일부 실시예에서, 환자 인구 통계, 방사선 진료, 주치의 및 기타 품질에 대한 메타데이터와 같은 추가 정보를 활용하여 하나 이상의 매크로를 생성한다. 기계 학습 알고리즘과 같이, 그러나 이로 제한되지는 않는, 이 데이터를 활용하는 기술은 더욱 구체적인 매크로를 제공할 수 있다. 또한, 사용자가 보고서에 템플릿을 활용하는 경우, 사용자가 속한 템플릿에 따라 특정 매크로를 조정할 수 있다.
다수의 보고서를 수집한 후, 이전에 전달된 아이디어를 나타내는 복수의 가능한 매크로가 사용자에게 제시될 수 있다. 일부 실시예에서, 사용자는 자신이 가장 가치 있다고 생각하는 매크로를 선택하고 이를 향후 사용을 위해 작업 흐름에 통합할 수 있다.
도 42는 제안 매크로가 일반 규칙에 따라 생성되는 예시적인 예를 도시한다. 이 예에서, 이전 보고서가 일반 규칙과 일치하는 해당 온톨로지 프리젠테이션과 함께 특정 텍스트를 자주 보여주는 경우, 원본 텍스트가 포함될 수 있도록 하는 매크로가 생성될 수 있다. 따라서 사용자가 매크로를 선택하면 더욱 효율적인 보고서 생성이 가능해진다.
의료 이미지 데이터
일부 경우에, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 의료 이미지 또는 의료 이미징 데이터를 분석하거나 해석하기 위한 하나 이상의 모델 또는 알고리즘을 포함한다. 의료 이미지는 다양한 의료 이미징 기술을 사용하여 피험자로부터 수집될 수 있으며 다음의 비제한적인 예 중 하나 이상 중에서 선택될 수 있다: X선 이미지와 같은 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성 이미지, 열상 이미지, 심장초음파 이미지, 자기 입자 이미지, 광음향 이미지, 전기 임피던스 단층 이미지, 양막 토폴로지 이미지, 양전자 방출 단층 촬영(PET) 이미지, SPECT(단일 광자 방출 컴퓨터 단층 촬영) 이미지, OCT(광간섭 단층 촬영) 이미지, CT(X선 컴퓨터 단층 촬영) 이미지 또는 CAT(컴퓨터 축방향 단층 촬영) 이미지, 현미경 이미지 및 의료 사진 이미지.
의료 이미지는 해부학적 구조 또는 조직의 특정 부분에 관한 것일 수 있다. 일부 경우에, 동일한 해부학적 특성이나 조직에 대한 의료 이미지 세트를 촬영한다. 의료 이미지는 2차원, 3차원일 수 있으며, 일부 경우에, 종양의 진행을 보여주는 시계열 3D 이미지와 같은 더 고차원일 수 있다. 4차원 이미지는 x/y/z 3차원 좌표와 시간(t) 차원을 포함할 수 있다. 추가 차원도 가능하다. 예컨대, x/y/z 좌표와 시간(t) 및 이미징 기술의 스펙트럼 또는 파장 차원을 나타내는 색상 코딩과 같은 2개의 추가 차원을 포함하는 5차원 이미지가 있다.
의료 이미지 또는 의료 이미징 데이터는 데이터베이스 내에 저장될 수 있다. 데이터베이스는 로컬 서버, 원격 네트워크 또는 클라우드 데이터베이스와 같은 로컬 데이터베이스일 수 있다. 일부 경우에, 데이터베이스는 의료 이력, 알려진 알레르기, 예방 접종, 질병 및 기타 잠재적으로 관련이 있는 정보와 같은 특정 피험자의 이미지와 관련되지 않은 의료 정보 및/또는 데이터를 포함한다. 일부 경우에, 데이터베이스는 피험자의 치료 계획이나 수술 정보를 포함한다. 본 명세서에서 개시된 컴퓨터 프로세서는 데이터베이스 내에 포함된 데이터에 액세스하고 사용자에게 이 데이터에 대한 액세스를 제공할 수 있다.
알고리즘 및 기계 학습 방법
자연어 처리, 음성-텍스트 번역, 시선 고정점 검출, 품질 메트릭 생성 및/또는 비교, 이미지 및/또는 통신 대기열, 이미지 세그먼트화를 포함한 컴퓨터 비전, 임상 소견 생성 또는 이들의 조합과 같은 다양한 알고리즘을 사용하여 본 명세서에서 개시한 프로세스를 수행할 수 있다. 일부 경우에, 이러한 프로세스를 수행하는 데 있어 정보를 평가하기 위한 모델 생성에 기계 학습 방법이 적용된다. 이러한 모델은 예상되는 출력이 미리 알려진 훈련 데이터를 기계 학습 알고리즘에 제공함으로써 생성될 수 있다. 예컨대, 이미지에 대한 올바른 세그먼트화 및 라벨링이 알려져 있다.
본 개시의 모델, 분류기, 또는 훈련된 알고리즘은 하나의 특성 공간을 포함할 수 있다. 일부 경우에, 분류기가 두 개 이상의 특성 공간을 포함한다. 2개 이상의 특성 공간은 서로 구별될 수 있다. 각 특성 공간은 바이오마커 발현이나 유전적 돌연변이와 같은 케이스에 대한 정보 유형을 포함할 수 있다. 훈련 데이터는 기계 학습 알고리즘에 입력되어 입력 특성 및 연관 결과를 처리하여 모델 또는 훈련된 알고리즘을 생성한다. 일부 경우에, 기계 학습 알고리즘에 분류가 포함된 훈련 데이터가 제공되므로, 알고리즘이 출력과 실제 출력을 비교하여 모델을 수정하고 개선함으로써 "학습"할 수 있다. 이를 흔히 감독 학습이라고 칭한다. 대안적으로, 일부 경우에, 기계 학습 알고리즘에 라벨링되지 않거나 분류되지 않은 데이터가 제공되어 알고리즘이 케이스 사이에 감춰진 구조를 식별하도록 한다(예컨대, 클러스터링). 이를 비감독 학습이라고 칭한다. 때때로, 비감독 학습은 원시 데이터를 분류하는 데 가장 유용한 표현을 식별하는 데 유용한다(예컨대, 척추 X-선에서 등골뼈와 같은 이미지 내 고유 세그먼트 식별).
알고리즘은 신경 네트워크, 결정 트리, 지원 벡터 머신 또는 기타 적용 가능한 모델과 같은 예측 모델을 활용할 수 있다. 훈련 데이터를 사용하여, 알고리즘은 관련 특성에 따라 케이스를 분류하기 위한 분류기를 구성할 수 있다. 분류를 위해 선택된 특성은 다양한 실행 가능한 방법을 사용하여 분류될 수 있다. 일부 경우에, 훈련된 알고리즘이 기계 학습 알고리즘을 포함한다. 기계 학습 알고리즘은 감독 학습, 준감독 학습, 비감독 학습, 예컨대 SVM(Support Vector Machine), 나이브 베이즈(Naive Bayes) 분류, 랜덤 포레스트, 인공 신경 네트워크, 결정 트리, K-평균, 학습 벡터 양자화(LVQ), 자기 조직화 맵(SOM), 그래픽 모델, 회귀 알고리즘(예컨대, 선형, 로지스틱, 다변량), 연관 규칙 학습, 딥 러닝, 차원 축소 및 앙상블 선택 알고리즘으로 구성되는 그룹으로부터 선택될 수 도 있다. 일부 실시예에서, 기계 학습 알고리즘은 지원 벡터 머신(SVM), 나이브 베이즈 분류, 랜덤 포레스트 및 인공 신경 네트워크로 구성된 그룹으로부터 선택된다. 기계 학습 기술은 배깅 절차, 부스팅 절차, 랜덤 포레스트 알고리즘 및 이들의 조합을 포함한다. 데이터를 분석하기 위한 예시적인 알고리즘은 통계적 방법 및, 기계 학습 기술을 기반으로 한 방법 등 복수의 변수를 직접 처리하는 방법을 포함하지만 이들로 제한되지는 않는다. 통계적 방법은 페널티화된 로지스틱 회귀, 마이크로어레이 예측 분석(PAM), 축소 중심 기반 방법, 지원 벡터 기계 분석 및 정규화된 선형 판별 분석을 포함한다.
이미지 세그먼트화와 같은 이미지 분석에 유용한 기계 학습 알고리즘은 인공 신경 네트워크, 특히 CNN(컨볼루션 신경 네트워크)를 포함할 수 도 있다. 인공 신경 네트워크는 뇌의 신경 구조를 기반으로 뉴런 네트워크를 모방한다. 그들은 한 번에 하나씩 기록을 처리하거나 일괄 모드로 처리하고, 케이스 분류(처음에는 대체로 임의적일 수 있음)(케이스 레벨 또는 픽셀 레벨일 수 있음)를 케이스의 알려진 실제 분류와 비교하여 "학습"한다. 인공 신경 네트워크는 일반적으로 입력 계층, 출력 계층 및 적어도 하나의 감춰진 계층을 포함하는 계층으로 구성되며, 각 계층은 하나 이상의 뉴런을 포함한다. 딥러닝 신경 네트워크는 많은 계층을 포함하는 경향이 있다. 주어진 계층의 각 노드는 일반적으로 이전 계층의 노드와 다음 계층의 노드에 연결된다. 일반적으로, 노드는 이전 계층의 뉴런으로부터 입력을 받고, 수신된 입력 값에 따라 내부 상태(활성화)를 변경하고, 입력 및 활성화를 기반으로 출력을 생성한 후 다음 계층의 노드로 전송된다. 뉴런이나 노드 사이의 연결은, 양수(후속 노드 활성화 또는 자극을 나타냄) 또는 음수(후속 노드의 억제 또는 금지를 나타냄)일 수 있는 숫자(가중치)로 표시된다. 가중치 값이 클수록 이전 계층의 노드가 다음 계층의 노드에 미치는 영향이 더 크다는 것을 나타낸다. 따라서, 입력은 신경 네트워크의 여러 계층을 통해 전파되어 최종 출력을 생성한다.
입력 노드는 출력과 관련된 선택된 파라미터에 대응할 수 도 있다. 이미지의 경우, 입력 노드는 이미지의 픽셀에 해당할 수 있다. 일부 경우에, 훈련 라벨과 관련된 초기 출력의 오류가 네트워크로 다시 전파되어 훈련 데이터가 제공될 때 반복 프로세스에서 네트워크의 가중치를 수정하는 데 사용된다.
신경 네트워크의 장점은 높은 잡음 내성과 훈련되지 않은 패턴을 분류하는 능력을 포함한다.
훈련 동안, 신경 네트워크는 일반적으로 감춰진 계층의 가중치와 함수를 사용하여 훈련 데이터의 레코드를 한 번에 하나씩 처리한 다음, 결과 출력을 원하는 출력과 비교한다. 그런 다음, 오류가 시스템을 통해 다시 전파되어 시스템이 처리할 다음 기록에 적용할 가중치를 조정하게 된다. 이 프로세스는 가중치가 지속적으로 조정됨에 따라 계속해서 발생한다. 네트워크를 훈련하는 동안, 연결 가중치가 지속적으로 개선되므로, 동일한 데이터 세트가 여러 번 처리될 수 도 있다.
자연어 처리
일부 경우에, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 자연어 처리(NLP) 알고리즘(들)을 적용하여 컴퓨터 비전 모델(들)(예컨대, 이미지 분석 알고리즘/모델)을 훈련하기 위한 라벨을 제공하며 및/또는 모델 출력으로부터 보고서(예컨대, 완전한 문장과 같이 사람이 읽을 수 있는 형식으로 제시된 소견을 포함하는 보고서)를 생성한다. 보고 텍스트는 자연어 처리를 사용하여 처리되어 사람이 읽을 수 있는 보고서를 생성할 수 있다.
라벨 추출 파이프라인의 비제한적인 예가 도 16에 도시되어 있다. 이 파이프라인을 통해 구조화되지 않은 텍스트에서 구조화된 소견을 추출하여 컴퓨터 비전 모델에 대한 교육 라벨을 제공할 수 있다. 도 16에 도시한 바와 같이, 방사선 보고서 문서(1.1)가 파이프라인에 들어간다. 전처리 단계(1.2) 동안, 보고서는 정규식 패턴 일치를 사용하여 섹션(예컨대, 임상 이력, 소견, 임프레션)으로 분할된다. 일부 경우에, 파이프라인은 소견 및 임프레션 섹션의 자유 텍스트에 중점을 둔다. 이 텍스트는 문장으로 더 분할될 수 있다. 이렇게 추출된 소견은 정보 모델(1.5)을 사용하여 해당 문장에서 검색할 개체 등급을 결정하고 특정 등급 인스턴스에 대한 온톨로지(1.6)를 사용하여 분석할 수 있다. 일부 실시예에서, 온톨로지(1.6)는 개체 인식 단계(1.3)에 정보를 제공한다.
정보 모델은 어떤 유형의 구조화된 요소가 자유 텍스트에서 추출될 것인지 정의할 수 있다. 경우에 따라 모델은 관찰(예컨대, 탈장, 부종), 해부학적 구조 및 위치(예컨대, C2-C3 등골뼈 디스크), 확실성(예컨대, 가능성, 부정), 시간성(예컨대, 현재 또는 과거 소견), 및 심각도 또는 측면성과 같은 수정자를 포함하여 공개된 모델에 기재된 관련 등급을 기반으로 한다. 온톨로지는 개념, 동의어, 관계(계층적 또는 기타) 및 외부 데이터베이스에 대한 매핑을 나타낼 수 있다. 여기에는 모든 유효한 관찰 및 심각도와 같은 정보 모델 등급의 유효한 예를 나열하는 사전이 포함될 수 있다. 이 온톨로지는 RadLex 방사선 온톨로지 및/또는 UMLS 및 연관된 메타맵과 같이 공개적으로 사용 가능한 다양한 리소스를 기반으로 할 수 있다.
일부 경우에, 정규식 패턴 일치가 관심 있는 "프레임"을 포함할 수 도 있는 문장, 즉, 정보 모델의 관찰 내용과 기타 요소를 포함하는 문구를 필터링하는 데 사용된다. 이렇게 필터링된 문장은 NLTK와 같은 자연어 처리 프로그램/라이브러리를 사용하여 토큰화되고 파싱될 수 있다. 결과는 지니아 및 펍메드(Genia 및 PubMed) 코퍼스에서 훈련된 스탠포드(Stanford) NLP 빌립(Bllip) 파서에 전달되어 종속성 그래프를 생성할 수 있다. 이 접근법은 도 16의 개체 인식 단계(1.3)에서 활용될 수 있는 문구 정보의 보유를 허용한다. 이 단계에서는 온톨로지에 연결된 패턴 일치와 규칙을 활용하여 소견 프레임을 추출할 수 있다. 일부 경우에, 종속성 그래프에서 관심 있는 관찰에 대한 검색이 먼저 실행된다. 그런 다음 Semgrex 패턴을 사용하여 심각도와 같은 종속 수정자를 찾다. NegEx와 유사한 추가 논리를 통합하여 종속성이 해당 루트에서 설정된 단어 범위 내에 있는지 확인할 수 있다. 때로는 해부학적 구조가 명시적으로 언급되지 않은 경우, 온톨로지를 활용하여 암시된 위치를 복구할 수 있다(예컨대, "추공 척추관 협착증"은 해부학적 구조로서 "포라멘"을 의미함). 일부 경우에, Semgrex 패턴 일치는 확실성/부정을 결정하기 위해 하드 코딩된 규칙과 함께 종속성 그래프에 활용된다.
개체 인식 단계 다음에 생성된 도 16의 결과 또는 추출된 소견은 추출 가능한 정보 모델의 대부분을 포함하는 전체 "프레임"으로 컴퓨터 비전 훈련 파이프라인에 전달될 수 있다. 검색을 용이하게 하기 위해 결과를 보고서 데이터베이스에 추가할 수 있다.
컴퓨터 비전 모델 출력으로부터 텍스트를 생성하기 위한 NLP 파이프라인의 비제한적인 예가 도 17에 도시되어 있다. 일단 훈련되면, 컴퓨터 비전 모델은 입력으로서 MRI, CT, X-선 또는 기타 이미지를 받아들일 수 있으며 정보 모델에 따라 이미지에서 소견의 위치와 그 등급을 모두 출력한다(예컨대, "해부학적 구조: 왼쪽 포라멘, 관찰: 협착증, 심각도: 중간, 위치: C2-C3”). 이 단계의 NLP 작업은 이러한 출력(2.3)에서 자연어 문장을 구성하는 것이다(예컨대, "C2-C3: 왼쪽 포라멘에 중간 정도의 협착증이 있다").
이 NLP 파이프라인은 주로 규칙-기반 연결 프로세스로 구성될 수 있지만 선택적으로 상이한 소견 유형의 특이성으로 인해 복잡성이 추가될 수 있다. 예컨대, 일부 척추 상태는 등골뼈 본체(예컨대, 종판 변화)와 관련이 있는 반면, 다른 척추 상태는 등골뼈 범위(예컨대, 척추 전만)와 관련되므로 그렇게 보고해야 한다. 온톨로지에 내장된 정보는 이러한 케이스를 취급하는 데 활용될 수 있다. 또한, 온톨로지는 계층적 정보와 동의어를 포함할 수 있으며, 이를 통해 최종 사용자에게 전달하는 데 적합한 소견을 집계하고 순서를 지정할 수 있다.
온톨로지-지원 특성
본 명세서에서 개시된 것은, 일부 실시예에서, 이미지 연구의 요소(예컨대, 표현된 소견)의 온톨로지 표현을 생성하고 선택적으로 보고서 생성 및/또는 검토 동안 서로와 온톨로지 표현 및/또는 추출된 소견을 비교하는 것과 같이 온톨로지적 표현을 기반으로 하나 이상의 기능을 수행하는 시스템 및 방법이 개시되어 있다. 일부 실시예에서, 이 시스템 및 방법은 자연어 처리에 의해 생성된 입력을 가져오는 것을 포함한다. 일부 실시예에서, 이 시스템 및 방법은 의미를 추론하는 데 사용될 수 있는 하나 이상의 컨텍스트 요소를 조립하는 것을 포함한다. 컨텍스트 요소의 비제한적인 예는 연구 유형, 보고 있는 시리즈/슬라이스, CV를 기반으로 한 해당 슬라이스의 해부학적 구조, 문장이 배치된 보고서/템플릿의 하위 섹션, 보고서의 이전 문장을 포함한다. 일부 실시예에서, 이 시스템 및 방법은 온톨로지 표현 또는 표현된 소견을 생성하는 것을 포함한다. 일부 실시예에서, 표현된 소견은 진술별로 이루어지거나 문장당 다중 진술일 수 있다. 일부 실시예에서, 표현된 소견은 방사선학 전문 온톨로지 측면에서 RDF 그래프를 포함한다.
일부 실시예에서, 각 진술에 대한 추가 사실의 추론을 가능하게 하는 공리 강화(예컨대, OWL 공리 또는 SWRL 규칙 사용) 온톨로지를 사용하면(예컨대, "연골 손상"이 특정 종류의 "연골 손상"인 것으로 추론된다) "라고 하며 "조직 손상 소견", "연골 이상" 또는 "연조직 손상"과 같은 문의에 대한 답변이 된다.
일부 실시예에서, 정규화된 스키마를 준수하는 구성된 그래프가 사용되어 문장의 부분을 임의적으로 복잡한(또는 단순한) 조합 면에서 문장을 분류(따라서 검색)할 수 있다.
일부 실시예에서, 진술의 산문 소스의 특정 문법적 세부사항으로부터 요약한 의미 표현은 텍스트 자체의 문의로 달성될 수 있는 것보다 더 완전하고 정확한 문의 응답을 지원한다.
일부 실시예에서, 진술(또는 부분 진술)의 비교가 실행된다. 이를 통해 주어진 방사선 연구 유형에 대해 검토할 항목의 체크리스트를 생성할 수 있으며, 보고서가 주어진 연구 유형에 대한 최소 완전성 요구 사항을 충족하는지 "스마트" 검사할 수 있다. 예컨대, 이러한 체크리스트는 보고서 검사기 기능에서 보고서가 확정되어 제출되기 전에 자동 검토를 수행하는 데 사용될 수 있다.
추출된 소견(본 개시의 다른 곳에 설명됨) 외에도, 방사선학적 연구의 다양한 다른 요소도 온톨로지 측면에서 표현될 수 있으며, 이는 그 의미가 각각 및 추출된 소견에 대해 비교될 수 있게 하고 이러한 비교 결과를 기반으로 한 특정 소프트웨어 기능을 촉발할 수 있다. 주어진 연구 내에서 표현되는 요소는 방사선 연구 자체에 대한 설명, 연구의 이미지 시리즈에 대한 설명, 보고서 본문 내의 헤더(하위 섹션 제목) 또는 보고서의 요약 섹션 내의 텍스트(때때로 임프레션 섹션으로 불림)을 포함할 수 도 있다. 연구 자체 외부의 표현된 요소는 보고서 작성을 용이하게 하기 위해 미리 구성된 템플릿, 각 템플릿이 적합한 연구 유형에 대한 설명, 행잉 프로토콜이 적합한 연구에 대한 설명을 포함할 수 도 있다.
보고가 완료된 후, 보고서 최종화(사인아웃) 전에, 표현된 소견의 전체 세트는 필수 소견의 체크리스트와 비교할 수 있으며, 이러한 체크리스트는 그러한 체크리스트의 풀에서의 연구 메타데이터(연구 유형)를 기반으로 자체적으로 선택된다. 적어도 하나의 소견에 의해 "충족"되지 않은 체크리스트의 항목은 사용자(예컨대, 방사선 전문의)에게 경고로 제시될 수 있으며, 체크리스트 항목을 충족하기 위해 보고서를 다시 수정할 수 있는 기회도 제공된다. 이 절차를 통해 사용자는 적절하다고 판단되는 순서로 보고서를 작성하는 동시에 완전성 검사의 이점을 얻을 수 있다. 일반적으로, 설명된 체크리스트에 의해 제공되는 완전성 확인은 대신 보고서 템플릿을 사용하여 제공되며, 사용자는 템플릿이 배치된 순서대로 보고서를 작성한다. 여기서의 혁신은 사용자가 특정 보고 순서를 따르지 않고도 완전성 확인을 제공한다.
일부 실시예에서, 표현된 소견은 동일한 환자에 대한 이전 연구로부터의 표현된 소견과 비교된다. 이전 소견이 "일치"하는 경우 - 즉, 비교를 통해, 현재 보고서가 또한 (상이한 언어를 사용하거나 다른 세부 사항(예컨대, 상이한 크기 또는 심각도)을 사용하더라도) 이전 보고서에서는 설명된 관찰된 이상을 설명하고 있음을 암시하는 적절한 특징을 공유하는 것이 발견된 경우, 적절한 조치를 취할 수 있다. 예컨대, 사용자는 "관련된 이전" 연구가 발견되었다는 경고를 받을 수 있으며, 현재 연구와 비교하여 해당 이전 연구를 포함할 수 있는 옵션을 갖게 된다.
일부 실시예에서, 표현된 소견은 요약(임프레션) 섹션의 내용과 비교되어 커미션 또는 누락의 오류를 보고를 위해 확인한다. 커미션 오류의 예는 요약이 소견 섹션에 언급되지 않은 것을 설명하여, 예컨대, "왼쪽"과 "오른쪽"과 같은 중요한 세부 사항에 동의하지 않음과 같이 둘 중 하나가 잘못되었음을 암시하는 것이다. 누락 오류는 요약 섹션에서 임상적 중요성의 최소 레벨로 계산된 소견 섹션의 소견을 생략한 케이스 일 수 있다.
일부 실시예에서, 표현된 소견은 연구 메타데이터(예컨대, 연구 설명의 표현)와 비교되어, 연구 메타데이터와의 불일치를 기반으로 오류 가능성이 있는 소견을 확인한다. 예컨대, 왼쪽 무릎의 소견에 대한 설명은 오른쪽 무릎만을 이미징한 연구에는 적절하지 않은 반면, 여성 생식 기관에 특정한 소견에 대한 설명은 남성 환자에 대한 연구에는 부적절할 것이다. 이러한 "온전성 테스트"는 연구 메타데이터가 표현되는 동일한 개념 프레임워크(온톨로지)에서 소견을 표현함으로써 가능해진다.
일부 실시예에서, 각각의 표현된 보고서-소견은 요구되고 허용된 세부사항의 리스트을 포함하는 온톨로지의 대응하는 표현과 일치되며, 이는 적절하게 서로 다른 레벨의 특이성으로 설명될 수 있다. 필요한 세부 사항이 누락되었거나 허용되지 않는 세부 사항이 포함된 소견은 정정을 위해 방사선 전문의에게 플래그될 수 있다.
일부 실시예에서, 추출된 소견은 다양한 비교에 사용된다. 일부 실시예에서, 추출된 소견은 동일한 환자의 이전 연구와 비교되어, 예컨대 검사된 유사/동일 해부학적 구조 또는 검출된 이상에 기초하여 관련 이전 사항을 방사선과 전문의에게 알린다.
일부 실시예에서, 추출된 소견은 임프레션(또는 등가) 섹션의 보고서 요약과 비교되어 임프레션 및 소견 섹션이 일치하는지, 그리고 임프레션 섹션이 소견 섹션의 임상적으로 중요한 내용을 반영하는지 확인한다.
일부 실시예에서, 추출된 소견은 연구/수술 메타데이터와 비교되어 의심스러운 소견/세부 사항(예컨대, 연구 설명에 표시된 측면성과 보고서의 해부학적 측면성의 불일치, 또는 이성 환자의 연구에서의 성별별 소견)을 검출한다.
일부 실시예에서, 추출된 소견은 주어진 유형의 소견에 대해 허용 가능한 세부 사항의 최소 레벨과 비교되어 임상적으로 의미 있는 각 소견에 충분한 세부 사항이 존재하는지 확인한다(예컨대, "포라멘 협착증", 심각도와 함께 척추 간 레벨과 측면성을 지정해야 한다.
일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 보고서 검사기 기능을 제공한다. 많은 연구에 따르면, 오늘날 방사선 전문의는 의료 기록 담당자를 사용할 때보다 하루에 더 적은 수의 보고서를 작성하고 있다고 결론지었다. 이 중 대부분은 구술 이후와 도중에 자신의 보고서를 교정하고, 텍스트의 오류를 수정하거나 누락된 부분을 해결하는 과정에 기인한다. 이것은 이전에는 의료 기록 담당자의 일이었다. 방사선 전문의의 효율성과 직업 만족도 레벨에 영향을 미치는 것 외에도, 보고서 내용을 철저히 검토하고 검증하는 능력은 주치의와 가장 중요하게는 환자 치료에도 영향을 미친다.
이 프로세스에서 방사선 전문의가 자주 자문하는 질문은 "임상 질문을 다루었나요?", "측면성 실수를 저질렀나요?" "모든 철자를 정확하게 썼나요?" "명확하고 실행 가능한 임프레션을 제공했나요?" 음성-문자가, 당황스러울 수 있고 고객과의 신뢰도가 떨어지거나 더 나쁜 경우 치료 품질에 영향을 미칠 수 있는 오류를 일으켰나요?”와, 더 많은 것이 그 대신에 본 명세서에서 개시된 바와 같이 알고리즘적으로 컴퓨터 시스템에 의해 질문될 수 있다.
일부 실시예에서, 보고서 검사기 기능은, 보고서의 내용을 평가하고, 가능한 오류 및 누락을 식별하기 위해, 그리고 선택적으로는 특정 또는 일반화된 경로를 앞서 제안하기 위해 보고서 텍스트, 보고서 메타데이터, 연구 메타데이터, 의료 및 비의료 사전, 기타 입력 또는 이들의 조합을 사용한다. 일부 실시예에서, 데이터(예컨대, DICOM 데이터)의 하나 이상의 설명 필드는 보고서 내의 오류를 나타내는 단어를 선별하는 데 사용될 수 있다. 예시적인 예로서, 보고서 검사기 기능은 DICOM 데이터의 성별 및/또는 연구 설명 필드를 살펴보고 여성 환자의 보고서에서 "전립선 절제술"이라는 단어가 나타나는지 식별하는 검색 알고리즘을 실행한다.
오류의 다른 예는 이전 보고서에서 다루어졌고, 검사 섹션에서 의심되거나 임상 이력 섹션에 기록되어 있고 현재 보고서에서 확인되지 않은 소견을 기록하는 것을 포함한다. 다른 예로, 후속 추천이 없는 가능한 이전 사항도 있다. 따라서, 일부 실시예에서, 보고서 검사기 기능은 명확성, 일관성, 심지어 보고서의 특정 수신자에 대해 최적화된 문구 제안을 제공하도록 구성될 수 있다.
의료 이미지의 컴퓨터 비전
본 명세서에서 기재된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은 의학적 장애, 상태 또는 증상(예컨대, 병리)의 진단 또는 심각도를 식별/라벨링 및/또는 예측하는 것을 포함한다. 본 명세서에 사용된 바와 같이, 병리는 의학적 장애, 상태 또는 증상, 예컨대 골절 또는 추간판 탈출증을 지칭하는 데 사용될 수 있다. 일부 경우에, 본 명세서에서 제공되는 것은, 척추, 무릎, 어깨 및 엉덩이를 포함하되 이들로 제한되지 않는 상이한 해부학적 구조에 걸쳐 소수의 정형외과 관련 소견에 대한 식별 및 심각도 예측이다. 주어진 해부학적 영역에 대한 관련 소견은 컨벌루션 신경 네트워크와 같은 이미지 분석(예컨대, 이미지 세그먼트화 및/또는 라벨링)을 수행하기 위한 기계 학습 알고리즘 또는 모델 시스템을 사용하여 생성될 수 있다. 신경 네트워크 시스템은 두 가지 주요 단계를 포함하는 프로세스를 사용하여 이미지 분석을 수행할 수 있다. 제1 단계(선택 사항)는 주어진 더 큰 해부학적 구조에 대한 관련 해부학적 구조를 세그먼트화해야 하는 제1 신경 네트워크와 같은 제1 기계 학습 알고리즘 또는 모델이며(예컨대, 도 18 참조), 세그먼트화 단계로서 지칭될 수 있다. 제2 단계는 주어진 해부학적 구조에서 관심 구역(예컨대, 제1 네트워크에 의해 식별된 구역)을 선택하고 하나 이상의 소견이 있는지 및 선택적으로는 그 관련 심각도를 예측하는 제2 신경 네트워크와 같은 제2 기계 학습 알고리즘 또는 모델이며(예컨대, 도 19 참조), 발견 단계로서 지칭될 수 있다.
도 18은 신경 네트워크를 사용한 이미지 세그먼트화 프로세스의 예시적인 예를 도시한다. 세그먼트화 단계에서, 신경 네트워크는 다양한 의료 이미징 기술(예컨대, 자기공명영상(MRI), 컴퓨터 단층촬영(CT), 및 방사선 사진(X-선)을 사용하여 획득할 수 있었던 이미지 세트를 주어진 환자(101)로부터 받는다. MRI 이미지는 예컨대 T1, 콘트라스트가 있는 T1, T2 및 T2*(T2-"별")와 같은 다양한 시퀀스에서 나올 수도 있다. 이러한 이미지 스캔은 축방향, 서지탈, 관상 방향 등 다양한 관점에서 얻을 수 있다. 그런 다음 이러한 이미지 세트는 원하는 해부학적 구조(103)의 위치를 예측하는 분할 신경 네트워크(102)에 공급된다. 분할 신경 네트워크는 U-Net 및 Mask-RCNN 아키텍처의 변형을 기반으로 할 수 있다(103). 이러한 네트워크는 전문가가 수동으로 주석을 추가한 해부학적 구조가 있는 환자 이미지를 학습할 수 있다.
예측된 세그먼트화 구조는 다양한 해부학적 구조를 포함할 수 있다. 예컨대, 척추 스캔에 대해 예측된 세그먼트화 구조에는 제1 경추부터 마지막 천추까지 이어지는 모든 등골뼈 바디, 등골뼈 바디 사이에 있는 모든 디스크 및 관련된 모든 극돌기를 포함하지만 이들로 제한되지는 않는다. 무릎 스캔을 위한 예측된 세그먼트화 구조는 활차, 내측/외측 전방/후방 반월판, 내측/외측 대퇴골과, 내측 측부 인대(MCL), 전방 십자 인대(ACL), 후방 십자 인대(LCL), 슬개골 힘줄, 경골 연골, 슬개골, 경골 뼈 및 대퇴골을 포함하지만 이들로 제한되지는 않는다.
도 19는 의료 이미지에서 하나 이상의 해부학적 구조에 대한 예측을 생성하기 위한 예시적인 프로세스를 도시한다. 소견 단계에서, 관심 구역(201)을 나타내는 적어도 하나의 이미지 유형 및 시퀀스로부터 주어진 환자의 이미지 세트가 네트워크에 대한 입력으로 사용된다. 동일한 환자의 상이한 시퀀스나 방향에서 나온 다수의 이미지 세트를 추가 입력으로 사용할 수 있다(202). 이 관심 구역은 세그먼트화 단계(예컨대, 도 18 참조)의 세그먼트화 또는 원본 이미지에 대한 전통적인 이미지 전처리 기술(예컨대, 어깨 관절 주위 자르기)을 사용하여 획득할 수 있다. 각 이미지 세트는 적어도 하나의 2D 또는 3D 컨볼루션 계층(203)을 통해 공급된다. 컨벌루션 계층은 일괄 정규화, 최대 또는 평균 풀링, L2 정규화와 같은 복수의 정규화 단계를 포함할 수 있다. 컨벌루션 계층의 출력은 ReLU(Rectified Linear Unit) 또는 시그모이드 함수를 포함하되 이들로 제한되지 않는 활성화 함수가 적용될 수 있다. 주어진 입력 이미지 세트에 대한 적어도 하나의 컨벌루션 계층 동작 후, 입력 이미지 세트가 한 개보다 많은 경우, 모든 입력 이미지 세트는 채널 차원을 따라 연결될 수 있다(204). 그러면 연결된 이미지 블록은 하나 이상의 컨벌루션 계층과 하나 이상의 조밀하게 연결된 계층(205)을 겪을 수 있다. 그런 다음 적어도 하나의 관심 소견 및/또는 그 심각도를 예측하기 위해 조밀하게 연결된 계층이 생성될 수 있다(206). 예측할 각각의 추가 소견은 자체 조밀하게 연결된 계층을 가질 수 도 있다(207). 이러한 네트워크는 자연어 처리(NLP)를 사용하여 연관된 환자 보고서에서 추출된 소견 정보에 대해 훈련될 수 있다.
본 명세서에서 개시된 시스템, 소프트웨어 및 방법을 사용하여 다양한 예측 소견이 생성될 수 있다. 척추 질환과 같은 예측 소견의 비제한적 예는 포라멘 협착증, 중심관 협착증, 추간판 돌출, 추간판 탈출증, 추간판 건조증, 활막 낭종, 신경 압박, 쉬모를(Schmorl) 결절, 등골뼈 골절 및 다양한 등골뼈 바디와 디스크에 걸친 척추 측만증을 포함하지만, 이들로 제한되지는 않는다. 무릎 케이스에 대한 예측 소견은 위에서 설명한 다양한 해부학적 구조에 걸친 찢어짐, 병변 및 골절을 포함하지만, 이들로 제한되지는 않는다. 어깨 및 고관절 케이스에 대한 예측 소견은 해당 해부학적 구역의 상이한 관절, 뼈 및 인대에 걸친 파열, 골절 및 탈구를 포함하지만, 이들로 제한되지는 않는다.
동적 템플릿
방사선 전문의는, 정보를 구성하는 구조화된 보고서 제공, 케이스 검토 안내, 품질 관리 및 청구를 포함하지만 이들로 제한되지는 않는 다수의 상이한 이유로 보고서 템플릿을 사용한다. 이러한 보고서 템플릿은 일반적으로 사용자 또는 사용자 조직에서 생성하고 정의한다. 또한, 사용자는 보고에 사용할 적절한 템플릿을 선택해야 한다. 일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은 컨텍스트에 따라 동적으로 변경되는 보고서 템플릿을 자동으로 제공하는 것을 포함한다.
두 가지 주요 문제가 해결된다: (1) 보고를 위한 다수의 템플릿을 생성하는 수동적이고 지루한 프로세스, 및 (2) 보고서에 대한 올바른/최상의 템플릿을 찾고 선택하고 사용하는 것. 사용자의 컨텍스트에 따라 동적으로 변경되는 보고서 템플릿은 보고서 구성 프로세스를 더욱 효율적으로 만든다.
방사선 전문의는 한 달 동안 수백 또는 수천 건의 보고서를 구술한다. 이 방사선 보고서는 방사선과 전문의가 진단 입력을 전달하는 데 사용하는 필수 수단이며 방사선과 전문의의 목표는 일관성 있는 고품질 보고서를 작성하는 것이다.
템플릿을 통해 사용자는 효율성 향상, 가치 입증 및 진단 품질 향상이라는 목표를 달성하기 위해 일관되고, 포괄적이며, 쉽게 이해되고 읽을 수 있는 것을 포함하는 이상적인 보고서의 특징을 달성할 수 있다. 템플릿을 사용하여 형식, 구조 및 데이터 내용을 표준화함으로써, 보고서 사용자 간의 의사소통이 향상되고, 인증 기준이 충족되고, 품질이 측정되고, 성과급 인센티브가 충족될 수 있다.
보고서 템플릿은 일반적으로 사용자 또는 사용자의 조직에 의해 수동으로 생성 및 정의되며, 종종 팀의 일부로 작업하여 수백, 수천 개의 템플릿을 생성한다. 이 지루한 프로세스는 다수의 반복과 검토가 필요한 많은 시간이 걸릴 수 있다. 또한, 템플릿은 사용자의 개인적 선호에 따라 또는 특정 보고 요구 사항을 충족하기 위해 변경될 수 있다. 템플릿 세트가 정의된 경우에도, 템플릿을 사용하려면 사용자가 케이스에 적합한 템플릿을 찾아 선택해야 할 수 도 있다.
일부 실시예에서, 본 명세서에서 개시된 시스템 및 방법은, 템플릿을 자동으로 생성할 때 단일 또는 다수의 시스템의 기존 보고 템플릿 중 다수 또는 전부를 설명한다. 일부 실시예에서, 이 시스템 또는 방법은 HL7 순서, DICOM 이미지, 이미지 메타데이터, PACS, RIS 및/또는 EHR에 포함된 정보를 포함하지만 이에 제한되지 않는 템플릿이 사용되는 컨텍스트를 고려한다. 이 정보를 사용하여, 보고서 템플릿이 자동으로 제공되고 동적으로 조정된다.
예컨대, 요천추의 일반적인 선천적 이상인 요천추 이행 척추(LSTV)는 예컨대, 기계 학습 알고리즘을 사용하여) 그것이 열리기 전에도 케이스에 존재하는 것으로 결정될 수 있다. 일부 실시예에서, 사용자가 그러한 소견을 보고할 수 있게 하는 보고서 템플릿은 자동으로 생성되어 사용자에게 제공된다. 대안적으로, 일부 실시예에서, 기존 템플릿은 소견을 포함하도록 자동으로 수정된다.
일부 경우에, 기존 템플릿이 존재하지 않는다. 일부 실시예에서, 기존 단어 사이의 관계를 식별하기 위해 기계 학습 알고리즘 또는 온톨로지와 같은 방법을 사용하여, 가능한 템플릿이 사용자를 위해 생성되고 특정 사용 케이스에 동적으로 적응된다.
일부 실시예에서, 동적 템플릿은 템플매퍼(TemplateMapper)와 같은 하나 이상의 다른 특성과 결합되며, 이로써 템플릿은 텍스트를 기반으로 하여 동적으로 변경되고 콘텐츠는 자동으로 해당 템플릿의 최상의 위치에 매핑된다. 이 경우, 방사선 전문의는 검토한 후 제출할 수 있는 보고서의 최종 초안을 제시받게 된다.
AI-보조 이미지 해석 및 의료 보고서 생성을 위한 시스템
본 명세서에서 개시된 것은 의료 이미지의 AI-보조 해석 및 보고를 용이하게 하기 위한 시스템, 소프트웨어 및 방법이다. 일부 경우에, 이 시스템, 소프트웨어 및 방법은 하나 이상의 입력 구성요소 또는 센서(예컨대, 눈-추적 장비, 마이크 또는 오디오 검출 구성요소 및/또는 마우스, 키워드, 트랙패드, 컨트롤러 또는 터치스크린)를 활용하여, 사용자 입력 및/또는 구술을 획득한다. 일부 경우에, 이 시스템은 하나 이상의 의료 이미지 및/또는 보고서 또는 연관 소견의 시각화를 보이기 위한 디스플레이를 포함한다. 일부 경우에, 디스플레이는 사용자의 시선 고정 또는 선택 표시(예컨대, 마우스 커서가 가리키고 있는 이미지 부분)를 보여준다.
일부 경우, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 서버와 통신하기 위해 네트워크 요소를 활용한다. 일부 경우에, 서버가 이 시스템의 일부이다. 일부 경우에, 이 시스템이 서버에 데이터를 업로드 및/또는 다운로드하도록 구성된다. 일부 경우에, 서버가 센서 데이터, 햅틱 피드백 유형 및 정도, 및/또는 피험자에 대한 기타 정보를 저장하도록 구성된다. 일부 경우에, 서버가 피험자에 대한 과거 데이터를 저장하도록 구성된다. 일부 경우에, 서버가 시스템이나 장치의 데이터를 백업하도록 구성된다. 일부 경우에, 본 명세서에서 기재된 시스템은 본 명세서에서 기재된 방법 중 임의의 것을 실행하도록 구성된다.
일부 경우에, 본 명세서에서 기재된 시스템은 프로세서; 프로세서에 작동 가능하게 연결된 휴대용 구성요소; 및 프로세서와 통신하도록 구성된 컴퓨터 프로그램이 인코딩된 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 경우에, 본 명세서에 개시된 프로세서는 컴퓨터의 일부이거나 컴퓨터에 링크되어 있고, 디스플레이, 입력 장치(들), 프로세서를 포함하거나 이들에 작동 가능하게 연결되어 있다.
일부 경우에, 이 시스템 또는 장치는 데이터를 암호화하도록 구성된다. 일부 경우에, 서버의 데이터가 암호화된다. 일부 경우에, 이 시스템 또는 장치는 데이터를 저장하기 위한 데이터 저장 유닛 또는 메모리를 포함한다. 일부 경우에, AES(Advanced Encryption Standard)를 사용하여 데이터 암호화가 수행된다. 일부 경우에, 128비트, 192비트 또는 256비트 AES 암호화를 사용하여 데이터 암호화가 수행된다. 일부 경우, 데이터 암호화는 데이터 저장 유닛의 전체 디스크 암호화(예컨대, 서버 또는 장치의 전체 하드 드라이브 암호화)를 포함한다. 일부 경우에, 데이터 암호화는 가상 디스크 암호화(예컨대, 이미지 데이터 파일이 포함된 폴더 암호화)를 포함한다. 일부 경우에, 데이터 암호화는 파일 암호화(예컨대, 피험자의 이미지 데이터 파일 암호화)를 포함한다. 일부 경우에, 시스템이나 장치와 다른 장치나 서버 간에 전송되거나 통신되는 데이터가 전송 중에 암호화된다. 일부 경우에, 시스템이나 장치와 다른 장치나 서버 사이의 무선 통신이 예컨대 SSL(Secure Sockets Layer)을 사용하여 암호화된다. 일부 경우에, 본 명세서에서 기재된 시스템이나 장치에 저장된 데이터에 액세스하려면 사용자 인증이 필요하다. 일부 경우에, 본 명세서에서 기재된 서버에 저장된 데이터에 액세스하려면 사용자 인증이 필요하다.
본 명세서에서 기재된 장치는, 하나 이상의 하드웨어 중앙 처리 장치(CPU) 및 특정 계산을 수행하는 아마도 하나 이상의 범용 그래픽 처리 장치(GPGPU) 또는 텐서 처리 장치(TPU)를 포함하는 디지털 처리 장치를 포함한다. 디지털 처리 장치는 실행 가능한 명령을 수행하도록 구성된 운영 체제를 더 포함한다. 디지털 처리 장치는 선택적으로 컴퓨터 네트워크에 연결된다. 디지털 처리 장치는 월드 와이드 웹(World Wide Web)에 액세스할 수 있도록 선택적으로 인터넷에 연결된다. 디지털 처리 장치는 선택적으로 클라우드 컴퓨팅 인프라에 연결된다. 적합한 디지털 처리 장치는 비제한적인 예로서 서버 컴퓨터, 데스크탑 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 서브노트북 컴퓨터, 넷북 컴퓨터, 넷패드 컴퓨터, 셋톱 컴퓨터, 미디어 스트리밍 장치, 휴대용 컴퓨터, 인터넷 기기, 모바일 스마트폰, 태블릿 컴퓨터, 개인 휴대 단말기, 비디오 게임 콘솔 및 비클을 포함한다. 당업자는 많은 스마트폰이 본 명세서에 기재된 시스템에 사용하기에 적합하다는 것을 인식할 것이다.
일반적으로, 디지털 처리 장치는 실행 가능한 명령을 실행하도록 구성된 운영 체제를 포함한다. 예컨대, 운영 체제는 장치의 하드웨어를 관리하고 응용 프로그램 실행을 위한 서비스를 제공하는 프로그램 및 데이터를 포함하는 소프트웨어이다. 당업자는 적합한 서버 운영 체제가 비제한적인 예로서 FreeBSD, OpenBSD, NetBSD®, Linux, Apple® Mac OS X Server®, Oracle® Solaris®, Windows Server® 및 Novell® NetWare®를 포함함을 인식할 것이다. 당업자는 적합한 개인용 컴퓨터 운영 체제가 Microsoft®Windows®, Apple® Mac OS X®, UNIX® 및 GNU/Linux®와 같은 UNIX 유사 운영 체제를 비제한적인 예로서 포함한다는 것을 인식할 것이다. 일부 경우에, 운영 체제는 AWS(Amazon Web Services), GCP(Google Cloud Platform) 또는 Microsoft Azure와 같은 무제한적인 예를 포함하는 클라우드 컴퓨팅에 의해 제공된다.
본 명세서에서 기재된 디지털 처리 장치는 저장 장치 및/또는 메모리 장치를 포함하거나 이에 작동 가능하게 연결된다. 저장 및/또는 메모리 장치는 임시 또는 영구적으로 데이터나 프로그램을 저장하는 데 사용되는 하나 이상의 물리적 장치이다. 일부 경우에, 장치가 휘발성 메모리이므로 저장된 정보를 유지하려면 전원이 필요하다. 일부 경우에, 장치가 비휘발성 메모리이며 디지털 처리 장치에 전원이 공급되지 않을 때 저장된 정보를 유지한다. 추가 경우에, 비휘발성 메모리는 플래시 메모리를 포함한다. 일부 경우에, 비휘발성 메모리가 DRAM(동적 랜덤 액세스 메모리)을 포함한다. 일부 경우에, 비휘발성 메모리는 강유전성 랜덤 액세스 메모리(FRAM)를 포함한다. 일부 경우에, 비휘발성 메모리는 PRAM(Phase Change Random Access Memory)을 포함한다. 다른 경우에, 장치는 비제한적인 예로서 CD-ROM, DVD, 고체-상태 드라이브, 자기 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브 및 클라우드 컴퓨팅 기반 저장소를 포함하는 저장 장치이다. 추가 경우에, 저장 및/또는 메모리 장치는 본 명세서에서 개시된 것과 같은 장치의 조합이다.
본 명세서에서 기재된 시스템의 일부 실시예는 컴퓨터 기반 시스템이다. 이들 실시예는 비일시적 컴퓨터 판독 가능 저장 매체의 형태일 수 있는 프로세서 및 메모리를 포함하는 CPU를 포함한다. 이들 시스템 실시예는 일반적으로 (비일시적 컴퓨터 판독 가능 저장 매체의 형태와 같은) 메모리에 저장되는 소프트웨어를 더 포함하며, 여기서 소프트웨어는 프로세서가 기능을 수행하게 하도록 구성된다. 본 명세서에서 기재된 시스템에 통합된 소프트웨어 실시예는 하나 이상의 모듈을 포함한다.
여러 경우에, 장치는 디지털 처리 장치와 같은 컴퓨팅 장치 또는 구성요소를 포함한다. 본 명세서에 기재된 실시예 중 일부에서, 디지털 처리 장치는 시각적 정보를 사용자에게 전송하기 위한 디스플레이를 포함한다. 본 명세서에 기재된 시스템 및 방법과 함께 사용하기에 적합한 디스플레이의 비제한적인 예는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT-LCD), 유기 발광 다이오드(OLED) 디스플레이, OLED 디스플레이, AMOLED(액티브 매트릭스 OLED) 디스플레이 또는 플라즈마 디스플레이를 포함한다.
본 명세서에 기재된 실시예 중 일부에서, 디지털 처리 장치는 사용자로부터 정보를 수신하는 입력 장치를 포함한다. 본 명세서에 기재된 시스템 및 방법과 함께 사용하기에 적합한 입력 장치의 비제한적인 예는 키보드, 마우스, 트랙볼, 트랙 패드, 스타일러스, 마이크, 제스처 인식 장치, 눈 추적 장치 또는 카메라를 포함한다. 일부 실시예에서, 입력 장치는 터치 스크린 또는 멀티-터치 스크린이다.
본 명세서에서 기재된 시스템 및 방법은 일반적으로 선택적으로 네트워크로 연결된 디지털 처리 장치의 운영 체제에 의해 실행 가능한 명령을 포함하는 프로그램으로 인코딩된 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 본 명세서에 기재된 시스템 및 방법의 일부 실시예에서, 비일시적 저장 매체는 시스템의 구성요소이거나 방법에서 활용되는 디지털 처리 장치의 구성요소이다. 또 다른 실시예에서, 컴퓨터 판독 가능 저장 매체는 선택적으로 디지털 처리 장치로부터 제거 가능하다. 일부 실시예에서, 컴퓨터 판독 가능 저장 매체는 비제한적인 예로서 CD-ROM, DVD, 플래시 메모리 장치, 고체-상태 메모리, 자기 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 클라우드 컴퓨팅 시스템 및 서비스 등을 포함한다. 일부 경우에, 프로그램과 명령이 영구적으로, 실질적으로 영구적으로, 반영구적으로 또는 비일시적으로 미디어에 인코딩된다.
일반적으로, 본 명세서에서 기재된 시스템 및 방법은 적어도 하나의 컴퓨터 프로그램 또는 그 사용을 포함한다. 컴퓨터 프로그램은 디지털 처리 장치의 CPU에서 실행 가능하며 지정된 작업을 수행하기 위해 작성된 명령 시퀀스를 포함한다. 컴퓨터 판독 가능 명령은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 함수, 객체, API(응용 프로그래밍 인터페이스), 데이터 구조 등과 같은 프로그램 모듈로 구현될 수 있다. 본 명세서에 제공된 개시에 비추어, 당업자는 컴퓨터 프로그램이 다양한 언어의 다양한 버전으로 작성될 수 있다는 것을 인식할 것이다. 컴퓨터 판독 가능 명령의 기능은 다양한 환경에서 원하는 대로 결합되거나 배포될 수 있다. 일부 경우에, 컴퓨터 프로그램은 하나의 명령 시퀀스를 포함한다. 일부 경우에, 컴퓨터 프로그램은 복수의 명령 시퀀스를 포함한다. 일부 경우에, 컴퓨터 프로그램은 한 위치에서 제공된다. 다른 경우에, 컴퓨터 프로그램은 복수의 위치에서 제공된다. 일부 경우에, 컴퓨터 프로그램은 하나 이상의 소프트웨어 모듈을 포함한다. 일부 경우에, 컴퓨터 프로그램은 하나 이상의 웹 애플리케이션, 하나 이상의 모바일 애플리케이션, 하나 이상의 독립형 애플리케이션, 하나 이상의 웹 브라우저 플러그인, 확장, 애드-인 또는 이들의 조합을 부분적으로 또는 전체적으로 포함한다. 일부 경우에, 소프트웨어 모듈은 파일, 코드 섹션, 프로그래밍 객체, 프로그래밍 구조 또는 이들의 조합을 포함한. 일부 경우에, 소프트웨어 모듈은 복수의 파일, 복수의 코드 섹션, 복수의 프로그래밍 객체, 복수의 프로그래밍 구조, 또는 이들의 조합을 포함한다. 일부 경우에, 하나 이상의 소프트웨어 모듈은 비제한적인 예로서 웹 애플리케이션, 모바일 애플리케이션 및 독립형 애플리케이션을 포함한다. 일부 경우에, 소프트웨어 모듈은 하나의 컴퓨터 프로그램이나 애플리케이션에 있다. 다른 경우에, 소프트웨어 모듈은 하나보다 많은 컴퓨터 프로그램이나 애플리케이션에 있다. 일부 경우에, 소프트웨어 모듈은 하나의 머신에서 호스팅된다. 다른 경우에, 소프트웨어 모듈은 하나보다 많은 머신에서 호스팅된다. 추가 경우에, 소프트웨어 모듈은 클라우드 계산 플랫폼에서 호스팅된다. 일부 경우에, 소프트웨어 모듈은 한 위치에 있는 하나 이상의 머신에서 호스팅된다. 다른 경우에, 소프트웨어 모듈은 하나보다 많은 위치에 있는 하나 이상의 머신에서 호스팅된다.
일반적으로, 본 명세서에서 기재된 시스템 및 방법은 하나 이상의 데이터베이스를 포함 및/또는 활용한다. 본 명세서에서 제공된 개시를 고려하여, 당업자는 많은 데이터베이스가 본 명세서에서 기재한 기본 데이터세트, 파일, 파일 시스템, 객체, 객체 시스템뿐만 아니라 데이터 구조 및 기타 유형의 정보를 저장하고 검색하는 데 적합하다는 것을 인식할 것이다. 다양한 실시예에서, 적합한 데이터베이스는 비제한적인 예로서 관계형 데이터베이스, 비관계형 데이터베이스, 객체 지향 데이터베이스, 객체 데이터베이스, 개체-관계 모델 데이터베이스, 연관 데이터베이스 및 XML 데이터베이스를 포함한다. 추가적인 비제한적인 예는 SQL, PostgreSQL, MySQL, Oracle, DB2 및 Sybase를 포함한다. 일부 경우에, 데이터베이스가 인터넷 기반이다. 일부 경우에, 데이터베이스가 웹 기반이다. 일부 경우에, 데이터베이스는 클라우드 컴퓨팅 기반이다. 다른 경우에, 데이터베이스가 하나 이상의 로컬 컴퓨터 저장 장치를 기반으로 한다.
본 명세서에서 기재된 시스템 및 방법은 생체의학 개념을 기재하기 위해 하나 이상의 제어된 용어 또는 어휘를 포함할 수 있다. 당업자는 OWL(웹 온톨로지 언어) 또는 RDF(자원 설명 프레임워크)를 포함하는 다양한 형식이 적합할 수 있으며 SPARQL과 같은 문의 언어를 사용하여 문의가 이루어질 수 있다는 것을 인식할 것이다. 관련 온톨로지 및 관련 리소스는 RadLex, FMA(Foundational Model of Anatomy), SNOMED 임상 용어 또는 UMLS Metathesaurus와 같은 무제한적인 예를 포함한다.
도 15는 디지털 처리 장치(1501)와 같은 장치를 포함하는 본 명세서에 기재된 시스템의 예시적인 실시예를 도시한다. 디지털 처리 장치(1501)는 사용자에 대한 햅틱 피드백의 유형 및 정도를 결정하도록 구성된 소프트웨어 애플리케이션을 포함한다. 디지털 처리 장치(1501)는 단일 코어 또는 멀티 코어 프로세서, 또는 병렬 처리를 위한 복수의 프로세서일 수 있는 중앙 처리 장치(본 명세서에서, CPU, 또한 "프로세서" 및 "컴퓨터 프로세서")(1505)를 포함할 수 도 있다. 디지털 처리 장치(1501)는 또한 메모리 또는 메모리 위치(1510)(예컨대, 랜덤 액세스 메모리, 판독-전용 메모리, 플래시 메모리), 전자 저장 장치(1515)(예컨대, 하드 디스크), 하나 이상의 다른 시스템 및 캐시와 같은 주변 장치와 통신하기 위한 통신 인터페이스(1520)(예컨대, 네트워크 어댑터, 네트워크 인터페이스), 및 캐시와 같은 주변 장치를 또한 포함한다. 주변 장치는 저장 인터페이스(1570)를 통해 장치의 나머지 부분과 통신하는 저장 장치(들) 또는 저장 매체(1565)를 포함할 수 있다. 메모리(1510), 저장 유닛(1515), 인터페이스(1520) 및 주변 장치는 마더보드와 같은 통신 버스(1525)를 통해 CPU(1505)와 통신하도록 구성된다. 디지털 처리 장치(1501)는 통신 인터페이스(1520)의 도움으로 컴퓨터 네트워크("네트워크")(1530)에 동작 가능하게 연결될 수 있다. 네트워크(1530)는 인터넷을 포함할 수 있다. 네트워크(1530)는 원격통신 및/또는 데이터 네트워크일 수 있다.
디지털 처리 장치(1501)는 사용자로부터 정보를 수신하기 위한 입력 장치(들)(1545)를 포함하며, 입력 장치(들)는 입력 인터페이스(1550)를 통해 장치의 다른 요소와 통신한다. 디지털 처리 장치(1501)는, 출력 인터페이스(1560)를 통해 장치의 다른 요소와 통신하는 출력 장치(들)(1555)를 포함할 수 있다.
CPU(1505)는 소프트웨어 애플리케이션 또는 모듈에 구현된 기계 판독 가능 명령을 수행하도록 구성된다. 명령은 메모리(1510)와 같은 메모리 위치에 저장될 수 있다. 메모리(1510)는 랜덤 액세스 메모리 구성요소(예컨대, RAM)(예컨대, 정적 RAM "SRAM", 동적 RAM "DRAM" 등) 또는 판독-전용 구성요소(예컨대, ROM)를 포함할 수 도 있다. 메모리(1510)는 또한, 장치 시작 동안과 같이 디지털 처리 장치 내의 요소들 사이에 정보를 전송하도록 돕는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS)을 포함할 수 있으며, 이러한 BIOS는 메모리(1510)에 저장될 수 도 있다.
저장 유닛(1515)은, 건강 또는 위험 파라미터 데이터, 예컨대 개별 건강 또는 위험 파라미터 값, 건강 또는 위험 파라미터 값 맵 및 값 그룹과 같은 파일을 저장하도록 구성될 수 있다. 저장 유닛(1515)은 또한 운영 체제, 애플리케이션 프로그램 등을 저장하는데도 사용될 수 있다. 선택적으로, 저장 유닛(1515)은 (예컨대, 외부 포트 연결기(미도시)를 통해) 및/또는 저장 유닛 인터페이스를 통해 디지털 처리 장치와 탈착 가능하게 인터페이스될 수 있다. 소프트웨어는 저장 장치(1515) 내부 또는 외부의 컴퓨터 판독 가능 저장 매체 내에 완전히 또는 부분적으로 상주할 수 있다. 다른 예에서, 소프트웨어는 프로세서(들)(1505) 내에 완전히 또는 부분적으로 상주할 수 있다.
정보 및 데이터는 디스플레이(1535)를 통해 사용자에게 디스플레이될 수 있다. 디스플레이는 인터페이스(1540)를 통해 버스(1525)에 연결되고, 장치(1501)의 디스플레이 다른 요소 간의 데이터 전송은 인터페이스(1540)를 통해 제어될 수 있다.
본 명세서에서 기재된 방법은 예컨대 메모리(1510) 또는 전자 저장 장치(1515)와 같은 디지털 처리 장치(1501)의 전자 저장 위치에 저장된 기계(예컨대, 컴퓨터 프로세서) 수행 코드를 통해 구현될 수 있다. 기계 수행 가능 코드 또는 기계 판독 가능 코드는 소프트웨어 애플리케이션이나 소프트웨어 모듈의 형태로 제공될 수 있다. 사용 중에, 코드는 프로세서(1505)에 의해 수행될 수 있다. 일부 경우에, 코드가 저장 장치(1515)로부터 검색되어 프로세서(1505)에 의한 즉시 액세스를 위해 메모리(1510)에 저장될 수 있다. 일부 상황에서, 전자 저장 유닛(1515)은 배제될 수 있으며, 기계 수행 가능 명령은 메모리(1510)에 저장된다.
일부 실시예에서, 원격 장치(1502)는 디지털 처리 장치(1501)와 통신하도록 구성되며, 임의의 모바일 컴퓨팅 장치를 포함할 수 있으며, 그 비제한적인 예는 태블릿 컴퓨터, 랩톱 컴퓨터, 스마트폰 또는 스마트워치를 포함한다. 예컨대, 일부 실시예에서, 원격 장치(1502)는 본 명세서에서 기재된 장치 또는 시스템의 디지털 처리 장치(1501)로부터 정보를 수신하도록 구성된 사용자의 스마트폰이며, 여기서 정보는 요약, 센서 데이터, 햅틱 피드백의 유형 및 정도 또는 기타 데이터를 포함할 수 있다. 일부 실시예에서, 원격 장치(1502)는 본 명세서에 기재된 장치 또는 시스템으로부터 데이터를 전송 및/또는 수신하도록 구성된 네트워크 상의 서버이다.
심층 정보 연계
복수의 소스로부터 데이터를 원활하게 집계하고 작업 흐름에 통합하는 것은 거의 모든 정보 집약적인 작업장에서 중요하다. 의료 환경에서, 작업흐름은 매우 정보 중심적일 수 도 있으며, 정보는 일반적으로 비-이미징 임상 데이터(예컨대, 임상 기록, 수술 보고서, 연구실 값 등)와 이미징 데이터(예컨대, 방사선과, 병리학과, 피부과, 안과 등)를 포함한다.
비-이미징 임상 데이터의 경우, 전자 의료 기록(EMR)이라고도 불리는 전자 건강 기록(EHR)은 의사 및 기타 의료 종사자가 단일 컴퓨터 인터페이스를 통해 이러한 정보에 액세스할 수 있도록 상이한 정보 소스를 집계할 수 있다. 이미징 데이터의 경우, 이미징-중심 의료 전문가가 자체 이미지 데이터를 관리할 수 도 있다(예컨대, 방사선과는 사진 보관 및 통신 시스템(PACS)을 관리한다). 최근에는, 기업 이미징, 즉 EI라고 알려진 것을 통해 이미지 관리 인프라를 공유하여 병원 간접비를 줄이는 추세가 나타났다. 각 이미지 중심 부서는 공유 인프라에서 실행되는 자체 이미지 관리 컴퓨터 인터페이스가 있을 수 도 있다.
일부 EHR 시스템은 PACS 시스템의 이미지에 대한 단순화된 액세스를 가능하게 할 수 있다. 그러나 디지털 건강 플랫폼은 다수의 소스의 데이터를 집계하기 위해 개발될 수 도 있다. 이러한 집계는 임상 비-이미징 또는 이미징 데이터의 상이한 사일로에 액세스할 수 있는 개별 애플리케이션(앱)이 문자 그대로 사일로화된 데이터를 나란히 디스플레이할 수 있도록 나란히 "타일"로 제시될 수 있도록 하는 것이다. 동시에 디스플레이되지만, 해당 정보는 주어진 환자의 컨텍스트를 벗어나 깊이 링크되어 있지 않는다.
본 명세서에서 기재된 것은 심층 정보 연계("DIL")라고 지칭되는 시스템이다. DIL은 “적절한 정보를 적절한 사람에게, 적절한 장소에서, 적시에”제공할 수 있다. 의사가 복부 MRI 검사를 통해 간을 검사하고 있는 경우, 환자의 왼쪽 발목에 대한 수술 보고서는 임상적으로 관련이 있을 것 같지 않지만, 최근의 간 연구실 값 세트는 임상적으로 관련이 있을 가능성이 있다. 반대로, 다른 의사가 간 연구실 값을 검사하고 있는 경우, 간 관련 소견이 추출되거나 강조 표시된 최근 방사선 보고서와 간 주변이 자동으로 주밍된 이미지를 보고 싶을 수도 있다. 해부학적 구조의 세그먼트화를 실행하는 이미지 세그먼트화 알고리즘을 통해 관심 기관 주변 영역을 주밍할 수 있다. 자연어 처리는 구조화된 보고서 형식의 도움을 받아 관심 기관에 관한 소견 또는 임프레션을 추출하는 데 사용된다. 특정 임상적 컨텍스트 내에서 데이터를 함께 링크함으로써, 잠재적으로 관련 있는 정보를 지속적으로 검색해야 하는 인지적 부담이 크게 완화된다.
본 명세서에서 기재된 것은 단독으로 사용하거나 여기에 설명된 임의의 시스템, 소프트웨어 및 방법과 조합하여 사용하기 위한 심층 정보 연계("DIL") 시스템이다. 예컨대, DIL 시스템은 본 명세서에서 개시된 추적 시스템(예컨대, 눈 추적) 및/또는 본 명세서에서 개시된 인공 지능 시스템, 소프트웨어 및 방법의 사용을 포함할 수 도 있다. DIL 시스템은 본 명세서에서 개시된 요소(예컨대, 구성요소)의 임의의 조합을 포함할 수 도 있다. 일부 실시예에서, 본 명세서에서 개시된 시스템, 소프트웨어 및 방법은 DIL 시스템을 더 포함한다.
일부 실시예에서, DIL 시스템은 인터페이스를 포함한다. 일부 실시예에서, 인터페이스는 정보(예컨대, 관심 기관과 임상적으로 관련된 정보)를 디스플레이한다. 일부 실시예에서, 인터페이스는 의료 이미지(예컨대, MRI)를 디스플레이한다. 일부 실시예에서, 인터페이스는 환자 정보(예컨대, 연령, 성별, 과거 병력, 연구실 보고서, 의료 또는 방사선 보고서 등)를 디스플레이한다. 일부 실시예에서, 인터페이스는 의료 이미지 및 환자 정보를 디스플레이한다. 일부 실시예에서, 인터페이스는 의료 이미지 및 환자 정보(예컨대, 환자 의료 정보(예컨대, 연구실 값, 의료 보고서 등))를 디스플레이한다.
DIL은 의료 이미지(예컨대, 방사선 보고서)를 디스플레이할 수 도 있다. 의료 이미지는 사지, 몸통, 가슴, 복부 및/또는 머리와 같은 피험자의 해부학적 부분을 포함할 수 도 있다. 사용자가 의료 이미지의 일부분(예컨대, 특성(예컨대, 간, 신장, 심장, 뇌, 폐(들), 뼈, 조직 등)을 (예컨대, 본 명세서에서 기재된 마우스 커버로 및/또는 추적 시스템으로) 선택하거나 그 위에서 이동할 때, DIL은 선택되거나 위에서 이동되는 의료 이미지의 일부분을 검출할 수 도 있고, 선택되거나 그 위에서 이동되는 의료 이미지(예컨대, 관심 장기)의 일부분에 임상적으로 관련된 정보를 디스플레이할 수 있다. 임상적으로 관련 있는 정보는 당업자가 관련 있다고 판단하는 임의의 정보일 수 도 있다. 임상 관련성은 다양한 파라미터 또는 규칙에 따라 결정되거나 계산될 수 있다. 예컨대, 일부 실시예에서, 사용자가 신장을 디스플레이하는 의료 이미지의 일부분을 선택하거나 그 위에 이동하면, DLI는 신장과 관련된 임상적으로 관련된 정보(예컨대, 신장, 신장 관련 기능 및/또는 징후 또는 증상, 신장 관련 과거 병력, 약물 치료, 신장 관련 연구실 값(예컨대, GFR, 혈청 크레아티닌, 혈액 요소질소, 소변 단백질, 미세알부민뇨증, 소변 크레아티닌 등) 등) 등을 모을 것이다. 이 예에서는, 신장 또는 신장 관련 용어(예컨대, 요관, 사구체, 네프론)를 언급하는 임의의 의료 정보가 임상적으로 관련된 것으로 분류될 수 도 있다. 신장 기능과 잠재적으로 연관되어 있는 메트릭스를 포함하는 연구실 테스트도 임상적으로 관련이 있는 것으로 간주될 수 있다(예컨대, 소변 검사로 발견된 혈뇨). 추가 예에서, 하나 이상의 키워드를 포함하는 보고서의 일부분이 미리 결정된 임계값을 충족하는지 여부를 결정함으로써 임상적 관련성이 결정될 수 있다. 임계값은 존재하는 키워드의 수 및/또는 각 키워드의 강도를 설명할 수 도 있다. 예컨대, 사용자가 신장을 디스플레이하는 의료 이미지의 일부분을 선택하거나 그 위에서 이동하면, DLI는 신장, 신장부, CKD 또는 (예컨대, 신장과 관련된 연구실 값과 관련된 키워드와 같은) 해당 분야에서 허용되는 기타 용어와 같은 단어나 약어를 검색하여 신장과 관련된 임상적으로 관련된 정보를 수집하고, 키워드에는 특성(예컨대, 선택된 기관)과 키워드의 상관 관계에 따라 증가하는 강도가 할당된다. 강점 키워드는 키워드와 특성 사이의 관계에 따라 달라질 수 있다. 예컨대, 사용자가 신장을 선택하면, 관련 소변 분석 연구실에 할당된 강도는 소변 연구실이 자동으로 임상적으로 관련이 있는 것으로 간주될 만큼 충분히 높을 것이다. 또한, 임상적으로 관련된 정보는 비정상으로 간주되는 특성과 관련된 임의의 정보일 수 도 있다. 일부 실시예에서, 특성과 관련되고 정상 범위를 벗어난 모든 연구실 결과(예컨대, 연구실 결과는 비정상으로 간주됨)는 자동으로 임상적으로 관련이 있는 것으로 간주된다. 일부 실시예에서, 특성과 관련되고 정상 범위를 벗어난 모든 연구실 결과(예컨대, 연구실 결과는 비정상으로 간주됨)는 자동으로 임상적으로 관련이 있는 것으로 간주된다. 임상적으로 관련된 정보의 추출을 디스플레이하기 위해 DIL 시스템(예컨대, AI)을 통해 임상적으로 관련된 정보를 추출할 수 있다. 임상 정보의 추출은 소견(예컨대, 건강한 개인과 일치하지 않는 소견)의 개요(예컨대, 간략한 요약)를 제공할 수 도 있다. 사용자는 그래픽 사용자 인터페이스에 디스플레이된 정보를 추가로 선택함으로써(예컨대, 연구실 값을 선택함으로써) 개요와 관련된 추가 정보를 탐색할 수 도 있다. 그러면, 사용자는 임상적으로 관련된 정보 및/또는 임상적으로 관련된 정보의 제2 세트와 관련된 추가 정보를 제공받을 수 도 있다. 임상적으로 관련된 정보의 제2 세트는 임상적으로 관련된 정보와 상이하지만 특성(예컨대, 선택된 기관)과 관련된 정보일 수 도 있다. 예컨대, 임상적으로 관련된 정보는 특성(예컨대, 선택된 기관)과 관련된 연구실 값일 수 도 있으며, 임상적으로 관련된 정보의 제2 세트는 의사(예컨대, 의사, 약사, 간호사, 물리 치료사 등)의 의료 이미지 및/또는 이전 의료 이미지와 관련된 임프레션 및/또는 소견일 수 도 있다. 임상적으로 관련된 정보의 제2 세트는 본 명세서에서 개시된 정보 유형 중 임의의 유형을 포함할 수 있다(예컨대, 연구실 보고서, 소견, 임프레션, 메모, 의료 보고서 등). 임상적으로 관련된 정보의 추출은 강조 표시된 정보를 제공할 수도 있다(예컨대, 전체 연구실 보고서 또는 전체 의료 보고서와 같이 정보가 제공될 수 있으며, 전체 연구실 보고서 또는 전체 의료 보고서 내의 임상적으로 관련된 정보가 강조 표시될 것이다). 일부 실시예에서, 임상적으로 관련된 정보(예컨대, 관심 기관과 같은 의료 이미지의 일부분과 관련된 소견 또는 임프레션)는 본 명세서에 개시된 것과 같은 자연어 처리를 사용하여 추출된다. 일부 실시예에서, DIL은 자연어 처리를 사용하여 관련 정보(예컨대, 관심 기관 관련)를 임상적으로 추출하며, 구조화된 보고서를 생성한다. 일부 경우에, 임상적으로 관련된 정보가 의료 이미지 옆에 디스플레이된다(예컨대, 도 43b 참조). 대안적으로 또는 조합하여, 임상적으로 관련된 정보가 팝업 윈도우에 디스플레이된다.
구조화된 보고서는 인공 지능을 사용하여 생성될 수 있으며 임상적으로 관련된 정보를 포함할 수 있다. 일부 실시예에서, 구조화된 보고서는 자동으로 구성되는(예컨대, 연구실 값 데이터, 의료 보고서 등에 의해) 임상적으로 관련된 정보를 포함한다. 일부 실시예에서, 구조화된 보고서는 AI에 의해 구조화된 문장으로 디스플레이되는 임상적으로 관련된 정보를 포함한다.
일부 실시예에서, 임상적으로 관련된 정보가 디스플레이될 때, 임상적으로 관련된 정보가 관련된 의료 이미지의 일부분이 줌인된다. 예컨대, 간에 대해 임상적으로 관련된 정보가 디스플레이되는 경우, 의료 이미지 내 간의 줌인된 이미지가 디스플레이될 것이다.
일부 실시예에서, 사용자가 의료 이미지의 일부분을 선택하거나 그 위에 이동하면, 의료 이미지의 일부분이 줌인된다(예컨대, 관심 기관의 확대된 이미지를 디스플레이하기 위해). 일부 실시예에서, DIL은 이미지 세그먼트화의 사용을 포함한다. 일부 실시예에서, 이미지 세그먼트화는 이미지 세그먼트화 알고리즘의 사용을 포함한다. 일부 실시예에서, 이미지 세그먼트화 알고리즘은 의료 이미지 내의 해부학적 구조(예컨대, 의료 이미지 내의 장기 및/또는 조직은 아르간 및/또는 조직을 정의하기 위해 세그먼트화됨)를 세그먼트화한다. 일부 실시예에서, 이미지 세그먼트화는 인공 지능(AI) 및/또는 기계 학습 이미지 분석의 사용을 포함한다. 예컨대, MRI는 환자의 신장, 간, 심장, 폐를 디스플레이할 수 도 있다. 이미지 세그먼트화 알고리즘은 각 장기의 경계를 검출하고 각 장기의 경계를 묘사할 수 도 있다. 일부 실시예에서, 의료 이미지의 일부분(예컨대, 관심 기관)를 줌인하는 것은 이미지 세그먼트화 알고리즘을 포함한다. 이미지 세그먼트화는 사용자가 관심 장기를 선택할 때 오히려 관심 장기와 관련이 없는 환자와 관련된 모든 정보를 디스플레이하는 것과 같이 관심 장기와 관련된 임상적으로 관련된 정보를 수집하고 디스플레이하는 데 유용할 수 있다.
특정 정의
본 명세서에 사용된 바와 같이, 단수형 표현은 컨텍스트에서 달리 명시하지 않는 한 복수형을 포함한다. 예컨대, "샘플"이라는 용어는 이들의 혼합물을 포함하여 복수의 샘플을 포함한다. 본 명세서에서 "또는"에 대한 언급은 달리 명시되지 않는 한 "및/또는"을 포함하도록 의도된다.
본 문서에 사용된 바와 같이, 문구 "a, b, c 및 d 중 적어도 하나" 및 "a, b, c 또는 d 중 적어도 하나"는 a, b, c 또는 d와, a, b, c 및 d 중 둘 이상을 포함하는 임의의 및 모든 조합을 지칭한다.
본 명세서에서 사용된 바와 같이, 용어, "인공 지능" 또는 "AI"는 예컨대 신경 네트워크 또는 지원 벡터 기계과 같은 기계 학습 알고리즘을 포함하는 임의의 컴퓨터-보조 알고리즘을 지칭한다.
본 명세서에서 사용된 바와 같이, 용어 "기계 학습" 또는 "기계 학습 알고리즘"은 명시적인 명령 없이 작업을 실행하기 위해 컴퓨터 시스템에 의해 사용되는 알고리즘 및/또는 모델 또는 분류기를 지칭한다. 예컨대, 새로운 데이터가 제시될 때 결과 또는 분류를 예측하거나 추론하기 위해 관련 데이터 세트로 훈련된 모델/분류기를 사용하여 작업을 수행할 수 있다.
본 명세서에서 사용된 바와 같이, "방사선과" 및 "방사선 전문의"는 의료 이미징의 더 넓은 영역을 대표하는 것으로 사용된다. 이러한 용어에 포함되는 비제한적인 예로는 의료 이미지를 처리하는 다양한 의료 하위 전문 분야 및 임상의(예컨대, 방사선학, 핵의학, 병리학, 심장학, 산부인과, 응급 의학 등)가 포함된다.
본 명세서에서 사용된 바와 같이, 용어 "의료인" 또는 "의료 전문가"는 의료 또는 의료 관련 제품 및/또는 서비스를 제공하는 임의의 개인 또는 개체의 대표자로 사용된다. 이러한 용어에 포함되는 비제한적인 예로는 방사선 전문의, 방사선 기사, 외과 의사, 가정의, 내과 의사, 소아과 의사, 산부인과 전문의, 피부과 의사, 전염병 의사, 신장 전문의, 안과 의사, 폐질환 전문의, 신경과 전문의, 마취과 전문의, 종양 전문의, 간호사, 간호 보조원, 의료 보조원, 임상 연구실 기술자 및 물리 치료사와 같은 많은 건강 또는 의료 관련 종사자를 포함한다.
본 발명의 바람직한 실시예가 본 명세서에 도시되고 기재되었지만, 이러한 실시예는 단지 예로서 제공된다는 것이 당업자에게 명백할 것이다. 본 발명을 벗어나지 않으면서 당업자에게는 다양한 변형, 변화 및 대체가 일어날 것이다. 본 명세서에 기재된 본 발명의 실시예에 대한 다양한 대안이 본 발명을 실시하는데 채용될 수 있다는 것이 이해되어야 한다. 다음의 청구범위는 본 발명의 범위를 규정하고, 이들 청구범위 및 그 등가물 범위 내의 방법 및 구조가 이에 의해 포괄되도록 의도된다.
예
예 1 - 이미지 세그먼트화
척추 이미지에 대해 이미지 세그먼트화가 실행된다. 세그먼트화 모듈에 대한 입력 이미지는 척추의 MRI T2-가중 서지털 이미지이다. 등골뼈, 추간판, 척수 및 배경의 4개의 등급을 구별하기 위해 이미지 세그먼트화가 실행된다. 이 단계에서, 모든 눈에 보이는 등골뼈는 단일 등급으로 세그먼트화되고 모든 눈에 보이는 디스크는 개별 등골뼈를 구별하려는 시도 없이 단일 클래스로 세그먼트화된다(예컨대, LI 대 L2 대 L3 등; 도 22 참조). 이미지 세그먼트화는 Adam 최적화기와 교차 엔트로피 손실을 사용하여 2.5D FCN(완전 컨벌루션 네트워크)을 사용하여 실행된다(Long J 등, arXiv 2015). 이미지의 크기가 조정되고 강도가 정규화된다. 하이퍼파라미터 검색은 그리드 검색을 통해 실행된다. 정규화에는 조기 중지 기준, 일괄 정규화 및 삭제가 포함된다. 단일 FCN 모델은 경추, 흉부, 요추 이미징 연구의 세그먼트화에 사용된다. 도 22에 도시된 바와 같이. 해부학적 네비게이터는 왼쪽에 도시된 원본 소스 이미지와 오른쪽에 도시된 계산된 세그먼트화로 척추 세그먼트화을 도시하며, 등골뼈 바디는 노란색으로, 추간판은 파란색으로 되어 있다.
예 2 - 이미지 라벨링
이미지 구역 라벨링은, 도 23에 도시된 바와 같이, 모든 등골뼈를 개별 등골뼈(C1~SI)로 나타내는 구역과 모든 추간판을 개별 디스크(C1-C2~L5-S1)로 나타내는 구역을 세분한다. 또한, 각 추간판 레벨에 왼쪽/오른쪽 포라멘과 왼쪽/오른쪽 후관절에 해당하는 지점을 배치한다. 요추 연구의 경우, 단일 지점이 척수원추에 배치된다. 원하는 경우, 사용자는 이러한 구역/지점 및/또는 텍스트 라벨의 시각화를 켜거나 끌 수 있다. 또한, 라벨이 있는 전체 척추 모델을 3D로 시각화할 수 도 있다. 등골뼈 및 디스크 라벨링은 Adam 최적화기를 사용한 교차 엔트로피 손실을 사용하는 2.5D DeepLab v3 신경 네트워크를 사용하여 실행된다(Chen LC 등, IEEE PAMI 2018). 이미지 크기가 조정되고 강도가 표준화된다. 하이퍼파라미터 검색은 그리드 검색을 통해 실행된다. 정규화에는 조기 중지 기준, 일괄 정규화 및 삭제가 포함된다. 왼쪽/오른쪽 포라멘, 왼쪽/오른쪽 후관절 및 원뿔의 랜드마크 검출은, 포즈 머신의 장거리 이미지 시퀀스 장점과 신경 네트워크(Wei SE et ak, arXiv 2016)의 특성 검출 및 공간 컨텍스트 인식 장점을 결합한 CPM(컨볼루션 포즈 머신)을 사용하여 수행된다. 이러한 네트워크는 유클리드 거리 메트릭스와 PCK(Percentage Correct Keypoint) 메트릭스를 통해 평가된다.
예 3 - 사용자 확인 단계
사용자가 라벨링된 구역을 다시 확인하고 3가지 조치, 즉 허락, 거부 또는 편집 중 하나를 수행하는 프로세스가 제공된다(도 24 참조). 사용자가 결과를 허락하면, 라벨링된 구역을 사용하여 아래 기재된 대로 3D 좌표를 해부학적 설명자로 변환한다. 사용자가 결과를 거부하면, 해부학적 설명자가 보고자에게 제공되지 않으며, 보고자는 사용자가 보고자 윈도우에서 템플릿 구역을 클릭하거나 딕타폰의 앞으로 및 뒤로 키를 사용하는 기본 상호 작용으로 돌아간다. 사용자가 편집을 선택하면, 각 구역에 포함된 픽셀을 편집(세그먼트화 편집)하고 및/또는 각 구역에 대한 라벨을 편집(라벨 편집)할 수 있다. 세그먼트화 편집을 위해, 픽셀을 추가하거나 제거하는 페인트 브러시와 침식/팽창 도구를 포함한 편집 도구 세트가 제공된다. 라벨 편집의 경우, 사용자는 라벨을 클릭하고 음성이나 상황별 드롭다운 메뉴를 통해 새 라벨을 선택할 수 도 있다.
예 4 - 해부학적 매퍼
본 명세서에서 기재된 다양한 탐색 모드의 경우, 해부학적 매퍼 모듈은 예 3에 기재된 대로 사용자가 허락한 라벨링된 이미지 영역을 입력으로 사용한다. 일 상호 동작 모드에서, 사용자는 이미지와 3D 좌표(주어진 DICOM 참조 프레임 내의 DICOM 참조 좌표계)는 라벨링된 세그먼트화 맵에서 직접 픽셀 조회를 통해 해부학적 설명자에 매핑된다. 보고자 텍스트 입력 커서는 해당 설명자에 해당하는 필드에 간단히 배치된다. 결과가 배경 라벨인 경우, 포괄적인 "추가 정보:" 템플릿 필드가 선택된다.
다른 탐색 모드에서, 사용자는 보고서 템플릿 필드를 선택하고 해당 필드에 대한 해부학적 설명자는 다음과 같이 패딩된 경계 상자로 변환된다. 라벨링된 세그먼트화 맵의 해당 픽셀 라벨에 대한 긴밀한 경계 상자는 최소/최대 xyz 경계로 계산되며, 주변 해부학적 구조의 컨텍스트를 제공하기 위해, 모든 방향에서 경계 상자에 추가 50% 패딩이 추가된다. 이미지 뷰포트가 이 경계 상자에 맞게 스크롤, 패닝 및 주밍되면, 먼저 경계 상자 중심이 이미지 뷰포트의 중앙에 오도록 각 이미지 뷰포트가 스크롤 및 패닝된다. 각 이미지 뷰포트의 패딩된 각 경계 상자를 완전히 포함하는 최대 주밍이 설정된다.
보고자 윈도우로 돌아가는 "눈길을 돌리는 것"의 양을 줄이기 위해, 해부학적 설명자의 시각적 피드백이 실시간으로 제공된다. 이미지 뷰포트에서 마우스를 움직이면, 해부학적 설명자가 조회되고 해당 텍스트가 이미지 뷰포트에 주석으로 디스플레이된다. 또한, 라벨링된 구역의 형상이 반투명 색상 경계로 디스플레이된다.
다른 상호동작 모드의 경우, 해부학적 설명자는 음성-텍스트에 의해 제공된다. 다른 두 가지 상호동작 모드에서와 마찬가지로, 해당 템플릿 필드가 선택되고 이미지 뷰포트가 적절하게 스크롤, 패닝 및 주밍되며, 이미지 영역의 시각적 피드백이 제공된다.
예 5 - 알고리즘 개발
알고리즘/모델을 생성하기 위해 이미징 데이터의 데이터 세트가 획득되고 식별되지 않는다. 이 데이터세트의 경우, 획득은 초기 1600개 연구에서 가져온 훈련 및 검증 세트와 최종 400개 연구에서 가져온 테스트 세트로 순차적으로 이루어진다. 훈련 및 검증 세트는 외부 유효성을 입증하기 위해 다양한 스캐너 모델과 제조업체가 혼합된 다양한 이미지 센터에서 제공된다.
성인에 대한 2000개의 척추 MRI 연구는 일반적인 작업 흐름에서 선택되었으며 완전히 식별되지 않았다. 학습, 검증, 테스트 세트의 비율은 50%/30%/20%이다. 변환, 회전, 자르기, 시어링을 포함한 표준 데이터 확대가 사용된다. 2000개의 이미징 연구에 대한 데이터 주석은 이전 의료 이미지 주석 경험이 있는 주석 작성자 팀에 의해 실행되었다. 주석은 각 등골뼈와 추간판에 대한 2D 윤곽 세트 형태로 제공된다.
특정 등골뼈와 디스크에 대한 라벨도 주석 작성자에 의해 제공된다. 경추의 경우, C2부터 시작하여 아래쪽으로 라벨링이 시작된다. 요추의 경우, 라벨링은 SI에서 시작하여 위쪽으로 진행된다. 흉추의 경우, 뚜렷한 고정 등골뼈가 없으므로 시야에 전체 척추가 포함된 서지털 로컬라이저 이미지가 사용되며, 여기서 점 주석은 C2부터 시작하여 아래쪽으로 추가된다. 척수의 주석은 강도 기반 3D 구역 채우기 도구를 사용하여 실행된다. 포라멘, 후관절 및 원추의 점별 주석은 점별 라벨링 이미지 주석 도구를 사용하여 수행된다.
예 6 - 알고리즘 테스트
해부학적 네비게이터 모듈의 세그먼트화 및 라벨링 알고리즘에 대해 벤치 테스트가 수행된다. 먼저, 체적 세그먼트화 구조(등골뼈, 디스크, 척수)의 각 등급에 대한 세그먼트화 정확도를 테스트한다. 참조 표준 세그먼트화는 두 명의 위원회 인증 근골격 방사선 전문의 또는 신경 방사선 전문의가 실행한다. 척수와 각 개별 등골뼈 및 디스크의 경우, 두 방사선 전문의 사이의 다이스 스코어가 0.8보다 낮으면, 제3 센서 MSK 또는 신경 방사선 전문의가 더 정확한 세그먼트화를 선택하거나 어느 쪽도 허용되지 않는 경우 자체 주석을 달게 될 것이다. 다이스 스코어가 0.8 이상인 경우, 두 점수의 합집합을 사용하여 단일 참조 표준 구역을 결정할 것이다.
점별 랜드마크의 경우, 랜드마크 점 사이의 거리가 2명의 방사선 전문의에 대해 8mm보다 크면, 해당 점도 유사하게 판정된다. 그렇지 않으면, 2명의 방사선 전문의의 지점 중심이 단일 참조 표준으로 사용될 것이다. 각 구역 등급(모든 등골뼈, 모든 디스크, 척수)에 대한 세그먼트화 정확도는 전체 다이스 스코어, 픽셀당 민감도 및 픽셀당 특이성으로 보고된다.
둘째, 등골뼈, 추간판, 포라멘 및 후관절을 포함하는 각각의 반복 구조에 대해 라벨링 정확도를 테스트한다. 반복 구조의 라벨링 정확도를 위해, "하나 이상의 레벨에서 벗어난" 케이스를 검출하는 것을 목표로 한다. 세그먼트화된 체적 구조는 개별적으로 라벨링된 참조 표준 구조의 다이스 스코어가 0.5 이상인 경우 올바른 라벨을 가진 것으로 간주된다. 위에 정의된 참조 표준의 8mm 이내인 경우, 점별 구조가 올바르게 라벨링된 것으로 간주된다. 라벨링 정확도는 전체 정확도 백분율로 보고된다. 하위 분석은 데이터 세트를 척추 부위(경추/흉추/요추), 환자 성별 및 연령, 스캐너 필드 강도, 스캐너 제조업체 및 모델, 펄스 시퀀스 파라미터(TE/TR/TI), 이미지 픽셀 간격별로 분류하여 실행될 것이다.
예 7 - 소견의 AI-보조 구술
사용자는 방사선 이미지 분석 워크스테이션을 켜고 AI-보조 이미지 분석을 위한 소프트웨어에 액세스한다. 사용자는 소프트웨어의 작업 흐름에서 방사선 이미지를 선택한다. 사용자는 컴퓨터 마우스를 가리키고 사용하여 방사선 이미지에서 해부학 구조의 특정 부분을 클릭한 다음 소프트웨어에 대한 해부학적 컨텍스트를 설정한다. 소프트웨어는 디스플레이되는 이미지를 보고서 텍스트와 동기화된 상태로 유지하기 위해 이러한 해부학적 컨텍스트를 사용하며 템플릿을 사용하여 텍스트 구조화를 지원할 수 도 있다.
시스템의 각 해부학적 구조에는 해부학적 구조의 유형을 기재하는 태그가 있다. 이는 소프트웨어 온톨로지의 각 해부학적 유형에 대한 고유 식별자이다. 이 식별자는 다른 모든 사용자 동작이 이 컨텍스트에서 발생하도록 해부학적 컨텍스트를 전체적으로 설정하는 데 사용된다. 태그는 본 명세서에서 개시된 이미지 세그먼트화 및 라벨링 기술을 사용하여 생성된다.
그런 다음, 사용자에게는 해부학적 구조의 해당 부분과 관련된 가능한 임상 소견 리스트가 제시된다. 이 경우, 소견 리스트는, 추론이 이 특정 환자에게 특정한 이미지의 특정 구역에서 가능한 소견 리스트를 생성하는 컴퓨터 보조 검출/진단 모듈에 의해 생성된다. 가능한 각 소견에 대해 스코어 또는 확률이 제공되며 소견은 내림차순으로 제시된다. 이러한 가능한 소견은 이미지에 보여진 해부학적 구조의 가능한 병리 또는 특성을 식별하는 모듈 또는 분류기를 포함하는 이미지 분석 알고리즘을 사용하여 생성된다.
사용자가 리스트에서 특정 소견을 선택하면, 해당 소견의 구조화된 표현이 생성된다. 이러한 소견은 해부학적 위치 및 관찰 유형을 포함하는 다양한 개념을 나타내는 지식 그래프를 통해 표현된다. 각 개념에 대해, 하위 해부학적 위치 및 관찰의 심각도를 포함하여 하나 이상의 수정자가 연관되어 있다.
마지막으로, 이미징 소견의 구조화된 표현은 보고서에 삽입하기 위해 자연 텍스트로 변환된다. 이 자연스러운 텍스트 표현은 이전 이미징 소견 데이터베이스에 대한 문의와 지식 그래프로 구조화된 표현을 통해 생성된다. 또한, 지식 그래프의 구조를 고려하여 간단한 생산 규칙 세트를 통해 자연스러운 텍스트 표현을 생성할 수도 있다.
예 8 - 기존 문장에 대한 사용자 입력 및 해부학적 컨텍스트 매핑
사용자 입력은 예 7에 기재된 바와 같이 예컨대 메뉴 선택 또는 구술을 통해 획득된다. 그런 다음, 사용자 입력은 데이터베이스에 저장된 미리 작성된 문장과 일치된다.
음성-구동 사용자 입력(예컨대, 사용자 구술)의 경우, 간단한 키워드 일치가 경험적 방법으로 실행된다. 문장은 사용자가 구술하는 키워드 또는 단어 삽입을 사용하는 동의어를 사용하여 일치된다. 예컨대, 단어 순서를 고려하여 전체 토큰에 대한 일치 토큰의 비율이 가장 높은 문장을 반환하는 등의 휴리스틱도 적용된다.
대안적으로, 음성-구동 사용자 입력의 경우, (경험적 방법 대신) 추론을 통한 키워드 일치가 실행될 수 있다. 이 경우, 키워드에서 소견 공식으로 매핑하고 해부학적 컨텍스트와 함께 이러한 매핑을 활용하여 사용자가 의미할 수 있는 소견 수를 제한하는 추론 계층이 도입된다. 이러한 소견 공식에는 유효한 소견에 적용되는 모든 변수가 포함되어 있다. 이러한 변수의 값은 온톨로지에서 정의된다. "척추 포라멘 협착증" 결과에 대한 공식에는 디스크 레벨, 측면성 및 심각도에 대한 변수가 포함된다. "고관 협착증" 소견 공식에는 디스크 레벨과 심각도만 포함된다. 사용자가 "양측" 및 "협착증"을 구술할 경우, "고관 협착증"보다는 "척추 포라멘 협착증"을 의미할 가능성이 있다고 추론된다. 따라서, 이 접근법은 사용자가 해부학적 네비게이터 컨텍스트에서 얻은 디스크 레벨과 함께 두 단어("척추 포라멘")를 말할 필요가 없도록 하여 효율성을 높이다. 이 접근법은 그 정식 의미에 기존 문장을 이전에 매핑한 것에 의존한다. 이는 전체 NLP 파싱/미니 그래프 표현을 사용하여 수행할 수 있다. 사용자 입력이 음성-구동이 아닌 메뉴-구동인 경우, 사용자가 메뉴를 선택하면, 미니 그래프가 기존 및 문구 분석된 문장과 일치될 수 있다.
예 9 - 자동 측정 기능
사용자 입력은 예 7에 설명된 대로 얻을 수 있으며, 단독으로 또는 AI-보조 소견 구술과 조합하여 제공될 수 있는 자동 측정 기능에 활용될 수 있다. 자동 측정 도구의 반수동 버전에서, 측정 도구가 활성화되자마자, 마우스 포인터 근처의 확대된 이미지 버전이 확대되지 않은 이미지 위에 중첩되고 눈금자 끝점을 조작할 때 마우스 움직임이 앞에서 기재한 문제를 피하기 위해 확대된 이미지에서 수행된다. 또한, 눈금자 끝점이 이미지의 이미지에 최대한 가깝게 배치되도록 지원하는 기능도 제공된다. 이는 이미지의 에지 전위 매(I)(도 28a 참조)를 계산함으로써 달성된다. 이미지 그레디언트는 잘 알려진 Canny 에지 검출기(Canny, IEEE TPAMI 1986)에서 사용되는 가우스 커널 G의 도함수를 사용한 컨볼루션을 사용하여 계산된다. 에지 전위 맵(g)은 도 28b의 공식과 같이 이미지 그레디언트 크기에 반비례하여 변하는 임의의 함수를 사용하여 계산된다.
배치된 눈금자 끝점의 원래 위치로부터, 원하는 끝점은 두 개의 눈금자 끝점에 의해 규정된 선을 따라 선 검색을 실행함으로써 계산된다. 에지 전위 맵은 눈금자 끝점이 원하는 끝점이 되는 지점에서 로컬 최소값에 속하도록 하는 데 사용된다. 따라서, 눈금자 끝점이 처음에 이미지 에지에 가깝게 배치되어 있는 한, 자동으로 에지를 찾아서 그에 고정된다.
자동 측정 도구의 완전 자동화된 버전에서, 사용자는 도구를 시작하기 위해 (예컨대, 마우스 클릭 또는 눈 추적 사용하여) 이미지의 단일 지점을 규정한다. 선형 측정은 다양한 각도에서 이루어지며 사용자는 ID 측정을 위해 가장 긴 단일 측정을 선택하거나 2D 또는 3D 측정을 위해 가장 긴 측정과 이에 수직인 측정을 선택한다.
객체 중심 근처에 처음 배치된 지점에서, 별 모양 패턴을 사용하여 다양한 각도(예컨대, 45도마다)에서 방향 선 검색을 실행한다. 충분한 깊이의 로컬 최소값(예컨대, 초기 지점에서 에지 전위의 50% 미만)에 도달하면, 각 검색이 종료된다.
반수동 측정 방법과 완전 자동 측정 방법 모두에서, 사용자는 원하는 끝점(예컨대, "더 크게" 또는 "더 작게")을 늘리거나 줄이기 위해 음성 입력을 사용하거나 마우스 스크롤 휠을 사용하여 자동화된 방식으로 측정을 조정할 수 있다.
예 10 - 비교 케이스 흐름
사용자 입력은 예 7에 설명된 대로 얻을 수 있으며, 단독으로 또는 AI 지원 결과 받아쓰기와 함께 제공될 수 있는 비교 케이스 흐름에 활용될 수 있다. 예컨대, 예 7에 기재된 소견의 AI-보조 구술은, 기재된 해부학적 세그먼트화 및 라벨링 기능을 활용하는 비교 케이스 흐름 기능이 통합할 수 있다. 현재 및 이전 이미지 스택과 같은 이미지 스택을 비교할 때, 관련 해부학적 구조의 세그먼트화 및 라벨링이 이미 계산되었을 것이다. 3D를 3D 이미지로 등록하는 일반적인 경우와 비교하여, 등록은 하나의 이미지 스택에 이미지가 주어지는 1D가 되고, 전체 3D 회전 없이 다른 이미지 스택에서 가장 가깝게 일치하는 이미지가 요구되도록 단순화된 가정이 이루어진다.
고정 이미지 스택의 현재 이미지는 사용자에 의해 선택되고 비교 케이스 흐름 프로세스는 고정 이미지의 해부학적 구조와 일치하는 데 가장 가까운 동영상 스택의 이미지를 찾다. 이를 ID 문제로 고려하기 위해, 각 3D 해부학적 라벨링된 구역의 중심을 계산한 다음, 이미지 스택에 수직인 선에 투영한다. 이는 고정 이미지 스택과 이동 이미지 스택 모두에 대해 수행된다. 일치하는 해부학적 구역 쌍 사이의 거리(di)가 계산되고 그 제곱합(D)은 도 29a 도시된 바와 같이 계산된다. 이 합은 도 29b에 도시된 바와 같이 고정 이미지와 동영상 사이의 최적의 ID 변환을 찾기 위해 최소화되며, 여기서 4개의 해부학적 구역 중심(원)이 계산되어 고정 이지 스택(위) 및 이동 이미지 스택(아래) 모두에 대해 각 이미지 스택(얇은 수평선)에 수직인 선에 투영된다. 쌍별 거리는 두꺼운 수평선으로 표시된다.
예 11 - 이미지 문의 기능
사용자 입력은 예 7에 설명된 대로 얻을 수 있으며, 단독으로 또는 소견의 AI-보조 구술의 조합으로 제공될 수 있는 이미지 문의 기능에 활용될 수 있다. 척추 MRI 이미지의 50개의 이상 부위 각각에 대해 심층 컨벌루션 신경 네트워크가 생성된다. 각 네트워크는 특정 이상에 대한 적절한 라벨이 있는 적어도 5,000개의 세그먼트화된 MRI 이미지의 데이터 세트에 대해 훈련된다. 각 네트워크는 이상 징후의 심각도에 해당하는 숫자 값(0에서 1 사이로 정규화됨)을 출력하도록 구성된다. 수치는 이상 정도의 심각도 카테고리로 구분된다(0 내지 0.2: 낮음, 0.2 초과 0.7 이하: 중간, 0.7 초과 1 이하: 심함).
이미지는 사용자가 이미지 평가를 시작하기 전에 훈련된 신경 네트워크를 사용하여 사전 평가되고, 사용자가 이미지 평가를 시작하면 평가되거나, 사용자가 이미지의 일부분을 선택하고 문의를 시작한 후에 평가된다. 예컨대, 사용자가 예시 7의 AI-보조 소견 프로세스 중과 같이 이미지를 평가할 때, 사용자는 지정된 마우스 버튼, 키보드 단축키 또는 음성 명령(“이게 뭐죠?”)을 사용하여 문의를 시작한다. 문의 시, 이미지 위치는 마우스를 사용하거나 눈-추적 장치와 같은 다른 컴퓨터 입력 장치를 사용하여 규정된다.
훈련된 신경 네트워크에 의해 식별된 후보 병변(비정상)이 지정된 이미지 위치에 충분히 가깝고 주어진 임계값보다 높은 확률 또는 스코어를 갖는 경우, 문의는 이 결과를 사용자에게 제시하고 이 소견을 기재하는 전체 텍스트 문장을 형성한다. 그런 다음, 사용자는 의료 보고서의 소견 섹션에서 문장을 허락하거나 거부하라고 프롬프트될 것이다.
예 12 - 심층 정보 연계("DIL")
사용자는 방사선 이미지 분석 워크스테이션을 켜고 이미지 분석을 위한 소프트웨어에 액세스한다. 사용자는 소프트웨어의 작업 흐름에서 MRI를 선택한다. 도 43a에 도시된 바와 같이, 사용자가 관심 기관을 선택하기 전에, 워크스테이션 디스플레이는 복부 MRI의 의료 이미지를 보여주고, 임상적으로 관련된 정보를 디스플레이하기 위한 영역을 디스플레이할 수 도 있다. 시스템은, 이미지 세그먼트화 알고리즘을 사용하여, MRI의 해부학적 구조를 세그먼트화하여, 간, 폐 및 신장의 경계를 결정한다. 간을 분석하고자 하는 사용자는 커서를 이용하여 복부 MRI에서 간을 선택한다. 자연어 처리를 사용하여, 시스템은, 도 43b에 도시된 바와 같이, 간의 의료 이미지(예컨대, 동일한 의료 이미지 또는 이전 의료 이미지)에 관한 소견 또는 임프레션과, 인접한 윈도우에 자동으로 디스플레이되는 간 기능에 대한 최근 연구실 값과 같은 임상적으로 관련된 정보(예컨대, 임상적으로 관련된 제2 정보 세트)를 추출한다.
그런 다음 사용자는 도 43b에 디스플레이된 것과 같은 간 값(예컨대, 간 연구실 값) 위에 커서를 선택하거나 이동할 수 도 있으며, 이는 시스템이 MRI 내에서 간을 줌인하게 하고, 간과 관련된 방사선 보고서로부터 추출된 소견과 임프레션이 도 43d에 도시된 바와 같이 디스플레이될 것이다. 이 디스플레이 기능은 그래픽 사용자 인터페이스를 통해 액세스할 수 있는 소프트웨어 설정을 통해 사용자가 켜거나 끌 수 있다.
신장 기능을 분석하고자 하는 사용자는 복부 MRI에서 신장을 선택하고, 최근 신장 수술 보고서가, 도 43c에 도시한 바와 같이 자동으로 인접한 윈도우에 디스플레이될 것이다.
Claims (88)
- 의료 보고서 생성을 위한 컴퓨터 기반 시스템으로서,
(a) 프로세서;
(b) 의료 이미지를 평가하기 위해 그래픽 사용자 인터페이스를 보여주도록 구성된 디스플레이;
(c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가:
(i) 해부학적 탐색 기능 및/또는 소견(findings) 탐색 기능을 포함하는 대시보드를 보여주는 상기 그래픽 사용자 인터페이스를 보여주게 하고; 및
(ii) 사용자가 상기 보고서 내에 상기 컴퓨터-생성 소견의 포함을 허락할 때, 상기 의료 이미지에 관련된 컴퓨터-생성 소견을 포함하는 의료 보고서를 생성하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 시스템. - 제1항에 있어서, 상기 컴퓨터 생성 소견을 생성하도록 구성되는 이미지 분석 알고리즘을 포함하며, 상기 이미지 분석 알고리즘은, 상기 의료 이미지를 복수의 이미지 특성에 대응하는 다수의 픽셀 세그먼트로 분할하기 위한 이미지 세그먼트화 알고리즘을 포함하는, 컴퓨터 기반 시스템.
- 제2항에 있어서, 상기 이미지 분석 알고리즘은, 상기 복수의 이미지 특성 중 적어도 하나의 이미지 특성에 주석을 다는 주석 알고리즘을 포함하는, 컴퓨터 기반 시스템.
- 제3항에 있어서, 상기 복수의 이미지 특성은 계층으로 구성되는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 복수의 특성 각각은 해부학적 구조, 조직 유형, 종양 또는 조직 이상(abnormality), 콘트라스트 촉진제(contrast agent) 또는 이들의 조합에 대응하는, 컴퓨터 기반 시스템.
- 제5항에 있어서, 상기 복수의 특성은 신경, 혈관, 림프관, 기관(organ), 관절, 뼈, 근육, 연골, 림프, 혈액, 지방, 인대 또는 힘줄 중 하나 이상을 포함하는, 컴퓨터 기반 시스템.
- 제5항에 있어서, 상기 해부학적 구조는 해부학적 변형을 포함하는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 의료 보고서는 상기 적어도 하나의 특성을 서술하거나 평가하는 하나 이상의 문장이나 문구를 포함하는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 시스템은, 상기 사용자가 상기 컴퓨터-생성 소견의 포함을 허락할 때를 지시하는 입력을 검출하거나 기록하도록 구성되는 오디오 검출 구성요소를 더 포함하는, 컴퓨터 기반 시스템.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI: magnetic resonance imaging) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지(thermogram image), 양전자 방출 단층 촬영(PET: positron emission tomography) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT: single photon emission computed tomography) 이미지, 광학 코히어런스 단층 촬영(OCT: optical coherence tomography) 이미지, 컴퓨팅 단층 촬영(CT: computed tomograph) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지인, 컴퓨터 기반 시스템.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 사용자는 의료인(healthcare provider)인, 컴퓨터 기반 시스템.
- 제11항에 있어서, 상기 의료인은 방사선 전문의, 방사선사 또는 어시스턴트, 외과의, 가정의, 내과의, 소아과의사, 산과의사/부인과의사, 피부과의사, 전염병 의사, 신장전문의, 안과의사, 흉부외과전문의, 신경과전문의, 마취과의사, 종양전문의, 간호사 또는 물리치료사인, 컴퓨터 기반 시스템.
- 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 컴퓨터 프로그램은 또한, 상기 프로세서가 기계 학습 분류기 알고리즘을 사용하여 상기 이미지를 분석하게 하여, 상기 컴퓨터-생성 소견을 포함하는 결과를 생성하도록 구성되는, 컴퓨터 기반 시스템.
- 제13항에 있어서, 상기 컴퓨터-생성 소견은 병리(pathology)의 식별 또는 평가를 포함하는, 컴퓨터 기반 시스템.
- 제14항에 있어서, 상기 병리의 식별 또는 평가는 상기 병리의 심각도, 양, 측정치, 존재 또는 부재 또는 그 징후(sign) 또는 증상(symptom) 중 적어도 하나를 포함하는, 컴퓨터 기반 시스템.
- 제13항에 있어서, 상기 컴퓨터-생성 소견은, 상기 소견이 긍정적인 식별 또는 상기 병리를 포함할 때 상기 의료 보고서에 포함되는, 컴퓨터 기반 시스템.
- 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 시스템은 클라우드-기반 서버나 네트워크를 사용하여 상기 의료 이미지의 분석 및 상기 보고서의 생성 중 적어도 하나를 실행하는, 컴퓨터 기반 시스템.
- 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 프로세서는, 검토에 이용 가능한 복수의 케이스로부터 하나 이상의 이미지를 포함하는 하나 이상의 케이스를 상기 사용자가 예약하게 하는 작업리스트 관리 인터페이스를 제공하도록 구성되는, 컴퓨터 기반 시스템.
- 제1항 내지 제18항 중 어느 한 항에 있어서, 상기 프로세서는, 상기 컴퓨터-생성 소견과 상기 보고서에 포함된 사용자-소견 사이의 일치(congruence)를 결정하도록 구성되는, 컴퓨터 기반 시스템.
- 제19항에 있어서, 상기 프로세서는, 상기 특성과 상기 입력 사이의 일치의 결정을 기반으로 하여 상기 의료 보고서의 일부분을 자동으로 채우도록(populate) 구성되는, 컴퓨터 기반 시스템.
- 제19항에 있어서, 상기 프로세서는, 상기 컴퓨터-생성 소견을 허락 및 선택적으로는 편집을 위해 상기 사용자에게 제시하도록 구성되며, 허락된 컴퓨터-생성 소견은 상기 보고서의 상기 일부분에 자동으로 채워지는, 컴퓨터 기반 시스템.
- 제21항에 있어서, 상기 컴퓨터-생성 소견은 풀 텍스트 문장을 포함하는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 프로세서는 상기 보고서의 품질 메트릭 평가를 실행하도록 구성되는, 컴퓨터 기반 시스템.
- 제23항에 있어서, 상기 품질 메트릭 평가는 상기 보고서의 자연어 처리를 사용하여 하나 이상의 소견의 리스트를 생성하는 것과, 하나 이상의 소견의 상기 리스트를 분석하여 하나 이상의 품질 메트릭을 생성하는 것을 포함하는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 프로세서는 상기 시스템과의 사용자 상호동작에 관한 분석을 수집하며 효율성 또는 품질을 개선하기 위한 피드백을 제공하도록 구성되는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 사용자가 내장된 환자 정보를 포함하는 컨텍스트-기반 메시지를 전송하게 하도록 구성되는 통신 허브를 포함하는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 의료 보고서는, 컨텍스트 정보를 기반으로 하여 하나 이상의 제안된 소견을 사용자에게 자동으로 제공하는 동적 템플릿을 사용하여 생성되는, 컴퓨터 기반 시스템.
- 제27항에 있어서, 상기 컨텍스트 정보는 HL7 순서로부터 추출된 데이터, DICOM 이미지, 이미지 메타데이터, PACS, RIS, EHR 또는 이들의 임의의 조합을 포함하는, 컴퓨터 기반 시스템.
- 제1항에 있어서, 상기 프로세서는 또한, 상기 의료 보고서 상에서 보고서 점검 기능을 수행하게 되는, 컴퓨터 기반 시스템.
- 제29항에 있어서, 상기 보고서 점검 기능은 보고서 텍스트, 보고서 메타데이터, 연구 메타데이터, 의료 및 비-의료 사전 또는 이들의 임의의 조합으로부터 추출된 정보를 활용하여 보고서의 내용을 평가하고 오류 및 누락을 식별하는, 컴퓨터 기반 시스템.
- 제30항에 있어서, 상기 보고서 점검 기능은 또한, 하나 이상의 제안을 제공하여 임의의 식별된 오류나 누락을 정정하는, 컴퓨터 기반 시스템.
- 제29항에 있어서, 상기 보고서 점검 기능은 온톨로지 구조(ontological framework)를 기반으로 하여 생성된 표시 소견을 하나 이상의 필요 소견의 리스트에 비교하는, 컴퓨터 기반 시스템.
- 의료 이미지를 평가하기 위한 컴퓨터 기반 시스템으로서,
(a) 프로세서;
(b) 디스플레이;
(c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가:
(i) 상기 의료 이미지를 상기 디스플레이 상에 디스플레이하게 하고;
(ii) 상기 의료 이미지의 좌표에서 사용자 제어된 지시자의 위치를 결정하게 하고;
(iii) 상기 의료 이미지의 상기 좌표에서 해부학적 구조와 연관된 하나 이상의 소견을 생성하게 하고;
(iv) 상기 의료 이미지의 상기 좌표에서 상기 하나 이상의 소견과 상기 해부학적 구조에 대응하는 하이퍼링크를 생성하게 하며;
(v) 상기 하나 이상의 소견을 포함하는 의료 보고서를 생성하게 하되, 상기 하나 이상의 소견 중 적어도 하나는 상기 하이퍼링크가 태그되어, 상기 하이퍼링크의 선택은 검토하기 위해 상기 의료 이미지의 상기 좌표에서 상기 해부학적 구조를 검색하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 시스템. - 제33항에 있어서, 상기 하이퍼링크는 상기 의료 이미지를 포함하는 복수의 관련된 의료 이미지에 링크되는, 컴퓨터 기반 시스템.
- 제33항에 있어서, 상기 하이퍼링크의 선택은 상기 해부학적 구조와 연관된 정보를 검색하는, 컴퓨터 기반 시스템.
- 제33항에 있어서, 상기 정보는 상기 해부학적 구조 또는 상기 해부학적 구조의 연관된 병리의 공간 위치, 방향 및 크기를 포함하는, 컴퓨터 기반 시스템.
- 제33항에 있어서, 상기 컴퓨터 프로그램은, 상기 프로세서가, 상기 사용자가 말한 하나 이상의 단어를 적어도 부분적으로 기반으로 하여 의료 보고서에 삽입하기 위한 하나 이상의 문장이나 문구를 생성하게 하도록 구성되며, 상기 하나 이상의 문장이나 문구는 상기 하나 이상의 소견을 포함하는, 컴퓨터 기반 시스템.
- 제33항에 있어서, 상기 컴퓨터 프로그램은 또한, 상기 프로세서가, 상기 하나 이상의 소견을 적어도 부분적으로 기반으로 하여 의료 보고서의 적어도 일부분을 자동으로 생성하게 하도록 구성되는, 컴퓨터 기반 시스템.
- 제38항에 있어서, 상기 컴퓨터 프로그램은 또한, 상기 프로세서가 상기 의료 보고서를 제3자와 공유하게 하거나 통신하게 하도록 구성되는, 컴퓨터 기반 시스템.
- 제33항 내지 제39항 중 어느 한 항에 있어서, 상기 의료 이미지는 X-선 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지인, 컴퓨터 기반 시스템.
- 제33항에 있어서, 상기 시스템은 클라우드-기반 서버나 네트워크를 사용하여 상기 위치 및 상기 제2 입력을 기반으로 한 상기 이미지의 분석 또는 상기 보고서의 일부분의 생성 중 적어도 하나를 실행하는, 컴퓨터 기반 시스템.
- 제33항에 있어서, 상기 프로세서는, 검토에 이용 가능한 복수의 케이스로부터 하나 이상의 이미지를 포함하는 하나 이상의 케이스를 상기 사용자가 예약하게 하는 작업리스트 관리 인터페이스를 제공하도록 구성되는, 컴퓨터 기반 시스템.
- 컴퓨터 기반 보고서 생성 시스템으로서,
(a) 프로세서;
(b) 디스플레이;
(c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가:
(i) 상기 디스플레이 상에 복수의 특성을 포함하는 의료 이미지를 디스플레이하게 하고;
(ii) 상기 사용자로부터 입력을 수신하게 하고;
(iii) 상기 복수의 특성으로부터의 특성과 상기 입력을 연관시키게 하며;
(iv) 상기 입력을 포함하는 의료 보고서를 생성하게 하며, 상기 의료 보고서 내의 상기 입력은 하이퍼링크를 포함하는 태그와 연관되며, 상기 태그가 체결될 때, 상기 입력과 연관된 상기 특성이 디스플레이되는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 보고서 생성 시스템. - 제43항에 있어서, 상기 복수의 특성 각각은 해부학적 구조, 조직 유형, 종양 또는 조직 이상, 콘트라스트 촉진제 또는 이들의 조합에 대응하는, 컴퓨터 기반 보고서 생성 시스템.
- 제43항 또는 제44항에 있어서, 상기 입력은 상기 특성을 서술하거나 평가하는 하나 이상의 구어 또는 문어를 포함하는, 하나 이상의 컴퓨터 기반 보고서 생성 시스템.
- 제43항 내지 제45항 중 어느 한 항에 있어서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지인, 컴퓨터 기반 보고서 생성 시스템.
- 제43항 내지 제46항 중 어느 한 항에 있어서, 상기 특성과 상기 사용자로부터의 상기 입력은 상기 특성과 상기 입력의 일치하거나 중첩하는 시간-스탬프를 기반으로 하여 연관되는, 컴퓨터 기반 보고서 생성 시스템.
- 제43항에 있어서, 상기 태그는 하이퍼링크를 포함하는, 컴퓨터 기반 보고서 생성 시스템.
- 제43항에 있어서, 상기 사용자는 방사선 전문의이며, 상기 의료 보고서는 방사선 전문의의 보고서를 포함하는, 컴퓨터 기반 보고서 생성 시스템.
- 제43항에 있어서, 상기 사용자는 의료인을 포함하는, 컴퓨터 기반 보고서 생성 시스템.
- 컴퓨터로 구현되는 방법으로서,
(a) 사용자로부터의 명령에 응답하여, 기계 학습 소프트웨어 모듈을 사용하여 의료 이미지를 분석하여, 컴퓨터-소견을 생성하는 단계;
(b) 상기 컴퓨터-소견을 상기 사용자에 의해 생성되는 의료 보고서에 병합하라는 옵션을 상기 사용자에게 제공하는 단계; 및
(c) 상기 의료 보고서를 분석하여, 상기 컴퓨터-소견이 상기 의료 보고서에 존재하는지 여부를 결정하는 단계를 포함하는, 컴퓨터로 구현되는 방법. - 제51항에 있어서, 상기 기계 학습 소프트웨어 모듈은 적어도 하나의 의료 이미지와 적어도 하나의 대응 의료 보고서를 사용하여 훈련되는, 컴퓨터로 구현되는 방법.
- 제51항에 있어서, 상기 기계 학습 소프트웨어 모듈은 신경 네트워크를 포함하는, 컴퓨터로 구현되는 방법.
- 제51항에 있어서, 상기 기계 학습 소프트웨어 모듈은 분류기를 포함하는, 컴퓨터로 구현되는 방법.
- 제51항에 있어서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지인, 컴퓨터로 구현되는 방법.
- 제51항에 있어서, 자연어 처리가 상기 의료 보고서를 분석하는데 사용되는, 컴퓨터로 구현되는 방법.
- 제51항에 있어서, 상기 의료 보고서는 방사선 보고서를 포함하는, 컴퓨터로 구현되는 방법.
- 컴퓨터 기반 이미지 분석 시스템으로서,
(a) 프로세서;
(b) 디스플레이;
(c) 컴퓨터 프로그램으로 인코딩된 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은, 상기 프로세서가:
(i) 사용자에 의해 정의되는 하나 이상의 특징에 따라 주문화된 행잉 프로토콜(customized hanging protocol)을 위한 규칙을 포함하는 결정 매트릭스를 생성하게 하고;
(ii) 하나 이상의 의료 이미지를 포함하는 의료 이미지 세트로부터 복수의 파라미터를 추출하게 하고;
(iii) 상기 결정 매트릭스를 사용하여 상기 복수의 파라미터의 적어도 일부분을 분석하여 상기 의료 이미지 세트를 디스플레이하기 위한 적절한 행잉 프로토콜을 식별하게 하며;
(iv) 상기 적절한 행잉 프로토콜에 따라 상기 의료 이미지 세트를 디스플레이하게 하는, 상기 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하는, 컴퓨터 기반 이미지 분석 시스템. - 제58항에 있어서, 상기 의료 이미지는 방사선 이미지, 자기 공명 이미징(MRI) 이미지, 초음파 이미지, 내시경 이미지, 탄성영상 이미지, 열상 이미지, 양전자 방출 단층 촬영(PET) 이미지, 단일 광자 방출 컴퓨팅 단층 촬영(SPECT) 이미지, 광학 코히어런스 단층 촬영(OCT) 이미지, 컴퓨팅 단층 촬영(CT) 이미지, 현미경 관찰 이미지 또는 의료 사진 이미지인, 컴퓨터 기반 이미지 분석 시스템.
- 제58항에 있어서, 상기 하나 이상의 특징은 이전 내용(priors), 뷰어의 수, 양식(modality), 신체 부위, 뷰포트의 수, 방향, 가중치(weighting) 또는 이들의 임의의 조합을 포함하는, 컴퓨터 기반 이미지 분석 시스템.
- 제58항에 있어서, 상기 결졍 매트릭스는 상기 적절한 행잉 프로토콜을 식별하는데 사용되는 계층 결정 트리를 정의하는, 컴퓨터 기반 이미지 분석 시스템.
- 제58항에 있어서, 상기 프로세서는, 상기 주문화된 행잉 프로토콜을 사용자가 생성하게 허용하는 행잉 프로토콜 온보딩 환경을 보여주는 대시보드를 제공하게 되는, 컴퓨터 기반 이미지 분석 시스템.
- 제58항에 있어서, 상기 프로세서는, 상기 주문화된 행잉 프로토콜의 시각적 조립을 허용하며, 선택적으로는 드래그-앤-드롭될 상기 주문화된 행잉 프로토콜의 파라미터를 허용하는 행잉 프로토콜 온보딩 환경을 보여주는 대시보드를 제공하게 되는, 컴퓨터 기반 이미지 분석 시스템.
- 제58항에 있어서, 상기 프로세서는 또한, 상기 의료 이미지 세트를 기반으로 한 하나 이상의 컴퓨터-소견을 포함하는 의료 보고서를 생성하게 되는, 컴퓨터 기반 이미지 분석 시스템.
- 제64항에 있어서, 상기 의료 보고서는 방사선 보고서를 포함하는, 컴퓨터 기반 이미지 분석 시스템.
- 의료 이미지를 위한 임상적으로 관련된 정보를 디스플레이하는 방법으로서,
(a) 디스플레이 상에 보여지는 의료 이미지의 일부분과의 사용자 상호동작을 검출하는 단계;
(b) 상기 의료 이미지의 일부분 내에서 특성을 식별하는 단계;
(c) 상기 특성에 속하는 임상적으로 관련된 정보를 자동으로 디스플레이하는 단계를 포함하는, 디스플레이 방법. - 제66항에 있어서, 상기 의료 이미지는 피험자의 해부학적 부분을 포함하는, 디스플레이 방법.
- 제67항에 있어서, 상기 해부학적 부분은 사지, 몸통, 가슴, 복부, 머리 중 적어도 하나를 포함하는, 디스플레이 방법.
- 제66항에 있어서, 상기 피험자의 특성은 기관을 포함하는, 디스플레이 방법.
- 제69항에 있어서, 상기 기관은, 심장, 폐, 신장, 간, 위장계, 뇌, 뼈, 췌장, 갑상선, 요로 기관, 생식 기관 또는 이들의 조합으로부터 선택되는, 디스플레이 방법.
- 제66항에 있어서, 상기 방법은 의료 이미지를 세그먼트화하여 상기 특성을 검출하는 단계를 더 포함하는, 디스플레이 방법.
- 제71항에 있어서, 상기 의료 이미지는 세그먼트화 알고리즘을 사용하여 분석되는, 디스플레이 방법.
- 제71항에 있어서, 기계 학습 알고리즘을 사용하여 상기 의료 이미지를 분석하여 상기 특성을 식별하는 단계를 더 포함하는, 디스플레이 방법.
- 제71항에 있어서, 상기 의료 이미지는 복수의 특성을 포함하는, 디스플레이 방법.
- 제74항에 있어서, 상기 복수의 특성 중 각각의 특성은 세그먼트화되는, 디스플레이 방법.
- 제66항에 있어서, 임상학적으로 관련된 정보를 제공하는 단계가 의료 보고서, 이전 의료 이미지, 연구실 보고서, 상기 의료 이미지에 속한 기록 또는 그 조합 중 하나 이상으로부터 정보를 추출하는 단계를 포함하는, 디스플레이 방법.
- 제76항에 있어서, 정보를 추출하는 단계는 자연어 처리 사용 단계를 포함하는, 디스플레이 방법.
- 제76항에 있어서, 비-임상학적으로 관련된 자료를 포함하는 것으로 간주되는 정보가 제공되지 않는, 디스플레이 방법.
- 제76항에 있어서, 정보가 임상학적으로 관련된 정보인지를 결정하는 단계를 더 포함하는, 디스플레이 방법.
- 제79항에 있어서, 정보가 임상학적으로 관련된 정보인지를 결정하는 단계는 하나 이상의 키워드를 검출하는 단계 및/또는 하나 이상의 규칙을 적용하는 단계를 포함하는, 디스플레이 방법.
- 제66항에 있어서, 상기 방법은 상기 임상학적으로 관련된 정보의 적어도 일부분의 사용자 선택을 결정하는 단계를 더 포함하는, 디스플레이 방법.
- 제81항에 있어서, 상기 방법은 상기 특성에 줌인하는 단계를 더 포함하는, 디스플레이 방법.
- 제82항에 있어서, 상기 방법은, 상기 특성에 속한 임상학적으로 관련된 정보의 제2 세트를 제공하는 단계를 더 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 상기 임상학적으로 관련된 정보와 상이한, 디스플레이 방법.
- 제83항에 있어서, 상기 특성은 간을 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 간에 속한 소견 또는 임프레션(impressions)을 포함하는, 디스플레이 방법.
- 제83항에 있어서, 상기 특성은 신장을 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 신장에 속한 소견 또는 임프레션을 포함하는, 디스플레이 방법.
- 제83항에 있어서, 상기 특성은 폐를 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 폐에 속한 소견 또는 임프레션을 포함하는, 디스플레이 방법.
- 제83항에 있어서, 상기 특성은 심장을 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 심장에 속한 소견 또는 임프레션을 포함하는, 디스플레이 방법.
- 제83항에 있어서, 상기 특성은 뇌를 포함하고, 상기 임상학적으로 관련된 정보는 연구실 값을 포함하며, 상기 임상학적으로 관련된 정보의 제2 세트는 뇌에 속한 소견 또는 임프레션을 포함하는, 디스플레이 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163169050P | 2021-03-31 | 2021-03-31 | |
| US63/169,050 | 2021-03-31 | ||
| PCT/US2022/022928 WO2022212771A2 (en) | 2021-03-31 | 2022-03-31 | Systems and methods for artificial intelligence-assisted image analysis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240008838A true KR20240008838A (ko) | 2024-01-19 |
Family
ID=83460005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237037604A KR20240008838A (ko) | 2021-03-31 | 2022-03-31 | 인공 지능-보조 이미지 분석을 위한 시스템 및 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20240177836A1 (ko) |
| EP (1) | EP4315349A2 (ko) |
| JP (1) | JP2024515534A (ko) |
| KR (1) | KR20240008838A (ko) |
| CN (1) | CN117501375A (ko) |
| AU (1) | AU2022246663A1 (ko) |
| CA (1) | CA3213801A1 (ko) |
| WO (1) | WO2022212771A2 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3156519A1 (en) | 2019-10-01 | 2021-04-08 | Sirona Medical, Inc. | AI-ASSISTED MEDICAL IMAGE INTERPRETATION AND REPORT GENERATION |
| WO2023069524A1 (en) * | 2021-10-19 | 2023-04-27 | PaxeraHealth Corp | High-definition labeling system for medical imaging ai algorithms |
| CN117351003B (zh) * | 2023-11-24 | 2024-02-23 | 华南理工大学 | 一种基于视频动作的多模型集成多相位mri肿瘤分类方法 |
| CN118039088B (zh) * | 2024-04-15 | 2024-06-07 | 达州爱迦飞诗特科技有限公司 | 一种人工智能辅助诊断数据处理系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024406B2 (en) * | 2013-03-12 | 2021-06-01 | Nuance Communications, Inc. | Systems and methods for identifying errors and/or critical results in medical reports |
| US10269114B2 (en) * | 2015-06-12 | 2019-04-23 | International Business Machines Corporation | Methods and systems for automatically scoring diagnoses associated with clinical images |
| WO2017151757A1 (en) * | 2016-03-01 | 2017-09-08 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Recurrent neural feedback model for automated image annotation |
| US10452813B2 (en) * | 2016-11-17 | 2019-10-22 | Terarecon, Inc. | Medical image identification and interpretation |
| WO2019175404A1 (en) * | 2018-03-16 | 2019-09-19 | Koninklijke Philips N.V. | Method and system for generating medical image based on textual data in medical report |
| US20200342968A1 (en) * | 2019-04-24 | 2020-10-29 | GE Precision Healthcare LLC | Visualization of medical device event processing |
| US11705226B2 (en) * | 2019-09-19 | 2023-07-18 | Tempus Labs, Inc. | Data based cancer research and treatment systems and methods |
-
2022
- 2022-03-31 WO PCT/US2022/022928 patent/WO2022212771A2/en active Application Filing
- 2022-03-31 KR KR1020237037604A patent/KR20240008838A/ko unknown
- 2022-03-31 JP JP2023561063A patent/JP2024515534A/ja active Pending
- 2022-03-31 EP EP22782250.9A patent/EP4315349A2/en active Pending
- 2022-03-31 AU AU2022246663A patent/AU2022246663A1/en active Pending
- 2022-03-31 CN CN202280039388.9A patent/CN117501375A/zh active Pending
- 2022-03-31 CA CA3213801A patent/CA3213801A1/en active Pending
-
2023
- 2023-09-28 US US18/476,928 patent/US20240177836A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240177836A1 (en) | 2024-05-30 |
| WO2022212771A3 (en) | 2022-12-29 |
| JP2024515534A (ja) | 2024-04-10 |
| AU2022246663A1 (en) | 2023-10-19 |
| EP4315349A2 (en) | 2024-02-07 |
| CA3213801A1 (en) | 2022-10-06 |
| WO2022212771A2 (en) | 2022-10-06 |
| CN117501375A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11164045B2 (en) | Complex image data analysis using artificial intelligence and machine learning algorithms | |
| US10957442B2 (en) | Facilitating artificial intelligence integration into systems using a distributed learning platform | |
| Wu et al. | Comparison of chest radiograph interpretations by artificial intelligence algorithm vs radiology residents | |
| Burlina et al. | Assessment of deep generative models for high-resolution synthetic retinal image generation of age-related macular degeneration | |
| US9003319B2 (en) | Method and apparatus for dynamic multiresolution clinical data display | |
| JP5952835B2 (ja) | 撮像プロトコルの更新及び／又はリコメンダ | |
| US20100145720A1 (en) | Method of extracting real-time structured data and performing data analysis and decision support in medical reporting | |
| US20100131482A1 (en) | Adaptive user interface systems and methods for healthcare applications | |
| US20100131293A1 (en) | Interactive multi-axis longitudinal health record systems and methods of use | |
| Rubin | Informatics in radiology: measuring and improving quality in radiology: meeting the challenge with informatics | |
| US20240177836A1 (en) | Systems and methods for artificial intelligence-assisted image analysis | |
| US20100138231A1 (en) | Systems and methods for clinical element extraction, holding, and transmission in a widget-based application | |
| US20100131283A1 (en) | Method and apparatus for clinical widget distribution | |
| JP2015524107A (ja) | 患者情報を臨床基準にマッチングするシステム及び方法 | |
| Jalal et al. | Artificial intelligence, radiology, and the way forward | |
| Beddiar et al. | Automatic captioning for medical imaging (MIC): a rapid review of literature | |
| US20100131874A1 (en) | Systems and methods for an active listener agent in a widget-based application | |
| Patel et al. | Diagnostic reasoning and decision making in the context of health information technology | |
| Depeursinge et al. | Suppl 1: prototypes for content-based image retrieval in clinical practice | |
| Zhang et al. | Comparison of chest radiograph captions based on natural language processing vs completed by radiologists | |
| Guenette et al. | Development and assessment of an information technology intervention to improve the clarity of radiologist follow-up recommendations | |
| Nasarian et al. | Designing interpretable ML system to enhance trust in healthcare: A systematic review to proposed responsible clinician-AI-collaboration framework | |
| GM et al. | Healthcare Data Analytics Using Artificial Intelligence | |
| Deorankar et al. | Optimizing Healthcare Throughput: The Role of Machine Learning and Data Analytics | |
| Sacoransky et al. | ChatGPT and Assistive AI in Structured Radiology Reporting: A Systematic Review |