KR20220123235A - 결합된 예측 모델링을 통한 이미지의 효율적인 인공 지능 분석 - Google Patents
결합된 예측 모델링을 통한 이미지의 효율적인 인공 지능 분석 Download PDFInfo
- Publication number
- KR20220123235A KR20220123235A KR1020227023073A KR20227023073A KR20220123235A KR 20220123235 A KR20220123235 A KR 20220123235A KR 1020227023073 A KR1020227023073 A KR 1020227023073A KR 20227023073 A KR20227023073 A KR 20227023073A KR 20220123235 A KR20220123235 A KR 20220123235A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- subject
- processor
- disease
- cluster
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 258
- 238000004458 analytical method Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 297
- 238000011156 evaluation Methods 0.000 claims abstract description 135
- 210000000746 body region Anatomy 0.000 claims abstract description 110
- 201000010099 disease Diseases 0.000 claims abstract description 85
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 85
- 238000003745 diagnosis Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 61
- 241001465754 Metazoa Species 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 39
- 238000002601 radiography Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 17
- 241000894007 species Species 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 238000003064 k means clustering Methods 0.000 claims description 11
- 241000282414 Homo sapiens Species 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 claims description 8
- 241000282326 Felis catus Species 0.000 claims description 7
- 241000124008 Mammalia Species 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 239000013641 positive control Substances 0.000 claims description 6
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 4
- 229940079593 drug Drugs 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000013642 negative control Substances 0.000 claims description 4
- 238000002600 positron emission tomography Methods 0.000 claims description 4
- 241000251468 Actinopterygii Species 0.000 claims description 3
- 241000283690 Bos taurus Species 0.000 claims description 3
- 241000283707 Capra Species 0.000 claims description 3
- 241000251556 Chordata Species 0.000 claims description 3
- 241000938605 Crocodylia Species 0.000 claims description 3
- 241001494479 Pecora Species 0.000 claims description 3
- 241000283984 Rodentia Species 0.000 claims description 3
- 241001416177 Vicugna pacos Species 0.000 claims description 3
- 238000002583 angiography Methods 0.000 claims description 3
- 238000002594 fluoroscopy Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000009607 mammography Methods 0.000 claims description 3
- 238000009206 nuclear medicine Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 241000282836 Camelus dromedarius Species 0.000 claims description 2
- 241000283073 Equus caballus Species 0.000 claims description 2
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 241000009328 Perro Species 0.000 claims 1
- 230000001427 coherent effect Effects 0.000 claims 1
- 210000000038 chest Anatomy 0.000 description 24
- 238000012216 screening Methods 0.000 description 18
- 238000004138 cluster model Methods 0.000 description 16
- 210000001015 abdomen Anatomy 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 210000004197 pelvis Anatomy 0.000 description 7
- 206010035664 Pneumonia Diseases 0.000 description 6
- 206010006451 bronchitis Diseases 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000002685 pulmonary effect Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 241000282465 Canis Species 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003748 differential diagnosis Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 2
- 208000006029 Cardiomegaly Diseases 0.000 description 2
- 208000002151 Pleural effusion Diseases 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004159 blood analysis Methods 0.000 description 2
- 238000009534 blood test Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000002562 urinalysis Methods 0.000 description 2
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- 241000030939 Bubalus bubalis Species 0.000 description 1
- 241000282832 Camelidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 208000007882 Gastritis Diseases 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000008771 Lymphadenopathy Diseases 0.000 description 1
- 206010030216 Oesophagitis Diseases 0.000 description 1
- 241000283080 Proboscidea <mammal> Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 201000009267 bronchiectasis Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 208000006881 esophagitis Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001096 hypoplastic effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 208000018555 lymphatic system disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 230000008695 pulmonary vasoconstriction Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Fuzzy Systems (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
Abstract
피험자, 예컨대, 수의학적 환자의 이미지에서 질병 또는 상태의 존재를 진단하는 시스템, 이미지 분석기 및 방법이 제공되고, 이는: 이미지를 신체 영역으로 분류하고, 그리고 분류되고 라벨링되고 잘리고 배향된 서브-이미지를 획득하는 것; 평가 결과를 획득하기 위해 서브-이미지를 인공 지능 프로세서에 전달하고, 그리고 적어도 하나의 클러스터 결과를 획득하기 위해 평가 결과와, 평가 결과 및 매치된 작성된 템플릿 또는 데이터세트 클러스터의 데이터베이스 라이브러리를 비교하는 것; 적어도 하나의 클러스터 진단을 획득하기 위해 클러스터 결과와 평가 결과 사이의 거리를 측정하는 것; 및 보고서를 획득하여 보고서를 방사선 전문의에게 디스플레이하기 위해 클러스터 진단 및 매치된 작성된 템플릿을 조합하는 것을 포함한다. 시간의 길이가 크게 감소되어 이러한 시스템, 분석기 및 방법이 달성되고, 비용 및 시간 절감에 유용하다.
Description
관련 출원
본 출원은 발명자 Seth Wallack, Ariel Ayaviri Omonte 및 Ruben Venegas에 의해 2019년 12월 27일 및 2020년 2월 24일에 출원되고 양자의 명칭이 "Efficient Artificial Intelligence Analysis of Radiographic Images"인 미국 가출원 일련 번호 제62/954,046호 및 제62/980,669호; 및 발명자 Seth Wallack, Ariel Ayaviri Omonte, Ruben Venegas, Yuan-Ching Spencer Teng 및 Pratheev Sabaratnam Sreetharan에 의해 2020년 9월 25일에 출원되고 명칭이 "Efficient artificial intelligence analysis of radiographic images with combined predictive modeling"인 미국 가출원 일련 번호 제63/083,422호를 우선권으로 주장하고 그의 이익을 주장하며, 이로써 상기 출원 각각은 전체적으로 인용에 의해 본원에 포함된다.
인공 지능(AI) 프로세서, 예컨대, 훈련된 신경 네트워크는 동물의 방사선 촬영 이미지(radiographic image)를 프로세싱하여 이미지화된 동물이 특정 상태를 가질 확률을 결정하는 데 유용하다. 일반적으로, 별개의 AI 프로세서는 개개의 신체 영역(예컨대, 흉부, 복부, 어깨, 앞다리, 뒷다리 등) 및/또는 각각의 이러한 신체 영역의 특정 배향(예컨대, VD(ventral dorsal) 뷰, 측면도 등)을 평가하는 데 사용된다. 특정 AI 프로세서는, 개개의 신체 영역 및/또는 배향에 대해, 해당 신체 영역과 관련하여 특정 상태가 존재할 확률을 결정한다. 이러한 각각의 AI 프로세서는 이미지화된 영역 내에서 개개의 상태 또는 기관을 평가하기 위해 많은 수의 훈련된 모델을 포함된다. 예컨대, 동물의 흉부의 측면도와 관련하여, AI 프로세서는, 동물이 폐문 주변 침윤(perihilar infiltrate), 폐렴(pneumonia), 기관지염(bronchitis), 폐 결절(pulmonary nodules) 등과 같은 폐와 관련된 특정 상태를 가질 확률을 결정하기 위해 상이한 모델을 사용한다.
이러한 각각의 AI 프로세서가 수행하는 프로세싱의 양, 및 이러한 프로세싱을 완료하는 데 필요한 시간의 양은 방대하다. 작업은 (1) 이미지가 특정 AI 프로세서에 의해 평가되기 전에 특정 신체 영역 및 배향을 정의하기 위해 각각의 이미지를 수동으로 식별하고 자르거나 (2) 평가를 위해 이미지를 각각의 AI 프로세서에 공급하는 것 중 어느 하나를 요구한다. 방사선 촬영 연구가 특정 영역으로 제한되는 인간 방사선과 달리, 수의학적 방사선은 단일 연구 내에서 배향을 알 수 없는 다수의 신체 영역과 함께 다수의 라벨링되지 않은 이미지를 일상적으로 포함한다.
동물의 방사선 촬영 이미지를 프로세싱하는 기존의 작업 흐름에서, 시스템은, 사용자 식별된 신체 영역이 이미지에 포함된다고 가정한다. 그런 다음, 사용자 식별 이미지는, 예컨대, 기계 학습 모델을 사용하여 해당 특정 신체 영역에 대한 질병이 존재할 확률을 평가하는 특정 AI 프로세서로 전송된다. 그러나 사용자에게 신체 영역을 식별하도록 요구하는 것은 기존 작업 흐름에서 마찰을 생성하고, 식별된 신체 영역이 올바르지 않거나 이미지에 다수의 영역이 포함된 경우 오류로 이어진다. 추가적으로, 신체 영역의 사용자 식별이 없는 이미지가 시스템으로 전송될 때, 기존의 작업 흐름이 비효율적(또는 고장)이 된다. 이것이 발생한 경우, 이미지화된 신체 영역에 특정되지 않은 다수의 AI 프로세서로 미식별 이미지가 전송되기 때문에 기존의 작업 흐름은 비효율적이다. 또한, 잘못된 영역 식별로 인해 상이한 신체 영역을 평가하도록 구성된 AI 프로세서로 이미지가 전송되기 때문에, 기존 작업 흐름은 잘못된 결과가 발생하기 쉽다.
AI를 사용하여 방사선 촬영의 진단 특징을 분석하고 AI 모델 진단에 기초하여 보고서를 준비하는 기존 작업 흐름은 기하급수적으로 가능한 출력 보고서를 생성한다. AI 모델 진단 결과는 특정 상태에 대해 정상 판정 또는 비정상 판정 중 어느 하나를 제공한다. 일부 AI 모델에서, 정상, 최소, 경증, 중등도 또는 중증과 같은 특정 상태의 중증도에 대한 판정이 또한 제공된다. AI 모델 진단 결과의 모음은, 어떤 보고서가 미리 만들어진 보고서 템플릿으로부터 선택되어야 하는지를 결정한다. AI 모델 진단 결과의 모음으로부터 단일 보고서 템플릿을 생성 및 선택하는 프로세스는 AI 모델의 수에 따라 기하급수적으로 확장된다. 6개의 상이한 AI 모델 정상/비정상 진단 결과는 64개의 상이한 보고서 템플릿이 필요하다(2의 6승). 10개 모델은 1,024개의 템플릿이 필요하고, 16개 모델은 65,536개의 템플릿이 필요하다. 중증도 스케일(severity scale)을 검출하는 AI 모델은 훨씬 더 열악하게 확장되고, 예컨대, 각각 5개의 가능한 중증도가 있는 16개의 중증도 검출 모델은 1,500억 개 이상의 템플릿이 필요할 것이다. 따라서, AI 모델 진단 결과의 각각의 조합에 대해 수동으로 생성된 보고서는 함께 해석되는 많은 AI 모델에 적합하게 확장되지 않는다.
따라서, 수신된 이미지가 특정 배향(측면도 등)의 특정 신체 영역을 포함하는지 여부를 결정하는 것; 이미지를 적절하게 자르는 것; 하나 초과의 신체 영역 또는 관심 영역을 포함하는 오리지널 이미지에서 하나 이상의 서브-이미지 생성하는 것; 오리지널 이미지 및 생성된 임의의 서브-이미지를 라벨링하는 것; 및 타겟팅 AI 모델에 대해 잘린 이미지 및 서브-이미지를 평가하는 것을 포함하는, 이미지 사전 프로세싱 및 이미지 분석의 완전히 자동화된 여러 단계를 갖는 새로운 시스템에 대한 필요성이 존재한다. 또한, AI 모델 결과를 포함하지만 이에 제한되지 않는 수많은 테스트 결과를 분석하고 이에 기초하여 진단 방사선 전문의 보고서를 제공하는 새로운 시스템에 대한 필요성이 존재한다.
본원에서 설명된 본 발명의 양상은 피험자의 진단 방사선 촬영 이미지 또는 이미지를 분석하는 방법을 제공하고, 방법은: 이미지를 하나 이상의 신체 영역 또는 신체 영역으로 분류하고, 자동으로 분류된 각각의 신체 영역에 대한 적어도 하나의 배향되고, 잘리고, 라벨링된 서브-이미지를 획득하기 위해 분류된 이미지를 배향하고 자르기 위한 프로세서를 사용하여 피험자의 방사선 촬영 이미지를 자동으로 프로세싱하는 단계; 서브-이미지를 적어도 하나의 인공 지능 프로세서로 전달하는 단계; 및 인공 지능 프로세서에 의해 서브-이미지를 평가하고 이로써 피험자의 방사선 촬영 이미지를 분석하는 단계를 포함한다.
방법의 실시예는, 신체 영역 및 질병의 존재에 대해 서브-이미지를 평가하기 위해 인공 지능 프로세서를 사용하는 단계를 더 포함한다. 신체 영역은, 예컨대, 흉부, 복부, 앞다리, 뒷다리 등이다. 방법의 실시예는 서브-이미지로부터 질병을 진단하기 위해 인공 지능 프로세서를 사용하는 단계를 더 포함한다. 방법의 실시예는 피험자의 포지셔닝을 위해 서브-이미지를 평가하기 위해 인공 지능 프로세서를 사용하는 단계를 더 포함한다. 방법의 실시예는 피험자의 포지셔닝을 적절한 포지셔닝으로 정정하는 단계를 더 포함한다.
방법의 실시예에서, 프로세서는, 서브-이미지를 획득하기 위해 방사선 촬영 이미지를 자동으로 신속하게 프로세싱한다. 방법의 실시예에서, 프로세서는 약 1분 미만, 약 30초 미만, 약 20초 미만, 약 15초 미만, 약 10초 미만, 또는 약 5초 미만으로 서브-이미지를 획득하기 위해 방사선 촬영 이미지를 프로세싱한다. 방법의 실시예에서, 평가하는 단계는 서브-이미지와, 복수의 라이브러리 중 적어도 하나의 라이브러리 내의 복수의 참조 방사선 촬영 이미지를 비교하는 단계를 더 포함한다. 방법의 실시예에서, 복수의 라이브러리 각각은 개개의 복수의 참조 방사선 촬영 이미지를 포함한다.
방법의 실시예에서, 복수의 라이브러리 각각은 동물 종에 특정적인 또는 비특정적인 개개의 복수의 참조 방사선 촬영 이미지를 포함한다. 방법의 실시예는 서브-이미지와 참조 방사선 촬영 이미지를 매칭시키고 이로써 배향 및 적어도 하나의 신체 영역을 평가하는 단계를 더 포함한다. 방법의 실시예에서, 참조 이미지는 DICOM(Digital Imaging and Communication in Medicine) 표준 중단 프로토콜을 따라 배향된다.
방법의 실시예에서, 자르는 단계는 서브-이미지에서 특정 신체 영역을 분리하는 단계를 더 포함한다. 방법의 실시예는 수의학적 방사선 촬영 표준 신체 영역 라벨에 따라 참조 방사선 촬영 이미지를 카테고리화하는 단계를 더 포함한다. 방법의 실시예에서, 배향하는 단계는 방사선 촬영 이미지를 수의학적 방사선 촬영 표준 중단 프로토콜로 조정하는 단계를 더 포함한다. 방법의 실시예에서, 자르는 단계는 방사선 촬영 서브-이미지를 표준 종횡비로 트리밍하는 단계를 더 포함한다. 방법의 대안적인 실시예에서, 자르는 단계는 방사선 촬영 서브-이미지를 표준 종횡비로 트리밍하는 단계를 더 포함하지 않는다. 방법의 실시예에서, 분류하는 단계는 수의학적 표준 신체 영역 라벨에 따라 신체 영역을 식별하고 라벨링하는 단계를 더 포함한다. 방법의 실시예에서, 분류하는 단계는 방사선 촬영 이미지와 샘플 표준 방사선 촬영 이미지의 라이브러리를 비교하는 단계를 더 포함한다.
방법의 실시예는 방사선 촬영 이미지와 라이브러리 내의 샘플 표준 이미지를 매칭시키고 이로써 방사선 촬영 이미지를 하나 이상의 신체 영역으로 분류하는 단계를 더 포함한다. 방법의 실시예에서, 자르는 단계는 각각의 분류된 신체 영역을 묘사하는 경계를 방사선 촬영 이미지에서 식별하는 단계를 더 포함한다. 방법의 실시예는, 분류하기 전에, 방사선 촬영 이미지의 서명을 추출하는 단계를 더 포함한다. 방법의 실시예에서, 방사선 촬영 이미지는 방사선 촬영, 즉, X-레이, 자기 공명 영상(MRI), 자기 공명 혈관조영술(MRA), 컴퓨터 단층촬영(CT), 형광투시, 유방촬영술, 핵의학, 양전자 방출 단층촬영(PET) 및 초음파로부터 선택된 방사선 검사로부터의 것이다. 방법의 실시예에서, 방사선 촬영 이미지는 사진이다.
방법의 실시예에서, 피험자는 포유류, 파충류, 어류, 양서류, 척색동물, 및 조류로부터 선택된다. 방법의 실시예에서, 포유류는 개, 고양이, 설치류, 말, 양, 소, 염소, 낙타, 알파카, 물소, 코끼리 및 인간으로부터 선택된다. 방법의 실시예에서, 피험자는 애완동물, 농장 동물, 고가 동물원 동물, 야생 동물 및 연구 동물로부터 선택된다. 방법의 실시예는, 인공 지능 프로세서에 의한 서브-이미지의 평가를 사용하여 적어도 하나의 보고서를 자동으로 생성하는 단계를 더 포함한다.
본원에서 설명된 본 발명의 양상은 피험자의 방사선 촬영 이미지를 분석하는 시스템을 제공하고, 시스템은: 피험자의 방사선 촬영 이미지를 수신하는 수신기; 서브-이미지를 획득하기 위해 이미지에서 적어도 하나의 신체 영역을 식별하고, 자르고, 배향하고 그리고 라벨링하기 위한 이미지 식별 및 프로세싱 알고리즘을 자동으로 실행하는 적어도 하나의 프로세서; 서브-이미지를 평가하는 적어도 하나의 인공 지능 프로세서; 및 서브-이미지 및 평가된 인공 지능 결과를 디스플레이하는 디바이스를 포함한다.
시스템의 실시예에서, 프로세서는, 서브-이미지를 획득하기 위해 방사선 촬영 이미지를 자동으로 신속하게 프로세싱한다. 시스템의 실시예에서, 프로세서는 1분 미만, 30초 미만, 20초 미만, 15초 미만, 10초 미만 또는 5초 미만으로 라벨링된 이미지를 획득하기 위해 방사선 촬영 이미지를 프로세싱한다. 시스템의 실시예는 표준 방사선 촬영 이미지의 라이브러리를 더 포함한다. 시스템의 실시예에서, 표준 방사선 촬영 이미지는 신체 영역 라벨 및 중단 프로토콜에 대한 수의학적 규범을 준수한다.
본원에서 설명된 본 발명의 양상은 디스플레이를 위해 피험자의 방사선 촬영 이미지를 신속하게 자동으로 분석하는 방법을 제공하고, 방법은: 최상의 매치 배향 및 신체 영역 라벨링을 획득하기 위해, 자동으로 서명을 자르고, 추출하고, 잘리고 배향된 이미지 서명과, 알려진 배향 및 신체 영역의 이미지의 서명의 데이터베이스를 비교함으로써, 이미지를 하나 이상의 별개의 신체 영역 카테고리로 알고리즘적으로 분류하는 프로세서를 사용하여 피험자의 프로세싱되지 않은 방사선 촬영 이미지를 프로세싱하는 단계; 및 각각의 준비된 신체 영역이 라벨링된 이미지를 디스플레이 디바이스 상에 그리고 분석을 위해 제시하는 단계를 포함한다.
본원에서 설명된 본 발명의 양상은 수의학적 방사선 촬영 진단 이미지 분석기에서의 개선책을 제공하고, 개선책은 피험자의 방사선 촬영 이미지를 사전 프로세싱하여 이미지에서 하나 이상의 신체 영역을 자동으로 식별하는 프로세서를 통해 신속한 알고리즘을 실행하는 것을 포함하고, 프로세서는: 각각의 식별된 신체 영역에 대한 별개의 서브-이미지를 자동으로 생성하는 것, 생성된 각각의 서브-이미지를 자르고 각각의 서브-이미지의 종횡비를 선택적으로 정규화하는 것, 각각의 서브-이미지를 신체 영역으로서 자동으로 라벨링하는 것, 서브-이미지에서 신체 영역을 자동으로 배향하는 것 중 적어도 하나를 수행하도록 추가로 기능하고, 프로세서는 추가로, 잘리고, 배향되고, 라벨링된 진단 서브-이미지를 평가하도록 특정된 적어도 하나의 인공 지능 프로세서에 진단 서브-이미지를 자동으로 전달한다.
본원에서 설명된 본 발명의 양상은 피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법을 제공하고, 방법은: 분류되고, 라벨링되고, 배향된 서브-이미지를 획득하기 위해 이미지를 하나 이상의 신체 영역으로 분류하고, 이미지를 라벨링 및 배향하는 단계; 평가 결과를 획득하기 위해 서브-이미지를 적어도 하나의 인공 지능(AI) 프로세서에 전달하고, 적어도 하나의 클러스터 결과를 획득하기 위해 평가 결과와, 평가 결과 및 매치된 작성된 템플릿 또는 적어도 하나의 데이터세트 클러스터를 갖는 데이터베이스를 비교하는 단계; 적어도 하나의 클러스터 진단을 획득하기 위해 클러스터 결과와 평가 결과 사이의 거리를 측정하는 단계; 및 보고서를 획득하기 위해 클러스터 진단을 조합(assemble)하고, 이로써 피험자에서 질병 또는 상태의 존재를 식별 및 진단하는 단계를 포함한다. 평가 결과는 AI 결과와 동의어이고, AI 프로세서 결과 및 분류 경과는 상호교환가능하게 사용된다.
방법의 실시예는, 분류하기 전에, 피험자의 적어도 하나의 방사선 촬영 이미지 또는 하나의 데이터 포인트를 획득하는 단계를 더 포함한다. 방법의 실시예는, 비교하기 전에, K-평균 클러스터링, 평균 시프트 클러스터링, 밀도 기반 공간 클러스터링, EM(Expectation-Maximization) 클러스터링 및 응집형 계층적 클러스터링으로부터 선택된 클러스터링 툴을 사용하여 데이터세트 클러스터를 컴파일하는 단계를 더 포함한다. 방법의 실시예에서, 컴파일하는 단계는, 복수의 알려진 질병 또는 상태가 있는 경우, 복수의 식별 및 진단된 데이터세트, 및 방사선학 보고서, 실험실 보고서, 조직학 보고서, 신체 검사 보고서 및 미생물학 보고서로부터 선택된 대응하는 의료 보고서의 라이브러리를 획득, 프로세싱, 평가 및 구성하는 단계를 더 포함한다.
방법의 실시예에서, 프로세싱하는 단계는 복수의 분류된 데이터세트 이미지를 획득하기 위해 복수의 식별 및 진단된 데이터세트 이미지를 신체 영역으로 분류하는 단계, 및 복수의 배향되고, 잘리고 라벨링된 데이터세트 서브-이미지를 획득하기 위해 복수의 분류된 데이터세트 이미지를 배향하고 자르는 단계를 더 포함한다. 방법의 실시예에서, 평가하는 단계는, 적어도 하나의 진단된 AI 프로세서 결과를 획득하기 위해, 복수의 배향되고, 잘리고, 라벨링된 데이터세트 서브-이미지 및 대응하는 의료 보고서를 적어도 하나의 AI 프로세서에 전달하는 단계를 더 포함한다. 방법의 실시예에서, 전달하는 단계는 종, 품종, 체중, 성별 및 위치로부터 선택된 적어도 하나의 변수를 사용하여 복수의 배향되고, 잘리고, 라벨링된 데이터세트 서브-이미지 및 대응하는 의료 보고서를 분류하는 단계를 더 포함한다.
방법의 실시예에서, 복수의 식별 및 진단된 데이터세트 이미지의 라이브러리를 구성하는 단계는, 적어도 하나의 AI 프로세서 표본 결과를 획득하기 위해 진단된 AI 프로세서 결과의 적어도 하나의 클러스터를 생성하고 이로써 데이터세트 클러스터를 컴파일하는 단계를 더 포함한다. 일부 실시예들에서, AI 프로세서 표본 결과는 표본 경우, 표본 결과, 표본 포인트 또는 표본이다. 이러한 용어는 동의어이고 상호교환가능하게 사용된다. 방법의 실시예는 진단된 AI 프로세서 결과의 클러스터에 적어도 하나의 클러스터 진단을 할당하는 단계를 더 포함한다. 방법의 실시예에서, 클러스터 진단을 할당하는 단계는 클러스터 내의 보고서 및/또는 평가자에 의해 작성된 추가 정보를 추가하는 단계를 더 포함한다. 방법의 실시예에서, 측정하는 단계는 평가 결과, 데이터세트 클러스터, 및 클러스터 결과의 중심으로부터 선택된 적어도 하나와 클러스터 결과 사이의 거리를 결정하는 단계를 더 포함한다.
방법의 실시예는 가장 가까운 매치를 갖는 클러스터 내의 경우로부터 결과, 클러스터 내의 다른 경우로부터 결과, 및 중심 경우로부터 결과를 선택하는 단계를 더 포함한다. 방법의 실시예에서, 선택하는 단계는 클러스터로부터 생성된 보고서에, 평가자에 의한 클러스터 결과의 결과 정보를 추가하는 단계를 더 포함한다. 방법의 실시예는 클러스터 내의 복수의 보고서에서 출현율의 임계값 미만인 클러스터 진단의 보고서의 일부를 제거함으로써 보고서를 편집하는 단계를 더 포함한다. 방법의 실시예에서, 보고서는 보고서 생성에 사용하기 위해 수용 가능한 것으로 간주되는 단어로부터 생성된다. 보고서에서 단어는 가장 가까운 매칭 표본 결과 경우 또는 중심 경우로부터 획득된다. 보고서 생성에서 수용 가능한 단어는, 단어가 피험자 명칭, 날짜, 이전 연구에 대한 참조, 또는 해당 표본 결과에 가장 가깝게 매치하는 모든 새로운 경우에 보편적으로 사용 불가한 보고서를 생성할 수 있는 임의의 다른 단어로부터 선택된 적어도 하나의 식별자를 포함하면, 배제된다. 이러한 선택 프로세스는 NLP(Natural Language Processing)에 의해 수행된다.
방법의 실시예에서, 평가자에 의해 지정된 출현율의 임계값은 약 80% 미만인 것으로 선택된다. 방법의 실시예에서, 보고서를 획득하기 위해 진단 AI 프로세서에 의해 평가 결과를 신속하게 프로세싱한다. 방법의 실시예에서, 진단 AI 프로세서는 약 10분 미만, 약 9분 미만, 약 8분 미만, 약 7분 미만, 약 6분 미만, 약 5분 미만, 약 4분 미만, 약 3분 미만, 약 2분 미만, 또는 약 1분 미만으로 보고서를 획득하기 위해 이미지를 프로세싱한다. 방법의 실시예에서, 질병 및 상태가 알려진 경우에 식별 및 진단된 데이터세트 이미지의 라이브러리는 복수의 동물 종 중 적어도 하나로 카테고리화된다.
방법의 실시예는 식별 태그를 통해 진단된 AI 프로세서 결과를 식별하는 단계를 더 포함한다. 방법의 실시예는 피험자의 이미지 및/또는 의료 결과를 선택하여 데이터세트 클러스터에 추가하는 단계를 더 포함한다.
본원에서 설명된 본 발명의 양상은 피험자의 이미지 및/또는 의료 결과에서 질병 또는 상태의 존재를 진단하는 시스템을 제공하고, 시스템은: 피험자의 이미지 및/또는 의료 결과를 수신하는 수신기; 서브-이미지를 획득하기 위해, 이미지에서 적어도 하나의 신체 영역을 식별하고, 자르고, 배향하고, 라벨링하는 이미지 식별 및 프로세싱 알고리즘을 자동으로 실행하는 적어도 하나의 프로세서; 서브-이미지 및/또는 의료 결과를 평가하고 평가 결과를 획득하는 적어도 하나의 인공 지능 프로세서; 및 클러스터 결과를 획득하기 위해 평가 결과를 비교하기 위해 클러스터 알고리즘을 자동으로 실행하고, 클러스터 결과와 하나 이상의 변수에 의해 정의된 특정 데이터세트로부터 이전에 생성된 클러스터 결과, 클러스터 진단을 획득하기 위한 평가 결과 사이의 거리를 측정하고, 보고서를 조합하는 적어도 하나의 진단 인공 지능 프로세서를 포함한다.
방법의 실시예에서, 진단 AI 프로세서는, 보고서를 생성하기 위해 이미지 및/또는 의료 결과를 자동으로 신속하게 프로세싱한다. 방법의 실시예에서, 진단 AI 프로세서는 약 10분 미만, 약 9분 미만, 약 8분 미만, 약 7분 미만, 약 6분 미만, 약 5분 미만, 약 4분 미만, 약 3분 미만, 약 2분 미만, 또는 약 1분 미만으로 보고서를 획득하기 위해 이미지 및/또는 의료 결과를 프로세싱한다. 방법의 실시예는 생성된 보고서를 디스플레이하는 디바이스를 더 포함한다.
본원에서 설명된 본 발명의 양상은 피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법을 제공하고, 방법은: 적어도 하나의 분류되고, 라벨링되고, 잘리고, 배향된 서브-이미지를 획득하기 위해, 이미지를 적어도 하나의 신체 영역으로 분류하고 이미지를 라벨링하고, 자르고, 배향하는 단계; 평가 결과를 프로세싱 및 획득하기 위해 서브-이미지를 적어도 하나의 인공 지능(AI) 프로세서에 전달하고, 그리고 적어도 하나의 클러스터 결과를 획득하기 위해 평가 결과와, 복수의 평가 결과 및 매치된 작성된 템플릿 또는 적어도 하나의 데이터세트 클러스터를 갖는 데이터베이스 라이브러리를 비교하는 단계; 적어도 하나의 클러스터 진단을 획득하기 위해 클러스터 결과와 평가 결과 사이의 거리를 측정하는 단계; 및 보고서를 획득하기 위해 클러스터 진단 및 매치된 작성된 템플릿을 조합하고 그리고 보고서를 방사선 전문의에게 디스플레이하고 이로써 피험자에서 질병 또는 상태의 존재를 식별 및 진단하는 단계를 포함한다.
방법의 실시예는, 디스플레이한 후, 보고서를 분석하고 그리고 질병 또는 상태의 존재를 확인하는 단계를 더 포함한다. 방법의 대안적 실시예는 작성된 템플릿을 편집하는 단계를 더 포함한다. 방법의 실시예에서, 보고서를 획득하는 단계는 약 5분 미만, 약 2분 미만 또는 약 1분 미만의 프로세스 시간을 갖는다. 방법의 실시예에서, 보고서를 획득하는 단계는 약 10분 미만, 약 7분 미만, 또는 약 6분 미만의 프로세싱 시간을 갖는다.
방법의 실시예에서, 서브-이미지를 프로세싱하는 단계는, 피험자의 이미지에서 질병 또는 상태의 존재를 진단하기 위해 AI 프로세서를 훈련하는 단계를 더 포함한다. 방법의 실시예에서, AI 프로세서를 훈련하는 단계는: 훈련 이미지의 라이브러리를 AI 프로세서에 통신하는 단계; 훈련 이미지의 라이브러리로부터 질병 또는 상태를 갖는 훈련 이미지를 선택하는 단계; 및 훈련 이미지와 훈련 이미지의 라이브러리를 비교하고 이로써 AI 프로세서를 훈련하는 단계를 더 포함한다.
방법의 실시예에서, 훈련 이미지의 라이브러리는 양성 제어 훈련 이미지 및 음성 제어 훈련 이미지를 포함한다. 방법의 실시예에서, 양성 제어 훈련 이미지는 훈련 이미지의 질병 또는 상태를 갖는다. 방법의 실시예에서, 음성 제어 훈련 이미지는 훈련 이미지의 질병 또는 상태를 갖지 않는다. 방법의 다양한 실시예에서, 음성 제어 훈련 이미지는 훈련 이미지의 질병 또는 상태 이외의 질병 또는 상태를 가질 수 있다. 방법의 실시예에서, 훈련 이미지의 라이브러리는 의료 데이터, 메타데이터 및 보조 데이터 중 적어도 하나를 더 포함한다.
도 1은 동물의 방사선 촬영 이미지(102)를 프로세싱하기 위한 종래의 작업 흐름의 개략도이다. 수의학적 분야에서 일반적으로 표현되는 바와 같이, 이미지(102)는 동물의 일부(들)를 나타내지는 않는다. 이미지(102)는, 해당 신체 영역이 이미지 상에 존재하는지 및 이미지(102)에 표현된 동물이 특정 상태를 가질 확률을 결정하기 위해 다수의 AI 프로세서(104a-104l) 각각에 의해 프로세싱된다. AI 프로세서(104a-104l) 각각은, 동물이 특정 상태를 가질 확률을 결정하기 위해 각각 훈련된 하나 이상의 기계 학습 모델과 이미지를 비교함으로써 이미지(102)를 평가한다.
도 2는 본원에 설명된 시스템 또는 방법의 실시예의 개략도이다. 방사선 촬영 이미지 사전 프로세서(106)는, 각각이 특정 신체 영역의 특정 뷰에 대응하는 하나 이상의 서브-이미지(108)를 생성하기 위해 이미지(102)를 사전 프로세싱하도록 배치된다. 3개의 서브-이미지(108a-c)가 생성되었으며, 하나의 서브-이미지(108a)는 동물의 흉부의 측면도로 식별되고 잘렸고, 제2 서브-이미지(108b)는 동물의 복부의 측면도로 식별되고 잘렸고, 그리고 제3 서브-이미지(108c)는 동물의 골반의 측면도로 식별되고 잘렸다.
표시된 바와 같이, 서브-이미지(108a)는 측면 흉부 AI 프로세서(104a)에 의해서만 프로세싱되고, 서브-이미지(108b)는 측면 복부 AI 프로세서(104c)에 의해서만 프로세싱되고, 그리고 서브-이미지(108c)는 측면 골반 AI 프로세서(104k)에 의해서만 프로세싱된다. 일부 실시예에서, 서브-이미지(108)는, 서브-이미지(108)가 나타내는 신체 영역 및/또는 뷰를 식별하기 위해 태깅된다.
도 3은 본원에 설명된 신규한 작업 흐름에 대해 본원의 본 발명의 시스템 또는 방법의 실시예에 의해 수행되는 컴퓨터 동작의 세트에 대한 설명이다. 이미지(302)는 방사선 촬영 이미지 사전 프로세서(106) 및 다음에 식별된 신체 영역/뷰에 대응하는 AI 프로세서(104)의 서브세트를 사용하여 프로세싱된다. 시스템에 의해 식별되는 개개의 신체 영역/뷰의 잘린 이미지(304a, 304b)가 도시된다. 이미지(302)가 괄호(306)에 대응하는 로그 엔트리에 대한 타임 스탬프에 의해 반영되는 바와 같이 "측면 흉부" 이미지 및 "측면 복부" 이미지 둘 모두를 나타내는 것으로 결정하기 위해 방사선 촬영 이미지 사전 프로세서에 의해 걸린 총 시간은 24초였다.
도 4는 방사선 촬영에서 폐에 대한 통상적인 단일 상태 기본 기관 결과(401 내지 407) 다음에 적어도 2개의 단일 상태 기본 기관 결과의 조합의 세트이다. 7개의 단일 상태 기본 기관 결과의 순열 및 조합은 기하급수적인 보고서 템플릿을 발생시킨다.
도 5a-도 5f는 중증도에 기초하여 정상, 최소, 경증, 중등도 및 중증으로 분류되고 별개의 AI 모델 결과 템플릿으로 디스플레이되는 폐에 대한 기본 기관 결과의 세트이다. 상자(501 내지 557)는 특정 AI 보고서 템플릿의 단일 라인 아이템을 나타낸다. 단일 라인 아이템은 "코드" 제목 아래에 나열된 결과와 매치하는 각각의 AI 모델 결과 템플릿에 기초하여 선택된다.
도 6은 방사선 촬영 이미지가 상태 또는 분류에 대해 음성 또는 양성일 확률 결과를 획득하기 위해 방사선 촬영 이미지를 분석하기 위해 배치된 개별 바이너리 모델의 모음(또는 AI 모델의 라이브러리)이다.
도 7은 개의 측면 흉부 방사선 촬영 이미지이고, 이미지는 사전 프로세싱되고, 잘리고, 라벨링되고 식별된다. 방사선 촬영 이미지는 도 6에 디스플레이된 바이너리 AI 모델의 라이브러리에 의해 분석된다.
도 8은 도 7의 이미지와 유사한 일련의 측면 방사선 촬영 이미지를 특정 바이너리 AI 모델, 예컨대, 기관지염 AI 모델을 통해 분석함으로써 획득된 단일 바이너리 AI 모델의 결과의 스크린샷이다.
도 9a-도 9e는 방사선 촬영 이미지의 각각의 AI 모델 결과를 도시하는 스크린샷의 세트이다. 각각의 개별 AI 모델 결과의 이미지별 시각적 모음 및 모든 이미지에 대한 AI 모델 결과 평균은 해당 특정 경우에 대해 평가되었다. 각각의 모델에 대한 평균 평가 결과는 개별 이미지 평가 결과를 조합함으로써 생성되며, 도 9a의 스크린의 상부에 디스플레이된다. 각각의 개별 이미지 및 해당 이미지에 대한 AI 모델 결과가 도 9b-도 9e에 디스플레이된다. 도 9a의 타임 스탬프(901)는, AI 분석이 3분 미만으로 완료되었음을 도시한다. 도 9b는 폐문 주위 침윤물, 폐렴, 기관지염, 간질성, 병든 폐, 저형성 기관, 심장 비대, 폐 결절 및 흉수와 같은 개별 AI 모델에 대한 결과를 도시한다. 각각의 AI 모델에 대해, 라벨은 이미지를 "정상" 902 또는 "비정상" 903으로 식별한다. 또한, AI 모델 단일 상태에 대해 이미지가 "정상" 또는 "비정상"일 확률(904)이 제공된다. 도 9c는 단일의 방사선 촬영 이미지를 분류하고 자름으로써 획득된 4개의 이미지를 도시한다. 타임 스탬프(905-908)는, AI 분석이 2분 미만으로 완료되었음을 도시한다. 도 9d 및 도 9e는 방사선 촬영 이미지, 예컨대, 측면, 등쪽, 전후방, 후전방, 복배측, 등복측 등의 라벨, 확률 및 뷰(909)를 포함하는 방사선 촬영 이미지에 대한 각각의 AI 모델에 대한 결과를 도시한다.
도 10은 JSON(JavaScript Object Notation) 포맷으로 디스플레이되는 AI 경우 결과의 스크린샷이다. JSON 포맷은, 클러스터 결과와 비교하여 평균 평가 결과를 평가하기 위한 테스팅을 위해 AI 평가 테스터로 전송될 수 있는 경우의 모든 모델에 대한 평균 평가 결과를 복사하는 것을 가능하게 한다.
도 11은 사용자가 K-평균 클러스터를 생성할 수 있게 하는 그래픽 사용자 인터페이스의 스크린샷이다. 사용자는 "코드" 아래에 새로운 클러스터에 대한 명칭(1101)을 할당한다. 사용자는 클러스터를 생성하기 위해 다양한 파라미터를 선택한다. 사용자는, 경우를 선택하기 위해 경우 시작 날짜(start Case date)(1102) 및 경우 종료 날짜(1103)를 선택한다. 사용자는, 경우를 선택하기 위해 경우 시작 ID(1104) 및 경우 종료 ID(1105)를 선택한다. 사용자는 클러스터에 포함될 경우의 최대수(1106)를 선택한다. 사용자는 클러스터에 포함될 경우에 대해 개, 고양이, 개 또는 고양이, 인간 등과 같은 종(1107)을 선택한다. 사용자는 클러스터 생성에 포함될 X-레이, CT, MRI, 혈액 분석, 소변 검사 등과 같은 특정 진단 양식(1108)을 선택한다. 사용자는 평가 결과를 특정 수의 클러스터로 분리하는 것을 지정한다. 클러스터의 수는 최소 하나의 클러스터에서, 클러스터에 입력된 경우의 총수에 의해서만 제한되는 클러스터의 최대 수의 범위이다.
도 12는 수치표로 나열된 AI 클러스터 결과의 스크린샷이다. 맨 왼쪽 열(1201)은 경우 ID이고, 다음 9개의 열은 특정 경우 ID에 대한 각각의 바이너리 모델에 대한 평균 평가 결과(1202)이고, 다음 열은 평가 결과의 모음에 기초하여 특정 경우를 포함하는 클러스터 라벨 또는 클러스터 위치(1203)이고, 다음 4개 열은 클러스터 좌표 및 중심 좌표이고, 마지막 숫자는 해당 클러스터의 중심(centroid) 또는 중심(center)의 경우 ID(1204)이다. 가장 매치되는 경우 ID에 대한 방사선 전문의 보고서가 획득된다. 그런 다음, 이 방사선 전문의 보고서는 새로운 AI 경우에 대한 보고서를 생성하는 데 사용된다. 이 프로세스는, 보고서 생성의 기존 반수동 프로세스에 비해, 통합된 AI 모델의 수의 측면에서 무한한 확장성을 허용한다.
도 13은 클러스터링 그래프의 예이다. 클러스터링 그래프는 평균 평가 결과를 사용자 정의 파라미터(1102-1108)에 따라 다수의 상이한 클러스터로 분할함으로써 생성된다. 이 예시적인 클러스터링 그래프는 그래프 상에 플로팅된 단일 컬러의 인근 도트의 모음으로 각각 표현되는 180개의 상이한 클러스터로 분할된다.
도 14는 사용자 정의 파라미터(1102-1108)에 기초하여 생성된 AI 클러스터 모델을 도시하는 사용자 인터페이스의 스크린샷이다. 왼쪽으로부터 제1 열은 클러스터 ID(1401)를 도시하고, 제2 열은 클러스터 모델(1402)의 할당된 명칭을 도시하고, 제3 열은 AI 데이터가 분할된 상이한 클러스터(1403)의 수를 도시하고, 제4 열은 클러스터 데이터 결과에 기초하여 평가된 신체 영역(1404)을 도시한다.
도 15는 스크리닝 평가 구성을 도시하는 사용자 인터페이스의 스크린샷이다. 사용자 인터페이스는 특정 "클러스터 모델"(1502)을 특정 "스크리닝 평가 구성" 명칭(1501)에 할당하는 것을 허용한다. 스크리닝 평가 구성의 상태(1503)는, 구성이 라이브, 테스트 또는 드래프트 모드에 있는지와 같은 구성에 관한 추가 데이터를 제공한다. 라이브 모드는 생성을 위한 것이고, 테스팅 모드는 개발을 위한 것이다.
도 16a-도 16c는 특정 클러스터 모델에 대한 세부사항을 도시하는 사용자 인터페이스의 스크린샷의 세트이다. 도 16a는 클러스터 모델(1601) 흉부(97)에 대한 데이터를 디스플레이하는 사용자 인터페이스를 도시한다. 클러스터에 포함된 AI 평가 분류기 유형(1602)이 나열된다. 클러스터 모델에 특정한 종 또는 종의 모음(1603)이 디스플레이된다. 클러스터를 생성하는 데 사용된 평가 결과를 갖는 경우의 최대수(1604)가 디스플레이된다. 사용자 인터페이스는 클러스터를 생성하는 데 사용된 경우에 대한 시작 및 종료 날짜(1605)를 도시한다. 수치 표 포맷으로 클러스터를 도시하는 도 12의 CSV(comma separated value) 파일에 대한 링크(1606)가 디스플레이된다. 파라미터(1602-1605)로부터 생성된 서브-클러스터(1608)의 일부가 나열된다. 이 클러스터 그룹에 대해 생성된 서브 클러스터(1609)의 총수가 디스플레이된다. 각각의 서브 클러스터에 대해, 중심 경우 ID(1610)가 디스플레이된다. 클러스터를 구축하기 위한 로그에 대한 링크(1607)가 디스플레이된다. 도 16b는 클러스터 모델(1601) 흉부(97)에 대해 생성된 로그의 스크린샷이다. 도 16c는 척추 심장 점수, 폐문 주위 침윤물, 폐렴, 기관지염, 간질, 및 이환 폐를 포함하는 AI 평가 모델의 일부의 스크린샷이다.
도 17a-도 17d는 AI 평가 테스터를 위한 사용자 인터페이스의 스크린샷의 세트이다. 도 17a는, AI 데이터세트에서 만들어진 경우 클러스터로부터의 K-평균 클러스터링을 사용하여 클러스터에서 가장 가깝게 매치된 경우/표본 결과 매치를 분석하기 위해 도 10의 JSON 포맷의 모든 모델에 대한 평균 평가 결과의 값이 임포트되는(1701) 사용자 인터페이스(AI 평가 테스터)를 도시한다. 도 17b는 도 10의 JSON 포맷의 모든 모델에 대한 평균 평가 결과 값이 AI 평가 테스터로 임포트되는 것을 도시한다. 도 17c 및 도 17d는 특정 경우에 대해 임포트된 평가 결과를 도시한다. 도 17d는, 스크리닝 평가 유형(1702) 및 스크리닝 평가 유형과 연관된 클러스터 모델(1703)이 사용자에 의해 선택되는 것을 도시한다. 테스트(1704)를 클릭함으로써, 도 10에 디스플레이된 평가 결과가 분석되고 클러스터에서 가장 가깝게 매치된 경우/표본 결과 매치에 할당된다. 표본 결과 매치 클러스터에 대한 가장 가까운 방사선 전문의 보고서, 상위 순위 방사선 전문의 문장 및 중심 방사선 전문의 보고서가 수집되어 디스플레이된다.
도 18a-도 18d는 사용자 인터페이스의 스크린샷의 세트이다. 도 18a 및 도 18b는 AI 평가 테스터에서 테스트(1704)를 클릭한 후 디스플레이되는 결과를 도시하는 사용자 인터페이스의 스크린샷의 세트이다. 이전에 생성된 클러스터 결과에 기초하여 평가 결과에 가장 가까운 방사선 전문의 보고서로부터의 진단 및 결론 결과(1801)가 디스플레이된다. 평가 결과(1802)는 평가 결과의 클러스터 내의 방사선 전문의 보고서에서 선택되고, 특정 클러스터의 결과 섹션에서 특정 문장의 출현율에 기초하여 필터링된다. 클러스터 내의 방사선 전문의 보고서로부터의 권장사항(1803)은 이 클러스터의 권장사항 섹션에 있는 각각의 문장 또는 유사한 문장의 출현율에 기초하여 선택된다. 인터페이스(1804)는 클러스터의 방사선 전문의 보고서를 도시하고, 인터페이스(1805)는 클러스터의 중심의 방사선 전문의 보고서를 도시한다. 도 18c는, 특정 클러스터 결과에 기초하여 방사선학 보고서에서 문장의 순위를 나열하는 사용자 인터페이스의 스크린샷이다. 문장은 결론 문장(1806), 결과 문장(1807), 권장사항 문장(1808)을 포함한다. 도 18d는 사용자가 특정 문장을 추가하거나 제거하여 결과 섹션(1809), 결론 섹션(1810) 또는 권장사항 섹션(1811)을 편집함으로써 방사선학 보고서를 편집하는 것을 허용하는 사용자 인터페이스의 스크린샷이다.
도 19는 새로운 경우에 대한 방사선학 보고서를 생성하는 데 사용되는 가장 가까운 매치 데이터세트 경우에 대한 방사선 전문의 보고서이다. AI 평가 테스터는, 클러스터 내의 AI 평가 결과와 새로운 이미지 AI 평가 결과 사이의 평가 결과의 유사성 및 선택된 클러스터의 중심으로부터의 방사선 전문의 보고서에 기초하여, 현재 AI 평가 결과에 가장 가까운 방사선 전문의 보고서를 디스플레이한다.
도 20a 및 도 20b는 방사선 촬영의 세트이다. 도 20a는 분석되고 있는 새롭게 수신된 방사선 촬영이고, 도 20b는 클러스터 모델에 기초하여 AI 평가의 결과에 의해 가장 가까운 매치로서 선택된 방사선 촬영이다. 클러스터 매치는 이미지 매치 결과보다는 AI 평가 결과에 기초한다.
도 21a 및 도 21b는 AI 방사선 촬영 프로세싱 유닛의 구성요소의 개략도의 세트이다. 도 21a는, 방사선 촬영 기계(2101)가 방사선 촬영 이미지를 데스크톱 애플리케이션(2102) ― 이는 이미지를 웹 애플리케이션(2103)으로 전달함 ― 으로 전송하는 것을 도시하는 개략도이다. 컴퓨터 비전 애플리케이션(2104) 및 웹 애플리케이션은 이미지를 이미지 웹 애플리케이션 ― 이는 이미지를 AI 평가(2105)에 전달함 ― 에 전달한다. 도 21b는 이미지 매치 AI 프로세싱의 구성요소의 개략도이다. 수의학 병원의 LION(Local Interface to Online Network)(2106)에 업로드된 이미지는, 서브-이미지를 획득하기 위해 이미지를 자동 회전하고 자동으로 자르는 VetConsole(2107)에 전달된다. 서브-이미지는 3개의 위치로 전달된다. 제1 위치는 이미지를 분류하기 위한 VetAI 콘솔(2108)이다. 제2 위치는 이미지 매치 데이터베이스에 보고서들과 함께 서브-이미지를 추가하는 이미지 매치 콘솔(2109)이다. 제3 위치는, 새로운 이미지 및 대응하는 경우 ID 번호를 저장하는 이미지 데이터베이스(2110)이다. 이미지 매치 콘솔(2109)은 추가 프로세싱을 위해 이미지를 정제된 이미지 매치 콘솔(2111) 또는 VetImage 편집기 콘솔(2112)에 전달한다.
도 22a 및 도 22b는 이미지 매칭을 위한 서버 아키텍처의 개략도의 세트이다. 도 22a는 현재 AI 방사선 촬영 분석에 사용되는 서버 아키텍처의 개략도이다. 도 22b는 방사선 촬영 이미지를 사전 프로세싱하는 것, AI 진단 프로세서를 사용하여 이미지를 분석하는 것 및 클러스터링 결과에 기초하여 보고서를 준비하는 것을 포함하는 AI 방사선 촬영 분석을 위한 서버 아키텍처의 개략도이다. PC(2201)로부터의 이미지는, 이미지를 V2 클라우드 플랫폼(2203)으로 전달하는 NGINX 로드 밸런싱 서버(2202)로 전달된다. 그런 다음, 이미지는 이미지 매치 서버(2204), VetImages 서버(2205) 및 데이터베이스 마이크로소프트 SQL 서버(2207)로 전달된다. VetImages 서버는 이미지를 VetAI 서버(2206), 데이터베이스 마이크로소프트 SQL 서버(2207) 및 데이터스토어 서버(2208)로 전달한다.
도 23a-도 23f는 피험자에 대해 획득된 이미지에 대한 인공 지능 자동 자르기 및 평가 작업 흐름의 일련의 개략도이다. 작업 흐름은 작업을 수행하는 데 사용되는 플랫폼, 이를테면, 병원, V2 최종 사용자 애플리케이션, VetImages 웹 애플리케이션, VetConsole 파이썬 스크립팅 애플리케이션, VetAI 기계 학습 애플리케이션, ImageMatch 배향 파이썬 애플리케이션 및 ImageMatch 검증 파이썬 애플리케이션에 기초하여 6개 열로 분류된다. 또한, 작업은 작업을 수행하는 프로세서, 이를테면, 서브-이미지 프로세서, 평가 프로세서 및 합성 프로세서에 기초하여 상이한 회색 음영으로 음영 처리된다. V2 애플리케이션은, 사용자가 애플리케이션과 상호작용하고 분석될 이미지를 업로드하는 최종 사용자 애플리케이션이다. VetImages 애플리케이션은 이미지를 프로세싱하여 AI 결과 또는 AI 보고서 또는 평가 결과를 생성한다. VetConsole은, 이미지 품질을 개선하고 이미지를 일괄로 프로세싱하는 파이썬 스크립팅 앱이다. VetAI는, AI 모델을 생성하고 시스템에 입력되는 이미지를 평가하는 기계 학습 애플리케이션이다. ImageMatch 배향은, 입력된 이미지와 유사한 자신의 데이터베이스 내의 정확하게 배향된 이미지에 대한 검색을 수행하는 파이썬 앱이다. ImageMatch 검증은, 입력된 이미지와 유사한 데이터베이스 내의 정확하게 분류된 이미지에 대한 검색을 수행하는 파이썬 앱이다. 서브-이미지 프로세서는 도 23a-도 23c에 열거된 작업(2301-2332)을 수행한다. 평가 프로세서는 도 23d 및 도 23e 및 도 23f의 일부에 나열된 작업(2333-2346, 2356 및 2357)을 수행한다. 합성 프로세서는 도 23f 및 도 23e의 일부에 나열된 작업(2347-2355 및 2358-2363)을 수행한다.
도 2는 본원에 설명된 시스템 또는 방법의 실시예의 개략도이다. 방사선 촬영 이미지 사전 프로세서(106)는, 각각이 특정 신체 영역의 특정 뷰에 대응하는 하나 이상의 서브-이미지(108)를 생성하기 위해 이미지(102)를 사전 프로세싱하도록 배치된다. 3개의 서브-이미지(108a-c)가 생성되었으며, 하나의 서브-이미지(108a)는 동물의 흉부의 측면도로 식별되고 잘렸고, 제2 서브-이미지(108b)는 동물의 복부의 측면도로 식별되고 잘렸고, 그리고 제3 서브-이미지(108c)는 동물의 골반의 측면도로 식별되고 잘렸다.
표시된 바와 같이, 서브-이미지(108a)는 측면 흉부 AI 프로세서(104a)에 의해서만 프로세싱되고, 서브-이미지(108b)는 측면 복부 AI 프로세서(104c)에 의해서만 프로세싱되고, 그리고 서브-이미지(108c)는 측면 골반 AI 프로세서(104k)에 의해서만 프로세싱된다. 일부 실시예에서, 서브-이미지(108)는, 서브-이미지(108)가 나타내는 신체 영역 및/또는 뷰를 식별하기 위해 태깅된다.
도 3은 본원에 설명된 신규한 작업 흐름에 대해 본원의 본 발명의 시스템 또는 방법의 실시예에 의해 수행되는 컴퓨터 동작의 세트에 대한 설명이다. 이미지(302)는 방사선 촬영 이미지 사전 프로세서(106) 및 다음에 식별된 신체 영역/뷰에 대응하는 AI 프로세서(104)의 서브세트를 사용하여 프로세싱된다. 시스템에 의해 식별되는 개개의 신체 영역/뷰의 잘린 이미지(304a, 304b)가 도시된다. 이미지(302)가 괄호(306)에 대응하는 로그 엔트리에 대한 타임 스탬프에 의해 반영되는 바와 같이 "측면 흉부" 이미지 및 "측면 복부" 이미지 둘 모두를 나타내는 것으로 결정하기 위해 방사선 촬영 이미지 사전 프로세서에 의해 걸린 총 시간은 24초였다.
도 4는 방사선 촬영에서 폐에 대한 통상적인 단일 상태 기본 기관 결과(401 내지 407) 다음에 적어도 2개의 단일 상태 기본 기관 결과의 조합의 세트이다. 7개의 단일 상태 기본 기관 결과의 순열 및 조합은 기하급수적인 보고서 템플릿을 발생시킨다.
도 5a-도 5f는 중증도에 기초하여 정상, 최소, 경증, 중등도 및 중증으로 분류되고 별개의 AI 모델 결과 템플릿으로 디스플레이되는 폐에 대한 기본 기관 결과의 세트이다. 상자(501 내지 557)는 특정 AI 보고서 템플릿의 단일 라인 아이템을 나타낸다. 단일 라인 아이템은 "코드" 제목 아래에 나열된 결과와 매치하는 각각의 AI 모델 결과 템플릿에 기초하여 선택된다.
도 6은 방사선 촬영 이미지가 상태 또는 분류에 대해 음성 또는 양성일 확률 결과를 획득하기 위해 방사선 촬영 이미지를 분석하기 위해 배치된 개별 바이너리 모델의 모음(또는 AI 모델의 라이브러리)이다.
도 7은 개의 측면 흉부 방사선 촬영 이미지이고, 이미지는 사전 프로세싱되고, 잘리고, 라벨링되고 식별된다. 방사선 촬영 이미지는 도 6에 디스플레이된 바이너리 AI 모델의 라이브러리에 의해 분석된다.
도 8은 도 7의 이미지와 유사한 일련의 측면 방사선 촬영 이미지를 특정 바이너리 AI 모델, 예컨대, 기관지염 AI 모델을 통해 분석함으로써 획득된 단일 바이너리 AI 모델의 결과의 스크린샷이다.
도 9a-도 9e는 방사선 촬영 이미지의 각각의 AI 모델 결과를 도시하는 스크린샷의 세트이다. 각각의 개별 AI 모델 결과의 이미지별 시각적 모음 및 모든 이미지에 대한 AI 모델 결과 평균은 해당 특정 경우에 대해 평가되었다. 각각의 모델에 대한 평균 평가 결과는 개별 이미지 평가 결과를 조합함으로써 생성되며, 도 9a의 스크린의 상부에 디스플레이된다. 각각의 개별 이미지 및 해당 이미지에 대한 AI 모델 결과가 도 9b-도 9e에 디스플레이된다. 도 9a의 타임 스탬프(901)는, AI 분석이 3분 미만으로 완료되었음을 도시한다. 도 9b는 폐문 주위 침윤물, 폐렴, 기관지염, 간질성, 병든 폐, 저형성 기관, 심장 비대, 폐 결절 및 흉수와 같은 개별 AI 모델에 대한 결과를 도시한다. 각각의 AI 모델에 대해, 라벨은 이미지를 "정상" 902 또는 "비정상" 903으로 식별한다. 또한, AI 모델 단일 상태에 대해 이미지가 "정상" 또는 "비정상"일 확률(904)이 제공된다. 도 9c는 단일의 방사선 촬영 이미지를 분류하고 자름으로써 획득된 4개의 이미지를 도시한다. 타임 스탬프(905-908)는, AI 분석이 2분 미만으로 완료되었음을 도시한다. 도 9d 및 도 9e는 방사선 촬영 이미지, 예컨대, 측면, 등쪽, 전후방, 후전방, 복배측, 등복측 등의 라벨, 확률 및 뷰(909)를 포함하는 방사선 촬영 이미지에 대한 각각의 AI 모델에 대한 결과를 도시한다.
도 10은 JSON(JavaScript Object Notation) 포맷으로 디스플레이되는 AI 경우 결과의 스크린샷이다. JSON 포맷은, 클러스터 결과와 비교하여 평균 평가 결과를 평가하기 위한 테스팅을 위해 AI 평가 테스터로 전송될 수 있는 경우의 모든 모델에 대한 평균 평가 결과를 복사하는 것을 가능하게 한다.
도 11은 사용자가 K-평균 클러스터를 생성할 수 있게 하는 그래픽 사용자 인터페이스의 스크린샷이다. 사용자는 "코드" 아래에 새로운 클러스터에 대한 명칭(1101)을 할당한다. 사용자는 클러스터를 생성하기 위해 다양한 파라미터를 선택한다. 사용자는, 경우를 선택하기 위해 경우 시작 날짜(start Case date)(1102) 및 경우 종료 날짜(1103)를 선택한다. 사용자는, 경우를 선택하기 위해 경우 시작 ID(1104) 및 경우 종료 ID(1105)를 선택한다. 사용자는 클러스터에 포함될 경우의 최대수(1106)를 선택한다. 사용자는 클러스터에 포함될 경우에 대해 개, 고양이, 개 또는 고양이, 인간 등과 같은 종(1107)을 선택한다. 사용자는 클러스터 생성에 포함될 X-레이, CT, MRI, 혈액 분석, 소변 검사 등과 같은 특정 진단 양식(1108)을 선택한다. 사용자는 평가 결과를 특정 수의 클러스터로 분리하는 것을 지정한다. 클러스터의 수는 최소 하나의 클러스터에서, 클러스터에 입력된 경우의 총수에 의해서만 제한되는 클러스터의 최대 수의 범위이다.
도 12는 수치표로 나열된 AI 클러스터 결과의 스크린샷이다. 맨 왼쪽 열(1201)은 경우 ID이고, 다음 9개의 열은 특정 경우 ID에 대한 각각의 바이너리 모델에 대한 평균 평가 결과(1202)이고, 다음 열은 평가 결과의 모음에 기초하여 특정 경우를 포함하는 클러스터 라벨 또는 클러스터 위치(1203)이고, 다음 4개 열은 클러스터 좌표 및 중심 좌표이고, 마지막 숫자는 해당 클러스터의 중심(centroid) 또는 중심(center)의 경우 ID(1204)이다. 가장 매치되는 경우 ID에 대한 방사선 전문의 보고서가 획득된다. 그런 다음, 이 방사선 전문의 보고서는 새로운 AI 경우에 대한 보고서를 생성하는 데 사용된다. 이 프로세스는, 보고서 생성의 기존 반수동 프로세스에 비해, 통합된 AI 모델의 수의 측면에서 무한한 확장성을 허용한다.
도 13은 클러스터링 그래프의 예이다. 클러스터링 그래프는 평균 평가 결과를 사용자 정의 파라미터(1102-1108)에 따라 다수의 상이한 클러스터로 분할함으로써 생성된다. 이 예시적인 클러스터링 그래프는 그래프 상에 플로팅된 단일 컬러의 인근 도트의 모음으로 각각 표현되는 180개의 상이한 클러스터로 분할된다.
도 14는 사용자 정의 파라미터(1102-1108)에 기초하여 생성된 AI 클러스터 모델을 도시하는 사용자 인터페이스의 스크린샷이다. 왼쪽으로부터 제1 열은 클러스터 ID(1401)를 도시하고, 제2 열은 클러스터 모델(1402)의 할당된 명칭을 도시하고, 제3 열은 AI 데이터가 분할된 상이한 클러스터(1403)의 수를 도시하고, 제4 열은 클러스터 데이터 결과에 기초하여 평가된 신체 영역(1404)을 도시한다.
도 15는 스크리닝 평가 구성을 도시하는 사용자 인터페이스의 스크린샷이다. 사용자 인터페이스는 특정 "클러스터 모델"(1502)을 특정 "스크리닝 평가 구성" 명칭(1501)에 할당하는 것을 허용한다. 스크리닝 평가 구성의 상태(1503)는, 구성이 라이브, 테스트 또는 드래프트 모드에 있는지와 같은 구성에 관한 추가 데이터를 제공한다. 라이브 모드는 생성을 위한 것이고, 테스팅 모드는 개발을 위한 것이다.
도 16a-도 16c는 특정 클러스터 모델에 대한 세부사항을 도시하는 사용자 인터페이스의 스크린샷의 세트이다. 도 16a는 클러스터 모델(1601) 흉부(97)에 대한 데이터를 디스플레이하는 사용자 인터페이스를 도시한다. 클러스터에 포함된 AI 평가 분류기 유형(1602)이 나열된다. 클러스터 모델에 특정한 종 또는 종의 모음(1603)이 디스플레이된다. 클러스터를 생성하는 데 사용된 평가 결과를 갖는 경우의 최대수(1604)가 디스플레이된다. 사용자 인터페이스는 클러스터를 생성하는 데 사용된 경우에 대한 시작 및 종료 날짜(1605)를 도시한다. 수치 표 포맷으로 클러스터를 도시하는 도 12의 CSV(comma separated value) 파일에 대한 링크(1606)가 디스플레이된다. 파라미터(1602-1605)로부터 생성된 서브-클러스터(1608)의 일부가 나열된다. 이 클러스터 그룹에 대해 생성된 서브 클러스터(1609)의 총수가 디스플레이된다. 각각의 서브 클러스터에 대해, 중심 경우 ID(1610)가 디스플레이된다. 클러스터를 구축하기 위한 로그에 대한 링크(1607)가 디스플레이된다. 도 16b는 클러스터 모델(1601) 흉부(97)에 대해 생성된 로그의 스크린샷이다. 도 16c는 척추 심장 점수, 폐문 주위 침윤물, 폐렴, 기관지염, 간질, 및 이환 폐를 포함하는 AI 평가 모델의 일부의 스크린샷이다.
도 17a-도 17d는 AI 평가 테스터를 위한 사용자 인터페이스의 스크린샷의 세트이다. 도 17a는, AI 데이터세트에서 만들어진 경우 클러스터로부터의 K-평균 클러스터링을 사용하여 클러스터에서 가장 가깝게 매치된 경우/표본 결과 매치를 분석하기 위해 도 10의 JSON 포맷의 모든 모델에 대한 평균 평가 결과의 값이 임포트되는(1701) 사용자 인터페이스(AI 평가 테스터)를 도시한다. 도 17b는 도 10의 JSON 포맷의 모든 모델에 대한 평균 평가 결과 값이 AI 평가 테스터로 임포트되는 것을 도시한다. 도 17c 및 도 17d는 특정 경우에 대해 임포트된 평가 결과를 도시한다. 도 17d는, 스크리닝 평가 유형(1702) 및 스크리닝 평가 유형과 연관된 클러스터 모델(1703)이 사용자에 의해 선택되는 것을 도시한다. 테스트(1704)를 클릭함으로써, 도 10에 디스플레이된 평가 결과가 분석되고 클러스터에서 가장 가깝게 매치된 경우/표본 결과 매치에 할당된다. 표본 결과 매치 클러스터에 대한 가장 가까운 방사선 전문의 보고서, 상위 순위 방사선 전문의 문장 및 중심 방사선 전문의 보고서가 수집되어 디스플레이된다.
도 18a-도 18d는 사용자 인터페이스의 스크린샷의 세트이다. 도 18a 및 도 18b는 AI 평가 테스터에서 테스트(1704)를 클릭한 후 디스플레이되는 결과를 도시하는 사용자 인터페이스의 스크린샷의 세트이다. 이전에 생성된 클러스터 결과에 기초하여 평가 결과에 가장 가까운 방사선 전문의 보고서로부터의 진단 및 결론 결과(1801)가 디스플레이된다. 평가 결과(1802)는 평가 결과의 클러스터 내의 방사선 전문의 보고서에서 선택되고, 특정 클러스터의 결과 섹션에서 특정 문장의 출현율에 기초하여 필터링된다. 클러스터 내의 방사선 전문의 보고서로부터의 권장사항(1803)은 이 클러스터의 권장사항 섹션에 있는 각각의 문장 또는 유사한 문장의 출현율에 기초하여 선택된다. 인터페이스(1804)는 클러스터의 방사선 전문의 보고서를 도시하고, 인터페이스(1805)는 클러스터의 중심의 방사선 전문의 보고서를 도시한다. 도 18c는, 특정 클러스터 결과에 기초하여 방사선학 보고서에서 문장의 순위를 나열하는 사용자 인터페이스의 스크린샷이다. 문장은 결론 문장(1806), 결과 문장(1807), 권장사항 문장(1808)을 포함한다. 도 18d는 사용자가 특정 문장을 추가하거나 제거하여 결과 섹션(1809), 결론 섹션(1810) 또는 권장사항 섹션(1811)을 편집함으로써 방사선학 보고서를 편집하는 것을 허용하는 사용자 인터페이스의 스크린샷이다.
도 19는 새로운 경우에 대한 방사선학 보고서를 생성하는 데 사용되는 가장 가까운 매치 데이터세트 경우에 대한 방사선 전문의 보고서이다. AI 평가 테스터는, 클러스터 내의 AI 평가 결과와 새로운 이미지 AI 평가 결과 사이의 평가 결과의 유사성 및 선택된 클러스터의 중심으로부터의 방사선 전문의 보고서에 기초하여, 현재 AI 평가 결과에 가장 가까운 방사선 전문의 보고서를 디스플레이한다.
도 20a 및 도 20b는 방사선 촬영의 세트이다. 도 20a는 분석되고 있는 새롭게 수신된 방사선 촬영이고, 도 20b는 클러스터 모델에 기초하여 AI 평가의 결과에 의해 가장 가까운 매치로서 선택된 방사선 촬영이다. 클러스터 매치는 이미지 매치 결과보다는 AI 평가 결과에 기초한다.
도 21a 및 도 21b는 AI 방사선 촬영 프로세싱 유닛의 구성요소의 개략도의 세트이다. 도 21a는, 방사선 촬영 기계(2101)가 방사선 촬영 이미지를 데스크톱 애플리케이션(2102) ― 이는 이미지를 웹 애플리케이션(2103)으로 전달함 ― 으로 전송하는 것을 도시하는 개략도이다. 컴퓨터 비전 애플리케이션(2104) 및 웹 애플리케이션은 이미지를 이미지 웹 애플리케이션 ― 이는 이미지를 AI 평가(2105)에 전달함 ― 에 전달한다. 도 21b는 이미지 매치 AI 프로세싱의 구성요소의 개략도이다. 수의학 병원의 LION(Local Interface to Online Network)(2106)에 업로드된 이미지는, 서브-이미지를 획득하기 위해 이미지를 자동 회전하고 자동으로 자르는 VetConsole(2107)에 전달된다. 서브-이미지는 3개의 위치로 전달된다. 제1 위치는 이미지를 분류하기 위한 VetAI 콘솔(2108)이다. 제2 위치는 이미지 매치 데이터베이스에 보고서들과 함께 서브-이미지를 추가하는 이미지 매치 콘솔(2109)이다. 제3 위치는, 새로운 이미지 및 대응하는 경우 ID 번호를 저장하는 이미지 데이터베이스(2110)이다. 이미지 매치 콘솔(2109)은 추가 프로세싱을 위해 이미지를 정제된 이미지 매치 콘솔(2111) 또는 VetImage 편집기 콘솔(2112)에 전달한다.
도 22a 및 도 22b는 이미지 매칭을 위한 서버 아키텍처의 개략도의 세트이다. 도 22a는 현재 AI 방사선 촬영 분석에 사용되는 서버 아키텍처의 개략도이다. 도 22b는 방사선 촬영 이미지를 사전 프로세싱하는 것, AI 진단 프로세서를 사용하여 이미지를 분석하는 것 및 클러스터링 결과에 기초하여 보고서를 준비하는 것을 포함하는 AI 방사선 촬영 분석을 위한 서버 아키텍처의 개략도이다. PC(2201)로부터의 이미지는, 이미지를 V2 클라우드 플랫폼(2203)으로 전달하는 NGINX 로드 밸런싱 서버(2202)로 전달된다. 그런 다음, 이미지는 이미지 매치 서버(2204), VetImages 서버(2205) 및 데이터베이스 마이크로소프트 SQL 서버(2207)로 전달된다. VetImages 서버는 이미지를 VetAI 서버(2206), 데이터베이스 마이크로소프트 SQL 서버(2207) 및 데이터스토어 서버(2208)로 전달한다.
도 23a-도 23f는 피험자에 대해 획득된 이미지에 대한 인공 지능 자동 자르기 및 평가 작업 흐름의 일련의 개략도이다. 작업 흐름은 작업을 수행하는 데 사용되는 플랫폼, 이를테면, 병원, V2 최종 사용자 애플리케이션, VetImages 웹 애플리케이션, VetConsole 파이썬 스크립팅 애플리케이션, VetAI 기계 학습 애플리케이션, ImageMatch 배향 파이썬 애플리케이션 및 ImageMatch 검증 파이썬 애플리케이션에 기초하여 6개 열로 분류된다. 또한, 작업은 작업을 수행하는 프로세서, 이를테면, 서브-이미지 프로세서, 평가 프로세서 및 합성 프로세서에 기초하여 상이한 회색 음영으로 음영 처리된다. V2 애플리케이션은, 사용자가 애플리케이션과 상호작용하고 분석될 이미지를 업로드하는 최종 사용자 애플리케이션이다. VetImages 애플리케이션은 이미지를 프로세싱하여 AI 결과 또는 AI 보고서 또는 평가 결과를 생성한다. VetConsole은, 이미지 품질을 개선하고 이미지를 일괄로 프로세싱하는 파이썬 스크립팅 앱이다. VetAI는, AI 모델을 생성하고 시스템에 입력되는 이미지를 평가하는 기계 학습 애플리케이션이다. ImageMatch 배향은, 입력된 이미지와 유사한 자신의 데이터베이스 내의 정확하게 배향된 이미지에 대한 검색을 수행하는 파이썬 앱이다. ImageMatch 검증은, 입력된 이미지와 유사한 데이터베이스 내의 정확하게 분류된 이미지에 대한 검색을 수행하는 파이썬 앱이다. 서브-이미지 프로세서는 도 23a-도 23c에 열거된 작업(2301-2332)을 수행한다. 평가 프로세서는 도 23d 및 도 23e 및 도 23f의 일부에 나열된 작업(2333-2346, 2356 및 2357)을 수행한다. 합성 프로세서는 도 23f 및 도 23e의 일부에 나열된 작업(2347-2355 및 2358-2363)을 수행한다.
본원에서 본 발명의 양상은, 수신된 이미지가 특정 배향(측면도 등)의 특정 신체 영역을 포함하는지 여부를 결정하는 것, 이미지를 적절하게 자르는 것, 및 이미지와 타겟팅된 AI 모델을 비교함으로써 잘린 이미지를 평가하는 것을 포함하는 몇몇의 분석 단계를 갖는 신규한 시스템을 설명한다. 다양한 실시예에서, 새롭게 수신된 이미지는 사전 프로세싱되어, 사용자 입력 또는 개입 없이, 이미지에 표현되는 하나 이상의 신체 영역 및/또는 뷰를 자동으로 식별하고 라벨링한다. 일부 실시예에서, 이미지는, 식별된 각각의 신체 영역/뷰에 대응하는 하나 이상의 서브-이미지를 생성하도록 자동으로 잘린다. 일부 실시예에서, 이미지 및/또는 서브-이미지는, 시스템의 나머지 AI 프로세서를 제외하고, 식별된 신체 영역/뷰를 평가하도록 구성된 타겟팅된 AI 프로세서로 선택적으로 프로세싱된다.
일부 실시예에서, 방사선 촬영 이미지 사전 프로세서(106)는 추가적으로 또는 대안적으로, 이미지(102) 내에서 식별된 신체 영역 및/또는 뷰를 식별하도록 전체 이미지(102)를 태깅하고, 그런 다음 전체 이미지(102)를 적용된 태그에 대응하는 해당 AI 프로세서(104)에만 전달한다. 따라서, 그러한 실시예에서, AI 프로세서(104)는, 하나 이상의 훈련된 기계 학습 모델을 사용하거나 다른 방식으로 추가 분석을 위해 관련 영역에 초점을 맞추기 위해 이미지(102)를 자르는 역할을 한다. 일부 실시예에서, 특정 신체 영역/뷰에 대응하는 것으로 이미지(102)를 태깅하는 것 외에도, 방사선 촬영 이미지 사전 프로세서(106)는 추가적으로, 동물의 부분을 실제로 나타내는 이미지의 영역에 주로 초점을 맞추고 해당 영역 주변의 흑색 경계를 최대한 제거하기 위해 이미지(102)를 자른다. 일부 실시예에서, 그러한 자르기 단계를 수행하는 것은, 적용된 태그에 대응하는 특정 신체 영역/뷰를 평가하기 위해 후속적으로 배치되는 AI 프로세서(들)(104)에 의한 추가 자르기 및/또는 다른 프로세싱을 가능하게 한다.
방사선 촬영 이미지 사전 프로세서(106)는 여러 방식 중 임의의 방식으로 구현된다. 일부 실시예에서, 예컨대, 방사선 촬영 이미지 사전 프로세서(106)는 특정 신체 영역을 나타내는 하나 이상의 특징을 식별하고, 이러한 특징을 포함하는 해당 영역 및/또는 실제로 동물을 나타내는 해당 영역에 초점을 맞추기 위해 이미지(102)를 자동으로 자르기 위한 하나 이상의 알고리즘을 사용한다. 일부 구현에서, 이러한 알고리즘은, 예컨대, OpenCV-Python 라이브러리의 요소를 사용하여 구현된다. OpenCV(Open Source Computer Vision)에 대한 URL(Uniform Resource Locator)을 사용하여 "OpenCV" 라이브러리에 대한 설명뿐만 아니라 이와 관련된 설명서 및 지침서를 찾을 수 있다. URL을 통해 액세스 가능한 자료의 전체 내용은 인용에 의해 본원에 포함된다. 일부 실시예에서, 방사선 촬영 이미지 사전 프로세서(106)는 이미지(102) 및/또는 그의 하나 이상의 잘린 서브-이미지(108)와 특정 신체 영역의 특정 뷰를 나타내는 것으로 알려진 저장된 이미지의 저장소를 비교하기 위해 이미지 매칭 기술을 추가적으로 또는 대안적으로 사용하고, 이미지(102) 및/또는 서브-이미지(108)는 저장된 이미지들 중 하나 이상과의 가장 강한 상관관계가 발견되는 신체 영역/뷰를 나타내도록 결정된다. 일부 실시예에서, 신체 영역/뷰 식별을 추가적으로 또는 대안적으로 수행하도록 훈련된 AI 프로세서는 방사선 촬영 이미지 사전 프로세서(106) 내에서 사용된다.
일부 실시예에서, 본원에 설명된 하나 이상의 AI 프로세서는 TensorFlow 플랫폼을 사용하여 구현된다. TensorFlow 플랫폼에 대한 설명, 설명서 및 지침서는 TensorFlow 웹사이트를 사용하여 찾을 수 있다. 웹사이트를 통해 액세스 가능한 자료의 전체 내용은 인용에 의해 본원에 포함된다. AI 프로세서를 구축하기 위한 TensorFlow 플랫폼 및 방법은 Hope, Tom 등의 Learning TensorFlow: A Guide to Building Deep Learning Systems. O'Reilly., 2017에 완전히 설명되어 있으며, 이로써 이는 전체 내용이 인용에 의해 본원에 포함된다.
도 3에 도시된 예에서, 방사선 촬영 이미지 사전 프로세서(106)에 의해 수행된 사전 프로세싱은 (1) 선택적 "일반" 자동 자르기 단계(괄호(306)로 표시된 처음 5개의 로그 엔트리에 반영됨) ― 이에 따라 이미지(302)는 동물의 일부를 나타내는 이미지의 영역에 주로 초점을 맞추고 해당 영역 주변의 흑색 경계를 가능한 많이 제거하도록 초기에 처음에 잘렸음 ― , (2) "분류된" 자동 자르기 단계(괄호(306) 내에서 6 내지 9의 로그 엔트리에 반영됨) ― 이에 따라, 예컨대, OpenCV-Python 라이브러리의 요소를 사용하여 특정 신체 영역/뷰를 식별하고 동일한 것에 초점을 맞추도록 이미지(302)를 자르기 위해 초기 노력이 이루어짐 ― , 및 (3) "이미지 매칭" 단계(괄호(306)로 표시된 마지막 3개의 로그 엔트리에 반영됨) ― 그에 따라 이미지(302) 및/또는 그의 하나 이상의 잘린 서브-이미지(304a-b)가 특정 신체 영역의 특정 뷰를 나타내는 것으로 알려진 저장된 이미지의 저장소와 비교되었음 ― 를 포함했다. 대응하는 타임스탬프에 의해 표시된 바와 같이, 일반 자동 자르기 단계는 2초에 완료되는 것으로 관찰되었고, 분류된 자동 자르기 단계는 3초에 완료되는 것으로 관찰되었고, 이미지 매칭 단계는 19초에 완료되는 것으로 관찰되었다.
도 3에서 괄호(308a)로 표시된 로그 엔트리에 의해 도시된 바와 같이, 이미지(302)가 동물의 흉부의 측면도를 포함하는지 여부를 결정하기 위해 측면 흉부 AI 프로세서(104a)에 의해 소요된 시간은 4초였다. 유사하게, 괄호(308b)로 표시된 로그 엔트리에 의해 표시된 바와 같이, 측면 복부 AI 프로세서(104c)는, 4초 내에 이미지(302)가 동물의 복부의 측면도를 포함하는지 여부를 결정했다.
대신에 시스템이 방사선 촬영 이미지 사전 프로세서(106)에 의해 식별된 신체 부분/뷰에 대응하는 단지 2개의 AI 프로세서가 아니라 모든 가능한 AI 프로세서(104a-1)를 사용하여 새롭게 수신된 이미지(302)를 프로세싱할 필요가 있었다면, AI 프로세서에 의한 시간은 분석을 완료하는 데 상당히 더 오래 걸렸을 것이고 그리고/또는 상당히 더 많은 프로세싱 자원을 소비했을 것이다. 예컨대, 30개의 상이한 AI 프로세서(104)를 포함하는 시스템에서, 이미지화된 동물의 상태(들)를 결정하기 위해 적절한 AI 모델을 간단히 식별하기 위한 프로세싱은 AI 프로세서(104)에 의한 적어도 120 초의 프로세싱 시간(즉, 프로세서당 4초에서 30개의 AI 프로세서)이였을 것이고, 이미지의 다수의 가능한 배향이 AI 프로세서(104) 각각에 의해 고려될 때 훨씬 더 길어질 가능성이 있다. 한편, 방사선 촬영 이미지 사전 프로세서(106)를 사용함으로써, 관련 AI 모델의 식별은 AI 프로세서(104)의 단지 8초의 프로세싱 시간과, 방사선 촬영 이미지 사전 프로세서(106)에 의한 24초의 사전 프로세싱 시간의 합인 것으로 관찰되었다.
인공 지능(AI) 프로세서, 예컨대, 훈련된 신경 네트워크를 사용하여 동물의 방사선 촬영 이미지를 프로세싱하여, 이미지화된 동물이 특정 질병을 가질 확률을 결정하는 것이 유용하다. 일반적으로, 별개의 AI 프로세서는 개개의 신체 영역(예컨대, 흉부, 복부, 어깨, 앞다리, 뒷다리 등) 및/또는 각각의 이러한 신체 영역의 특정 배향(예컨대, VD(ventral dorsal) 뷰, 측면도 등)을 평가하는 데 사용되고, 각각의 이러한 AI 프로세서는, 개개의 신체 영역 및/또는 배향에 대해, 해당 신체 영역과 관련하여 특정 상태가 존재할 확률을 결정한다. 이러한 각각의 AI 프로세서는 이미지화된 영역 내의 개개의 상태 또는 기관을 평가하기 위해 많은 수의 훈련된 모델을 포함할 수 있다. 예컨대, 동물의 흉부의 측면도와 관련하여, AI 프로세서는, 동물이 폐문 주변 침윤, 폐렴, 기관지염, 폐 결절 등과 같은 폐와 관련된 특정 상태를 가질 확률을 결정하기 위해 상이한 모델을 사용할 수 있다.
폐렴 또는 기흉의 존재 또는 부재와 같은 단일 질병 상태의 검출은 현재 방사선학 AI에서 실행된다. 현재의 방사선학 AI에 의한 단일 질병 검출과 대조적으로, 인간 방사선 전문의는 여러 상태의 존재 또는 부재를 동시에 평가함으로써 전체론적 접근 방식으로 방사선 촬영을 분석한다. 현재 AI 프로세스의 한계는 각각의 특정 상태에 대해 별개의 AI 검출기를 사용해야 한다는 것이다. 그러나, 상태의 결합은 더 넓은 질병의 진단을 초래한다. 예컨대, 일부 경우에, 방사선 촬영 이미지에서 얻은 하나 이상의 진단 결과는 여러 광범위한 질병에 의해 발생된다. 피험자의 방사선 촬영에 존재하는 더 광범위한 질병을 결정하는 것은 감별 진단(differential diagnosis)으로 알려진 프로세스에서 추가 진단 결과를 사용해야 한다. 이러한 추가 진단 결과는, 방사선 촬영 이미지 외에, 혈액 검사, 환자 이력, 생검 또는 다른 테스트 및 프로세스로부터 추출된다. 현재 AI 프로세스는 단일 진단 결과에 초점을 맞추고, 감별 진단이 필요한 광범위한 질병을 식별할 수 없다. 광범위한 질병을 진단하기 위해 여러 진단 결과를 결합할 수 있는 새로운 AI 프로세스가 본원에 설명된다.
AI 프로세스는 현재, 인간 피험자의 방사선 촬영 이미지에서 통상적인 바와 같이, 특정 영역에 관련된 제한된 방사선 촬영 이미지를 사용한다. 대조적으로, 수의학 방사선학은 정기적으로 단일 방사선 촬영 내에 여러 신체 영역을 포함한다. 연구에 포함된 모든 신체 영역을 평가하고 수의학 방사선학에서 예상되는 더 광범위한 평가를 제공하는 새로운 AI 평가 프로세스가 본원에 설명된다.
단일 질병 프로세스의 AI 보고서를 위한 현재의 종래의 작업 흐름은 도 4에 도시된다. 도 4에 도시된 종래의 단일 상태 보고는 방사선 촬영의 감별 진단에 불충분하다. 또한, 평가 결과의 각각의 결합을 위해 개별화된 규칙을 사용하는 것은 보고서를 생성하는 데 있어서 비효율적이며, 수의학 방사선 전문의가 예상하는 보고 표준을 충족시킬 수 없다. 단일 질병 프로세스의 경우에도, 특정 상태의 중증도, 예컨대, 정상, 최소, 경증, 중등도 및 중증의 결정은 기하급수적으로 많은 AI 모델 결과 템플릿을 발생시킨다. AI 모델 진단 결과의 모음으로부터 단일 보고서 템플릿을 생성 및 선택하는 프로세스는 AI 모델의 수에 따라 기하급수적으로 확장된다. 단일 질병 프로세스에 대한 AI 모델의 수는 도 5a-도 5f에 예시된 바와 같이 5개의 상이한 중증도에 대한 57개의 상이한 템플릿을 발생시킨다. 따라서, AI 모델 진단 결과의 각각의 조합에 대해 수동으로 생성된 보고서는 함께 해석되는 많은 AI 모델에 적합하게 확장되지 않는다.
AI 분석을 위한 자동화 시스템
본원에는 피험자 동물의 이미지를 분석하는 신규 시스템이 설명되며, 시스템은: 피험자의 이미지를 수신하는 수신기; 서브-이미지를 획득하기 위해 이미지에서 적어도 하나의 신체 영역을 자동으로 식별하고, 자르고, 배향하고, 라벨링하기 위한 적어도 하나의 서브-이미지 프로세서; 적어도 하나의 상태의 존재에 대해 서브-이미지를 평가하기 위한 적어도 하나의 인공 지능 평가 프로세서; 적어도 하나의 서브-이미지 평가 및 선택적으로 비-이미지 데이터로부터 전체 결과 보고서를 생성하기 위한 적어도 하나의 합성 프로세서; 및 서브-이미지 및 전체 합성된 진단 결과 보고서를 디스플레이하기 위한 디바이스를 포함한다.
시스템은, (1) 일반적으로 수동으로 또는 사용자의 도움으로 발생하는 작업인 서브-이미지 추출을 서브-이미지 프로세서를 사용하여 자동화하고 (2) 합성 프로세서를 사용하여 평가 결과 및 다른 비-이미지 데이터포인트의 대규모 모음 간결하고 응집력 있는 전체 보고서로 합성함으로써 수의학 진단 이미지 분석에서 상당한 발전을 제공한다.
경우는 피험자 동물의 하나 이상의 이미지 모음을 포함하고, 비-이미지 데이터 포인트, 이를테면, 연령, 성별, 위치, 병력 및 다른 의료 검사 결과를 포함할 수 있지만 이에 제한되지 않는다. 시스템의 실시예에서, 각각의 이미지는 다수의 신체 영역의 다양한 뷰의 많은 서브-이미지를 생성하는 다수의 서브-이미지 프로세서로 전송된다. 각각의 서브-이미지는 여러 평가 프로세서에 의해 프로세싱되어, 여러 신체 영역에 걸쳐 다양한 상태, 결과 또는 다른 특징에 대한 다수의 평가 결과를 생성한다. 합성 프로세서는, 전체 합성된 진단 결과 보고서를 생성하기 위해 평가 결과 및 비-이미지 데이터 포인트의 전체 또는 서브세트를 프로세싱한다. 시스템의 실시예에서, 다수의 합성 프로세서는 평가 결과 및 비-이미지 데이터 포인트의 상이한 서브세트로부터 다수의 합성된 진단 결과 보고서를 생성한다. 이러한 진단 보고서는 최종 전체 합성된 진단 결과 보고서를 생성하기 위해 보조 데이터와 함께 조합된다.
시스템의 실시예에서, 각각의 합성 프로세서는 신체 영역, 예컨대, 흉부 또는 복부에 대응하는 서브-이미지 및 비-이미지 데이터 포인트의 서브세트 상에서 실행된다. 각각의 합성된 진단 보고서는, 수의학 방사선학의 일반적인 관행과 같이, 신체 영역을 포함한다. 전체 합성된 진단 결과 보고서는 피험자에 대한 설명 데이터, 예컨대, 명칭, 연령, 주소, 품종 및 각각의 합성 프로세서의 출력에 대응하는 다수의 섹션, 예컨대, 흉부 진단 결과 섹션 및 복부 진단 결과 섹션을 포함한다.
시스템의 실시예에서, 피험자는 포유류, 파충류, 어류, 양서류, 척색동물, 및 조류로부터 선택된다. 포유류는 개, 고양이, 설치류, 말, 양, 소, 염소, 낙타, 알파카, 물소, 코끼리 및 인간이다. 피험자는 애완동물, 농장동물, 고가 동물원동물, 야생 동물, 연구 동물이다.
시스템에 의해 수신된 이미지는 X-레이(방사선 촬영), 자기 공명 영상(MRI), 자기 공명 혈관조영술(MRA), 컴퓨터 단층촬영(CT), 형광투시, 유방촬영술, 핵의학, 양전자 방출 단층촬영(PET) 및 초음파와 같은 방사선 검사로부터의 이미지이다. 일부 실시예에서, 이미지는 사진이다.
시스템의 일부 실시예에서, 피험자의 이미지를 분석하는 것은 약 20분 미만, 약 10분 미만, 약 5분 미만, 약 1분 미만, 약 30분 미만 초, 약 20초 미만, 약 15초 미만, 약 10초 미만, 또는 약 5초 미만에 전체 합성된 결과 보고서를 생성하고 디스플레이한다.
서브-이미지 프로세서
서브-이미지 프로세서는, 서브-이미지를 자동으로 신속하게 획득하기 위해 이미지에서 적어도 하나의 신체 영역을 배향하고, 자르고, 라벨링한다. 서브-이미지 프로세서는 특정 뷰에 따라 이미지를 표준 배향으로 회전함으로써 이미지를 배향한다. 배향은 수의학 방사선 촬영 표준 중단 프로토콜에 의해 결정된다. 서브-이미지 프로세서는, 하나 이상의 신체 영역을 묘사하는 경계를 이미지에서 식별하고 식별된 경계 내에 이미지 데이터를 포함하는 서브-이미지를 생성함으로써 이미지를 자른다.
일부 실시예에서, 경계는 일관된 종횡비를 갖는다. 대안적인 실시예에서, 경계는 일관된 종횡비가 아니다. 서브-이미지 프로세서는 서브-이미지 내에 포함된 각각의 신체 영역의 경계 및/또는 위치를 보고함으로써 서브-이미지를 라벨링한다. 신체 영역은, 예컨대, 흉부, 복부, 척추, 앞다리, 왼쪽 어깨, 머리, 목 등이다. 일부 실시예에서, 서브-이미지 프로세서는 수의학적 방사선 촬영 표준 신체 영역 라벨에 따라 서브-이미지를 라벨링한다.
서브-이미지 프로세서는, 하나 이상의 서브-이미지를 배향하고 자르고 라벨링하기 위해 복수의 라이브러리 중 적어도 하나 내의 복수의 참조 이미지와 그 이미지를 매치시킨다. 복수의 라이브러리 각각은 동물 종에 특정적인 또는 비특정적인 개개의 복수의 참조 이미지를 포함한다.
서브-이미지 프로세서는, 이미지를 배향하고, 자르고 그리고/또는 라벨링하기 전에, 이미지의 서명을 추출하고, 이로써 이미지 또는 서브-이미지를 유사한 참조 이미지와 빠르게 매치시키게 할 수 있다. 서브-이미지 프로세서는 약 20분 미만, 10분 미만, 약 5분 미만, 약 1분 미만, 약 30초 미만, 약 20초 미만, 약 15초 미만, 약 10초 미만, 또는 약 5초 미만으로 서브-이미지를 획득하기 위해 이미지를 프로세싱한다.
평가 프로세서
인공 지능 평가 프로세서는 상태, 결과 또는 다른 특징의 존재 또는 부재에 대해 서브-이미지를 평가한다. 평가 프로세서는 상태, 결과 또는 특징의 존재 확률을 보고한다.
평가 프로세서는 서브-이미지로부터 질병을 진단한다. 평가 프로세서는 비의료적 특징, 예컨대, 피험자의 적절한 포지셔닝에 대해 서브-이미지를 평가한다. 평가 프로세서는 피험자의 포지셔닝을 정정하기 위한 명령을 생성한다.
일반적으로, 평가 프로세서 훈련은 상태, 결과 또는 다른 특징과 관련하여 음성 제어/정상 및 양성 제어/비정상 훈련 세트를 포함한다. 양성 제어/비정상 훈련 세트는 일반적으로, 상태, 결과 또는 다른 특징의 존재가 평가된 경우를 포함한다. 음성 제어/정상 훈련 세트는, 상태, 결과 또는 다른 특징의 부재가 평가되었고 그리고/또는 해당 경우가 완전히 정상인 것으로 간주되는 경우를 포함한다. 일부 실시예에서, 음성 제어/정상 훈련 세트는, 관심 대상과 구별되는 다른 상태, 결과 또는 특징의 존재가 평가된 경우를 포함한다. 따라서, 평가 프로세서는 강건하다.
평가 프로세서는 약 20분 미만, 약 10분 미만, 약 5분 미만, 약 1분 미만, 약 30초 미만, 20초 미만, 약 15초 미만, 약 10초 미만, 또는 약 5초 미만으로 상태의 존재를 보고하기 위해 서브-이미지를 프로세싱한다.
합성 프로세서
합성 프로세서는 평가 프로세서로부터 적어도 하나의 평가를 수신하고, 포괄적인 결과 보고서를 생성한다. 합성 프로세서는 비-이미지 데이터 포인트, 예컨대, 종, 품종, 연령, 중량, 위치, 성별, 혈액, 소변 및 대변 검사를 포함한 의료 검사 이력, 방사선학 보고서, 실험실 보고서, 조직학 보고서, 신체 검사 보고서, 미생물학 보고서 또는 다른 의학적 및 비의학적 검사 또는 결과를 포함할 수 있다. 피험자의 경우 표본 결과는 적어도 하나의 이미지, 연관된 평가 프로세서 결과 및 0개 이상의 최신 비-이미지 데이터 포인트의 모음을 포함한다.
방법의 실시예에서, 합성 프로세서는 전체 결과 보고서로서 출력할 미리 작성된 템플릿을 선택하기 위해 경우 표본 결과를 사용한다. 템플릿은, 맞춤화된 전체 결과 보고서를 제공하기 위해 경우 표본 결과 요소에 기초하여 자동으로 맞춤화된다.
합성 프로세서는 피험자의 경우 표본 결과를 클러스터 그룹에 할당한다. 클러스터 그룹은 다른 피험자로부터의 경우 표본 결과의 참조 라이브러리로부터의 다른 유사한 경우 표본 결과를 포함한다. 일부 경우에, 클러스터 그룹은 부분적인 경우 표본 결과, 예컨대, 결과 보고서를 포함한다. 참조 라이브러리는 복수의 동물 종 중 적어도 하나로부터 알려진 질병 및 상태를 갖는 경우 표본 결과를 포함한다. 새로운 경우 표본 결과가 참조 라이브러리에 추가되어, 시간이 지남에 따라 합성 프로세서 성능이 향상된다. 합성 프로세서는 클러스터 그룹 내에서 각각의 경우 표본 결과의 위치를 나타내는 좌표를 할당한다.
단일 전체 결과 보고서는 전체 클러스터 그룹에 할당되고, 전체 결과 보고서는 합성 프로세서에 의해 피험자에 할당된다. 일부 실시예에서, 여러 전체 결과 보고서는, 어떠한 연관된 경우 표본 결과 없이, 클러스터 내의 다양한 경우 표본 결과 및/또는 클러스터 중심과 같은 클러스터 내의 다양한 고객 좌표에 할당된다. 피험자의 경우 표본 결과의 좌표는 가장 가까운 또는 가장 가깝지 않은 경우 표본 결과 또는 연관된 전체 결과 보고서를 갖는 고객 좌표까지의 거리를 계산하는 데 사용되며, 그런 다음 이는 피험자에 할당된다.
전체 결과 보고서 또는 보고서들은 전문 인간 평가자에 의해 작성된다. 대안적인 실시예에서, 전체 결과 보고서 또는 보고서들은 기존의 방사선학 보고서로부터 생성된다. 기존 방사선학 보고서는 명칭, 날짜, 이전 연구에 대한 참조 등과 같이 보편적으로 적용할 수 없는 내용을 제거하기 위해 NLP(Natural Language Processing)에 의해 수정되어, 적절한 전체 결과 보고서를 생성한다. 문장이 클러스터 내 출현율 임계값을 충족하지 않으면, 전체 결과 보고서에 포함된 문장이 제거되거나 편집된다.
합성 프로세서는 피험자에 대해 할당된 전체 결과 보고서를 출력하고, 이로써 피험자에서 하나 이상의 결과, 질병 및/또는 상태의 존재를 식별하고 진단한다. 클러스터 그룹은 K-평균 클러스터링, 평균 시프트 클러스터링, 밀도 기반 공간 클러스터링, EM(Expectation-Maximization) 클러스터링 및 응집형 계층적 클러스터링으로부터 선택된 클러스터링 툴을 사용하여 경우 표본 결과의 참조 라이브러리로부터 설정된다.
합성 프로세서는 약 20분 미만, 약 10분 미만, 약 9분 미만, 약 8분 미만, 약 7분 미만, 약 6분 미만, 약 5분 미만, 약 4분 미만, 약 3분 미만, 약 2분 미만, 약 1분 미만, 약 30초 미만, 약 20초 미만, 약 15초 미만, 약 10초 미만, 또는 약 5초 미만으로 전체 결과 보고서를 생성하기 위해 경우 표본 결과를 프로세싱한다.
클러스터링은 각각의 예의 특징에서의 유사성에 의해, 라벨링되지 않은 예를 그룹화하는 AI 기술이다. 비-방사선 촬영 및/또는 비-AI 진단 결과 외에, AI 프로세서 진단 결과에 기초하여 환자 연구를 클러스터링하는 프로세스가 본원에 설명된다. 클러스터링 프로세스는 유사한 진단 또는 출력 보고서를 공유하는 보고서를 그룹화하고, 이로써 확장 가능한 방식으로 상태 또는 더 광범위한 질병의 전체적인 검출을 가능하게 한다.
방사선학 경우를 정확하게 진단하고 보고하기 위해 방사선 촬영 이미지 및 보고서 라이브러리 데이터베이스에 대한 AI 예측 이미지 분석 및 새롭게 수신된 이미지 평가의 여러 방법을 결합하는, 여러 분석 단계를 갖는 새로운 시스템 및 방법이 본원에 설명된다. 다양한 실시예에서, 본원에 설명된 신규 시스템은 뷰 및 영역 또는 각각의 방사선 촬영 이미지에 의해 커버되는 영역을 자동으로 검출한다.
일부 실시예에서, 시스템은, AI 평가 이전에 방사선 촬영 이미지 사전 프로세서(106)를 사용하여 이미지 노출을 정규화하고 그리고/또는 서브-이미지를 자르고, 회전하고, 뒤집고, 생성하기 위해 새롭게 수신된 방사선 촬영 이미지(102)를 사전 프로세싱한다. 하나 초과의 신체 영역 또는 뷰가 식별되면, 시스템은, 식별된 개개의 영역 및 뷰에 대응하는 하나 이상의 서브-이미지(108a, 108b 및 108c)를 생성하기 위해 이미지(102)를 추가로 자른다. 일부 실시예에서, 시스템은, 식별된 영역/뷰를 평가하도록 구성된 타겟 AI 프로세서로 이미지 및/또는 서브-이미지를 선택적으로 프로세싱하여 전달한다. 이미지(108a)는 측면 흉부 AI 프로세서인 AI 프로세서(104a)에만 전달된다. 이미지(108b)는 측면 복부 AI 프로세서인 AI 프로세서(104c)에만 전달된다. 이미지(108c)는 측면 골반 AI 프로세서인 AI 프로세서(104k)에만 전달된다. 이미지는, 타겟팅되지 않은 AI 프로세서 또는 시스템의 나머지 AI 프로세서로 전달되지 않는다. 예컨대, 도 7의 흉부 이미지는 심부전, 폐렴, 기관지염, 간질성, 병든 폐, 형성부전 기관, 심장비대, 폐결절, 흉막삼출, 위염, 식도염, 기관지확장증, 폐과팽창, 폐혈관 비대, 흉부 림프절병증 등과 같은 도 6에 나열된 질병에 대한 하나 이상의 AI 프로세서로 전달된다.
일부 실시예에서, AI 모델 프로세서는 정상 또는 비정상의 바이너리 결과를 제공하는 바이너리 프로세서이다. 다양한 실시예에서, AI 모델 프로세서는 특정 상태의 중증도, 예컨대, 정상, 최소, 경증, 중등도 및 중증의 결정과 함께 정상 또는 비정상 진단을 제공한다.
일부 실시예에서, 새롭게 수신된 AI 모델 프로세서 결과는 사용자 인터페이스에 디스플레이된다. 도 9a-도 9e가 참조된다. 각각의 모델에 대한 평균 AI 모델 프로세서 결과는 개별 이미지 또는 서브-이미지 평가 결과로부터 수집되어 디스플레이된다. 도 9a가 참조된다. 사용자 인터페이스는 개별 이미지 또는 서브-이미지 및 해당 이미지에 대한 AI 모델 프로세서 결과를 디스플레이한다. 도 9b-도 9e가 참조된다. AI 분석은 1분, 2분, 또는 3분 미만으로 완료된다.
일부 실시예에서, 하나 이상의 클러스터는, 하나 이상의 AI 프로세서 결과에 대한 AI 프로세서 "표본 결과" 또는 가장 가까운 매치 경우를 개발하기 위해, 알려진 방사선 촬영 이미지의 라이브러리 및 대응하는 방사선학 보고서 데이터베이스로부터의 AI 프로세서 진단 결과를 사용하여 시스템에 의해 구축된다. 표본 결과는 적어도 하나의 이미지, 연관된 평가 프로세서 결과의 모음, 및 연령, 성별, 위치, 품종, 건강 검사 결과 등과 같은 0개 이상의 비-이미지 데이터 포인트의 모음을 포함한다. 합성 프로세서는 클러스터 그룹 내에서 각각의 경우 표본 결과의 위치를 나타내는 좌표를 할당한다. 따라서, 2개의 경우가 유사한 표본 결과를 갖는 경우, 진단이 유사하거나 대체로 동일하며, 단일 전체 결과 보고서가 2개의 경우에 적용된다. 일부 실시예에서, 단일 표본 결과가 전체 클러스터에 할당되고, 클러스터에 위치된 피험자 경우가 표본 결과에 할당된다. 일부 실시예에서, 클러스터의 특정 좌표(예컨대, 중심) 또는 특정 데이터세트 경우 중 어느 하나에 연결된 다수의 표준 결과가 클러스터에 할당된다. 일부 실시예에서, 표본 결과는 사람에 의해 작성되거나, 경우에 연결된 기존 방사선학 보고서로부터 자동 생성된다.
일부 실시예에서, 사용자는 도 11의 사용자 인터페이스를 사용하여 알려진 방사선 촬영 이미지의 라이브러리 및 대응하는 방사선학 보고서 데이터베이스로부터 클러스터를 생성하기 위한 다양한 파라미터를 지정한다. 사용자는 "코드" 아래에 새로운 클러스터에 대한 명칭(1101)을 할당한다. 사용자는 클러스터를 생성하기 위해 다양한 파라미터를 선택한다. 사용자는, 경우를 선택하기 위해 경우 시작 날짜(1102) 및 경우 종료 날짜(1103)를 선택한다. 사용자는, 경우를 선택하기 위해 경우 시작 ID((1104) 및 경우 종료 ID(1105)를 선택한다. 사용자는 클러스터에 포함될 경우의 최대수(1106)를 선택한다. 사용자는 클러스터에 포함될 경우에 대해 개, 고양이, 개 또는 고양이, 인간, 조류 애완동물, 농장 동물 등과 같은 종(1107)을 선택한다. 사용자는 클러스터 생성에 포함될 X-레이, CT, MRI, 혈액 분석, 소변 검사 등과 같은 특정 진단 양식(1108)을 선택한다.
다양한 실시예에서, 사용자는 평가 결과를 특정 수의 클러스터로 분리하는 것을 지정한다. 클러스터의 수는 최소 하나의 클러스터에서, 클러스터에 입력된 경우의 총수에 의해서만 제한되는 최대의 클러스터의 범위이다. 시스템은, AI 프로세서 진단 결과 외에, 비방사선 촬영 및/또는 비AI 진단 결과, 이를테면, 혈액 검사, 환자 이력 또는 다른 테스트 또는 프로세스를 사용하여 하나 이상의 클러스터를 구축한다. 클러스터는 도 12에 도시된 바와 같이 CSV(comma separated value) 파일 포맷의 숫자 형태로 나열된다. CSV 파일은 클러스터 내의 경우의 경우 ID(1201)를 나열한다. 특정 경우 ID에 대한 각각의 바이너리 모델에 대한 평균 평가 결과(1202)는 CSV 파일에 나열된다. 평가 결과의 모음에 기초하여 특정 경우를 포함하는 클러스터 라벨 또는 클러스터 위치(1203)가 CSV 파일에 나열된다. CSV 파일은 클러스터 좌표를 나열한다. 특정 클러스터의 중심 또는 중심의 경우 ID(1204)가 CSV 파일에 나열된다.
다양한 실시예에서, 클러스터는 클러스터링 그래프로 표현된다. 도 13이 참조된다. 클러스터링 그래프는 사용자 정의 파라미터(1102-1108)에 따라 평균 평가 결과를 다수의 상이한 클러스터로 분할함으로써 생성된다. 다양한 상이한 클러스터는 그래프 상에 플로팅된 도트의 모음으로 표현된다. 도 13의 클러스터링 그래프는 다양한 크기의 180개의 클러스터를 도시한다.
일부 실시예에서, 사용자 인터페이스는 사용자 정의 파라미터(1102-1108)에 기초하여 생성된 AI 클러스터 모델을 도시한다. 도 14가 참조된다. 사용자 인터페이스는, 사용자가 특정 "클러스터 모델"(1502)을 특정 "스크리닝 평가 구성" 명칭(1501)에 할당하는 스크리닝 평가 구성을 도시한다. 스크리닝 평가 구성의 상태(1503)는 구성에 관한 추가 정보, 이를테면, 구성이 라이브, 테스팅 또는 드래프트 모드인지를 제공한다. 라이브 모드는 생성을 위한 것이고, 테스팅 또는 드래프트 모드는 개발을 위한 것이다.
일부 실시예에서, 사용자 인터페이스는 흉부(97)의 특정 클러스터 모델(1601)에 대한 세부사항을 설명한다. 도 16a가 참조된다. 일부 실시예에서, 사용자 인터페이스는 클러스터에 포함된 AI 평가 분류기 유형(1602)을 나열한다. 사용자 인터페이스는 클러스터를 구축하는 데 사용되는 추가 파라미터, 이를테면, 클러스터 모델에 특정한 종(1603), 평가 결과를 갖는 최대 경우의 수(1604), 또는 클러스터를 생성하는 데 사용된 경우에 대한 시작 및 종료 날짜(1605)를 디스플레이한다. 사용자 인터페이스는, 클러스터를 수치표 포맷으로 도시하는 CSV(comma separated value) 파일에 대한 링크(1606)를 제공한다. 사용자 인터페이스는 파라미터(1602-1605)로부터 생성된 서브 클러스터(1608)를 나열한다. 사용자 인터페이스는 클러스터 그룹에 대해 생성된 서브 클러스터(1609)의 총수를 디스플레이한다. 사용자 인터페이스는 각각의 서브 클러스터에 대해 중심 경우 ID(1610)를 제공한다. 클러스터 구축을 위한 로그가 사용자 인터페이스에 제공된다. 도 16b가 참조된다.
다양한 실시예에서, 시스템은 새롭게 수신된 진단되지 않은 이미지를 평가하고 새롭게 수신된 평가 결과를 획득하기 위해 하나 이상의 AI 프로세서를 활용한다. 시스템은 새롭게 수신된 평가 결과와, 알려진 방사선 촬영 이미지의 라이브러리 및 대응하는 방사선학 보고서 데이터베이스로부터 획득된 하나 이상의 클러스터를 비교한다.
사용자는 새롭게 수신된 AI 프로세서 결과를 AI 평가 테스터로 임포트한다. 도 17a가 참조된다. 사용자는 스크리닝 평가 유형(1702) 및 대응하는 클러스터 모델(1703)을 지정한다.
시스템은 새롭게 수신된 평가 결과 외에 비-방사선 촬영 및/또는 비-AI 진단 결과와, 다른 이용 가능한 것 외에 알려진 방사선 촬영 이미지의 라이브러리 및 대응하는 방사선학 보고서 데이터베이스로부터 획득된 하나 이상의 클러스터를 비교한다. 시스템은 새롭게 수신된 AI 프로세서 결과의 위치와 클러스터 결과 사이의 거리를 측정하고, 하나 이상의 클러스터 결과를 활용하여 방사선 전문의 보고서를 생성한다. 일부 실시예에서, 시스템은, 알려진 클러스터 결과에 대한 새롭게 수신된 AI 프로세서 결과의 위치에 따라, 알려진 클러스터 결과로부터 전체 방사선 전문의 보고서 또는 방사선 전문의 보고서의 일부를 활용하도록 선택한다. 다양한 실시예에서, 시스템은 동일한 클러스터의 다른 결과로부터의 전체 방사선 전문의 보고서 또는 방사선 전문의 보고서의 일부를 활용하도록 선택한다. 일부 실시예에서, 시스템은 클러스터 결과의 중심으로부터의 전체 방사선 전문의 보고서 또는 방사선 전문의 보고서의 일부를 활용하도록 선택한다.
사용자 인터페이스는 AI 평가 테스터의 결과를 디스플레이한다. 도 18a가 참조된다. 다양한 실시예에서, 이전에 생성된 클러스터 결과에 기초한 평가 결과에 가장 가까운 방사선 전문의 보고서로부터의 진단 및 결론적 결과(1801)가 디스플레이된다. 일부 실시예에서, 평가 결과(1802)는 평가 결과의 클러스터 내의 방사선 전문의 보고서로부터 선택되고, 특정 클러스터의 결과 섹션에서 특정 문장의 출현율에 기초하여 필터링된다. 일부 실시예들에서, 클러스터 내의 방사선 전문의 보고서로부터의 권장사항(1803)은 이 클러스터의 권장사항 섹션에 있는 각각의 문장 또는 유사한 문장의 출현율에 기초하여 선택된다. 사용자 인터페이스는 클러스터(1804)의 방사선 전문의 보고서 및 클러스터(1805)의 중심의 방사선 전문의 보고서를 디스플레이한다. 사용자 인터페이스는 사용자가 특정 문장을 추가하거나 제거하여 결과 섹션(1809), 결론 섹션(1810) 또는 권장사항 섹션(1811)을 편집함으로써 보고서를 편집하는 것을 허용한다. 도 18d가 참조된다. 가장 가까운 매치 데이터베이스 경우에 대한 방사선 전문의 보고서는 새롭게 수신된 방사선 촬영 이미지에 대한 방사선학 보고서를 생성하는 데 사용된다. 특정 클러스터 결과에 기초한 방사선학 보고서의 문장은 순위 및 출현율에 따라 순위가 매겨지고 나열된다. 도 18a 및 도 18b가 참조된다.
다양한 실시예에서, 시스템은 새롭게 수신된 진단되지 않은 이미지를 평가하고 새롭게 수신된 평가 결과를 획득하기 위해 하나 이상의 AI 프로세서를 활용한다. 시스템은 새롭게 수신된 평가 결과와, 알려진 방사선 촬영 이미지의 라이브러리 및 대응하는 방사선학 보고서 데이터베이스로부터 획득된 하나 이상의 클러스터를 비교한다.
시스템은 새롭게 수신된 평가 결과 외에 비-방사선 촬영 및/또는 비-AI 진단 결과와, 다른 이용 가능한 것 외에 알려진 방사선 촬영 이미지의 라이브러리 및 대응하는 방사선학 보고서 데이터베이스로부터 획득된 하나 이상의 클러스터를 비교한다. 시스템은 새롭게 수신된 AI 프로세서 결과의 위치와 클러스터 결과 사이의 거리를 측정하고, 하나 이상의 클러스터 결과를 활용하여 방사선 전문의 보고서를 생성한다. 일부 실시예에서, 시스템은, 알려진 클러스터 결과에 대한 새롭게 수신된 AI 프로세서 결과의 위치에 따라, 알려진 클러스터 결과로부터 전체 방사선 전문의 보고서 또는 방사선 전문의 보고서의 일부를 활용하도록 선택한다. 다양한 실시예에서, 시스템은 동일한 클러스터의 다른 결과로부터의 전체 방사선 전문의 보고서 또는 방사선 전문의 보고서의 일부를 활용하도록 선택한다. 일부 실시예에서, 시스템은 클러스터 결과의 중심으로부터의 전체 방사선 전문의 보고서 또는 방사선 전문의 보고서의 일부를 활용하도록 선택한다.
일부 실시예에서, 본원에 설명된 AI 프로세서 중 하나 이상은 TensorFlow 플랫폼을 사용하여 구현된다. TensorFlow 플랫폼에 대한 설명뿐만 아니라 이와 관련된 설명서 및 지침서는 TensorFlow 웹사이트에서 찾을 수 있다. TensorFlow 웹사이트에서 액세스 가능한 자료의 전체 내용은 전체적으로 인용에 의해 본원에 포함된다.
일부 실시예에서, 본원에 설명된 클러스터링 모델 중 하나 이상은 Plotly 플랫폼을 사용하여 구현된다. Plotly 플랫폼에 대한 설명뿐만 아니라 이와 관련된 설명서 및 지침서는 scikit 학습 웹 사이트에서 찾을 수 있다. scikit 웹사이트에서 액세스 가능한 자료의 전체 내용은 전체적으로 인용에 의해 본원에 포함된다. TensorFlow 플랫폼 및 Scikit 학습을 사용하여 AI 프로세서 및 클러스터링 모델을 개발하는 방법은 다음 참조에 완전히 설명된다. 
. Hands-on Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. O'Reilly, 2019; Hope, Tom 등의 Learning TensorFlow: A Guide to Building Deep Learning Systems. O'Reilly., 2017; and Sievert, Carson. Interactive Web-Based Data Visualization with R, Plotly, and Shiny. CRC Press, 2020. 이로써 이들 참조 각각은 전체적으로 인용에 의해 본원에 포함된다.
방사선 전문의가 각각의 모델을 평가하고 함께 발견되는 개별 AI 프로세서 결과에 기초하여 규칙을 생성하려고 시도했다면, 규칙 및 보고서를 생성하는 것은 엄청난 시간이 걸렸을 것이다. 추가적으로, 이 시나리오에 단일 추가 AI 프로세서 모델을 추가하는 것은, 이미 통합된 AI 프로세서 모델의 수가 증가함에 따라 기하급수적으로 더 어려워진다. AI 프로세서 결과 클러스터링의 새로운 작업 흐름 또는 새로운 이미지와 알려진 데이터세트 사이의 "표본 결과" 비교를 사용하여 방사선 전문의 보고서를 생성함으로써, 여러 AI 프로세서 결과가 발견될 때, 수동 보고서 구축의 문제가 해결된다. 개별 AI 프로세서 결과 및 규칙 생성을 통해 수동으로 보고서를 구축하는 것은 이전에는 몇 개월이 걸렸고, 새로운 작업 흐름에서는 최소한의 시간만 소요된다.
시스템의 일부 실시예에서, AI 평가에 사용되는 구성요소는 도 21a에 설명된 바와 같다. 시스템의 다양한 실시예에서, 이미지 매치 AI 프로세싱에 사용되는 구성요소는 도 21b에 설명된 바와 같다.
시스템의 다양한 실시예에서, AI 방사선 촬영 분석을 위한 서버 아키텍처는 방사선 촬영 이미지를 사전 프로세싱하는 것, AI 진단 프로세서를 사용하여 이미지를 분석하는 것 및 클러스터링 결과에 기초하여 보고서를 준비하는 것을 포함한다. 도 22b가 참조된다. 일부 실시예에서, NGINX 로드 밸런싱 서버(2202), V2 클라우드 플랫폼(2203), 데이터베이스 마이크로소프트 SQL 서버(2207), 및 데이터스토어 서버(2208)를 포함하는 다양한 서버가 사용된다.
시스템의 다양한 실시예에서, 사용자는 AI 시스템을 훈련하기 위한 경우를 플래깅(flag)한다. 시스템의 일부 실시예에서, 사용자는, 방사선학 보고서가 부정확하기 때문에 방사선학 보고서가 편집을 요구한다면, 또는 보고서가 부적절하다면, 또는 경우가 새로운 진단을 갖고 따라서 방사선학 보고서가 진단을 위해 새로운 언어를 필요로 하는 한다면, 경우를 플래깅한다.
AI 자동 자르기 및 평가 작업 흐름의 일련의 개략도는 도 23a-도 23f에 예시된다. 사용자는 V2 최종 사용자 애플리케이션에 액세스하여 시스템에 의해 분석될 이미지를 (DICOM, JPEG, JPG, PNG 등과 같은 이미지 포맷으로) 업로드한다(2301). 일부 실시예에서, 이미지는 VetImages 애플리케이션에 직접 업로드된다(2305). V2는 이미지를 프로세싱하고(2302), 이를 데이터스토어에 저장하고, 이미지를 추가로 프로세싱하도록 VetImages에 요청한다(2303). VetImages는 V2로부터 요청을 수신하고, 비동기화된 프로세싱을 시작한다(2304). VetImages는 데이터스토어로부터의 이미지에 액세스하고(2307) 이미지를 사전 프로세싱하도록 VetConsole에 요청한다(2308). VetConsole은 OpenCV를 사용하여(2309) 이미지의 품질을 개선하고, 이미지를 자동으로 자른다(2310). 데이터스토어로부터 이미지에 액세스한 후의 작업은 서브-이미지 프로세서에 의해 수행된다.
VetConsole은, 이미지를 분석하고 이미지에서 흉부, 복부 및 골반을 분류하도록(2311) VetConsole에 요청하는 VetImages에 품질이 개선된 자동으로 잘린 이미지를 전송한다. VetConsole은 이미지에서 흉부, 복부 및 골반을 분류하고(2312) 좌표를 VetImages로 전송한다. VetImages는 이미지 및 좌표를 ImageMatch 검증으로 전송한다(2313). ImageMatch 검증은 이미지 및 좌표를 자신의 데이터베이스에서 정확하게 분류된 이미지와 매치시키고, 매치된 이미지 거리 및 경로를 VetImages로 전송한다(2314). VetImages 애플리케이션은 매치된 이미지에 대한 데이터를 수신하고, 데이터베이스 정보를 사용하여 신체 영역을 확인한다(2315). 다음 작업은 이미지 배향을 결정하는 것이다. 이미지가 회전 및 뒤집힌다(2317). 각각의 회전 및 뒤집기 후에, 이미지는, 매치된 이미지와 비교되고 매치된 이미지와 새롭게 수신된 이미지 사이의 거리 및 이미지 경로를 측정하기 위해 ImageMatch 배향 애플리케이션으로 전송된다(2318). ImageMatch 배향 애플리케이션은 새롭게 수신된 이미지와 매치하는 이미지 사이의 거리 및 이미지 경로와 함께 결과를 전달한다(2319). 매치된 이미지로부터 가장 거리가 짧은 새롭게 수신된 이미지의 배향은 VetImages 애플리케이션에 의해 선택된다(2320). 이미지가 360도 회전하고 적절한 각도로 뒤집힐 때까지, 각각의 배향 및 각각의 뒤집기를 확인하는 프로세스가 반복된다. 일부 실시예에서, 선택된 배향을 갖는 이미지는, 흉부(2321) 및 복부(2323)를 검출하고 흉부(2322) 및 복부(2324)를 갖는 서브-이미지를 획득하기 위해 이미지를 자르기 위한 좌표를 획득하기 위해 VetAI로 전송된다. 좌표를 획득하는 프로세스는 TensorFlow에 따라 조정된다.
VetImages 애플리케이션은 ImageMatch 검증으로부터 좌표를 획득하고, 서브-이미지를 획득하기 위해 좌표에 따라 이미지를 자른다(2325). 서브-이미지는 매칭을 위해 ImageMatch 검증 애플리케이션으로 전송된다(2326). 데이터베이스 이미지는 서브-이미지와 매치되고, 매치된 데이터베이스 이미지와 서브-이미지 사이의 거리 및 이미지 경로가 VetImages 애플리케이션으로 전송된다(2327). VetImages 애플리케이션은 거리 및 이미지 경로 데이터를 수신하고, 매치된 이미지로부터 수신된 데이터를 사용하여 신체 영역을 확인한다(2328). VetImages 애플리케이션은 각각의 서브-이미지를 분석하여 각각의 서브-이미지가 유효한지를 확인한다. 서브-이미지(들)가 유효하지 않은 경우(2331), VetConsole 애플리케이션으로부터의 일반적인 잘린 이미지가 데이터베이스 또는 데이터스토어에 저장된다(2332). 서브-이미지(들)가 유효한 경우(2330), 서브-이미지는 데이터베이스 또는 데이터스토어에 저장된다(2332). 데이터베이스 또는 데이터스토어에 저장된 이미지는 추가 프로세싱 또는 분석에 사용되는 잘린 이미지이다. VetImages 애플리케이션은 VetConsole로부터의 서브-이미지 또는 일반적인 잘린 이미지에 대해 획득된 데이터를 데이터베이스에 저장한다(2332).
다음의 작업은 평가 프로세서에 의해 수행된다. VetImages 애플리케이션은 포지셔닝 평가를 위해 잘린 이미지를 VetAI 애플리케이션으로 전송한다(2333). VetImages 애플리케이션에 의해 VetAI 애플리케이션으로부터 수신된 데이터(2334)는 데이터베이스에 저장되고(2335), 신호는 V2 애플리케이션으로 전송되어 이메일을 병원으로 전송한다(2336). VetImages 애플리케이션은 데이터베이스로부터 라이브 AI 모델에 액세스한다(2337). 잘린 이미지는, 잘린 이미지의 신체 영역에 기초하여, VetAI 애플리케이션의 적절한 AI 모델로 전송된다(2339). 각각의 신체 영역에 대해 적절한 AI 모델이 미리 결정된다. VetAI 애플리케이션은 AI 평가 라벨 및 기계 학습(ML) AI 평가 결과를 VetImages 애플리케이션으로 전송하며(2340), 이 애플리케이션은 잘린 이미지에 대한 이러한 데이터를 데이터베이스에 저장한다(2341). VetImages 애플리케이션은, 잘린 이미지에 대한 AI 평가 결과에 기초하여, 이미지에 대한 라벨 및 확률을 계산한다(2342). AI 평가 결과를 획득하기 위해 잘린 이미지를 전송하는 프로세스(2339)는, 미리 결정된 AI 모델이 프로세싱될 때까지(2338) 반복된다(2342).
VetImages 애플리케이션은, AI 평가 결과를 획득하기 위해 경우로부터의 각각의 이미지가 프로세싱되는지를 분석한다(2344). 경우로부터의 모든 이미지가 프로세싱되지 않으면, VetImages는 경우의 다음 이미지를 프로세싱하기 위해 반환된다. 경우로부터의 모든 이미지가 프로세싱되면, VetImages는, 각각의 잘린 이미지의 라벨 및 확률에 기초하여, 경우의 확률 및 라벨을 전체적으로 계산한다(2345). 그런 다음, VetImages 애플리케이션은 자신의 상태를 데이터베이스로부터의 라이브 및 스크리닝 평가 유형으로 변경한다(2346). VetImages 애플리케이션의 상태를 라이브로 변경할 때, 작업은 합성 프로세서에 의해 수행된다. VetImages 애플리케이션은 모든 스크리닝 평가가 완료되었는지 여부를 평가한다(2347). 모든 스크리닝 평가가 완료되지 않은 경우, VetImages 애플리케이션은, 스크리닝 평가가 클러스터링에 의해 완료되어야 하는지를 평가한다(2348). 스크리닝 평가가 클러스터링에 의해 완료되어야 하는 경우, 프로세싱된 이미지에 대한 AI 평가 결과가 VetAI 애플리케이션으로 전송되고(2349), 최상 매치 클러스터 결과가 VetImages 애플리케이션 ― 이는 최상 매치 클러스터 결과에 기초하여 스크리닝 결과를 생성하고 이를 데이터베이스에 저장함(2351) ― 으로 전송된다(2350). 스크리닝 평가가 클러스터링과 함께 수행되지 않는다고 VetImages 애플리케이션이 결정하면, 발견 규칙이 액세스되고(2352), AI 평가 결과는 발견 규칙에 기초하여 프로세싱되어, 검색 결과를 획득하고 데이터베이스에 저장한다(2353). 스크리닝 결과를 획득하고 데이터베이스에 저장하는 프로세스는, 경우의 모든 이미지에 대한 스크리닝 평가가 완료되고 완전한 결과 보고서가 획득될 때까지 반복된다(2354).
VetImages 애플리케이션은, 피험자의 종이 식별되어 데이터베이스에 저장되었는지를 평가한다(2355). 종이 식별되지 않은 경우, VetAI 애플리케이션은 피험자의 종을 평가하고(2355), 종 평가 결과를 VetImages 애플리케이션에 전달한다. 종 평가를 위한 작업(2356-2357)은 평가 프로세서에 의해 수행된다. 일부 실시예에서, VetImages 애플리케이션은 종이 개과(canine)인지를 평가한다(2358). 종이 개과로서 양성으로 식별되면, 경우가 플래깅되고(2359), 평가가 결과 보고서에 첨부된다. VetImages 애플리케이션은, 경우의 평가가 완료되었음을 V2에 통지한다(2360). V2 애플리케이션은, 경우가 플래깅되는지를 평가한다(2361). 결과 보고서가 플래깅되고 결과 보고서가 클라이언트에게 이메일로 전송되면(2363), 결과 보고서는 경우 문서에 저장된다(2362). 보고서가 플래깅되지 않은 경우, 결과 보고서는 경우 문서에 보고서를 저장하지 않고 클라이언트에게 이메일로 전송된다(2363).
클러스터링
클러스터링은 일종의 비지도 학습 방법이다. 비지도 학습 방법은, 라벨링된 응답이 도출되지 않고 입력 데이터로 구성된 데이터세트로부터 참조하는 방법이다. 일반적으로, 클러스터링은 한 세트의 예에 내재된 의미 있는 구조(meaningful structure), 설명 기본 프로세스(explanatory underlying process), 생성 특징(generative features) 및 그룹화를 찾는 프로세스로서 사용된다.
클러스터링은, 동일한 그룹의 데이터 포인트가 동일한 그룹의 다른 데이터 포인트와 유사하고 다른 그룹의 데이터 포인트와 유사하지 않도록 모집단(population) 또는 데이터 포인트를 다수의 그룹으로 분리하는 작업이다. 따라서, 클러스터링은 객체 사이의 유사성과 비유사성에 기초하여 객체를 그룹으로 묶는 방법이다.
클러스터링은, 라벨링되지 않은 데이터 중에서 고유한 그룹화를 결정하므로 중요한 프로세스이다. 클러스터링은 사용자의 목적을 충족하는 데 유용한 기준을 선택하는 사용자에 따라 달라지므로, 좋은 클러스터링에 대한 어떠한 기준도 없다. 예컨대, 클러스터는 동종 그룹(homogeneous group)에 대한 대표 찾기(데이터 축소), "자연 클러스터" 찾기 및 그들의 알려지지 않은 속성 설명("자연" 데이터 유형), 유용하고 적합한 그룹 찾기("유용한" 데이터 클래스) 또는 비정상적 데이터 객체 찾기(이상치 검출)에 기초한다. 이 알고리즘은, 포인트의 유사성을 구성하는 가정을 하고, 각각의 가정은 다르고 동등하게 유효한 클러스터를 만든다.
클러스터링 방법:
다음과 같은 클러스터링을 위한 다양한 방법이 있다.
밀도 기반 방법: 이러한 방법은 클러스터를 공간의 저밀도 영역과 상이하고 약간의 유사성을 갖는 밀집 영역으로 간주한다. 이러한 방법은 정확도가 좋고 2개의 클러스터를 병합하는 능력을 갖는다. 밀도 기반 방법의 예는 DBSCAN(Density-Based Spatial Clustering of Applications with Noise), OPTICS(Ordering Points to Identify Clustering Structure) 등이 있다.
계층 기반 방법: 이 방법으로 형성된 클러스터는 계층 구조에 기초하여 트리 유형의 구조를 형성한다. 이전에 형성된 클러스터를 사용하여 새로운 클러스터가 형성된다. 계층 기반 방법은 2개의 카테고리: 응집(상향식 접근(bottom up approach)) 및 분할(하향식 접근(top down approach))로 분리된다. 계층 기반 방법의 예는: CURE(Clustering Using Representatives), BIRCH(Balanced Iterative Reducing Clustering, Hierarchies) 등이 있다.
파티셔닝 방법: 파티셔닝 방법은 객체를 k개의 클러스터로 분할하고, 각각의 파티션은 하나의 클러스터를 형성한다. 이 방법은 객관적 기준 유사성 함수를 최적화하는 데 사용된다. 파티셔닝 방법의 예는: K-평균, CLARANS(Clustering Large Applications based upon Randomized Search) 등이 있다.
그리드 기반 방법: 그리드 기반 방법에서, 데이터 공간은 그리드형 구조(grid-like structure)를 형성하는 유한한 수의 셀로 공식화된다. 이러한 그리드 상에서 수행되는 모든 클러스터링 동작은 빠르고 데이터 객체 수와 독립적이다. 그리드 기반 방법의 예는: STING(Statistical Information Grid), 웨이브 클러스터, CLIQUE(CLustering In Quest) 등이 있다.
K-평균 클러스터링
K-평균 클러스터링은 비지도 기계 학습 알고리즘 중 하나이다. 일반적으로, 비지도 알고리즘은, 알려지거나 라벨링된 결과를 참조하지 않고, 입력 벡터만을 사용하여 데이터세트로부터 추론을 수행한다. K-평균의 목적은 단순히 유사한 데이터 포인트를 함께 그룹화하고 기본 패턴을 발견하는 것이다. 이 목표를 달성하기 위해 K-평균은 데이터세트에서 고정된 수(k)의 클러스터를 찾는다.
클러스터는, 특정 유사성으로 인해 함께 집계된 데이터 포인트의 모음을 나타낸다. 타겟 수 k는 사용자가 데이터세트에서 필요로 하는 중심의 수를 나타낸다. 중심은 클러스터의 중심을 나타내는 가상(imaginary) 또는 실제 위치이다. 모든 각각의 데이터 포인트는, 클러스터 내 제곱 합(in-cluster sum of square)을 감소시킴으로써 각각의 클러스터에 할당된다. K-평균 알고리즘은 k개의 중심을 식별하고, 그런 다음 모든 각각의 데이터 포인트를 가장 가까운 클러스터에 할당하면서 중심을 가능한 한 작게 유지한다.
K-평균에서 '평균'은 중심에 도달하는 데이터의 평균을 의미한다. 학습 데이터를 프로세싱하기 위해, 데이터 마이닝에서 K-평균 알고리즘은, 모든 각각의 클러스터에 대한 시작점으로서 사용되는 랜덤으로 선택된 중심의 제1 그룹으로 시작하고, 그런 다음 중심의 포지션을 최적화하기 위해 되풀이되는(반복적인) 계산을 수행한다. 알고리즘은, 클러스터링이 성공했거나 정의된 반복 횟수에 도달했기 때문에, 중심이 안정화되고 클러스터의 값에 어떠한 변화도 없을 때, 클러스터 생성 및 최적화를 중지한다.
K-평균 클러스터링을 위한 방법은 선험적으로 고정된 특정 수의 클러스터(k개의 클러스터를 가정함)를 통해 주어진 데이터 세트를 분류하는 간단한 방법을 따른다. 각각의 클러스터에 대해 하나씩 k개의 중심 또는 중심점이 정의된다. 다음 단계는 주어진 데이터 세트에 속한 각각의 포인트를 취하고, 이를 가장 가까운 중심과 연관시키는 것이다. 보류 중인 어떠한 포인트도 없을 때, 제1 단계가 완료되고, 조기 그룹화(early groupage)가 수행된다. 다음 단계는 k개의 새로운 중심을 이전 단계로부터 기인하는 클러스터의 무게 중심(barycenter)으로 다시 계산하는 것이다. k개의 새로운 중심을 계산할 때, 동일한 데이터 세트 포인트와 가장 가까운 새로운 중심 사이에 새로운 바인딩이 수행되고, 이로써 루프를 생성한다. 이 루프의 결과로서, k개의 중심은 자신의 위치 변경을 중지할 때까지, k개의 중심이 단계적으로 자신의 위치를 변경한다. K-평균 클러스터 알고리즘은 다음 공식으로 계산되는 제곱 오차 함수로 알려진 목적 함수를 최소화하는 것을 목표로 한다.
여기서,
'||xi ― vj||' 는 xi와 vj 사이의 유클리드 거리이다.
'ci'는 i번째 클러스터 내의 데이터 포인트의 수이다.
'c'는 클러스터 중심의 수이다.
K-평균 클러스터링을 위한 알고리즘 단계
K-평균 클러스터링을 위한 알고리즘은 다음과 같다.
K-평균 클러스터링에서, 'c'개의 클러스터 중심이 랜덤으로 선택되고, 각각의 데이터 포인트와 클러스터 중심 사이의 거리가 계산되고, 데이터 포인트가 가장 가까운 클러스터 중심에 할당되고, 공식을 사용하여 새 클러스터 중심이 다시 계산된다.
여기서 'ci'는 i번째 클러스터 내의 데이터 포인트의 수이고,
X는 데이터 포인트의 세트 {x1,x2,x3,……..,xn}이고, 그리고
V는 중심의 세트 {v1,v2,…….,vc}이다.
각각의 데이터 포인트와 새롭게 획득된 클러스터 중심 사이의 거리가 측정되고, 데이터 포인트가 재할당되면, 어떠한 데이터 포인트도 재할당되지 않을 때까지, 프로세스가 계속된다.
AI 애플리케이션 프로세스 흐름
일부 실시예에서, DICOM(Digital Imaging and Communications in Medicine) 이미지는 LION을 통해 제출되고, DICOM ToolKit 라이브러리(Offis.de DCMTK 라이브러리)에 의해 HTTPS(Hypertext Transfer Protocol Secure)를 통해 V2 플랫폼으로 전송된다. DICOM 이미지는 V2 플랫폼에 일시적으로 저장된다. 일부 실시예에서, DICOM 레코드는 제한된 정보로 생성되고, 상태는 0으로 설정된다. 다양한 실시예에서, 일단 DICOM 이미지가 임시 저장소에서 이용 가능하면, V2 PHP/Laravel 애플리케이션은 Cron 작업을 통해 DICOM 이미지를 프로세싱하기 시작한다.
일부 실시예에서, Cron 작업(1)은 새로운 DICOM 이미지에 대해 V2를 모니터링하고, 임시 저장소로부터 DICOM 이미지를 획득하고, 태그를 추출하고, 프레임(단일 서브-이미지 또는 다중 서브-이미지)을 추출하고, 데이터 스토어에 이미지 및 태그를 저장하고, 그리고 데이터베이스에서 프로세싱 상태를 설정한다. 일부 실시예에서, Cron 작업(1)은 Offis.de 라이브러리 DCMTK를 사용하여 DICOM 이미지를 무손실 JPG 포맷으로 변환 및 압축하고, 프로세싱 상태를 1로 설정한다. 일부 실시예에서, Cron 작업(1)은 5분마다, 4분마다, 3분마다, 2분마다 또는 1분마다와 같이 몇 분마다 자동으로 실행된다. 일부 실시예에서, Cron 작업(1)은 DICOM 이미지 메타데이터를 마이크로소프트 SQL 서버의 DICOM이라 불리는 테이블에 저장하고, 이미지/프레임을 추출하고, 이미지 관리자를 위한 디렉토리에 이미지/프레임을 저장한다. 다양한 실시예에서, 이미지에 대한 추가 정보 및 이미지와 연관된 경우 ID를 포함하는 레코드가 프로세싱 동안 생성된다. 레코드는 피험자에 대한 신체 검사 결과, 피험자에 대한 여러 번 방문의 연구, 각각의 검사 동안에 획득된 일련의 이미지, 경우 내 이미지의 계층 구조와 같은 추가 데이터를 포함한다.
다양한 실시예에서, DICOM 이미지 및 메타데이터는 PHP Laravel 프레임워크로 작성된 Vet 이미지 애플리케이션에 의해 프로세싱된다. V2는 각각의 이미지를 비동기식으로 프로세싱하기 위해 VetImages에 REST 서비스를 요청한다. 일부 실시예에서, VetImages는, 요청이 수신되었고 이미지의 자르기 및 평가를 위한 프로세스가 백그라운드에서 계속될 것임을 확인하기 위해 즉시 V2에 응답한다. 이미지가 병렬로 프로세싱되기 때문에, 전체 프로세스가 고속으로 수행된다.
다양한 실시예에서, VetImages는, 파이썬으로 작성되고 Computer Vision 기술 OpenCV를 사용하여 이미지를 사전 프로세싱하는 VetConsole이라 불리는 모듈에 이미지를 전달하거나 전송한다. VetConsole은, AI 자르기 서버가 이미지에서 신체 영역을 분류할 수 없는 경우를 대비하여, 흉부, 복부, 골반과 같은 신체 영역을 이미지에서 식별한다. VetImages는, 정확한 배향에 도달할 때까지 이미지를 회전하고 뒤집는다. 일부 실시예에서, VetImages는 이미지 매치 서버를 사용하여, 이미지의 다른 각도 및 투영을 검증한다. 다양한 실시예에서, 이미지 매치 서버는 이미지 매치를 식별하기 위해 파이썬 및 엘라스틱 서치(Elastic Search)로 작성된다. 일부 실시예에서, 이미지 매칭 서버에 대한 이미지 데이터베이스는, 이미지가 정확한 배향 및 투영으로 수용되는 경우에만 결과를 반환하도록 신중하게 선택된다.
다양한 실시예에서, 이미지의 배향을 결정할 때, VetImages는, 이미지에서 신체 영역의 관심 영역을 분류하고 결정하기 위한 REST API 요청을 Keras/TensorFlow 서버에 전송한다. VetImages REST API 요청은 Image Match 서버를 사용하여 검증되어, 이미지의 반환된 영역이 흉부, 복부, 골반, 종아리 등과 같은 신체 영역으로 분류된다는 것을 확인한다. 일부 실시예에서, 자르기에 대한 평가 결과가 무효인 경우, VetConsole 자르기 결과가 검증되고 활용된다.
다양한 실시예에서, 이미지가 분류되고 검증된 신체 영역을 포함한다고 VetImages가 결정하면, AI 보고서를 생성하기 위한 AI 평가 프로세스가 시작된다. 대안적인 실시예에서, 이미지가 분류되고 검증된 신체 영역을 포함하지 않는다고 VetImages가 결정하면, 이미지 자르기 프로세스는 결과 없이 그리고 보고서 생성 없이 종료된다.
다양한 실시예에서, VetImages는 분류된 잘린 이미지와 함께 Keras/TensorFlow에 대한 REST 서비스 호출을, 파이썬/장고(Python/Django)로 작성된 TensorFlow 애플리케이션 서버에서 호스팅되는 질병에 대한 AI 평가 모델로 전송한다. VetImages는 최종 평가 및 보고서 생성을 위해 AI 평가 모델의 결과를 저장한다.
VetImages는 또한, 사용자가 설정한 파라미터와 관련하여 이미지가 잘 포지셔닝되는지를 결정하기 위해 흉부 잘린 이미지를 TensorFlow 서버로 전달한다. VetImages는, 이미지마다 포지셔닝 평가의 결과를 병원에 알리기 위해 AI 평가 모델의 결과를 V2 플랫폼으로 전송한다.
일부 실시예에서, VetImages는, 경우의 모든 이미지가 잘리고 TensorFlow 서버에 의해 평가될 때까지, 이미지가 병렬로 프로세싱되는 동안 대기한다. 일부 실시예에서, 경우의 모든 이미지에 대한 평가가 완료되면, VetImages는, 더 많은 사람이 읽을 수 있는 방식으로 보고서의 내용을 결정하기 위해 전문가가 정의한 규칙을 사용하여 경우의 모든 결과를 프로세싱한다. 대안적인 실시예에서, VetImages는 AI 보고서의 내용을 결정하기 위해 사용자에 의해 생성된 클러스터링 모델을 사용한다. 일부 실시예에서, AI 보고서는, VetImages에서 클러스터 모델을 구축하는 데 사용되는 이전 방사선 전문의 보고서를 사용하여 조합된다. 일부 실시예에서, 클러스터링은 scikit-학습을 사용하는 다른 진단 모델로부터의 예측 결과를 사용하여 경우/이미지를 분류하는 데 사용된다.
일부 실시예에서, 전문가 규칙 또는 클러스터 모델을 사용하여 AI 보고서의 내용을 결정할 때, VetImages는 경우의 종을 확인한다. 일부 실시예에서, 경우의 종이 VetImages에 의해 개과인 것으로 결정된 경우에만, 보고서가 생성되어 V2 병원으로 전송된다.
일부 실시예에서, VetImages는, 새로운 AI 보고서가 병원으로 전송되었음을 병원에 알리기 위한 요청을 V2 플랫폼에 전송한다. 일부 실시예에서, V2 플랫폼은 병원 관리자 사용자 또는 사용자들의 라이센스를 검증한다. 다양한 실시예에서, V2는, 병원이 유효한 라이센스를 가지고 있는 경우, V1 플랫폼으로부터 보고서가 액세스될 수 있도록 보고서의 사본을 경우 문서 내에 또는 경우 문서에 첨부한다. 일부 실시예에서, V2는, 이메일 수신자가 생성된 보고서를 편리하고 즉시 열 수 있도록 하는 링크 또는 링크들을 포함하는 이메일 통지를 병원 이메일로 전송한다.
기계 학습, 클러스터링 및 프로그래밍을 위한 방법은 다음의 참조: Shaw, Zed. Learn Python the Hard Way: A Very Simple Introduction to the Terrifyingly Beautiful World of Computers and Code. Addison-Wesley, 2017; Ramalho, Luciano. Fluent Python. O'Reilly, 2016; Atienza, Rowel. Advanced Deep Learning with TensorFlow 2 and Keras: Apply DL, GANs, VAEs, Deep RL, Unsupervised Learning, Object Detection and Segmentation, and More. Packt, 2020; Vincent, William S. Django for Professionals: Production Websites with Python & Django. Still River Press, 2020; Bradski, Gary R., and Adrian Kaehler. Learning OpenCV: O'Reilly, 2011; Battiti, Roberto, and Mauro Brunato. The LION Way: Machine Learning plus Intelligent Optimization, Version 2.0, April 2015. LIONlab Trento University, 2015; Pianykh, Oleg S. Digital Imaging and Communications in Medicine (DICOM) a Practical Introduction and Survival Guide. Springer Berlin Heidelberg, 2012; Busuioc, Alexandru. The PHP Workshop: a New, Interactive Approach to Learning PHP. Packt Publishing, Limited, 2019; Stauffer, Matt. Laravel - Up and Running: a Framework for Building Modern PHP Apps. O'Reilly Media, Incorporated, 2019; Kassambara, Alboukadel. Practical Guide to Cluster Analysis in R: Unsupervised Machine Learning. STHDA, 2017; and Wu, Junjie. Advances in K-Means Clustering: A Data Mining Thinking. Springer, 2012에 완전히 설명된다. 이로써 이들 참조 각각은 인용에 의해 본원에 전체적으로 포함된다.
실시예 중 어느 하나와 관련하여 설명된 임의의 특징은 단독으로 또는 설명된 다른 특징들과 조합하여 사용될 수 있고, 또한 임의의 다른 실시예들의 하나 이상의 특징들 또는 임의의 다른 실시예들의 임의의 조합과 함께 사용될 수 있음이 이해된다. 추가로, 첨부된 청구항들에 정의된 본 발명의 범위를 벗어나지 않으면서, 위에서 설명되지 않은 등가물들 및 수정들이 또한 사용될 수 있다.
본 발명은 이제 완전히 설명되었고, 다음 청구범위에 의해 추가로 예시된다. 당업자는 단지 일상적인 실험을 사용하여 본원에 설명된 특정 방법에 대한 다수의 등가물을 인식하거나 확인할 것이다. 이러한 등가물은 본 발명 및 청구범위의 범위 내에 있다. 이로써 본 출원에 인용된 허여된 특허 및 공개된 특허 출원을 포함하는 모든 참조 문헌의 내용은 전체적으로 인용에 의해 본원에 포함된다.
Claims (70)
- 피험자의 진단 이미지를 분석하는 방법으로서,
상기 이미지를 하나 이상의 신체 영역으로 분류하고, 자동으로 분류된 각각의 신체 영역에 대한 적어도 하나의 배향되고, 잘리고, 라벨링된 서브-이미지를 획득하기 위해 분류된 이미지를 배향하고 자르기 위한 서브-이미지 프로세서를 사용하여 상기 피험자의 상기 이미지를 자동으로 프로세싱하는 단계;
상기 서브-이미지를 적어도 하나의 인공 지능 프로세서로 전달하는 단계; 및
상기 인공 지능 프로세서에 의해 상기 서브-이미지를 평가하고 이로써 상기 피험자의 방사선 촬영 이미지를 분석하는 단계를 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 신체 영역 및 질병의 존재에 대해 상기 서브-이미지를 평가하기 위해 상기 인공 지능 프로세서를 사용하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제2 항에 있어서,
상기 서브-이미지로부터 상기 질병을 진단하기 위해 상기 인공 지능 프로세서를 사용하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 피험자의 포지셔닝을 위해 상기 서브-이미지를 평가하기 위해 상기 인공 지능 프로세서를 사용하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제4 항에 있어서,
상기 피험자의 포지셔닝을 적절한 포지셔닝으로 정정하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 프로세서는 상기 서브-이미지를 획득하기 위해 상기 이미지를 자동으로 신속하게 프로세싱하는,
피험자의 진단 이미지를 분석하는 방법. - 제6 항에 있어서,
상기 프로세서는 약 1분 미만, 약 30초 미만, 약 20초 미만, 약 15초 미만, 약 10초 미만, 또는 약 5초 미만으로 상기 서브-이미지를 획득하기 위해 상기 이미지를 프로세싱하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
평가하는 단계는 상기 서브-이미지와, 복수의 라이브러리 중 적어도 하나의 라이브러리 내의 복수의 참조 이미지를 비교하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제8 항에 있어서,
상기 복수의 라이브러리 각각은 개개의 복수의 참조 이미지를 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제9 항에 있어서,
상기 복수의 라이브러리 각각은 동물 종에 특정적인 또는 비특정적인 개개의 복수의 참조 이미지를 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 서브-이미지와 참조 이미지를 매칭시키고 이로써 배향 및 적어도 하나의 신체 영역을 평가하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제8 항에 있어서,
상기 참조 이미지는 DICOM(Digital Imaging and Communication in Medicine) 표준 중단 프로토콜을 따라 배향되는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
자르는 단계는 상기 서브-이미지에서 특정 신체 영역을 분리하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제9 항에 있어서,
수의학적 표준 신체 영역 라벨에 따라 상기 참조 이미지를 카테고리화하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
배향하는 단계는 상기 이미지를 수의학적 표준 중단 프로토콜로 조정하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
자르는 단계는 상기 서브-이미지를 표준 종횡비로 트리밍하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
분류하는 단계는 수의학적 표준 신체 영역 라벨에 따라 신체 영역을 식별하고 라벨링하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
분류하는 단계는 상기 이미지와 샘플 표준 이미지의 라이브러리를 비교하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제18 항에 있어서,
상기 이미지와 상기 라이브러리 내의 샘플 표준 이미지를 매칭시키고 이로써 상기 이미지를 하나 이상의 신체 영역으로 분류하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
자르는 단계는 각각의 분류된 신체 영역을 묘사하는 경계를 상기 이미지에서 식별하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
분류하기 전에, 이미지 서명을 추출하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 이미지는 방사선 촬영, 자기 공명 영상(MRI), 자기 공명 혈관조영술(MRA), 컴퓨터 단층촬영(CT), 형광투시, 유방촬영술, 핵의학, 양전자 방출 단층촬영(PET) 및 초음파로부터 선택된 방사선 검사로부터의 것인,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 이미지는 사진인,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 피험자는 포유류, 파충류, 어류, 양서류, 척색동물, 및 조류로부터 선택되는,
피험자의 진단 이미지를 분석하는 방법. - 제25 항에 있어서,
상기 포유류는 개, 고양이, 설치류, 말, 양, 소, 염소, 낙타, 알파카, 물소, 코끼리 및 인간으로부터 선택되는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 피험자는 애완동물, 농장 동물, 고가 동물원 동물, 야생 동물 및 연구 동물로부터 선택되는,
피험자의 진단 이미지를 분석하는 방법. - 제1 항에 있어서,
상기 인공 지능 프로세서에 의한 상기 서브-이미지의 평가를 포함하는 적어도 하나의 보고서를 자동으로 생성하는 단계를 더 포함하는,
피험자의 진단 이미지를 분석하는 방법. - 피험자의 이미지를 분석하는 시스템으로서,
상기 피험자의 이미지를 수신하는 수신기; 서브-이미지를 획득하기 위해 상기 이미지에서 적어도 하나의 신체 영역을 식별하고, 자르고, 배향하고 그리고 라벨링하기 위한 이미지 식별 및 프로세싱 알고리즘을 자동으로 실행하는 적어도 하나의 프로세서; 상기 서브-이미지를 평가하는 적어도 하나의 인공 지능 프로세서; 및 상기 서브-이미지 및 평가된 인공 지능 결과를 디스플레이하는 디바이스를 포함하는,
피험자의 이미지를 분석하는 시스템. - 제28 항에 있어서,
상기 프로세서는, 상기 서브-이미지를 획득하기 위해 상기 이미지를 자동으로 신속하게 프로세싱하는,
피험자의 이미지를 분석하는 시스템. - 제29 항에 있어서,
상기 프로세서는 1분 미만, 30초 미만, 20초 미만, 15초 미만, 10초 미만 또는 5초 미만으로 상기 라벨링된 이미지를 획득하기 위해 상기 이미지를 프로세싱하는,
피험자의 이미지를 분석하는 시스템. - 제28 항에 있어서,
표준 이미지의 라이브러리를 더 포함하는,
피험자의 이미지를 분석하는 시스템. - 제31 항에 있어서,
상기 표준 이미지는 신체 영역 라벨 및 중단 프로토콜에 대한 수의학적 규범을 준수하는,
피험자의 이미지를 분석하는 시스템. - 디스플레이를 위해 피험자의 이미지를 신속하게 자동으로 준비하는 방법으로서,
최상의 매치 배향 및 신체 영역 라벨링을 획득하기 위해, 자동으로 서명을 자르고, 추출하고, 잘리고 배향된 이미지 서명과, 알려진 배향 및 신체 영역의 이미지의 서명의 데이터베이스를 비교함으로써, 상기 이미지를 하나 이상의 별개의 신체 영역 카테고리로 알고리즘적으로 분류하는 프로세서를 사용하여 상기 피험자의 프로세싱되지 않은 이미지를 프로세싱하는 단계; 및
각각의 준비된 신체 영역이 라벨링된 이미지를 디스플레이 디바이스 상에 그리고 분석을 위해 제시하는 단계를 포함하는,
디스플레이를 위해 피험자의 이미지를 신속하게 자동으로 준비하는 방법. - 수의학적 방사선 촬영 진단 이미지 분석기에 있어서,
개선책은 피험자의 방사선 촬영 이미지를 사전 프로세싱하여 상기 이미지에서 하나 이상의 신체 영역을 자동으로 식별하는 프로세서를 통해 신속한 알고리즘을 실행하는 것을 포함하고, 상기 프로세서는: 각각의 식별된 신체 영역에 대한 별개의 서브-이미지를 자동으로 생성하는 것, 생성된 각각의 서브-이미지를 자르고 각각의 서브-이미지의 종횡비를 선택적으로 정규화하는 것, 각각의 서브-이미지를 신체 영역으로서 자동으로 라벨링하는 것, 상기 서브-이미지에서 상기 신체 영역을 자동으로 배향하는 것 중 적어도 하나를 수행하도록 추가로 기능하고, 상기 프로세서는 추가로, 잘리고, 배향되고, 라벨링된 진단 서브-이미지를 평가하기 위해 특정한 적어도 하나의 인공 지능 프로세서에 상기 진단 서브-이미지를 자동으로 전달하는,
수의학적 방사선 촬영 진단 이미지 분석기. - 피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법으로서,
분류되고, 라벨링되고, 배향된 서브-이미지를 획득하기 위해 서브-이미지 프로세서를 사용하여 상기 이미지를 하나 이상의 신체 영역으로 분류하고, 상기 이미지를 라벨링 및 배향하는 단계;
평가 결과를 획득하기 위해 상기 서브-이미지를 적어도 하나의 인공 지능(AI) 평가 프로세서에 전달하고, 적어도 하나의 클러스터 결과를 획득하기 위해 상기 평가 결과와, 평가 결과 및 매치된 작성된 템플릿 또는 적어도 하나의 데이터세트 클러스터를 갖는 데이터베이스를 비교하는 단계;
합성 프로세서를 사용하여 적어도 하나의 클러스터 진단을 획득하기 위해 상기 클러스터 결과와 상기 평가 결과 사이의 거리를 측정하는 단계; 및
보고서를 획득하기 위해 상기 클러스터 진단을 조합하고, 이로써 상기 피험자에서 상기 질병 또는 상기 상태의 존재를 식별 및 진단하는 단계를 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제35 항에 있어서,
분류하기 전에, 상기 피험자의 적어도 하나의 이미지 또는 하나의 데이터 포인트를 획득하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제35 항에 있어서,
비교하기 전에, K-평균 클러스터링, 평균 시프트 클러스터링, 밀도 기반 공간 클러스터링, EM(Expectation-Maximization) 클러스터링 및 응집형 계층적 클러스터링으로부터 선택된 클러스터링 툴을 사용하여 상기 데이터세트 클러스터를 컴파일하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제37 항에 있어서,
컴파일하는 단계는, 복수의 알려진 질병 또는 상태가 있는 경우, 복수의 식별 및 진단된 데이터세트, 및 방사선학 보고서, 실험실 보고서, 조직학 보고서, 신체 검사 보고서 및 미생물학 보고서로부터 선택된 대응하는 의료 보고서의 라이브러리를 획득, 프로세싱, 평가 및 구성하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제38 항에 있어서,
프로세싱하는 단계는 복수의 분류된 데이터세트 이미지를 획득하기 위해 상기 복수의 식별 및 진단된 데이터세트 이미지를 상기 신체 영역으로 분류하는 단계, 및 복수의 배향되고, 잘리고 라벨링된 데이터세트 서브-이미지를 획득하기 위해 상기 복수의 분류된 데이터세트 이미지를 배향하고 자르는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제39 항에 있어서,
평가하는 단계는, 적어도 하나의 진단된 AI 프로세서 결과를 획득하기 위해, 상기 복수의 배향되고, 잘리고, 라벨링된 데이터세트 서브-이미지 및 대응하는 의료 보고서를 적어도 하나의 AI 프로세서에 전달하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제40 항에 있어서,
전달하는 단계는 연령, 종, 품종, 체중, 성별 및 위치로부터 선택된 적어도 하나의 변수를 사용하여 상기 복수의 배향되고, 잘리고, 라벨링된 데이터세트 서브-이미지 및 대응하는 의료 보고서를 분류하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제41 항에 있어서,
상기 복수의 식별 및 진단된 데이터세트 이미지의 라이브러리를 구성하는 단계는, 적어도 하나의 AI 프로세서 표본 결과를 획득하기 위해 상기 진단된 AI 프로세서 결과의 적어도 하나의 클러스터를 생성하고 이로써 상기 데이터세트 클러스터를 컴파일하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제42 항에 있어서,
상기 진단된 AI 프로세서 결과의 클러스터에 적어도 하나의 클러스터 진단을 할당하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제43 항에 있어서,
클러스터 진단을 할당하는 단계는 상기 클러스터 내의 보고서 및/또는 평가자에 의해 작성된 추가 정보를 추가하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제35 항에 있어서,
측정하는 단계는 상기 평가 결과, 상기 데이터세트 클러스터, 및 상기 클러스터 결과의 중심으로부터 선택된 적어도 하나와 상기 클러스터 결과 사이의 거리를 결정하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제45 항에 있어서,
가장 가까운 매치를 갖는 클러스터 내의 경우로부터 결과, 상기 클러스터 내의 다른 경우로부터 결과, 및 중심 경우로부터 결과를 선택하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제46 항에 있어서,
선택하는 단계는 상기 클러스터로부터 생성된 상기 보고서에, 평가자에 의한 상기 클러스터 결과의 결과 정보를 추가하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제45 항에 있어서,
상기 클러스터 내의 복수의 보고서에서 출현율의 임계값 미만인 상기 클러스터 진단의 보고서의 일부를 제거함으로써 상기 보고서를 편집하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제48 항에 있어서,
상기 평가자에 의해 지정된 상기 출현율의 임계값은 0% 초과 내지 100% 미만인 것으로 선택되는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제48 항에 있어서,
상기 평가자에 의해 지정된 상기 출현율의 임계값은 약 80% 미만인 것으로 선택되는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제35 항에 있어서,
상기 보고서를 획득하기 위해 진단 AI 프로세서에 의해 상기 평가 결과를 신속하게 프로세싱하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제51 항에 있어서,
상기 진단 AI 프로세서는 약 10분 미만, 약 9분 미만, 약 8분 미만, 약 7분 미만, 약 6분 미만, 약 5분 미만, 약 4분 미만, 약 3분 미만, 약 2분 미만, 또는 약 1분 미만으로 상기 보고서를 획득하기 위해 상기 이미지를 프로세싱하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제38 항에 있어서,
질병 및 상태가 알려진 경우에 상기 식별 및 진단된 데이터세트 이미지의 라이브러리는 복수의 동물 종 중 적어도 하나로 카테고리화되는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제43 항에 있어서,
식별 태그를 통해 상기 진단된 AI 프로세서 결과를 식별하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 제37 항에 있어서,
상기 피험자의 상기 이미지 및/또는 의료 결과를 선택하여 상기 데이터세트 클러스터에 추가하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 식별 및 진단하는 방법. - 피험자의 이미지 및/또는 의료 결과에서 질병 또는 상태의 존재를 진단하는 시스템으로서,
상기 피험자의 이미지 및/또는 의료 결과를 수신하는 수신기; 서브-이미지를 획득하기 위해, 상기 이미지에서 적어도 하나의 신체 영역을 식별하고, 자르고, 배향하고, 라벨링하는 이미지 식별 및 프로세싱 알고리즘을 자동으로 실행하는 적어도 하나의 프로세서; 상기 서브-이미지 및/또는 상기 의료 결과를 평가하고 평가 결과를 획득하는 적어도 하나의 인공 지능 프로세서; 및 클러스터 결과를 획득하기 위해 상기 평가 결과를 비교하기 위해 클러스터 알고리즘을 자동으로 실행하고, 클러스터 결과와 하나 이상의 변수에 의해 정의된 특정 데이터세트로부터 이전에 생성된 클러스터 결과, 클러스터 진단을 획득하기 위한 평가 결과 사이의 거리를 측정하고, 보고서를 조합하는 적어도 하나의 진단 인공 지능 프로세서를 포함하는,
피험자의 이미지 및/또는 의료 결과에서 질병 또는 상태의 존재를 진단하는 시스템. - 제56 항에 있어서,
상기 진단 AI 프로세서는, 보고서를 생성하기 위해 상기 이미지 및/또는 상기 의료 결과를 자동으로 신속하게 프로세싱하는,
피험자의 이미지 및/또는 의료 결과에서 질병 또는 상태의 존재를 진단하는 시스템. - 제57 항에 있어서,
상기 진단 AI 프로세서는 약 10분 미만, 약 9분 미만, 약 8분 미만, 약 7분 미만, 약 6분 미만, 약 5분 미만, 약 4분 미만, 약 3분 미만, 약 2분 미만, 또는 약 1분 미만으로 상기 보고서를 획득하기 위해 상기 이미지 및/또는 상기 의료 결과를 프로세싱하는,
피험자의 이미지 및/또는 의료 결과에서 질병 또는 상태의 존재를 진단하는 시스템. - 제56 항에 있어서,
상기 생성된 보고서를 디스플레이하는 디바이스를 더 포함하는,
피험자의 이미지 및/또는 의료 결과에서 질병 또는 상태의 존재를 진단하는 시스템. - 피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법으로서,
적어도 하나의 분류되고, 라벨링되고, 잘리고, 배향된 서브-이미지를 획득하기 위해, 상기 이미지를 적어도 하나의 신체 영역으로 분류하고 상기 이미지를 라벨링하고, 자르고, 배향하는 단계;
평가 결과를 프로세싱 및 획득하기 위해 상기 서브-이미지를 적어도 하나의 인공 지능(AI) 프로세서에 전달하고, 그리고 적어도 하나의 클러스터 결과를 획득하기 위해 상기 평가 결과와, 복수의 평가 결과 및 매치된 작성된 템플릿 또는 적어도 하나의 데이터세트 클러스터를 갖는 데이터베이스 라이브러리를 비교하는 단계;
적어도 하나의 클러스터 진단을 획득하기 위해 상기 클러스터 결과와 상기 평가 결과 사이의 거리를 측정하는 단계; 및
보고서를 획득하기 위해 상기 클러스터 진단 및 상기 매치된 작성된 템플릿을 조합하고 그리고 상기 보고서를 방사선 전문의에게 디스플레이하고 이로써 상기 피험자에서 상기 질병 또는 상기 상태의 존재를 식별 및 진단하는 단계를 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제60 항에 있어서,
디스플레이한 후, 상기 보고서를 분석하고 그리고 상기 질병 또는 상기 상태의 존재를 확인하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제61 항에 있어서,
상기 작성된 템플릿을 선택적으로 편집하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제60 항에 있어서,
상기 보고서를 획득하는 상기 방법은 약 5분 미만, 약 2분 미만 또는 약 1분 미만의 프로세스 시간을 갖는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제60 항에 있어서,
상기 보고서를 획득하는 상기 방법은 약 10분 미만, 약 7분 미만, 또는 약 6분 미만의 프로세싱 시간을 갖는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제60 항에 있어서,
상기 서브-이미지를 프로세싱하는 단계는, 상기 피험자의 상기 이미지에서 상기 질병 또는 상기 상태의 존재를 진단하기 위해 상기 AI 프로세서를 훈련하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제65 항에 있어서,
상기 AI 프로세서를 훈련하는 단계는:
훈련 이미지의 라이브러리를 상기 AI 프로세서에 통신하는 단계;
상기 훈련 이미지의 라이브러리로부터 상기 질병 또는 상기 상태를 갖는 훈련 이미지를 선택하는 단계; 및
상기 훈련 이미지와 상기 훈련 이미지의 라이브러리를 비교하고 이로써 상기 AI 프로세서를 훈련하는 단계를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제66 항에 있어서,
상기 훈련 이미지의 라이브러리는 양성 제어 훈련 이미지 및 음성 제어 훈련 이미지를 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제67 항에 있어서,
상기 양성 제어 훈련 이미지는 상기 훈련 이미지의 질병 또는 상태를 갖는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제67 항에 있어서,
상기 음성 제어 훈련 이미지는 상기 훈련 이미지의 질병 또는 상태를 갖지 않는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법. - 제66 항에 있어서,
상기 훈련 이미지의 라이브러리는 의료 데이터, 메타데이터 및 보조 데이터 중 적어도 하나를 더 포함하는,
피험자의 적어도 하나의 이미지에서 질병 또는 상태의 존재를 진단하는 방법.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962954046P | 2019-12-27 | 2019-12-27 | |
| US62/954,046 | 2019-12-27 | ||
| US202062980669P | 2020-02-24 | 2020-02-24 | |
| US62/980,669 | 2020-02-24 | ||
| US202063083422P | 2020-09-25 | 2020-09-25 | |
| US63/083,422 | 2020-09-25 | ||
| PCT/US2020/066580 WO2021133786A1 (en) | 2019-12-27 | 2020-12-22 | Efficient artificial intelligence analysis of images with combined predictive modeling |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220123235A true KR20220123235A (ko) | 2022-09-06 |
Family
ID=76546612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227023073A KR20220123235A (ko) | 2019-12-27 | 2020-12-22 | 결합된 예측 모델링을 통한 이미지의 효율적인 인공 지능 분석 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20210202092A1 (ko) |
| EP (1) | EP4081940A4 (ko) |
| JP (1) | JP2023509300A (ko) |
| KR (1) | KR20220123235A (ko) |
| CN (1) | CN115135234A (ko) |
| AU (1) | AU2020415384A1 (ko) |
| BR (1) | BR112022011386A2 (ko) |
| CA (1) | CA3163989A1 (ko) |
| IL (1) | IL294083A (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024010920A1 (en) * | 2022-07-07 | 2024-01-11 | Mars, Incorporated | Systems and methods for detecting abnormalities in pet radiology images |
| US20240112329A1 (en) * | 2022-10-04 | 2024-04-04 | HeHealth PTE Ltd. | Distinguishing a Disease State from a Non-Disease State in an Image |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8170306B2 (en) * | 2007-04-25 | 2012-05-01 | Siemens Aktiengesellschaft | Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image |
| US9480439B2 (en) * | 2012-11-01 | 2016-11-01 | Virginia Commonwealth University | Segmentation and fracture detection in CT images |
| WO2017062867A1 (en) * | 2015-10-09 | 2017-04-13 | Helmy Eltoukhy | Population based treatment recommender using cell free dna |
| US11842810B1 (en) * | 2017-01-26 | 2023-12-12 | Agathos, Inc. | Real-time feedback systems for tracking behavior change |
| US20190021677A1 (en) * | 2017-07-18 | 2019-01-24 | Siemens Healthcare Gmbh | Methods and systems for classification and assessment using machine learning |
| US11508168B2 (en) * | 2018-10-15 | 2022-11-22 | Upmc | Systems and methods for specimen interpretation |
| US20200133308A1 (en) * | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
| US11494669B2 (en) * | 2018-10-30 | 2022-11-08 | Diveplane Corporation | Clustering, explainability, and automated decisions in computer-based reasoning systems |
| US20200143279A1 (en) * | 2018-11-06 | 2020-05-07 | DeepSig Inc. | Radio frequency band segmentation, signal detection and labelling using machine learning |
-
2020
- 2020-12-22 EP EP20906390.8A patent/EP4081940A4/en active Pending
- 2020-12-22 BR BR112022011386A patent/BR112022011386A2/pt unknown
- 2020-12-22 IL IL294083A patent/IL294083A/en unknown
- 2020-12-22 KR KR1020227023073A patent/KR20220123235A/ko unknown
- 2020-12-22 AU AU2020415384A patent/AU2020415384A1/en active Pending
- 2020-12-22 JP JP2022533392A patent/JP2023509300A/ja active Pending
- 2020-12-22 CN CN202080097316.0A patent/CN115135234A/zh active Pending
- 2020-12-22 CA CA3163989A patent/CA3163989A1/en active Pending
- 2020-12-28 US US17/134,990 patent/US20210202092A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20210202092A1 (en) | 2021-07-01 |
| CN115135234A (zh) | 2022-09-30 |
| AU2020415384A1 (en) | 2022-06-09 |
| EP4081940A4 (en) | 2024-01-24 |
| IL294083A (en) | 2022-08-01 |
| EP4081940A1 (en) | 2022-11-02 |
| JP2023509300A (ja) | 2023-03-08 |
| BR112022011386A2 (pt) | 2022-08-30 |
| CA3163989A1 (en) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nishimoto et al. | Personal computer-based cephalometric landmark detection with deep learning, using cephalograms on the internet | |
| CN110114834A (zh) | 用于医疗程序的深度学习医疗系统和方法 | |
| JP2022528014A (ja) | デジタル病理学のために、画像を処理し、処理された画像を分類するためのシステムおよび方法 | |
| US20170018075A1 (en) | Method and apparatus for adaptive Computer-Aided Diagnosis | |
| CN110797101B (zh) | 医学数据处理方法、装置、可读存储介质和计算机设备 | |
| JP7503213B2 (ja) | ペットの放射線医学画像を評価するためのシステム及び方法 | |
| US11705245B2 (en) | System and methods for mammalian transfer learning | |
| KR102562708B1 (ko) | 일반화된 질병 검출을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| KR20220123235A (ko) | 결합된 예측 모델링을 통한 이미지의 효율적인 인공 지능 분석 | |
| US20240180511A1 (en) | Methods and Systems for X-Ray Imaging and Labeling | |
| CN111242948A (zh) | 图像处理、模型训练方法、装置、设备和存储介质 | |
| US20230325714A1 (en) | Machine learning for artificial intelligence processors with transformed digital data | |
| CN116432000A (zh) | 基于放射学报告的机器学习 | |
| US20230316143A1 (en) | Methods and systems for creating training libraries and training AI processors | |
| US20230359649A1 (en) | Methods and Systems with Additive AI Models | |
| WO2021133786A1 (en) | Efficient artificial intelligence analysis of images with combined predictive modeling | |
| WO2024030326A1 (en) | Methods and systems with additive ai models | |
| CN116801795A (zh) | 用于评估宠物放射学图像的系统和方法 | |
| da Cunha et al. | Body weight prediction in crossbred pigs from digital images using computer vision | |
| Emilia | Automatic tumour segmentation in brain images: moving towards clinical implementation | |
| Chen et al. | Doctor Imitator: Hand-Radiography-based Bone Age Assessment by Imitating Scoring Methods | |
| Karim et al. | Object Detection Model for Poultry Diseases Diagnostics | |
| Pollestad | Fully convolutional neural network for semantic segmentation on CT scans of pigs | |
| Moazemi | Computer Assisted Diagnosis in PET/CT: Machine Learning for Prognosis in Oncological Patients | |
| WO2023241961A1 (en) | Reading error reduction by machine learning assisted alternate finding suggestion |