KR20240001129A - 유연한 알고리즘 처리를 통한 전자 이미지 처리 시스템 및 방법 - Google Patents
유연한 알고리즘 처리를 통한 전자 이미지 처리 시스템 및 방법 Download PDFInfo
- Publication number
- KR20240001129A KR20240001129A KR1020237035033A KR20237035033A KR20240001129A KR 20240001129 A KR20240001129 A KR 20240001129A KR 1020237035033 A KR1020237035033 A KR 1020237035033A KR 20237035033 A KR20237035033 A KR 20237035033A KR 20240001129 A KR20240001129 A KR 20240001129A
- Authority
- KR
- South Korea
- Prior art keywords
- algorithms
- user
- images
- metadata
- full
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 105
- 238000012545 processing Methods 0.000 title claims description 21
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 171
- 230000015654 memory Effects 0.000 claims description 11
- 230000008520 organization Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 26
- 230000007170 pathology Effects 0.000 description 46
- 239000000047 product Substances 0.000 description 29
- 210000001519 tissue Anatomy 0.000 description 29
- 238000003860 storage Methods 0.000 description 28
- 206010028980 Neoplasm Diseases 0.000 description 24
- 230000018109 developmental process Effects 0.000 description 22
- 201000011510 cancer Diseases 0.000 description 21
- 238000001514 detection method Methods 0.000 description 16
- 238000011161 development Methods 0.000 description 16
- 239000000523 sample Substances 0.000 description 16
- 238000013480 data collection Methods 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 12
- 238000011160 research Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 230000000153 supplemental effect Effects 0.000 description 10
- 206010060862 Prostate cancer Diseases 0.000 description 9
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 9
- 239000000090 biomarker Substances 0.000 description 9
- 108090000623 proteins and genes Proteins 0.000 description 9
- 239000000243 solution Substances 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 210000002307 prostate Anatomy 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 206010006187 Breast cancer Diseases 0.000 description 6
- 208000026310 Breast neoplasm Diseases 0.000 description 6
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000003326 Quality management system Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007901 in situ hybridization Methods 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 3
- 238000003364 immunohistochemistry Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000010166 immunofluorescence Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 230000002018 overexpression Effects 0.000 description 2
- 230000004224 protection Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102000040650 (ribonucleotides)n+m Human genes 0.000 description 1
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 108020004518 RNA Probes Proteins 0.000 description 1
- 239000003391 RNA probe Substances 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Non-Metallic Protective Coatings For Printed Circuits (AREA)
- Studio Devices (AREA)
Abstract
방법은 환자와 연관된 의료 샘플에 대응하는 전자 이미지를 처리할 수 있다. 방법은 하나 이상의 인공 지능(AI) 알고리즘들의 선택을 수신하는 단계, 환자와 연관된 의료 샘플의 하나 이상의 전체 슬라이드 이미지를 수신하는 단계, 하나 이상의 선택된 AI 알고리즘들을 사용하여 전체 슬라이드 이미지에 대해 작업을 수행하는 단계-여기서, 전체 슬라이드 이미지는 제1 컨테이너에 저장되고, 전체 슬라이드 이미지는 제1 사용자로부터 유래되었으며, 작업은 전체 슬라이드 이미지에서 의료 샘플의 특성을 결정하는 것을 포함함-, 전체 슬라이드 이미지의 특성을 기초로, 전체 슬라이드 이미지와 연관된 메타데이터를 생성하는 단계 및 메타데이터를 제2 컨테이너에 저장하는 단계를 포함할 수 있다.
Description
관련 출원(들)
본 출원은 2021년 4월 26일에 출원된 미국 가출원 번호 제63/179,852호에 대한 우선권을 주장하며, 본 출원의 전체 개시는 그 전체가 참조로 본 명세서에 포함된다.
본 개시의 분야
본 개시의 다양한 실시예들은 일반적으로 전자 이미지들을 처리하기 위한 전산 병리학 작업흐름(computational pathology workflow)들에 관한 것이다. 보다 구체적으로, 본 개시는 특정 실시예들은 암의 치료를 위한 임상-등급 제품(clinical-grade product)들을 사용하는 작업흐름들을 위한 시스템들 및 방법들에 관한 것이다.
병리학자를 돕기 위해 컴퓨터들을 사용하는 프로세스는 전산 병리학으로 알려져 있다. 전산 병리학의 분야에서 정보 보안과 데이터 프라이버시는 개인 데이터와 건강 관련 정보를 보호하는 데 있어 중요한 고려 사항들이다.
전술한 일반적인 설명 및 다음의 상세한 설명은 예시적이고 설명적일 뿐이며 본 개시를 제한하지 않는다. 본 명세서에 제공된 배경 설명은 개시의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에 달리 명시하지 않는 한, 이 섹션에 설명된 자료는 본 출원의 청구범위에 대한 선행 기술이 아니며, 이 섹션에 포함된다고 해서 선행 기술 또는 선행 기술의 제안들로 인정되지 않는다.
본 개시의 특정 양태에 따르면, 환자와 관련된 의료 샘플에 대응하는 전자 이미지를 처리하고 및/또는 AI 모듈을 선택하기 위한 시스템 및 방법이 개시된다.
환자와 연관된 의료 샘플에 대응하는 전자 이미지를 처리하는 방법은 하나 이상의 인공 지능(AI) 알고리즘의 선택을 수신하는 단계, 환자와 관련된 의료 샘플의 하나 이상의 전체 슬라이드 이미지를 수신하는 단계, 하나 이상의 선택된 AI 알고리즘을 사용하여 전체 슬라이드 이미지에 대해 작업을 수행하는 단계-여기서 전체 슬라이드 이미지는 제1 컨테이너에 저장되고, 전체 슬라이드 이미지는 제1 사용자로부터 유래되었으며, 작업은 전체 슬라이드 이미지에서 의료 샘플의 특성을 결정하는 것을 포함함-, 전체 슬라이드 이미지의 특성을 기반으로 전체 슬라이드 이미지와 관련된 메타데이터를 생성하는 단계 및 해당 메타데이터를 제2 컨테이너에 저장하는 단계를 포함할 수 있다.
하나 이상의 선택된 AI 알고리즘은 클라우드 컴퓨팅 환경에서 이용가능한 복수의 AI 알고리즘 중 하나일 수 있다.
복수의 AI 알고리즘 중 적어도 하나는 제2 사용자에 의해 개발되었을 수 있고, 복수의 AI 알고리즘 중 적어도 다른 하나는 제2 사용자와 다른 제3 사용자에 의해 개발되었을 수 있다. 제2 사용자는 제3 사용자와 다른 지역에 위치할 수 있다.
방법은 복수의 AI 알고리즘 중에서 AI 알고리즘을 하나 이상의 선택된 AI 알고리즘으로 선택하는 단계를 포함할 수 있다. AI 알고리즘을 선택하는 단계는 수행될 작업 유형을 나타내는 요청, 생성될 메타데이터의 유형을 나타내는 요청, 특정 AI 알고리즘에 대한 커맨드, 저장된 전체 슬라이드 이미지와 연관된 추가 정보 또는 메타데이터, 상기 제1 사용자가 수신한 하나 이상의 규칙들 또는 정책들, 상기 복수의 AI 알고리즘들 중 AI 알고리즘들과 연관된 하나 이상의 규칙들 또는 정책들, 및/또는 상기 복수의 AI 알고리즘들 중 상기 AI 알고리즘들을 개발한 한 명 이상의 사용자들로부터 수신된 하나 이상의 규칙들 또는 정책들에 기초할 수 있다.
방법은 선택된 AI 알고리즘을 전체 슬라이드 이미지에 적용하여 작업을 수행하도록 제2 사용자로부터 요청을 수신하는 단계를 더 포함할 수 있다.
AI 알고리즘은 전체 슬라이드 이미지와 관련된 보충 정보를 받아들일 수 있다. 보충 정보에는 일반 프로필 환자, 환자 이력, 관련 슬라이드 이미지, 방사선 데이터, 분자 데이터 및/또는 임상 데이터가 포함될 수 있다.
방법은 제2 컨테이너와 연관된 하나 이상의 규칙을 결정하는 단계, 제2 컨테이너와 관련된 하나 이상의 규칙을 기초로 (i) 전체 슬라이드 이미지에서 데이터를 제거하고 및/또는 메타데이터 중 적어도 일부를 제거하고 및/또는 (ii) 전체 슬라이드 이미지의 데이터를 변경하고 및/또는 메타데이터 중 적어도 일부를 변경을 수행함으로써 수정된 전체 슬라이드 이미지 및/또는 수정된 메타데이터를 생성하는 단계 및 수정된 전체 슬라이드 이미지 및/또는 수정된 메타데이터를 사용자에게 출력하는 단계를 포함할 수 있다.
방법은 전체 슬라이드 이미지를 자동으로 인공지능 기반으로 수집하여 전체 슬라이드 이미지를 제1 컨테이너에 저장하는 단계를 포함할 수 있다. 전체 슬라이드 이미지는 제1 사용자로부터 수신되었을 수 있다.
방법은 디바이스로부터 전체 슬라이드 이미지 중 적어도 하나에 대한 요청을 수신하는 단계, 디바이스의 위치를 제1 사용자 및/또는 환자의 위치와 비교하는 단계 및 비교된 위치에 기초하여, 요청된 적어도 하나의 전체 슬라이드 이미지 및 메타데이터를 디바이스로 전송하는 것이 규칙에 의해 허용되는지 여부를 결정하는 단계를 포함할 수 있다.
방법은, 요청된 적어도 하나의 전체 슬라이드 이미지 및 메타 데이터를 디바이스로 발송하는 것이 허용되는 것으로 결정하고, 요청된 적어도 하나의 전체 슬라이드 이미지 및 메타데이터를 디바이스에 제공하는 단계를 포함할 수 있다.
요청된 적어도 하나의 전체 슬라이드 이미지를 디바이스로 발송하는 것이 허용되는지 결정하는 것은 해당 디바이스가 제1 사용자와 동일한 기관과 연관되어 있다고 결정하는 것을 포함할 수 있다. 선택된 인공지능 알고리즘을 적용하여 작업을 수행하는 것은 환자와 연관된 환자 메타데이터를 기반으로 수행될 수 있다.
메타데이터를 생성하는 단계는 히트맵을 결정하는 단계를 더 포함할 수 있다. 히트맵은 의료 표본의 속성 가능성에 대한 그래픽 예측을 포함할 수 있다.
환자와 연관된 의료 샘플에 대응하는 전자 이미지를 처리하기 위한 시스템은 명령어를 저장하는 적어도 하나의 메모리와 동작을 수행하기 위해 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다. 동작은 하나 이상의 인공 지능(AI) 알고리즘의 선택을 수신하는 것, 환자와 관련된 의료 샘플의 하나 이상의 전체 슬라이드 이미지를 수신하는 것, 하나 이상의 선택된 AI 알고리즘을 사용하여 전체 슬라이드 이미지에 대해 작업을 수행하는 것-여기서, 전체 슬라이드 이미지는 제1 컨테이너에 저장되고, 전체 슬라이드 이미지는 제1 사용자로부터 유래되었으며, 작업은 전체 슬라이드 이미지에서 의료 샘플의 특성을 결정하는 것을 포함함-, 전체 슬라이드 이미지의 특성을 기반으로 전체 슬라이드 이미지와 연관된 메타데이터를 생성하는 것 및 메타데이터를 제2 컨테이너에 저장하는 것을 포함한다.
하나 이상의 선택된 AI 알고리즘은 클라우드 컴퓨팅 환경에서 이용 가능한 복수의 AI 알고리즘 중 하나일 수 있다. 복수의 AI 알고리즘 중 적어도 하나는 제2 사용자에 의해 개발되었을 수 있고, 복수의 AI 알고리즘 중 적어도 또 하나는 제2 사용자와 다른 제3 사용자에 의해 개발되었을 수 있다.
동작은 복수의 AI 알고리즘 중에서 AI 알고리즘을 하나 이상의 선택된 AI 알고리즘으로 선택하는 것을 포함할 수 있다. AI 알고리즘을 선택하는 것은 수행될 작업의 유형을 나타내는 요청, 생성될 메타데이터의 유형을 나타내는 요청, 특정 AI 알고리즘에 대한 커맨드, 저장된 전체 슬라이드 이미지와 연관된 추가 정보 또는 메타데이터, 상기 제1 사용자가 수신한 하나 이상의 규칙들 또는 정책들, 상기 복수의 AI 알고리즘들 중 AI 알고리즘들과 연관된 하나 이상의 규칙들 또는 정책들, 및/또는 상기 복수의 AI 알고리즘들 중 상기 AI 알고리즘들을 개발한 한 명 이상의 사용자들로부터 수신된 하나 이상의 규칙들 또는 정책들에 기초할 수 있다.
비일시적 컴퓨터 판독 가능 매체는 프로세서에 의해 실행될 때 프로세서로 하여금 환자와 관련된 의료 샘플에 해당하는 전자 이미지를 처리하기 위한 작업을 수행하게 하는 명령어를 저장할 수 있으며, 동작은 하나 이상의 인공 지능(AI) 알고리즘의 선택을 수신하는 것, 환자와 관련된 의료 샘플의 하나 이상의 전체 슬라이드 이미지를 수신하는 것, 하나 이상의 선택된 AI 알고리즘을 사용하여 전체 슬라이드 이미지에 대해 작업을 수행하는 것-여기서, 전체 슬라이드 이미지는 제1 컨테이너에 저장되고, 전체 슬라이드 이미지는 제1 사용자로부터 유래되었으며, 작업은 전체 슬라이드 이미지에서 의료 샘플의 특성을 결정하는 것을 포함함-, 전체 슬라이드 이미지의 특성을 기반으로 전체 슬라이드 이미지와 연관된 메타데이터를 생성하는 것 및 메타데이터를 제2 컨테이너에 저장하는 것을 포함한다.
하나 이상의 선택된 AI 알고리즘은 클라우드 컴퓨팅 환경에서 이용 가능한 복수의 AI 알고리즘 중 하나일 수 있다. 복수의 AI 알고리즘 중 적어도 하나는 제2 사용자에 의해 개발되었을 수 있고, 복수의 AI 알고리즘 중 적어도 또 하나는 제2 사용자와 다른 제3 사용자에 의해 개발되었을 수 있다.
전술한 일반적인 설명과 다음의 상세한 설명은 단지 예시적이고 설명을 위한 것이며 청구된 바와 같이 개시된 실시예를 제한하지 않는다는 것이 이해되어야 한다.
본 명세서에 포함되어 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하고, 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1은 예시적인 실시예에 따른, 디지털 슬라이드(digital slide)들을 처리하기 위한 플랫폼의 예시적인 글로벌 아키텍처(global architecture)이다.
도 2는 예시적인 실시예에 따른, 인공 지능(AI) 출력을 갖춘 플랫폼을 사용하기 위한 예시적인 방법을 예시하는 작업흐름이다.
도 3a 내지 3b는 예시적인 실시예에 따른, 플랫폼의 예시적인 사용 방법을 예시하는 흐름도이다.
도 4a 내지 c는 예시적인 실시예에 따른, 데이터 수집 기기(data ingestion appliance)의 예시적인 아키텍처들 및 데이터 수집 기기의 통합들이다.
도 5a 내지 c는 예시적인 실시예들에 따른, 실험실 정보 시스템(LIS)의 예시적인 아키텍처 및 LIS의 통합이다.
도 6은 예시적인 실시예에 따른, 슬라이드 뷰어의 예시적인 아키텍처이다.
도 7a는 예시적인 실시예에 따른, AI 컴퓨터의 예시적인 아키텍처이고, 도 7b는 예시적인 아키텍처를 사용하는 예시적인 방법의 흐름도이다.
도 8은 본 명세서에 개시된 작업흐름 및 플랫폼들 아키텍처와 함께 사용하기 위한 예시적인 추론 아키텍처이다.
도 9는 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
도 10a 내지 10b는 예시적인 실시예들에 따른 예시적인 출력들을 도시한다.
도 1은 예시적인 실시예에 따른, 디지털 슬라이드(digital slide)들을 처리하기 위한 플랫폼의 예시적인 글로벌 아키텍처(global architecture)이다.
도 2는 예시적인 실시예에 따른, 인공 지능(AI) 출력을 갖춘 플랫폼을 사용하기 위한 예시적인 방법을 예시하는 작업흐름이다.
도 3a 내지 3b는 예시적인 실시예에 따른, 플랫폼의 예시적인 사용 방법을 예시하는 흐름도이다.
도 4a 내지 c는 예시적인 실시예에 따른, 데이터 수집 기기(data ingestion appliance)의 예시적인 아키텍처들 및 데이터 수집 기기의 통합들이다.
도 5a 내지 c는 예시적인 실시예들에 따른, 실험실 정보 시스템(LIS)의 예시적인 아키텍처 및 LIS의 통합이다.
도 6은 예시적인 실시예에 따른, 슬라이드 뷰어의 예시적인 아키텍처이다.
도 7a는 예시적인 실시예에 따른, AI 컴퓨터의 예시적인 아키텍처이고, 도 7b는 예시적인 아키텍처를 사용하는 예시적인 방법의 흐름도이다.
도 8은 본 명세서에 개시된 작업흐름 및 플랫폼들 아키텍처와 함께 사용하기 위한 예시적인 추론 아키텍처이다.
도 9는 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
도 10a 내지 10b는 예시적인 실시예들에 따른 예시적인 출력들을 도시한다.
이제 본 발명의 예시적인 실시예들을 상세히 참조할 것이며, 그 예들은 첨부 도면들에 예시되어 있다. 가능하면 도면들 전체에 걸쳐 동일한 참조 번호들이 사용되어 동일하거나 유사한 부품들을 지칭한다.
본 명세서에 개시된 시스템들, 디바이스들 및 방법들은 암의 진단 및 치료를 변화시킬 수 있는 임상-등급 제품들과 함께 사용되도록 구성된 전산 병리학 프로세스들 및 작업흐름들을 제공한다. 본 명세서에 설명된 전산 병리학 작업흐름들은 진단 정확성, 신뢰성, 효율성 및 접근성을 향상시킬 수 있다. 예를 들어, 디바이스의 작업흐름은 암이 의심되는 슬라이드들을 검출하여 병리학자들이 최종 진단을 내리기 전에 초기 평가들을 확인할 수 있도록 할 수 있다. 본 개시의 전산 병리학 프로세스들 및 작업흐름들은 실험실 정보 시스템(LIS), 고객-기반 진단 도구 또는 다른 소프트웨어 개발 키트(SDK) 애플리케이션과 통합되면서 웹 브라우저를 통해 디지털 병리학 이미지들의 수집, 처리 및 보기를 허용하는 통합 플랫폼을 사용할 수 있다.
본 명세서에 개시된 시스템들, 디바이스들 및 방법들은 예들을 통해 및 도면들을 참조하여 상세히 설명된다. 본 명세서에 설명된 예들은 단지 예일 뿐이며 본 명세서에 설명된 장치들, 디바이스들, 시스템들 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 아래에 논의된 피쳐들이나 컴포넌트들은 필수 항목으로 특별히 지정되지 않는 한 이러한 디바이스들, 시스템들 또는 방법들의 특정 구현에 필수 항목으로 간주되어서는 안 된다.
또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지 여부에 관계없이 문맥에 따라 달리 지정되거나 요구되지 않는 한, 방법의 실행 시 수행되는 단계들의 명시적 또는 암시적 순서는 그 단계들이 제시된 순서대로 수행되어야 함을 의미하지 않고 대신 다른 순서로 또는 병렬로 수행될 수 있음이 이해되어야 한다.
본 명세서에 사용된 바와 같이, "예시적인"이라는 용어는 "이상적인"보다는 "예"의 의미로 사용된다. 또한, 본 명세서의 단수 용어들("a" 및 "an")는 수량의 제한을 의미하는 것이 아니라, 참조 항목들이 하나 이상 존재함을 의미한다.
병리학은 질병들을 진단하는 것에 사용되는 테스트들 및 분석을 수행하는 것과 같은 질병들의 연구를 지칭한다. 예를 들어, 조직 샘플들은 슬라이드들 위에 올려 놓아져 병리학자 또는 조직 샘플들을 분석하여 비정상들이 존재하는지 여부를 판단하는 의사에 의해 현미경으로 관찰될 수 있다. 병리학 표본들은 절단되거나 여러 섹션들로 또는 절단 레벨들로 잘리고, 슬라이드들로 준비 및/또는 배치되고, 병리학자가 검사하고 진단을 내릴 수 있도록 염색될 수 있다.
슬라이드의 진단 결과가 확실하지 않은 경우, 병리학자는 조직에서 더 많은 정보를 수집하기 위해 추가 절단 레벨들, 염색들 또는 다른 테스트들을 주문할 수 있다. 그런 다음 기술자는 병리학자가 진단을 내리는 데 사용할 추가 정보가 포함될 수 있는 새 슬라이드를 만들 수 있다. 추가 슬라이드들을 생성하는 이 프로세스는 조직의 블록을 검색하고 잘라서 새 슬라이드를 만든 다음 슬라이드를 염색하는 작업이 포함될 수 있을 뿐만 아니라 다수의 주문들에 대해 일괄처리(batch)될 수 있기 때문에 시간이 많이 걸릴 수 있다. 이 프로세스는 병리학자가 내리는 최종 진단을 상당히 지연시킬 수 있다. 또한 지연 후에도 병리학자는 새 슬라이드(들)에 진단을 내리기에 충분한 정보가 있는지 확신하지 못할 수도 있다.
병리학자는 암 및 다른 질병 슬라이드들을 분리하여 평가할 수 있다. 본 명세서에 개시된 시스템들, 디바이스들 및 방법들은 암 및 다른 질병들의 진단을 향상하기 위한 플랫폼을 제공한다. 플랫폼은 예를 들어 슬라이드 평가, 작업들, 이미지 분석, 인공 지능(AI)(예를 들어, 암 검출 AI), 주석(annotation)들, 상담(consultation)들 및 권장 사항들을 하나의 워크스테이션(workstation)에 통합할 수 있다. 다양한 예시적인 사용자 인터페이스들 뿐만 아니라 병리학자의 작업을 신속하게 처리하고 향상하기 위해 플랫폼에 통합될 수 있는 AI 도구들도 이 플랫폼에서 이용 가능할 수 있다.
예를 들어, 컴퓨터들은 조직 샘플의 이미지를 분석하여 특정 조직 샘플에 대해 추가 정보가 필요할 수 있는지 여부를 신속하게 식별하고 및/또는 병리학자가 더 자세히 관찰해야 하는 영역을 강조할 수 있다. 따라서, 추가로 염색된 슬라이드들을 획득하고 테스트하는 프로세스는 병리학자가 검토하기 전에 자동으로 수행될 수 있다. 자동 슬라이드 분할 및 염색 기계들과 함께 사용되면 완전 자동화된 슬라이드 준비 파이프라인이 제공될 수 있다. 이 자동화는 (1) 병리학자가 슬라이드가 진단을 내리기에 불충분하다고 결정하는 데 낭비되는 시간을 최소화하거나 줄일 수 있으며, (2) 추가 테스트들이 주문된 시점과 생산된 시점 사이의 추가 시간을 피하거나 줄임으로써 표본 획득부터 진단까지의 (평균 전체) 시간을 최소화하거나 줄이며, (3) 조직 블록들(예를 들어, 병리학 표본들)이 절단 데스크에 있는 동안 재절단이 수행되도록 허용하여 재절단당 시간과 낭비되는 재료의 양을 줄이거나 최소화하며, (4) 슬라이드 준비 중에 낭비/폐기되는 조직 재료의 양을 줄이거나 최소화하며, (5) 절차를 부분적으로 또는 완전히 자동화하여 슬라이드 준비 비용을 줄이거나 최소화하며, (6) 샘플들에서 보다 대표적이고 유익한 슬라이드들을 초래할 수 있는 슬라이드들의 자동 맞춤형 절단 및/또는 염색을 허용하며, (7) 조직 블록당 더 많은 양들의 슬라이드들을 생성할 수 있게 하여 병리학자에게 추가 검사를 요청하는 오버헤드(overhead)를 줄임으로써 더 많은 정보 및/또는 정확한 진단에 기여하며, 및/또는 (8) 디지털 병리학 이미지의 올바른 속성들(예를 들어, 표본 유형과 관련된)을 식별하거나 검증한다.
전산 병리학에 사용되는 컴퓨팅 방법들은 통계 분석, 자율 또는 머신 러닝 및 AI를 포함할 수 있지만 이에 제한되지는 않는다. AI는 딥 러닝, 신경망들, 분류들, 클러스터링, 회귀 알고리즘들을 포함할 수 있지만 이에 제한되지는 않는다. 전산 병리학은 병리학자들이 진단의 정확성, 신뢰성, 효율성 및 접근성을 향상시켜 생명을 구하는 데 도움이 될 수 있다. 예를 들어, 컴퓨터 병리학이 사용되어 암이 의심되는 슬라이드들을 검출하는 데 도움을 줄 수 있으므로 병리학자들은 최종 진단을 내리기 전에 초기 평가들을 확인하고 확정(confirm)할 수 있다.
조직병리학(histopathology)은 슬라이드 위에 놓인 표본에 대한 연구를 지칭한다. 예를 들어, 디지털 병리학 이미지는 표본(예를 들어, 도말표본(smear))을 함유한 현미경 슬라이드의 디지털화된 이미지로 구성될 수 있다. 병리학자가 슬라이드의 이미지를 분석하기 위해 사용할 수 있는 한 가지 방법은 핵을 식별하고 핵이 정상(즉, 양성(benign))인지 비정상(즉, 악성(malignant))인지 분석하는 것이다. 병리학자들이 핵을 식별하고 분류하는 데 도움을 주기 위해 조직학적(histological) 염색들을 사용하여 세포들을 볼 수 있도록 할 수 있다. 과요오드산-쉬프(periodic acid-Schiff) 반응, Masson의 삼색(trichrome), nissl 및 메틸렌(methylene) 블루 및 헤마톡실린 및 에오신(Hematoxylin and Eosin)(H&E)을 비롯한 많은 염료-기반 염색 시스템들이 개발되었다. 의료 진단을 위해, H&E는 널리 사용되는 염료 기반 방법으로 헤마톡실린은 세포 핵을 파란색으로 염색하고 에오신은 세포질(cytoplasm)과 세포외 기질(extracellular matrix)을 분홍색으로 염색하며 다른 조직 지역들은 이 색상들의 변형들을 나타낸다.
그러나 많은 경우들에, H&E-염색된 조직학적 제조들은 병리학자가 진단을 돕거나 치료를 안내할 수 있는 바이오마커(biomarker)들을 시각적으로 식별하는 데 충분한 정보를 제공하지 않는다. 이 상황에서는 면역조직화학(IHC), 면역형광, 현장 혼성화(ISH) 또는 형광 현장 혼성화(FISH)와 같은 기술들이 사용될 수 있다. IHC 및 면역형광법에는 예를 들어 조직의 특정 항원(antigen)들에 조합하는 항체(antibody)들을 사용하여 특정 관심 단백질들을 표현하는 세포들을 시각적으로 검출할 수 있으며, 이는 H&E 염색된 슬라이드들을 사용하여 확실하게 식별할 수 없는 바이오마커들을 밝힐 수 있다. ISH 및 FISH는 채용된 프로브(probe)들의 유형(예를 들어, 유전자 카피 수(gene copy number)에 대한 DNA 프로브들 및 RNA 표현 평가에 대한 RNA 프로브들)에 따라 유전자들의 카피들 수 또는 특정 RNA 분자들의 풍부함을 평가하는 데 사용될 수 있다. 이 방법들로 일부 바이오마커들을 검출하기에 충분한 정보를 제공하지 못하는 경우, 바이오마커가 존재하는지(예를 들어, 종양에서 특정 단백질 또는 유전자 산물의 과발현, 암에서 특정 유전자의 증폭) 확인하기 위해 조직의 유전자 검사를 사용할 수 있다.
염색된 현미경 슬라이드를 도시하기 위해 디지털화된 이미지가 준비될 수 있으며, 이를 통해 병리학자는 슬라이드의 이미지를 수동으로 보고 이미지에서 염색된 비정상 세포들의 수를 추정할 수 있다. 그러나 이 프로세스는 시간이 많이 걸릴 수 있으며 일부 비정상들은 검출하기 어렵기 때문에 이상을 식별하는 데 오류가 발생할 수 있다. 전산 프로세스들은 및 디바이스들은 병리학자들이 다른 방법으로는 검출하기 어려울 수 있는 비정상들을 검출하는 데 도움을 주기 위해 사용될 수 있다.
예를 들어, AI는 H&E 및 기타 염료-기반 방법들을 사용하여 염색된 조직들의 디지털 이미지들 내의 두드러진(salient) 지역들로부터 바이오마커들(예를 들어, 단백질 및/또는 유전자 제품의 과발현, 특정 유전자들의 증폭 또는 돌연변이들)을 예측하는 데 사용될 수 있다. 또 다른 예로서, AI는 준비된 조직 샘플들의 디지털 이미지들 내 개별 지역들에서 부유물(floater)들(이상 유형)의 존재를 예측하는 데 사용될 수 있다. 조직들의 이미지들은 전체 슬라이드 이미지들(WSI) 또는 마이크로어레이들 내의 조직 코어들의 이미지들 또는 조직 섹션 내의 선택된 관심 영역들일 수 있다. H&E와 같은 염색 방법들을 사용하면 이 바이오마커들은 추가 시험 없이 인간들이 시각적으로 검출하거나 정량화하기 어려울 수 있다. AI를 사용하여 조직의 디지털 이미지들에서 이 바이오마커들을 추론하면 환자 치료를 향상하는 동시에 더 빠르고 저렴해질 수 있다.
본 명세서에 개시된 전산 병리학 프로세스들 및 디바이스들은 검사실 정보 시스템(LIS)과 통합하면서 웹-브라우저 또는 다른 사용자 인터페이스를 통해 디지털 병리학 이미지의 데이터 수집, 처리 및 보기를 포함하는 완전히 자동화된 프로세스를 허용하는 통합 플랫폼을 제공할 수 있다. 또한 환자 데이터의 클라우드 기반 데이터 분석을 사용하여 임상 정보가 집계될 수 있다. 데이터는 병원들, 진료소들, 분야 연구원들 등에서 제공될 수 있으며 머신 러닝, 컴퓨터 비전(computer vision), 자연어 처리(natural language processing) 및/또는 통계 알고리즘들을 통해 분석되어 다수의 지리적 특수성 레벨들에서 건강 패턴들을 실시간 모니터링하고 예측할 수 있다.
위에서 설명된 디지털 병리학 이미지들은 표본의 특성 또는 디지털 병리학 이미지의 이미지와 관련된 태그들 및/또는 라벨들과 함께 저장될 수 있으며, 이러한 태그들/라벨들은 부정확하거나 불완전할 수 있다. 따라서, 본 명세서에 개시된 시스템들, 디바이스들 및 방법들은 디지털 병리학 이미지의 올바른 속성들(예를 들어, 표본 유형과 관련된)을 식별 및/또는 검증할 수 있다. 본 명세서에 개시된 시스템들, 디바이스들 및 방법들은 저장된 태그들/라벨들에 의존하지 않고 디지털 병리학 이미지의 표본 또는 이미지 속성들을 자동으로 예측할 수 있다. 또한, 본 명세서서에 개시된 시스템들, 디바이스들 및 방법들은 반드시 LIS 또는 유사 정보 데이터베이스(analogous information database)에 액세스하지 않고도 디지털 병리학 이미지의 표본 유형 또는 디지털 병리학 이미지와 관련된 임의의 정보를 신속하고 정확하게 식별 및/또는 검증할 수 있다.
한 예에서, 시스템은 이전 디지털 병리학 이미지들의 데이터세트들에 기초하여 디지털 병리학 이미지의 다양한 속성들을 식별하도록 훈련될 수 있다. 훈련된 시스템은 디지털 병리학 이미지에 도시된 표본에 대한 분류를 제공할 수 있다. 분류는 표본과 연관된 환자에 대한 치료 또는 진단 예측(들)을 제공하는 데 도움이 될 수 있다.
본 명세서에 개시된 시스템들, 디바이스들 및 방법들은 표본 분류 도구의 하나 이상의 예들을 제공할 수 있다. 도구에 대한 입력은 디지털 병리학 이미지 및 관련 추가 입력들을 포함할 수 있다. 도구의 출력들은 표본에 대한 글로벌 및/또는 로컬 정보를 포함할 수 있다. 표본은 생검(biopsy) 또는 외과적 절제 표본(surgical resection specimen)을 포함할 수 있다.
개시된 작업흐름(들)의 예시적인 글로벌 출력들은 표본의 유형, 표본의 절단의 전체 품질, 유리 병리학 슬라이드 자체의 전체 품질 및/또는 조직 형태 특성들 등 전체 이미지에 대한 정보를 포함할 수 있다. 예시적인 로컬 출력들은 이미지의 특정 지역들에 있는 정보를 나타낼 수 있다; 예를 들어, 특정 이미지 지역은 슬라이드에 흐릿함(blur)이나 균열(crack)이 있는 것으로 분류될 수 있다. 본 명세서에 개시된 시스템들, 방법들 및 디바이스들은 아래에 더 자세히 설명된 대로 개시된 표본 분류 도구(들)를 사용할 수 있다.
또한, 본 명세서에 개시된 시스템들, 방법들 및 디바이스들은 전산 병리학 서비스들 및 제품들의 개발 및 전달 시 민감하고 법적으로 보호되는 정보를 보호할 수 있다. 또한, 본 명세서에 개시된 시스템들, 방법들 및 디바이스들은 의료 행위, 환자들 및/또는 고객들에 속하는 데이터를 포함한 모든 데이터에 대한 생산 시스템 보호들뿐만 아니라 보안 및 프라이버시 설계 접근 방식을 제공할 수도 있다.
본 명세서에 개시된 기술적 양태들은 병리학자들 및 과학자들의 광범위한 커뮤니티가 디지털 병리학 슬라이드들을 이용할 수 있게 하여 임상 현장 또는 기관이 데이터 공유 정책들을 더 잘 제어하고 데이터가 안전하게 저장되고 익명화되도록 보장할 수 있다. 결과적으로 임상 현장이나 기관은 전 세계 연구자들과 더 잘 협력하여 병리학 및 궁극적으로 환자들에게 도움이 되는 AI 솔루션들을 개발할 수 있다. 사용자가 연구 그룹이나 대학의 일원인 경우, 본 명세서에 개시된 기술적 양태를 통해 임상 파트너의 데이터에 더 쉽게 액세스하고 기존 인프라를 활용하여 소프트웨어 개발 키트(SDK)를 사용하여 맞춤형 알고리즘을 구축할 수 있다.
통합 컴퓨팅 플랫폼을 사용하는 작업흐름은 (i) AI 기반 디지털 병리학 슬라이드들 뷰어, (ii) AI 제품들의 세트 및/또는 (iii) 데이터 수집 기기를 제공할 수 있다. AI-기반 디지털 병리학 슬라이드들 뷰어는 대화형(interactive) 사용자 인터페이스 또는 알림 대시보드를 포함할 수 있다. 뷰어는 슬라이드 이미지들의 협력 및 공유를 추가로 지원할 수 있다. AI 제품들의 세트는 신체의 다양한 부위들(예를 들어, 전립선)용으로 설계된 제품들을 포함할 수 있으며, 이는 다른 작업흐름 단계들에 연결될 수 있고 특정 진단 목적이나 암의 유형에 맞게 사용자 맞춤화될 수 있다. 데이터 수집 기기는 디지털 병리학 슬라이드들의 전송을 용이하게 한다.
도 1은 병원 또는 임상 환경(1), 외부 그룹 연구 기관 또는 대학(2), 클라우드 컴퓨팅 생태계(ecosystem)(3) 및 또 다른 또는 2차 병원 또는 임상 환경(4)의 예시적인 개략도를 도시한다. 병원 또는 임상 환경(1)은 통합된 스캐너 기기 및 플랫폼(1a)을 포함할 수 있다. 플랫폼(1a)은 클라우드 컴퓨팅 생태계(3)(예를 들어, 아마존 웹 서비스들 클라우드(AWS))와 통신할 수 있다. 클라우드 컴퓨팅 생태계(3)는 외부 그룹 연구 기관이나 대학(2)과 통신할 수 있다. 또한, 클라우드 컴퓨팅 생태계(3)는 원래 병원 또는 임상 환경의 외부의 또 다른 병원 또는 임상 환경(4)과 통신할 수 있다. 또한, 외부 그룹 연구 기관이나 대학(2)이 클라우드 컴퓨팅 생태계(3)와 통신할 수도 있다.
예시적인 작업흐름에서, 병원 위치(1)에서 전체 슬라이드 이미지(WSI)들의 데이터 세트를 가진 병리학자는 외부 연구 그룹 또는 대학(2)의 과학자들 및 연구원들과 함께 연구 프로젝트에 대해 협력하기를 원할 수 있다. 연구자들의 그룹은 프로젝트에 협력하기 위해 병리학자의 익명화된 데이터 세트에 액세스가 필요할 수 있다. 확장 가능하고 안정적이며 안전한 클라우드 저장소(3e)는 규정을 준수하고 안전하게 유지하면서 제어된 데이터 공유를 가능하게 할 수 있다. 이 저장소(3e)가 배치되면 연구자들의 그룹은 특정 연구 질문 또는 WSIs 유형(예를 들어, 전립선 암 슬라이드들용 등)에 맞게 맞춤화된 하나 이상의 AI 모듈 또는 소프트웨어 개발 키트(SDK)들(3a, 3b, 3c, 3d)을 개발할 수 있다. 하나 이상의 AI 모듈들이나 SDK들(3a, 3b, 3c, 3d) 또는 다른 서비스들 형태의 다양한 AI 솔루션들이 클라우드 저장소(3e)와 동일한 보안 클라우드 컴퓨팅 생태계(3)에 배치될 수 있다. 또한, 하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 플랫폼(1a), 대학(2) 및/또는 2차 병원 환경(4)에서 사용 가능하거나 및/또는 통신 가능하게 될 수 있다. 하나의 클라우드 저장소(3e)가 도시되어 있으나, 기관들 및/또는 고객들(예를 들어, 외부 연구그룹이나 대학(2), 또는 다른 외부 그룹, 병원, 연구대학 등) 사이의 유출을 방지하기 위해 각각이 단일 기관에 대응 및/또는 전용인 복수의 클라우드 저장소들(3e)이 있을 수 있다.
병원 위치(1)의 병리학자는 적절한 도구들을 활용하여 하나 이상의 제3자 AI 모듈들(3a, 3b, 3c, 3d)의 결과들 및 이미지들을 볼 수 있다. 대학의 연구자들(2)은 귀중한 피드백을 수집하거나 클라우드 컴퓨팅 생태계(3)의 다른 서비스들을 사용할 수 있다. 협력자들은 함께 하나 이상의 제3자 AI 모듈들(3a, 3b, 3c, 3d)을 다른 기관 및 위치(예를 들어, 2차 병원(4))에서 사용할 수 있도록 할지 여부를 결정하고 보안 및 프라이버시를 유지하면서 다양한 다른 정보 및 데이터를 작업흐름에 통합할 수 있다. 협력자들은 또한 하나 이상의 AI 모듈들(3a, 3b, 3c 및 3d)을 업데이트하고 해당 업데이트들을 클라우드 컴퓨팅 생태계(3)에서 사용할 수 있도록 하기로 결정할 수 있다. 병원 위치(1)의 병리학자, 대학(2)의 연구들 및/또는 액세스가 있는 다른 사람들과 같은 다른 사용자들은 다른 사용자들(예를 들어, 다른 대학들 또는 다른 제3자들)에 의해 개발된 다수의 AI 모듈들 또는 SDK들(3a, 3b, 3c 및 3d) 중에서 선택, 검색 및/또는 다운로드할 수 있으며, 이 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 다른 것들과 쉽게 교체 및/또는 업데이트될 수 있다.
하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 간단하고 사용 가능하며 기술적으로 건전할 수 있다. 하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 특정 사용 사례들에 맞게 맞춤화하는 데 더 적은 노력이 필요할 수 있고, 독립적일 수 있고, 로컬로 실행될 수 있으며, 노출된 코드를 줄이거나 최소화할 수 있다. 하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 배우기 쉽고 개발자의 작업흐름에 쉽게 통합할 수 있으며 잘 문서화되어 있지만 문서 없이 사용될 수 있고 예들을 제공하며 낮은 지원이 필요할 수 있다. 하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 안정적이고, 철저하게 테스트되고, 안전하고, 이전 버전과 호환되고, 잘 패키징되고, 버전이 지정될 수 있다. 하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)은 사용자(예를 들어, 병리학자, 연구원 등)가 원하고 하나 이상의 AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d)의 원하는 기능에 따라 여러 위치들에서 플랫폼 아키텍처에 연결될 수 있다.
본 명세서에 개시된 플랫폼(1a) 및 작업흐름들은 사용자들 사이의 협력을 개선시킬 수 있다. 협력은 기관(예를 들어, 병원(1))의 플랫폼(1a)의 사용자, 동일한 기관의 사용자, 또 다른 기관의 사용자(플랫폼(1a)에 액세스를 갖는), 플랫폼(1a)에 대한 액세스가 없는 또 다른 기관(예를 들어, 2차 병원(4))의 사용자, 또는 외부 개인(예를 들어, 외부 기관(2))사이에서 이루어질 수 있다. 플랫폼(1a)의 사용자들은 동일한 슬라이드들과 사례들을 동시에 열고 볼 수 있다. 사용자들은 추가로 사례들과 슬라이드들의 링크들을 전송할 수 있으며, 여기서 사례들과 슬라이드들은 식별, 식별 해제, 익명화되거나 공개적으로 또는 비공개적으로 논평(comment) 및 주석을 달 수 있다. 회의 또는 회의와 유사한 환경에서 그룹들은 수석 사용자가 슬라이드를 탐색하고 나머지 그룹이 개인 화면에서 슬라이드를 볼 수 있는 상태에서 동일한 사례들과 슬라이드들을 검토할 수 있다(다중-머리(multi-headed) 현미경과 유사). 다른 설정들에서는 기관의 다운로드 제한들(예를 들어, 대학교 학생들)에 기초하여 사례들 및 슬라이드들의 링크들이 수신 및/또는 다운로드될 수 있다. AI 결과들은 공유 옵션들에 포함될 수 있다.
도 2는 디지털 슬라이드들을 처리하기 위한 플랫폼의 예시적인 글로벌 아키텍처(100)를 도시한다. 이 아키텍처는 도 1에서 위에서 논의된 것처럼 하나 이상의 SDK들 또는 제3자 AI 모듈들(3a, 3b, 3c, 3d)과 함께 사용될 수 있다. 하나 이상의 실시예들은 서비스형 인프라(IaaS) 및 서비스형 플랫폼(PaaS) 제공자와 같은 클라우드 제공자를 사용하여 글로벌 규모의 고객들에게 확장 가능하고 신뢰할 수 있으며 안전하고 사용 가능한 서비스를 제공할 수 있다. 예시적인 글로벌 아키텍처(100)는 지역(101)의 제공자에 의한 사용을 포함할 수 있고 디지털 슬라이드들 및 이미지들을 유럽 연합 또는 미국과 같은 다른 지역으로 전송할 수 있다. 지역은 다른 크기들과 특성들을 갖는 위치들을 지칭할 수 있다. 예를 들어 지역은 국가, 도시, 병원 등이 될 수 있다. 환자와 관련된 모든 메타데이터(metadata)도 암호화되어 해당 지역에 저장될 수 있다. 글로벌 아키텍처(100)는 임의의 지역에 걸쳐 규정 준수, 신뢰성, 보안 및 개인정보 보호를 고려하여 개발될 수 있다. 글로벌 아키텍처(100)는 메타데이터가 저장되는 기본 지역이 없도록 구성될 수 있다(예를 들어, 환자가 특정 지역(101)에 거주하는 경우와 같이 승인되지 않는 한 미국 등 특정 지역(101)에 메타데이터가 자동으로 저장되지 않도록).
지역 또는 위치(101)의 제공자 내에서, 글로벌 아키텍처(100)는 전체 슬라이드 이미지(WSI) 시스템(102)을 포함할 수 있으며, 여기서 WSI는 디지털화되어 저장소(103)에 로컬로 저장될 수 있다. WSI들은 슬라이드 스캐너(104)에 의해 스캔될 수 있고 슬라이드 스캐너(104)에서 슬라이드 관리자(105)로 전송될 수 있다. WSI 시스템(102)으로부터 디지털화된 이미지들은 데이터 수집 기기(106) 또는 실험실 정보 시스템(LIS)(107)으로 전송될 수 있다. 이미지들이 LIS(107)로 전송되면, 사용자는 자바스크립트 객체 표기법(JSON) 알림을 통해 이미지들을 뷰어(108)에서 볼 수 있다는 알림을 받을 수 있다. 뷰어(108)는 기존의 광 현미경에 의한 수동 시각화에 적절할 디지털화된 병리학 슬라이드들의 보기 및 탐색을 용이하게 하는 웹 기반 소프트웨어 제품일 수 있다. 뷰어(108)는 체외(vitro) 진단용으로 구성될 수 있다.
대신 이미지들이 데이터 수집 기기(106)로 발송된다면, 이미지는 웹 애플리케이션 방화벽(WAF)(110)을 통해 슬라이드들의 발신 지역(101) 외부에 위치한 웹 서비스(112)로 추가로 전송될 수 있다. 웹 서비스(112)로부터, 이미지들은 웹 서비스 콘솔(113)로 발송된 다음 인증 제공자(109)에 의한 추가 처리, 검토 또는 인증을 위해 원래 지역(101)으로 다시 발송될 수 있다. 이미지들은 또한 WAF(110)를 통해 지역(101)에 있는 제공자 외부의 뷰어(108)에게 발송될 수도 있다.
대안적으로, 이미지들은 데이터 수집 기기(106)로부터 고유의 암호화된 S3 버킷(111)으로 발송될 수 있다. 암호화된 S3 버킷(111)은 예를 들어 유럽 연합(EU)(예를 들어, 런던 또는 프랑크푸르트), 브라질(예를 들어, 상파울루) 또는 미국(예를 들어, 북부 버지니아)과 같은 여러 다른 지역들 또는 프라이버시 관할 구역들에 물리적으로 위치될 수 있다. 위에서 설명된 바와 같이, 영역은 서로 다른 크기들과 특성들을 갖는 위치들을 지칭할 수 있다. 프라이버시 관할 구역은 동일하거나 유사한 프라이버시 법들이나 정책들을 따르는 영역(예를 들어, EU 또는 미국)을 지칭할 수 있다. 지역들은 동일한 정보에 액세스하도록 승인된 영역들 또는 위치들(예를 들어, 병원)일 수 있다. 이미지들이나 슬라이드들과 연관된 보호 건강 정보(PHI)는 다른 지역들에 위치된 암호화된 S3 버킷(111) 사이를 이동하는 것이 허용되지 않는다. 암호화된 S3 버킷(111)이 미국 내에 위치되는 경우, 이미지들은 웹 서비스(112)로 발송될 수 있으며, 웹 서비스(112)는 익명의 결과들을 보유하기 위해 또 다른 암호화된 S3 버킷(114)으로 이미지들을 추가로 발송할 수 있다. 이 익명화된 결과들은 전립선 등과 같은 신체의 특정 영역을 겨냥한 진단 도구들을 포함하여 다른 제품들(115)에 사용될 수 있다.
이미지들(예를 들어, 전체 슬라이드 이미지들 또는 WSI들)은 WSI 스캐너들(104)에 의해 자동으로 스캔되고 WSI 스캐너들(104)에 의해 자동으로 안전하게 수집되어 로컬 저장소(103)에 저장될 수 있다. 이 이미지들은 안전한 클라우드 저장소(예를 들어, 완전 자동화된 프로세스)에 자동으로 카피될 수 있다. 이미지들이 수신되면, 글로벌 아키텍처(100)는 클라우드 컴퓨팅의 최신 발전들을 활용하여 규모에 맞게 AI 전산들을 자동으로 수행할 수 있다. 글로벌 아키텍처(100)는 업로드된 이미지들과 AI 제품들에 의해 생성된 예측들을 볼 때 최첨단 경험을 제공할 수 있다.
글로벌 아키텍처(100)는 환자 정보가 원래 지역을 벗어나는 것을 방지하는 것을 포함하여 PHI에 대한 규제 요건들의 엄격한 시행을 유지할 수 있다. 글로벌 아키텍처(100) 및/또는 제품 아키텍처는 PHI가 원래 지역에 유지되도록 규정 준수, 신뢰성, 보안 및 프라이버시를 고려하여 개발될 수 있다. 글로벌 아키텍처(100)는 업로드된 이미지들 및/또는 메타데이터가 특정 기관 전용 저장소에 저장될 수 있도록 구성될 수 있다.
도 2에 예시된 바와 같이, 식별 가능한 환자 정보는 진료소가 위치된 지역에 보관될 수 있다. 모든 스캔된 이미지들은 모든 지역들에 물리적으로 위치된 암호화된 S3 버킷(111)에 보관될 수 있다. 다른 기관들의 병리학 데이터는 다른 버킷들에 다른 기관들의 데이터를 저장하여 서로 분리될 수 있다.
글로벌 아키텍처(100)는 데이터 수집을 위해 잘 정의된 애플리케이션 프로그래밍 인터페이스(API) 종점(endpoint)들을 제공할 수 있다. 민감한 데이터의 노출을 줄이거나 최소화하기 위해 특정 종점(예를 들어, 지역 API 종점)과 고유한 S3 버킷(111)이 제공되어 생성될 방화벽 규칙들의 수를 제한할 수 있다. 이 종점은 서비스 중단의 위험을 줄이기 위해 안정적일 수 있다.
글로벌 아키텍처(100)는 인증 제공자(들)를 활용할 수 있다. 글로벌 아키텍처(100)는 정보 기술(IT) 부서가 인증된 계정들에 대한 액세스 및 자격 증명들을 관리할 수 있도록 하는 프로토콜(예를 들어, 보안 주장 마크업 언어(Security Assertion Markup Language)(SAML) 2.0 프로토콜)을 사용하여 인증 제공자와 통합할 수 있다.
글로벌 아키텍처(100)는 고객 분리를 제공하거나 가능하게 할 수 있다. 업로드된 이미지들은 고객들 사이의 데이터 유출들을 방지하는 것을 위해 기관 전용 클라우드 저장소에 저장될 수 있다. 다른 데이터는 다중-테넌트(multi-tenant)일 수 있으며 반드시 다른 고객의 데이터와 분할될 필요는 없다. 글로벌 아키텍처(100)는 재해 복구 능력들을 제공하기 위해 주기적으로 고객 데이터의 백업을 수행하고 미리 결정된 기간(예를 들어, 6년) 동안 기록을 유지할 수 있다. 미리 결정된 기간은 계약상의 합의들, 규칙들, 정책들 등에 기초할 수 있다.
고객들은 자신의 데이터 소유자들로 남을 수 있다. 고객들의 데이터는 제품을 향상시키고 플랫폼과 관련 제품들 및 서비스들을 추가로 개발하는 데 사용될 수 있다.
잠재적인 데이터 침해(breach)들 또는 유출들을 검출하고, 데이터 흐름을 모니터링하고 민감한 정보(예를 들어, 고객 데이터 및 지적 재산)를 보호하기 위해 응집력(cohesive) 있는 데이터 손실 방지(DLP) 솔루션이 배치될 수 있다. 보안 표준들은 선택된 표준들(예를 들어, HIPAA< ISO 27001, GDPR 및 HITRUST)과 일치할 수 있다.
글로벌 아키텍처(100)는 키 카드 관리 시스템을 포함할 수 있고, 실제 사무실들에 대한 액세스는 키 카드 관리 시스템에 의해 제어될 수 있다. 키 카드 액세스로 제한된 사무실 영역들에 대한 출입을 통제할 수도 있다. 키 카드 시스템의 로그(log)들은 모니터링, 경고 및 이벤트 상관 관계에 사용되는 보안 로그 관리 도구에 유지될 수 있다. 실제 사무실들은 또한 모든 실제 출입구들에 비디오 모니터링을 갖는다.
글로벌 아키텍처(100)는 직원 인증을 요구하고 감사 가능성(auditability)을 가능하게 하는 버전 제어 시스템을 포함할 수 있으며, 소스 코드는 버전 제어 시스템에 안전하게 저장될 수 있다. 코드 변경 사항들은 품질 및 잠재적인 보안 문제들에 대해 동료-검토를 받을 수 있다. 또한 컴포넌트 및 제품 버전 관리를 통해 완전한 추적 가능성(traceability)이 가능해진다.
정확성, 회귀, 안정성 및 유효성에 대한 전통적인 테스트 및/또는 테스트 외에도, 글로벌 아키텍처(100)는 최종 제품들을 형성하는 모든 컴포넌트들에 대해 정적 애플리케이션 보안 테스트(SAST) 및 동적 애플리케이션 보안 테스트(DAST)의 성능을 수행하거나 활성화할 수 있다. 효율성을 극대화하기 위해 이 도구들은 소프트웨어 개발 수명 주기(SDLC) 및 지속적인 통합 플랫폼 내에 통합될 수 있다. 아이디어(ideation) 구상부터 전달까지 전체 SDLC 전반에 걸쳐 표준 업계 관행(practice)들이 사용될 수 있다. 소스 코드 등은 직원 인증이 필요하고 감사 가능성이 가능한 버전 제어 시스템에 안전하게 저장될 수 있다. 모든 코드 변경 사항들은 품질 및 잠재적 보안 문제들에 대해 동료-검토를 받을 수 있다. 글로벌 아키텍처는 완전한 추적 가능성을 가능하게 할 수 있다.
글로벌 아키텍처(100)는 패치 관리를 포함하고 정기적인 패치 절차 및 일정을 유지할 수 있다. 글로벌 아키텍처(100)는 모든 관리 시스템들에 대해 매월 동작 시스템 패치를 수행할 수 있다. 글로벌 아키텍처(100)는 제품의 개발 전반에 걸쳐 제품 및 제3자 소프트웨어 패치를 관리하고 각각의 릴리스와 함께 배치될 수 있다. 본 명세서에 개시된 글로벌 아키텍처(100) 및/또는 프로세스는 품질 관리 시스템을 포함할 수 있다. 품질 관리 시스템은 해당 표준들(예를 들어, ISO 13485:2016) 및 규정들에 따라 유지될 수 있다. 품질 관리 시스템은 글로벌 아키텍처(100)와 관련하여 실행되는 프로세스들, 이 프로세스들의 상호 작용들, 품질 관리 시스템에 대한 이 프로세스들의 위험 및 위험 접근 방식으로 평가된 제품 품질(예를 들어, ISO 14971 표준 충족), 이 프로세스들, 프로세스들과 연관된 측정 및 분석 활동들의 효율성, 프로세스들의 지속적인 향상과 연관된 메커니즘들을 지원하고 모니터링하기 위한 자원 할당(allocation)을 모니터링 및/또는 분석할 수 있다.
글로벌 아키텍처(100)는 취약성 관리(vulnerability)를 포함할 수 있다. 글로벌 아키텍처(100)는 보안 도구들을 사용하여 제품 및 생산 환경의 활성 보안 및 취약성 스캔들을 수행할 수 있다. 글로벌 아키텍처(100)는 식별된 문제들을 기록(log)하고 위험 평가를 수행할 수 있다. 보안 팀은 환경에 대한 정기적인 평가들, 검토들 및 감사들을 수행할 수 있다. 또한 팀은 취약성 문제들을 추적(track)하고 해결(remediate)할 수도 있다.
글로벌 아키텍처(100)는 안티바이러스(antivirus) 및 악성코드(malware) 탐지 도구들의 사용을 포함할 수 있는 악성코드 방지를 포함할 수 있다. 글로벌 아키텍처(100)는 네트워크 트래픽을 제어하고 모니터링하기 위한 방화벽을 포함할 수 있다.
도 3a 및 3b는 예시적인 실시예에 따른, AI 알고리즘과 함께 플랫폼을 사용하기 위한 예시적인 방법을 예시하는 작업흐름들이다. 예를 들어, AI는 자동으로 또는 사용자의 요청에 응답하여 플랫폼에서 사용되는 전체 작업흐름의 여러 양태들에 적용될 수 있다. 도 3a는 방법(300)으로 설명된 메타데이터를 생성하기 위한 작업흐름의 일부를 예시하고, 도 3b는 WSI, WSI와 연관된 추가 정보 및/또는 도 3a의 WSI로부터 생성된 메타데이터를 발송하기 위한 작업흐름의 일부를 예시하며, 이는 방법(350)으로 설명된다. 일부 예들에서, 방법들(300 및 350)은 단일 방법으로 조합될 수 있다.
도 3a를 참조하면, AI 출력과 함께 플랫폼(예를 들어, 도 1의 플랫폼(1a))을 사용하기 위한 예시적인 방법(300)은 다음 단계들 중 하나 이상을 포함할 수 있다. 단계(302)에서, 방법(300)은 제1 위치 또는 지역(예를 들어, 병원(1))의 제1 사용자로부터 및/또는 제1위치 및/또는 지역에서 제1 환자와 연관된 제1 사용자로부터 클라우드 컴퓨팅 환경(예를 들어, 도 1의 클라우드 컴퓨팅 생태계(3))에서 하나 이상의 전체 슬라이드 이미지(WSI)들을 수신하는 단계를 포함할 수 있다. WSI는 환자와 연관된 의료 샘플을 도시할 수 있다. 슬라이드들은 위에서 설명된 도 2에서와 같이 슬라이드 스캐너(104)에 의해 스캔되어 WSI 시스템(102)에 저장될 수 있다. 하나 이상의 WSI들을 수신하는 단계(302)는 WSI, 의료 샘플 및/또는 환자와 연관된 추가 또는 보충 정보를 수신하는 것도 포함할 수 있다.
단계(304)에서, 방법(300)은 전체 슬라이드 이미지를 제1 지역의 제1 컨테이너에 저장하는 단계를 포함할 수 있다. 컨테이너는 단순 저장 서비스 암호화된 버킷(예를 들어, 도 2의 암호화된 S3 버킷(111))과 같은 임의의 데이터 저장 서비스일 수 있다. 수신된 전체 슬라이드 이미지를 저장하는
것은 수신된 전체 슬라이드 이미지를 자동 AI 기반 수집을 수행하는 것을 포함할 수 있다.
단계(306)에서, 방법(300)은 하나 이상의 WSI 상의 작업을 수행하기 위해 사용자-개발형 또는 맞춤형 인공 지능(AI) 모델 또는 알고리즘(예를 들어, 도 1의 제3자 AI 모듈(3a, 3b, 3c, 3d))을 적용하는 것을 포함할 수 있다. 작업은 WSI에서 의료 샘플의 특성을 결정하기 위한 적어도 하나의 단계를 포함할 수 있다. AI는 슬라이드 자체뿐만 아니라, 수신된 유전자 프로필, 환자 이력, 다른 관련 슬라이드들, 방사선 데이터, 분자 데이터, 임상 데이터 등과 같은 연관된 환자 데이터도 통합할 수 있다.
사용자-개발형 AI 모델 또는 알고리즘은 제2 위치 또는 지역의 제1 사용자 및/또는 제2 사용자(예를 들어, 도 1의 기관(2)의 연구원들)에 의해 개발되어 수신되었을 수 있다. 따라서, 방법(300)은 사용자-개발형 AI 모델 또는 알고리즘을 클라우드 컴퓨팅 환경(예를 들어, 도 1의 클라우드 컴퓨팅 생태계(3))으로 수신하는 단계를 포함할 수 있다. 사용자-개발형 AI 모델 또는 알고리즘은 클라우드 컴퓨팅 환경에 저장된 복수의 사용자 개발 AI 모델들 또는 알고리즘들 중 하나일 수 있다. 복수의 AI 모델들 또는 알고리즘들의 각각은 병원(1), 기관(2), 추가 병원(4), 또는 병원(1) 외부의 또 다른 기관, 단체, 병원과 같은 다른 위치들 및/또는 지역들(예를 들어, 제3, 제4 등의 지역들)에서 다른 사용자들(예를 들어, 제3, 제4 등 사용자들)에 의해 개발되었을 수 있다.
사용자-개발형 AI 모델 또는 알고리즘을 개발할 때, 제2 사용자는 제1 사용자로부터 익명화된 슬라이드들 또는 연관된 데이터(예를 들어, 슬라이드와 관련된 메타데이터)를 수신했을 수 있다. 하나 이상의 전체 슬라이드 이미지들을 수신하는 단계(302)는 하나 이상의 익명화된 전체 슬라이드 이미지들을 수신하는 것을 포함할 수 있고 및/또는 방법(300)은 슬라이드들 또는 연관된 데이터를 익명화하는 단계 및/또는 익명화된 슬라이드들 또는 연관된 데이터를 제2 사용자에게 발송하는 단계를 포함할 수 있다.
사용자-개발형 AI 모델 또는 알고리즘을 적용하는 단계(306)는 클라우드 컴퓨팅 환경에 저장된 복수의 사용자-개발형 AI 모델들 또는 알고리즘들 중에서 하나 이상의 사용자-개발형 AI 모델 또는 알고리즘을 선택하는 것을 포함할 수 있다. 이 선택은 수신된 요청의 유형(예를 들어, 원하는 메타데이터 또는 정보), 특정 사용자-개발형 AI 모델(들)에 대한 커맨드, 단계(306) 이전에WSI와 이미 연관되어 있거나 추가로 수신된 추가 또는 보충 정보 또는 메타데이터, 제1 사용자에 의해 수신된 규칙들 또는 정책들, 및/또는 제2 사용자 및/또는 사용자-개발형 AI 모드들을 클라우드 컴퓨팅 환경에 제출한 사용자들에 의해 수신된 규칙들 또는 정책들(예를 들어, 특정 사용자들 또는 기관들은 다른 사용자들 또는 기관들이 자신의 AI 모델들을 라이센스 동의들 등에 기초하여 사용을 금지하기를 원할 수 있음)을 기반으로 할 수 있다. 예를 들어, 방법(300)은 전체 슬라이드 이미지에 대한 분석 요청 및/또는 사용자-개발형 AI 모델 또는 알고리즘을 전체 슬라이드 이미지에 적용하라는 요청을 수신하는 단계를 포함할 수 있다.
단계(308)에서, 방법(300)은 하나 이상의 WSI의 결정된 특성에 기초하여 WSI와 연관된 메타데이터를 생성하는 것을 포함할 수 있다. 메타데이터 출력은 슬라이드에서 생성될 수 있다. 메타데이터는 수신된 요청 및/또는 선택된 사용자-개발형 AI 모델 또는 알고리즘에 따라 생성될 수 있다.
메타데이터 출력은 사용자(예를 들어, 요청자) 희망들 또는 선호도들에 따라 맞춤화될 수 있으며, (i) 사례 배정, (ii) 사례 작업목록, (iii) 사례 준비, (iv) 슬라이드 트레이, (v) 슬라이드 뷰어 및/또는 (vi) 병리학 보고서를 포함하나, 이에 제한되지는 않는다. 사례 배정 메타데이터를 사용하면 AI 출력을 기반으로 전문 병리학자에게 사례들이 배정되어 병리학자들에게 사례에 대해 자동으로 알리거나 다수의 병리학자들에게 사례를 배정할 수 있다. 사례 작업 목록 메타데이터를 사용하면, 사례들이 작업목록으로 발송되어 긴급성에 따라 사례를 정리하거나 우선순위를 지정하고, 중요도에 따라 사례를 시각화하고 및/또는 원하는 결과별로 사례들을 검색할 수 있다.
사례 준비 메타데이터를 사용하면, 환자에게 필요한 특수 염색들을 주문하고, 환자에 대한 임상 시험들을 제안하고 및/또는 예를 들어 불량한 슬라이드 품질에 기초하여 슬라이드의 재스캔을 트리거하도록 사례들이 준비될 수 있다. 슬라이드 트레이 메타데이터를 사용하면, 긴급도 또는 심각도에 따라 사례 내에서 슬라이드들이 정리되고 중요도에 따라 슬라이드들을 시각화하거나 및/또는 검출된 결과에 따라 사례들을 검색할 수 있다. 슬라이드 뷰어 메타데이터를 사용하면, 그래픽 AI 결과들의 오버레이(overlay)로 슬라이드가 보여지고, AI 결과를 텍스트로 요약하거나 및/또는 후속 연구들을 제안하거나 트리거할 수 있다. 병리학 보고서 메타데이터를 사용하면, 병리학 보고서가 작업흐름의 AI 결과들로 미리 채워질 수 있다.
메타데이터는 도 7을 참조하여 더 상세히 설명되는 바와 같이 히트맵(heatmap)으로 출력될 수 있다. 히트맵은 의료 표본의 속성(attribute) 가능성에 대한 그래픽 예측을 포함할 수 있다. AI 및/또는 메타데이터 출력은 플랫폼과 함께 사용되는 사용자-개발형 AI 모델 또는 알고리즘(예를 들어, 도 1의 AI 모듈 또는 SDK(3a, 3b, 3c 및/또는 3d))에 따라 추가로 달라질 수 있다.
단계(310)에서, 방법(300)은 메타데이터를 제2 컨테이너에 저장하는 것을 포함할 수 있다. 제2 컨테이너는 제1 컨테이너와 다를 수 있다. 제2 컨테이너는 제1 위치 또는 지역과 동일하거나 대안적으로는 제2 위치 또는 지역 및/또는 제3 위치 또는 지역과 같은 다른 위치 또는 지역에 있는 제1 위치 또는 지역의 단순 저장소 암호화 버킷(예를 들어, 도 2의 추가 암호화 S3 버킷(111))과 같은 임의의 데이터 저장 서비스일 수 있다. 일부 예들에서, 사용자-개발형 AI 모델들 또는 알고리즘들은 생성된 메타데이터 및/또는 클라우드 컴퓨팅 환경(예를 들어,도1의 클라우드 생태계(3) 및/또는 저장소(3e))으로 수신된 추가 정보(예를 들어, 장기 결과들)를 기반으로 수정 및/또는 개선될 수 있으며, 사용자-개발형 AI 모델들 또는 알고리즘들의 정확성과 효율성이 향상될 수 있다. 일부 예들에서 각각의 기관, 위치, 지역 등은 생성된 메타데이터에 대한 자체 컨테이너 또는 버킷을 가질 수 있다.
도 3b를 참조하면, 방법(350)은 디바이스(예를 들어, 컴퓨터 또는 다른 모바일 디바이스, 병원의 이미지 시스템 등)로부터 하나 이상의 전체 슬라이드 이미지들에 대한 요청을 수신하는 단계(312)를 포함할 수 있다. 방법(350)은 디바이스의 물리적 위치에 기초하여 디바이스가 전체 슬라이드 이미지, 전체 슬라이드 이미지와 연관된 추가 정보 및/또는 전체 슬라이드 이미지와 연관된 생성된 메타데이터를 수신하거나 액세스하도록 승인되었는지 여부를 결정하는 단계(314)를 포함할 수 있다. 단계(314)는 예를 들어 디바이스가 제1 컨테이너, 제2 컨테이너, 제1 사용자(즉, 클라우드 컴퓨팅 환경에 초기 전체 슬라이드 이미지를 보낸 발송지) 및/또는 환자의 동일한 또는 다른 위치(예를 들어, 병원), 지역(예를 들어, 도시 또는 로컬 병원 시스템) 및/또는 프라이버시 관할권(예를 들어, 미국)에 위치되는지 여부를 결정하는 것을 포함할 수 있다. 단계(314)는 디바이스 및/또는 사용자가 제1 컨테이너 및/또는 제2 컨테이너의 정보에 액세스하도록 승인되었는지 여부를 결정하는 것을 포함할 수 있다.
단계(314)는 또한 요청자 또는 디바이스의 신원 및/또는 자격 증명들에 기초하여 및/또는 임의의 정책들, 허가들 또는 규칙들에 기초하여 디바이스가 승인되는지 여부를 결정할 수 있다. 정책들, 허가들 또는 규칙들은 (i) 제1 사용자(예를 들어, 도 1의 병원(1)), (ii) 메타데이터를 생성하는 데 사용되는 사용자-개발형 AI 모델 또는 알고리즘을 만든 제2 사용자, (iii) 제2 컨테이너 및/또는 (iii) 프라이버시 관할권(예를 들어, 환자, 병원 및/또는 제1 또는 제2 컨테이너가 유럽 연합 내에 위치한 GDPR) 내의 외부 규칙들, 규정들, 법률들 또는 정책들과 연관되거나 이들로부터 수신될 수 있다. 방법(350)은 위에서 설명된 정책들, 허가들 또는 규칙들을 수신, 저장 및/또는 결정하는 단계를 포함할 수 있다. 대안적으로 또는 그에 추가하여, 단계(314)는 전체 슬라이드 이미지, 보충 정보 및/또는 생성된 메타데이터가 승인을 결정하는 데 사용된 위의 요인들 중 임의의 것에 기초하여 수정되어야 하는지 여부를 결정하는 것을 포함할 수 있다.
방법(350)은 단계(316)에서, 단계(314)에서 디바이스가 전체 슬라이드 이미지에 액세스하도록 승인된 것으로 결정되면, 요청된 전체 슬라이드 이미지를 디바이스로 송신 또는 출력하는 것을 포함할 수 있다. 일례로, WSI는 제1 컨테이너로부터 송신될 수 있다. 대안적으로 또는 그에 추가하여, 단계(316)는 전체 슬라이드 이미지를 수정하는 것 및/또는 단계(314)에서 결정된 임의의 수정들에 기초하여 새로운 전체 슬라이드 이미지를 생성하는 것을 포함할 수 있다.
방법(350)은 단계(314)에서 디바이스가 임의의 보충 정보에 액세스하도록 승인된 것으로 결정된 경우, 단계(318)에서 WSI와 연관된 임의의 보충 정보를 디바이스에 송신 또는 출력하는 것을 포함할 수 있다. 단계(314)는 승인된 보충 정보의 부분들 또는 유형들을 결정하는 것을 포함할 수 있으며, 단계(318)는 승인된 이 보충 정보의 부분들 또는 유형들만을 송신하는 것을 포함할 수 있다. 보충 정보는 제1 컨테이너 및/또는 저장소로부터 송신될 수 있다. 대안적으로 또는 그에 추가하여, 단계(318)는 보충 정보를 수정하는 것 및/또는 단계(314)에서 결정된 임의의 수정들에 기초하여 새로운 보충 정보를 생성하는 것을 포함할 수 있다.
방법(350)은 단계(314)에서 디바이스가 생성된 메타데이터에 액세스하도록 인증된 것으로 결정되는 경우, 단계(320)에서 WSI와 연관된 생성된 메타데이터를 디바이스에 송신하거나 출력하는 단계를 포함할 수 있다. 단계(316)과 마찬가지로, 단계(314)는 생성된 메타데이터의 승인 및 승인되지 않은 부분들 또는 유형들을 결정하는 것을 포함할 수 있으며, 단계(320)는 승인된 생성된 메타데이터의 부분들 또는 유형들만을 송신하는 것을 포함할 수 있다. 생성된 메타데이터는 제2 컨테이너로부터 송신될 수 있다. 대안으로 또는 그에 추가하여, 단계(320)는 생성된 메타데이터를 수정하는 것 및/또는 단계(314)에서 결정된 임의의 수정들에 기초하여 새로운 메타데이터를 생성하는 것을 포함할 수 있다.
316, 318 및 320 중 임의의 하나 또는 모두는 단계(314)에서 이루어진 결정들에 기초하여 수행될 수 있다. 예를 들어, 디바이스는 단계(302)에서 WSI가 수신된 동일한 병원 또는 의사로부터 나온 것이며, 그런 다음 단계(314)는 병원이 WSI 및 WSI와 연관된 모든 정보(보충 및 생성된 메타데이터 둘 모두)에 액세스하도록 허용되었는지 결정할 수 있으며, 모든 단계들(316, 318 및 320)이 수행될 수 있다. 디바이스가 연구원으로부터인 경우, 연구원과 병원 사이의 협력 계약들, 공동 개발 계약들, 법률들 등에 기초하여 연구원이 병원에 의해 제출된 특정 WSI들(예를 들어, 암과 관련된 WSI) 및 특정 보충 데이터 또는 다른 정보(예를 들어, 식별 정보)를 제외한 생성된 메타데이터에 접근할 수 있도록 허용하는 정책들이 있을 수 있으므로 단계(314)는 연구원이 WSI 및 보충 정보 및/또는 생성된 메타데이터의 일부 또는 전부에 액세스하도록 허용되었음을 결정할 수 있고, 이에 따라 단계들(318 및 320)과 함께 단계(316)가 수행될 수 있다.
또 다른 예에서, 단계(314) 동안 디바이스는 인식되지 않거나 승인되지 않은 위치, 지역 또는 사용자로부터 온 것으로 결정될 수 있으며, 단계들(316, 318, 320) 중 어느 것도 수행되지 않을 수 있다. 또 다른 예에서, 사용자 신원에 기초하여 일부 디바이스들은 단계(314)에서 생성된 메타데이터에 액세스할 수 있지만 WSI들 및/또는 보충 데이터에는 액세스할 권한이 승인되지 않는 것으로 결정될 수 있으며, 단계(316)는 수행되지 않을 수 있지만 이에 따라 단계들(318 및 320)은 수행될 수 있다.
도 4a 내지 4c는 예시적인 실시예들에 따른, 데이터 수집 기기의 예시적인 아키텍처들 및 플랫폼 아키텍처에 대한 데이터 수집 기기의 통합이다. 데이터 수집 기기의 예시적인 아키텍처는 슬라이드들이 이미지들로 디지털화될 때 알림들을 수신할 수 있는 데이터 수집 기기를 제공할 수 있으며, 그런 다음 새로운 이미지들을 큐잉(queue)하고 업로드할 수 있다. 준비가 되면 획득한 이미지들은 암호화되어(예를 들어, TLS 1.2+ 사용) 안전한 클라우드 저장소로 발송되어 처리된다.
데이터 수집 기기는 슬라이드 스캐너(104)와 같은 하나 이상의 스캐너들과 완벽하게 통합될 수 있다. 전송(transit) 중인 데이터는 암호화될 수 있다(예를 들어, 산업 표준 HTTPS를 통해 AES-256 암호화와 TLS 1.2+를 사용하여). 데이터 수집 기기는 개방형 가상 기기(OVA) 파일로 배포될 수 있다.
도 4a를 참조하면, 데이터 수집은 WSI 시스템(102), 검사실 정보 시스템(LIS)(107) 및 브리지(bridge)(120)를 포함할 수 있다. WSI 시스템(102)은 이미지 관리 시스템(IMS) 또는 슬라이드 관리자(105), 저장소(103) 및 슬라이드 스캐너(104)를 더 포함할 수 있으며, 여기서 모든 컴포넌트들은 서로 통신하고 슬라이드 이미지들을 발송할 수 있다.
여기서, LIS(107)와 슬라이드 관리자(105)는 통합되어 있을 수도 있고, 미리 존재했을 수도 있다. 이 인터페이스는 디지털화된 슬라이드들이 LIS(107)로부터 액세스 가능하도록 허용할 수 있다. 브리지(120)는 WSI 시스템(102)과 같은 스캐너(104)로부터 구축된 인터페이스로부터 모든 정보를 소비하도록 배치 및 구성될 수 있다. 인터페이스는 건강 레벨 7(HL7), 빠른 의료 상호 운용성 리소스(FHIR), 데이터베이스들, 대표 상태 전송(REST) 애플리케이션 프로그래밍 인터페이스(API)들 등에 구축될 수 있다.
브리지(120)는 스캐너(들)(104)에 로컬인 가상 기기로서 현장에 쉽게 설치되는 독립형 제품 또는 모듈로서 설계될 수 있다. 브리지(120)는 슬라이드들이 디지털화되어 업로드할 수 있다. 일단 준비되면, 획득된 이미지들 및 연관된 메타데이터는 처리되기 위해 안전한 클라우드 저장소(3e)로 전송될 수 있다. 브리지(120)는 자동화가 가능하게된 모든 디지털 슬라이드 스캐너들(104)과 완벽하게 통합되도록 구축될 수 있다. 전송 중인 모든 데이터는 산업 표준 HTTPS를 통해 AES-256 암호화와 TLS 1.2+를 사용하여 암호화될 수 있다. 브리지(120)는 개방형 가상 기기(OVA) 파일로 배포될 수 있다.
임의의 추가 정보는 LIS(107)로부터 획득될 수 있다. 브리지(120)에서 이미지들 및 연관된 정보가 클라우드(121)로 발송될 수 있다. 이 예는 브리지(120)가 새로 디지털화된 이미지들을 통지받고 스캐너(104) 및/또는 슬라이드 관리자(105) 및 LIS(107)의 조합으로부터 연관된 데이터를 가져오는 것을 허용한다.
도 4b를 참조하면, WSI 시스템(102)의 일부와 LIS(107) 사이에는 통합이 없을 수 있다. 이 옵션에서 WSI 시스템(102)은 슬라이드 관리자(105)를 함유하지 않는다. 여기서, 브리지(120)는 스캐너(104) 및 출력 저장소(103)로부터 디지털화된 이미지들을 소비하기 위한 메인 시스템으로 배치 및 구성될 수 있다. 브리지(120)는 또한 LIS(107)로부터 환자 및 사례 메타데이터를 검색하는 데 사용될 수도 있다. 브리지(120)는 그런 다음 디지털화된 이미지들에 관한 이 정보 중 임의의 것을 LIS(107)에 발송할 수도 있고 또는 이미지들 및 연관된 정보를 클라우드(121)에 방송할 수도 있다. 이 예는 브리지(120)가 새로 디지털화된 이미지들을 통지받고 LIS(107)와 양방향(bi-directional) 통합을 생성하여 LIS(107)에 저장된 정보와 스캔된 이미지들을 조정(reconcile)하도록 허용한다.
도 4c를 참조하면, 여기서 LIS(107)와 WSI 시스템(102)의 슬라이드 관리자(105) 사이에 통합이 구축되거나 미리 존재할 수 있어 LIS(107)로부터 디지털화된 슬라이드들에 액세스할 수 있다. 이 인터페이스를 통해 환자, 사례 및 슬라이드 정보가 사용 가능하다. 브리지(120)는 스캐너(104) 시스템에 대해 구축된 인터페이스로부터 모든 정보를 소비하도록 배치 및 구성될 수 있다. 브리지(120)에서 이미지들 및 연관된 정보가 클라우드(121)로 발송될 수 있다. LIS(107)와 슬라이드 관리 시스템(105) 및/또는 스캐너(104) 사이의 미리 존재한 통합을 사용하면, 슬라이드 관리 시스템(105) 및/또는 스캐너(104)로부터 이미지 및 관련 메타데이터를 가져오는 메커니즘들이 개발될 수 있다.
도 5a 내지 c는 예시적인 실시예들에 따른, 검사실 정보 시스템(LIS)의 예시적인 아키텍처들과 LIS를 플랫폼 아키텍처 또는 다른 병원 시스템들에 통합한 것이다.
도 5a를 참조하면, LIS(107)는 뷰어(108)와 단방향으로 통신할 수 있다. 뷰어(108)가 자동으로 개방되거나 사용자의 요청에 응답하여 개방되면, HTTP들과 같은 프로토콜은 사례 및 환자를 식별하기 위해 모든 정보를 전달하도록 요청할 수 있다. 이 정보는 확인을 위해 LIS(107)에 의해 웹 제품(115)으로 발송될 수 있다. 정보는 SAML 또는 인증 교환을 위한 또 다른 표준을 사용하여 병원의 인증 제공자(109)에 인증될 수 있다. 일단 인증되면, 이미지들 및 임의의 연관된 AI 결과들이 뷰어(108)에 스트리밍되거나 표시될 수 있다. 이 예는 LIS(107)에 통합될 사례들 또는 이미지들에 대한 직접 링크를 허용하여 뷰어(108)가 기존 작업흐름의 일부로 개방되도록 허용할 수 있다.
도 5b를 참조하면, LIS(107)는 뷰어(108)와 직접 통신할 수 있다. 웹 제품(115)은 또한 LIS(107)와 직접 통신하여 LIS(107)의 양방향 통합을 설립할 수 있다. 뷰어(108)가 자동으로 개방되거나 사용자의 요청에 응답하여 개방되면, HTTP들과 같은 프로토콜은 사례와 환자를 식별하기 위해 모든 정보를 전달하도록 요청할 수 있다. 이 정보는 확인을 위해 LIS(107)에 의해 웹 제품(115)으로 발송될 수 있다. 정보는 SAML 또는 인증 교환을 위한 또 다른 표준을 사용하여 병원의 인증 제공자(109)에 인증될 수 있다. 일단 인증되면, 이미지들 및 임의의 연관된 AI 결과들이 뷰어(108)에 스트리밍되거나 표시될 수 있다. 이 예는 플랫폼에서 데이터(예를 들어, 상태 등)를 가져오는 데 사용할 수 있는 일련의 API(예를 들어, REST API)들을 허용하고 정보가 LIS(107) 또는 다른 기존 의료 시스템에 전파되도록 허용할 수 있다. LIS(107)는 웹 제품(115)이 제공하는 REST API들로부터 정보를 가져올 수 있다.
도 5c를 참조하면, LIS(107)는 뷰어(108)와 직접 통신할 수 있다. 웹 제품(115)은 또한 브리지(120)를 통해 LIS(107)와 통신하여 LIS(107)의 양방향 통합을 설립할 수 있다. 뷰어(108)가 자동으로 개방되거나 사용자의 요청에 응답하여 개방되면, HTTP들과 같은 프로토콜은 사례와 환자를 식별하기 위해 모든 정보를 전달하도록 요청할 수 있다. 이 정보는 확인을 위해 LIS(107)에 의해 웹 제품(115)으로 발송될 수 있다. 정보는 SAML 또는 인증 교환을 위한 또 다른 표준을 사용하여 병원의 인증 제공자(109)에 인증될 수 있다. 일단 인증되면, 이미지들 및 임의의 연관된 AI 결과들이 뷰어(108)에 스트리밍되거나 표시될 수 있다. 추가적으로, 브리지(120)는 임의의 프로토콜을 통해 LIS(107) 또는 전자 의료 기록(EMR)들 또는 병원 시스템(130)과 같은 다른 시스템들에 대한 보다 정교한 기록 동작들을 위해 사용될 수 있다. 이 예에서는 브리지(120)가 사용되어 플랫폼 외부로 데이터를 가져오고 정보가 LIS(107) 또는 임의의 다른 기존 의료 시스템에 전파되도록 할 수 있다.
도 6은 본 개시의 예시적인 실시예에 따른 슬라이드 뷰어의 예시적인 아키텍처이다. 뷰어는 병리학자가 연관된 환자에 대한 보호된 건강 정보(PHI)를 포함할 수 있는 병리학 표본 또는 사례의 디지털화된 이미지들을 검토하고 해석하는 데 도움이 되는 체외 진단 용도( vitro diagnostic use)로 사용될 수 있다. 예를 들어, 뷰어는 슬라이드들의 디지털화된 병리학 이미지들의 향상된 보기 및 탐색을 용이하게 하는 AI-기반(native) 웹 기반 소프트웨어 제품을 포함할 수 있다. 예시적인 아키텍처는 사용자(예를 들어, 병리학자)가 디지털화된 슬라이드 이미지들 또는 진단 사례들을 볼 수 있게 해줄 수 있다.
예시적인 아키텍처(600)는 클라우드(140)와 같은 클라우드 컴퓨팅 서비스에 기반한 다수의 컴포넌트들뿐만 아니라 로컬 설정의 다수의 컴포넌트들을 포함할 수 있다. 로컬 설정 내에는 대응하는 사용자(예를 들어, 병리학자, 관리자 등)를 갖는 웹 애플리케이션(131), 작업목록(132), 관리자 제품(133) 등과 같은 제품들이 있을 수 있다. 웹 애플리케이션(131), 작업 목록(132) 및/또는 관리자 제품(133) 중 어느 하나는 슬라이드 구독자(137)를 통해 슬라이드 큐(136)로 슬라이드들 또는 다른 정보를 발송할 수 있다. 추가적으로, 가상 머신(171)을 갖춘 기관 A 에는 슬라이드 스캐너(104), 파일 시스템(134) 및 데이터베이스(138)가 있을 수 있다. 가상 머신은 슬라이드들을 슬라이드 큐(136)로 발송하기 전에 파일 시스템(134) 또는 데이터베이스(138)로부터 슬라이드들을 검색할 수 있는 감시자(watcher)(135)를 포함할 수 있다.
클라우드(140)에서는 모든 이미지들이 WAF(110)를 통해 스크리닝되어야 할 수 있다. 그런 다음 슬라이드들은 클라우드 기반 작업목록 애플리케이션(132), 내부 애플리케이션 로드 밸런서(application load balancer)(ALB)(146) 또는 외부 ALB(147) 또는 웹 프레임워크(172)로 발송될 수 있다.
이미지들이 내부 ALB(146)로 발송되면, 내부 ALB(146)는 기관 API(148)로 이미지들을 발송할 수 있다. 차례로, 기관 API(148)는 이미지들을 이미지가 저장될 수 있는 SQL 인스턴스(149)에 발송할 수 있다. 기관 API(148)는 또한 이미지를 사례 구독자(152)에게 발송할 수도 있다. 요청되면 자동으로 또는 사용자의 요청에 응답하여 사례 API(152)는 주 데이터베이스(154) 및 지역 데이터베이스(155)를 포함할 수 있는 클러스터 지역(153)에 이미지를 발송한다.
이미지들이 외부 ALB(147)로 발송되면 데이터 수집 기기(106) 및/또는 지역 토픽(174)으로 발송될 수 있다. 지역 토픽(174)에서 이미지들은 사례 큐(150)와 사례 구독자(151) 또는 사례 API(152)로 발송될 수 있다. 위에서 설명된 바와 같이, 사례 API(152)는 메인 데이터베이스(154) 및 지역 데이터베이스(155)를 포함하는 클러스터 지역(153)으로 이미지를 발송할 수 있다. 대안적으로, 이미지들은 외부 ALB(147)로부터 사례(152)로 직접 발송되거나 인스턴스 관리자(149)로 발송될 수 있다. 또한, 외부 ALB(147)는 이미지들을 케이스 큐(150)에 직접 발송할 수 있다.
외부 ALB는 또한 이미지들을 작업목록(132) 또는 서버(141)로 발송할 수도 있다. 서버(141)는 웹 애플리케이션 뷰어(142) 및 파일 시스템(143)을 포함할 수 있다. 파일 시스템(143)은 슬라이드 이미지들을 서버(141)에 저장할 수 있다. 서버(141)는 사용자가 인증된 후 웹 서비스 콘솔(113)에 이미지를 발송할 수 있고, 이는 다시 클라우드(140)에서 활성 디렉토리(170)로 이미지를 발송할 수 있다.
웹 애플리케이션 뷰어(142)로부터, 이미지들은 또한 애플리케이션 로그와 함께 프로젝트 및 사용자 정보를 저장하는 캐시(144)로 또는 2개의 버킷들 중 하나로 발송될 수 있다. 하나의 버킷은 추론 결과 버킷(145)이고, 다른 하나는 기관 A(101)와 연관된 버킷(111)일 수 있다. 대안적으로, 웹 애플리케이션 뷰어는 이미지들을 내부 ALB(146)로 다시 발송할 수 있다.
도 7a 및 7b에 예시된 바와 같이, 하나 이상의 실시예들은 전산 병리학 프로세스들 및 디바이스들(예를 들어, 전립선암 검출)을 위한 아키텍처를 제공할 수 있다. 아키텍처는 신체 부위에서 채취된 표본들을 포함하는 슬라이드들의 이미지들에 AI 및 머신 러닝 모델들을 적용하고 AI 및 머신 러닝 모델들과 관련된 추가 메타데이터(예를 들어, 히트맵)를 생성하는 데 사용될 수 있다. 히트맵은 전산 병리학 프로세스들 및 디바이스들의 가능한 반환 값 중 오직 하나일 수 있다. 히트맵은 아래에 상세히 설명되어 있지만 다른 반환 값에는 오버레이 이미지, 텍스트 또는 다른 정보를 포함할 수 있다.
히트맵은 슬라이드 이미지의 각각의 영역에 대한 암의 확률을 식별하는 2차원(2D) 이미지일 수 있다. 예를 들어, 이미지의 각각의 픽셀에는 0과 1 사이의 값이 배정될 수 있으며, 숫자가 높을수록 이미지의 특정 영역에 암이 발생할 확률이 높아진다.
도 7a를 참조하면, 개시된 전산 병리학 프로세스들 및 디바이스들의 아키텍처(700)는 클라우드 서비스들 제공자(140)에 기반할 수 있다. 프로세스들은 예측 모듈(161)에 메시지를 발송할 수 있는 트리거(160)에 대한 응답으로 시작할 수 있다. 예측 모듈(161)은 뷰어 히트맵(164)에 예측을 발송할 수 있고, 이는 추가 히트맵(165) 또는 히트맵(166)을 생성하기 위해 예측을 사용할 수 있다. 히트맵(166)은 압축되어 결과들 버킷(168)으로 발송될 수 있으며, 추가적으로 결과들 버킷(168)에서 히트맵을 가져올 수도 있다.
예측 모듈(161)은 업로드된 슬라이드를 예측 분류 모듈(162)로 발송할 수도 있다. 예측 분류 모듈(162)은 슬라이드를 추가 분류 큐(163) 또는 예측 분류(167)로 발송할 수 있다. 예측 분류(167)로부터, 업로드된 히트맵이 결과 버킷(168)으로 발송될 수 있다. 대안적으로, 예측 분류(167)는 슬라이드 버킷(169)으로부터 전립선 슬라이드를 가져올 수 있다.
도 7b를 참조하면, 방법(710)은 트리거(예를 들어, 업로드되거나 스캔되는 파일들, 사용자 입력 등과 같은 도 7a의 트리거(160))에 응답하여 하나 이상의 메세지들 중 하나를 수신하는 단계(702)를 포함할 수 있다. 예를 들어, 하나 이상의 메시지들이 큐에 추가될 알림 서비스로 수신될 수 있다. 방법(710)은 하나 이상의 메시지들을 처리,발송 및/또는 전달하는 단계(704)를 포함할 수 있다. 예를 들어, 단계(704)는 하나 이상의 메시지들을 처리하는 것, 하나 이상의 메시지들을 분류 큐에 발송하는 것, 하나 이상의 메시지들을 분류 작업자 서비스에 전달하는 것을 포함할 수 있다. 오류가 발생하여 메시지가 처리될 수 없는 경우 나중에 분석되기 위해 메시지들이 배달 못한 레터 큐로 발송될 수 있다.
방법은 단계(706)에서 훈련된 머신 러닝 모델을 슬라이드 또는 전체 슬라이드 이미지에 적용하는 것 및/또는 훈련된 머신 러닝 모델을 사용하여 관련 조직으로부터 관심 있는 하나 이상의 바이오마커(biomarker)들을 식별하고 분석에서 관련 없는 조직을 제외하는 전산을 수행하는 것을 포함할 수 있다. 분류 작업자 서비스에서 수신된 모든 메시지에 대해 슬라이드 또는 WSI들(예를 들어, 전립선 슬라이드)이 검색되고 전산이 수행될 수 있다. 전산은 관련 조직(예를 들어, 암 조직)에서 관심 있는 바이오마커(들)를 식별하고 관련 없는 조직을 분석에서 제외되도록 훈련된 머신 러닝 모델을 사용하여 수행될 수 있다.
방법(710)은 단계(708)에서 반환 값을 생성하거나 결정하는 것을 포함할 수 있다. 반환 값은 이미지의 임의의 부분에서든 질병(예를 들어, 암)의 가능성을 도시하는 히트맵(예를 들어, 전립선 히트맵)을 포함할 수 있다. 방법(710)은 단계(712)에서 전자 저장 디바이스(예를 들어, 클라우드 컴퓨팅 환경의 저장소(3e) 또는 도 1의 클라우드 컴퓨팅 생태계(3))에 반환 값(예를 들어, 히트맵으로서)을 출력하거나 업로드하는 것을 포함할 수 있다. 또한, 전산 후 분류 작업자 서비스는 반환 값(예를 들어, 히트맵)이 준비되었는지 또는 프로세스가 실패했는지 여부를 나타내는 알림을 알림 서비스에 다시 푸시할 수 있다. 방법(710)은 WAF(예를 들어, 도 2의 WAF(110)) 뒤에서 수행될 수 있다. 방법(710)은 하나 이상의 관리(administrative) 및/또는 개발 자원들로부터 분리될 수 있다. 방법(710)은 전산을 수행하거나, 반환 값을 생성하거나, 반환 값을 출력하거나, 방법(710)의 다른 단계들이 발생하는 위치를 떠나 고객 데이터의 수집을 금지하는 것을 추가로 포함할 수 있다.
또한, 알림 서비스는 분류 작업자 서비스로부터 수신된 알림에 기초하여 뷰어 반환 값 큐(예를 들어, 뷰어 히트맵 큐)에 메시지를 발송할 수 있다. 그런 다음 메시지들은 반환 값 큐에 의해 순차적으로 또는 병렬로 처리되어 반환 값 작업자 서비스(예를 들어, 히트맵 작업자 서비스)로 전달될 수 있다. 오류가 발생하여 메시지가 처리될 수 없는 경우 나중에 분석되기 위해 메시지가 배달 못한 레터 큐(letter queue)로 발송될 수 있다.
반환 값 작업자 서비스에서 수신된 모든 메시지에 대해 반환 값(예를 들어, 히트맵)이 결과들 버킷에서 검색될 수 있으며 전산이 수행될 수 있다. 일례에 따른, 히트맵 작업자 서비스는 결과들 버킷에서 히트맵을 검색한 후 압축된 bmp 히트맵 및 JSON 메타데이터를 생성하여 결과들 버킷에 푸시할 수 있다. 또 다른 예에 따른, 히트맵 작업자 서비스는 압축된 bmp 히트맵 및 JSON 메타데이터와 함께 히트맵을 결과 버킷으로 발송할 수 있다.
본 명세서에 개시된 기술적 양태들은 다음 피쳐들 중 일부 또는 전부를 제공하거나 수행할 수 있다: (i) 전송 중인 데이터 암호화(예를 들어, TLS 1.2+ 사용), (ii) 미사용 데이터의 저장소, (iii) 키 관리 시스템(KMS)에 저장된 암호화 키들, 및/또는 (iv) 전체 디스크(부팅 전) 암호화. 전송 중인 데이터를 암호화하는 것에는 그 서비스들로 송신되는 데이터, 생태계 내에서 송신되는 데이터 및 사용자들에게 다시 송신되는 데이터 중 하나 또는 임의의 조합이 포함될 수 있다. 미사용 데이터를 저장하는 것은 PHI(예를 들어, AES-256 암호화)를 저장하는 것을 포함할 수 있다. 예를 들어, KMS는 FIPS 140-2 표준들에 따라 구축된 하드웨어 모듈들을 활용하는 안전하고 탄력적인 서비스일 수 있다. 전체 디스크(부팅 전) 암호화 시행에는 고객들의 데이터가 처리되고 수신되는 일부 또는 모든 디바이스들에 대한 전체 디스크 암호화 시행이 포함될 수 있다.
전산 병리학 검출 프로세스들 및 디바이스들은 웹 애플리케이션 방화벽(WAF)(예를 들어, 도 2의 WAF(110)) 뒤에 공급(provision)될 수 있으며, 이는 들어오는 HTTP 트래픽을 모니터링하고 허용되지 않은 트래픽을 필터링하여 악의적인 공격들(예를 들어, 주입들, DDOS 등)을 필터링할 수 있다.
증가된 보안의 레벨을 위해, 본 명세서에 개시된 기술적 양태들은 관리 및 개발 자원들로부터 생산 자원들을 분리할 수 있다. 예를 들어, 세분화된 액세스 제어들이 사용되어 고객 데이터가 생산 거주지(enclave)를 벗어나는 것을 금지할 수 있다.
도 8은 본 개시에 설명된 작업흐름들 및 플랫폼들과 함께 사용하기 위한 예시적인 추론 아키텍처이다. 추론 모듈 내에서 임상 슬라이드는 SNS 플랫폼(176)으로 수집될 수 있다. 슬라이드는 추론이 실행될 수 있는 스케줄러 큐(예를 들어, 단순 큐 서비스(SQS))(177)로 발송될 수 있다. 추론은 스케줄러(178)로 발송 및/또는 추가적으로 수신될 수 있다. 입력은 또한 결과 콜백 API(184)와 함께 G4 노드(182)의 포드(pod)에 제공될 수 있는 AI 모듈(180)로부터 발송될 수 있다. AI 모듈(180)은 결과를 결과들 S3 버킷(186)에 게시하거나 수집 S3 버킷(188)으로부터 입력들을 얻을 수 있다.
스케줄러(178)는 K8 작업 API(190)로 정보를 발송할 때 추가적으로 작업을 시작, 작업 상태를 파악 및 완료된 작업을 삭제할 수 있다. K8 작업 API(190)는 AI 모듈 설계에 따라 이 정보를 AI 모듈(180)에 발송할 수 있다. 스케줄러(178)는 추가적으로 상태들을 조정하고 실행할 수 있으며 대응하는 정보를 스케줄러 데이터베이스(192)에 발송할 수 있다.
결과들 S3 버킷(186)으로부터, S3 알림 이벤트는 S3 이벤트 변환기 큐(193)(예를 들어, S3 이벤트 변환기 SQS)로 발송될 수 있다. 알림 이벤트는 S3 이벤트 변환기(194)로 발송 및/또는 S3 이벤트 변환기로부터 추가적으로 수신될 수 있다. 이벤트 변환기(194)는 업로드된 추론 결과를 SNS 플랫폼(176)에 추가로 발송할 수 있다.
AI 모듈(180)은 추가로 결과 콜백 API(184) 및/또는 추가 API(196)에 결과 업로드된 콜백들을 게시할 수 있으며, 이는 그런 다음 정보를 SNS 플랫폼(176)으로 발송할 수 있다. 추가 API(196)는 AI 모듈(180), 결과들 S3 버킷(186), 결과들 데이터베이스(181) 및 SNS 플랫폼(176)과 통신할 수 있다.
SNS 플랫폼(176)은 수집된 임상 슬라이드를 구독자 큐(177)(예를 들어, 구독자 SQS)에 추가로 발송할 수 있으며, 이는 추론 결과를 구독자 모듈(181)에 발송할 수 있다. 구독자 모듈(181)은 결과들 인덱스 및 결정들을 기록할 수 있으며, 이는 결과들 데이터베이스(181)로 발송될 수 있다. 결과들 데이터베이스(181)는 또한 추가 API(196)로부터 정보를 수신 및/또는 추가 API(196)로 정보를 발송할 수 있으며, 이는 결과 인덱스 및 내려진 결정들을 판독할 수 있다. API(196)는 또한 판독 결과들을 S3 결과들 버킷(186)으로 발송할 수 있다.
도 8에 도시된 바와 같이, SNS 플랫폼(176)은 스케줄러 큐(177) 및/또는 스케줄러(178) 및 구독자 큐(179) 및/또는 구독자(181)와 통신(예를 들어, 정보를 전송)할 수 있다. SNS 플랫폼(176)은 결과들 콜백 API(184), 스케줄러(178), 구독자(181) 및 이벤트 변환기(194)와 통신(예를 들어, 이들로부터 정보를 수신)할 수 있다.
도 9에 도시된 바와 같이, 디바이스(900)(예를 들어, 스캐너(104))는 중앙 처리 유닛(CPU)(920)을 포함할 수 있다. CPU(920)는 예를 들어 임의의 유형의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는 임의의 유형의 처리 디바이스일 수 있다. 관련 기술 분야의 당업자들에게는 이해될 수 있듯이, CPU(920)는 또한 단독으로 작동하는 시스템과 같은 다중-코어/멀티프로세서 시스템의 단일 프로세서일 수도 있고 또는 클러스터나 서버 팜에서 동작하는 컴퓨팅 디바이스들의 클러스터일 수도 있다. CPU(920)는 데이터 통신 인프라(910), 예를 들어 버스, 메시지 큐, 네트워크 또는 다중-코어 메시지 전달 방식에 연결될 수 있다.
디바이스(900)는 또한 주 메모리(940), 예를 들어 랜덤 액세스 메모리(RAM)를 포함할 수 있고 또한 보조 메모리(930)도 포함할 수 있다. 보조 메모리(930), 예를 들어 판독 전용 메모리(ROM)는 예를 들어 하드 디스크 드라이브 또는 이동식 저장 드라이브일 수 있다. 이러한 이동식 저장 드라이브는 예를 들어 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이 예에서 이동식 저장 드라이브는 잘 알려진 방식으로 이동식 저장 유닛에서 판독하거나 기록한다. 이동식 저장 드라이브는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있으며, 이는 이동식 저장 드라이브에 의해 판독되고 기록될 수 있다. 관련 기술 분야의 당업자들에게 이해되는 바와 같이, 이러한 이동식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터가 저장되어 있는 컴퓨터 사용 가능 저장 매체를 포함한다.
대안적인 구현예들에서, 보조 메모리(930)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(900)에 로딩될 수 있도록 하는 유사한 수단들을 포함할 수 있다. 이러한 수단들의 예들로는 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스들에서 볼 수 있는 것), 이동식 메모리 칩(예를 들어, EPROM 또는 PROM) 및 연관된 소켓 및 다른 이동식 저장 유닛들 및 인터페이스들이 포함될 수 있으며, 이는 소프트웨어와 데이터를 이동식 저장 유닛에서 디바이스(900)로 전송될 수 있도록 허용한다.
디바이스(900)는 또한 통신 인터페이스("COM")(1060)를 포함할 수 있다. 통신 인터페이스(960)는 소프트웨어 및 데이터가 디바이스(900)와 외부 디바이스들 사이에 전송될 수 있게 해준다. 통신 인터페이스(960)는 모델, 네트워크 인터페이스(이더넷 카드 등), 통신, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(960)를 통해 전송되는 소프트웨어 및 데이터는 신호들의 형태일 수 있으며, 이는 전자, 전자기, 광학 또는 통신 인터페이스(960)에 의해 수신될 수 있는 다른 신호들일 수 있다. 이 신호들은 예를 들어 유선 또는 케이블, 광섬유, 전화선, 휴대폰 링크, RF 링크 또는 기타 통신 채널들을 사용하여 구현될 수 있는 디바이스(900)의 통신 경로를 통해 통신 인터페이스(960)에 제공될 수 있다.
이러한 장비의 하드웨어 요소들, 운영 시스템들 및 프로그래밍 언어들은 본질적으로 통상적인 것이며, 당업자들이라면 이에 대해 충분히 잘 알고 있는 것으로 추정된다. 디바이스(900)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 연결하기 위한 입력 및 출력 포트들(650)들 포함할 수 있다. 물론 다양한 서버 기능들은 처리 로드를 분산시키기 위해 여러 유사한 플랫폼들에서 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
도 1 내지 9를 참조하면, 본 명세서에 개시된 디바이스들, 시스템들 및 방법들은 조직병리학 슬라이드들의 디지털 이미지들에서 암이 의심되는 병소들을 식별할 수 있다. 우려되는 형태론이 검출되면, 본 명세서에 개시된 디바이스들, 시스템들 및 방법들은 암이 의심되는 병소들에 병리학자의 주의를 끌 수 있다. 본 명세서에 개시된 시스템들은 예를 들어 메모리얼 슬론 케터링 암센터(MSKCC)에서 보고 진단된 디지털화된 헤마톡실린 & 에오신(H&E) 슬라이드들로 훈련된 결정론적 딥 러닝 모델을 제공할 수 있다.
전립선암과 관련하여, 본 명세서에 개시된 디바이스들, 시스템들 및 방법들(예를 들어, 글로벌 아키텍처(100), AI 모듈들 또는 SDK들(3a, 3b, 3c, 3d))은 병리학자의 검토를 위해 암이 의심되는 디지털화된 H&E 전립선 바늘 생검 이미지들 또는 그 지역들을 식별, 결정 또는 표시할 수 있다.
예를 들어, AI 모듈들 또는 SDK들(3a, 3b, 3c 또는 3d)은 전립선암 검출 모듈(3b)을 포함할 수 있다. 전립선암 검출 모듈(3b)은 전립선 조직 또는 주변 영역들의 디지털 이미지들(예를 들어, 디지털화된 H&E 전립선 생검 및/또는 절제 이미지들을 함유하는 전체 측면 이미지 또는 WSI)를 분석할 수 있다. 전립선암 검출 모듈(3b)은 수신된 이미지(및/또는 수신된 이미지들 중 어떤 이미지들)에서 암이 의심되는지 여부를 식별 또는 결정할 수 있으며, 인근 조직에서 암이 가장 의심되는 관심 지점의 위치를 결정 및/또는 제공하고, 전체 종양 범위 및 WSI 백분율과 같은 WSI를 정량화하기 위해 등급 또는 점수(예를 들어, Gleason 점수)를 결정하거나 계산한다. 전립선암 검출 모듈(3b)은 또한 관심 지점들의 위치들 및/또는 점수들에 기초하여 패턴들을 결정한다. 전립선암 검출 모듈(3b)은 관심 지점들의 식별들, 결정들, 점수들 및/또는 위치들 중 임의의 것을 출력할 수 있다. 전립선암 검출 모듈(3b)은 예측된 암 발생 가능성 및 전체 조직에 걸쳐 각각의 검출된 패턴을 함유하는 추가 이미지를 생성 및/또는 출력할 수 있다. 도 10a는 관심 영역(들)을 도시하는 출력을 예시하고, 도 10b는 예시적인 정량화의 출력을 예시한다.
또 다른 예로, AI 모듈들 또는 SDK들(3a, 3b, 3c 또는 3d)는 유방암 검출 모듈(3c)을 포함할 수 있다. 유방암 검출 모듈(3c)은 유방 조직 또는 주변 영역들의 디지털 이미지들(예를 들어, 디지털화된 H&E 유방 생검 및 절제 이미지들을 함유하는 전체 측면 이미지 또는 WSI)를 분석할 수 있다. 유방암 검출 모듈(3c)은 수신된 이미지(및/또는 수신된 이미지들 중 어떤 이미지들)에서 암이 의심되는지 여부를 식별 또는 결정할 수 있으며, 인근 조직에서 암이 가장 의심되는 관심 지점의 위치를 결정 및/또는 제공하고, 전체 종양 범위 및 WSI 백분율과 같은 WSI를 정량화하기 위해 등급 또는 점수(예를 들어, Gleason 점수)를 결정하거나 계산한다. 유방암 검출 모듈(3c)은 관심 지점들의 위치들 및/또는 점수들에 기초하여 패턴들을 더 결정할 수도 있다. 유방암 검출 모듈(3c)은 관심 지점들의 식별들, 결정들, 점수들 및/또는 위치들 중 임의의 것을 출력할 수 있다. 유방암 검출 모듈(3c)은 예측된 암 발생 가능성 및 전체 조직에 걸쳐 각각의 검출된 패턴을 함유하는 추가 이미지를 생성 및/또는 출력할 수 있다. 도 10c는 히트맵 형태의 출력을 예시한다.
본 명세서에 개시된 양태는 강력한 소프트웨어 개발 키트(SDK)의 개발, 빠른 연구를 가능하게 하는 도구의 개발, AI 솔루션의 손쉬운 프로토타이핑 및 전달, AI 기반 시청 생태계, 글로벌 유통능력, 다양한 임상 파트너 및 기타 당사자가 제공하는 익명화된 디지털 병리학 슬라이드 이미지의 방대한 저장소, 확장 가능한 보안 저장소 및 컴퓨팅 인프라를 가능하게 하고 및/또는 향상시킬 수 있다.
본 명세서에 개시된 양태는 데이터 저장 및 보관, AI 개발, 시각화 및 주석, 공유 및 협업을 향상시키기 위한 AI 기반 개발 생태계를 제공할 수 있다.
본 명세서에 개시된 양태는 배포, 시장, 분석 및 청구를 제공할 수 있다. 본 명세서에 개시된 기술적 양태는 자동화된 제품 분석, 사용 및 소비에 대한 보고서, 청구 보고서 생성, 전 세계 제품 배포, 연구용 데이터 액세스 및/또는 도달을 제공하거나 향상시킬 수 있다.
본 명세서에 개시된 양태는 안정성, 가용성 및 지원, 보안 및 규정 준수, 규모에 따른 추론, 작업 흐름 및 상호 운용성을 향상함으로써 제품화 및 전달을 향상시킬 수 있다.
본 명세서에 개시된 양태는 전체 슬라이드 이미지(WSI)에서 익명화 및 PHI 제거, 데이터 액세스 및 논리적 제어 관리, 맞춤형 데이터 세트 생성 및 광범위한 검색 기능, 업로드 및 다운로드 볼륨 모니터링, 외부 개인이나 연구 그룹과의 데이터 공유 및 협업을 제공함으로써 데이터 저장을 향상시킬 수 있다.
본 명세서에 개시된 양태는 다양한 파트너 및/또는 당사자가 자신의 알고리즘을 설계하고 개발할 수 있도록 함으로써, 개발, 테스트, 검증을 통해, 로컬에서 개발을 허용하고 대규모 딥 러닝의 힘을 활용함으로써, 최첨단 프레임워크 및 라이브러리에 대한 액세스를 제공하거나 허용함으로써 그리고 최신 GPU 하드웨어를 활용함으로써 AI 개발을 향상시킬 수 있다.
본 명세서에 개시된 양태는 수정, 시각화 및 주석을 향상시킬 수 있다. 본 명세서에 개시된 양태는 WSI를 검토하거나 분석할 때 다른 사람이 통찰력을 얻도록 사용하거나 허용할 수 있다. 인사이트는 사용자와 함께 설계 및 구축될 수 있으며 AI 기반일 수 있으므로 보다 풍부한 경험과 AI 결과를 쉽게 표시할 수 있다. 본 명세서에 개시된 기술적 양태는 병리학자에게 고급 주석 기능을 제공하는 통찰력을 제공할 수 있다. 본 명세서에 개시된 기술적 양태는 작업흐름의 다양한 단계에 통합될 수 있는 AI 솔루션을 제공할 수 있다.
본 명세서에 개시된 양태는 전 세계의 다른 연구자 및 과학자로부터 피드백 수집을 강화하고 다양한 파트너 및/또는 당사자가 임상 기관과 협력하여 병리학자와 솔루션을 공유하고 개선을 위한 피드백을 수집할 수 있도록 함으로써 공유 및 협력을 향상시킬 수 있다.
본 명세서에 개시된 양태는 스캐너 및 이미지 불가지론적 생태계를 제공함으로써 작업흐름 및/또는 상호 운용성을 향상시킬 수 있다. 수동 개입 없이 데이터가 자동으로 플랫폼에 수집될 수 있다. LIS 시스템과의 지원 통합은 API들의 RESTful 세트를 통해 이루어질 수 있다.
본 명세서에 개시된 양태는 당사자들이 전 세계적으로 다양한 기관에서 자신의 솔루션을 검증할 수 있도록 하는 글로벌 클라우드 공간을 제공함으로써, 의료 기기 제품화에 대한 심층적인 전문 지식을 제공하거나 활성화하고 AI 솔루션에 액세스할 수 있는 사람에 대한 세부적인 제어를 제공함으로써 규모에 따른 추론을 향상시킬 수 있다.
본 명세서에 개시된 양태는 전송 중이거나 저장 중인 모든 데이터를 암호화하여 보안 및 규정 준수를 강화할 수 있다. 이미지는 각 고객 및/또는 기관에 대해 서로 다른 버킷이나 컨테이너에 저장될 수 있다. 본 명세서에 개시된 기술적 양태는 지속적인 보안 테스트를 제공할 수 있으며 HIPAA, HITRUST, GDPR, SOC2, SOC3 및 ISO 27001 준수를 위해 적극적으로 노력할 수 있다.
본 명세서에 개시된 양태는 가동 시간이 높은 안정적이고 신뢰할 수 있는 인프라를 제공함으로써 안정성과 지원을 향상시킬 수 있다.
본 명세서에 개시된 양태는 소프트웨어 개발 키트(SDK)의 개발 및 훈련과 고유하고 맞춤화된 및/또는 사용자 설계 또는 제3자 알고리즘의 개발 및 실행을 향상시킬 수 있다.
본 명세서에 개시된 양태는 Python에서의 개발을 지원할 수 있는 SDK를 지원 및/또는 제공할 수 있지만, 본 명세서에 개시된 양태는 프로그래밍 언어로 제한되지 않는다. 본 명세서에 개시된 양태는 PyTorch 라이브러리를 사용하여 머신 러닝 및 딥 러닝 개발을 제공할 수 있다. 본 명세서에 개시된 양태는 훈련을 위해 고급 하드웨어를 활용할 수 있다.
본 명세서에 개시된 양태는 규모에 따른 배포 및 추론, Docker 컨테이너의 컨테이너화된 솔루션, 추론을 위해 WSI가 제공되는 컨테이너 및 결과 표시 지원을 향상시킬 수 있다. 본 명세서에 개시된 양태는 클라우드의 탄력성을 활용하여 전 세계적으로 모든 사용자를 지원할 수 있다.
본 개시 전체에 걸쳐, 컴포넌트 또는 모듈에 대한 언급은 일반적으로 기능 또는 관련된 기능의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목을 지칭한다. 유사한 참조 번호는 일반적으로 동일하거나 유사한 컴포넌트를 지칭하도록 의도된다. 컴포넌트와 모듈은 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.
위에서 설명한 도구, 모듈 및 기능은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장소" 유형의 미디어에는 다양한 반도체 메모리, 테이프 드라이브, 디스크 드라이브 등과 같은 컴퓨터, 프로세서 등 또는 관련 모듈의 유형 메모리 중 일부 또는 전부가 포함될 수 있으며, 이는 소프트웨어 프로그래밍을 위해 언제든지 비일시적 저장 공간을 제공할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자 또는 기타 통신 네트워크를 통해 통신될 수 있다. 예를 들어, 통신을 통해 한 컴퓨터나 프로세서에서 다른 컴퓨터나 프로세서로 소프트웨어를 로드할 수 있다. 본 명세서에 사용된 바와 같이, 비일시적, 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계의 "판독 가능한 매체"와 같은 용어는 실행을 위해 프로세서에 명령어를 제공하는 데 참여하는 모든 매체를 의미한다.
전술한 일반적인 설명은 단지 예시적이고 설명적일 뿐, 본 개시를 제한하지 않는다. 본 발명의 다른 실시예는 본 명세서에 개시된 본 발명의 명세서 및 실시를 고려하여 당업자에게 명백할 것이다. 명세서와 실시예는 단지 예시적인 것으로 간주되도록 의도되었다.
Claims (20)
- 환자와 연관된 의료 샘플(medical sample)에 대응하는 전자 이미지(electronic image)를 처리하기 위한 컴퓨터 구현(computer-implemented) 방법에 있어서, 상기 방법은:
하나 이상의 인공 지능(AI) 알고리즘들의 선택을 수신하는 단계;
환자와 연관된 의료 샘플의 하나 이상의 전체 슬라이드 이미지들을 수신하는 단계;
하나 이상의 선택된 AI 알고리즘들을 사용하여 상기 전체 슬라이드 이미지들에 대해 작업을 수행하는 단계-여기서, 상기 전체 슬라이드 이미지들은 제1 컨테이너에 저장되고, 상기 전체 슬라이드 이미지들은 제1 사용자로부터 유래되었으며, 상기 작업은 상기 전체 슬라이드 이미지들에서 상기 의료 샘플의 특성을 결정하는 것을 포함함-;
상기 전체 슬라이드 이미지들의 상기 특성에 기초하여, 상기 전체 슬라이드 이미지들과 연관된 메타데이터(metadata)를 생성하는 단계; 및
상기 메타데이터를 제2 컨테이너에 저장하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 하나 이상의 선택된 AI 알고리즘들은 클라우드 컴퓨팅 환경(cloud computing environment)에서 이용 가능한 복수의 AI 알고리즘들 중 하나인, 방법.
- 제2항에 있어서, 상기 복수의 AI 알고리즘들 중 적어도 하나는 제2 사용자에 의해 개발되었고, 상기 복수의 AI 알고리즘들 중 적어도 다른 하나는 상기 제2 사용자와 다른 제3 사용자에 의해 개발된, 방법.
- 제3항에 있어서, 상기 제2 사용자는 상기 제3 사용자와 다른 지역에 위치하는, 방법.
- 제2항에 있어서, 상기 복수의 AI 알고리즘들 중에서 AI 알고리즘을 상기 하나 이상의 선택된 AI 알고리즘들로 선택하는 단계를 더 포함하는, 방법.
- 제5항에 있어서, 상기 AI 알고리즘을 선택하는 단계는:
수행될 작업의 유형을 나타내는 요청,
생성될 메타데이터의 유형을 나타내는 요청,
특정 AI 알고리즘에 대한 커맨드(command),
저장된 전체 슬라이드 이미지와 연관된 추가 정보 또는 메타데이터,
상기 제1 사용자가 수신한 하나 이상의 규칙들 또는 정책들,
상기 복수의 AI 알고리즘들 중 AI 알고리즘들과 연관된 하나 이상의 규칙들 또는 정책들, 및/또는
상기 복수의 AI 알고리즘들 중 상기 AI 알고리즘들을 개발한 한 명 이상의 사용자들로부터 수신된 하나 이상의 규칙들 또는 정책들에 기초하는, 방법. - 제1항에 있어서, 제2 사용자로부터 상기 선택된 AI 알고리즘을 상기 전체 슬라이드 이미지들에 적용하여 작업을 수행하라는 요청을 수신하는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 AI 알고리즘은 상기 전체 슬라이드 이미지들, 일반 프로필 환자, 환자 이력, 관련 슬라이드 이미지, 방사선 데이터, 분자 데이터 및/또는 임상 데이터를 포함하는 보충 정보와 연관된 추가 정보를 섭취하는, 방법.
- 제1항에 있어서,
상기 제2 컨테이너와 연관된 하나 이상의 규칙들을 결정하는 단계;
상기 제2 컨테이너와 연관된 상기 하나 이상의 규칙들에 기초하여, (i) 상기 전체 슬라이드 이미지에서 데이터를 제거하고 및/또는 상기 메타데이터 중 적어도 일부를 제거하고 및/또는 (ii) 상기 전체 슬라이드 이미지에서 데이터를 변경하고 및/또는 상기 메타데이터 중 적어도 일부를 변경하는 것을 수행함으로써 수정된 전체 슬라이드 이미지 및/또는 수정된 메타데이터를 생성하는 단계; 및
상기 수정된 전체 슬라이드 이미지 및/또는 상기 수정된 메타데이터를 상기 사용자에게 출력하는 단계를 더 포함하는, 방법. - 제1항에 있어서, 상기 전체 슬라이드 이미지의 자동 인공지능 기반 수집을 수행하여 상기 전체 슬라이드 이미지를 제1 컨테이너에 저장하는 단계를 더 포함하고, 상기 전체 슬라이드 이미지는 상기 제1 사용자로부터 수신된, 방법.
- 제1항에 있어서,
디바이스로부터 상기 전체 슬라이드 이미지들 중 적어도 하나에 대한 요청을 수신하는 단계;
상기 디바이스의 위치를 상기 제1 사용자 및/또는 환자의 위치와 비교하는 단계; 및
상기 비교된 위치에 기초하여, 상기 요청된 적어도 하나의 전체 슬라이드 이미지 및 상기 메타데이터를 상기 디바이스로 발송하는 것이 규칙에 의해 허용되는지 여부를 결정하는 단계를 더 포함하는, 방법. - 제11항에 있어서,
상기 요청된 적어도 하나의 전체 슬라이드 이미지 및 상기 메타데이터를 상기 디바이스로 발송하는 것이 허용된다고 결정하는 단계; 및
상기 요청된 적어도 하나의 전체 슬라이드 이미지 및 상기 메타데이터를 상기 디바이스에 제공하는 단계를 더 포함하는, 방법. - 제12항에 있어서, 상기 요청된 적어도 하나의 전체 슬라이드 이미지를 상기 디바이스로 발송하는 것이 허용된다고 결정하는 단계는 상기 디바이스가 상기 제1 사용자와 동일한 기관과 연관되어 있다고 결정하는 단계를 포함하는, 방법.
- 제1항에 있어서, 상기 작업을 수행하기 위해 상기 선택된 인공 지능 알고리즘을 적용하는 단계는 상기 환자와 연관된 환자 메타데이터에 기초하여 수행되는, 방법.
- 제1항에 있어서, 메타데이터를 생성하는 단계는:
상기 의료 표본의 속성 가능성에 대한 그래픽 예측을 포함하는 히트맵(heatmap)을 결정하는 단계를 포함하는, 방법. - 환자와 연관된 의료 샘플에 대응하는 전자 이미지를 처리하기 위한 시스템으로서, 상기 시스템은:
명령어를 저장하는 적어도 하나의 메모리; 및
동작을 수행하기 위해 상기 명령어를 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 동작은:
하나 이상의 인공 지능(AI) 알고리즘들의 선택을 수신하는 것;
환자와 연관된 의료 샘플의 하나 이상의 전체 슬라이드 이미지들을 수신하는 것;
상기 하나 이상의 선택된 AI 알고리즘들을 사용하여 전체 슬라이드 이미지에 대해 작업을 수행하는 것-여기서, 상기 전체 슬라이드 이미지는 제1 컨테이너에 저장되고, 상기 전체 슬라이드 이미지는 제1 사용자로부터 유래되었으며, 상기 작업은 상기 전체 슬라이드 이미지들에서 상기 의료 샘플의 특성을 결정하는 것을 포함함-;
상기 전체 슬라이드 이미지의 특성에 기초하여, 상기 전체 슬라이드 이미지와 연관된 메타데이터를 생성하는 것; 및
상기 메타데이터를 제2 컨테이너에 저장하는 것을 포함하는, 시스템. - 제16항에 있어서, 상기 하나 이상의 선택된 AI 알고리즘들은 클라우드 컴퓨팅 환경에서 이용가능한 복수의 AI 알고리즘들 중 하나이고, 상기 복수의 AI 알고리즘들 중 적어도 하나는 제2 사용자에 의해 개발되었으며, 상기 복수의 AI 알고리즘들 중 적어도 또 하나는 상기 제2 사용자와 다른 제3 사용자에 의해 개발된 것인, 시스템.
- 제16항에 있어서, 상기 동작은 상기 복수의 AI 알고리즘들 중에서 AI 알고리즘을 상기 하나 이상의 선택된 AI 알고리즘들이 되도록 선택하는 것을 더 포함하고, 상기 AI 알고리즘을 선택하는 것은:
수행될 작업의 유형을 나타내는 요청,
생성될 메타데이터의 유형을 나타내는 요청,
특정 AI 알고리즘에 대한 커맨드,
저장된 전체 슬라이드 이미지와 연관된 추가 정보 또는 메타데이터,
상기 제1 사용자가 수신한 하나 이상의 규칙들 또는 정책들,
상기 복수의 AI 알고리즘들 중 AI 알고리즘들과 연관된 하나 이상의 규칙들 또는 정책들, 및/또는
상기 복수의 AI 알고리즘들 중 상기 AI 알고리즘들을 개발한 한 명 이상의 사용자들로부터 수신된 하나 이상의 규칙들 또는 정책들에 기초하는, 시스템. - 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 환자와 연관된 의료 샘플에 대응하는 전자 이미지를 처리하기 위한 작업을 수행하게 하는 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서, 상기 동작은:
하나 이상의 인공 지능(AI) 알고리즘들의 선택을 수신하는 것;
환자와 연관된 의료 샘플의 하나 이상의 전체 슬라이드 이미지들을 수신하는 것;
상기 하나 이상의 선택된 AI 알고리즘들을 사용하여 전체 슬라이드 이미지에 대해 작업을 수행하는 것-여기서, 상기 전체 슬라이드 이미지는 제1 컨테이너에 저장되고, 상기 전체 슬라이드 이미지는 제1 사용자로부터 유래되었으며, 상기 작업은 상기 전체 슬라이드 이미지들에서 상기 의료 샘플의 특성을 결정하는 것을 포함함-;
상기 전체 슬라이드 이미지의 특성에 기초하여, 상기 전체 슬라이드 이미지와 연관된 메타데이터를 생성하는 것; 및
상기 메타데이터를 제2 컨테이너에 저장하는 것을 포함하는, 비일시적 컴퓨터 판독 가능 매체. - 제19항에 있어서, 상기 하나 이상의 선택된 AI 알고리즘들은 클라우드 컴퓨팅 환경에서 이용가능한 복수의 AI 알고리즘들 중 하나이고, 상기 복수의 AI 알고리즘들 중 적어도 하나는 제2 사용자에 의해 개발되었으며, 상기 복수의 AI 알고리즘들 중 적어도 또 하나는 상기 제2 사용자와 다른 제3 사용자에 의해 개발된 것인, 비일시적 컴퓨터 판독 가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163179852P | 2021-04-26 | 2021-04-26 | |
| US63/179,852 | 2021-04-26 | ||
| PCT/US2022/026255 WO2022232078A1 (en) | 2021-04-26 | 2022-04-26 | Systems and methods of processing electronic images with flexible algorithmic processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240001129A true KR20240001129A (ko) | 2024-01-03 |
Family
ID=81603844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237035033A KR20240001129A (ko) | 2021-04-26 | 2022-04-26 | 유연한 알고리즘 처리를 통한 전자 이미지 처리 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20220343499A1 (ko) |
| EP (1) | EP4330983A1 (ko) |
| JP (1) | JP2024514907A (ko) |
| KR (1) | KR20240001129A (ko) |
| CN (1) | CN117501381A (ko) |
| AU (1) | AU2022264761A1 (ko) |
| BR (1) | BR112023022039A2 (ko) |
| CA (1) | CA3212258A1 (ko) |
| WO (1) | WO2022232078A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230368346A1 (en) * | 2022-05-10 | 2023-11-16 | Gestalt Diagnostics, LLC | Enhanced digital pathology platform |
| US11978191B1 (en) * | 2023-10-23 | 2024-05-07 | Pramana, Inc. | System and method of digitalizing a slide |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10978184B2 (en) * | 2013-11-04 | 2021-04-13 | Terarecon, Inc. | Evolving contextual clinical data engine for medical information |
| US10818386B2 (en) * | 2018-11-21 | 2020-10-27 | Enlitic, Inc. | Multi-label heat map generating system |
-
2022
- 2022-04-26 AU AU2022264761A patent/AU2022264761A1/en active Pending
- 2022-04-26 WO PCT/US2022/026255 patent/WO2022232078A1/en active Application Filing
- 2022-04-26 CA CA3212258A patent/CA3212258A1/en active Pending
- 2022-04-26 KR KR1020237035033A patent/KR20240001129A/ko unknown
- 2022-04-26 US US17/729,041 patent/US20220343499A1/en active Pending
- 2022-04-26 BR BR112023022039A patent/BR112023022039A2/pt unknown
- 2022-04-26 EP EP22722966.3A patent/EP4330983A1/en active Pending
- 2022-04-26 CN CN202280042913.2A patent/CN117501381A/zh active Pending
- 2022-04-26 JP JP2023563857A patent/JP2024514907A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220343499A1 (en) | 2022-10-27 |
| JP2024514907A (ja) | 2024-04-03 |
| CN117501381A (zh) | 2024-02-02 |
| CA3212258A1 (en) | 2022-11-03 |
| BR112023022039A2 (pt) | 2024-01-02 |
| WO2022232078A1 (en) | 2022-11-03 |
| EP4330983A1 (en) | 2024-03-06 |
| AU2022264761A1 (en) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2020244856B2 (en) | Distributed privacy-preserving computing on protected data | |
| US11893510B2 (en) | Systems and methods for processing images to classify the processed images for digital pathology | |
| KR102403397B1 (ko) | 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| US11551357B2 (en) | Systems and methods for processing images of slides for digital pathology | |
| US20220343499A1 (en) | Systems and methods for analysis of processing electronic images with flexible algorithmic processing | |
| US20230410987A1 (en) | Systems and methods of automatically processing electronic images across regions | |
| US20230162823A1 (en) | Retroactive coding for healthcare | |
| Torres et al. | Clearing Histology with MultiPhoton Microscopy: Primary Diagnosis of Prostate Biopsies in Un-Embedded Specimens | |
| Toro et al. | Update from Latin America in the Era of Digital Pathology |