KR102511628B1 - 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템 - Google Patents

암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR102511628B1
KR102511628B1 KR1020200148939A KR20200148939A KR102511628B1 KR 102511628 B1 KR102511628 B1 KR 102511628B1 KR 1020200148939 A KR1020200148939 A KR 1020200148939A KR 20200148939 A KR20200148939 A KR 20200148939A KR 102511628 B1 KR102511628 B1 KR 102511628B1
Authority
KR
South Korea
Prior art keywords
information
responsiveness
treatment
cells
interaction score
Prior art date
Application number
KR1020200148939A
Other languages
English (en)
Other versions
KR20220063052A (ko
Inventor
이정훈
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to KR1020200148939A priority Critical patent/KR102511628B1/ko
Priority to EP21207007.2A priority patent/EP3998586A1/en
Priority to US17/521,008 priority patent/US20220145401A1/en
Publication of KR20220063052A publication Critical patent/KR20220063052A/ko
Priority to KR1020230033546A priority patent/KR102657599B1/ko
Application granted granted Critical
Publication of KR102511628B1 publication Critical patent/KR102511628B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6876—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes
    • C12Q1/6883—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material
    • C12Q1/6886—Nucleic acid products used in the analysis of nucleic acids, e.g. primers or probes for diseases caused by alterations of genetic material for cancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2600/00—Oligonucleotides characterized by their use
    • C12Q2600/106—Pharmacogenomics, i.e. genetic variability in individual responses to drugs and drug metabolism
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2600/00—Oligonucleotides characterized by their use
    • C12Q2600/158—Expression markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Organic Chemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biotechnology (AREA)
  • Analytical Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Genetics & Genomics (AREA)
  • Immunology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)

Abstract

본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 방법은, 병리 슬라이드 이미지를 획득하는 단계, 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계, 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 기초로 면역-종양 세포 상호작용 스코어(Lymphocyte & Tumor cell Interaction Score)를 산출하는 단계 및 상호작용 스코어를 이용하여 병리 슬라이드 이미지와 연관된 암 환자 치료에 대한 반응성을 예측하는 단계를 포함한다.

Description

암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR PREDICTING RESPONSIVENESS TO THERAPHY FOR CANCER PATENT}
본 개시는 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템에 관한 것이다. 보다 상세하게는, 병리 슬라이드 이미지로부터 조직학적 정보를 획득하고, 획득된 조직학적 정보를 기초로 암 환자 치료에 대한 반응성을 예측하는 방법 및 시스템을 제공하는 것이다.
항암 치료제는 암세포와 함께 정상 세포까지 공격하는 1세대 화학항암제(chemotherapy), 암세포만을 선택적으로 공격하는 2세대 표적항암제(targeted therapy) 및 면역 체계를 활성화하여 암 조직 주변에 위치한 면역 세포들이 선택적으로 종양 세포를 공격하도록 만드는 면역 항암제(immunotherapy)로 구분될 수 있다. 특히, 면역 항암제는 일반적으로 기성 항암제보다 부작용은 적고, 항암 치료의 효과가 크기 때문에 그 시장 규모 역시 해마다 꾸준히 증가하여 2024년이면 약 480억 달러 규모에 이를 전망이다.
한편, 적게는 수백 만원에서 많게는 수천 만원의 비용이 발생하는 항암 치료는, 예외적으로 부작용이 발생하는 경우가 있으며 그 치료 효과 역시 모든 암 환자의 종양에 대하여 반드시 보장되지 않을 수 있다. 또한, 화학 항암제 또는 표적 항암제 등의 치료는 암 환자를 육체적으로 및/또는 정신적으로 힘들게 하는데 반해, 그 치료 효과 역시 암 환자 모두에게 나타나는 것은 아니다. 이렇게 면역 항암제, 표적 항암제 등의 암 환자 치료 전에, 이러한 치료제가 암 환자에게 적절히 반응할지 여부, 즉 암 환자의 종양의 모두 또는 적어도 일부가 제거될 수 있는지 여부를 결정하는 것이 중요할 수 있다.
본 개시는 상기와 같은 문제점을 해결하기 위한 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템을 제공한다.
항암 치료 대상인 환자의 병리 슬라이드 이미지를 이용하여 암 환자의 치료에 대한 반응성을 예측하는 방법 및 시스템이 제공된다.
병리 슬라이드 이미지를 이용하여 병리 슬라이드 이미지와 연관된 암 환자 치료에 대한 반응성을 예측하기 위한 면역-종양 세포 상호작용 스코어를 산출하는 방법 및 시스템이 제공된다.
하나 이상의 의료 시스템의 데이터 베이스로부터 획득한 복수의 병리 슬라이드 이미지를 이용하여 암 환자의 치료에 대한 반응성을 예측하기 위한 기계학습 모델을 생성하는 방법 및 시스템이 제공된다.
본 개시는 방법, 시스템, 장치 또는 명령어들을 저장하는 컴퓨터 판독가능 저장 매체, 컴퓨터 프로그램을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따른, 암 환자 치료에 대한 반응성을 예측하는 방법은, 암 환자의 병리 슬라이드 이미지를 획득하는 단계, 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계, 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 기초로 면역-종양 세포 상호작용 스코어(Lymphocyte & Tumor cell Interaction Score, 이하, 상호작용 스코어 또는 'LTS'로 지칭됨)를 산출하는 단계 및 상호작용 스코어를 이용하여 상기 암환자 치료에 대한 반응성을 예측하는 단계를 포함한다.
일 실시예에 따르면, 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계는, 복수의 면역 세포의 각각의 위치 및 복수의 종양 세포의 각각의 위치를 결정하는 단계 및 복수의 면역 세포의 각각이 배치된 조직 정보 및 복수의 종양 세포의 각각이 배치된 조직 정보를 결정하는 단계를 포함하고, 면역-종양 세포 상호작용 스코어를 산출하는 단계는, 특정 조직 정보에 속하는 복수의 면역 세포의 각각과 특정 조직 정보에 속하는 복수의 종양 세포의 각각 사이의 거리를 산출하는 단계 및 산출된 거리를 이용하여 상호작용 스코어를 산출하는 단계를 포함한다.
일 실시예에 따르면, 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계는, 복수의 면역 세포의 각각에 대한 특성 및 복수의 종양 세포의 각각에 대한 특성을 결정하는 단계를 더 포함하고, 산출된 거리를 이용하여 상호작용 스코어를 산출하는 단계는, 결정된 복수의 면역 세포의 각각에 대한 특성, 복수의 종양 세포의 각각에 대한 특성 및 산출된 거리를 이용하여 상호작용 스코어를 산출하는 단계를 포함한다.
일 실시예에 따르면, 복수의 면역 세포의 각각에 대한 특성 및 복수의 종양 세포의 각각에 대한 특성을 결정하는 단계는, 복수의 면역 세포의 각각의 특성에 따른 가중치 및 복수의 종양 세포의 각각에 대한 특성에 따른 가중치를 결정하는 단계를 포함하고, 결정된 복수의 면역 세포의 각각에 대한 특성, 복수의 종양 세포의 각각에 대한 특성 및 산출된 거리를 이용하여 상호작용 스코어를 산출하는 단계는, 결정된 복수의 면역 세포의 각각의 특성에 따른 가중치, 결정된 복수의 종양 세포의 각각에 대한 특성에 따른 가중치 및 산출된 거리를 이용하여 스코어를 산출하는 단계를 포함한다.
일 실시예에 따르면, 상호작용 스코어를 산출하는 단계는, 산출된 거리 중에서, 상호작용과 연관된 미리 결정된 임계치 이하인 거리를 선택하는 단계 및 선택된 거리를 이용하여 상호작용 스코어를 산출하는 단계를 포함한다.
일 실시예에 따르면, 상호작용 스코어를 산출하는 단계는, 산출된 거리가 더 가까울수록, 더 높은 상호작용 스코어를 결정하는 단계를 포함한다.
일 실시예에 따르면, 상호작용 스코어를 이용하여 암 환자 치료에 대한 반응성을 예측하는 단계는, 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계를 포함한다.
일 실시예에 따르면, 병리 슬라이드 이미지와 연관된 환자에 대한 임상 정보를 획득하는 단계를 더 포함하고, 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계는, 획득된 임상 정보, 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계를 포함한다.
일 실시예에 따르면, 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계는, 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성을 정규화하는 단계를 포함한다.
일 실시예에 따르면, 반응성 예측을 위한 기계학습 모델을 위한 기계학습 모델은 일반화된 리니어(generalized linear) 기계학습 모델 중 하나의 기계학습 모델을 포함한다.
본 개시의 일 실시예에 따르면, 정보 처리 시스템은, 하나 이상의 인스트럭션(instructions)을 저장하는 메모리 및 저장된 하나 이상의 인스트럭션들을 실행함으로써, 암 환자의 병리 슬라이드 이미지를 획득하고, 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하고, 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 기초로 면역-종양 세포 상호작용 스코어를 산출하고, 상호작용 스코어를 이용하여 암 환자의 치료에 대한 반응성을 예측하도록 구성된 프로세서를 포함한다.
일 실시예에 따르면, 프로세서는 복수의 면역 세포의 각각의 위치 및 복수의 종양 세포의 각각의 위치를 결정하고, 복수의 면역 세포의 각각이 배치된 조직 정보 및 복수의 종양 세포의 각각이 배치된 조직 정보를 결정하고, 특정 조직 정보에 속하는 복수의 면역 세포의 각각과 특정 조직 정보에 속하는 복수의 종양 세포의 각각 사이의 거리를 산출하고, 산출된 거리를 이용하여 상호작용 스코어를 산출하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 복수의 면역 세포의 각각에 대한 특성 및 복수의 종양 세포의 각각에 대한 특성을 결정하고, 결정된 복수의 면역 세포의 각각에 대한 특성, 복수의 종양 세포의 각각에 대한 특성 및 산출된 거리를 이용하여 상호작용 스코어를 산출하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 복수의 면역 세포의 각각의 특성에 따른 가중치 및 복수의 종양 세포의 각각에 대한 특성에 따른 가중치를 결정하는 단계를 결정하고, 결정된 복수의 면역 세포의 각각의 특성에 따른 가중치, 결정된 복수의 종양 세포의 각각에 대한 특성에 따른 가중치 및 산출된 거리를 이용하여 상호작용 스코어를 산출하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 산출된 거리 중에서, 상호작용과 연관된 미리 결정된 임계치 이하인 거리를 선택하고, 선택된 거리를 이용하여 상호작용 스코어를 산출하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 산출된 거리가 더 가까울수록, 더 높은 상호작용 스코어를 결정하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 암 환자 치료에 대한 반응성을 나타내는 값을 출력하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지와 연관된 환자에 대한 임상 정보를 획득하고, 획득된 임상 정보, 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 암 환자 치료에 대한 반응성을 나타내는 값을 출력하도록 더 구성된다.
일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성을 정규화한다.
일 실시예에 따르면, 반응성 예측을 위한 기계학습 모델을 위한 기계학습 모델은 일반화된 리니어 기계학습 모델 중 하나의 기계학습 모델을 포함한다.
본 개시의 일부 실시예에 따르면, 특정 조직에 존재하는 복수의 면역 세포의 각각 및 복수의 종양 세포의 각각 사이의 거리를 기초로 면역-종양 세포 상호작용 스코어를 산출하고, 산출된 상호작용 스코어를 이용하여 암 환자 치료에 대한 반응성을 예측함으로써, 치료 반응성에 대한 예측력이 더 향상될 수 있다.
본 개시의 일부 실시예에 따르면, 암 환자 치료에 대한 반응성을 예측함에 있어서, 면역-종양 세포 상호작용 스코어뿐만 아니라, 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 환자의 정보를 이용할 수 있다. 이렇게 다양한 정보 및/또는 데이터를 이용함으로써, 더 정확한 암 환자 치료에 대한 반응성의 예측력이 제공될 수 있다.
본 개시의 일부 실시예에 따르면, 병리 슬라이드 이미지 내의 세포, 조직 및/또는 구조 등에 대한 정보를 정규화함으로써, 상이한 병원 또는 시스템에서 병리 슬라이드 이미지를 수집하는 과정에서 발생될 수 있는, 병리 슬라이드 이미지 내의 정보의 비일관성 및/또는 이질성이 제거 또는 감소될 수 있다. 이러한 시스템 하에서, 다양한 병원 및/또는 시스템으로부터 수집된 병리 슬라이드 이미지 또는 그 이미지 내의 정보에 대해 암 환자 치료에 대한 반응성이 예측될 수 있다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 시스템을 나타내는 예시적인 구성도이다.
도 2는 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측 결과를 제공하는 프로세서의 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 방법의 예시를 나타낸다.
도 4는 본 개시의 일 실시예에 따라 병리 슬라이드 이미지로부터 조직학적 정보를 추출하는 예시를 나타낸다.
도 5는 본 개시의 일 실시예에 따른 LTS를 산출하는 방법의 예시를 나타낸다.
도 6은 본 개시의 일 실시예에 따른 면역 세포와 종양 세포 사이의 거리를 산출하는 예시를 나타낸다.
도 7은 본 개시의 일 실시예에 따라 특정 조직에 위치하는 면역 세포와 종양 세포 사이의 거리의 예시를 나타낸다.
도 8은 본 개시의 일 실시예에 따른 LTS에 기초하여 암 환자 치료에 대한 반응성 예측 결과를 추론하거나 출력하도록 구성된 기계학습 모델을 나타내는 도면이다.
도 9는 본 개시의 다른 실시예에 따른 LTS, 추출된 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 임상 정보에 기초하여 암 환자 치료에 대한 반응성 예측 결과를 추론하거나 출력하도록 구성된 기계학습 모델을 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 정보 처리 시스템에 사용하는 데이터 세트의 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 인공신경망을 나타내는 구조도이다.
도 12는 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 예시적인 시스템 구성도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만 '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.
본 개시에서, '병리 슬라이드 이미지'란, 인체에서 떼어낸 조직 등을 현미경으로 관찰하기 위해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 가리킨다. 여기서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고 해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 이와 달리, 병리 슬라이드 이미지는, 이러한 고해상도의 전체 슬라이드 이미지의 일부, 예를 들어 하나 이상의 패치를 지칭할 수 있다, 예를 들어, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다. 또한, 병리 슬라이드 이미지는 하나 이상의 패치를 포함할 수 있으며, 하나 이상의 패치에는 어노테이션 작업을 통해 조직학적 정보가 적용(예: 태깅)될 수 있다.
본 개시에서, '패치'는 병리 슬라이드 이미지 내의 작은 영역을 지칭할 수 있다. 예를 들어, 패치는 병리 슬라이드 이미지에 대해 세그멘테이션을 수행함으로써 추출된 의미론적 객체에 대응하는 영역을 포함할 수 있다. 또 다른 예로서, 패치는 병리 슬라이드 이미지를 분석함으로써 생성된 조직학적 정보와 연관된 픽셀들의 조합을 지칭할 수 있다.
본 개시에서, '조직학적 정보(histological components)'란, 병리 슬라이드 이미지에 포함된 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 특성 또는 정보를 포함한다. 여기서, 조직학적 정보는 기계학습 모델을 통해 추론된, 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 조직학적 정보를 지칭할 수 있다. 이와 달리, 조직학적 정보는 어노테이터의 어노테이션 작업의 결과로 획득될 수 있다.
본 개시에서, '암 환자 치료'는, 암 환자가 복용하거나 투입되는 임의의 치료제 및/또는 암 환자에게 수술되거나 적용된 임의의 치료 요법을 포함할 수 있다. 예를 들어, 암 환자에 적용된 치료는, 항암 화학요법(chemotherapy), 방사선 치료(radiotherapy). 면역 항암 치료(immunotherapy) 등을 포함할 수 있다. 또한, 암 환자 치료에 대한 반응성은, 병리학적 완전 관해(pathological Complete Response), 면역 항암제에 대한 반응성 등을 포함할 수 있다. 여기서, '병리학적 완전 관해(pathological Complete Response, 이하, pCR)'는 항암 화학요법(chemotherapy) 또는 방사선 치료(radiotherapy)에 따른 인체 조직(tissue) 내에 침습성 암(invasive cancer)의 부재를 의미할 수 있다. 예를 들어, 병리학적 완전 관해는 항암 치료 결과, 인체 조직 내 존재하던 종양 세포(Tumor Cell)의 전부 또는 적어도 일부가 제거된 상태를 의미할 수 있다.
본 개시에서, '기계학습 모델'은 주어진 입력에 대한 답을 추론하는데 사용하는 임의의 모델을 포함할 수 있다. 일 실시예에 따르면, 기계학습 모델은 입력 레이어(층), 복수 개의 은닉 레이어 및 출력 레이어를 포함한 인공신경망 모델을 포함할 수 있다. 여기서, 각 레이어는 하나 이상의 노드를 포함할 수 있다. 예를 들어, 기계학습 모델은 병리 슬라이드 이미지 및/또는 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대해 조직학적 정보를 추론하도록 학습될 수 있다. 이 경우, 어노테이션 작업을 통해 생성된 조직학적 정보가 기계학습 모델을 학습시키는데 이용될 수 있다. 또 다른 예로서, 기계학습 모델은 상호작용 스코어, 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및/또는 환자에 대한 임상 정보를 기초로, 암 환자 치료에 대한 반응성을 추론하도록 학습될 수 있다. 또한, 기계학습 모델은 기계학습 모델에 포함된 복수의 노드와 연관된 가중치를 포함할 수 있다. 여기서, 가중치는 기계학습 모델과 연관된 임의의 파라미터를 포함할 수 있다. 본 개시에서, 기계학습 모델은 인공신경망 모델을 지칭할 수 있으며, 인공신경망 모델은 기계학습 모델을 지칭할 수 있다.
본 개시에서, '학습'은 적어도 하나의 패치, 상호작용 스코어, 조직학적 정보 및/또는 임상 정보를 이용하여 기계학습 모델에 포함된 가중치를 변경하는 임의의 과정을 지칭할 수 있다. 일 실시예에 따르면, 학습은 적어도 하나의 패치 및 조직학적 정보를 이용하여 기계학습 모델을 한번 이상의 순방향 전파(forward propagation) 및 역방향 전자(backward propagation)을 통해 기계학습 모델과 연관된 가중치를 변경하거나 업데이트하는 과정을 지칭할 수 있다.
본 개시에서, '어노테이션(annotation)'이란, 데이터 샘플에 조직학적 정보를 태깅하는 작업 또는 태깅된 정보(즉, 주석) 그 자체를 의미한다. 어노테이션은 당해 기술 분야에서 태깅(tagging), 레이블링(labeling) 등의 용어와 혼용되어 사용될 수 있다.
본 개시에서, '복수의 A의 각각' 또는 '복수의 A 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다. 예를 들어, 복수의 종양 세포의 각각은, 복수의 종양 세포에 포함된 모든 종양 세포의 각각을 지칭하거나 복수의 종양 세포에 포함된 일부 종양 세포의 각각을 지칭할 수 있다. 이와 유사하게, 복수의 면역 세포의 각각은, 복수의 면역 세포에 포함된 모든 면역 세포의 각각을 지칭하거나 복수의 면역 세포에 포함된 일부 면역 세포의 각각을 지칭할 수 있다.
본 개시에서, '유사'는 동일 또는 유사하다는 의미를 모두 포함할 수 있다. 예를 들어, 두 정보가 유사하다는 것은 두 정보가 서로 동일하거나 유사하다는 것을 지칭할 수 있다.
본 개시에서, '인스트럭션(instruction)'이란, 기능을 기준으로 묶인 일련의 명령어들로서 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 가리킨다.
도 1은 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성 예측 결과를 제공하는 시스템을 나타내는 예시적인 구성도이다. 정보 처리 시스템(100)은 병리 슬라이드 이미지(110)를 수신하여, 암 환자 치료에 대한 반응성을 예측하는 결과를 제공하는 시스템을 포함할 수 있다. 또한, 도 1에서는 정보 처리 시스템(100)이 하나의 컴퓨팅 장치로서 도시되어 있으나, 이에 한정되지 않으며, 정보 처리 시스템(100)은 복수의 컴퓨팅 장치를 통해 정보 및/또는 데이터를 분산 처리하도록 구성될 수 있다. 또한, 도 1에서는 저장 시스템이 하나의 장치로서 도시되어 있으나, 이에 한정되지 않으며, 복수의 저장 장치로 구성되거나 클라우드(cloud)를 지원하는 시스템으로 구성될 수 있다. 또한, 도 1에서는 암 환자 치료 반응성 예측 결과를 제공하는 시스템의 각각의 구성요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로, 복수의 구성 요소가 실제 물리적 환경에서 서로 통합되는 형태로 구현될 수 있다. 또한, 도 1에서는 정보 처리 시스템(100)과 통신 가능한 저장 시스템을 도시하지 않았으나, 정보 처리 시스템(100)은 하나 이상의 저장 시스템과 연결되거나 통신 가능하도록 구성될 수 있다.
정보 처리 시스템(100)은 암 환자 치료에 대한 반응성을 예측하는 데 이용되는 임의의 컴퓨팅 장치이다. 여기서 컴퓨팅 장치는, 컴퓨팅 기능이 구비된 임의의 종류의 장치를 지칭할 수 있으며, 예를 들어, 노트북, 데스크톱(desktop), 랩탑(laptop), 서버, 클라우드 시스템 등이 될 수 있으나, 이에 한정되지 않는다.
정보 처리 시스템(100)은 암 환자 치료에 대한 반응성 예측 대상인 환자의 인체 조직으로부터 생성된 병리 슬라이드 이미지를 수신할 수 있다. 이러한 병리 슬라이드 이미지는 통신가능한 저장 매체(예를 들어, 병원 시스템, 로컬/클라우드 저장 시스템 등)를 통해 수신될 수 있다. 정보 처리 시스템(100)은 수신된 병리 슬라이드 이미지를 기초로 암 환자 치료에 대한 반응성을 예측할 수 있다. 이를 위해, 정보 처리 시스템(100)은 수신한 병리 슬라이드 이미지에 대한 이미지 분석을 수행할 수 있다.
일 실시예에 따르면, 정보 처리 시스템(100)은 이러한 이미지 분석을 통해 추출된 대상 환자 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 특성을 이용하여, 암 환자 치료에 대한 반응성의 예측 결과로서 면역 항암제의 반응성 예측 결과를 제공할 수 있다. 다른 실시예에 따르면, 정보 처리 시스템(100)은 이러한 이미지 분석을 통해 추출된 대상 환자 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 특성을 이용하여 암 환자 치료에 대한 반응성의 예측 결과로서 항암 치료제의 병리학적 완전 관해 예측 결과를 제공할 수 있다.
정보 처리 시스템(100)과 통신 가능하도록 구성된 저장 시스템은 병리 슬라이드 이미지로부터 암 환자 치료에 대한 반응성을 예측하도록 구성된 기계학습 모델과 연관된 각종 데이터를 저장하고 관리하는 장치 또는 클라우드 시스템이다. 데이터의 효율적인 관리를 위해, 저장 시스템은, 데이터베이스를 이용하여 각종 데이터를 저장하고 관리할 수 있다. 여기서, 각종 데이터는 기계학습 모델과 연관된 임의의 데이터를 포함할 수 있으며, 예를 들어, 각종 데이터는 병리 슬라이드 이미지 및 병리 슬라이드 이미지에 포함된 세포, 조직 및/또는 구조의 종류, 위치, 상태 등에 대한 조직학적 정보(histological components)를 포함할 수 있다. 또한, 각종 데이터는 환자의 나이, 폐경 유무(Menopausal Status), 임상적 T-stage(Clinical_T), BIRADS, 종양의 개수(Number of Tumor), 종양 크기(Tumor Size), Node_Enlargement, Biopsy_ER, Biopsy_PR, Biopsy_HER2, pCR_final, Pathology Type 등과 같은 임상 정보(clinical Factor)를 포함할 수 있다.
도 2는 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 결과를 제공하는 프로세서(200)의 구성을 나타내는 블록도이다. 도시된 바와 같이, 프로세서(200)는 이미지 분석 모듈(210), LTS 산출 모듈(220), 반응성 예측 모듈(230)을 포함하도록 구성될 수 있다. 또한, 도 2에서는 도시되지 않았지만, 프로세서(200)는 유무선 인터넷 서비스를 지원하는 통신 인터페이스를 통해 각종 정보 및/또는 데이터를 외부 시스템과 송수신할 수 있다.
이미지 분석 모듈(210)은 외부 시스템으로부터 분석 대상이 되는 이미지를 수신할 수 있다. 일 실시예에 따르면, 이미지 분석 모듈(210)은 통신 인터페이스(미도시)를 통해 외부 시스템의 데이터베이스로부터 치료에 대한 반응성 예측 대상이 되는 환자의 병리 슬라이드 이미지를 수신할 수 있다. 여기서, 이미지 분석 모듈(210)은 하나의 외부 시스템으로부터 복수의 환자에 대한 복수의 병리 슬라이드 이미지를 수신할 수 있다. 이와 달리, 이미지 분석 모듈(210)은 복수의 외부 시스템(예를 들어, 상이한 병원에 배치된 시스템)의 데이터베이스의 각각으로부터 복수의 병리 슬라이드 이미지를 수신할 수 있다.
이미지 분석 모듈(210)은 수신한 이미지에 포함되거나 분석된 정보 및/또는 데이터를 추출할 수 있다. 일 실시예에 따르면, 이미지 분석 모듈(210)은 기계학습 모델에 의해 병리 슬라이드 이미지에 포함된 세포, 조직 및/또는 구조의 종류, 위치, 상태 등에 대한 조직학적 정보(histological components)를 추출할 수 있다. 다른 실시예에 따르면, 이미지 분석 모듈(210)은 외부 시스템(예를 들어, 어노테이터의 단말)에 병리 슬라이드 이미지를 제공한 후, 조직학적 정보가 태깅된 병리 슬라이드 이미지를 외부 시스템으로부터 다시 수신할 수 있다. 추출된 조직학적 정보는 LTS 산출 모듈(220)에 제공될 수 있다.
LTS 산출 모듈(220)은 이미지 분석 모듈(210)로부터 수신된 조직학적 정보에 기초하여 LTS를 산출할 수 있다. 일 실시예에 따르면, LTS 산출 모듈(220)은 추출된 조직학적 정보 중에서, 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 기초로 LTS를 산출할 수 있다. 이 과정에서, LTS 산출 모듈(220)은 특정 조직 정보에 속하는 복수의 면역 세포의 각각과 동일한 조직 정보에 속하는 복수의 종양 세포의 각각 사이의 거리를 산출할 수 있다. 산출된 거리는 LTS를 산출하는데 사용될 수 있다. 일 실시예에 따르면, LTS 산출 모듈(220)은 추출된 조직학적 정보 중에서, 복수의 면역 세포의 각각에 대한 특성, 복수의 종양 세포의 각각에 대한 특성 그리고 산출된 거리를 이용하여 상호작용 스코어를 산출할 수 있다.
LTS 산출 모듈(220)은 정규화된 조직학적 정보를 기초로 LTS 산출에 이용되는 함수 및 가중치를 결정할 수 있다. 그리고 나서, LTS 산출 모듈(220)은 결정된 함수 및 가중치를 이용하여 LTS를 산출할 수 있다. 일 실시예에 따르면, LTS 산출 모듈(220)은 AUROC, 정확도, 민감도, Specificity, PPV, NPV 등의 예측력을 나타내는 매트릭스(metrics)를 이용하여, 최적의 가중치 및 함수를 결정할 수 있다. 여기서, 함수는 이미지 분석 모듈(210)로부터 수신한 조직학적 정보를 통해 반환할 수 있는 모든 함수를 의미할 수 있다.
반응성 예측 모듈(230)은 LTS 산출 모듈(220)로부터 수신된 LTS를 기초로 암 환자 치료에 대한 반응성을 예측하는 결과를 생성할 수 있다. 예를 들어, 반응성 예측 모듈(230)은 수신된 LTS를 이용하여 면역 항암제의 반응성 예측 결과를 나타내는 값을 출력할 수 있다. 다른 예를 들어, 반응성 예측 모듈(230)은 수신된 LTS를 이용하여 항암 치료의 병리학적 완전 관해 예측 결과를 나타내는 값을 출력할 수 있다.
일 실시예에 따르면, 반응성 예측 모듈(230)은 LTS를 입력 변수로 하여 암 환자 치료에 대한 반응성(예를 들어, 항암 치료의 병리적 완전 관해(pathological Complete Response, 이하, 'pCR'로 지칭됨)을 예측하는 기계학습 모델을 구현할 수 있다. 다른 실시예에 따르면, 반응성 예측 모듈(230)은 LTS, 조직학적 정보 및 임상 정보 중 적어도 하나를 입력 변수로 하여 암 환자 치료에 대한 반응성을 예측하는 기계학습 모델을 구현할 수도 있다. 예를 들어, 이러한 기계학습 모델은 LTS, 조직학적 정보 및 임상 정보 모두를 입력받아, 암 환자 치료에 대한 반응성을 예측하는 기계학습 모델을 구현할 수도 있다. 이 경우, LTS, 조직학적 정보 및 임상 정보는 동일한 환자 그룹의 병리 슬라이드 이미지로부터 산출 및/또는 추론된 LTS, 조직학적 정보 및 임상 정보를 지칭할 수 있다. 위에서 언급된 기계학습 모델은 일반화된 리니어 기계학습 모델 중 Elastic-Net를 활용하여 암 환자 치료에 대한 반응성을 예측하는 모델(예: pCR을 예측하는 모델)을 구현할 수 있다.
반응성 예측 모듈(230)은 구현된 기계학습 모델을 학습시키고, 학습된 기계학습 모델의 유효성(validation)을 검사할 수 있다. 일 실시예에 따르면, 반응성 예측 모듈(230)은 복수 개의 데이터 세트를 이용하여 기계학습 모델의 학습 및 유효성 검사를 수행할 수 있다. 예를 들어, 반응성 예측 모듈(230)은 제1 외부 시스템(예: 'S 병원')의 데이터 베이스로부터 수신된 병리 슬라이드 이미지를 입력 변수로 하여, 기계학습 모델을 학습시킬 수 있다. 그리고 나서, 반응성 예측 모듈(230)은 제2 외부 시스템(예: 'A 병원')의 데이터 베이스로부터 수신된 병리 슬라이드 이미지를 입력 변수로 하여, 학습된 기계학습 모델의 유효성을 검사할 수 있다. 즉, cross validation을 통해 기계학습 모델의 유효성이 검증될 수 있다.
반응성 예측 모듈(230)은, 암 환자 치료에 대한 반응성을 예측하기 이전에, 수신된 조직학적 정보에 대하여 전처리를 수행할 수 있다. 일 실시예에 따르면, LTS 산출 모듈(220)은 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성을 정규화할 수 있다. 여기서, LTS 산출 모듈(220)은 서로 다른 외부 시스템으로부터 수신한 복수의 병리 슬라이드 이미지의 조직학적 정보에 대해 정규화를 수행할 수 있다. 예를 들어, LTS 산출 모듈(220)은 조직학적 정보에 대하여, TMM(Trimmed mean of M value) 알고리즘 및/또는 Voom normalization을 이용하여 정규화를 수행할 수 있다. 이렇게 정규화된 조직학적 정보는 암 환자 치료에 대한 반응성을 예측하는 기계학습 모델의 학습 및/또는 추론을 위한 데이터로서 사용될 수 있다. 이러한 구성 하에서, 각종 변수들에 의한 조직학적 정보의 비일관성 및/또는 이질성 등이 제거 또는 감소될 수 있다.
도 3은 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 방법의 예시를 나타낸다. 방법(300)은 정보 처리 시스템(예: 정보처리 시스템(100))의 적어도 하나의 프로세서에 의해서 수행될 수 있다. 방법(300)은 암 환자의 병리 슬라이드 이미지를 획득하는 단계(S310)에 의해 개시될 수 있다.
일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지 내에 포함된 복수의 종양 세포에 대한 정보 및 복수의 면역 세포에 대한 정보를 결정할 수 있다(S320). 그리고 나서, 프로세서는 복수의 종양 세포에 대한 정보 및 복수의 면역 세포에 대한 정보를 기초로 면역-종양 세포 상호작용 스코어(LTS)를 산출할 수 있다(S330). 그리고 나서, 프로세서는 LTS를 이용하여 암 환자 치료에 대한 반응성을 예측할 수 있다(S340).
일 실시예에 따르면, 프로세서는 복수의 면역 세포의 각각의 위치 및 종양의 면역 세포의 각각의 위치를 결정할 수 있다. 또한, 프로세서는 복수의 면역 세포의 각각이 배치된 조직 정보 및 복수의 종양 세포의 각각이 배치된 조직 정보를 결정할 수 있다. 그리고 나서, 프로세서는 특정 조직 정보에 속하는 복수의 면역 세포의 각각과 특정 조직 정보에 속하는 복수의 종양 세포의 각각 사이의 거리를 산출할 수 있다. 이렇게 산출된 거리를 이용하여 상호작용 스코어가 산출될 수 있다.
일 실시예에 따르면, 프로세서는 복수의 면역 세포의 각각에 대한 특성 및 복수의 종양 세포의 각각에 대한 특성을 결정하도록 구성될 수 있다. 이렇게 산출된 복수의 면역 세포의 각각에 대한 특성, 복수의 종양 세포의 각각에 대한 특성 및 산출된 거리는 상호 작용 스코어를 산출하는데에 사용될 수 있다.
일 실시예에 따르면, 프로세서는 복수의 면역 세포의 각각의 특성에 따른 가중치 및 복수의 종양 세포의 각각에 대한 특성에 따른 가중치를 결정하는 단계를 결정할 수 있다. 그리고 나서, 결정된 복수의 면역 세포의 각각의 특성에 따른 가중치, 결정된 복수의 종양 세포의 각각에 대한 특성에 따른 가중치 및 산출된 거리를 이용하여 상호작용 스코어가 산출될 수 있다.
일 실시예에 따르면, 프로세서는 산출된 거리 중에서 상호작용과 연관된 미리 결정된 임계치 이하인 거리를 선택할 수 있다. 그리고 나서, 프로세서는 선택된 거리를 이용하여 상호작용 스코어를 산출할 수 있다. 이 경우, 산출된 거리가 더 가까울수록 더 높은 상호작용 스코어가 결정될 수 있다.
일 실시예에 따르면, 프로세서는 상호작용 스코어를 암 환자 치료에 대한 반응성 예측을 위한 기계학습 모델에 입력하여, 병리 슬라이드 이미지와 연관된 암 환자 치료에 대한 반응성을 나타내는 값을 출력할 수 있다. 이를 위해. 프로세서는 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성을 정규화할 수 있다. 다른 실시예에 따르면, 프로세서는 병리 슬라이드 이미지와 연관된 환자에 대한 임상 정보를 획득하고, 획득된 임상 정보, 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 상호작용 스코어를 상기 암 환자 치료에 대한 반응성 예측을 위한 기계학습 모델에 입력하여, 병리 슬라이드 이미지와 연관된 암 환자 치료에 대한 반응성을 나타내는 값을 출력할 수 있다. 여기서. 암 환자 치료에 대한 반응성 예측을 위한 기계학습 모델은 일반화된 리니어 기계학습 모델 중 하나의 기계학습 모델을 포함할 수 있다.
도 4는 본 개시의 일 실시예에 따라 병리 슬라이드 이미지로부터 조직학적 정보를 추출하는 예시를 나타낸다. 도시된 바와 같이, 병리 슬라이드 이미지(410)는 인체로부터 떼어낸 조직의 적어도 일부에 대한 일련의 화학적 처리 과정을 거쳐 염색 및/또는 고정된 병리 슬라이드를 슬라이드 스캐너, 현미경 및 카메라 중 적어도 하나를 통해 촬영함으로써 생성된 디지털 이미지를 지칭할 수 잇다. 도 4에서는 병리 슬라이드 이미지(410)가 H&E 염색(hematoxylin and eosin stain) 기법으로 염색된 것으로 도시되어 있으나, 이에 제한되지 않고, 이미 알려진 상이한 염색 기법으로 염색한 병리 슬라이드를 슬라이드 스캐너, 현미경 및 카메라 중 적어도 하나를 통해 촬영함으로써 생성된 이미지를 포함할 수 있다. 여기서 슬라이드 스캐너는 디지털 병리 슬라이드 스캐너를 포함할 수 있다.
병리 슬라이드 이미지(420)는, 이미지에 포함된 적어도 하나의 패치(430)에 대한 조직학정 정보(histological components)를 포함할 수 있다. 일 실시예에 따르면, 이미지 분석 모듈(예: 이미지 분석 모듈(210))이 병리 슬라이드 이미지(410)를 기계학습 모델을 이용하여 분석(예: 추론)함으로써, 병리 슬라이드 이미지에 포함된 적어도 하나의 패치에 대한 조직학적 정보를 생성할 수 있다. 다른 실시예에서, 조직학적 정보는 사람(예를 들어, 어노테이터)에 의해 적어도 하나의 패치에 대한 어노테이션 작업이 수행됨으로써 생성될 수 있다.
조직학적 정보는 병리 판단을 하기 위해 병리 슬라이드 이미지(420) 및/또는 제1 패치(430)에 포함된 대상을 구분할 수 있는 정보를 포함할 수 있다. 병리 슬라이드 이미지(420)는 특정 영역에 대한 조직학적 정보를 포함할 수 있다. 일 실시예에 따르면, 병리 슬라이드 이미지(420) 내의 제1 영역(422)로부터 암 기질(cancer stroma)이라는 조직학적 정보가 추출될 수 있고, 제2 영역(424)로부터 암 상피(cancer epithelium)라는 조직학적 정보가 추출될 수 있다. 예를 들어, 도시된 바와 같이, 암 기질 영역에 해당하는 제1 영역(422)은 자주색으로 채색되고, 암 상피 영역에 해당하는 제2 영역(424)은 하늘색으로 채색되어 있으나, 이에 제한되지 않고, 조직학적 정보는 영역, 도형, 다른 색 또는 텍스트 등의 다양한 시각적 표시로 표현될 수 있다. 또한, 채색된 영역의 전부 또는 적어도 일부는 하나 이상의 패치와 대응될 수 있다.
일 실시예에서, 림프구(442)에 대한 정보(예: 림프구의 개체수, 배치된 위치 등)가 병리 슬라이드 이미지 내의 패치에 조직학정 정보로서 추출될 수 있다. 도시된 바와 같이, 림프구(442)는 암 상피 조직에 배치된 하나 이상의 림프구를 포함할 수 있다. 이렇게 암 상피 조직에 배치된 림프구의 각각과 암 상피 조직의 종양 세포의 각각과의 거리가 산출되고, 산출된 거리를 기초로 면역-종양 세포 상호작용 스코어, 즉, LTS가 산출될 수 있다.
일 실시예에 따르면, 병리 슬라이드 이미지(420)가 제2 패치(440)와 유사한 배율로 확대될 경우, 병리 슬라이드에 포함된 림프구(442)(예를 들어, 보조 T 세포(helper T cell), 세포독성 T 세포(killer T cell), 자연 살해 T 세포(natural killer T cell), 기억 T 세포(memory T cell), 조절 T 세포(suppressor T cell) 및 B 세포(B cell) 등)가 식별될 수 있으나, 이에 제한되지 않고, 이미지 분석 모듈은 낮은 배율의 이미지에 특정 조직학적 정보에 해당하는 영역에 시각적 표시를 할 수도 있다. 또한, 조직학정 정보에 림프구(442) 외의 호중구, 호산구, 호염기구, 단핵구, 적혈구, 혈소판 등의 병리 슬라이드의 대상물 내부에 포함되는 다양한 세포들도 포함될 수 있다.
도 5는 본 개시의 일 실시예에 따른 LTS를 산출하는 방법의 예시를 나타낸다. 병리 슬라이드 이미지(510)에 속하는 패치(512)로부터 LTS 산출에 이용되는 조직학적 정보가 추출될 수 있다. 예를 들어, 패치(512)는 세포의 종류(예: erated & necrotic tumor cell, Others, Endothelial cell and pericyte, Mitosis, Macrophage, Lymphoplasma cell, Fibroblast, Nuclear grade 1, Nuclear grade 2, Nuclear grade 3), 좌표값, severity 등에 대한 정보를 포함할 수 있다. 또한, 추출된 조직학적 정보는 패치 내의 조직(tissue), 예를 들어, 암 상피(cancer epithelial), 암 기질(cancer stroma), 정상 상피(normal epithelial), 정상 기질(normal stroma), 괴사(necrosis), 지방(fat), 배경(background) 등의 정보를 포함할 수 있다. 또한, 패치에 대한 조직학적 정보는 구조(structure), 예를 들어, Tubule formation count, Tubule formation area, DCIS count, DCIS area, Nerve count, Nerve area, Blood vessel count, Blood vessel area 등의 정보를 포함할 수 있다. 또한, 패치로부터 추출된 조직학적 정보는 위 예시로 한정되지 않고, 세포의 instability, cell cycle, biological function 등, 패치에서 정량화 가능한 임의의 조직학적 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(예: 프로세서(200))는 병리 슬라이드 이미지(510)에 포함된 조직학적 정보를 기초로 LTS(520)를 산출할 수 있다. 여기서, LTS(520)는 병리 슬라이드 이미지(510) 내에 포함된 복수의 면역 세포의 위치 정보 및 복수의 종양 세포의 위치 정보를 입력 변수로 하는 LTS 산출 함수를 이용하여 산출될 수 있다. 더 구체적으로, LTS는 특정 조직(tissue)에 속하는 복수의 면역 세포 각각 및 종양 세포 각각의 거리 중 미리 정해진 임계치(threshold) 이하의 값을 갖는 거리의 개수로 표현될 수 있다. 예를 들어, LTS는, 암 기질(cancer stroma)에 속하는 모든 면역 세포 및 종양 세포의 조합에 대하여 1000px(또는, 200 μm) 이하의 값을 갖는 거리를 카운팅(counting)한 값을, LTS 산출 함수의 입력 변수로 사용하여 산출될 수 있다.
다른 실시예에 따르면, LTS(520)는 면역 세포 및 종양 세포의 조직학적 정보 및 조직학적 정보를 기초로 추론된 가중치를 이용하여 산출될 수 있다. 예를 들어, LTS(520)는 아래 수학식 1을 이용하여 산출될 수 있다.
Figure 112020119757264-pat00001
여기서, 수학식 1의 함수 F는 면역 세포 및 종양 세포의 조직학적 특성 및 위상 정보를 기초로 추론 가능한 임의의 함수를 지칭할 수 있다. 예를 들어, 함수 F는 면역 세포의 위치(Li) 및 종양 세포의 위치(Tj)를 입력 변수로 하는 거리 함수를 지칭할 수 있다. 다른 예로서, 함수 F는 산출된 거리에 대한 n차 방정식으로서 표현될 수 있다. 또 다른 예로서, 함수 F는 면역 세포의 특성 및/또는 종양 세포의 특성에 따라 변화되는 출력값을 가지는 수식을 지칭할 수 있다. 또한, 가중치 α는 면역 세포와 종양 세포 사이의 거리 각각에 대한 가중치를 지칭할 수 있다. 또한, 가중치 βij는 면역 세포 및 종양 세포의 세포 현상과 연관된 특성(예: 종양 세포의 Grade 1/2/3, Mitosis 등)에 대한 가중치를 의미할 수 있다. 또한 가중치 β는 이러한 특성 외에 면역 세포 및/또는 종양 세포 각각의 특성에 대한 가중치를 지칭할 수 있다. 여기서, 가중치 β는 임의의 상태 정보에 따라 상이한 가중치를 가질 수 있는데, 예를 들어, 실험 및/또는 학습을 통해, LTS를 산출하기에 가장 적합한 가중치가 결정될 수 있다.
도 6은 본 개시의 일 실시예에 따른 면역 세포와 종양 세포 사이의 거리를 산출하는 예시를 나타낸다. 일 실시예에 따르면, 정보 처리 시스템(예를 들어, 정보 처리 시스템(100))은 병리 슬라이드 이미지(610)에 위치하는 세포 각각의 위치를 결정할 수 있다. 예를 들어, 정보 처리 시스템은 병리 슬라이드 이미지(610)에 추출되거나 태깅된 세포의 종류에 관한 조직학적 정보를 이용하여 면역 세포(612) 및 종양 세포(614) 각각의 위치 정보를 결정할 수 있다. 이 경우, 면역 세포(612) 및 종양 세포(614) 각각의 위치 정보는 병리 슬라이드 이미지 상에서의 픽셀 위치 또는 좌표값(특정 기준 픽셀로부터의 좌표를 나타내는 값)으로 표현될 수 있다.
일 실시예에 따르면, 정보 처리 시스템은 병리 슬라이드 이미지(620)로부터 세포가 배치된 영역에 관한 정보를 결정할 수 있다. 예를 들어, 정보 처리 시스템은 병리 슬라이드 이미지(610)에 추출된 조직(tissue)에 관한 정보(예: 암 상피(cancer epithelial), 암 기질(cancer stroma), 정상 상피(normal epithelial), 정상 기질(normal stroma), 괴사(necrosis), 지방(fat), 배경(background) 등)를 이용하여 추출된 면역 세포(612) 및 종양 세포(614)가 위치하는 조직에 관한 정보를 추출할 수 있다. 예를 들어, 면역 세포(612) 및 종양 세포(614)가 위치하는 조직 영역(622)의 조직 정보(예: 암 기질)를 결정할 수 있다.
일 실시예에 따르면, 정보 처리 시스템은 특정 조직 영역(622)에 위치하는 면역 세포(612)의 위치 및 종양 세포(614)의 위치를 기초로, 면역 세포 각각과 종양 세포 각각 사이의 거리를 산출할 수 있다. 예를 들어, 정보 처리 시스템은 암 상피(Cancer epithelial)에 위치하는 면역 세포 각각과 종양 세포 각각 사이의 거리를 산출할 수 있다. 다른 예로서, 정보 처리 시스템은 암 기질(Cancer stroma)에 위치하는 면역 세포 각각과 종양 세포 각각 사이의 거리를 산출할 수 있다.
도 7은 본 개시의 일 실시예에 따라 특정 조직에 위치하는 면역 세포와 종양 세포 사이의 거리의 예시를 나타낸다. 정보 처리 시스템(예: 정보 처리 시스템(100))은 병리 슬라이드 이미지에 포함된 조직학적 정보를 기초로 특정 조직 정보에 속하는 면역 세포 각각과 종양 세포 각각 사이의 거리를 산출할 수 있다. 여기서, 특정 조직 정보는 암 기질 또는 암 상피를 지칭할 수 있으나, 이에 한정되지 않고, 정상 상피, 정상 기질, 괴사, 지방, 배경 중 어느 하나의 조직 정보를 지칭할 수도 있다.
일 실시예에 따르면, 정보 처리 시스템은 특정 조직 정보에 속하는 모든 면역 세포 각각과 모든 종양 세포 각각 사이의 거리(d1, d2, d3, ?, dn)를 산출할 수 있다. 다른 실시예에 따르면, 정보 처리 시스템은 특정 조직 정보에 속하는 면역 세포의 적어도 일부의 각각과 종양 세포의 적어도 일부의 각각 사이의 거리(d1, d2, d3, ?, dn-k, k는 자연수)를 산출할 수 있다. 여기서, n은 거리를 산출하는데 사용되는, 특정 조직 정보에 속하는 면역 세포와 종양 세포의 조합(combination)의 개수를 의미할 수 있다.
정보 처리 시스템은 산출된 면역 세포 각각과 종양 세포 각각 사이의 거리 중에서, 미리 결정된 임계치(threshold) 이하의 값을 갖는 거리만을 LTS 산출에 이용할 수 있다. 예를 들어, 미리 결정된 임계치가 d1보다 크고 d2보다 작은 값을 갖는 경우, 정보 처리 시스템은 암 기질(파란색 영역)에 속하는 임의의 제1 면역 세포(하늘색)로부터 제1 종양 세포 사이(노란색)의 거리(d1)를 LTS 산출에 이용할 수 있다. 또한, 정보 처리 시스템은 제1 면역 세포(하늘색)로부터 제2 종양 세포(노란색) 사이의 거리(d2)는 LTS 산출에 이용하지 않을 수 있다. 이러한 구성 하에서, 암 환자 치료에 대한 반응성 예측에 영향을 미치는 면역 세포와 종양 세포 사이의 거리에 관련된 데이터만을 선택적으로 암 환자 치료에 대한 반응성 예측의 입력 변수로 이용할 수 있다.
정보 처리 시스템은 산출된 거리 각각에 대하여 결정된 가중치를 LTS 산출에 이용할 수 있다. 예를 들어, LTS는 도 5에서 설명한 수학식 1로 나타낼 수 있다. 여기서, 수학식 1의 함수 F는 면역 세포 및 종양 세포의 위치를 기초로 산출된 면역 세포와 종양 세포 사이의 거리를 이용한 함수를 지칭할 수 있다. 이 경우, 제1 면역 세포(하늘색)로부터 제1 종양 세포 사이(노란색)의 거리(F = d1)의 제1 가중치(α1)는 제1 면역 세포(하늘색)로부터 제2 종양 세포(노란색) 사이의 거리(F = d2)의 제2 가중치(α2)와 서로 다른 값을 가질 수 있다. 예를 들어, 제1 가중치(α1)는 제2 가중치(α2) 보다 큰 값을 가질 수 있다. 이와 같은 구성에 따라, 면역 세포와 종양 세포 사이의 거리와 암 환자 치료에 대한 반응성의 상호 관계가 반영된 LTS를 산출할 수 있다.
도 8은 본 개시의 일 실시예에 따른 LTS(810)에 기초하여 암 환자 치료에 대한 반응성 예측 결과(830)를 추론하거나 출력하도록 구성된 기계학습 모델(820)을 나타내는 도면이다. 일 실시예에 따르면, 기계학습 모델(820)은 반응성 예측 모듈(예: 반응성 예측 모듈(230))을 통해 생성, 업데이트될 수 있다. 또한, 반응성 예측 모듈은 기계학습 모델(820)을 접근하여 반응성 예측 결과(830)를 추론할 수 있다. 예를 들어, 반응성 예측 모듈은 일반화된 리니어 모델 중 Elastic-Net을 활용하여 암 환자 치료에 대한 반응성 예측 결과를 출력하는 모델을 포함할 수 있다. 이 경우, LTS 산출 모듈(예: LTS 산출 모듈(220))에 의하여 산출된 LTS(810)가 기계학습 모델(820)의 학습 데이터로 활용될 수 있다. 이렇게 생성된 기계학습 모델(820)은 프로세서가 접근 가능한 저장 매체(예를 들어, 메모리)에 저장될 수 있다.
기계학습 모델(820)은 LTS 산출 모듈에 의하여 산출된 LTS(810)를 입력 데이터로 활용하여 암 환자 치료에 대한 반응성 예측 결과(830)를 추론 및/또는 출력할 수 있다. 예를 들어, 기계학습 모델(820)은 면역 항암제의 반응성 예측 결과를 암 환자 치료 반응성 예측 결과(830)로서 추론 및/또는 출력할 수 있다. 다른 예를 들어, 기계학습 모델(820)은 항암 치료의 병리학적 완전 관해 예측 결과를 암 환자 치료 반응성 예측 결과(830)로서 추론 및/또는 출력할 수 있다.
도 9는 본 개시의 다른 일 실시예에 따른 LTS(910), 세포, 조직 또는 구조 중 적어도 하나에 대한 특성(912) 및 임상 정보(914)에 기초하여 암 환자 치료 반응성 예측 결과(930)를 추론하거나 출력하도록 구성된 기계학습 모델(920)을 나타내는 도면이다. 일 실시예에 따르면, 기계학습 모델은 암 환자 치료에 대한 반응성 예측 모듈은 일반화된 리니어 모델 중 Elastic-Net을 활용하여 암 환자 치료에 대한 반응성 예측 결과를 출력하는 모델을 구성할 수 있다. 이 경우, LTS 산출 모듈(예: LTS 산출 모듈(220))에 의하여 산출된 LTS(910), 이미지 분석 모듈(예: 이미지 분석 모듈(210))을 통해 병리 슬라이드에서 추출된 세포, 조직 또는 구조 중 적어도 하나에 대한 특성(912)(예를 들어, 림프구(Lymphoctye), 배경(Background), 종양 세포(Tumor cell) 등의 특성) 및 접근 가능한 외부 시스템으로부터 수신한 병리 슬라이드와 연관된 환자의 임상 정보(914)가 학습 데이터로 활용될 수 있다. 그리고 나서, 생성된 기계학습 모델(920)은 프로세서가 접근 가능한 저장 매체(예를 들어, 메모리)에 저장될 수 있다.
기계학습 모델(920)은 LTS 산출 모듈에 의하여 산출된 LTS(910), 이미지 분석 모듈을 통해 병리 슬라이드에서 추출된 세포, 조직 또는 구조 중 적어도 하나에 대한 특성(912) 및 접근 가능한 외부 시스템으로부터 수신한 병리 슬라이드와 연관된 환자의 임상 정보(914) 중 적어도 하나를 입력 데이터로 활용하여 암 환자 치료 반응성 예측 결과(930)를 추론 및/또는 출력할 수 있다. 예를 들어, 기계학습 모델(920)은 면역 항암제의 반응성 예측 결과를 암 환자 치료 반응성 예측 결과(930)로서 추론 및/또는 출력할 수 있다. 다른 예로서, 기계학습 모델(920)은 항암 치료의 병리학적 완전 관해 예측 결과를 암 환자 치료 반응성 예측 결과(930)로서 추론 및/또는 출력할 수 있다.
도 10은 본 개시의 일 실시예에 따른 정보 처리 시스템(1030)에 사용하는 데이터 세트의 예시를 나타내는 도면이다. 여기서, 정보 처리 시스템(1030)은 도 2의 정보 처리 시스템(100)과 대응될 수 있다. 도시된 바와 같이, 암 환자 치료에 대한 반응성 예측을 위한 기계학습 모델에 사용하는 데이터 세트는 학습(training) 데이터 세트(1010) 및 테스트(testing) 데이터 세트(1020)로 분류될 수 있다. 일 실시예에 따르면, 정보 처리 시스템(1030)은 제1 외부 시스템(예를 들어, 'S' 병원 시스템)으로부터 수신한 학습 데이터 세트(1010)를 이용하여 기계학습 모델을 학습할 수 있다.
일 실시예에 따르면, 정보 처리 시스템(1030)은 테스트 데이터 세트(1020)를 학습된 기계학습 모델에 입력하여 테스트 데이터 세트(1020)에 대한 암 환자 치료에 대한 반응성 예측 결과(1040)를 추론할 수 있다. 이러한 구성에 따라, 정보 처리 시스템(1030)은 cross validation을 통해 복수의 데이터 세트에 대하여 유효성이 검증된 최적의 기계학습 모델을 생성할 수 있다. 추가적으로, 정보 처리 시스템(1030)은 예측 정확도(ACC(Accuracy, 정확도), AUC(Area Under Curve, 곡선 아래 면적), 민감도, 특이도 등 기계학습 모델의 성능과 관련된 수치를 통해 구현된 기계학습 모델의 성능을 평가할 수 있다.
도 11은 본 개시의 일 실시예에 따른 인공신경망(1110)을 나타내는 구조도이다. 인공신경망(1100)은 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다. 즉, 인공신경망(800)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 기계학습 모델을 나타낸다.
일반적으로 인공신경망은 다층의 노드들과 이들 상이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현된다. 본 실시예에 따른 인공신경망(1100)은 MLP를 포함하는 다양한 인공신경망 구조들 중의 하나를 이용하여 구현될 수 있다. 도 11에서 도시된 바와 같이, 인공신경망(1100)은 외부로부터 입력 신호 또는 데이터(1110)를 수신하는 입력층(1120), 입력 데이터에 대응한 출력 신호 또는 데이터(1150)를 출력하는 출력층(1140), 입력층(1120)과 출력층(1140) 사이에 위치하며 입력층(1120)으로부터 신호를 받아 특성을 추출하여 출력층(1140)으로 전달하는 n개의 은닉층(1130_1 내지 1130_n)으로 구성된다. 여기서, 출력층(1140)은, 은닉층(1130_1 내지 1130_n)으로부터 신호를 받아 외부로 출력한다. 일반적으로, 인공신경망(1100)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 본 개시에 따른 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템은, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning) 및 준 지도 학습(Semi-supervised Learning)을 이용하여, 암 환자 치료에 대한 반응성의 예측 결과를 추출하는 인공신경망(1100)을 학습시킬 수 있다. 이렇게 학습된 인공신경망(1100)은 해당 병리 슬라이드 이미지와 관련된 환자의 항암 치료에 대한 반응성 예측 결과를 추출할 수 있다.
일 실시예에 따르면, 도 11에 도시된 바와 같이, 조직학적 정보를 추출할 수 있는 인공신경망(1100)의 입력 변수는, 병리 슬라이드 이미지를 하나의 벡터 데이터 요소로 구성한, 병리 슬라이드 이미지 벡터(1110)가 될 수 있다. 일 실시예에 따르면, 출력변수는 병리 슬라이드 이미지 내의 세포, 조직, 구조 중 적어도 하나에 대한 특성을 나타내는 결과 벡터(1150)로 구성될 수 있다.
다른 실시예에 따르면, 입력 변수에 따라 암 환자 치료의 반응성을 추출하도록 인공신경망(1100)이 학습될 수 있다. 예를 들어, 이러한 입력 변수는, LTS를 나타내는 하나의 벡터 데이터 요소로 구성된 벡터(1110)가 될 수 있다. 다른 예로서, 이러한 입력 변수는, LTS, 추출된 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 임상 정보를 나타내는 하나의 벡터 데이터 요소로 구성된 벡터(1110)가 될 수 있다. 또한, 인공신경망(1100)의 출력변수는 암 환자 치료에 대한 반응성을 예측하는 결과를 나타내는 결과 벡터(1150)로 구성될 수 있다. 예를 들어, 이러한 결과 벡터(1150)는 면역 항암제의 반응성을 나타내는 벡터를 포함할 수 있다. 다른 예로서, 이러한 결과 벡터(1150)는 항암 치료에 대한 병리학적 완전 관해를 나타내는지 여부를 나타내는 벡터를 포함할 수 있다.
이와 같이, 인공신경망(1100)의 입력층(1120)과 출력층(1140)에 복수의 입력변수와 대응되는 복수의 출력변수를 각각 매칭시켜, 입력층(1120), 은닉층(1130_1 ... 1130_n) 및 출력층(1140)에 포함된 노드들 사이의 시냅스 값을 조정함으로써, 특정 입력에 대응한 올바른 출력을 추론할 수 있도록 학습할 수 있다. 이러한 학습과정을 통해, 인공신경망(1100)의 입력변수에 숨겨져 있는 특성을 파악할 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망(1100)의 노드들 사이의 시냅스 값(또는 가중치)를 조정할 수 있다.
이렇게 학습된 인공신경망(1100)을 이용하여, 암 환자의 병리 슬라이드 이미지에서 암 환자 치료에 대한 반응성 예측 결과를 추출할 수 있다. 예를 들어, 인공신경망(1100)을 이용하여, 암 환자의 병리 슬라이드 이미지에서 면역 항암제의 반응성 예측 결과를 추출할 수 있다. 다른 예를 들어, 인공신경망(1100)을 이용하여, 암 환자의 병리 슬라이드 이미지에서 항암 치료의 병리학적 완전 관해 예측 결과를 추출할 수 있다.
도 12는 본 개시의 일 실시예에 따른 암 환자 치료에 대한 반응성을 예측하는 예시적인 시스템 구성도이다. 도시된 바와 같이, 정보 처리 시스템(100)은 하나 이상의 프로세서(1210), 버스(1230), 통신 인터페이스(1240), 프로세서(1210)에 의해 수행되는 컴퓨터 프로그램(1260)을 로드(load)하는 메모리(1220) 및 컴퓨터 프로그램(1260)을 저장하는 저장 모듈(1250)을 포함할 수 있다. 다만, 도 12에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 12에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(1210)는 정보 처리 시스템(예: 정보 처리 시스템(100))의 각 구성의 전반적인 동작을 제어한다. 프로세서(1210)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1210)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 정보 처리 시스템은 하나 이상의 프로세서를 구비할 수 있다.
메모리(1220)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(1220)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 모듈(1250)로부터 하나 이상의 컴퓨터 프로그램(1260)을 로드할 수 있다. 메모리(1220)는 RAM과 같은 휘발성 메모리로 구현될 수 있으나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.
버스(1230)는 정보 처리 시스템의 구성 요소 간 통신 기능을 제공할 수 있다. 버스(1230)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(1240)는 정보 처리 시스템의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(1240)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1240)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
저장 모듈(1250)은 하나 이상의 컴퓨터 프로그램(1260)을 비임시적으로 저장할 수 있다. 저장 모듈(1250)은 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(1260)은 메모리(1220)에 로드될 때 프로세서(1210)로 하여금 본 개시의 다양한 실시예들에 따른 동작/방법을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(1210)는 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예들에 따른 동작/방법들을 수행할 수 있다.
예를 들어, 컴퓨터 프로그램(1260)은 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 동작, 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 기초로 LTS를 산출하는 동작, LTS를 이용하여 암 환자 치료에 대한 반응성을 예측하는 동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 정보 처리 시스템(100)을 통해 본 개시의 몇몇 실시예들에 따른 암 환자 치료에 대한 반응성을 예측하는 시스템이 구현될 수 있다.
본 개시의 앞선 설명은 통상의 기술자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 통상의 기술자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에서 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
100: 정보 처리 시스템
110: 병리 슬라이드 이미지
200: 프로세서
210: 이미지 분석 모듈
220: LTS 산출 모듈
230: 반응성 예측 모듈
1210: 프로세서
1220: 메모리
1230: 버스
1240: 통신 인터페이스
1250: 저장 모듈
1260: 컴퓨터 프로그램

Claims (20)

  1. 적어도 하나의 프로세서에 의해 수행되는, 암 환자 치료에 대한 반응성을 예측하는 방법으로서,
    상기 암 환자의 병리 슬라이드 이미지를 획득하는 단계;
    상기 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계;
    상기 복수의 면역 세포에 대한 정보 및 상기 복수의 종양 세포에 대한 정보를 기초로 면역-종양 세포 상호작용 스코어(Lymphocyte & Tumor cell Interaction Score)를 산출하는 단계; 및
    상기 상호작용 스코어를 이용하여 상기 암 환자 치료에 대한 반응성을 예측하는 단계
    를 포함하는, 암 환자 치료에 대한 반응성을 예측하는 방법.
  2. 제1항에 있어서,
    상기 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계는,
    상기 복수의 면역 세포의 각각의 위치 및 상기 복수의 종양 세포의 각각의 위치를 결정하는 단계; 및
    상기 복수의 면역 세포의 각각이 배치된 조직 정보 및 상기 복수의 종양 세포의 각각이 배치된 조직 정보를 결정하는 단계를 포함하고,
    상기 면역-종양 세포 상호작용 스코어를 산출하는 단계는,
    특정 조직 정보에 속하는 복수의 면역 세포의 각각과 상기 특정 조직 정보에 속하는 복수의 종양 세포의 각각 사이의 거리를 산출하는 단계; 및
    상기 산출된 거리를 이용하여 상기 상호작용 스코어를 산출하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  3. 제2항에 있어서,
    상기 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하는 단계는,
    상기 복수의 면역 세포의 각각에 대한 특성 및 상기 복수의 종양 세포의 각각에 대한 특성을 결정하는 단계를 더 포함하고,
    상기 산출된 거리를 이용하여 상기 상호작용 스코어를 산출하는 단계는,
    상기 결정된 복수의 면역 세포의 각각에 대한 특성, 상기 복수의 종양 세포의 각각에 대한 특성 및 상기 산출된 거리를 이용하여 상기 상호작용 스코어를 산출하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  4. 제3항에 있어서,
    상기 복수의 면역 세포의 각각에 대한 특성 및 상기 복수의 종양 세포의 각각에 대한 특성을 결정하는 단계는,
    상기 복수의 면역 세포의 각각의 특성에 따른 가중치 및 상기 복수의 종양 세포의 각각에 대한 특성에 따른 가중치를 결정하는 단계를 포함하고,
    상기 결정된 복수의 면역 세포의 각각에 대한 특성, 상기 복수의 종양 세포의 각각에 대한 특성 및 상기 산출된 거리를 이용하여 상기 상호작용 스코어를 산출하는 단계는,
    상기 결정된 복수의 면역 세포의 각각의 특성에 따른 가중치, 상기 결정된 복수의 종양 세포의 각각에 대한 특성에 따른 가중치 및 상기 산출된 거리를 이용하여 상호작용 스코어를 산출하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  5. 제1항에 있어서,
    상기 상호작용 스코어를 산출하는 단계는,
    상기 산출된 거리 중에서, 상호작용과 연관된 미리 결정된 임계치 이하인 거리를 선택하는 단계; 및
    상기 선택된 거리를 이용하여 상기 상호작용 스코어를 산출하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  6. 제1항에 있어서,
    상기 상호작용 스코어를 산출하는 단계는,
    상기 산출된 거리가 더 가까울수록, 더 높은 상호작용 스코어를 결정하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  7. 제1항에 있어서,
    상기 상호작용 스코어를 이용하여 상기 암 환자 치료에 대한 반응성을 예측하는 단계는,
    상기 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 상기 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  8. 제7항에 있어서,
    상기 병리 슬라이드 이미지와 연관된 환자에 대한 임상 정보를 획득하는 단계를 더 포함하고,
    상기 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 상기 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계는,
    상기 획득된 임상 정보, 상기 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 상기 상호작용 스코어를 상기 반응성 예측을 위한 기계학습 모델에 입력하여, 상기 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  9. 제8항에 있어서,
    상기 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 상기 암 환자 치료에 대한 반응성을 나타내는 값을 출력하는 단계는,
    상기 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성을 정규화하는 단계를 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  10. 제7항에 있어서,
    상기 반응성 예측을 위한 기계학습 모델은 일반화된 리니어(generalized linear) 기계학습 모델 중 하나의 기계학습 모델을 포함하는,
    암 환자 치료에 대한 반응성을 예측하는 방법.
  11. 정보 처리 시스템에 있어서,
    하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
    상기 저장된 하나 이상의 인스트럭션들을 실행함으로써,
    암 환자의 병리 슬라이드 이미지를 획득하고, 상기 병리 슬라이드 이미지 내에 포함된 복수의 면역 세포에 대한 정보 및 복수의 종양 세포에 대한 정보를 결정하고, 상기 복수의 면역 세포에 대한 정보 및 상기 복수의 종양 세포에 대한 정보를 기초로 면역-종양 세포 상호작용 스코어를 산출하고, 상기 상호작용 스코어를 이용하여 상기 암 환자의 치료에 대한 반응성을 예측하도록 구성된 프로세서를 포함하는,
    정보 처리 시스템.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 면역 세포의 각각의 위치 및 상기 복수의 종양 세포의 각각의 위치를 결정하고, 상기 복수의 면역 세포의 각각이 배치된 조직 정보 및 상기 복수의 종양 세포의 각각이 배치된 조직 정보를 결정하고, 특정 조직 정보에 속하는 복수의 면역 세포의 각각과 상기 특정 조직 정보에 속하는 복수의 종양 세포의 각각 사이의 거리를 산출하고, 상기 산출된 거리를 이용하여 상기 상호작용 스코어를 산출하도록 더 구성되는,
    정보 처리 시스템.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 복수의 면역 세포의 각각에 대한 특성 및 상기 복수의 종양 세포의 각각에 대한 특성을 결정하고, 상기 결정된 복수의 면역 세포의 각각에 대한 특성, 상기 복수의 종양 세포의 각각에 대한 특성 및 상기 산출된 거리를 이용하여 상기 상호작용 스코어를 산출하도록 더 구성되는,
    정보 처리 시스템.
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 면역 세포의 각각의 특성에 따른 가중치 및 상기 복수의 종양 세포의 각각에 대한 특성에 따른 가중치를 결정하는 단계를 결정하고, 상기 결정된 복수의 면역 세포의 각각의 특성에 따른 가중치, 상기 결정된 복수의 종양 세포의 각각에 대한 특성에 따른 가중치 및 상기 산출된 거리를 이용하여 상호작용 스코어를 산출하도록 더 구성되는,
    정보 처리 시스템.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 산출된 거리 중에서, 상호작용과 연관된 미리 결정된 임계치 이하인 거리를 선택하고, 상기 선택된 거리를 이용하여 상기 상호작용 스코어를 산출하도록 더 구성되는,
    정보 처리 시스템.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 산출된 거리가 더 가까울수록, 더 높은 상호작용 스코어를 결정하도록 더 구성되는,
    정보 처리 시스템.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 상호작용 스코어를 반응성 예측을 위한 기계학습 모델에 입력하여, 상기 암 환자 치료에 대한 반응성을 나타내는 값을 출력하도록 더 구성되는,
    정보 처리 시스템.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 병리 슬라이드 이미지와 연관된 환자에 대한 임상 정보를 획득하고, 상기 획득된 임상 정보, 상기 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성 및 상기 상호작용 스코어를 상기 반응성 예측을 위한 기계학습 모델에 입력하여, 상기 암 환자 치료에 대한 반응성을 나타내는 값을 출력하도록 더 구성되는,
    정보 처리 시스템.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 병리 슬라이드 이미지 내의 세포, 조직 또는 구조 중 적어도 하나에 대한 특성을 정규화하도록 더 구성되는,
    정보 처리 시스템.
  20. 제17항에 있어서,
    상기 반응성 예측을 위한 기계학습 모델을 위한 기계학습 모델은 일반화된 리니어 기계학습 모델 중 하나의 기계학습 모델을 포함하는,
    정보 처리 시스템.
KR1020200148939A 2020-11-09 2020-11-09 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템 KR102511628B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200148939A KR102511628B1 (ko) 2020-11-09 2020-11-09 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템
EP21207007.2A EP3998586A1 (en) 2020-11-09 2021-11-08 Method and system for predicting responsiveness to therapy for cancer patient
US17/521,008 US20220145401A1 (en) 2020-11-09 2021-11-08 Method and system for predicting responsiveness to therapy for cancer patient
KR1020230033546A KR102657599B1 (ko) 2020-11-09 2023-03-14 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200148939A KR102511628B1 (ko) 2020-11-09 2020-11-09 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230033546A Division KR102657599B1 (ko) 2020-11-09 2023-03-14 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220063052A KR20220063052A (ko) 2022-05-17
KR102511628B1 true KR102511628B1 (ko) 2023-03-20

Family

ID=78592541

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200148939A KR102511628B1 (ko) 2020-11-09 2020-11-09 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템
KR1020230033546A KR102657599B1 (ko) 2020-11-09 2023-03-14 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230033546A KR102657599B1 (ko) 2020-11-09 2023-03-14 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템

Country Status (3)

Country Link
US (1) US20220145401A1 (ko)
EP (1) EP3998586A1 (ko)
KR (2) KR102511628B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575989A (zh) * 2023-10-19 2024-02-20 广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院） 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102216725B1 (ko) * 2017-12-29 2021-02-17 연세대학교 산학협력단 면역 항암 요법에 대한 치료 반응 예측 방법
KR102205612B1 (ko) * 2018-04-13 2021-01-21 주식회사 셀바스에이아이 암 영역의 예측 방법 및 이를 이용한 암 영역의 예측 디바이스
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
WO2020083970A1 (en) * 2018-10-23 2020-04-30 Hoffmann-La Roche Inc. Distance-based tissue state determination

Also Published As

Publication number Publication date
KR102657599B1 (ko) 2024-04-15
US20220145401A1 (en) 2022-05-12
EP3998586A1 (en) 2022-05-18
KR20230040973A (ko) 2023-03-23
KR20220063052A (ko) 2022-05-17

Similar Documents

Publication Publication Date Title
Ker et al. Automated brain histology classification using machine learning
US10748040B2 (en) System and method for automatic assessment of cancer
Ke et al. A neuro-heuristic approach for recognition of lung diseases from X-ray images
Devarriya et al. Unbalanced breast cancer data classification using novel fitness functions in genetic programming
Jerlin Rubini et al. Efficient classification of chronic kidney disease by using multi‐kernel support vector machine and fruit fly optimization algorithm
Liang et al. CNN-based image analysis for malaria diagnosis
Mandal et al. Cancer classification using neural network
KR102628046B1 (ko) 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
KR20240015696A (ko) 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
US11710552B2 (en) Method and system for refining label information
KR102657599B1 (ko) 암 환자 치료에 대한 반응성을 예측하기 위한 방법 및 시스템
Singh et al. Cancer detection using adaptive neural network
Avanija et al. Skin Cancer Detection using Ensemble Learning
izza Rufaida et al. Residual convolutional neural network for diabetic retinopathy
US20220036549A1 (en) Method and apparatus for providing information associated with immune phenotypes for pathology slide image
Meshram et al. MCBM: Implementation Of Multiclass And Transfer Learning Algorithm Based On Deep Learning Model For Early Detection Of Diabetic Retinopathy
Donepudi et al. Brain Metastasis Tumor Detection using Image Segmentation and VGG16 Architecture
Carnimeo et al. On classifying diabetic patients’ with proliferative retinopathies via a radial basis probabilistic neural network
Ramakrishnan et al. Automated lung cancer nodule detection
Lee et al. Using pattern recognition and discriminant analysis of functional perfusion data to create “angioprints” for normal and perturbed angiogenic microvascular networks
Kalyani et al. Medical Image Processing from Large Datasets Using Deep Learning
Maithili et al. Neural networks towards medical diagnosis
Kregnes Myocardial segmentation in lge-cmr images using deep neural networks
Gebeyehu DEEP LEARNING BASED CERVICAL CANCER DISEASE DETECTION AND CLASSIFICATION MODEL
Radiah et al. Explainable AI (XAI) driven skin cancer detection using transformer and CNN based architecture

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant