KR102569285B1 - Method and system for training machine learning model for detecting abnormal region in pathological slide image - Google Patents

Method and system for training machine learning model for detecting abnormal region in pathological slide image Download PDF

Info

Publication number
KR102569285B1
KR102569285B1 KR1020210120991A KR20210120991A KR102569285B1 KR 102569285 B1 KR102569285 B1 KR 102569285B1 KR 1020210120991 A KR1020210120991 A KR 1020210120991A KR 20210120991 A KR20210120991 A KR 20210120991A KR 102569285 B1 KR102569285 B1 KR 102569285B1
Authority
KR
South Korea
Prior art keywords
region
pathology slide
abnormal
image
regions
Prior art date
Application number
KR1020210120991A
Other languages
Korean (ko)
Other versions
KR20220118287A (en
Inventor
유동근
엄재홍
마민욱
류정운
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to US17/550,034 priority Critical patent/US20220262513A1/en
Publication of KR20220118287A publication Critical patent/KR20220118287A/en
Application granted granted Critical
Publication of KR102569285B1 publication Critical patent/KR102569285B1/en

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법에 관한 것이다. 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법은, 하나 이상의 제1 병리 슬라이드 이미지를 수신하는 단계, 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하는 단계, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하는 단계, 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하는 단계 및 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성하는 단계를 포함한다.The present disclosure relates to a method of training a machine learning model for detecting abnormal regions in pathology slide images. A method of learning a machine learning model for detecting an abnormal region in a pathology slide image includes receiving one or more first pathology slide images, an abnormal condition indicating a condition of an abnormal region from the received one or more first pathology slide images. Determining a normal region based on, generating a first set of learning data including the determined normal region, performing image processing that satisfies an abnormality condition on at least some regions in the received one or more first pathology slide images. By doing so, generating an abnormal region and generating a second set of training data including the generated abnormal region.

Description

병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법 및 시스템{METHOD AND SYSTEM FOR TRAINING MACHINE LEARNING MODEL FOR DETECTING ABNORMAL REGION IN PATHOLOGICAL SLIDE IMAGE}Method and system for learning a machine learning model for detecting an abnormal region in a pathology slide image

본 개시는 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법 및 시스템에 관한 것으로, 구체적으로, 학습 데이터를 생성하여 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법 및 시스템에 관한 것이다.The present disclosure relates to a method and system for training a machine learning model for detecting abnormal regions in a pathology slide image, and specifically, to a method and system for training a machine learning model for detecting abnormal regions by generating training data. it's about

환자의 병리 슬라이드 이미지(pathological slide image)를 이용하여 해당 환자의 조직학적 정보를 획득하거나 예후를 예측하는 등의 기술이 개발되고 있다. 예를 들어, 병리 슬라이드 이미지로부터 환자에 관한 다양한 정보를 추출하거나 예측하기 위한 분석 알고리즘 등이 개발되고 있다. 그러나, 병리 슬라이드 이미지 상에 오류가 발생한 경우, 분석 알고리즘 등의 성능이 저하될 수 있으며, 이에 따라, 환자에 관한 정보가 잘못 추출되거나 예측될 수 있다. 따라서, 병리 슬라이드 이미지 상에서 오류에 해당하는 영역을 미리 걸러내고 정상 영역만을 이용하여 분석 알고리즘 등을 생성할 필요가 있다. 나아가, 병리 슬라이드 이미지 상에 포함된 관심 영역을 검출하기 위한 알고리즘이 요구된다. Techniques such as obtaining histological information of a patient or predicting a prognosis using a patient's pathological slide image are being developed. For example, an analysis algorithm for extracting or predicting various information about a patient from a pathology slide image is being developed. However, if an error occurs on the pathology slide image, performance of an analysis algorithm or the like may deteriorate, and accordingly, information about a patient may be erroneously extracted or predicted. Therefore, it is necessary to pre-filter regions corresponding to errors on the pathology slide image and create an analysis algorithm or the like using only normal regions. Furthermore, an algorithm for detecting a region of interest included on a pathology slide image is desired.

한편, 병리 슬라이드 이미지 상에 오류가 발생했는지 여부를 사람이 직접 판단하는 것은 쉽지 않다. 구체적으로, 병리 슬라이드 이미지 상에 발생 가능한 오류는 극소수에 불과하기 때문에 사람이 오류에 해당하는 영역을 직접 레이블링하는 것은 어렵다. 따라서, 병리 슬라이드 이미지 상에 오류를 검출하기 위한 기계학습 모델이 요구된다.Meanwhile, it is not easy for a person to directly determine whether an error has occurred on the pathology slide image. Specifically, since errors that can occur on a pathology slide image are very few, it is difficult for a person to directly label a region corresponding to an error. Therefore, a machine learning model for detecting errors on pathology slide images is needed.

본 개시는 상기와 같은 문제점을 해결하기 위한 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법, 기록매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다.The present disclosure provides a method for learning a machine learning model for detecting an abnormal region in a pathology slide image, a computer program stored in a recording medium, and an apparatus (system) to solve the above problems.

또한, 본 개시는 상기와 같은 문제점을 해결하기 위한 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법, 기록매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다.In addition, the present disclosure provides a method for detecting an abnormal region in a pathology slide image, a computer program stored in a recording medium, and an apparatus (system) to solve the above problems.

본 개시는 방법, 시스템(장치) 또는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램, 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 포함한 다양한 방식으로 구현될 수 있다.The present disclosure may be implemented in a variety of ways, including a method, system (device) or computer program stored on a computer readable storage medium, and a computer readable storage medium on which the computer program is stored.

본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 실행되는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법은, 하나 이상의 제1 병리 슬라이드 이미지를 수신하는 단계, 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하는 단계, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하는 단계, 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하는 단계 및 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, a method for learning a machine learning model for detecting an abnormal region in a pathology slide image, executed by at least one processor, includes receiving one or more first pathology slide images; Determining a normal region based on an abnormal condition representing a condition of an abnormal region, from one or more first pathology slide images obtained from the image, generating a first set of training data including the determined normal region, and receiving one or more first pathology slide images. 1 generating an abnormal region by performing image processing that meets an abnormality condition on at least some regions in the pathology slide image, and generating a second set of training data including the generated abnormal region.

본 개시의 일 실시예에 따르면, 생성된 제1 세트의 학습 데이터 및 생성된 제2 세트의 학습 데이터를 이용하여 하나 이상의 제1 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 단계를 더 포함한다.According to an embodiment of the present disclosure, training a machine learning model for detecting an abnormal region in one or more first pathology slide images using the generated first set of training data and the generated second set of training data. more includes

본 개시의 일 실시예에 따르면, 기계학습 모델은, 병리 슬라이드 이미지 내의 하나 이상의 영역에 대한 이상 정도를 나타내는 이상 점수를 출력하도록 더 학습된다. 방법은, 하나 이상의 제2 병리 슬라이드 이미지를 수신하는 단계, 수신된 하나 이상의 제2 병리 슬라이드 이미지에 포함된 복수의 영역을 학습된 기계학습 모델에 입력하여, 복수의 영역에 대한 이상 점수를 출력하는 단계, 출력된 이상 점수를 기초로, 복수의 영역 중 적어도 일부를 추출하는 단계 및 추출된 복수의 영역 중 적어도 일부를 제2 세트의 학습 데이터에 포함시키는 단계를 포함한다.According to an embodiment of the present disclosure, the machine learning model is further trained to output an abnormality score representing an abnormality degree for one or more regions in the pathology slide image. The method includes receiving one or more second pathology slide images, inputting a plurality of regions included in the received one or more second pathology slide images into a learned machine learning model, and outputting abnormality scores for the plurality of regions. The method includes extracting at least some of the plurality of regions based on the output abnormality score, and including at least some of the extracted regions in a second set of training data.

본 개시의 일 실시예에 따르면, 이상 조건은 복수의 이상 조건을 포함한다. 이상 영역을 생성하는 단계는, 복수의 이상 조건 중 하나 이상의 조건을 무작위로 선택하는 단계 및 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 무작위로 선택된 하나 이상의 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하는 단계를 포함한다.According to an embodiment of the present disclosure, the abnormal condition includes a plurality of abnormal conditions. The generating of the abnormal area may include randomly selecting one or more conditions from among a plurality of abnormal conditions and performing image processing that meets the one or more randomly selected conditions on at least some areas in the received one or more first pathology slide images. By doing so, a step of generating an abnormal area is included.

본 개시의 일 실시예에 따르면, 제1 세트의 학습 데이터를 생성하는 단계는, 사용자 입력에 응답하여, 정상 영역을 나타내는 레이블을 수신하는 단계 및 수신된 레이블 및 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하는 단계를 포함한다.According to an embodiment of the present disclosure, generating a first set of training data includes receiving a label representing a normal region in response to a user input, and a first set including the received label and the normal region. and generating learning data.

본 개시의 일 실시예에 따르면, 이상 영역을 생성하는 단계는, 하나 이상의 제1 병리 슬라이드 이미지의 내의 적어도 일부 영역에 블러 커널을 적용함으로써, 이상 영역을 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, generating the abnormal region includes generating the abnormal region by applying a blur kernel to at least some regions within one or more first pathology slide images.

본 개시의 일 실시예에 따르면, 이상 영역을 생성하는 단계는, 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 색변환 함수를 적용함으로써, 이상 영역을 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, generating the abnormal region includes generating the abnormal region by applying a color conversion function to at least some regions in one or more first pathology slide images.

본 개시의 일 실시예에 따르면, 이상 영역을 생성하는 단계는, 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 특정 색상 또는 특정 밝기 중 적어도 하나를 적용함으로써, 이상 영역을 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, the generating of the abnormal region includes generating the abnormal region by applying at least one of a specific color or a specific brightness to at least some regions in one or more first pathology slide images. .

본 개시의 일 실시예에 따르면, 이상 영역을 생성하는 단계는, 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 도형을 삽입합으로써, 이상 영역을 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, the generating of the abnormal region includes generating the abnormal region by inserting figures into at least some regions of one or more first pathology slide images.

본 개시의 일 실시예에 따르면, 이상 영역을 생성하는 단계는, 하나 이상의 제1 병리 슬라이드 이미지의 적어도 일부 영역을 제1 부분 영역 및 제2 부분 영역으로 분할하는 단계 및 제1 부분 영역의 일부를 제2 부분 영역의 일부와 중첩함으로써 이상 영역을 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, the generating of the abnormal region may include dividing at least a partial region of one or more first pathology slide images into a first partial region and a second partial region, and a part of the first partial region. and generating an abnormal region by overlapping a portion of the second partial region.

본 개시의 일 실시예에 따르면, 이상 영역을 생성하는 단계는, 하나 이상의 제1 병리 슬라이드 이미지의 적어도 일부 영역을 복수의 부분 영역으로 분할하는 단계, 분할된 복수의 부분 영역의 각각의 위치, 모양, 크기 또는 각도 중 적어도 하나가 변경된 영역을 포함한 이미지를 생성하는 단계 및 생성된 이미지를 결합함으로써, 이상 영역을 생성하는 단계를 포함한다.According to one embodiment of the present disclosure, the generating of the abnormal region may include dividing at least a partial region of one or more first pathology slide images into a plurality of partial regions, positions and shapes of each of the plurality of divided partial regions. generating an image including a region in which at least one of , size, or angle is changed, and generating an abnormal region by combining the generated images.

본 개시의 다른 실시예에 따르면, 적어도 하나의 프로세서에 의해 실행되는 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법은, 하나 이상의 병리 슬라이드 이미지를 수신하는 단계 및 기계학습 모델을 이용하여 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출하는 단계를 포함한다. 기계학습 모델은, 참조 병리 슬라이드 이미지로부터 추출된 복수의 정상 영역 및 참조 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성된 복수의 이상 영역을 이용하여, 수신된 참조 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습된다.According to another embodiment of the present disclosure, a method for detecting an abnormal region in a pathology slide image executed by at least one processor includes receiving one or more pathology slide images and using a machine learning model to detect the received one or more pathology slide images. and detecting an abnormal region in the slide image that satisfies an abnormal condition. The machine learning model uses a plurality of normal regions extracted from a reference pathology slide image and a plurality of abnormal regions generated by performing image processing that meets an abnormality condition on at least some regions in the reference pathology slide image, and uses the received reference pathology slide image. It is trained to detect abnormal areas in slide images.

본 개시의 일 실시예에 따르면, 기계학습 모델은, 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하도록 구성된 분류기를 포함한다.According to an embodiment of the present disclosure, the machine learning model includes a classifier configured to determine whether at least some regions in one or more pathology slide images correspond to normal regions or abnormal regions.

본 개시의 일 실시예에 따르면, 기계학습 모델은, 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 포함된 복수의 픽셀이 정상 영역인지 이상 영역인지 출력하도록 구성된 세그멘테이션 모델을 포함한다.According to an embodiment of the present disclosure, the machine learning model includes a segmentation model configured to output whether a plurality of pixels included in at least some regions of one or more pathology slide images are normal regions or abnormal regions.

본 개시의 일 실시예에 따른 상술된 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공된다.A computer program stored in a computer-readable recording medium is provided to execute the above-described method in a computer according to an embodiment of the present disclosure.

본 개시의 다른 실시예에 따른 정보 처리 시스템은, 하나 이상의 인스트럭션을 저장하는 메모리 및 저장된 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 제1 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하고, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하고, 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성하도록 구성된 프로세서를 포함한다.An information processing system according to another embodiment of the present disclosure may receive one or more first pathology slide images by executing a memory storing one or more instructions and the stored one or more instructions, and from the one or more first pathology slide images received. , Determining a normal region based on the abnormal condition indicating the condition of the abnormal region, generating a first set of training data including the determined normal region, and assigning at least some regions in the received one or more first pathology slide images the abnormal condition and a processor configured to generate an anomaly region by performing image processing consistent with, and to generate a second set of training data including the generated anomaly region.

본 개시의 또 다른 실시예에 따른 정보 처리 시스템은, 하나 이상의 인스트럭션을 저장하는 메모리 및 저장된 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 병리 슬라이드 이미지를 수신하고, 기계학습 모델을 이용하여 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출하도록 구성된 프로세서를 포함한다. 기계학습 모델은, 참조 병리 슬라이드 이미지로부터 추출된 복수의 정상 영역 및 참조 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성된 복수의 이상 영역을 이용하여, 수신된 참조 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습된다.An information processing system according to another embodiment of the present disclosure may receive one or more pathology slide images by executing a memory for storing one or more instructions and one or more stored instructions, and using a machine learning model to receive one or more pathology slide images. and a processor configured to detect an anomaly area in the slide image that satisfies an anomaly condition. The machine learning model uses a plurality of normal regions extracted from a reference pathology slide image and a plurality of abnormal regions generated by performing image processing that meets an abnormality condition on at least some regions in the reference pathology slide image, and uses the received reference pathology slide image. It is trained to detect abnormal areas in slide images.

본 개시의 일부 실시예에 따르면, 사용자는 병리 슬라이드 이미지를 확인하고, 해당 이미지에 오류 정보가 포함되어 있는지 여부를 직접 결정하지 않고도, 정보 처리 시스템을 통해 병리 슬라이드 이미지 내의 이상 영역을 간단히 확인할 수 있다.According to some embodiments of the present disclosure, a user may simply check an abnormal region in a pathology slide image through an information processing system without checking a pathology slide image and directly determining whether or not error information is included in the corresponding image. .

본 개시의 일부 실시예에 따르면, 사용자는 학습 데이터가 기계학습 모델을 학습시키기에 충분하지 않은 경우에도, 이상 조건 등을 이용하여 학습 데이터를 직접 생성함으로써, 기계학습 모델이 효과적으로 학습될 수 있다.According to some embodiments of the present disclosure, even when the learning data is not sufficient to train the machine learning model, the machine learning model can be effectively learned by the user directly generating learning data using an abnormal condition.

본 개시의 일부 실시예에 따르면, 추론된 정보와 실제 정보의 차이가 적은 데이터들을 이용하여 기계학습 모델을 반복적으로 추가 학습시킴으로써, 기계학습 모델의 성능을 지속적으로 향상시킬 수 있다.According to some embodiments of the present disclosure, the performance of the machine learning model can be continuously improved by iteratively additionally learning the machine learning model using data having a small difference between the inferred information and the actual information.

본 개시의 일부 실시예에 따르면, 병리 슬라이드 이미지 내에서 배경 영역, 마커로 그려진 영역, reference 조직 영역 등의 불필요한 영역을 제외한 관심 영역이 분석 대상으로 추출되기 때문에, 병리 슬라이드 이미지를 분석하는데 필요한 계산량 및/또는 걸리는 시간을 줄일 수 있다. According to some embodiments of the present disclosure, since a region of interest excluding unnecessary regions such as a background region, a region drawn with a marker, and a reference tissue region in a pathology slide image is extracted as an analysis target, the amount of calculation required to analyze the pathology slide image and /or reduce the time it takes.

본 개시의 일부 실시예에 따르면, 추출된 ROI를 분석 대상으로 삼기 때문에, 분석에 따른 예측 결과의 정확성이 더욱 향상될 수 있다.According to some embodiments of the present disclosure, since the extracted ROI is used as an analysis target, accuracy of a prediction result according to the analysis may be further improved.

본 개시의 일부 실시예에 따르면, 병리 슬라이드 이미지(에: IHC로 염색된 이미지) 내에 포함된 reference 조직에 대한 영역이 제외되기 때문에, 병리 슬라이드 이미지와 연관된 환자에 대한 분석 및/또는 예측하는데 있어 발생될 수 있는 오류가 없어지거나 최소화될 수 있다. According to some embodiments of the present disclosure, since the region for the reference tissue included in the pathology slide image (e.g., the image stained with IHC) is excluded, occurrences in analyzing and/or predicting the patient associated with the pathology slide image Possible errors can be eliminated or minimized.

본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자("통상의 기술자"라 함)에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned are clear to those skilled in the art (referred to as "ordinary technicians") from the description of the claims. will be understandable.

본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역에 대한 정보를 제공하는 정보 처리 시스템을 나타내는 예시적인 구성도이다.
도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 프로세서의 내부 구성을 나타내는 기능적인 블록도이다.
도 4는 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 기계학습 모델의 예시를 나타내는 도면이다.
도 6은 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 학습 데이터 생성 방법을 나타내는 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 초점이 어긋난 병리 슬라이드 이미지의 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 염색 이상이 발생한 병리 슬라이드 이미지의 예시를 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 이물질을 포함하고, 분석 대상 조직이 없는 병리 슬라이드 이미지의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 조직 접힘 현상이 발생한 병리 슬라이드 이미지의 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 틸팅 효과가 발생한 병리 슬라이드 이미지의 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 기계학습 모델의 학습 방법을 나타내는 흐름도이다.
도 13는 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 관심 영역을 검출하는 방법을 나타내는 흐름도이다.
도 14는 다른 실시예에 따른 기계학습 모델의 예시를 나타낸 도면이다.
도 15는 병리 슬라이드 이미지에서 기준 조직이 제외된 이미지의 예시를 보여주는 도면이다.
도 16은 기계학습 모델을 통해 추출된 병리 슬라이드 이미지의 특징을 이용하여 관심 영역이 추출되는 방법의 예시를 나타내는 도면이다.
도 17은 병리 슬라이드 이미지에 대한 어노테이션 정보 및 병리 슬라이드 이미지의 검출된 조직 영역을 이용하여 병리 슬라이드 이미지 내의 관심 영역을 검출하는 방법의 예시를 나타내는 도면이다.
도 18는 본 개시의 일 실시예에 따른 인공신경망 모델을 나타내는 예시도이다.
도 19는 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역 검출과 연관된 임의의 컴퓨팅 장치의 구성도이다.Embodiments of the present disclosure will be described with reference to the accompanying drawings described below, wherein like reference numbers indicate like elements, but are not limited thereto.
1 is an exemplary configuration diagram illustrating an information processing system providing information on an abnormal region in a pathology slide image according to an embodiment of the present disclosure.
2 is a block diagram showing the internal configuration of an information processing system according to an embodiment of the present disclosure.
3 is a functional block diagram showing the internal configuration of a processor according to an embodiment of the present disclosure.
4 is a flowchart illustrating a method of detecting an abnormal region in a pathology slide image according to an embodiment of the present disclosure.
5 is a diagram illustrating an example of a machine learning model according to an embodiment of the present disclosure.
6 is a flowchart illustrating a method of generating learning data for detecting an abnormal region in a pathology slide image according to an embodiment of the present disclosure.
7 is a diagram illustrating an example of an out-of-focus pathology slide image according to an embodiment of the present disclosure.
8 is a view showing an example of a pathology slide image in which a staining abnormality occurs according to an embodiment of the present disclosure.
9 is a diagram illustrating an example of a pathology slide image including a foreign material and no tissue to be analyzed, according to an embodiment of the present disclosure.
10 is a diagram illustrating an example of a pathology slide image in which tissue folding occurs according to an embodiment of the present disclosure.
11 is a diagram illustrating an example of a pathology slide image in which a tilting effect occurs according to an embodiment of the present disclosure.
12 is a flowchart illustrating a learning method of a machine learning model according to an embodiment of the present disclosure.
13 is a flowchart illustrating a method of detecting a region of interest in a pathology slide image according to an embodiment of the present disclosure.
14 is a diagram illustrating an example of a machine learning model according to another embodiment.
15 is a view showing an example of an image from which a reference tissue is excluded from a pathology slide image.
16 is a diagram illustrating an example of a method of extracting a region of interest using features of a pathology slide image extracted through a machine learning model.
17 is a diagram illustrating an example of a method of detecting a region of interest in a pathology slide image using annotation information on the pathology slide image and a detected tissue region of the pathology slide image.
18 is an exemplary diagram illustrating an artificial neural network model according to an embodiment of the present disclosure.
19 is a configuration diagram of an arbitrary computing device associated with detecting an abnormal region in a pathology slide image according to an embodiment of the present disclosure.

이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.Hereinafter, specific details for the implementation of the present disclosure will be described in detail with reference to the accompanying drawings. However, in the following description, if there is a risk of unnecessarily obscuring the gist of the present disclosure, detailed descriptions of well-known functions or configurations will be omitted.

첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.In the accompanying drawings, identical or corresponding elements are given the same reference numerals. In addition, in the description of the following embodiments, overlapping descriptions of the same or corresponding components may be omitted. However, omission of a description of a component does not intend that such a component is not included in an embodiment.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.Advantages and features of the disclosed embodiments, and methods of achieving them, will become apparent with reference to the following embodiments in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms, but only the present embodiments make the present disclosure complete, and the present disclosure does not extend the scope of the invention to those skilled in the art. It is provided only for complete information.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in this specification will be briefly described, and the disclosed embodiments will be described in detail. The terms used in this specification have been selected from general terms that are currently widely used as much as possible while considering the functions in the present disclosure, but they may vary according to the intention of a person skilled in the related field, a precedent, or the emergence of new technologies. In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present disclosure should be defined based on the meaning of the terms and the general content of the present disclosure, not simply the names of the terms.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.Expressions in the singular number in this specification include plural expressions unless the context clearly dictates that they are singular. Also, plural expressions include singular expressions unless the context clearly specifies that they are plural. When it is said that a certain part includes a certain component in the entire specification, this means that it may further include other components without excluding other components unless otherwise stated.

또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.Also, the term 'module' or 'unit' used in the specification means a software or hardware component, and the 'module' or 'unit' performs certain roles. However, 'module' or 'unit' is not meant to be limited to software or hardware. A 'module' or 'unit' may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. Thus, as an example, a 'module' or 'unit' includes components such as software components, object-oriented software components, class components, and task components, processes, functions, and attributes. , procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, or variables. Functions provided within components and 'modules' or 'units' may be combined into a smaller number of components and 'modules' or 'units', or further components and 'modules' or 'units'. can be further separated.

본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.According to one embodiment of the present disclosure, a 'module' or 'unit' may be implemented with a processor and a memory. 'Processor' should be interpreted broadly to include general-purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like. In some circumstances, 'processor' may refer to an application specific integrated circuit (ASIC), programmable logic device (PLD), field programmable gate array (FPGA), or the like. 'Processor' refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in conjunction with a DSP core, or a combination of any other such configurations. You may. Also, 'memory' should be interpreted broadly to include any electronic component capable of storing electronic information. 'Memory' includes random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), programmable read-only memory (PROM), erasable-programmable read-only memory (EPROM), It may also refer to various types of processor-readable media, such as electrically erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, and the like. A memory is said to be in electronic communication with the processor if the processor can read information from and/or write information to the memory. Memory integrated with the processor is in electronic communication with the processor.

본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.In the present disclosure, a 'system' may include at least one of a server device and a cloud device, but is not limited thereto. For example, a system may consist of one or more server devices. As another example, a system may consist of one or more cloud devices. As another example, the system may be operated by configuring a server device and a cloud device together.

본 개시에서, '디스플레이'는 컴퓨팅 장치 및/또는 정보 처리 시스템과 연관된 임의의 디스플레이 장치를 지칭할 수 있는데, 예를 들어, 컴퓨팅 장치에 의해 제어되거나 컴퓨팅 장치로부터 제공된 임의의 정보/데이터를 표시할 수 있는 임의의 디스플레이 장치를 지칭할 수 있다.In this disclosure, 'display' may refer to any display device associated with a computing device and/or information processing system, eg, capable of displaying any information/data controlled by or provided from a computing device. It may refer to any display device that can be displayed.

본 개시에서, '인공신경망 모델'은 기계학습 모델의 일 예로서, 주어진 입력에 대한 답을 추론하는 데 사용하는 임의의 모델을 포함할 수 있다. 일 실시예에 따르면, 인공신경망 모델은 입력 레이어(층), 복수 개의 은닉 레이어 및 출력 레이어를 포함한 인공신경망 모델을 포함할 수 있다. 여기서, 각 레이어는 하나 이상의 노드를 포함할 수 있다. 또한, 인공신경망 모델은 인공신경망 모델에 포함된 복수의 노드와 연관된 가중치를 포함할 수 있다. 여기서, 가중치는 인공신경망 모델과 연관된 임의의 파라미터를 포함할 수 있다.In the present disclosure, an 'artificial neural network model' is an example of a machine learning model, and may include any model used to infer an answer to a given input. According to one embodiment, the artificial neural network model may include an artificial neural network model including an input layer (layer), a plurality of hidden layers, and an output layer. Here, each layer may include one or more nodes. In addition, the artificial neural network model may include weights associated with a plurality of nodes included in the artificial neural network model. Here, the weight may include any parameter related to the artificial neural network model.

본 개시에서, '병리 슬라이드 이미지'는 인체에서 떼어낸 조직 등을 현미경으로 관찰하기 위해 일련의 화학적 처리과정을 거쳐 고정 및 염색된 병리 슬라이드를 촬영한 이미지를 지칭할 수 있다. 여기서, 병리 슬라이드 이미지는 전체 슬라이드에 대한 고해상도의 이미지를 포함하는 전체 슬라이드 이미지(whole slide image)를 지칭할 수 있다. 이와 달리, 병리 슬라이드 이미지는, 이러한 고해상도의 전체 슬라이드 이미지의 일부를 지칭할 수 있다, 예를 들어, 병리 슬라이드 이미지는, 전체 슬라이드 이미지에서 패치 단위로 분할된 패치 영역을 지칭할 수 있다. 이러한 패치는 일정한 영역의 크기를 가질 수 있다. 이와 달리, 이러한 패치는 전체 슬라이드 내의 포함된 객체의 각각을 포함하는 영역을 지칭할 수 있다. 또한, 병리 슬라이드 이미지는 현미경을 이용하여 촬영된 디지털 이미지를 지칭할 수 있으며, 인체 내의 세포(cell), 조직(tissue) 및/또는 구조(structure)에 대한 정보를 포함할 수 있다.In the present disclosure, a 'pathology slide image' may refer to an image of a pathology slide that has been fixed and stained through a series of chemical treatments in order to observe tissues removed from a human body under a microscope. Here, the pathology slide image may refer to a whole slide image including a high-resolution image of the entire slide. Alternatively, the pathology slide image may refer to a part of the entire slide image with high resolution. For example, the pathology slide image may refer to a patch region divided in patch units from the entire slide image. These patches may have the size of a certain area. Alternatively, such a patch may refer to an area containing each of the included objects within the entire slide. Also, the pathology slide image may refer to a digital image taken using a microscope, and may include information about cells, tissues, and/or structures in the human body.

본 개시에서, '이상 영역(abnormal region)'은 병리 슬라이드 이미지 내에 포함된 영역 중 환자의 병변 등을 판단하는데 부적절한 오류 정보가 포함된 영역을 지칭할 수 있다. 또한, 정상 영역은 병리 슬라이드 이미지 내에 포함된 영역 중 이상 영역을 제외한 나머지 영역일 수 있다. 예를 들어, 이상 영역은 초점이 맞지 않아 해상도가 낮은 영역, 염색이 잘못된 영역, 이물질이 포함된 영역, 조직이 없는 영역, 조직이 접힌 영역, 위치가 변형되거나 회전된 영역 등을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 이상 영역은 병리 슬라이드 이미지 내에 포함된 영역 중에서 대상 환자의 조직과 연관되지 않은 영역을 지칭할 수 있다. 예를 들어, 이상 영역은 병리 슬라이드 이미지 내의 배경 영역, 기준 조직, 마커로 표시된 영역 등을 포함할 수 있으나, 이에 한정되지 않는다. In the present disclosure, an 'abnormal region' may refer to a region including error information inappropriate for determining a patient's lesion among regions included in a pathology slide image. Also, the normal region may be a region other than the abnormal region among regions included in the pathology slide image. For example, the abnormal region may include an out-of-focus region with low resolution, a region with incorrect staining, a region containing foreign matter, a region without tissue, a region with folded tissue, and a region whose position is deformed or rotated. , but not limited thereto. Also, the abnormal region may refer to a region not associated with a tissue of a target patient among regions included in the pathology slide image. For example, the abnormal region may include, but is not limited to, a background region in a pathology slide image, a reference tissue, and a region marked with a marker.

본 개시에서, '이상 조건(abnormality condition)'은 병리 슬라이드 이미지에 포함된 특정 영역이 오류 정보를 포함하는 이상 영역을 포함하는지 판단하는 기준이 되는 조건을 지칭할 수 있다. 또한, 이상 조건은 병리 슬라이드 이미지 내에 포함된 특정 영역이 대상 환자의 조직과 연관되지 않은 영역인지 판단하는 기준이 되는 조건을 지칭할 수 있다. 이상 조건은 복수의 이상 조건을 포함할 수 있으며, 복수의 이상 조건 중 적어도 하나의 조건을 만족하는 병리 슬라이드 이미지의 영역은 이상 영역으로 결정될 수 있다.In the present disclosure, an 'abnormality condition' may refer to a criterion for determining whether a specific region included in a pathology slide image includes an abnormal region including error information. In addition, the abnormal condition may refer to a criterion for determining whether a specific region included in the pathology slide image is not associated with a tissue of a target patient. The abnormal condition may include a plurality of abnormal conditions, and an area of the pathology slide image that satisfies at least one of the plurality of abnormal conditions may be determined as an abnormal area.

본 개시에서, '도형'은 임의의 점, 선(곡선), 면, 체 및/또는 그것들의 집합을 지칭할 수 있다.In the present disclosure, a 'figure' may refer to any point, line (curve), plane, body, and/or a set thereof.

본 개시에서, '복수의 A의 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다. 예를 들어, 복수의 부분 영역의 각각은, 복수의 부분 영역에 포함된 모든 부분 영역의 각각을 지칭하거나, 복수의 부분 영역 중 일부 부분 영역을 지칭할 수 있다. In the present disclosure, 'each of a plurality of A' may refer to each of all components included in a plurality of A's, or each of some components included in a plurality of A's. For example, each of the plurality of partial regions may refer to each of all partial regions included in the plurality of partial regions or may refer to some partial regions among the plurality of partial regions.

본 개시에서, '인스트럭션(instruction)'이란, 기능을 기준으로 묶인 하나 이상의 명령어들로서, 컴퓨터 프로그램의 구성 요소이자 프로세서에 의해 실행되는 것을 지칭할 수 있다.In the present disclosure, 'instruction', as one or more instructions grouped on the basis of function, may refer to a component of a computer program and executed by a processor.

도 1은 본 개시의 일 실시예에 따른 병리 슬라이드 이미지(150) 내의 이상 영역에 대한 정보를 제공하는 정보 처리 시스템(120)을 나타내는 예시적인 구성도이다. 도시된 바와 같이, 정보 처리 시스템(120)은 사용자 단말(130) 및 저장 시스템(110)의 각각과 연결되어 통신 가능하도록 구성될 수 있다. 도 1에서는 하나의 사용자 단말(130)이 도시되어 있으나, 이에 한정되지 않으며, 복수의 사용자 단말(130)이 정보 처리 시스템(120)과 연결되어 통신되도록 구성될 수 있다. 또한, 도 1에서는 정보 처리 시스템(120)이 하나의 컴퓨팅 장치로서 도시되어 있으나, 이에 한정되지 않으며, 정보 처리 시스템(120)은 복수의 컴퓨팅 장치를 통해 정보 및/또는 데이터를 분산 처리하도록 구성될 수 있다. 또한, 도 1에서는 저장 시스템(110)이 하나의 장치로서 도시되어 있으나, 이에 한정되지 않으며, 복수의 저장 장치로 구성되거나 클라우드(cloud)를 지원하는 시스템으로 구성될 수 있다. 또한, 도 1에서는 병리 슬라이드 이미지(150) 내의 이상 영역(152)에 대한 정보를 제공하는 시스템의 각각의 구성요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로, 복수의 구성 요소가 실제 물리적 환경에서 서로 통합되는 형태로 구현될 수 있다.1 is an exemplary configuration diagram illustrating an information processing system 120 providing information on an abnormal region in a pathology slide image 150 according to an embodiment of the present disclosure. As shown, the information processing system 120 may be connected to each of the user terminal 130 and the storage system 110 to be configured to communicate. Although one user terminal 130 is shown in FIG. 1 , it is not limited thereto, and a plurality of user terminals 130 may be connected to and communicate with the information processing system 120 . In addition, although the information processing system 120 is illustrated as one computing device in FIG. 1, it is not limited thereto, and the information processing system 120 may be configured to distribute and process information and/or data through a plurality of computing devices. can In addition, although the storage system 110 is illustrated as one device in FIG. 1 , it is not limited thereto, and may be composed of a plurality of storage devices or a system supporting a cloud. In addition, in FIG. 1, each component of the system providing information on the abnormal region 152 in the pathology slide image 150 represents functionally divided functional elements, and a plurality of components interact with each other in a real physical environment. It can be implemented in an integrated form.

저장 시스템(110)은 병리 슬라이드 이미지(150)에 포함된 이상 영역(152)에 대한 정보 등을 제공하기 위한 기계학습 모델과 연관된 각종 데이터를 저장하고 관리하는 장치 또는 클라우드 시스템이다. 데이터의 효율적인 관리를 위해, 저장 시스템(110)은, 데이터베이스를 이용하여 각종 데이터를 저장하고 관리할 수 있다. 여기서, 각종 데이터는 기계학습 모델과 연관된 임의의 데이터(예를 들어, 기계학습 모델과 연관된 가중치, 파라미터, 입출력 값 등)를 포함할 수 있다. 나아가, 데이터는 검출된 이상 영역(152)에 대한 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. 도 1에서는 정보 처리 시스템(120)과 저장 시스템(110)이 별도의 시스템으로 도시되어 있으나, 이에 한정되지 않으며, 하나의 시스템으로 통합되어 구성될 수 있다.The storage system 110 is a device or a cloud system that stores and manages various data related to a machine learning model for providing information on the abnormal region 152 included in the pathology slide image 150 . For efficient management of data, the storage system 110 may store and manage various types of data using a database. Here, the various data may include arbitrary data associated with the machine learning model (eg, weights, parameters, input/output values, etc. associated with the machine learning model). Furthermore, the data may include information on the detected abnormal region 152, but is not limited thereto. In FIG. 1 , the information processing system 120 and the storage system 110 are shown as separate systems, but are not limited thereto and may be integrated into one system.

정보 처리 시스템(120) 및/또는 사용자 단말(130)은 병리 슬라이드 이미지(150)에 포함된 오류 정보를 포함하는 이상 영역(152)에 대한 정보를 제공하는데 이용되는 임의의 컴퓨팅 장치이다. 여기서, 컴퓨팅 장치는 컴퓨팅 기능이 구비된 임의의 종류의 장치를 지칭할 수 있으며, 예를 들어, 노트북, 데스크톱(desktop), 랩탑(laptop), 테블릿 컴퓨터(tablet computer), 서버, 클라우드 시스템 등이 될 수 있으나, 이에 한정되지 않는다. 정보 처리 시스템(120)은 병리 슬라이드 이미지(150)를 사용자 단말(130)에 제공하여, 제공된 병리 슬라이드 이미지(150)가 사용자 단말(130)의 디스플레이 장치에 표시될 수 있다. 일 실시예에 따르면, 정보 처리 시스템(120)은 사용자 단말(130)을 통해 병리 슬라이드 이미지 내의 이상 영역(152)의 포함 여부, 이상 영역(152)의 위치, 크기, 형태 등을 나타내는 텍스트, 가이드선, 인디케이터 등을 포함하는 병리 슬라이드 이미지(150)를 사용자(140)에게 제공할 수 있다.The information processing system 120 and/or the user terminal 130 is any computing device used to provide information about the abnormal area 152 including error information included in the pathology slide image 150 . Here, the computing device may refer to any type of device equipped with a computing function, and includes, for example, a laptop computer, a desktop computer, a laptop computer, a tablet computer, a server, a cloud system, and the like. It may be, but is not limited to. The information processing system 120 may provide the pathology slide image 150 to the user terminal 130 and display the provided pathology slide image 150 on the display device of the user terminal 130 . According to an embodiment, the information processing system 120, through the user terminal 130, provides text and a guide indicating whether the abnormal region 152 is included in the pathology slide image, the location, size, shape, etc. of the abnormal region 152. The pathology slide image 150 including lines, indicators, and the like may be provided to the user 140 .

일 실시예에 따르면, 정보 처리 시스템(120)은 하나 이상의 병리 슬라이드 이미지(150)를 수신할 수 있다. 추가적으로 또는 대안적으로, 정보 처리 시스템(120)은 병리 슬라이드 이미지(150)가 포함된 영상을 수신할 수 있다. 또한, 정보 처리 시스템(120)은 수신된 병리 슬라이드 이미지(150) 내의 이상 조건을 만족하는 이상 영역(152)을 검출할 수 있다. 여기서, 이상 조건은 병리 슬라이드 이미지에 포함된 특정 영역이 오류 정보를 포함하는 이상 영역을 포함하는지 판단하는 기준이 되는 임의의 조건을 지칭할 수 있다. 또한, 이상 영역(152)은 병리 슬라이드 이미지(150) 내에 포함된 영역 중 환자의 병변 등을 판단하는데 부적절한 오류 정보가 포함된 영역, 기계학습 모델을 이용하여 분석, 판단, 학습, 추론 중 적어도 하나를 수행하기에 품질이 낮은 영역을 지칭할 수 있다. 예를 들어, 표 1과 같은 유형의 문제를 포함하는 이상 영역 등이 존재할 수 있다.According to one embodiment, the information processing system 120 may receive one or more pathology slide images 150 . Additionally or alternatively, the information processing system 120 may receive an image including the pathology slide image 150 . Also, the information processing system 120 may detect an abnormal region 152 that satisfies an abnormal condition in the received pathology slide image 150 . Here, the abnormal condition may refer to any condition that is a criterion for determining whether a specific region included in the pathology slide image includes an abnormal region including error information. In addition, the abnormal region 152 includes at least one of analysis, judgment, learning, and inference using a machine learning model, a region including error information inappropriate for determining a patient's lesion, etc. among regions included in the pathology slide image 150. may refer to a region of low quality to perform. For example, there may be an abnormal area including problems of the type shown in Table 1.

유형category 명칭(Name)Name 설명(Description)Description 영상품질문제Video quality problem 아웃 포커스(out of focus)out of focus 스캔(Scan)시 초점이 맞지 않아 영상이 선명하지 않은 경우If the image is not clear due to out of focus during scanning 영상품질문제Video quality problem 해상도(resolution) 문제(범위에서 벗어나는 MPP 값)Resolution issues (MPP values out of range) MPP(Micro-meter per pixel) 값이 적절한 범위를 벗어나 해상도가 너무 낮은 영상의 경우In the case of an image whose resolution is too low because the MPP (Micro-meter per pixel) value is out of the appropriate range 영상품질문제Video quality problem 해상도 문제(배율(Magnification)이 낮은 경우)Resolution issues (when magnification is low) 배율이 낮아 해상도가 너무 낮은 영상의 경우In the case of images with too low resolution due to low magnification 슬라이드품질문제Slide quality problem 이물질 마킹Contaminant marking 슬라이드 상에 먼지, 펜으로 써 놓은 글자 등의 이물질이 마킹된 경우In case foreign substances such as dust or letters written with a pen are marked on the slide 슬라이드품질문제Slide quality problem 염색(stain) 품질 문제Stain quality issues - 염색이 미리 정해진 수치보다 연하거나 진한 경우,- H&E 염색의 경우 두 시약의 균형(balance)이 안 맞는 경우,
- IHC(immuohistochemistry) 염색의 경우 비특정 염색(nonspecific staining)으로 지저분한 경우- If the staining is lighter or darker than the predetermined value, - In case of H&E staining, if the balance of the two reagents is not
- In the case of IHC (immuohistochemistry) staining, dirty due to nonspecific staining 슬라이드품질문제Slide quality problem 표본 절단(Specimen cut) 문제Specimen cut problem - 칼자국- 조직 접힘
- 조직 뜯김
- 두꺼운 섹션(section)- Cuts - tissue folds
- tissue tearing
- thick section 슬라이드품질문제Slide quality problem 티슈(Tissue)/블록(block) 자체의 문제The problem of the tissue/block itself - poor fixation- squeezing artifact- poor fixation- squeezing artifact 슬라이드품질문제Slide quality problem 조직 고정 방식이 상이한 경우(예: FFPE vs Frozen)When tissue fixation is different (e.g. FFPE vs Frozen) 조직 고정 방식이 미리 정해진 방식과 상이한 경우When the tissue fixation method differs from the pre-determined method 분석대상오류Analysis target error 염색 타입(Stain Type)이 다른 문제Problems with different stain types 다른 유형의 염색이 적용된 슬라이드일 경우For slides with other types of staining applied 분석대상오류Analysis target error 타겟 암 타입(Target cancer type)에서 벗어나는 문제The problem of deviating from the target cancer type 타겟 암 타입이 아닌 경우Non-target cancer type 분석대상오류Analysis target error 티슈(Tissue) 수집 위치가 잘못된 경우Wrong location of tissue collection 티슈의 수집 위치가 대상 위치가 아닌 경우 When the tissue collection location is not the target location 분석대상오류Analysis target error 분석하고자 하는 대상이 해당 슬라이드에 없는 경우If the object you want to analyze is not on the slide 슬라이드 내에 분석 대상이 없는 경우When there is no analysis target within the slide

정보 처리 시스템(120)은 병리 슬라이드 이미지(150) 내의 이상 영역(152)을 검출하고, 검출된 이상 영역(152) 및 이상 영역(152)을 나타내는 텍스트(154)를 병리 슬라이드 이미지(150)와 함께 디스플레이 상에 표시할 수 있다. 이와 같은 구성에 의해, 사용자(140)는 병리 슬라이드 이미지(150)를 확인하고, 해당 이미지에 이상 조건을 만족하는 오류 정보가 포함되어 있는지 여부를 직접 결정하지 않고도, 정보 처리 시스템(120)을 통해 병리 슬라이드 이미지(150) 내의 이상 영역(152)을 간단히 확인할 수 있다.The information processing system 120 detects an abnormal region 152 in the pathology slide image 150, and converts the detected abnormal region 152 and text 154 indicating the abnormal region 152 to the pathology slide image 150 and together can be displayed on the display. With this configuration, the user 140 checks the pathology slide image 150 and directly determines whether or not error information that satisfies the ideal condition is included in the corresponding image, through the information processing system 120. The abnormal region 152 in the pathology slide image 150 can be easily identified.

일 실시예에 따르면, 정보 처리 시스템(120)은 병리 슬라이드 이미지(150) 내의 이상 영역(152)을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역(152)을 검출할 수 있다. 즉, 정보 처리 시스템(120)은 학습된 기계학습 모델에 병리 슬라이드 이미지(150) 및/또는 병리 슬라이드 이미지(150)가 포함된 영상을 입력하여 이상 영역(152)을 검출할 수 있다. 예를 들어, 기계학습 모델은, 병리 슬라이드 이미지(150) 내의 각각의 영역에 대하여, 각각의 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하는 분류기(classifier)를 포함할 수 있다. 다른 예에서, 기계학습 모델은, 병리 슬라이드 이미지(150) 내의 이상 영역에 포함된 픽셀(pixel)에 대한 레이블링(labeling)을 수행하는 세그멘테이션(segmentation) 모델을 포함할 수 있다.According to an embodiment, the information processing system 120 may detect the abnormal region 152 in the pathology slide image 150 using a machine learning model trained to detect the abnormal region 152 . That is, the information processing system 120 may detect the abnormal region 152 by inputting the pathology slide image 150 and/or an image including the pathology slide image 150 to the learned machine learning model. For example, the machine learning model may include a classifier for determining whether each region in the pathology slide image 150 corresponds to a normal region or an abnormal region. In another example, the machine learning model may include a segmentation model that performs labeling on pixels included in the abnormal region in the pathology slide image 150 .

일 실시예에 따르면, 정보 처리 시스템(120)은 기계학습 모델을 학습시키기 위한 학습 데이터를 생성할 수 있다. 예를 들어, 정보 처리 시스템(120)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정할 수 있다. 이 경우, 정보 처리 시스템(120)은 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성할 수 있다.According to one embodiment, the information processing system 120 may generate learning data for learning a machine learning model. For example, the information processing system 120 may receive one or more pathology slide images, and determine a normal region based on an abnormal condition indicating a condition of an abnormal region, from the received one or more pathology slide images. In this case, the information processing system 120 may generate a first set of learning data including the determined normal region.

또한, 정보 처리 시스템(120)은 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역(예: 병리 슬라이드 이미지의 임의의 영역, 정상 영역 등)에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성할 수 있다. 그리고 나서, 정보 처리 시스템(120)은 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다. 예를 들어, 정보 처리 시스템(120)은 미리 정해진 해상도 조건을 나타내는 이상 조건을 기초로, 해당 해상도 조건 이상의 해상도를 갖도록 정상 영역을 결정하여 제1 세트의 학습 데이터를 생성할 수 있다. 또한, 정보 처리 시스템(120)은 해당 해상도 조건 이하의 해상도를 갖도록 이상 영역을 결정하여 제2 세트의 학습 데이터를 생성할 수 있다. 추가적으로 또는 대안적으로, 학습 데이터는 사용자(140)가 직접 수동으로 생성할 수도 있다. 예를 들어, 정보 처리 시스템(120)은 정상 영역 및/또는 이상 영역의 레이블링과 연관된 수행하는 사용자 입력을 수신하여, 제1 세트의 학습 데이터 및/또는 제2 세트의 학습 데이터를 생성할 수 있다.In addition, the information processing system 120 may generate an abnormal region by performing image processing that meets an abnormal condition on at least some region (eg, an arbitrary region of the pathology slide image, a normal region, etc.) in one or more pathology slide images. can Then, the information processing system 120 may generate a second set of training data including the generated abnormal region. For example, the information processing system 120 may generate a first set of learning data by determining a normal region to have a resolution equal to or higher than the corresponding resolution condition, based on an ideal condition indicating a predetermined resolution condition. In addition, the information processing system 120 may generate a second set of learning data by determining an abnormal region to have a resolution equal to or less than the corresponding resolution condition. Additionally or alternatively, the learning data may be manually generated by the user 140 . For example, the information processing system 120 may generate a first set of training data and/or a second set of training data by receiving a user input to perform a labeling of a normal region and/or an abnormal region. .

그리고 나서, 정보 처리 시스템(120)은 생성된 제1 세트의 학습 데이터 및 제2 세트의 학습 데이터를 기초로 하나 이상의 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시킬 수 있다. 예를 들어, 기계학습 모델은 CNN(Convolutional Neural Network) 등을 포함할 수 있으나, 이에 한정되지 않는다. 이와 같은 구성에 의해, 사용자(140)는 기계학습 모델을 학습시키기 위한 학습 데이터 등이 부족한 경우에도, 이상 조건 등을 이용하여 학습 데이터를 직접 생성함으로써, 효과적으로 기계학습 모델을 학습시킬 수 있다.Then, the information processing system 120 may train a machine learning model for detecting an abnormal region in one or more pathology slide images based on the generated first set of training data and the second set of training data. For example, the machine learning model may include a Convolutional Neural Network (CNN), but is not limited thereto. With this configuration, the user 140 can effectively learn the machine learning model by directly generating learning data using abnormal conditions, etc. even when there is insufficient training data for learning the machine learning model.

도 1에서는 이상 영역(152)을 나타내는 텍스트(154)가 병리 슬라이드 이미지(150)에서 이상 영역(152)의 하단에 가이드선(화살표)과 함께 표시되는 것으로 도시되었으나, 이에 한정되지 않으며, 텍스트(154)는 병리 슬라이드 이미지(150) 내의 임의의 영역 및/또는 병리 슬라이드 이미지(150)의 구성을 나타내는 정보를 포함하는, 병리 슬라이드 이미지(150) 외부의 영역에 표시될 수 있다. 또한, 도 1에서는 이상 영역(152)을 나타내는 점선 박스가 병리 슬라이드 이미지(150)에 표시되는 것으로 도시되었으나, 이는 일 예시로서, 다양한 형태의 도형을 통해 이상 영역(152)이 표시되거나, 이상 영역(152)을 나타내는 점선 박스는 표시되지 않고 생략될 수도 있다.In FIG. 1, text 154 representing the abnormal region 152 is shown as being displayed along with a guide line (arrow) at the bottom of the abnormal region 152 in the pathology slide image 150, but is not limited thereto, and the text ( 154) may be displayed in an arbitrary area within the pathology slide image 150 and/or an area outside the pathology slide image 150 that includes information representing the configuration of the pathology slide image 150. In addition, in FIG. 1 , it is shown that a dotted line box indicating the abnormal region 152 is displayed on the pathology slide image 150, but this is an example, and the abnormal region 152 may be displayed through various types of figures, or the abnormal region A dotted line box indicating 152 may not be displayed and may be omitted.

다른 실시예에 따르면, 정보 처리 시스템(120)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 정보 처리 시스템(120)은 이러한 관심 영역을 검출하기 위하여 후술하는 바와 같이, 이미지 처리 기법, 기계학습 모델 기법, 조건 또는 룰 기반 분석 기법 중 적어도 하나의 기법이 사용될 수 있다. 이렇게 검출된 관심 영역은 사용자 단말(130)와 유선 또는 무선으로 연결된 디스플레이 장치를 통해 표시될 수 있다.According to another embodiment, the information processing system 120 may receive one or more pathology slide images and detect a region of interest in the received pathology slide images. As described below, the information processing system 120 may use at least one of an image processing technique, a machine learning model technique, and a condition or rule-based analysis technique to detect the region of interest. The region of interest thus detected may be displayed through a display device connected to the user terminal 130 by wire or wirelessly.

도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템(120)의 내부 구성을 나타내는 블록도이다. 정보 처리 시스템(120)은 메모리(210), 프로세서(220), 통신 모듈(230) 및 입출력 인터페이스(240)를 포함할 수 있다. 도 2에 도시된 바와 같이, 정보 처리 시스템(120)은 통신 모듈(230)을 이용하여 네트워크를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다.2 is a block diagram showing the internal configuration of the information processing system 120 according to an embodiment of the present disclosure. The information processing system 120 may include a memory 210, a processor 220, a communication module 230 and an input/output interface 240. As shown in FIG. 2 , the information processing system 120 may be configured to communicate information and/or data through a network using the communication module 230 .

메모리(210)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(210)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 정보 처리 시스템(120)에 포함될 수 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 정보 처리 시스템(120)에 설치되어 구동되는 병리 슬라이드 이미지 이상 영역 또는 관심 영역 검출, 이상 영역 또는 관심 영역을 검출하기 위한 기계학습 모델의 학습 데이터 생성 등을 위한 코드)가 저장될 수 있다.Memory 210 may include any non-transitory computer readable recording medium. According to one embodiment, the memory 210 is a non-perishable mass storage device (permanent mass storage device) such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), flash memory, and the like. mass storage device). As another example, a non-perishable mass storage device such as ROM, SSD, flash memory, disk drive, etc. may be included in the information processing system 120 as a separate permanent storage device separate from memory. In addition, the memory 210 includes an operating system and at least one program code (eg, detection of an abnormal region or region of interest in the pathology slide image installed and driven in the information processing system 120, a machine for detecting the abnormal region or region of interest) Code for generating learning data of a learning model) may be stored.

이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 정보 처리 시스템(120)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(230)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 병리 슬라이드 이미지 내의 이상 영역 또는 관심 영역 검출, 병리 슬라이드 이미지 내의 각각의 영역이 정상 영역/이상 영역, 또는 관심 영역에 해당하는지 여부의 판정, 이상 영역 또는 관심 영역에 포함된 픽셀에 대한 레이블링, 이상 영역 또는 관심 영역을 검출하기 위한 기계학습 모델의 학습 데이터 생성 등을 위한 프로그램 등)에 기반하여 메모리(210)에 로딩될 수 있다.These software components may be loaded from a computer-readable recording medium separate from the memory 210 . Recording media readable by such a separate computer may include a recording medium directly connectable to the information processing system 120, for example, a floppy drive, a disk, a tape, a DVD/CD-ROM drive, a memory card, etc. It may include a computer-readable recording medium. As another example, software components may be loaded into the memory 210 through the communication module 230 rather than a computer-readable recording medium. For example, the at least one program is a computer program installed by files provided by developers or a file distribution system for distributing installation files of applications through the communication module 230 (eg, an abnormality in the pathology slide image). Detection of regions or regions of interest, determination of whether each region in a pathology slide image corresponds to a normal region/abnormal region, or region of interest, labeling of pixels included in an abnormal region or region of interest, detection of an abnormal region or region of interest It may be loaded into the memory 210 based on a program for generating learning data of a machine learning model to do so.

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 사용자 단말(미도시) 또는 다른 외부 시스템으로 제공될 수 있다. 예를 들어, 프로세서(220)는 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하고, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성할 수 있다. 또한, 프로세서(220)는 수신된 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다. 그리고 나서, 프로세서(220)는 생성된 제1 세트의 학습 데이터 및 생성된 제2 세트의 학습 데이터를 이용하여 하나 이상의 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시킬 수 있다.The processor 220 may be configured to process commands of a computer program by performing basic arithmetic, logic, and input/output operations. Commands may be provided to a user terminal (not shown) or other external system by the memory 210 or the communication module 230 . For example, the processor 220 may receive one or more pathology slide images, determine a normal region based on an abnormal condition indicating a condition of an abnormal region, from the received one or more pathology slide images, and include the determined normal region. A first set of training data may be generated. In addition, the processor 220 generates an abnormal region by performing image processing on at least some regions in the one or more received pathology slide images that meet an abnormality condition, and generates a second set of training data including the generated abnormal region. can create Then, the processor 220 may train a machine learning model for detecting an abnormal region in one or more pathology slide images using the generated first set of training data and the generated second set of training data.

또한, 프로세서(220)는 하나 이상의 병리 슬라이드 이미지를 수신하고, 기계학습 모델을 이용하여 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출할 수 있다. 여기서, 기계학습 모델은, 참조 병리 슬라이드 이미지로부터 추출된 복수의 정상 영역 및 참조 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성된 복수의 이상 영역을 이용하여, 수신된 참조 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습될 수 있다. 프로세서(220)는 검출된 이상 영역에 관한 정보를 미리 정해진 형태(예를 들어, 텍스트, 이미지, 가이드선, 인디케이터 등)로 병리 슬라이드 이미지, 의료 영상 등에 출력 또는 표시할 수 있다. Also, the processor 220 may receive one or more pathology slide images and detect an abnormal region that satisfies an abnormality condition in the received one or more pathology slide images using a machine learning model. Here, the machine learning model uses a plurality of normal regions extracted from a reference pathology slide image and a plurality of abnormal regions generated by performing image processing that meets an abnormality condition on at least some regions in the reference pathology slide image. It can be trained to detect abnormal areas in a reference pathology slide image. The processor 220 may output or display information on the detected abnormal region in a predetermined form (eg, text, image, guide line, indicator, etc.) on a pathology slide image, medical image, etc.

다른 실시예에서, 프로세서(220)는 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 이 경우, 프로세서(220)는 미리 결정된 이미지 처리 기법을 이용하여 하나 이상의 병리 슬라이드 이미지를 분석함으로써, 관심 영역을 검출할 수 있다. 추가적으로 또는 이와 달리, 프로세서(220)는 기계학습 모델을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 이 경우, 기계학습 모델은 복수의 참조 병리 슬라이드 이미지 및 복수의 참조 레이블 정보를 포함한 학습 데이터를 이용하여, 수신된 복수의 참조 병리 슬라이드 이미지 내의 관심 영역을 검출하도록 학습될 수 있다. In another embodiment, the processor 220 may receive one or more pathology slide images and detect a region of interest within the one or more pathology slide images received. In this case, the processor 220 may detect a region of interest by analyzing one or more pathology slide images using a predetermined image processing technique. Additionally or alternatively, processor 220 may use a machine learning model to detect a region of interest within one or more pathology slide images. In this case, the machine learning model may be trained to detect a region of interest in the received plurality of reference pathology slide images by using training data including a plurality of reference pathology slide images and a plurality of reference label information.

통신 모듈(230)은 네트워크를 통해 사용자 단말(미도시)과 정보 처리 시스템(120)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 정보 처리 시스템(120)이 외부 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 정보 처리 시스템(120)의 프로세서(220)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말 및/또는 외부 시스템의 통신 모듈을 통해 사용자 단말 및/또는 외부 시스템으로 전송될 수 있다. 예를 들어, 사용자 단말 및/또는 외부 시스템은 정보 처리 시스템(120)으로부터 검출된 이상 영역 및/또는 관심 영역에 관한 정보 등을 전달받을 수 있다.The communication module 230 may provide a configuration or function for a user terminal (not shown) and the information processing system 120 to communicate with each other through a network, and the information processing system 120 may provide an external system (for example, a separate configuration or function to communicate with a cloud system, etc.). For example, control signals, commands, data, etc. provided under the control of the processor 220 of the information processing system 120 are transmitted through the communication module 230 and the network to the user terminal and/or the communication module of the external system. It may be transmitted to a terminal and/or an external system. For example, the user terminal and/or external system may receive information about the detected abnormal region and/or region of interest from the information processing system 120 .

또한, 정보 처리 시스템(120)의 입출력 인터페이스(240)는 정보 처리 시스템(120)과 연결되거나 정보 처리 시스템(120)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 2에서는 입출력 인터페이스(240)가 프로세서(220)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(240)가 프로세서(220)에 포함되도록 구성될 수 있다. 정보 처리 시스템(120)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다.In addition, the input/output interface 240 of the information processing system 120 is connected to the information processing system 120 or means for interface with a device (not shown) for input or output that the information processing system 120 may include. can be In FIG. 2 , the input/output interface 240 is shown as an element configured separately from the processor 220 , but is not limited thereto, and the input/output interface 240 may be included in the processor 220 . Information processing system 120 may include more components than those of FIG. 2 . However, there is no need to clearly show most of the prior art components.

정보 처리 시스템(120)의 프로세서(220)는 복수의 사용자 단말 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 일 실시예에 따르면, 프로세서(220)는 사용자 단말 및/또는 외부 시스템으로부터 하나 이상의 병리 슬라이드 이미지를 수신할 수도 있다. 이 경우, 프로세서(220)는 수신된 하나 이상의 병리 슬라이드 이미지 내의 오류 정보를 포함하는 이상 영역을 검출할 수 있다. 또는 프로세서(220)는 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. The processor 220 of the information processing system 120 may be configured to manage, process, and/or store information and/or data received from a plurality of user terminals and/or a plurality of external systems. According to an embodiment, the processor 220 may receive one or more pathology slide images from a user terminal and/or an external system. In this case, the processor 220 may detect an abnormal region including error information in one or more received pathology slide images. Alternatively, the processor 220 may detect a region of interest within one or more received pathology slide images.

도 3은 본 개시의 일 실시예에 따른 프로세서(220)의 내부 구성을 나타내는 기능적인 블록도이다. 도시된 바와 같이, 프로세서(220)는 학습 데이터 생성부(310), 기계학습 모델 학습부(320), 학습 데이터 마이닝부(330) 등을 포함할 수 있다. 일 실시예에 따르면, 프로세서(220)는 병리 슬라이드 이미지(또는 병리 슬라이드 이미지의 적어도 일부, 병리 슬라이드 이미지를 포함하는 영상 등)를 포함하는 저장 장치(예: 메모리(210) 등) 및/또는 외부 장치(예를 들어, 사용자 단말 또는 외부 시스템 등)와 통신하며, 하나 이상의 병리 슬라이드 이미지를 수신할 수 있다.3 is a functional block diagram showing an internal configuration of a processor 220 according to an embodiment of the present disclosure. As shown, the processor 220 may include a learning data generating unit 310, a machine learning model learning unit 320, a learning data mining unit 330, and the like. According to an embodiment, the processor 220 may include a pathology slide image (or at least a portion of the pathology slide image, an image including the pathology slide image, etc.) and/or a storage device (eg, memory 210, etc.) and/or an external storage device. It communicates with a device (eg, a user terminal or an external system) and may receive one or more pathology slide images.

일 실시예에 따르면, 프로세서(220)는 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출할 수 있다. 이 경우, 프로세서(220)는 하나 이상의 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역을 검출할 수 있다. 다른 실시예에서, 프로세서(220)는 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 예를 들어, 관심 영역을 검출하는데 있어 미리 결정된 이미지 처리 기법이나 학습된 기계학습 모델이 사용될 수 있다. According to an embodiment, the processor 220 may receive one or more pathology slide images and detect an abnormal region that satisfies an abnormality condition in the received one or more pathology slide images. In this case, the processor 220 may detect the abnormal region using a machine learning model learned to detect the abnormal region in one or more pathology slide images. In another embodiment, the processor 220 may receive one or more pathology slide images and detect a region of interest within the one or more pathology slide images received. For example, a predetermined image processing technique or a trained machine learning model may be used to detect the region of interest.

일 실시예에 따르면, 기계학습 모델을 학습시키기 위해 학습 데이터 생성부(310)는 학습 데이터를 자동으로 생성할 수 있다. 예를 들어, 학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지를 수신할 수 있다. 그리고 나서, 학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하고, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성할 수 있다. 또한, 학습 데이터 생성부(310)는 수신된 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다.According to an embodiment, the learning data generation unit 310 may automatically generate learning data in order to learn a machine learning model. For example, the learning data generator 310 may receive one or more pathology slide images. Then, the learning data generation unit 310 determines a normal region based on an abnormal condition indicating a condition of an abnormal region from one or more pathology slide images, and generates a first set of training data including the determined normal region. can In addition, the learning data generation unit 310 generates an abnormal region by performing image processing that meets an abnormality condition on at least some regions in the one or more received pathology slide images, and generates a second set including the generated abnormal region. training data can be generated.

일 실시예에 따르면, 학습 데이터 생성부(310)는 이상 조건에 기초하여 해당 병리 슬라이드 이미지가 정상인지 여부를 판정할 수 있다. 예를 들어, 병리 슬라이드 이미지가 정상인 것으로 판정된 경우, 학습 데이터 생성부(310)는 해당 병리 슬라이드 이미지를 제1 세트의 학습 데이터에 포함시킬 수 있다. 추가적으로 또는 대안적으로, 학습 데이터 생성부(310)는 수신된 병리 슬라이드 이미지가 이상 조건에 기초하여 이상 영역을 포함하는 것으로 판정된 경우, 해당 병리 슬라이드 이미지를 제2 세트의 학습 데이터에 포함시킬 수 있다.According to an embodiment, the learning data generation unit 310 may determine whether a corresponding pathology slide image is normal based on an abnormal condition. For example, when it is determined that the pathology slide image is normal, the training data generating unit 310 may include the corresponding pathology slide image in the first set of training data. Additionally or alternatively, when it is determined that the received pathology slide image includes an abnormal region based on the abnormal condition, the training data generator 310 may include the corresponding pathology slide image in the second set of training data. there is.

이미지 처리 유형과 관련하여, 학습 데이터 생성부(310)는 복수의 이상 조건 중 하나 이상의 조건을 무작위로(randomly) 선택하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역에 무작위로 선택된 하나 이상의 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성할 수 있다. 추가적으로 또는 대안적으로, 이상 조건은 사용자에 의해 선택될 수도 있다.Regarding the image processing type, the learning data generation unit 310 randomly selects one or more conditions from among a plurality of abnormal conditions, and randomly selects one or more conditions in at least a partial region of the received one or more pathology slide images. By performing image processing that conforms to , it is possible to create an abnormal area. Additionally or alternatively, the abnormal condition may be selected by the user.

학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 블러(blur) 커널을 적용하여 이상 영역을 생성할 수 있다. 여기서, 블러 커널은 이미지의 적어도 일부 영역을 흐리게 변경하거나 변환하기 위한 커널을 지칭할 수 있다. 이와 같은 블러 커널을 적용하는 경우, 병리 슬라이드 이미지의 적어도 일부 영역의 해상도(resolution)가 이상 조건에 의해 미리 정해진 해상도 이하로 감소할 수 있다. 즉, 학습 데이터 생성부(310)는 블러 커널을 이용하여 미리 정해진 해상도 이하의 이상 영역을 생성하여, 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다.The learning data generator 310 may generate an abnormal region by applying a blur kernel to at least some regions of one or more pathology slide images. Here, the blur kernel may refer to a kernel for blurring or converting at least a partial region of an image. When such a blur kernel is applied, the resolution of at least a partial region of the pathology slide image may be reduced to a predetermined resolution or less by an abnormal condition. That is, the training data generation unit 310 may generate an abnormal region having a predetermined resolution or less using a blur kernel, and generate a second set of training data including the abnormal region.

추가적으로 또는 대안적으로, 학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 색변환(color transformation) 함수를 적용하여 이상 영역을 생성할 수 있다. 여기서, 색변환 함수는 이미지의 적어도 일부 영역의 색상을 변경하거나 변환하기 위한 함수, 알고리즘 등을 지칭할 수 있다. 예를 들어, 학습 데이터 생성부(310)는 색상과 연관된 휴(hue)를 조정하여 이미지의 적어도 일부 영역의 색상을 이상 조건에 의해 미리 정해진 색상과 상이하게 변경하거나 변환할 수 있다. 다른 예에서, 학습 데이터 생성부(310)는 색변환 함수를 이용하여 RGB 벡터에 임의의 행렬을 곱한 후 프로젝션(projection)함으로써 이미지의 적어도 일부 영역의 색상을 이상 조건에 의해 미리 정해진 색상과 상이하게 변경하거나 변환할 수 있다. 즉, 학습 데이터 생성부(310)는 색변환 함수를 이용하여 미리 정해진 색상과 상이한 색상의 이상 영역을 생성하고, 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다.Additionally or alternatively, the learning data generator 310 may generate an abnormal region by applying a color transformation function to at least some regions of one or more pathology slide images. Here, the color conversion function may refer to a function or algorithm for changing or converting the color of at least a partial region of an image. For example, the learning data generation unit 310 may change or convert the color of at least a part of the image to be different from a color predetermined by an abnormal condition by adjusting a hue associated with the color. In another example, the learning data generation unit 310 multiplies RGB vectors by a random matrix using a color conversion function and then projections the color of at least a part of the image to be different from a color predetermined by an ideal condition. can be changed or converted. That is, the learning data generation unit 310 may generate an abnormal region having a color different from a predetermined color by using a color conversion function, and generate a second set of training data including the abnormal region.

추가적으로 또는 대안적으로, 학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 특정 색상 또는 특정 밝기 중 적어도 하나를 적용함으로써, 이상 영역을 생성할 수 있다. 예를 들어, 학습 데이터 생성부(310)는 병리 슬라이드 이미지의 적어도 일부 영역을 이상 조건에 의해 흰색 계열의 색상을 적용할 수 있다. 이러한 적용을 통해 병리 슬라이드 이미지 내의 조직 등의 분석 대상을 제거한 것과 같은 효과가 생성될 수 있다.Additionally or alternatively, the learning data generator 310 may generate an abnormal region by applying at least one of a specific color or a specific brightness to at least some regions of one or more pathology slide images. For example, the learning data generation unit 310 may apply a white-based color to at least a portion of the pathology slide image under an abnormal condition. Through this application, an effect such as removing an analysis target such as a tissue in a pathology slide image may be created.

추가적으로 또는 대안적으로, 학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 도형(예: 도형 등을 포함하는 이미지)을 삽입함으로써, 이상 영역을 생성할 수 있다. 여기서, 도형은 임의의 점, 선(곡선), 면, 체 및/또는 그것들의 집합을 지칭할 수 있다. 예를 들어, 학습 데이터 생성부(310)는 도형을 포함하는 특정 이미지를 임의의 투명도를 이용해 병리 슬라이드 이미지 상에 중첩(overlay)시킴으로써, 이물질이 삽입된 것과 같은 이상 영역을 생성할 수 있다. 이 경우, 학습 데이터 생성부(310)는 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다.Additionally or alternatively, the learning data generator 310 may generate an abnormal region by inserting a figure (eg, an image including a figure) into at least a partial region of one or more pathology slide images. Here, a figure may refer to an arbitrary point, line (curve), plane, body, and/or a set thereof. For example, the learning data generation unit 310 may generate an abnormal region, such as an inserted foreign substance, by overlaying a specific image including a figure on the pathology slide image using an arbitrary transparency. In this case, the learning data generation unit 310 may generate a second set of learning data including the generated abnormal region.

추가적으로 또는 대안적으로, 학습 데이터 생성부(310)는 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역을 제1 부분 영역 및 제2 부분 영역으로 분할할 수 있다. 그리고 나서, 학습 데이터 생성부(310)는 제1 부분 영역의 일부를 제2 부분 영역의 일부와 중첩함으로써 이상 영역을 생성할 수 있다. 예를 들어, 학습 데이터 생성부(310)는 병리 슬라이드 이미지의 적어도 일부 영역을 2개의 영역으로 분할한 후 임의의 투명도로 중첩(overlay)시킴으로써, 조직이 접힌 것과 같은 이상 영역을 생성할 수 있다. 이 경우, 학습 데이터 생성부(310)는 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다.Additionally or alternatively, the learning data generator 310 may divide at least a partial region of one or more pathology slide images into a first partial region and a second partial region. Then, the learning data generator 310 may generate an abnormal region by overlapping a portion of the first partial region with a portion of the second partial region. For example, the learning data generator 310 may divide at least a partial region of the pathology slide image into two regions, and then overlap the region with an arbitrary transparency, thereby generating an abnormal region such as a folded tissue. In this case, the learning data generation unit 310 may generate a second set of learning data including the generated abnormal region.

추가적으로 또는 대안적으로, 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역을 복수의 부분 영역으로 분할할 수 있다. 그리고 나서, 학습 데이터 생성부(310)는 복수의 부분 영역의 각각의 위치, 모양, 크기 또는 각도 중 적어도 하나가 변경된 영역을 포함한 이미지를 생성하고, 생성된 이미지를 결합함으로써, 이상 영역을 생성할 수 있다. 예를 들어, 학습 데이터 생성부(310)는 병리 슬라이드 이미지의 적어도 일부 영역을 복수의 부분 영역으로 분할하고, 분할된 복수의 부분 영역 각각을 회전하거나 이동시키는 등으로 변화시킨 후 다시 이어 붙여 틸팅 효과(tilting effect)가 생성된 것과 같은 이상 영역을 생성할 수 있다. 이 경우, 학습 데이터 생성부(310)는 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다.Additionally or alternatively, at least partial regions of one or more pathology slide images may be divided into a plurality of partial regions. Then, the learning data generation unit 310 generates an image including a region in which at least one of the position, shape, size, or angle of each of the plurality of partial regions is changed, and combines the generated images to generate an abnormal region. can For example, the learning data generator 310 divides at least a partial region of the pathology slide image into a plurality of partial regions, rotates or moves each of the divided partial regions, and then connects them together to create a tilting effect. (tilting effect) can be created. In this case, the learning data generation unit 310 may generate a second set of learning data including the generated abnormal region.

추가적으로 또는 대안적으로, 제1 세트의 학습 데이터 및/또는 제2 세트의 학습 데이터는 사용자에 의해 수동으로 생성될 수 있다. 다시 말해, 프로세서(220)는 사용자 입력에 기초하여, 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하거나 결정된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다. 예를 들어, 사용자는 병리 슬라이드 이미지 상에서 이상 조건을 만족하는 이상 영역들을 선택하거나, 색상을 변경함으로써 이상 영역을 포함하는 병리 슬라이드 이미지를 생성할 수 있다. 일 실시예로, 이상 영역, 정상 영역 중 적어도 하나에 대한 어노테이션을 포함하는 병리 슬라이드 이미지들로 구성되는 학습 데이터가 구성될 수 있다. 상술된 학습 데이터의 자동 생성 방법과 수동 생성 방법은 각각 수행되거나, 조합하여 수행될 수 있다.Additionally or alternatively, the first set of training data and/or the second set of training data may be manually generated by a user. In other words, the processor 220 may generate a first set of training data including the normal region or a second set of training data including the determined abnormal region, based on the user input. For example, the user may create a pathology slide image including the abnormal region by selecting abnormal regions that satisfy an abnormality condition on the pathology slide image or changing the color of the abnormal region. As an embodiment, learning data composed of pathology slide images including annotations on at least one of an abnormal region and a normal region may be configured. The above-described automatic generation method and manual generation method of learning data may be performed individually or in combination.

일 실시예에 따르면, 기계학습 모델 학습부(320)는 생성된 제1 세트의 학습 데이터 및 제2 세트의 학습 데이터를 기초로 하나 이상의 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시킬 수 있다. 예를 들어, 기계학습 모델은 하나 이상의 병리 슬라이드 이미지 내의 각각의 영역에 대하여, 각각의 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하는 분류기로서 학습되거나, 이상 영역에 포함된 픽셀에 대한 레이블링을 수행하는 세그멘테이션 모델로서 학습될 수 있다. 이와 같이, 제1 세트의 학습 데이터 및 제2 세트의 학습 데이터를 기초로 이상 영역을 검출하기 위한 초기의 기계학습 모델이 생성될 수 있다. 다른 실시예에 따르면, 기계학습 모델 학습부(320)는 복수의 참조 병리 슬라이드 이미지 및 복수의 참조 레이블 정보를 포함한 학습 데이터를 이용하여, 수신된 복수의 참조 병리 슬라이드 이미지 내의 관심 영역을 검출하도록 기계학습 모델을 학습시킬 수 있다. According to an embodiment, the machine learning model learning unit 320 learns a machine learning model for detecting an abnormal region in one or more pathology slide images based on the generated first set of training data and the second set of training data. can make it For example, the machine learning model is trained as a classifier for determining whether each region in one or more pathology slide images corresponds to a normal region or an abnormal region, or labels pixels included in the abnormal region. It can be learned as a segmentation model that performs In this way, an initial machine learning model for detecting an anomaly region may be generated based on the first set of training data and the second set of training data. According to another embodiment, the machine learning model learner 320 uses training data including a plurality of reference pathology slide images and a plurality of reference label information to detect a region of interest in a plurality of received reference pathology slide images. The learning model can be trained.

그리고 나서, 이와 같이 학습된 초기의 기계학습 모델은 추론 데이터 등을 이용하여 추가적으로 학습될 수 있다. 일 실시예에 따르면, 기계학습 모델은, 병리 슬라이드 이미지 내의 하나 이상의 영역에 대한 이상 정도를 나타내는 이상 점수(abnormality score)를 출력하도록 더 학습될 수 있다. 이 경우, 학습 데이터 마이닝부(330)는 기계학습 모델에 추론을 위한 하나 이상의 병리 슬라이드 이미지를 입력하고, 하나 이상의 병리 슬라이드 이미지에 포함된 복수의 영역(예: 복수의 패치)에 대한 이상 점수를 출력할 수 있다. 예를 들어, 이상 점수는 기계학습 모델에 의해 추론된 이상 영역과 실제 병리 슬라이드 이미지에 포함된 이상 영역 사이의 차이를 나타낼 수 있는 점수로서, 추론된 정보와 실제 정보의 차이가 적을수록 높게 산출될 수 있다. 상술된 바와 같이, 이상 점수는 기계학습 모델에 의해 산출될 수 있으나, 이에 한정되지 않으며, 학습 데이터 마이닝부(330)는 사용자 입력 및/또는 임의의 알고리즘 등을 기초로 이상 점수를 산출할 수도 있다. Then, the initial machine learning model learned in this way may be additionally learned using reasoning data or the like. According to an embodiment, the machine learning model may be further trained to output an abnormality score indicating a degree of abnormality for one or more regions in the pathology slide image. In this case, the learning data mining unit 330 inputs one or more pathology slide images for inference to the machine learning model, and generates abnormal scores for a plurality of areas (eg, a plurality of patches) included in the one or more pathology slide images. can be printed out. For example, the abnormal score is a score that can represent the difference between the abnormal region inferred by the machine learning model and the abnormal region included in the actual pathology slide image. The smaller the difference between the inferred information and the actual information, the higher the score. can As described above, the abnormal score may be calculated by a machine learning model, but is not limited thereto, and the learning data mining unit 330 may calculate the abnormal score based on a user input and/or an arbitrary algorithm. .

학습 데이터 마이닝부(330)는 출력된 이상 점수를 기초로 복수의 영역 중 적어도 일부를 추출하고, 추출된 복수의 영역 중 적어도 일부를 제2 세트의 학습 데이터에 포함시킬 수 있다. 예를 들어, 학습 데이터 마이닝부(330)는 이상 점수가 높은 상위 n개(n은 자연수)의 병리 슬라이드 이미지를 추출할 수 있다. 다른 예에서, 학습 데이터 마이닝부(330)는 이상 점수가 미리 정해진 점수 이상인 병리 슬라이드 이미지들을 추출할 수도 있다. 그리고 나서, 학습 데이터 마이닝부(330)는 제2 세트의 학습 데이터를 기초로 기계학습 모델을 추가 학습시킬 수 있다. 즉, 추론된 정보와 실제 정보의 차이가 적은 데이터들을 이용하여 기계학습 모델을 반복적으로 추가 학습시킴으로써, 기계학습 모델의 성능을 지속적으로 향상시킬 수 있다.The learning data mining unit 330 may extract at least some of the plurality of areas based on the output abnormality score, and include at least some of the extracted areas in the second set of training data. For example, the learning data mining unit 330 may extract top n (n is a natural number) pathology slide images having high abnormality scores. In another example, the learning data mining unit 330 may extract pathology slide images having an abnormal score equal to or greater than a predetermined score. Then, the learning data mining unit 330 may additionally learn the machine learning model based on the second set of training data. That is, the performance of the machine learning model can be continuously improved by repeatedly additionally learning the machine learning model using data having a small difference between inferred information and actual information.

추가적으로 또는 대안적으로, 기계학습 모델은, 병리 슬라이드 이미지 내의 하나 이상의 영역에 대한 정상의 정도를 나타내는 정상 점수(normality score)를 출력하도록 더 학습될 수도 있다. 이 경우, 학습 데이터 마이닝부(330)는 기계학습 모델에 추론을 위한 하나 이상의 병리 슬라이드 이미지를 입력하고, 하나 이상의 병리 슬라이드 이미지에 포함된 복수의 영역(예: 복수의 패치)에 대한 정상 점수를 출력할 수 있다. 예를 들어, 정상 점수는 기계학습 모델에 의해 추론된 정상 영역과 실제 병리 슬라이드 이미지에 포함된 정상 영역 사이의 차이를 나타낼 수 있는 점수로서, 추론된 정보와 실제 정보의 차이가 적을수록 높게 산출될 수 있다. 이 경우, 학습 데이터 마이닝부(330)는 사용자 입력 및/또는 임의의 알고리즘 등을 기초로 정상 점수를 산출할 수 있다. 이 경우, 학습 데이터 마이닝부(330)는 출력된 정상 점수를 기초로 복수의 영역 중 적어도 일부를 추출하고, 추출된 복수의 영역 중 적어도 일부를 제1 세트의 학습 데이터에 포함시키고, 제1 세트의 학습 데이터를 기초로 기계학습 모델을 추가 학습시킬 수 있다.Additionally or alternatively, the machine learning model may be further trained to output a normality score representing a degree of normality for one or more regions in the pathology slide image. In this case, the learning data mining unit 330 inputs one or more pathology slide images for inference to the machine learning model, and obtains normal scores for a plurality of regions (eg, a plurality of patches) included in the one or more pathology slide images. can be printed out. For example, the normal score is a score that can represent the difference between the normal area inferred by the machine learning model and the normal area included in the actual pathology slide image. The smaller the difference between the inferred information and the actual information, the higher the score will be calculated can In this case, the learning data mining unit 330 may calculate a normal score based on a user input and/or an arbitrary algorithm. In this case, the learning data mining unit 330 extracts at least some of the plurality of regions based on the output normal score, includes at least some of the extracted regions in the first set of training data, and Based on the training data of the machine learning model can be additionally trained.

도 3에서는 프로세서(220)의 구성을 각각의 기능별로 구분하여 설명하였으나, 반드시 물리적으로 구분되는 것을 의미하지 않는다. 예를 들어, 학습 데이터 생성부(310)와 학습 데이터 마이닝부(330)는 구분되어 상술되었으나, 이는 발명의 이해를 돕기 위한 것으로서, 이에 한정되지 않는다. 이와 같은 구성에 의해, 프로세서(220)는 학습 데이터가 부족한 경우에도 직접 학습 데이터를 생성하거나 마이닝(mining)하여 기계학습 모델을 효과적으로 학습시킬 수 있다.In FIG. 3, the configuration of the processor 220 has been described separately for each function, but this does not necessarily mean that they are physically separated. For example, the learning data generating unit 310 and the learning data mining unit 330 have been separately described above, but this is to aid understanding of the invention, and is not limited thereto. With this configuration, the processor 220 can effectively learn a machine learning model by directly generating or mining training data even when training data is insufficient.

도 4는 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법(400)을 나타내는 흐름도이다. 일 실시예에 따르면, 이상 영역을 검출하는 방법(400)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서 및/또는 사용자 단말의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 이상 영역을 검출하는 방법(400)은 프로세서가 하나 이상의 병리 슬라이드 이미지를 수신함으로써 개시될 수 있다(S410). 여기서, 병리 슬라이드 이미지는 병리 슬라이드 전체 및/또는 패치와 같은 병리 슬라이드 이미지 내의 일부 영역을 포함할 수 있다.4 is a flowchart illustrating a method 400 of detecting an abnormal region in a pathology slide image according to an embodiment of the present disclosure. According to an embodiment, the method 400 of detecting an abnormal region may be performed by a processor (eg, at least one processor of an information processing system and/or at least one processor of a user terminal). As shown, the method 400 of detecting an abnormal region may be initiated by a processor receiving one or more pathology slide images (S410). Here, the pathology slide image may include the entire pathology slide and/or a partial region within the pathology slide image, such as a patch.

병리 슬라이드 이미지를 수신하는 경우, 프로세서는 기계학습 모델을 이용하여 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출할 수 있다(S420). 여기서, 기계학습 모델은, 참조 병리 슬라이드 이미지로부터 추출된 복수의 정상 영역 및 참조 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성된 복수의 이상 영역을 이용하여, 수신된 참조 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습될 수 있다. 예를 들어, 기계학습 모델은, 하나 이상의 병리 슬라이드 이미지 내의 각각의 영역에 대하여, 각각의 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하는 분류기를 포함할 수 있다. 다른 예에서, 기계학습 모델은, 하나 이상의 병리 슬라이드 이미지 내의 이상 영역에 포함된 픽셀에 대한 레이블링을 수행하는 세그멘테이션 모델을 포함할 수 있다.When a pathology slide image is received, the processor may detect an abnormal region that satisfies an abnormal condition in one or more received pathology slide images using a machine learning model (S420). Here, the machine learning model uses a plurality of normal regions extracted from a reference pathology slide image and a plurality of abnormal regions generated by performing image processing that meets an abnormality condition on at least some regions in the reference pathology slide image. It can be trained to detect abnormal areas in a reference pathology slide image. For example, the machine learning model may include a classifier for determining whether each region in one or more pathology slide images corresponds to a normal region or an abnormal region. In another example, the machine learning model may include a segmentation model that performs labeling on pixels included in abnormal regions in one or more pathology slide images.

도 5는 본 개시의 일 실시예에 따른 기계학습 모델(500)의 예시를 나타내는 도면이다. 도시된 바와 같이, 기계학습 모델(500)은 병리 슬라이드 이미지의 적어도 일부 영역(510)을 입력받고, 수신된 병리 슬라이드 이미지의 적어도 일부 영역(510) 내의 오류 정보를 포함하는 이상 영역(520)을 검출할 수 있다. 예를 들어, 이상 영역(520)은 환자의 병변에 대한 정보 등을 추출하는데 부적합하거나, 병리 슬라이드 이미지의 적어도 일부 영역(510)을 이용하는 임의의 분석 알고리즘의 성능을 감소시킬 수 있는 오류 정보를 포함하는 영역일 수 있다. 여기서, 병리 슬라이드 이미지는 병리 슬라이드 전체 및/또는 패치와 같은 병리 슬라이드 이미지 내의 일부 영역을 포함할 수 있다.5 is a diagram illustrating an example of a machine learning model 500 according to an embodiment of the present disclosure. As shown, the machine learning model 500 receives at least a partial region 510 of the pathology slide image, and generates an abnormal region 520 including error information in the at least partial region 510 of the received pathology slide image. can be detected. For example, the abnormal region 520 is unsuitable for extracting information on a patient's lesion or the like, or includes error information that may reduce the performance of any analysis algorithm using at least a partial region 510 of the pathology slide image. It may be an area of Here, the pathology slide image may include the entire pathology slide and/or a partial region within the pathology slide image, such as a patch.

일 실시예에 따르면, 기계학습 모델(500)은 병리 슬라이드 이미지의 적어도 일부 영역(510) 내의 각각의 영역에 대하여, 각각의 영역이 정상 영역 또는 이상 영역(520)에 해당하는지 여부를 판정하여 이상 영역(520)을 검출할 수 있다. 추가적으로 또는 대안적으로, 기계학습 모델(500)은 병리 슬라이드 이미지의 적어도 일부 영역(510) 내의 이상 영역(520)에 포함된 픽셀에 대한 레이블링을 수행하여 이상 영역(520)을 검출할 수 있다.According to an embodiment, the machine learning model 500 determines whether each region corresponds to a normal region or an abnormal region 520 with respect to each region in at least some region 510 of the pathology slide image, and determines whether each region corresponds to the abnormal region 520. Area 520 can be detected. Additionally or alternatively, the machine learning model 500 may detect the abnormal region 520 by labeling pixels included in the abnormal region 520 in at least some region 510 of the pathology slide image.

일 실시예에 따르면, 기계학습 모델(500)은 병리 슬라이드 이미지에서 초점이 나간 것과 같이 해상도가 미리 정해진 기준 이하인 이상 영역을 추출할 수 있다. 추가적으로 또는 대안적으로, 기계학습 모델(500)은 병리 슬라이드 이미지에서 의도된 염색 색상과 다른 색상으로 염색된 영역을 추출하거나, 분석 대상이 포함되지 않은 이상 영역을 추출할 수 있다. 추가적으로 또는 대안적으로, 기계학습 모델(500)은 이물질이 포함된 영역을 추출하거나, 조직이 접힌 영역을 추출하거나 틸팅 효과가 발생된 이상 영역을 추출할 수 있다.According to an embodiment, the machine learning model 500 may extract an abnormal region having a resolution equal to or less than a predetermined standard, such as out of focus, from the pathology slide image. Additionally or alternatively, the machine learning model 500 may extract a region stained with a different color from the intended staining color or an abnormal region that does not include an analysis target from the pathology slide image. Additionally or alternatively, the machine learning model 500 may extract a region containing a foreign substance, extract a region where a tissue is folded, or extract an abnormal region where a tilting effect occurs.

도 6은 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법(600)을 나타내는 흐름도이다. 일 실시예에 따르면, 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법(600)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서 및/또는 사용자 단말의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법(600)은 프로세서가 하나 이상의 제1 병리 슬라이드 이미지를 수신함으로써 개시될 수 있다(S610).6 is a flowchart illustrating a method 600 of training a machine learning model for detecting an abnormal region in a pathology slide image according to an embodiment of the present disclosure. According to an embodiment, the method 600 of learning a machine learning model for detecting an anomaly is performed by a processor (eg, at least one processor of an information processing system and/or at least one processor of a user terminal). can be performed As shown, the method 600 of training a machine learning model for detecting an abnormal region may be initiated by a processor receiving one or more first pathology slide images (S610).

프로세서는 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정할 수 있다(S620). 또한, 프로세서는 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성할 수 있다(S630). 예를 들어, 프로세서는 사용자 입력에 응답하여, 정상 영역을 나타내는 레이블을 수신하고, 수신된 레이블 및 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성할 수 있다.The processor may determine the normal region based on the abnormal condition indicating the condition of the abnormal region from the received one or more first pathology slide images (S620). Also, the processor may generate a first set of training data including the determined normal region (S630). For example, the processor may receive a label representing a normal region in response to a user input, and generate a first set of training data including the received label and the normal region.

프로세서는 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성할 수 있다(S640). 또한, 프로세서는 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다(S650). 여기서, 이상 조건은 복수의 이상 조건을 포함할 수 있다. 이 경우, 프로세서는 복수의 이상 조건 중 하나 이상의 조건을 무작위로 선택하고, 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에, 무작위로 선택된 하나 이상의 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성할 수 있다. 그리고 나서, 프로세서는 생성된 제1 세트의 학습 데이터 및 제2 세트의 학습 데이터를 기초로 하나 이상의 제1 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시킬 수 있다.The processor may generate an abnormal region by performing image processing that meets an abnormality condition on at least some regions in the one or more received first pathology slide images (S640). Also, the processor may generate a second set of training data including the generated abnormal region (S650). Here, the abnormal condition may include a plurality of abnormal conditions. In this case, the processor randomly selects one or more conditions from among a plurality of abnormal conditions, and performs image processing that meets the one or more randomly selected conditions on at least some regions of the received one or more first pathology slide images. area can be created. Then, the processor may train a machine learning model for detecting an abnormal region in one or more first pathology slide images based on the generated first set of training data and the second set of training data.

일 실시예에 따르면, 프로세서는 하나 이상의 제1 병리 슬라이드 이미지의 내의 적어도 일부 영역에 블러 커널을 적용함으로써, 이상 영역을 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 색변환 함수를 적용함으로써, 이상 영역을 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 특정 색상 또는 특정 밝기 중 적어도 하나를 적용함으로써, 이상 영역을 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 도형을 삽입합으로써, 이상 영역을 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하나 이상의 제1 병리 슬라이드 이미지의 적어도 일부 영역을 제1 부분 영역 및 제2 부분 영역으로 분할하고, 제1 부분 영역의 일부를 제2 부분 영역의 일부와 중첩함으로써 이상 영역을 생성할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하나 이상의 제1 병리 슬라이드 이미지의 적어도 일부 영역을 복수의 부분 영역으로 분할하고, 분할된 복수의 부분 영역의 각각의 위치, 모양, 크기 또는 각도 중 적어도 하나가 변경된 영역을 포함한 이미지를 생성하고, 생성된 이미지를 결합함으로써, 이상 영역을 생성할 수 있다.According to an embodiment, the processor may generate an abnormal region by applying a blur kernel to at least a partial region within one or more first pathology slide images. Additionally or alternatively, the processor may generate the abnormal region by applying a color conversion function to at least some regions in the one or more first pathology slide images. Additionally or alternatively, the processor may generate an abnormal region by applying at least one of a specific color or a specific brightness to at least some regions in the one or more first pathology slide images. Additionally or alternatively, the processor may generate an abnormal region by inserting figures into at least some regions of the one or more first pathology slide images. Additionally or alternatively, the processor divides at least a partial region of the one or more first pathology slide images into a first partial region and a second partial region, and overlaps a portion of the first partial region with a portion of the second partial region. area can be created. Additionally or alternatively, the processor divides at least some regions of the one or more first pathology slide images into a plurality of partial regions, and the regions in which at least one of the positions, shapes, sizes, or angles of each of the divided plurality of partial regions is changed. An abnormal area may be created by generating an image including a and combining the generated images.

도 7은 본 개시의 일 실시예에 따른 초점이 어긋난 병리 슬라이드 이미지(700)의 예시를 나타내는 도면이다. 도시된 바와 같이, 병리 슬라이드 이미지(700)의 적어도 일부 영역에 대한 초점이 어긋날 수 있다. 다시 말해, 병리 슬라이드 이미지(700)의 적어도 일부 영역에 대한 해상도가 미리 정해진 기준 이하일 수 있다. 즉, 병리 슬라이드 이미지(700) 내의 영역 중 미리 정해진 기준 이하의 해상도를 갖는 영역은 이상 조건과 연관된 오류 정보를 포함하는 이상 영역(710)으로 결정될 수 있다. 이와 같이 이상 영역(710)을 포함하는 병리 슬라이드 이미지(700)를 이용하여 분석 알고리즘 등을 개발하는 경우, 분석 알고리즘의 성능이 낮아질 수 있다. 따라서, 다양한 병리 슬라이드 이미지 중 이와 같이 이상 영역(710)을 포함하는 병리 슬라이드 이미지(700)를 구분하고 추출하는 것은 중요하다. 즉, 이러한 이상 영역(710) 및/또는 이상 영역(710)을 포함하는 병리 슬라이드 이미지(700)를 검출하기 위한 기계학습 모델(예: 이상 영역 검출 모델)이 요구될 수 있다.7 is a diagram illustrating an example of an out-of-focus pathology slide image 700 according to an embodiment of the present disclosure. As shown, at least some areas of the pathology slide image 700 may be out of focus. In other words, the resolution of at least a portion of the pathology slide image 700 may be less than or equal to a predetermined standard. That is, a region having a resolution equal to or less than a predetermined standard among regions in the pathology slide image 700 may be determined as the abnormal region 710 including error information related to the abnormal condition. In this way, when an analysis algorithm or the like is developed using the pathology slide image 700 including the abnormal region 710, the performance of the analysis algorithm may deteriorate. Accordingly, it is important to classify and extract the pathology slide image 700 including the abnormal region 710 among various pathology slide images. That is, a machine learning model (eg, an abnormal region detection model) for detecting the abnormal region 710 and/or the pathology slide image 700 including the abnormal region 710 may be required.

일 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델을 학습시키기 위해 적어도 일부 영역의 초점이 어긋난 병리 슬라이드 이미지(700)를 학습 데이터로서 생성할 수 있다. 예를 들어, 프로세서는 병리 슬라이드 이미지(700)의 내의 적어도 일부 영역에 블러 커널을 적용함으로써, 이상 영역(710)을 생성하고, 해당 이상 영역(710)을 포함하는 학습 데이터를 생성할 수 있다. 여기서, 블러 커널의 크기 및/또는 모양은 다양하게 생성될 수 있다. 그리고 나서, 프로세서는 생성된 학습 데이터를 이용하여 기계학습 모델을 학습시킬 수 있다. 다시 말해, 기계학습 모델은 병리 슬라이드 이미지(700) 내의 영역 중 해상도가 미리 정해진 기준 이하인 이상 영역(710)을 검출하도록 학습될 수 있다. 도시된 예에서, 이상 영역(710)은 도시된 형태로 한정되지 않으며, 이상 영역은 다른 임의의 모양으로 구성될 수 있다.According to an embodiment, a processor (eg, the processor 220 of FIG. 2 ) may generate, as training data, a pathology slide image 700 in which at least some areas are out of focus in order to train a machine learning model. For example, the processor may generate an abnormal region 710 by applying a blur kernel to at least a partial region of the pathology slide image 700 and generate training data including the abnormal region 710 . Here, the size and/or shape of the blur kernel may be created in various ways. Then, the processor may train a machine learning model using the generated training data. In other words, the machine learning model may be trained to detect an abnormal region 710 having a resolution equal to or less than a predetermined standard among regions in the pathology slide image 700 . In the illustrated example, the abnormal region 710 is not limited to the illustrated form, and the abnormal region may be configured in any other shape.

일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(700) 내의 이상 영역(710)을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역(710)을 검출할 수 있다. 병리 슬라이드 이미지(700)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(700)에 포함된 이상 영역(710) 및 이상 영역(710)의 유형('초점 나감') 등을 나타내는 텍스트(720) 등이 출력될 수 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지(700)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(700) 상에 이상 영역이 포함되어 있는지 여부가 출력될 수 있다. 다른 예에서, 병리 슬라이드 이미지(700)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(700) 상의 특정 영역이 정상 영역 또는 이상 영역에 해당하는지 여부가 출력될 수 있다. 또 다른 예에서, 병리 슬라이드 이미지(700)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(700)에 포함된 복수의 영역에 대한 이상 점수가 출력될 수도 있다.According to an embodiment, the processor may detect the abnormal region 710 in the pathology slide image 700 by using a machine learning model trained to detect the abnormal region 710 . When the pathology slide image 700 is input to the trained machine learning model, text indicating the abnormal region 710 included in the pathology slide image 700 and the type of the abnormal region 710 ('out of focus'), etc. 720) may be output, but is not limited thereto. For example, when the pathology slide image 700 is input to the learned machine learning model, whether or not an abnormal region is included on the pathology slide image 700 may be output. In another example, when the pathology slide image 700 is input to the learned machine learning model, whether a specific region on the pathology slide image 700 corresponds to a normal region or an abnormal region may be output. In another example, when the pathology slide image 700 is input to the learned machine learning model, abnormal scores for a plurality of regions included in the pathology slide image 700 may be output.

도 8은 본 개시의 일 실시예에 따른 염색 이상(abnormality)이 발생한 병리 슬라이드 이미지(800)의 예시를 나타내는 도면이다. 도시된 바와 같이, 병리 슬라이드 이미지(800)의 적어도 일부 영역에 대한 염색 이상이 발생할 수 있다. 다시 말해, 병리 슬라이드 이미지(800)의 적어도 일부 영역에 대한 색상이 분석에 부적합한 형태의 색상으로 염색될 수 있다. 즉, 병리 슬라이드 이미지(800) 내의 영역 중 미리 정해진 기준과 상이하게 염색된 색상을 갖는 영역은 오류 정보를 포함하는 이상 영역(810)으로 결정될 수 있다. 이와 같이, 이상 영역(810)을 포함하는 병리 슬라이드 이미지(800)를 이용하여 분석 알고리즘 등을 개발하는 경우, 분석 알고리즘의 성능이 낮아질 수 있다. 따라서, 다양한 병리 슬라이드 이미지 중 이와 같이 이상 영역(810)을 포함하는 병리 슬라이드 이미지(800)를 구분하고 추출하는 것은 중요하다. 즉, 이러한 이상 영역(810) 및/또는 이상 영역(810)을 포함하는 병리 슬라이드 이미지(800)를 검출하기 위한 기계학습 모델(예: 이상 영역 검출 모델)이 요구될 수 있다.8 is a diagram illustrating an example of a pathology slide image 800 in which a staining abnormality occurs according to an embodiment of the present disclosure. As shown, abnormal staining may occur in at least some regions of the pathology slide image 800 . In other words, the color of at least a portion of the pathology slide image 800 may be stained with a color unsuitable for analysis. That is, among the areas in the pathology slide image 800, a region having a color that is different from a predetermined standard may be determined as an abnormal region 810 including error information. In this way, when an analysis algorithm or the like is developed using the pathology slide image 800 including the abnormal region 810, the performance of the analysis algorithm may be lowered. Accordingly, it is important to classify and extract the pathology slide image 800 including the abnormal region 810 among various pathology slide images. That is, a machine learning model (eg, an abnormal region detection model) for detecting the abnormal region 810 and/or the pathology slide image 800 including the abnormal region 810 may be required.

일 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델을 학습시키기 위해 적어도 일부 영역에 염색 이상이 발생한 병리 슬라이드 이미지(800)를 학습 데이터로서 생성할 수 있다. 예를 들어, 프로세서는 병리 슬라이드 이미지(800)의 적어도 일부 영역에 색변환 함수를 적용함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 학습 데이터를 생성할 수 있다. 여기서, 색변환 함수는 다양하게 생성될 수 있으며, 예를 들어, 휴(hue)를 임의의 값으로 조정하거나, 병리 슬라이드 이미지(800)의 적어도 일부 영역에 대한 RGB 벡터에 임의의 행렬을 곱해 프로젝션하여 생성될 수 있다. 그리고 나서, 프로세서는 생성된 학습 데이터를 이용하여 기계학습 모델을 학습시킬 수 있다. 다시 말해, 기계학습 모델은 병리 슬라이드 이미지(800) 내의 영역 중 분석에 부적합한 색상으로 염색된 이상 영역(810)을 검출하도록 학습될 수 있다. 도시된 예에서, 이상 영역(810)은 도시된 형태로 한정되지 않으며, 이상 영역은 다른 임의의 모양으로 구성될 수 있다.According to an embodiment, a processor (eg, the processor 220 of FIG. 2 ) may generate a pathology slide image 800 in which a staining abnormality occurs in at least a partial region as training data in order to train a machine learning model. . For example, the processor may generate an abnormal region by applying a color conversion function to at least a partial region of the pathology slide image 800 and generate training data including the generated abnormal region. Here, the color conversion function may be generated in various ways, and, for example, a hue is adjusted to an arbitrary value, or an RGB vector for at least a partial region of the pathology slide image 800 is multiplied by an arbitrary matrix to be projected. can be created by Then, the processor may train a machine learning model using the generated training data. In other words, the machine learning model may be trained to detect an abnormal region 810 stained with a color inappropriate for analysis among regions in the pathology slide image 800 . In the illustrated example, the abnormal region 810 is not limited to the illustrated form, and the abnormal region may be configured in any other shape.

일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(800) 내의 이상 영역(810)을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역(810)을 검출할 수 있다. 병리 슬라이드 이미지(800)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(800)에 포함된 이상 영역(810) 및 이상 영역(810)의 유형('염색 이상') 등을 나타내는 텍스트(820) 등이 출력될 수 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지(800)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(800) 상에 염색 이상이 발생한 이상 영역이 포함되어 있는지 여부가 출력될 수 있다. 다른 예에서, 병리 슬라이드 이미지(800)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(800) 상의 특정 영역이 정상 영역 또는 이상 영역에 해당하는지 여부가 출력될 수 있다. 또 다른 예에서, 병리 슬라이드 이미지(800)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(800)에 포함된 복수의 영역에 대한 이상 점수가 출력될 수도 있다.According to an embodiment, the processor may detect the abnormal region 810 in the pathology slide image 800 using a machine learning model trained to detect the abnormal region 810 . When the pathology slide image 800 is input to the trained machine learning model, text indicating the abnormal region 810 included in the pathology slide image 800 and the type of the abnormal region 810 ('staining abnormality'), etc. 820) may be output, but is not limited thereto. For example, when the pathology slide image 800 is input to the learned machine learning model, whether an abnormal region in which a staining abnormality is included on the pathology slide image 800 may be output. In another example, when the pathology slide image 800 is input to the learned machine learning model, whether a specific region on the pathology slide image 800 corresponds to a normal region or an abnormal region may be output. In another example, when the pathology slide image 800 is input to the trained machine learning model, abnormal scores for a plurality of regions included in the pathology slide image 800 may be output.

도 9는 본 개시의 일 실시예에 따른 이물질을 포함하고, 분석 대상 조직이 없는 병리 슬라이드 이미지(900)의 예시를 나타내는 도면이다. 도시된 바와 같이, 병리 슬라이드 이미지(900)의 적어도 일부 영역에 이물질이 존재할 수 있으며, 동일하거나 상이한 적어도 일부 영역에 분석 대상 조직이 포함되지 않을 수 있다. 다시 말해, 병리 슬라이드 이미지(900)의 적어도 일부 영역에 분석에 부적합한 형태의 점, 선, 곡선, 면, 체 등의 도형 및/또는 도형을 포함하는 이미지가 포함될 수 있으며, 공백(blank) 등으로 인해 분석 대상 조직이 포함되지 않을 수 있다. 즉, 병리 슬라이드 이미지(900) 내의 영역 중 임의의 다른 점, 선, 곡선 등을 포함하는 영역 및/또는 분석 대상 조직이 포함되지 않은 영역은 이상 영역(910, 920)으로 결정될 수 있다. 이와 같이 이상 영역(910, 920)을 포함하는 병리 슬라이드 이미지(900)를 이용하여 분석 알고리즘 등을 개발하는 경우, 분석 알고리즘의 성능이 낮아질 수 있다. 따라서, 다양한 병리 슬라이드 이미지 중 이와 같이 이상 영역(910)을 포함하는 병리 슬라이드 이미지(900)를 구분하고 추출하는 것은 중요하다. 즉, 이러한 이상 영역(910) 및/또는 이상 영역(910)을 포함하는 병리 슬라이드 이미지(900)를 검출하기 위한 기계학습 모델(예: 이상 영역 검출 모델)이 요구될 수 있다.FIG. 9 is a diagram illustrating an example of a pathology slide image 900 including a foreign material and having no tissue to be analyzed, according to an embodiment of the present disclosure. As illustrated, a foreign substance may be present in at least some regions of the pathology slide image 900, and the tissue to be analyzed may not be included in at least some regions of the same or different regions. In other words, at least a portion of the pathology slide image 900 may include figures and/or images including figures, such as dots, lines, curves, planes, and bodies, which are inappropriate for analysis, and may be blank. Therefore, the tissue to be analyzed may not be included. That is, a region including any other point, line, curve, etc. among regions in the pathology slide image 900 and/or a region not including the tissue to be analyzed may be determined as the abnormal regions 910 and 920 . In this way, when an analysis algorithm or the like is developed using the pathology slide image 900 including the abnormal regions 910 and 920, the performance of the analysis algorithm may deteriorate. Accordingly, it is important to classify and extract the pathology slide image 900 including the abnormal region 910 among various pathology slide images. That is, a machine learning model (eg, an abnormal region detection model) for detecting the abnormal region 910 and/or the pathology slide image 900 including the abnormal region 910 may be required.

일 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델을 학습시키기 위해 적어도 일부 영역에 이물질이 포함되거나/포함되고, 분석 대상 조직이 존재하지 않는 병리 슬라이드 이미지(900)를 학습 데이터로서 생성할 수 있다. 예를 들어, 프로세서는 병리 슬라이드 이미지(900) 내의 적어도 일부 영역에 특정 색상 또는 특정 밝기 중 적어도 하나를 적용함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 학습 데이터를 생성할 수 있다. 다른 예에서, 프로세서는 병리 슬라이드 이미지(900)의 적어도 일부 영역에 도형을 삽입합으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 학습 데이터를 생성할 수 있다. 여기서, 프로세서는 임의의 두께, 색상 등을 가지는 점, 선, 면 등의 도형을 포함하는 이미지를 병리 슬라이드 이미지(900)에 합성하거나, 일부 영역을 흰색 영역으로 변환하여 이상 영역을 포함하는 학습 데이터를 생성할 수 있다. 그리고 나서, 프로세서는 생성된 학습 데이터를 이용하여 기계학습 모델을 학습시킬 수 있다. 다시 말해, 기계학습 모델은 병리 슬라이드 이미지(800) 내의 영역 중 이물질이 존재하거나, 분석 대상 조직이 포함되지 않은 이상 영역(910)을 검출하도록 학습될 수 있다. 도시된 예에서, 이상 영역(910)은 도시된 형태로 한정되지 않으며, 이상 영역은 다른 임의의 모양으로 구성될 수 있다. 또한, 이상 영역(920)은 직선인 것으로 도시되었으나, 이에 한정되지 않으며, 곡선, 점 등의 다른 이미지로 구성될 수 있다.According to one embodiment, the processor (eg, the processor 220 of FIG. 2 ) includes a foreign material/included in at least a part of the pathology slide image in which the tissue to be analyzed is not present in order to train the machine learning model. 900 may be generated as learning data. For example, the processor may generate an abnormal region by applying at least one of a specific color and a specific brightness to at least a partial region in the pathology slide image 900 and generate training data including the generated abnormal region. In another example, the processor may generate an abnormal region by inserting a figure into at least a partial region of the pathology slide image 900 and generate training data including the generated abnormal region. Here, the processor synthesizes images including shapes such as points, lines, and planes having arbitrary thickness and color into the pathology slide image 900, or converts some areas into white areas to learn data including abnormal areas. can create Then, the processor may train a machine learning model using the generated training data. In other words, the machine learning model may be trained to detect an abnormal region 910 in which a foreign substance is present or a tissue to be analyzed is not included in the region of the pathology slide image 800 . In the illustrated example, the abnormal region 910 is not limited to the illustrated form, and the abnormal region may be configured in any other shape. In addition, the abnormal area 920 is shown as a straight line, but is not limited thereto, and may be configured with other images such as a curve or a dot.

일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(900) 내의 이상 영역(910, 920)을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역(910, 920)을 검출할 수 있다. 병리 슬라이드 이미지(900)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(900)에 포함된 이상 영역(910, 920) 및 이상 영역(910, 920)의 유형('이물질 있음', '조직 없음') 등을 나타내는 텍스트(930, 940) 등이 출력될 수 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지(900)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(900) 상에 이물질이 포함되어 있는지 여부 및/또는 분석 대상 조직이 존재하는지 여부가 출력될 수 있다. 다른 예에서, 병리 슬라이드 이미지(900)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(900) 상의 특정 영역이 정상 영역 또는 이상 영역에 해당하는지 여부가 출력될 수 있다. 또 다른 예에서, 병리 슬라이드 이미지(900)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(900)에 포함된 복수의 영역에 대한 이상 점수가 출력될 수도 있다.According to an embodiment, the processor may detect the abnormal regions 910 and 920 in the pathology slide image 900 by using a machine learning model learned to detect the abnormal regions 910 and 920 . When the pathology slide image 900 is input to the learned machine learning model, the abnormal regions 910 and 920 included in the pathology slide image 900 and the types of abnormal regions 910 and 920 ('foreign matter present', ' Texts 930 and 940 indicating 'no organization') may be output, but are not limited thereto. For example, when the pathology slide image 900 is input to the learned machine learning model, whether a foreign substance is included on the pathology slide image 900 and/or whether a tissue to be analyzed exists may be output. . In another example, when the pathology slide image 900 is input to the learned machine learning model, whether a specific region on the pathology slide image 900 corresponds to a normal region or an abnormal region may be output. In another example, when the pathology slide image 900 is input to the trained machine learning model, abnormal scores for a plurality of regions included in the pathology slide image 900 may be output.

도 10은 본 개시의 일 실시예에 따른 조직 접힘 현상이 발생한 병리 슬라이드 이미지(1000)의 예시를 나타내는 도면이다. 도시된 바와 같이, 병리 슬라이드 이미지(1000)의 적어도 일부 영역에 대한 조직 접힘 현상이 발생할 수 있다. 다시 말해, 병리 슬라이드 이미지(1000)의 적어도 일부 영역이 중첩되어 표시될 수 있다. 즉, 병리 슬라이드 이미지(1000) 내의 영역 중 조직 접힘 현상이 발생한 영역은 오류 정보를 포함하는 이상 영역으로 결정될 수 있다. 이와 같이 이상 영역을 포함하는 병리 슬라이드 이미지(1000)를 이용하여 분석 알고리즘 등을 개발하는 경우, 분석 알고리즘의 성능이 낮아질 수 있다. 따라서, 다양한 병리 슬라이드 이미지 중 이와 같이 이상 영역(1010)을 포함하는 병리 슬라이드 이미지(1000)를 구분하고 추출하는 것은 중요하다. 즉, 이러한 이상 영역(1010) 및/또는 이상 영역(1010)을 포함하는 병리 슬라이드 이미지(1000)를 검출하기 위한 기계학습 모델(예: 이상 영역 검출 모델)이 요구될 수 있다.10 is a diagram illustrating an example of a pathology slide image 1000 in which tissue folding occurs according to an embodiment of the present disclosure. As shown, tissue folding may occur in at least a partial region of the pathology slide image 1000 . In other words, at least some areas of the pathology slide image 1000 may be overlapped and displayed. That is, a region in which tissue folding occurs among regions in the pathology slide image 1000 may be determined as an abnormal region including error information. In this way, when an analysis algorithm or the like is developed using the pathology slide image 1000 including the abnormal region, the performance of the analysis algorithm may deteriorate. Therefore, it is important to classify and extract the pathology slide image 1000 including the abnormal region 1010 among various pathology slide images. That is, a machine learning model (eg, an abnormal region detection model) for detecting the abnormal region 1010 and/or the pathology slide image 1000 including the abnormal region 1010 may be required.

일 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델을 학습시키기 위해 적어도 일부 영역에 조직 접힘 현상이 발생한 병리 슬라이드 이미지(1000)를 학습 데이터로서 생성할 수 있다. 예를 들어, 프로세서는 병리 슬라이드 이미지(1000)의 적어도 일부 영역을 제1 부분 영역 및 제2 부분 영역으로 분할하고, 제1 부분 영역의 일부를 제2 부분 영역의 일부와 중첩함으로써 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 학습 데이터를 생성할 수 있다. 예를 들어, 프로세서는 병리 슬라이드 이미지(1000)의 적어도 일부 영역을 직선 또는 곡선을 경계로 분할하고, 임의의 투명도로 중첩하여 조직 접힘 현상을 생성할 수 있다. 이 때, 중첩되는 영역의 넓이는 임의로 결정될 수 있다. 그리고 나서, 프로세서는 생성된 학습 데이터를 이용하여 기계학습 모델을 학습시킬 수 있다. 다시 말해, 기계학습 모델은 병리 슬라이드 이미지(1000) 내의 영역 중 조직 접힘 현상이 발생한 이상 영역(1010)을 검출하도록 학습될 수 있다. 도시된 예에서, 병리 슬라이드 이미지(1000)는 직선을 경계로 세부 영역으로 분할된 것으로 도시되었으나, 이에 한정되지 않으며, 곡선을 경계로 분할될 수도 있다.According to an embodiment, a processor (eg, the processor 220 of FIG. 2 ) may generate, as training data, a pathology slide image 1000 in which a tissue folding occurs in at least a partial region in order to train a machine learning model. there is. For example, the processor generates an abnormal region by dividing at least a partial region of the pathology slide image 1000 into a first partial region and a second partial region, and overlapping a portion of the first partial region with a portion of the second partial region. and may generate learning data including the generated abnormal region. For example, the processor may divide at least a partial region of the pathology slide image 1000 with a straight line or curved boundary, and overlap the image with an arbitrary transparency to generate a tissue folding phenomenon. In this case, the width of the overlapping region may be arbitrarily determined. Then, the processor may train a machine learning model using the generated training data. In other words, the machine learning model may be trained to detect an abnormal region 1010 in which tissue folding occurs among regions in the pathology slide image 1000 . In the illustrated example, the pathology slide image 1000 is shown as being divided into detailed regions with a straight line as a boundary, but is not limited thereto and may be divided with a curved boundary.

일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(1000) 내의 이상 영역을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역을 검출할 수 있다. 병리 슬라이드 이미지(1000)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1000)에 포함된 이상 영역 및 이상 영역의 유형('조직 접힘') 등을 나타내는 텍스트 등이 출력될 수 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지(1000)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1000) 상에 조직 접힘 현상이 발생한 이상 영역이 포함되어 있는지 여부가 출력될 수 있다. 다른 예에서, 병리 슬라이드 이미지(1000)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1000) 상의 특정 영역이 정상 영역 또는 이상 영역에 해당하는지 여부가 출력될 수 있다. 또 다른 예에서, 병리 슬라이드 이미지(1000)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1000)에 포함된 복수의 영역에 대한 이상 점수가 출력될 수도 있다.도 11은 본 개시의 일 실시예에 따른 틸팅 효과(tilting effect)가 발생한 병리 슬라이드 이미지(1100)의 예시를 나타내는 도면이다. 도시된 바와 같이, 병리 슬라이드 이미지(1100)의 적어도 일부 영역에 대한 틸팅 효과가 발생할 수 있다. 다시 말해, 병리 슬라이드 이미지(1100)의 적어도 일부 영역에 대한 모양, 각도, 위치 등의 변경이 발생할 수 있다. 즉, 병리 슬라이드 이미지(1100) 내의 영역 중 모양, 각도, 위치 등의 변경이 발생한 영역은 오류 정보를 포함하는 이상 영역으로 결정될 수 있다. 이와 같이 이상 영역을 포함하는 병리 슬라이드 이미지(1100)를 이용하여 분석 알고리즘 등을 개발하는 경우, 분석 알고리즘의 성능이 낮아질 수 있다. 따라서, 다양한 병리 슬라이드 이미지 중 이와 같이 이상 영역(1110)을 포함하는 병리 슬라이드 이미지(1100)를 구분하고 추출하는 것은 중요하다. 즉, 이러한 이상 영역(1110) 및/또는 이상 영역(1110)을 포함하는 병리 슬라이드 이미지(1100)를 검출하기 위한 기계학습 모델(예: 이상 영역 검출 모델)이 요구될 수 있다.According to an embodiment, the processor may detect the abnormal region in the pathology slide image 1000 by using a machine learning model learned to detect the abnormal region. When the pathology slide image 1000 is input to the learned machine learning model, text indicating the abnormal region included in the pathology slide image 1000 and the type of abnormal region ('tissue folding') may be output. Not limited to this. For example, when the pathology slide image 1000 is input to the learned machine learning model, whether or not an abnormal region in which tissue folding occurs is included in the pathology slide image 1000 may be output. In another example, when the pathology slide image 1000 is input to the learned machine learning model, whether a specific region on the pathology slide image 1000 corresponds to a normal region or an abnormal region may be output. In another example, when the pathology slide image 1000 is input to the learned machine learning model, abnormality scores for a plurality of regions included in the pathology slide image 1000 may be output. FIG. 11 is a diagram of the present disclosure. It is a diagram showing an example of a pathology slide image 1100 in which a tilting effect occurs according to an exemplary embodiment. As illustrated, a tilting effect may occur on at least a partial region of the pathology slide image 1100 . In other words, the shape, angle, position, etc. of at least a portion of the pathology slide image 1100 may be changed. That is, among regions in the pathology slide image 1100, a region in which a change in shape, angle, position, etc. has occurred may be determined as an abnormal region including error information. In this way, when an analysis algorithm or the like is developed using the pathology slide image 1100 including the abnormal region, the performance of the analysis algorithm may deteriorate. Therefore, it is important to classify and extract the pathology slide image 1100 including the abnormal region 1110 among various pathology slide images. That is, a machine learning model (eg, an abnormal region detection model) for detecting the abnormal region 1110 and/or the pathology slide image 1100 including the abnormal region 1110 may be required.

일 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델을 학습시키기 위해 적어도 일부 영역에 틸팅 효과가 발생한 병리 슬라이드 이미지(1100)를 학습 데이터로서 생성할 수 있다. 예를 들어, 프로세서는 병리 슬라이드 이미지(1100)의 적어도 일부 영역을 복수의 부분 영역으로 분할하고, 분할된 복수의 부분 영역의 각각의 위치, 모양, 크기 또는 각도 중 적어도 하나가 변경된 영역을 포함한 이미지를 생성하고, 생성된 이미지를 결합함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 학습 데이터를 생성할 수 있다. 다시 말해, 프로세서는 병리 슬라이드 이미지(1100)의 임의의 영역을 여러 조각으로 분할하고, 각 조각의 모양을 변형하거나 위치를 변형하여 다시 이어 붙이거나 포개어 붙이는 등으로 각 조각의 경계 부분이 연속되지 않거나 빈공간을 포함하는 학습 데이터를 생성할 수 있다. 그리고 나서, 프로세서는 생성된 학습 데이터를 이용하여 기계학습 모델을 학습시킬 수 있다. 즉, 기계학습 모델은 병리 슬라이드 이미지(1100) 내의 영역 중 틸팅 효과가 발생한 이상 영역(1110)을 검출하도록 학습될 수 있다.According to an embodiment, a processor (eg, the processor 220 of FIG. 2 ) may generate, as learning data, a pathology slide image 1100 in which a tilting effect occurs in at least a partial region in order to train a machine learning model. . For example, the processor divides at least a partial region of the pathology slide image 1100 into a plurality of partial regions, and an image including regions in which at least one of the position, shape, size, or angle of each of the divided plurality of partial regions is changed. By generating and combining the generated images, an abnormal region may be generated, and learning data including the generated abnormal region may be generated. In other words, the processor divides an arbitrary area of the pathology slide image 1100 into several pieces, transforms the shape or position of each piece, and then attaches them again or overlaps them so that the boundary of each piece is not continuous or Learning data including blank spaces may be generated. Then, the processor may train a machine learning model using the generated training data. That is, the machine learning model may be trained to detect an abnormal region 1110 in which a tilting effect has occurred among regions in the pathology slide image 1100 .

일 실시예에 따르면, 프로세서는 병리 슬라이드 이미지(1100) 내의 이상 영역을 검출하도록 학습된 기계학습 모델을 이용하여 이상 영역을 검출할 수 있다. 병리 슬라이드 이미지(1100)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1100)에 포함된 이상 영역 및 이상 영역의 유형('틸팅') 등을 나타내는 텍스트 등이 출력될 수 있으나, 이에 한정되지 않는다. 예를 들어, 병리 슬라이드 이미지(1100)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1100) 상에 틸팅 효과가 발생한 이상 영역이 포함되어 있는지 여부가 출력될 수 있다. 다른 예에서, 병리 슬라이드 이미지(1100)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1100) 상의 특정 영역이 정상 영역 또는 이상 영역에 해당하는지 여부가 출력될 수 있다. 또 다른 예에서, 병리 슬라이드 이미지(1100)를 학습된 기계학습 모델에 입력하는 경우, 병리 슬라이드 이미지(1100)에 포함된 복수의 영역에 대한 이상 점수가 출력될 수도 있다.According to an embodiment, the processor may detect the abnormal region in the pathology slide image 1100 by using a machine learning model learned to detect the abnormal region. When the pathology slide image 1100 is input to the learned machine learning model, text indicating the abnormal region included in the pathology slide image 1100 and the type ('tilting') of the abnormal region may be output. Not limited. For example, when the pathology slide image 1100 is input to the learned machine learning model, whether or not an abnormal region in which a tilting effect occurs may be included in the pathology slide image 1100 may be output. In another example, when the pathology slide image 1100 is input to the learned machine learning model, whether a specific region on the pathology slide image 1100 corresponds to a normal region or an abnormal region may be output. In another example, when the pathology slide image 1100 is input to the trained machine learning model, abnormal scores for a plurality of regions included in the pathology slide image 1100 may be output.

도 7 내지 도 11에서는 해상도가 미리 정해진 기준 이하인 이상 영역, 분석에 부적합한 형태의 색상으로 염색된 이상 영역, 이물질이 포함된 이상 영역, 분석 대상 조직이 포함된 이상 영역, 조직 접힘 현상이 발생한 이상 영역, 틸팅 효과가 발생한 이상 영역 등을 추출하기 위한 각각의 기계학습 모델이 존재하는 것으로 구분되어 상술되었으나, 이에 한정되지 않는다. 예를 들어, 하나의 유형의 이상 영역을 검출하기 위한 하나의 기계학습 모델이 존재하거나, 복수의 유형의 이상 영역을 검출하기 위한 하나의 기계학습 모델이 존재할 수 있다.In FIGS. 7 to 11, an abnormal region having a resolution below a predetermined standard, an abnormal region stained with a color inappropriate for analysis, an abnormal region containing a foreign substance, an abnormal region containing a tissue to be analyzed, and an abnormal region in which tissue folding occurs. , each machine learning model for extracting an abnormal region in which a tilting effect occurred has been described above, but is not limited thereto. For example, one machine learning model for detecting one type of abnormal region may exist, or one machine learning model for detecting a plurality of types of abnormal region may exist.

도 12는 본 개시의 일 실시예에 따른 기계학습 모델의 학습 방법(1200)을 나타내는 흐름도이다. 일 실시예에 따르면, 기계학습 모델의 학습 방법(1200)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서 및/또는 사용자 단말의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 기계학습 모델의 학습 방법(1200)은 프로세서가 하나 이상의 제2 병리 슬라이드 이미지를 수신함으로써 개시될 수 있다(S1210).12 is a flowchart illustrating a method 1200 for learning a machine learning model according to an embodiment of the present disclosure. According to an embodiment, the machine learning model learning method 1200 may be performed by a processor (eg, at least one processor of an information processing system and/or at least one processor of a user terminal). As shown, the learning method 1200 of the machine learning model may be started when the processor receives one or more second pathology slide images (S1210).

프로세서는 수신된 하나 이상의 제2 병리 슬라이드 이미지에 포함된 복수의 영역을 학습된 기계학습 모델에 입력하여, 복수의 영역에 대한 이상 점수를 출력할 수 있다(S1220). 또한, 프로세서는 출력된 이상 점수를 기초로, 복수의 영역 중 적어도 일부를 추출할 수 있다(S1230). 예를 들어, 프로세서는 이상 점수가 높은 상위 n개(n은 자연수)의 병리 슬라이드 이미지를 추출할 수 있다. 다른 예에서, 프로세서는 이상 점수가 미리 정해진 점수 이상인 병리 슬라이드 이미지들을 추출할 수도 있다.The processor may output abnormal scores for the plurality of regions by inputting a plurality of regions included in the one or more received second pathology slide images to the learned machine learning model (S1220). Also, the processor may extract at least some of the plurality of regions based on the output abnormality score (S1230). For example, the processor may extract top n (n is a natural number) pathology slide images having high abnormality scores. In another example, the processor may extract pathology slide images having an abnormality score greater than or equal to a predetermined score.

프로세서는 추출된 복수의 영역 중 적어도 일부를 제2 세트의 학습 데이터에 포함시킬 수 있다(S1240). 또한, 프로세서는 제2 세트의 학습 데이터를 기초로 기계학습 모델을 학습시킬 수 있다(S1250). 상술된 바와 같은 과정을 통해, 프로세서는 자동적으로(automatic) 및/또는 반자동적으로(semi-automatic) 학습 데이터를 지속적으로 생성할 수 있다. 예를 들어, 프로세서는 상술된 과정을 통해 추가적인 학습 데이터를 자동적으로 생성할 수 있다. 다른 예에서, 프로세서는 상술된 과정을 통해 생성된 학습 데이터를 확인하거나 검토하는 사용자 입력을 수신하여 추가적인 학습 데이터를 반자동적으로 생성할 수 있다.The processor may include at least some of the plurality of extracted regions in the second set of training data (S1240). In addition, the processor may train a machine learning model based on the second set of training data (S1250). Through the process as described above, the processor may continuously generate learning data automatically and/or semi-automatically. For example, the processor may automatically generate additional learning data through the above-described process. In another example, the processor may semi-automatically generate additional training data by receiving user input confirming or reviewing the training data generated through the process described above.

도 13는 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 관심 영역을 검출하는 방법(1300)을 나타내는 흐름도이다. 일 실시예에 따르면, 관심 영역을 검출하는 방법(1300)은 프로세서(예를 들어, 정보 처리 시스템의 적어도 하나의 프로세서 및/또는 사용자 단말의 적어도 하나의 프로세서)에 의해 수행될 수 있다. 도시된 바와 같이, 관심 영역을 검출하는 방법(1300)은 프로세서가 하나 이상의 병리 슬라이드 이미지를 수신함으로써 개시될 수 있다(S1310). 여기서, 병리 슬라이드 이미지는 병리 슬라이드 전체 및/또는 패치와 같은 병리 슬라이드 이미지 내의 일부 영역을 포함할 수 있다.13 is a flowchart illustrating a method 1300 of detecting a region of interest in a pathology slide image according to an embodiment of the present disclosure. According to an embodiment, the method 1300 of detecting a region of interest may be performed by a processor (eg, at least one processor of an information processing system and/or at least one processor of a user terminal). As shown, the method 1300 of detecting a region of interest may be initiated by a processor receiving one or more pathology slide images (S1310). Here, the pathology slide image may include the entire pathology slide and/or a partial region within the pathology slide image, such as a patch.

병리 슬라이드 이미지를 수신하는 경우, 프로세서는 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다(S1320). 프로세서는 수신된 하나 이상의 병리 슬라이드 이미지에 대한 이미지 처리를 수행함으로써, 관심 영역을 검출할 수 있다. 일 실시예에 따르면, 이러한 관심 영역을 검출하는데 있어서, 하나 이상의 병리 슬라이드 이미지에 포함된 복수의 픽셀의 특징에 대한 수치 및 특징에 대한 임계치가 이용될 수 있다. 예를 들어, 프로세서는 복수의 픽셀에 대한 색상 및/또는 강도(intensity)에 대한 thresholding 기법(예를 들어, Otsu thresholding 기법 등)을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 다른 실시예에서, 프로세서는 하나 이상의 병리 슬라이드 이미지에 포함된 하나 이상의 객체의 컨투어를 검출함으로써, 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 여기서, 이러한 컨투어를 검출하는 기법은, 미리 알려진 임의의 세그멘테이션(segmentation) 기법이 사용될 수 있는데, 예를 들어, active contouring 기법 등과 같은 기계학습 기법이 사용될 수 있으나, 이에 한정되지 않는다. 또 다른 실시예에 따르면, 프로세서는 기계학습 모델을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 추가적으로 또는 대안적으로, 프로세서는 하나 이상의 병리 슬라이드 이미지 내에 포함된 관심 영역에 대한 어노테이션 정보를 이용하여, 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. When receiving a pathology slide image, the processor may detect a region of interest in one or more received pathology slide images (S1320). The processor may detect a region of interest by performing image processing on one or more received pathology slide images. According to an embodiment, in detecting such a region of interest, values of features of a plurality of pixels included in one or more pathology slide images and threshold values for the features may be used. For example, the processor may detect a region of interest in one or more pathology slide images by using a thresholding technique (eg, an Otsu thresholding technique) for colors and/or intensities of a plurality of pixels. In another embodiment, the processor may detect a region of interest in one or more pathology slide images by detecting contours of one or more objects included in one or more pathology slide images. Here, as a technique for detecting such a contour, any previously known segmentation technique may be used. For example, a machine learning technique such as an active contouring technique may be used, but is not limited thereto. According to another embodiment, the processor may detect a region of interest in one or more pathology slide images using a machine learning model. Additionally or alternatively, the processor may detect a region of interest in the one or more pathology slide images by using annotation information about the region of interest included in the one or more pathology slide images.

도 14는 다른 실시예에 따른 기계학습 모델(1400)의 예시를 나타낸 도면이다. 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델(1400)을 이용하여 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 추출할 수 있다. 도시된 바와 같이, 기계학습 모델(1400)은 병리 슬라이드 이미지의 적어도 일부 영역(1410)을 수신하고, 수신된 병리 슬라이드 이미지의 적어도 일부 영역(1410) 내의 관심 영역(ROI, 1420)을 검출할 수 있다. 여기서, 관심 영역은 병리 슬라이드 이미지에 대한 임의의 처리 작업(예: 분석 작업, 예측 작업 등)을 위해 필요하거나 사용될 대상 영역으로서, 병리 슬라이드 이미지 내의 임의의 영역을 지칭할 수 있다. 일 실시예에서, 관심 영역은 이러한 작업 등을 위해 필요하거나 사용될, 병리 슬라이드 이미지 내의 하나 이상의 객체를 포함한 영역을 지칭할 수 있다. 예를 들어, 이러한 하나 이상의 객체는 종양 세포, 면역 세포, 조직(tissue) 등을 포함할 수 있으나, 이에 한정되지 않는다. 본 개시에서, 기계학습 모델(1400)은, 하나 이상의 병리 슬라이드 이미지 내에 포함된 복수의 픽셀의 각각에 대한 레이블링을 수행하도록 학습된 컨볼루션(convolution) 기반의 세그멘테이션 모델을 포함할 수 있다.14 is a diagram illustrating an example of a machine learning model 1400 according to another embodiment. A processor (eg, processor 220 of FIG. 2 ) may extract a region of interest in one or more received pathology slide images using the machine learning model 1400 . As shown, the machine learning model 1400 may receive at least a partial region 1410 of the pathology slide image and detect a region of interest (ROI) 1420 within the received at least partial region 1410 of the pathology slide image. there is. Here, the region of interest is a target region required or used for any processing operation (eg, analysis operation, prediction operation, etc.) on the pathology slide image, and may refer to an arbitrary area within the pathology slide image. In one embodiment, a region of interest may refer to a region including one or more objects in the pathology slide image that is needed or used for such a task or the like. For example, one or more such objects may include, but are not limited to, tumor cells, immune cells, tissues, and the like. In the present disclosure, the machine learning model 1400 may include a convolution-based segmentation model trained to label each of a plurality of pixels included in one or more pathology slide images.

일 실시예에 따르면, 기계학습 모델(1400)은 복수의 참조 병리 슬라이드 이미지 및 복수의 참조 레이블 정보를 포함한 학습 데이터를 이용하여, 수신된 복수의 참조 병리 슬라이드 이미지 내의 관심 영역을 검출하도록 학습될 수 있다. 여기서, 복수의 참조 병리 슬라이드 이미지는 기계학습 모델(1400)의 학습 데이터로서 사용되기 위해 수집된 참조 병리 슬라이드 이미지를 지칭할 수 있다. 또한, 복수의 참조 레이블 정보는, 복수의 참조 병리 슬라이드 이미지 내의 하나 이상의 관심 영역에 대한 레이블 정보를 지칭할 수 있다. 예를 들어, 이러한 참조 레이블 정보는 복수의 참조 병리 슬라이드 이미지 내의 관심 영역에 대한 의료진의 어노테이션에 의해 생성될 수 있다. 또 다른 예로서, 참조 레이블 정보는, 기계학습 모델(1400)을 통한 관심 영역을 검출하기 전에, 참조 병리 슬라이드 이미지에 대한 이미지 처리를 수행하거나 기계학습 방법을 통해 출력된 레이블 정보를 지칭할 수 있다. According to an embodiment, the machine learning model 1400 may be trained to detect a region of interest in a plurality of received reference pathology slide images by using training data including a plurality of reference pathology slide images and a plurality of reference label information. there is. Here, the plurality of reference pathology slide images may refer to reference pathology slide images collected to be used as training data of the machine learning model 1400 . Also, the plurality of reference label information may refer to label information for one or more regions of interest in the plurality of reference pathology slide images. For example, such reference label information may be generated by a medical staff member's annotation on a region of interest in a plurality of reference pathology slide images. As another example, the reference label information may refer to label information output through a machine learning method or performing image processing on a reference pathology slide image before detecting a region of interest through the machine learning model 1400. .

일 실시예에 따르면, 프로세서는 기계학습 모델(1400)을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 하나 이상의 환자의 조직과 연관되지 않은 영역을 제외함으로써, 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 여기서, 하나 이상의 병리 슬라이드 이미지는 하나 이상의 환자와 연관될 수 있다. 또한, 기계학습 모델(1400)의 학습 데이터인, 복수의 참조 병리 슬라이드 이미지는 복수의 참조 병리 슬라이드와 연관된 복수의 환자의 조직을 포함한 영역 및 복수의 환자의 조직과 연관되지 않은 영역을 포함할 수 있다. 또한, 기계학습 모델(1400)의 학습 데이터인 참조 레이블 정보는, 상기 복수의 환자의 조직과 연관되지 않은 영역을 나타내는 정보를 포함할 수 있다. 여기서, 환자의 조직과 연관되지 않는 영역은, 병리 슬라이드 이미지 또는 참조 병리 슬라이드 이미지의 촬영 대상인 환자가 가지고 있는 조직과 연관되지 않은 임의의 영역을 지칭할 수 있는데, 예를 들어, 병리 슬라이드 이미지 또는 참조 병리 슬라이드 이미지 내에 포함된 기준 조직(reference tissue)을 나타내는 영역, 배경 영역, 마커로 표시한 영역 등을 포함할 수 있으나, 이에 한정되지 않는다. 이러한 학습 데이터를 이용하여, 기계학습 모델(1400)은 복수의 참조 병리 슬라이드 이미지 내에서, 복수의 참조 병리 슬라이드 이미지와 연관된 복수의 환자의 조직 이외의 영역을 제외하도록 학습될 수 있다. According to an embodiment, the processor may detect a region of interest in the one or more pathology slide images by excluding regions not associated with one or more patient's tissues in the one or more pathology slide images using the machine learning model 1400. . Here, one or more pathology slide images may be associated with one or more patients. In addition, the plurality of reference pathology slide images, which are learning data of the machine learning model 1400, may include a region including a plurality of patient tissues associated with the plurality of reference pathology slides and a region not associated with a plurality of patient tissues. there is. In addition, reference label information, which is learning data of the machine learning model 1400, may include information indicating a region not associated with the plurality of patient tissues. Here, the region not associated with the patient's tissue may refer to an arbitrary region not associated with the tissue of the patient, which is the target of the pathology slide image or the reference pathology slide image, for example, the pathology slide image or the reference pathology image. A region representing a reference tissue included in the pathology slide image, a background region, a region marked with a marker, and the like may be included, but is not limited thereto. Using such learning data, the machine learning model 1400 may be trained to exclude regions other than the plurality of patient tissues associated with the plurality of reference pathology slide images, from the plurality of reference pathology slide images.

일 실시예에 따르면, 기계학습 모델(1400)은 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 대한 다운 샘플링(down sample)이 수행된 이미지를 수신할 수 있다. 이에 응답하여, 기계학습 모델(1400)으로부터 다운 샘플링이 수행된 이미지 내의 관심 영역이 출력될 수 있다. 예를 들어, 프로세서는 하나 이상의 병리 슬라이드 이미지에 대한 다운 샘플링을 수행할 수 있다. 다른 예로서, 이러한 다운 샘플링이 수행된 이미지는 별도의 시스템으로부터 수신될 수 있다. 또한, 기계학습 모델(1400)의 학습 데이터인 복수의 참조 병리 슬라이드 이미지는 다운 샘플링이 수행되지 않은 병리 슬라이드 이미지일 수 있다. 이와 달리, 복수의 참조 병리 슬라이드 이미지는 다운 샘플링이 수행된 병리 슬라이드 이미지일 수 있다. According to an embodiment, the machine learning model 1400 may receive an image for which at least a partial region of one or more pathology slide images has been down-sampled. In response to this, a region of interest in the down-sampled image may be output from the machine learning model 1400 . For example, the processor may perform down sampling on one or more pathology slide images. As another example, images subjected to such downsampling may be received from a separate system. Also, the plurality of reference pathology slide images, which are training data of the machine learning model 1400, may be pathology slide images to which downsampling has not been performed. Alternatively, the plurality of reference pathology slide images may be down-sampled pathology slide images.

도 15는 병리 슬라이드 이미지(1510)에서 기준 조직(1530)이 제외된 이미지(1520)의 예시를 보여주는 도면이다. 도시된 바와 같이, 병리 슬라이드 이미지(1510)는 대상 환자의 조직(1540) 및 기준 조직(1530)을 포함할 수 있다. 예를 들어, 병리 슬라이드 이미지(1510)는, IHC(immunohistochemical)로 염색된 이미지를 지칭할 수 있다. 여기서, 기준 조직(1530)은 IHC로 미리 염색해둔 다른 사람에서 추출된, 대상 환자의 조직에 대응하는 조직(예: in-house control 조직 등)을 지칭할 수 있다. FIG. 15 is a diagram showing an example of an image 1520 from which the reference tissue 1530 is excluded from the pathology slide image 1510 . As shown, the pathology slide image 1510 may include a target patient's tissue 1540 and a reference tissue 1530 . For example, the pathology slide image 1510 may refer to an image stained with immunohistochemical (IHC). Here, the reference tissue 1530 may refer to a tissue (eg, an in-house control tissue, etc.) corresponding to a tissue of a target patient extracted from another person previously stained with IHC.

일 실시예에 따르면, 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델(예: 기계학습 모델(1400))을 이용하여 하나 이상의 병리 슬라이드 이미지(1510) 내의 기준 조직(1530)을 나타내는 영역을 제외함으로써, 하나 이상의 병리 슬라이드 이미지 내의 관심 영역(1550)을 검출할 수 있다. 예를 들어, 검출된 관심 영역(1550)을 포함한 이미지(1520)가 생성될 수 있다. 이 경우, 하나 이상의 병리 슬라이드 이미지 및 기계학습 모델의 학습 데이터로 사용될 복수의 병리 슬라이드 이미지의 각각은 IHC(immunohistochemical)로 염색된 이미지일 수 있다. 여기서, 기준 조직은 IHC로 염색된 조직을 현미경을 통해 보거나 병리 슬라이드 이미지로 생성되기 이전에, 대상 환자의 염색된 조직 주변에 배치될 수 있다. 이러한 구성 하에서, 기준 조직은 대상 환자의 염색된 조직의 비교 대상이 되어, 대상 환자의 염색이 적절히 이루어졌는지 평가하거나 특정 목적/분석/예측을 위해 사용될 수도 있다. According to one embodiment, a processor (eg, processor 220 of FIG. 2 ) uses a machine learning model (eg, machine learning model 1400 ) to generate reference tissue 1530 in one or more pathology slide images 1510 . ), it is possible to detect a region of interest 1550 in one or more pathology slide images. For example, an image 1520 including the detected region of interest 1550 may be generated. In this case, each of the at least one pathology slide image and the plurality of pathology slide images to be used as training data of the machine learning model may be an image stained with immunohistochemical (IHC). Here, the reference tissue may be placed around the stained tissue of the target patient before the IHC-stained tissue is viewed through a microscope or generated as a pathology slide image. Under this configuration, the reference tissue becomes a target for comparison with the stained tissue of the target patient, and may be used to evaluate whether the target patient has been properly stained or used for a specific purpose/analysis/prediction.

도 16은 기계학습 모델(1610)을 통해 추출된 병리 슬라이드 이미지의 특징(1640)을 이용하여 관심 영역(1650)이 추출되는 방법의 예시를 나타내는 도면이다. 프로세서(예를 들어, 도 2의 프로세서(220))는 기계학습 모델(1610)을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 하나 이상의 객체에 대한 특징을 추출할 수 있다. 도시된 바와 같이, 기계학습 모델(1610)은 병리 슬라이드 이미지의 적어도 일부 영역(1630)을 수신하고, 병리 슬라이드 이미지 내에 포함된 하나 이상의 객체에 대한 특징(1640)을 출력할 수 있다. 여기서, 하나 이상의 객체는, 병리 슬라이드 이미지에 포함된 임의의 세포, 조직, 구조 등을 지칭할 수 있으나, 이에 한정되지 않는다. 16 is a diagram illustrating an example of a method of extracting a region of interest 1650 using a feature 1640 of a pathology slide image extracted through a machine learning model 1610. A processor (eg, processor 220 of FIG. 2 ) may extract features of one or more objects in one or more pathology slide images using the machine learning model 1610 . As shown, the machine learning model 1610 may receive at least a partial region 1630 of the pathology slide image and output features 1640 of one or more objects included in the pathology slide image. Here, the one or more objects may refer to any cell, tissue, structure, etc. included in the pathology slide image, but is not limited thereto.

일 실시예에 따르면, 프로세서는 추출된 특징 및 미리 결정된 조건을 이용하여, 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출하도록 구성될 수 있다. 도시된 바와 같이, ROI 추출부(1620)는 기계학습 모델(1610)을 통해 출력된 특징(1640)은 수신하고, 수신된 특징(1640)이 미리 결정된 조건을 충족하는지 여부를 판정함으로써, 관심 영역(1650)을 결정할 수 있다. 여기서, 미리 결정된 조건은, 병리 슬라이드 이미지에 대한 특정 분석/예측 작업을 위해 요구되는 관심 영역이 무엇인지에 따라 결정될 수 있다. 이 경우, 의학적 소견이 관심 영역을 위한 조건을 결정하는데 사용될 수 있다. 예를 들어, 미리 결정된 조건은, 특정 영역(예: 1 HPF(High Power Field 등)에 특정 개수(예를 들어, 100개 등) 이상의 종양 세포(tumor cell)가 존재해야 하는 조건을 지칭할 수 있다. 이러한 조건은, 특정 영역 내에 포함된 종양 세포에서의 PD-L1을 발현량 또는 발현 비율을 결정하는데 있어 요구되는 조건일 수 있다. 즉, 이러한 조건을 만족하는 관심 영역에서 결정된 발현량 또는 발현 비율의 수치는 의학적 소견상 의미있는 영역일 수 있다. According to one embodiment, the processor may be configured to detect a region of interest in one or more pathology slide images using the extracted features and a predetermined condition. As shown, the ROI extractor 1620 receives the feature 1640 output through the machine learning model 1610 and determines whether the received feature 1640 satisfies a predetermined condition, thereby determining a region of interest. (1650) can be determined. Here, the predetermined condition may be determined according to a region of interest required for a specific analysis/prediction task on the pathology slide image. In this case, medical findings can be used to determine conditions for the region of interest. For example, the predetermined condition may refer to a condition in which a certain number (eg, 100 tumor cells, etc.) or more must exist in a specific area (eg, 1 HPF (High Power Field, etc.)). These conditions may be conditions required for determining the expression level or expression ratio of PD-L1 in tumor cells included in a specific region, that is, the expression level or expression determined in the region of interest that satisfies these conditions. The numerical value of the ratio may be a meaningful area in terms of medical opinion.

도 17은 병리 슬라이드 이미지에 대한 어노테이션 정보 및 병리 슬라이드 이미지의 검출된 조직 영역을 이용하여 병리 슬라이드 이미지 내의 관심 영역을 검출하는 방법의 예시를 나타내는 도면이다. 이미지(1710)는 병리 슬라이드 이미지 내의 후보 관심 영역에 대한 어노테이션을 포함할 수 있다. 예를 들어, 이러한 어노테이션은 사람(예: 의료진)에 의해 수기로 또는 컴퓨팅 장치를 이용하여 수행될 수 있다. 여기서, 후보 관심 영역에 대한 어노테이션은 이미지 내에서 러프하게 나타내거나 표시될 수 있다. 즉, 의료진이 후보 관심 영역을 정교하게 표시하는 것 없이(예를 들어, ROI의 contour를 표시하는 것 없이), 후보 관심 영역을 나타내거나 가리키기 위한 임의의 표시가 어노테이션으로서 채용될 수 있다. 이미지(1710)에 도시된 바와 같이, 관심 영역에 대한 어노테이션은 후보 관심 영역을 포함한 더 넓은 영역에 대해 박스 형태로 표시되어 있으나, 이에 한정되지 않으며, 후보 관심 영역을 나타내거나 표시하기 위한 임의의 방법(예: 동그라미, 체크 표시 등)이 사용될 수 있다.17 is a diagram illustrating an example of a method of detecting a region of interest in a pathology slide image using annotation information on the pathology slide image and a detected tissue region of the pathology slide image. Image 1710 may include annotations for candidate regions of interest within the pathology slide image. For example, such annotations may be performed manually by a human (eg, medical staff) or using a computing device. Here, the annotation for the candidate region of interest may be roughly indicated or displayed in the image. That is, without the medical staff elaborately marking the candidate region of interest (eg, without marking the contour of the ROI), any mark for indicating or indicating the candidate region of interest may be employed as an annotation. As shown in image 1710, the annotation for the region of interest is boxed for a wider region including, but not limited to, the candidate region of interest, and any method for indicating or displaying the candidate region of interest. (eg circles, check marks, etc.) may be used.

일 실시예에 따르면, 이미지(1720)는 하나 이상의 병리 슬라이드 이미지 내의 하나 이상의 조직 영역을 포함할 수 있다. 도시된 바와 같이, 이미지(1720)는 대상 환자의 조직 및 in-house control 조직을 포함할 수 있다. 이러한 하나 이상의 조직은 병리 슬라이드 이미지에 대한 이미지 처리를 수행함으로써 검출될 수 있다, 추가적으로 또는 이와 달리, 프로세서(예를 들어, 도 2의 프로세서(220))는 병리 슬라이드 이미지로부터 조직 영역을 출력하도록 학습된 기계학습 모델을 이용하여, 병리 슬라이드 이미지로부터 하나 이상의 조직을 검출할 수 있다. According to one embodiment, image 1720 may include one or more tissue regions in one or more pathology slide images. As shown, image 1720 may include tissue from a subject patient and tissue from an in-house control. Such one or more tissues may be detected by performing image processing on the pathology slide image. Additionally or alternatively, a processor (eg, processor 220 of FIG. 2 ) learns to output tissue regions from the pathology slide image. Using the machine learning model, one or more tissues can be detected from the pathology slide image.

그리고 나서, 프로세서는 후보 관심 영역 및 검출된 하나 이상의 조직 영역을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 도시된 바와 같이, 프로세서는 이미지(1710)에 포함된 후보 관심 영역 및 이미지(1720)에 포함된 복수의 조직 영역을 이용하여 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있다. 본 개시에서, 이미지(1730) 내의 하부 측에 위치한 조직에 대한 영역이 관심 영역으로서 결정될 수 있다. 여기서는 관심 영역을 적색 계열 색상으로 표시하였으나, 이에 한정되지 않고, 임의의 방법을 통해 관심 영역이 표시될 수 있다. The processor may then use the candidate region of interest and the detected one or more tissue regions to detect regions of interest in the one or more pathology slide images. As shown, the processor may detect a region of interest in one or more pathology slide images using a candidate region of interest included in image 1710 and a plurality of tissue regions included in image 1720 . In this disclosure, a region for tissue located on the lower side in image 1730 may be determined as a region of interest. Here, the region of interest is displayed in a red-based color, but is not limited thereto, and the region of interest may be displayed using any method.

도 18은 본 개시의 일 실시예에 따른 인공신경망 모델(1800)을 나타내는 예시도이다. 인공신경망 모델(1800)은, 기계학습 모델의 일 예로서, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.18 is an exemplary diagram illustrating an artificial neural network model 1800 according to an embodiment of the present disclosure. The artificial neural network model 1800, as an example of a machine learning model, is a statistical learning algorithm implemented based on the structure of a biological neural network or a structure that executes the algorithm in machine learning technology and cognitive science.

일 실시예에 따르면, 인공신경망 모델(1800)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 기계학습 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(1800)은 기계학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.According to an embodiment, the artificial neural network model 1800, as in a biological neural network, is an artificial neuron nodes formed by synaptic coupling to repeatedly adjust synaptic weights to obtain the correct response corresponding to a specific input. By learning to reduce the error between the output and the inferred output, it is possible to represent a machine learning model having problem solving ability. For example, the artificial neural network model 1800 may include an arbitrary probability model, a neural network model, and the like used in artificial intelligence learning methods such as machine learning and deep learning.

상술된 이상 영역을 검출하기 위한 기계학습 모델은 인공신경망 모델(1800)의 형태로 생성될 수 있다. 일 실시예에 따르면, 기계학습 모델(500)의 구현예로서, 인공신경망 모델(1800)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출하도록 학습될 수 있다. 예를 들어, 인공신경망 모델(1800)은 하나 이상의 병리 슬라이드 이미지 내의 각각의 영역에 대하여, 각각의 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하는 분류기를 포함할 수 있다. 다른 예에서, 인공신경망 모델(1800)은 하나 이상의 병리 슬라이드 이미지 내의 이상 영역에 포함된 픽셀에 대한 레이블링을 수행하는 세그멘테이션 모델을 포함할 수 있다.The above-described machine learning model for detecting the abnormal region may be generated in the form of an artificial neural network model 1800. According to an embodiment, as an implementation example of the machine learning model 500, the artificial neural network model 1800 receives one or more pathology slide images and detects an abnormal region that satisfies an abnormality condition in the received one or more pathology slide images. can be learned to do. For example, the artificial neural network model 1800 may include a classifier for determining whether each region corresponds to a normal region or an abnormal region with respect to each region in one or more pathology slide images. In another example, the artificial neural network model 1800 may include a segmentation model that performs labeling on pixels included in abnormal regions in one or more pathology slide images.

다른 실시예에 따르면, 기계학습 모델(1400)의 구현예로서, 인공신경망 모델(1800)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출할 수 있도록 학습될 수 있다. 또 다른 실시예에서, 기계학습 모델(1610)의 구현예로서, 인공신경망(1800)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 하나 이상의 객체(예: 세포, 객체, 구조 등)에 대한 특징을 추출하도록 학습될 수 있다. 또 다른 실시예에 따르면, 인공신경망(1800)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 조직 영역을 검출하도록 학습될 수 있다. According to another embodiment, as an implementation of the machine learning model 1400, the artificial neural network model 1800 is trained to receive one or more pathology slide images and detect a region of interest in the one or more pathology slide images received. can In another embodiment, as an implementation of the machine learning model 1610, the artificial neural network 1800 receives one or more pathology slide images, and one or more objects (eg, cells, objects, structure, etc.) can be trained to extract features. According to another embodiment, the artificial neural network 1800 may be trained to receive one or more pathology slide images and detect tissue regions in the received one or more pathology slide images.

인공신경망 모델(1800)은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현된다. 본 실시예에 따른 인공신경망 모델(1800)은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 도 18에 도시된 바와 같이, 인공신경망 모델(1800)은, 외부로부터 입력 신호 또는 데이터(1810)를 수신하는 입력층(1820), 입력 데이터에 대응한 출력 신호 또는 데이터(1850)를 출력하는 출력층(1840), 입력층(1820)과 출력층(1840) 사이에 위치하며 입력층(1820)으로부터 신호를 받아 특성을 추출하여 출력층(1840)으로 전달하는 n개(여기서, n은 양의 정수)의 은닉층(1830_1 내지 1830_n)으로 구성된다. 여기서, 출력층(1840)은 은닉층(1830_1 내지 1830_n)으로부터 신호를 받아 외부로 출력한다.The artificial neural network model 1800 is implemented as a multilayer perceptron (MLP) composed of multilayer nodes and connections between them. The artificial neural network model 1800 according to this embodiment may be implemented using one of various artificial neural network model structures including MLP. As shown in FIG. 18, the artificial neural network model 1800 includes an input layer 1820 that receives an input signal or data 1810 from the outside, and an output layer that outputs an output signal or data 1850 corresponding to the input data. 1840, which is located between the input layer 1820 and the output layer 1840, receives signals from the input layer 1820, extracts characteristics, and delivers n (where n is a positive integer) to the output layer 1840. It is composed of hidden layers (1830_1 to 1830_n). Here, the output layer 1840 receives signals from the hidden layers 1830_1 to 1830_n and outputs them to the outside.

인공신경망 모델(1800)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 일 실시예에 따르면, 정보 처리 시스템은 이상 조건과 연관된 오류 정보를 포함하는 이상 영역이 포함된 복수의 병리 슬라이드 이미지를 이용하여 인공신경망 모델(1800)을 학습시킬 수 있다.The learning method of the artificial neural network model 1800 includes a supervised learning method that learns to be optimized for problem solving by inputting a teacher signal (correct answer), and an unsupervised learning method that does not require a teacher signal. ) way. According to an embodiment, the information processing system may train the artificial neural network model 1800 using a plurality of pathology slide images including an abnormal region including error information associated with an abnormal condition.

일 실시예에 따르면, 정보 처리 시스템은 인공신경망 모델(1800)을 학습시키기 위한 학습 데이터를 직접 생성할 수 있다. 정보 처리 시스템은 하나 이상의 병리 슬라이드 이미지를 수신하고, 하나 이상의 병리 슬라이드 이미지로부터 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하고, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성할 수 있다. 또한, 정보 처리 시스템은 수신된 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성할 수 있다. 그리고 나서, 정보 처리 시스템은 생성된 제1 세트의 학습 데이터 및 제2 세트의 학습 데이터를 기초로 하나 이상의 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 인공신경망 모델(1800)을 학습시킬 수 있다.According to an embodiment, the information processing system may directly generate learning data for learning the artificial neural network model 1800 . The information processing system receives one or more pathology slide images, determines a normal region based on an abnormality condition indicating a condition of an abnormal region from the one or more pathology slide images, and generates a first set of training data including the determined normal region. can do. In addition, the information processing system generates an abnormal region by performing image processing on at least some regions in the one or more received pathology slide images that meet an abnormality condition, and generates a second set of training data including the generated abnormal region. can do. Then, the information processing system may train the artificial neural network model 1800 for detecting an abnormal region in one or more pathology slide images based on the generated first set of training data and the second set of training data.

다른 실시예에 따르면, 정보 처리 시스템은 복수의 참조 병리 슬라이드 이미지 및 복수의 참조 레이블 정보를 포함한 학습 데이터를 이용하여, 수신된 복수의 참조 병리 슬라이드 이미지 내의 관심 영역을 검출하도록 인공신경망 모델(1800)을 학습시킬 수 있다. 예를 들어, 인공신경망 모델(180)은 복수의 참조 병리 슬라이드 이미지와 연관된 복수의 환자의 조직 이외의 영역(예: 기준 조직 등)을 제외하도록 학습될 수 있다. 또 다른 실시예에 따르면, 정보 처리 시스템은 복수의 참조 병리 슬라이드 이미지 및 복수의 참조 병리 슬라이드 이미지 내의 참조 객체에 대한 참조 특징을 포함한 학습 데이터를 이용하여, 수신된 복수의 참조 병리 슬라이드 이미지 내의 하나 이상의 참조 객체에 대한 특징을 추출하도록 인공신경망 모델(1800)을 학습시킬 수 있다. 또 다른 실시예에 따르면, 정보 처리 시스템은 복수의 참조 병리 슬라이드 이미지 및 복수의 참조 병리 슬라이드 이미지 내의 참조 조직 영역을 포함한 학습 데이터를 이용하여 인공신경망 모델(1800)을 복수의 참조 병리 슬라이드 이미지 내의 참조 조직 영역을 검출하도록 학습시킬 수 있다.According to another embodiment, the information processing system uses the learning data including the plurality of reference pathology slide images and the plurality of reference label information to detect the region of interest in the received plurality of reference pathology slide images (1800). can be learned. For example, the artificial neural network model 180 may be trained to exclude regions (eg, reference tissues, etc.) other than tissues of a plurality of patients associated with a plurality of reference pathology slide images. According to another embodiment, the information processing system uses learning data including a plurality of reference pathology slide images and reference features of reference objects in the plurality of reference pathology slide images, and includes one or more received pathology slide images. The artificial neural network model 1800 may be trained to extract features of a reference object. According to another embodiment, the information processing system uses training data including a plurality of reference pathology slide images and reference tissue regions in the plurality of reference pathology slide images to generate the artificial neural network model 1800 as references in the plurality of reference pathology slide images. It can be taught to detect tissue regions.

일 실시예에 따르면, 인공신경망 모델(1800)의 입력변수는, 하나 이상의 병리 슬라이드 이미지를 포함할 수 있다. 추가적으로 또는 대안적으로, 인공신경망 모델(1800)의 입력변수는, 정상 영역을 포함하는 제1 세트의 학습 데이터, 하나 이상의 오류 정보와 연관된 이상 영역을 포함하는 제2 세트의 학습 데이터 등을 포함할 수 있다. 이와 같이 상술된 입력변수가 입력층(1820)을 통해 입력되는 경우, 예를 들어, 인공신경망 모델(1800)의 출력층(1840)에서 출력되는 출력변수는 하나 이상의 병리 슬라이드 이미지 내의 각각의 영역이 정상 영역 또는 이상 영역에 해당하는지 여부, 하나 이상의 병리 슬라이드 이미지 내의 이상 영역에 대응하는 픽셀에 대한 레이블링, 하나 이상의 병리 슬라이드 이미지 내의 복수의 영역에 대한 이상 점수 등을 나타내거나 특징화하는 벡터가 될 수 있다. 다른 예로서, 인공신경망 모델(1800)의 출력층(1840)에서 출력되는 출력변수는 하나 이상의 슬라이드 이미지 내의 관심 영역에 대응하는지 여부, 하나 이상의 병리 슬라이드 이미지 내의 관심 영역에 대응하는 픽셀에 대한 레이블링, 하나 이상의 병리 슬라이드 이미지 내의 복수의 영역이 얼마나 관심 영역에 가까운지에 대한 점수 등을 나타내거나 특징화하는 벡터가 될 수 있다. 또 다른 예로서, 인공신경망 모델(1800)의 출력층(1840)에서 출력되는 출력변수는 하나 이상의 병리 슬라이드 이미지 내의 하나 이상의 객체에 대한 특징을 나타내거나 특징확하는 벡터가 될 수 있다. 또 다른 예로서, 인공신경망 모델(1800)의 출력층(1840)에서 출력되는 출력변수는 하나 이상의 병리 슬라이드 이미지 내의 하나 이상의 조직 영역을 나타내거나 특징확하는 벡터가 될 수 있다.According to an embodiment, input variables of the artificial neural network model 1800 may include one or more pathology slide images. Additionally or alternatively, the input variables of the artificial neural network model 1800 may include a first set of training data including a normal region, a second set of training data including an abnormal region associated with one or more error information, and the like. can In this way, when the above-described input variables are input through the input layer 1820, for example, the output variables output from the output layer 1840 of the artificial neural network model 1800 indicate that each region in one or more pathology slide images is normal. It can be a vector representing or characterizing whether it corresponds to a region or an abnormal region, labeling for pixels corresponding to an abnormal region within one or more pathology slide images, abnormal scores for multiple regions within one or more pathology slide images, etc. . As another example, the output variable output from the output layer 1840 of the artificial neural network model 1800 corresponds to a region of interest in one or more slide images, labeling of a pixel corresponding to a region of interest in one or more pathology slide images, one It may be a vector that indicates or characterizes a score of how close a plurality of regions in the pathology slide image are to the region of interest. As another example, an output variable output from the output layer 1840 of the artificial neural network model 1800 may be a vector representing or identifying features of one or more objects in one or more pathology slide images. As another example, an output variable output from the output layer 1840 of the artificial neural network model 1800 may be a vector representing or characterizing one or more tissue regions in one or more pathology slide images.

이와 같이, 인공신경망 모델(1800)의 입력층(1820)과 출력층(1840)에 복수의 입력변수와 대응되는 복수의 출력변수가 각각 매칭되고, 입력층(1820), 은닉층(1830_1 내지 1830_n) 및 출력층(1840)에 포함된 노드들 사이의 시냅스 값이 조정됨으로써, 특정 입력에 대응한 올바른 출력이 추출될 수 있도록 학습될 수 있다. 이러한 학습 과정을 통해, 인공신경망 모델(1800)의 입력변수에 숨겨져 있는 특성을 파악할 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(1800)의 노드들 사이의 시냅스 값(또는 가중치)를 조정할 수 있다. In this way, a plurality of output variables corresponding to a plurality of input variables are matched in the input layer 1820 and the output layer 1840 of the artificial neural network model 1800, respectively, and the input layer 1820, hidden layers 1830_1 to 1830_n and By adjusting the synaptic value between nodes included in the output layer 1840, learning can be performed so that a correct output corresponding to a specific input can be extracted. Through this learning process, it is possible to grasp the characteristics hidden in the input variables of the artificial neural network model 1800, and the nodes of the artificial neural network model 1800 so that the error between the output variable calculated based on the input variable and the target output is reduced. You can adjust the synaptic values (or weights) between them.

일 실시예에 따르면, 인공신경망 모델(1800)은 다른 하나 이상의 기계학습 모델 등과 결합 및/또는 조합되어 사용될 수 있다. 예를 들어, 인공신경망 모델(1800)에 의해 검출된 이상 영역 및/또는 이상 영역에 대한 정보는 다른 기계학습 모델로 제공될 수 있으며, 이 경우, 다른 기계학습 모델은 검출된 이상 영역을 자동으로 제외하여 추론할 수 있다. 예를 들면, 기계학습 모델은 병리 슬라이드 이미지의 전체 영역 또는 추론의 대상이 되는 유의미한 영역인 유효 영역에서 검출된 이상 영역을 제외한 나머지 영역을 관심 영역으로 추론할 수 있다. 다른 예에서, 다른 기계학습 모델은 검출된 이상 영역을 포함하도록 추론할 수 있다. 또 다른 예에서, 다른 기계학습 모델은 검출된 이상 영역을 활용하여 추론할 수도 있다.According to an embodiment, the artificial neural network model 1800 may be combined and/or used in combination with one or more other machine learning models. For example, the abnormal region detected by the artificial neural network model 1800 and/or information on the abnormal region may be provided to another machine learning model, and in this case, the other machine learning model automatically identifies the detected abnormal region. exclusion can be inferred. For example, the machine learning model may infer, as the region of interest, the entire region of the pathology slide image or the region other than the abnormal region detected in the effective region, which is a significant region to be inferred. In other examples, other machine learning models may infer to include the detected anomaly regions. In another example, another machine learning model may utilize the detected anomaly area to make inferences.

도 19는 본 개시의 일 실시예에 따른 병리 슬라이드 이미지 내의 이상 영역 검출과 연관된 임의의 컴퓨팅 장치(1900)의 구성도이다. 예를 들어, 컴퓨팅 장치(1900)는 정보 처리 시스템(120) 및/또는 사용자 단말(130)을 포함할 수 있다. 도시된 바와 같이, 컴퓨팅 장치(1900)는 하나 이상의 프로세서(1910), 버스(1930), 통신 인터페이스(1940), 프로세서(1910)에 의해 수행되는 컴퓨터 프로그램(1960)을 로드(load)하는 메모리(1920) 및 컴퓨터 프로그램(1960)을 저장하는 저장 모듈(1950)을 포함할 수 있다. 다만, 도 19에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 19에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.19 is a block diagram of a computing device 1900 associated with detecting an abnormal region in a pathology slide image according to an embodiment of the present disclosure. For example, the computing device 1900 may include the information processing system 120 and/or the user terminal 130 . As shown, the computing device 1900 includes one or more processors 1910, a bus 1930, a communication interface 1940, and a memory (loading) a computer program 1960 executed by the processor 1910 ( 1920) and a storage module 1950 for storing the computer program 1960. However, only components related to the embodiment of the present disclosure are shown in FIG. 19 . Accordingly, those of ordinary skill in the art to which this disclosure belongs may know that other general-purpose components may be further included in addition to the components shown in FIG. 19 .

프로세서(1910)는 컴퓨팅 장치(1900)의 각 구성의 전반적인 동작을 제어한다. 프로세서(1910)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1910)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1900)는 하나 이상의 프로세서를 구비할 수 있다.The processor 1910 controls the overall operation of each component of the computing device 1900 . The processor 1910 includes a Central Processing Unit (CPU), a Micro Processor Unit (MPU), a Micro Controller Unit (MCU), a Graphic Processing Unit (GPU), or any type of processor well known in the art of the present disclosure. It can be. Also, the processor 1910 may perform an operation for at least one application or program for executing a method according to embodiments of the present disclosure. Computing device 1900 may include one or more processors.

메모리(1920)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(1920)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 저장 모듈(1950)로부터 하나 이상의 컴퓨터 프로그램(1960)을 로드할 수 있다. 메모리(1920)는 RAM과 같은 휘발성 메모리로 구현될 수 있으나, 본 개시의 기술적 범위는 이에 한정되지 아니한다.The memory 1920 may store various data, commands and/or information. Memory 1920 may load one or more computer programs 1960 from storage module 1950 to execute methods/operations according to various embodiments of the present disclosure. The memory 1920 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.

버스(1930)는 컴퓨팅 장치(1900)의 구성 요소 간 통신 기능을 제공할 수 있다. 버스(1930)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The bus 1930 may provide a communication function between components of the computing device 1900 . The bus 1930 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.

통신 인터페이스(1940)는 컴퓨팅 장치(1900)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(1940)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1940)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The communication interface 1940 may support wired and wireless Internet communication of the computing device 1900 . Also, the communication interface 1940 may support various communication methods other than internet communication. To this end, the communication interface 1940 may include a communication module well known in the art of the present disclosure.

저장 모듈(1950)은 하나 이상의 컴퓨터 프로그램(1960)을 비임시적으로 저장할 수 있다. 저장 모듈(1950)은 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage module 1950 may non-temporarily store one or more computer programs 1960. The storage module 1950 may be a non-volatile memory such as read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, or the like, a hard disk, a removable disk, or It may be configured to include any well-known form of computer-readable recording medium.

컴퓨터 프로그램(1960)은 메모리(1920)에 로드될 때 프로세서(1910)로 하여금 본 개시의 다양한 실시예들에 따른 동작/방법을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(1910)는 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예들에 따른 동작/방법들을 수행할 수 있다.Computer program 1960 may include one or more instructions that, when loaded into memory 1920, cause processor 1910 to perform operations/methods in accordance with various embodiments of the present disclosure. That is, the processor 1910 may perform operations/methods according to various embodiments of the present disclosure by executing one or more instructions.

예를 들어, 컴퓨터 프로그램(1960)은 하나 이상의 제1 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하고, 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하고, 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 적어도 일부 영역에 이상 조건에 부합하는 이미지 처리를 수행함으로써, 이상 영역을 생성하고, 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성하기 위한 인스트럭션들을 포함할 수 있다. 다른 예로서, 컴퓨터 프로그램(1960)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 기계학습 모델을 이용하여 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출하기 위한 인스트럭션들을 포함할 수 있다. 또 다른 예로서, 컴퓨터 프로그램(1960)은 하나 이상의 병리 슬라이드 이미지를 수신하고, 수신된 하나 이상의 병리 슬라이드 이미지 내의 관심 영역을 검출하기 위한 인스트럭션들을 포함할 수 있다. For example, the computer program 1960 may receive one or more first pathology slide images, determine, from the received one or more first pathology slide images, a normal region based on an abnormal condition representing a condition of an abnormal region, and determine the determined An abnormal region is generated by generating a first set of training data including a normal region, performing image processing that meets an abnormality condition on at least some regions in the received one or more first pathology slide images, and generating the abnormal region. It may include instructions for generating a second set of training data that includes. As another example, the computer program 1960 may include instructions for receiving one or more pathology slide images and detecting an abnormal region that satisfies an abnormality condition in the received one or more pathology slide images using a machine learning model. . As another example, computer program 1960 may include instructions for receiving one or more pathology slide images and detecting a region of interest within the received one or more pathology slide images.

본 개시의 앞선 설명은 통상의 기술자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 통상의 기술자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.The preceding description of the present disclosure is provided to enable any person skilled in the art to make or use the present disclosure. Various modifications of this disclosure will be readily apparent to those skilled in the art, and the general principles defined herein may be applied in various modifications without departing from the spirit or scope of this disclosure. Thus, the present disclosure is not intended to be limited to the examples set forth herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.Although example implementations may refer to utilizing aspects of the presently disclosed subject matter in the context of one or more standalone computer systems, the subject matter is not so limited, but rather in conjunction with any computing environment, such as a network or distributed computing environment. may be implemented. Further, aspects of the presently-disclosed subject matter may be implemented in or across a plurality of processing chips or devices, and storage may be similarly affected across a plurality of devices. Such devices may include PCs, network servers, and handheld devices.

본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에서 첨부된 특허 청구의 범위 내에 속하는 것으로 생각되어야 한다.Although the present disclosure has been described in relation to some embodiments in this specification, it should be noted that various modifications and changes can be made without departing from the scope of the present disclosure that can be understood by those skilled in the art. something to do. Moreover, such modifications and variations are intended to fall within the scope of the claims appended hereto.

110: 저장 시스템 120: 정보 처리 시스템
130: 사용자 단말 140: 사용자
150: 병리 슬라이드 이미지 152: 이상 영역
154: 텍스트110: storage system 120: information processing system
130: user terminal 140: user
150 pathology slide image 152 abnormal area
154: text

Claims (29)

적어도 하나의 프로세서에 의해 실행되는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법에 있어서,
하나 이상의 제1 병리 슬라이드 이미지를 수신하는 단계;
상기 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상(abnormality) 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하는 단계;
상기 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하는 단계;
상기 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터 이상 영역을 생성하는 단계; 및
상기 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성하는 단계
를 포함하고,
상기 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터 생성된 이상 영역은, 상기 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 상기 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성되는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
A method for learning a machine learning model for detecting an abnormal region in a pathology slide image, executed by at least one processor, comprising:
receiving one or more first pathology slide images;
determining a normal region based on an abnormality condition indicating a condition of an abnormality region, from the received one or more first pathology slide images;
generating a first set of training data including the determined normal region;
generating an abnormal region from the received one or more first pathology slide images; and
generating a second set of training data including the generated abnormal region;
including,
The abnormal region generated from the received one or more first pathology slide images is generated by performing image processing that meets the abnormal condition on an arbitrary region or the normal region in the received one or more first pathology slide images. A method for training a machine learning model to detect abnormal regions in pathology slide images.
 제1항에 있어서,
상기 생성된 제1 세트의 학습 데이터 및 상기 생성된 제2 세트의 학습 데이터를 이용하여 상기 하나 이상의 제1 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 단계
를 더 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
Training a machine learning model for detecting an abnormal region in the one or more first pathology slide images using the generated first set of training data and the generated second set of training data
Further comprising, a method for training a machine learning model for detecting an abnormal region in a pathology slide image.
 제2항에 있어서,
상기 기계학습 모델은, 병리 슬라이드 이미지 내의 하나 이상의 영역에 대한 이상 정도를 나타내는 이상 점수(abnormality score)를 출력하도록 더 학습되고,
상기 방법은,
하나 이상의 제2 병리 슬라이드 이미지를 수신하는 단계;
상기 수신된 하나 이상의 제2 병리 슬라이드 이미지에 포함된 복수의 영역을 상기 학습된 기계학습 모델에 입력하여, 상기 복수의 영역에 대한 이상 점수를 출력하는 단계;
상기 출력된 이상 점수를 기초로, 상기 복수의 영역 중 적어도 일부를 추출하는 단계; 및
상기 추출된 복수의 영역 중 적어도 일부를 상기 제2 세트의 학습 데이터에 포함시키는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 2,
The machine learning model is further trained to output an abnormality score indicating a degree of abnormality for one or more regions in the pathology slide image,
The method,
receiving one or more second pathology slide images;
inputting a plurality of regions included in the received one or more second pathology slide images to the learned machine learning model, and outputting abnormality scores for the plurality of regions;
extracting at least some of the plurality of regions based on the output abnormality score; and
including at least some of the plurality of extracted regions in the second set of training data;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 조건은 복수의 이상 조건을 포함하고,
상기 이상 영역을 생성하는 단계는,
상기 복수의 이상 조건 중 하나 이상의 조건을 무작위로 선택하는 단계; 및
상기 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 상기 무작위로 선택된 하나 이상의 조건에 부합하는 이미지 처리를 수행함으로써, 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The abnormal condition includes a plurality of abnormal conditions,
The step of generating the abnormal area,
randomly selecting one or more conditions from among the plurality of abnormal conditions; and
Generating the abnormal region by performing image processing meeting the one or more randomly selected conditions on an arbitrary region or the normal region in the received one or more first pathology slide images.
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 제1 세트의 학습 데이터를 생성하는 단계는,
사용자 입력에 응답하여, 상기 정상 영역을 나타내는 레이블을 수신하는 단계; 및
상기 수신된 레이블 및 상기 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
Generating the first set of learning data,
receiving a label indicating the normal region in response to a user input; and
generating a first set of training data including the received label and the normal region;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 영역을 생성하는 단계는,
상기 하나 이상의 제1 병리 슬라이드 이미지의 내의 임의의 영역 또는 상기 정상 영역에 블러(blur) 커널을 적용함으로써, 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The step of generating the abnormal area,
generating the abnormal region by applying a blur kernel to an arbitrary region or the normal region in the at least one first pathology slide image;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 영역을 생성하는 단계는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 색변환(color transformation) 함수를 적용함으로써, 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The step of generating the abnormal area,
generating the abnormal region by applying a color transformation function to an arbitrary region or the normal region in the at least one first pathology slide image;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 영역을 생성하는 단계는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 특정 색상 또는 특정 밝기 중 적어도 하나를 적용함으로써, 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The step of generating the abnormal area,
generating the abnormal region by applying at least one of a specific color and a specific brightness to an arbitrary region or the normal region in the one or more first pathology slide images;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 영역을 생성하는 단계는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 도형을 삽입합으로써, 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The step of generating the abnormal area,
generating the abnormal region by inserting a figure into an arbitrary region or the normal region in the at least one first pathology slide image;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 영역을 생성하는 단계는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역을 제1 부분 영역 및 제2 부분 영역으로 분할하는 단계; 및
상기 제1 부분 영역의 일부를 상기 제2 부분 영역의 일부와 중첩함으로써 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The step of generating the abnormal area,
dividing an arbitrary region or the normal region in the at least one first pathology slide image into a first partial region and a second partial region; and
generating the abnormal region by overlapping a portion of the first partial region with a portion of the second partial region;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 제1항에 있어서,
상기 이상 영역을 생성하는 단계는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역을 복수의 부분 영역으로 분할하는 단계;
상기 분할된 복수의 부분 영역의 각각의 위치, 모양, 크기 또는 각도 중 적어도 하나가 변경된 영역을 포함한 이미지를 생성하는 단계; 및
상기 생성된 이미지를 결합함으로써, 상기 이상 영역을 생성하는 단계
를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법.
According to claim 1,
The step of generating the abnormal area,
dividing an arbitrary region or the normal region in the at least one first pathology slide image into a plurality of partial regions;
generating an image including a region in which at least one of positions, shapes, sizes, or angles of each of the plurality of divided partial regions is changed; and
generating the abnormal area by combining the generated images;
A method of training a machine learning model for detecting an abnormal region in an image of a pathology slide, comprising:
 적어도 하나의 프로세서에 의해 실행되는 병리 슬라이드 이미지 내의 이상(abnormality) 영역을 검출하는 방법에 있어서,
하나 이상의 병리 슬라이드 이미지를 수신하는 단계; 및
기계학습 모델을 이용하여 상기 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출하는 단계를 포함하고,
상기 기계학습 모델은, 참조 병리 슬라이드 이미지로부터 추출된 복수의 정상 영역 및 참조 병리 슬라이드 이미지로부터 생성된 복수의 이상 영역을 이용하여, 상기 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습되고,
상기 참조 병리 슬라이드 이미지로부터 생성된 복수의 이상 영역은 상기 참조 병리 슬라이드 이미지 내의 임의의 영역 또는 정상 영역에 상기 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성되는, 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법.
A method of detecting an abnormality region in a pathology slide image, executed by at least one processor, comprising:
receiving one or more pathology slide images; and
detecting an abnormal region that satisfies an abnormal condition in the received one or more pathology slide images using a machine learning model;
The machine learning model is trained to detect an abnormal region in the received at least one pathology slide image using a plurality of normal regions extracted from a reference pathology slide image and a plurality of abnormal regions generated from the reference pathology slide image,
A method for detecting abnormal regions in a pathology slide image, wherein the plurality of abnormal regions generated from the reference pathology slide image are generated by performing image processing meeting the abnormal condition on an arbitrary region or a normal region in the reference pathology slide image. .
 제12항에 있어서,
상기 기계학습 모델은, 상기 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하도록 구성된 분류기(classifier)를 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법.
According to claim 12,
The method of claim 1 , wherein the machine learning model includes a classifier configured to determine whether at least some regions in the one or more pathology slide images correspond to normal regions or abnormal regions.
 제12항에 있어서,
상기 기계학습 모델은, 상기 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 포함된 복수의 픽셀이 정상 영역인지 이상 영역인지 출력하도록 구성된 세그멘테이션(segmentation) 모델을 포함하는, 병리 슬라이드 이미지 내의 이상 영역을 검출하는 방법.
According to claim 12,
The machine learning model includes a segmentation model configured to output whether a plurality of pixels included in at least some regions of the one or more pathology slide images are normal regions or abnormal regions, detecting an abnormal region in the pathology slide image method.
 제1항 내지 제14항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
A computer program stored in a computer-readable recording medium to execute the method according to any one of claims 1 to 14 on a computer.
 정보 처리 시스템으로서,
하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
상기 저장된 하나 이상의 인스트럭션을 실행함으로써,
하나 이상의 제1 병리 슬라이드 이미지를 수신하고, 상기 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터, 이상 영역의 조건을 나타내는 이상 조건에 기초하여 정상 영역을 결정하고, 상기 결정된 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하고, 상기 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터 이상 영역을 생성하고, 상기 생성된 이상 영역을 포함하는 제2 세트의 학습 데이터를 생성하도록 구성된 프로세서를 포함하고,
상기 수신된 하나 이상의 제1 병리 슬라이드 이미지로부터 생성된 이상 영역은, 상기 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 상기 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성되는,
정보 처리 시스템.
As an information processing system,
memory for storing one or more instructions; and
By executing one or more of the stored instructions,
Receiving one or more first pathology slide images, determining a normal region based on an abnormal condition indicating a condition of an abnormal region from the received one or more first pathology slide images, and determining a first set including the determined normal region a processor configured to generate training data of, generate an abnormal region from the received one or more first pathology slide images, and generate a second set of training data including the generated abnormal region;
The abnormal region generated from the received one or more first pathology slide images is generated by performing image processing that meets the abnormal condition on an arbitrary region or the normal region in the received one or more first pathology slide images.
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 생성된 제1 세트의 학습 데이터 및 상기 생성된 제2 세트의 학습 데이터를 이용하여 상기 하나 이상의 제1 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
Further configured to train a machine learning model for detecting an abnormal region in the one or more first pathology slide images using the generated first set of training data and the generated second set of training data,
information processing system.
 제17항에 있어서,
상기 기계학습 모델은, 병리 슬라이드 이미지 내의 하나 이상의 영역에 대한 이상 정도를 나타내는 이상 점수를 출력하도록 더 학습되고,
상기 프로세서는,
하나 이상의 제2 병리 슬라이드 이미지를 수신하고, 상기 수신된 하나 이상의 제2 병리 슬라이드 이미지에 포함된 복수의 영역을 상기 학습된 기계학습 모델에 입력하여, 상기 복수의 영역에 대한 이상 점수를 출력하고, 상기 출력된 이상 점수를 기초로, 상기 복수의 영역 중 적어도 일부를 추출하고, 상기 추출된 복수의 영역 중 적어도 일부를 상기 제2 세트의 학습 데이터에 포함시키도록 더 구성된,
정보 처리 시스템.
According to claim 17,
The machine learning model is further trained to output an abnormality score representing an abnormality degree for one or more regions in the pathology slide image,
the processor,
Receiving one or more second pathology slide images, inputting a plurality of regions included in the received one or more second pathology slide images to the learned machine learning model, and outputting abnormality scores for the plurality of regions; Further configured to extract at least some of the plurality of regions based on the output abnormality score, and include at least some of the extracted plurality of regions in the second set of training data.
information processing system.
 제16항에 있어서,
상기 이상 조건은 복수의 이상 조건을 포함하고,
상기 프로세서는,
상기 복수의 이상 조건 중 하나 이상의 조건을 무작위로 선택하고, 상기 수신된 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 상기 무작위로 선택된 하나 이상의 조건에 부합하는 이미지 처리를 수행함으로써, 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
The abnormal condition includes a plurality of abnormal conditions,
the processor,
Randomly selecting one or more conditions among the plurality of abnormal conditions, and performing image processing meeting the one or more randomly selected conditions on an arbitrary area or the normal area in the received one or more first pathology slide images, Further configured to create the abnormal region,
information processing system.
 제16항에 있어서,
상기 프로세서는,
사용자 입력에 응답하여, 상기 정상 영역을 나타내는 레이블을 수신하고, 상기 수신된 레이블 및 상기 정상 영역을 포함하는 제1 세트의 학습 데이터를 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
In response to a user input, further configured to receive a label representing the normal region and generate a first set of training data comprising the received label and the normal region.
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 하나 이상의 제1 병리 슬라이드 이미지의 내의 임의의 영역 또는 상기 정상 영역에 블러 커널을 적용함으로써, 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
Further configured to generate the abnormal region by applying a blur kernel to the normal region or any region within the one or more first pathology slide images.
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 색변환 함수를 적용함으로써, 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
Further configured to generate the abnormal region by applying a color conversion function to an arbitrary region or the normal region in the at least one first pathology slide image,
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 특정 색상 또는 특정 밝기 중 적어도 하나를 적용함으로써, 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
Further configured to generate the abnormal region by applying at least one of a specific color or a specific brightness to an arbitrary region or the normal region in the one or more first pathology slide images,
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역에 도형을 삽입합으로써, 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
Further configured to generate the abnormal region by inserting a figure into an arbitrary region or the normal region in the one or more first pathology slide images,
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역을 제1 부분 영역 및 제2 부분 영역으로 분할하고, 상기 제1 부분 영역의 일부를 상기 제2 부분 영역의 일부와 중첩함으로써 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
By dividing an arbitrary region or the normal region in the at least one first pathology slide image into a first partial region and a second partial region, and overlapping a part of the first partial region with a part of the second partial region, the abnormality further configured to create an area,
information processing system.
 제16항에 있어서,
상기 프로세서는,
상기 하나 이상의 제1 병리 슬라이드 이미지 내의 임의의 영역 또는 상기 정상 영역을 복수의 부분 영역으로 분할하고, 상기 분할된 복수의 부분 영역의 각각의 위치, 모양, 크기 또는 각도 중 적어도 하나가 변경된 영역을 포함한 이미지를 생성하고, 상기 생성된 이미지를 결합함으로써, 상기 이상 영역을 생성하도록 더 구성된,
정보 처리 시스템.
According to claim 16,
the processor,
A region in which an arbitrary region or the normal region in the one or more first pathology slide images is divided into a plurality of partial regions, and at least one of the positions, shapes, sizes, or angles of each of the divided plurality of partial regions is changed. Further configured to generate an image, and to generate the anomaly area by combining the generated image,
information processing system.
 정보 처리 시스템으로서,
하나 이상의 인스트럭션(instructions)을 저장하는 메모리; 및
상기 저장된 하나 이상의 인스트럭션을 실행함으로써,
하나 이상의 병리 슬라이드 이미지를 수신하고, 기계학습 모델을 이용하여 상기 수신된 하나 이상의 병리 슬라이드 이미지 내의 이상 조건을 만족하는 이상 영역을 검출하도록 구성된 프로세서를 포함하고,
상기 기계학습 모델은, 참조 병리 슬라이드 이미지로부터 추출된 복수의 정상 영역 및 참조 병리 슬라이드 이미지로부터 생성된 복수의 이상 영역을 이용하여, 상기 수신된 병리 슬라이드 이미지 내의 이상 영역을 검출하도록 학습되고,
상기 참조 병리 슬라이드 이미지로부터 생성된 복수의 이상 영역은 상기 참조 병리 슬라이드 이미지 내의 임의의 영역 또는 정상 영역에 상기 이상 조건에 부합하는 이미지 처리를 수행함으로써 생성되는,
정보 처리 시스템.
As an information processing system,
memory for storing one or more instructions; and
By executing one or more of the stored instructions,
a processor configured to receive one or more pathology slide images and to detect an abnormal region that satisfies an abnormality condition in the received one or more pathology slide images using a machine learning model;
The machine learning model is trained to detect an abnormal region in the received pathology slide image using a plurality of normal regions extracted from a reference pathology slide image and a plurality of abnormal regions generated from the reference pathology slide image;
The plurality of abnormal regions generated from the reference pathology slide image are generated by performing image processing that meets the abnormal condition on an arbitrary region or a normal region in the reference pathology slide image.
information processing system.
 제27항에 있어서,
상기 기계학습 모델은, 상기 하나 이상의 병리 슬라이드 이미지 내의 적어도 일부 영역이 정상 영역 또는 이상 영역에 해당하는지 여부를 판정하도록 구성된 분류기(classifier)를 포함하는,
정보 처리 시스템.
The method of claim 27,
The machine learning model includes a classifier configured to determine whether at least some regions in the one or more pathology slide images correspond to normal regions or abnormal regions.
information processing system.
 제27항에 있어서,
상기 기계학습 모델은, 상기 하나 이상의 병리 슬라이드 이미지의 적어도 일부 영역에 포함된 복수의 픽셀이 정상 영역인지 이상 영역인지 출력하도록 구성된 세그멘테이션(segmentation) 모델을 포함하는,
정보 처리 시스템.The method of claim 27,
The machine learning model includes a segmentation model configured to output whether a plurality of pixels included in at least some regions of the one or more pathology slide images are normal regions or abnormal regions.
information processing system.
KR1020210120991A 2021-02-18 2021-09-10 Method and system for training machine learning model for detecting abnormal region in pathological slide image KR102569285B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/550,034 US20220262513A1 (en) 2021-02-18 2021-12-14 Method and system for training machine learning model for detecting abnormal region in pathological slide image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210022050 2021-02-18
KR1020210022050 2021-02-18
KR1020210067783 2021-05-26
KR20210067783 2021-05-26

Publications (2)

Publication Number Publication Date
KR20220118287A KR20220118287A (en) 2022-08-25
KR102569285B1 true KR102569285B1 (en) 2023-08-22

Family

ID=83111299

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210120993A KR102580419B1 (en) 2021-02-18 2021-09-10 Method and system for detecting region of interest in pathological slide image
KR1020210120991A KR102569285B1 (en) 2021-02-18 2021-09-10 Method and system for training machine learning model for detecting abnormal region in pathological slide image

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210120993A KR102580419B1 (en) 2021-02-18 2021-09-10 Method and system for detecting region of interest in pathological slide image

Country Status (1)

Country Link
KR (2) KR102580419B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055503A (en) * 2022-10-20 2024-04-29 씨제이제일제당 (주) Method and apparatus for detecting contamination of culture medium based on artificial intelligence
CN116342859B (en) * 2023-05-30 2023-08-18 安徽医科大学第一附属医院 Method and system for identifying lung tumor area based on imaging features

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110111435A1 (en) * 2009-11-06 2011-05-12 SlidePath Limited Detecting Cell Surface Markers
JP2020502534A (en) * 2016-12-22 2020-01-23 ベンタナ メディカル システムズ， インコーポレイテッド Computer scoring based on primary staining and immunohistochemical imaging
WO2020261183A1 (en) * 2019-06-25 2020-12-30 Owkin Inc. Systems and methods for image preprocessing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110111435A1 (en) * 2009-11-06 2011-05-12 SlidePath Limited Detecting Cell Surface Markers
JP2020502534A (en) * 2016-12-22 2020-01-23 ベンタナ メディカル システムズ， インコーポレイテッド Computer scoring based on primary staining and immunohistochemical imaging
WO2020261183A1 (en) * 2019-06-25 2020-12-30 Owkin Inc. Systems and methods for image preprocessing

Also Published As

Publication number Publication date
KR20220118288A (en) 2022-08-25
KR20220118287A (en) 2022-08-25
KR102580419B1 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
US11468564B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
EP3553742A1 (en) Method and device for identifying pathological picture
Zhou et al. Study group learning: Improving retinal vessel segmentation trained with noisy labels
US11688188B2 (en) System for automatic tumor detection and classification
WO2020183230A1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
KR102569285B1 (en) Method and system for training machine learning model for detecting abnormal region in pathological slide image
US9208405B2 (en) Systems and methods for digital image analysis
US20150086091A1 (en) Method and apparatus for detecting anatomical elements
US20210366594A1 (en) Method and system for refining label information
EP4148746A1 (en) Method and apparatus for providing information associated with immune phenotypes for pathology slide image
CN105354405A (en) Machine learning based immunohistochemical image automatic interpretation system
Rele et al. Machine Learning based Brain Tumor Detection using Transfer Learning
US20230419492A1 (en) Method and apparatus for providing information associated with immune phenotypes for pathology slide image
McKenna et al. Automated classification for visual-only postmortem inspection of porcine pathology
US20220262513A1 (en) Method and system for training machine learning model for detecting abnormal region in pathological slide image
US20220261988A1 (en) Method and system for detecting region of interest in pathological slide image
KR102601684B1 (en) Method and system for providing annotation information for target data through hint-based machine learning model
CN112912924B (en) Accuracy of predictive algorithm segmentation
CN114170177A (en) Operation path analysis method and storage medium
CN117392468B (en) Cancer pathology image classification system, medium and equipment based on multi-example learning
JP5343973B2 (en) Medical image processing apparatus and program
Hao et al. Automatic detection of breast nodule in the ultrasound images using CNN
KR20230120992A (en) Method and apparatus for selecting medical data for annotation
WO2023058067A1 (en) Monitoring computed tomography (ct) scan image
KR20240050666A (en) Diagnosis support apparatus for detecting solitary pulmonary nodule from 3d ct image

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant