KR20220106582A - Method and apparatus for processing pathological tissue image - Google Patents
Method and apparatus for processing pathological tissue image Download PDFInfo
- Publication number
- KR20220106582A KR20220106582A KR1020210009672A KR20210009672A KR20220106582A KR 20220106582 A KR20220106582 A KR 20220106582A KR 1020210009672 A KR1020210009672 A KR 1020210009672A KR 20210009672 A KR20210009672 A KR 20210009672A KR 20220106582 A KR20220106582 A KR 20220106582A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- foreign material
- histopathology
- histopathological
- determining whether
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000001575 pathological effect Effects 0.000 title abstract description 47
- 238000012545 processing Methods 0.000 title abstract description 42
- 239000000126 substance Substances 0.000 claims abstract description 14
- 239000000463 material Substances 0.000 claims description 59
- 238000013136 deep learning model Methods 0.000 claims description 32
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010186 staining Methods 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 63
- 238000003745 diagnosis Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000000349 chromosome Anatomy 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
Description
본 명세서는 병리 조직 영상을 처리하는 방법 및 그 장치에 관하여 개시하고 있다.The present specification discloses a method and apparatus for processing pathological tissue images.
조직 검사의 절차는 지금까지 조직 추출, 조직 염색, 현미경을 이용한 병리과 의사의 진단으로 이루어졌다. 그러나, 최근 컴퓨터를 이용한 CAD 혹은 딥러닝 기술을 이용하려는 연구들이 늘어남으로써, 조직 염색 이후 광학 스캐너 등으로 조직 영상을 디지털화하는 경우가 늘어나고 있다. 이 경우, 사람이 관찰/진단할 시에는 문제가 되지 않았던 문제점들이 생겨나고 있다. The procedure of biopsy has so far consisted of tissue extraction, tissue staining, and diagnosis by a pathologist using a microscope. However, as studies using computer-aided CAD or deep learning techniques have increased recently, the number of cases of digitizing tissue images with an optical scanner after tissue staining is increasing. In this case, there are problems that did not become a problem when a person observed/diagnosed.
예를 들어, 초점이 맞지 않아 영상이 뿌옇게 보이거나, 먼지/머리카락 등의 이물질(artifact)이 들어가는 상황들이 발생하기도 한다. For example, there are situations in which the image looks blurry due to out of focus, or an artifact such as dust/hair enters.
이런 경우, 사람은 오류를 인지하고 참고하여 진단을 하거나 문제를 수정한 후 다시 절차를 반복하지만, 컴퓨터는 이를 인지하지 못하고 바로 적용시키는 경우가 발생한다. 이러한 이유 때문에, 성능이 떨어지거나, 병을 진단하는 알고리즘이 전혀 다른 결과를 보여줄 수 있다. In this case, humans recognize and refer to the error, diagnose or fix the problem, and then repeat the procedure again, but the computer does not recognize it and applies it immediately. For this reason, performance may be degraded, or algorithms for diagnosing diseases may show completely different results.
또한, 조직 염색을 할 시에 기관/병원 별로 사용하는 염색체 혹은 스캐너 등이 달라 같은 조직에 관해서 객관성이 떨어지는 다른 결과를 보여주기도 한다.In addition, different chromosomes or scanners used for each institution/hospital are different when staining tissue, which shows different results with poor objectivity for the same tissue.
실시예들은, 조직 진단 시 객관적이고 일관적인 결과를 도출할 수 있는 조직 병리 영상의 방법 및 그 장치를 제공한다.Embodiments provide a histopathological imaging method and apparatus capable of deriving an objective and consistent result in tissue diagnosis.
본 명세서는 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하고, 조직 병리 영상의 색을 표준화하는 병리 조직 영상의 처리 방법 및 장치를 제공한다.The present specification determines whether the extracted histopathological image is blurred, generates an error message when the blur of the histopathological image is lower than a reference value, checks whether the histopathological image contains a foreign substance, removes the foreign material, and the histopathological image Provided are a method and an apparatus for processing a pathological tissue image for standardizing the color of
일 측면에서, 일 실시 예에 따른 방법은, 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계, 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하는 단계 및 조직 병리 영상의 색을 표준화하는 단계를 포함한다. In one aspect, the method according to an embodiment includes determining whether the extracted histopathological image is blurred, generating an error message when the blurring of the histopathological image is lower than a reference value, and determining whether a foreign material is included in the histopathological image It includes the steps of confirming and removing the foreign body and standardizing the color of the histopathology image.
다른 측면에서, 다른 실시 예에 따른 장치는, 추출된 조직 병리 영상을 입력 받는 입력부, 추출된 조직 병리 영상의 흐림 여부를 판단하고 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고 조직 병리 영상에 이물질이 포함되었는지를 확인하고 이물질을 제거하고, 조직 병리 영상의 색을 표준화하는 제어부 및 오류 메시지를 출력하거나, 표준화된 조직 병리 영상을 출력하는 출력부를 포함한다. In another aspect, the apparatus according to another embodiment includes an input unit receiving the extracted histopathological image, determining whether the extracted histopathological image is blurred, and generating an error message when the blurring of the histopathological image is lower than a reference value, and generating an error message, It includes a control unit for checking whether a foreign material is included in the image, removing the foreign material, standardizing the color of the histopathology image, and an output unit for outputting an error message or outputting a standardized histopathology image.
실시예들에 따른 조직 병리 영상의 방법 및 그 장치에 의하면, 초점이 맞고 이물질이 제거되며 색이 표준화된 조직 병리 영상을 제공하므로, 조직 진단시 객관적이고 일관적인 결과를 도출할 수 있다.According to the method and apparatus for histopathological imaging according to the embodiments, since a histopathological image with a focus, a foreign substance removed, and a color standardized is provided, an objective and consistent result can be derived at the time of tissue diagnosis.
도 1은 일 실시예에 따른 병리 조직 영상의 처리 방법의 흐름도이다.
도 2는 도 1의 S110 단계에서 조직 병리 영상의 흐름 여부를 판단하기 위해 라플라시안 분산을 계산하는 과정을 도시하는 도면이다.
도 3은 도 1의 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120)의 흐름도이다.
도 4은 도 3의 S121에서 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출하는 과정을 설명한 도면이다.
도 5은 도 3에서 조직 병리 영상에서 이물질이 포함되었는지 확인하는데 사용되는 딥 러닝 모델의 구성도이다.
도 6은 S125 단계에서, 이물질이 배경에 위치하는 것으로 파악된 경우, 이물질을 배경과 동일한 색상으로 변환하는 과정을 도시한 도면이다.
도 7은 도 1의 S130 단계에서 색 표준화 (stain/color normalization) 알고리즘을 적용하여 조직 병리 영상의 색 또는 색상을 표준화하는 과정을 도시한 도면이다.
도 8은 다른 실시 예에 따른 병리 조직 영상의 처리 장치의 블록도이다.
도 9는 일 실시 예에 따른 병리 조직 영상의 처리 방법을 실행하는 병리 조직 영상 처리 시스템을 도시하고 있다.1 is a flowchart of a method for processing a pathological tissue image according to an exemplary embodiment.
FIG. 2 is a diagram illustrating a process of calculating a Laplacian variance to determine whether a histopathology image flows in step S110 of FIG. 1 .
3 is a flowchart of the step (S120) of confirming whether a foreign material is included in the histopathological image of FIG. 1 and removing the foreign material.
FIG. 4 is a view for explaining a process of detecting an object through a contour map with respect to a histopathological image in S121 of FIG. 3 .
FIG. 5 is a configuration diagram of a deep learning model used to confirm whether foreign substances are included in the histopathology image in FIG. 3 .
FIG. 6 is a diagram illustrating a process of converting a foreign material into the same color as the background when it is determined that the foreign material is located in the background in step S125.
FIG. 7 is a diagram illustrating a process of standardizing a color or color of a histopathological image by applying a stain/color normalization algorithm in step S130 of FIG. 1 .
8 is a block diagram of an apparatus for processing a pathological tissue image according to another exemplary embodiment.
9 is a diagram illustrating a pathological tissue image processing system for executing a method for processing a pathological tissue image according to an exemplary embodiment.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is "connected" to another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.The terms "about," "substantially," and the like, to the extent used throughout the specification are used in or close to the numerical values when manufacturing and material tolerances inherent in the stated meaning are presented, and are intended to enhance the understanding of the present invention. To help, precise or absolute figures are used to prevent unfair use by unscrupulous infringers of the stated disclosure. As used throughout the specification of the present invention, the term "step of (to)" or "step of" does not mean "step for".
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal, apparatus, or device may be performed instead of in a server connected to the terminal, apparatus, or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal, apparatus, or device connected to the server.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described as mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일 실시 예에 따른 병리 조직 영상의 처리 방법의 흐름도이다.1 is a flowchart of a method for processing a pathological tissue image according to an exemplary embodiment.
도 1을 참조하면, 일 실시 예에 따른 병리 조직 영상의 처리 방법(100)은 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 조직 병리 영상의 색을 표준화한다. Referring to FIG. 1 , the
구체적으로, 일 실시 예에 따른 병리 조직 영상의 처리 방법(100)은 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계(S110), 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120) 및 조직 병리 영상의 색을 표준화하는 단계(S130)를 포함한다. 다만, S130 단계는 S110 단계 및 S120 단계의 전후에 수행될 수 있고, 생략될 수도 있다. Specifically, the
도 2는 도 1의 S110 단계에서 조직 병리 디지털 영상에 대해 조직 병리 영상의 흐름 여부를 판단하는 과정을 설명한 도면이다. FIG. 2 is a view for explaining a process of determining whether a histopathology image flows with respect to a digital image of histopathology in step S110 of FIG. 1 .
도 2를 참조하면, 조직 병리 영상의 흐림 여부를 판단할 때, 먼저 추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화한다. Referring to FIG. 2 , when determining whether the histopathology image is blurred, the extracted tissue pathology is first stained and then scanned or photographed to be digitized.
조직 병리를 디지털화하는 방법은 일정한 영역을 일정한 배율의 광확대 조건에서 사진을 찍는 순간촬영 (snapshot) 방식과 유리 슬라이드 내용의 일부 또는 전부를 디지털화하는 전체슬라이드 영상화 (whole slide imaging: WSI) 방식이 있고, 후자를 가리켜 흔히 가상현미경이라고도 부른다. 순간촬영 방식은 카메라가 이용되고, 전체 슬라이드 영상화는 디지털 스캐너가 이용될 수 있다. There are two methods for digitizing histopathology: a snapshot method that takes a picture of a certain area under light magnification conditions of a constant magnification, and a whole slide imaging (WSI) method that digitizes some or all of the contents of a glass slide. , the latter is often referred to as a virtual microscope. A camera may be used for the instantaneous shooting method, and a digital scanner may be used for imaging the entire slide.
본 명세서는 조직 병리를 디지털화하는 방법으로 디지털 스캐너를 이용하여 전체 슬라이드 영상화하는 것을 예시적으로 설명하나 이에 제한되지 않는다. The present specification exemplarily describes, but is not limited to, imaging the entire slide using a digital scanner as a method of digitizing histopathology.
이후 조직 병리 디지털 영상에 대해 저장된 영상의 초점이 맞는지 확인하기 위해 조직 병리 영상의 흐림 여부를 판단하는 다양한 방법이나 알고리즘을 사용할 수 있다. Thereafter, various methods or algorithms for determining whether the histopathology image is blurred may be used in order to check whether the stored image is in focus with respect to the histopathology digital image.
예를 들어, 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산할 수 있다. For example, a variance of Laplacian may be calculated for the histopathology digital image.
도 2에 도시한 바와 같이, 조직 병리 영상에 대해 수학식 1과 같은 커넬 매트릭스를 활용하여 라플라시안 분산을 계산할 수 있다. As shown in FIG. 2 , the Laplacian variance can be calculated by using the kernel matrix as in Equation 1 for the histopathological image.
[수학식 1][Equation 1]
라플라시안 분산이 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 오류 메시지를 생성한다. 예를 들어, 라플라시안 분산이 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 생성된 오류 메시지를 통해 재스캔이나 재촬영을 요구할 수 있다. An error message is generated when the Laplacian variance is lower than the reference value, which varies according to the size of the histopathology digital image. For example, when the Laplacian variance is lower than a reference value that varies according to the size of the histopathology digital image, a rescan or re-scan may be requested through a generated error message.
라플라시안 분산이 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치와 같거나 큰 경우 다음 단계를 진행한다. If the Laplacian variance is equal to or greater than the reference value that varies according to the size of the histopathology digital image, proceed to the next step.
도 3은 도 1의 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120)의 흐름도이다. 3 is a flowchart of the step (S120) of confirming whether a foreign material is included in the histopathological image of FIG. 1 and removing the foreign material.
도 3을 참조하면, 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120)는 조직 병리 영상에서 물체를 검출하고(S121), 이물질을 확인하고(S122), 이물질이 조직과 겹치는가 판단하고(S123), 이물질이 조직과 겹친다고 판단되는 경우 재스캔 또는 재촬영을 요청하고(S124), 이물질이 조직과 겹치지 않는다고 판단되는 경우 이물질을 제거한다(S125). Referring to FIG. 3 , the step of confirming whether a foreign material is included in the histopathological image and removing the foreign material (S120) is to detect the object in the histopathological image (S121), confirm the foreign material (S122), and the foreign material to the tissue It is determined whether it overlaps with the tissue (S123), and when it is determined that the foreign material overlaps the tissue, a rescan or re-photography is requested (S124), and when it is determined that the foreign material does not overlap the tissue, the foreign material is removed (S125).
S121에서 물체를 검출할 때, 조직 병리 영상에 대해 도 4에 도시한 바와 같이 윤곽 지도(contour map)을 통해 물체를 검출할 수 있다. When the object is detected in S121 , the object may be detected through a contour map as shown in FIG. 4 for the histopathological image.
S122에서 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 조직 병리 영상에 예를 들어 머리카락이나 먼지 등 이물질(artifact)이 포함되었는지를 확인할 수 있다. When it is checked whether a foreign material is included in the histopathology image in S122, it may be checked whether an artifact such as hair or dust is included in the histopathological image using artificial intelligence.
도 5은 도 3에서 조직 병리 영상에서 이물질이 포함되었는지 확인하는데 사용되는 딥 러닝 모델의 구성도이다.FIG. 5 is a configuration diagram of a deep learning model used to determine whether foreign substances are included in the histopathology image in FIG. 3 .
도 5를 참조하면, 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델(deep learning model, 221)을 이용하여 다량의 조직 병리 영상들을 학습시킴으로써 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 다층의 네트워크를 학습시켜, 조직 병리 영상에 이물질이 포함되었는지를 확인할 수 있다. Referring to FIG. 5 , artificial intelligence uses a
조직 병리 영상에서 이물질이 포함되었는지 확인하는데 사용되는 딥 러닝 모델(221)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다. 즉, 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 형태의 모델이다.The
전술한 딥 러닝 모델(221)은 CNN (Convolutional Neural Network), DHN (Deep Hierachical Network), CDBN (Convolutional Deep Belief Network), DDN (Deconvolutional Deep Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network) 등일 수 있으나, 본 발명은 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 딥 러닝 모델을 이용할 수 있다.The above-described
전술한 딥 러닝 모델(221)은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델(221)을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델(221)은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.The above-described
다시 도 5를 참조하면, 딥 러닝 모델(221)은 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part, 222)과, 추출된 픽쳐를 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(output part, 224)을 포함한다. Referring back to FIG. 5, the
컨벌루션(convolution)은 컨볼루션 레이어(convolution lalyer)에서 의료영상의 각 영역을 복수의 필터를 이용하여 픽쳐 맵(feature map)를 만들어낸다. 서브샘플링(subsampling) 또는 폴링(pooling)은 서브샘플링 레이어(subsampling layer)에서 픽쳐 맵(feature map)의 크기를 줄여 위치나 회전의 변화에 불변하는 이미지 영상에 대한 픽쳐(feature)를 추출한다. Convolution creates a feature map by using a plurality of filters for each region of a medical image in a convolution layer. Subsampling or polling reduces the size of a feature map in a subsampling layer to extract a feature for an image that is invariant to a change in position or rotation.
픽쳐 추출 영역(222)은 컨벌루션(convolution) 및/ 또는 서브샘플링(subsampling)을 반복함으로써 의료영상에서 점, 선, 면 등의 저수준의 픽쳐에서부터 복잡하고 의미 있는 고수준의 픽쳐까지 다양한 수준의 픽쳐를 추출할 수 있다.The
딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(222)과 출력 영역(224)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델에서는 데이터의 순서가 초기 파라미터의 값을 결정하게 된다. A deep learning model, for example, a CNN-based deep learning model, aims to optimally learn parameters present in each individual layer in the
딥 러닝 모델(221)은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 랜덤 샘플링은 학습 데이터 셋에서 학습되는 학습 데이터들의 순서가 다르다는 것을 의미한다. The
규제화 기술은 노이즈까지 포함된 학습 데이터에 과도하게 학습된 딥 러닝 모델이 테스트나 진단에서 정확성이 오히려 떨어지는 오버피팅을 줄이는 기술이다. 규제화 기술은 예를 들어 드롭 아웃 기술이나 드롭 커넥티드 기술 등일 수 있다. Regulatory technology is a technology that reduces overfitting, in which a deep learning model over-trained on training data including noise is less accurate in testing or diagnosis. The regulatory technology may be, for example, a drop-out technology or a drop connected technology.
드롭 아웃 기술은 특정 노드에 대해 확률적으로 파라미터의 값을 0으로 지정하고 학습시키는 방법이다. 드롭 커넥티드 기술은 노드들 간의 커넥티드를 드롭하고 학습시키는 방법이다. 이하에서 규제화 기술로 이하에서, 드롭 아웃 기술을 예시적으로 설명하나, 현재 또는 장래에 오버피팅을 줄이는 어떠한 기술 또는 알고리즘일 수 있다.The dropout technique is a method of probabilistically assigning a parameter value to 0 for a specific node and learning it. Drop connected technology is a method of dropping and learning connections between nodes. The dropout technique is exemplarily described below as a regulatory technique below, but it may be any technique or algorithm that reduces overfitting now or in the future.
다시 도 3을 참조하면, S123에서, 조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크(binary mask)로 표현한 이미지를 생성하여 이물질이 조직과 겹쳐있는지 또는 배경에 위치하는지 파악할 수 있다. Referring back to FIG. 3 , in S123 , when it is confirmed that foreign substances are included in the histopathology image, an image is generated in which a part containing tissue in the histopathology image is expressed as a binary mask, and the foreign substances are separated from the tissue. You can figure out whether they are overlapping or located in the background.
S124에서 이물질이 조직과 겹친다고 판단되는 경우 오류 메시지를 통하여 재스캔 또는 재촬영을 요청하여 처음 단계부터 다시 시작할 수 있다. If it is determined in S124 that the foreign material overlaps the tissue, a rescan or re-photography may be requested through an error message, and the first step may be restarted.
S125에서, 이물질이 배경에 위치하는 것으로 파악된 경우, 도 6에 도시한 바와 같이, 이물질을 배경과 동일한 색상으로 변환할 수 있다. In S125 , when it is determined that the foreign material is located in the background, as shown in FIG. 6 , the foreign material may be converted into the same color as the background.
S110 단계 및 S120 단계에 의하여, 조직 병리 영상을 염색 후에 스캔 후 CAD 혹은 딥러닝 모델을 적용 했을 시에 가장 객관적이고 일관적인 결과를 도출할 수 있도록 스캔 결과에 초점이 맞지 않거나, 이물질이 있는 경우, 기존 조직 병리 영상에서 제거하거나 오류 메시지를 띄워 재촬용 또는 재스캔을 유도할 수 있다. According to steps S110 and S120, if the scan result is out of focus or there is a foreign substance, so that the most objective and consistent result can be derived when the CAD or deep learning model is applied after scanning the histopathology image after staining. It can be removed from the existing histopathology image, or an error message can be displayed to induce re-capturing or rescan.
다시 도 1을 참조하면, 조직 병리 영상의 색을 표준화하는 단계(S130)에서 기관/병원에서 사용하는 장비 및 염색체를 일관성 있게 변환하기 위해 도 7에 도시한 바와 같이 색 표준화 (stain/color normalization) 알고리즘을 적용하여 조직 병리 영상의 색 또는 색상을 표준화할 수 있다. Referring back to FIG. 1 , in the step of standardizing the color of the histopathology image ( S130 ), in order to consistently convert equipment and chromosomes used in institutions/hospitals, as shown in FIG. 7 , color normalization (stain/color normalization) An algorithm can be applied to standardize the color or color of the histopathology image.
S130 단계에 의해, 색 표준화 (stain/color normalization) 알고리즘도 적용하므로 기관/병원에서 사용하는 장비 및 염색체에 관계없이 조직 병리 영상의 일관성을 유지할 수 있다. By step S130, since a stain/color normalization algorithm is also applied, the consistency of histopathology images can be maintained regardless of equipment and chromosomes used in institutions/hospitals.
전술한 실시예들에 따른 조직 병리 영상의 방법에 의하면, 초점이 맞고 이물질이 제거되며 색이 표준화된 조직 병리 영상을 제공하므로, 조직 진단시 객관적이고 일관적인 결과를 도출할 수 있다.According to the method of histopathological imaging according to the above-described embodiments, since a histopathological image with a focus, a foreign substance removed, and a color standardized is provided, an objective and consistent result can be derived at the time of tissue diagnosis.
전술한 일 실시예에 따른 병리 조직 영상의 처리 방법(100)은 추출된 조직 병리 영상의 흐림 여부를 판단하고, 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하는 단계(S110), 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 이물질을 제거하는 단계(S120) 및 조직 병리 영상의 색을 표준화하는 단계(S130)를 포함한다. The
그러나, 일 실시예에 따른 병리 조직 영상의 처리 방법(100)은 S110 단계와 S120 단계, S130 단계를 모두 포함할 뿐만 아니라 S110 단계와 S120 단계, S130 단계 중 하나만 포함하거나, 이들 중 둘만을 포함할 수도 있다. However, the
예를 들어 일 실시예에 따른 병리 조직 영상의 처리 방법(100)은 도 3을 참조하여 설명한 S120단계만으로 구성될 수도 있다. For example, the
이상 도 1 내지 도 7을 참조하여 일 실시예에 따른 병리 조직 영상의 처리 방법을 설명하였다. 이하 도 8을 참조하여 다른 실시예에 따른 병리 조직 영상의 처리 장치에 대해 설명한다. A method of processing a pathological tissue image according to an embodiment has been described above with reference to FIGS. 1 to 7 . Hereinafter, an apparatus for processing a pathological tissue image according to another exemplary embodiment will be described with reference to FIG. 8 .
도 8은 다른 실시예에 따른 병리 조직 영상의 처리 장치의 블록도이다. 8 is a block diagram of an apparatus for processing a pathological tissue image according to another exemplary embodiment.
다른 실시예에 따른 병리 조직 영상의 처리 장치(200)는 추출된 조직 병리 영상을 입력받는 입력부(210), 추출된 조직 병리 영상의 흐림 여부를 판단하고 상기 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 상기 조직 병리 영상에 이물질이 포함되었는지를 확인하고 상기 이물질을 제거하고, 상기 조직 병리 영상의 색을 표준화하는 제어부(S220) 및 오류 메시지를 출력하거나 표준화된 조직 병리 영상을 출력하는 출력부(S230)를 포함한다. The
조직 병리 영상의 흐림 여부를 판단할 때, 제어부(220)는 추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화하고, 상기 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산하고, 상기 라플라시안 분산이 상기 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 오류 메시지를 생성할 수 있다. When determining whether the histopathology image is blurred, the
제어부(220)는 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 상기 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출할 수 있다.When determining whether a foreign material is included in the histopathological image, the
제어부(220)는 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 조직 병리 영상에 이물질이 포함되었는지를 확인할 수 있다. When determining whether a foreign material is included in the histopathology image, the
전술한 바와 같이, 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델(221)을 적용하여 다량의 조직 병리 영상들을 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인할 수 있다. As described above, artificial intelligence applies the
도 5를 참조하여 전술한 바와 같이, 딥 러닝 모델(221)은, 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(222)과, 추출된 픽쳐를 이용하여 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(224)을 포함할 수 있다. As described above with reference to FIG. 5, the
조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 제어부(220)는 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크로 표현한 이미지를 생성하여 이물질이 상기 조직과 겹쳐있는지 또는 배경에 위치하는지 파악할 수 있다. When it is confirmed that a foreign material is included in the histopathology image, the
제어부(220)는 이물질이 상기 배경에 위치하는 것으로 파악된 경우, 상기 이물질을 상기 배경과 동일한 색상으로 변환할 수 있다. When it is determined that the foreign material is located in the background, the
제어부(220)는 지속적으로 수집된 학습용 영상 이미지와 누적된 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 인공 지능이 영상 이미지를 판독할 수 있다. The
표시부(230)는 영상 이미지의 특정한 치료 부위를 선택하면, 해당 치료 부위에 대한 정보를 표시하고, 해당 치료 부위의 이미지를 선택하면, 치료 요약 메모창이 표시되고, 상기 치료 요약 메모창을 선택하면 해당 치료 부위에 대한 차트가 출력된다. The
도 8을 참조하여 전술한 바와, 제어부(220)에서 사용될 수 있는 딥 러닝 모델(deep learning model, 221)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다. As described above with reference to FIG. 8 , the
도 8을 참조하여 전술한 바와 같이, 딥 러닝 모델(221)은, 픽쳐 추출 영역(222)과, 출력 영역(224)을 포함한다. 딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(222)과 출력 영역(224)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델(221)은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 딥 러닝 모델들(221)은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다.As described above with reference to FIG. 8 , the
전술한 다른 실시예에 따른 조직 병리 영상의 장치에 의하면 조직 진단시 객관적이고 일관적인 결과를 도출할 수 있다.According to the apparatus for imaging histopathology according to another embodiment described above, it is possible to derive an objective and consistent result at the time of tissue diagnosis.
이상 도 8을 참조하여 다른 실시예에 따른 병리 조직 영상의 처리 장치에 대해 설명하였다. 이하, 도 9을 참조하여, 일실시예에 따른 병리 조직 영상의 처리 방법을 실행하는 병리 조직 영상 처리 시스템에 대해 설명한다. An apparatus for processing a pathological tissue image according to another embodiment has been described above with reference to FIG. 8 . Hereinafter, a pathological tissue image processing system for executing a pathological tissue image processing method according to an exemplary embodiment will be described with reference to FIG. 9 .
도 9는 일실시예에 따른 병리 조직 영상의 처리 방법을 실행하는 병리 조직 영상 처리 시스템을 도시하고 있다.9 illustrates a pathological tissue image processing system for executing a method for processing a pathological tissue image according to an exemplary embodiment.
도 9를 참조하면, 도 1에 도시한 병리 조직 영상의 처리 방법(100)이 실행되는 병리 조직 영상 처리 시스템(300)은 스캐너(310)와, 케이블(330)로 스캐너(310)와 연결되고 병리 조직 영상의 처리 방법(100)을 수행하고 그 결과를 표시하는 컴퓨터 장치(320)를 포함한다. 컴퓨터 장치(320)는 컴퓨터로 읽을 수 있는 기록매체에 포함된, 전술한 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위한 지시들을 구현하는 컴퓨터 장치일 수 있다.Referring to FIG. 9 , the pathological tissue
이때 스캐너(310)와 컴퓨터 장치(320)를 통합하여 병리 조직 처리 시스템(300)을 구성할 수도 있다.In this case, the pathological
전술한 일실시예에 따른 병리 조직 영상의 처리 방법(100)은, 컴퓨터 장치(320)에 기본적으로 설치된 애플리케이션에 의해 실행될 수 있고, 또한, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 컴퓨터 장치(320)의 운영체제와 호환 가능하고 컴퓨터 장치(320)에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 여기서, 컴퓨터 장치(320)의 운영체제는, 데스크 탑 등의 일반 PC에 설치되는 윈도우(Window), 매킨토시(Macintosh) 등의 운영체제이거나, 스마트폰, 태블릿 PC 등의 모바일 단말기에 설치되는 iOS, 안드로이드(Android) 등의 모바일 전용 운영체제 등일 수도 있다.The
이러한 의미에서, 일실시예에 따른 병리 조직 영상의 처리 방법(100)은 컴퓨터 장치(320)에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고, 컴퓨터 장치(320)로 읽을 수 있는 기록매체(322)에 기록될 수 있다.In this sense, the
일실시예에 따른 병리 조직 영상의 처리 방법(100)을 구현한 컴퓨터 프로그램(124)은, 전술한 본 발명의 일실시예에 따른 신호발생수단의 존재 하에서 수행된 증폭 반응으로부터 얻은 증폭곡선을 보정하는 방법에 대응되는 모든 기능을 실행할 수 있다. The computer program 124 implementing the
이러한 컴퓨터 프로그램(324)은 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위한 프로세서를 구성하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램 지시들을 포함하는 컴퓨터 프로그램이다. The
컴퓨터 장치(320)로 읽을 수 있는 기록매체(322)는 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위한 프로세서를 구현하는 지시들을 포함하는 컴퓨터로 읽을 수 있는 기록매체이다. The computer device 320-
이와 같이, 컴퓨터 장치(320)의 컴퓨터가 기록매체에 기록된 컴퓨터 프로그램을 읽어 들여 프로그램으로 구현된 일실시예에 따른 병리 조직 영상의 처리 방법(100)을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, Visual basic, VBScript, JavaScript, Perl, XML 또는 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.In this way, in order for the computer of the
전술한 병리 조직 영상의 처리 방법(100)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.The above-described
컴퓨팅 장치(320)는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.The
또한 전술한 병리 조직 영상의 처리 방법(100)는, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.In addition, the above-described
상술한 본 실시 예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시 예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments may be implemented through various means. For example, the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 본 실시 예들에 따른 딥 러닝 모델을 활용한 병리 조직 영상의 처리 방법(100)은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the
예를 들어 실시 예들에 따른 병리 조직 영상의 처리 방법(100)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.For example, the
실시 예들에 따른 병리 조직 영상의 처리 방법(100)을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.When the
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시 예들에 따른 병리 조직 영상의 처리 방법(100)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.In the case of implementation by firmware or software, the
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.Also, as described above, terms such as "system", "processor", "controller", "component", "module", "interface", "model", or "unit" generally refer to computer-related entities hardware, hardware and software. may mean a combination of, software, or running software. For example, the aforementioned components may be, but are not limited to, a process run by a processor, a processor, a controller, a controlling processor, an object, a thread of execution, a program, and/or a computer. For example, both an application running on a controller or processor and a controller or processor can be a component. One or more components may reside within a process and/or thread of execution, and the components may be located on one device (eg, a system, computing device, etc.) or distributed across two or more devices.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.And, in consideration of the system environment of a computer that reads a recording medium and executes a program by reading a recording medium, a functional program and related codes and code segments for implementing the present invention, programmers in the technical field to which the present invention belongs may be easily inferred or changed by
병리 조직 영상의 처리 방법(100)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The
전술한 병리 조직 영상의 처리 방법(100)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 녹내장 수술 결과 진단 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above-described
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as being included in the scope of the present invention. do.
Claims (16)
상기 조직 병리 영상에 이물질이 포함되었는지를 확인하고, 상기 이물질을 제거하는 단계; 및
상기 조직 병리 영상의 색을 표준화하는 단계를 포함하는 방법. determining whether the extracted histopathology image is blurred, and generating an error message when the blurring of the histopathology image is lower than a reference value;
determining whether a foreign material is included in the histopathological image, and removing the foreign material; and
and normalizing the color of the histopathology image.
상기 조직 병리 영상의 흐림 여부를 판단할 때,
추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화하고, 상기 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산하고, 상기 라플라시안 분산이 상기 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 상기 오류 메시지를 생성하는 방법. According to claim 1,
When determining whether the histopathological image is blurred,
After staining the extracted histopathology, it is scanned or photographed and digitized, and a variance of Laplacian is calculated for the histopathology digital image. How to generate the above error message if low.
상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 상기 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출하는 방법.The method of claim 1,
A method of detecting an object through a contour map with respect to the histopathological image when it is determined whether a foreign material is included in the histopathological image.
상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 방법.The method of claim 1,
When determining whether a foreign material is included in the histopathological image, a method of confirming whether the foreign material is included in the histopathological image using artificial intelligence.
상기 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델을 적용하여 다량의 조직 병리 영상들을 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 방법.5. The method of claim 4,
The artificial intelligence applies a deep learning model in a deep neural network consisting of a multi-layered network to learn a large amount of tissue pathology images to automatically learn features of the input value, and predict accuracy through this A method of determining whether the foreign material is included in the histopathology image by training the multi-layered network to minimize the error of
상기 딥 러닝 모델은, 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part)과, 추출된 픽쳐를 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(output part)을 포함하는 방법.6. The method of claim 5,
The deep learning model performs convolution and subsampling on the input histopathological image to extract a picture for the histopathological image (feature extraction part); and an output part for outputting whether the foreign material is included in the histopathology image by using a picture.
상기 조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 상기 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크로 표현한 이미지를 생성하여 상기 이물질이 상기 조직과 겹쳐있는지 또는 배경에 위치하는지 파악하는 방법.According to claim 1,
When it is confirmed that foreign substances are included in the histopathology image, an image is generated in which a portion containing tissue in the histopathology image is expressed as a binary mask, and the method of determining whether the foreign material overlaps the tissue or is located in the background .
상기 이물질이 상기 배경에 위치하는 것으로 파악된 경우, 상기 이물질을 상기 배경과 동일한 색상으로 변환하는 방법.8. The method of claim 7,
When it is determined that the foreign material is located in the background, the method of converting the foreign material to the same color as the background.
추출된 조직 병리 영상의 흐림 여부를 판단하고 상기 조직 병리 영상의 흐림이 기준치보다 낮은 경우 오류 메시지를 생성하고, 상기 조직 병리 영상에 이물질이 포함되었는지를 확인하고 상기 이물질을 제거하고, 상기 조직 병리 영상의 색을 표준화하는 제어부; 및
상기 오류 메시지를 출력하거나, 표준화된 상기 조직 병리 영상을 출력하는 출력부를 포함하는 장치. an input unit for receiving the extracted histopathology image;
It is determined whether the extracted histopathology image is blurred, and when the blur of the histopathology image is lower than a reference value, an error message is generated, it is checked whether foreign substances are included in the histopathology image, the foreign material is removed, and the histopathology image a control unit for standardizing the color of and
and an output unit for outputting the error message or for outputting the standardized histopathology image.
상기 조직 병리 영상의 흐림 여부를 판단할 때,
추출된 조직 병리를 염색한 후 스캔하거나 촬영하여 디지털화하고, 상기 조직 병리 디지털 영상에 대해 라플라시안 분산(variance of Laplacian)을 계산하고, 상기 라플라시안 분산이 상기 조직 병리 디지털 영상의 크기에 따라 변동되는 기준치보다 낮은 경우 상기 오류 메시지를 생성하는 장치. 10. The method of claim 9,
When determining whether the histopathological image is blurred,
After staining the extracted histopathology, it is scanned or photographed and digitized, and a variance of Laplacian is calculated for the histopathology digital image. If low, the device generates the above error message.
상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 상기 조직 병리 영상에 대해 윤곽 지도(contour map)을 통해 물체를 검출하는 장치.10. The method of claim 9,
An apparatus for detecting an object through a contour map with respect to the histopathological image when it is determined whether a foreign material is included in the histopathological image.
상기 조직 병리 영상에 이물질이 포함되었는지를 확인할 때, 인공지능을 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 장치.10. The method of claim 9,
When determining whether a foreign material is included in the histopathological image, an apparatus for determining whether the foreign material is included in the histopathological image using artificial intelligence.
상기 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 딥 러닝 모델을 적용하여 다량의 조직 병리 영상들을 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 확인하는 장치.13. The method of claim 12,
The artificial intelligence applies a deep learning model in a deep neural network consisting of a multi-layered network to learn a large amount of tissue pathology images to automatically learn features of the input value, and predict accuracy through this An apparatus for determining whether the foreign material is included in the histopathology image by learning the multi-layered network to minimize the error of
상기 딥 러닝 모델은, 입력된 조직 병리 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 상기 조직 병리 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part)과, 추출된 픽쳐를 이용하여 상기 조직 병리 영상에 상기 이물질이 포함되었는지를 출력하는 출력 영역(output part)을 포함하는 장치.14. The method of claim 13,
The deep learning model performs convolution and subsampling on the input histopathological image to extract a picture for the histopathological image (feature extraction part); and an output part for outputting whether the foreign material is included in the histopathology image by using a picture.
상기 조직 병리 영상에 이물질이 포함된 것으로 확인된 경우, 상기 조직 병리 영상에서 조직이 포함되어 있는 부분을 바이너리 마스크로 표현한 이미지를 생성하여 상기 이물질이 상기 조직과 겹쳐있는지 또는 배경에 위치하는지 파악하는 장치.12. The method of claim 11,
When it is confirmed that foreign substances are included in the histopathological image, an image is generated in which a portion containing tissue in the histopathological image is expressed as a binary mask to determine whether the foreign material overlaps the tissue or is located in the background .
상기 이물질이 상기 배경에 위치하는 것으로 파악된 경우, 상기 이물질을 상기 배경과 동일한 색상으로 변환하는 장치.
16. The method of claim 15,
When it is determined that the foreign material is located in the background, the apparatus converts the foreign material into the same color as the background.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210009672A KR20220106582A (en) | 2021-01-22 | 2021-01-22 | Method and apparatus for processing pathological tissue image |
PCT/KR2021/017402 WO2022158694A1 (en) | 2021-01-22 | 2021-11-24 | Method for processing pathological tissue image and apparatus therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210009672A KR20220106582A (en) | 2021-01-22 | 2021-01-22 | Method and apparatus for processing pathological tissue image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220106582A true KR20220106582A (en) | 2022-07-29 |
Family
ID=82549527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210009672A KR20220106582A (en) | 2021-01-22 | 2021-01-22 | Method and apparatus for processing pathological tissue image |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20220106582A (en) |
WO (1) | WO2022158694A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101297336B1 (en) * | 2011-03-30 | 2013-08-14 | 인하대학교 산학협력단 | Device For Classifying Mucinous Cystadenoma |
EP2871512B1 (en) * | 2012-07-04 | 2019-06-05 | Sony Corporation | Information processing device, information processing method, program, and microscope system |
KR101704690B1 (en) * | 2015-09-02 | 2017-02-09 | 선문대학교 산학협력단 | Apparatus and method for analyzing cell |
KR101789513B1 (en) * | 2016-07-11 | 2017-10-26 | 주식회사 인피니트헬스케어 | Method of determining image quality in digital pathology system |
US10878293B2 (en) * | 2016-08-30 | 2020-12-29 | Memorial Sloan Kettering Cancer Center | System, method and computer-accessible medium for quantification of blur in digital images |
-
2021
- 2021-01-22 KR KR1020210009672A patent/KR20220106582A/en not_active Application Discontinuation
- 2021-11-24 WO PCT/KR2021/017402 patent/WO2022158694A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022158694A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097130B (en) | Training method, device and equipment for classification task model and storage medium | |
US10496898B2 (en) | State detection using machine-learning model trained on simulated image data | |
JP6837597B2 (en) | Active learning systems and methods | |
CN110570426B (en) | Image co-registration and segmentation using deep learning | |
JP2020064609A (en) | Patient-specific deep learning image denoising methods and systems | |
US11263744B2 (en) | Saliency mapping by feature reduction and perturbation modeling in medical imaging | |
JP7337937B2 (en) | Magnified Image Acquisition and Storage | |
KR102097743B1 (en) | Apparatus and Method for analyzing disease based on artificial intelligence | |
KR102359984B1 (en) | System and Method for reading capsule endoscopy image | |
US20220375610A1 (en) | Multi-Variable Heatmaps for Computer-Aided Diagnostic Models | |
JP2024504958A (en) | Method for generating tissue specimen images and computing system for performing the same | |
CN111507950B (en) | Image segmentation method and device, electronic equipment and computer-readable storage medium | |
CN117671056A (en) | Image artifact weakening method and device based on artificial intelligence and electronic equipment | |
KR20220106582A (en) | Method and apparatus for processing pathological tissue image | |
JP7478518B2 (en) | Image interpretation support device and image interpretation support method | |
CN112991266A (en) | Semantic segmentation method and system for small sample medical image | |
KR102720930B1 (en) | Method, apparatus and program to read pneumonia | |
US20240331872A1 (en) | System and method for detection of a heart failure risk | |
US11288800B1 (en) | Attribution methodologies for neural networks designed for computer-aided diagnostic processes | |
US20240203039A1 (en) | Interpretable task-specific dimensionality reduction | |
US20240062331A1 (en) | Deep learning robustness against display field of view variations | |
US20240062857A1 (en) | Systems and methods for visualization of medical records | |
KR20230046516A (en) | Method, apparatus and program to estimate uncertainty based on test-time mixup augmentation | |
Burić | Application of Computer Vision Methods in Veterinary Ophthalmology | |
KR20230171799A (en) | Cervical image diagnosis preprocessing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |