KR102307995B1 - The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof - Google Patents

The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof Download PDF

Info

Publication number
KR102307995B1
KR102307995B1 KR1020190003676A KR20190003676A KR102307995B1 KR 102307995 B1 KR102307995 B1 KR 102307995B1 KR 1020190003676 A KR1020190003676 A KR 1020190003676A KR 20190003676 A KR20190003676 A KR 20190003676A KR 102307995 B1 KR102307995 B1 KR 102307995B1
Authority
KR
South Korea
Prior art keywords
lymph node
node metastasis
thyroid cancer
radioiodine
diagnosing
Prior art date
Application number
KR1020190003676A
Other languages
Korean (ko)
Other versions
KR20200087427A (en
Inventor
안병철
수바스 카비타 무투
이창희
수하스다스 시부다스 카탁카릴
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190003676A priority Critical patent/KR102307995B1/en
Publication of KR20200087427A publication Critical patent/KR20200087427A/en
Application granted granted Critical
Publication of KR102307995B1 publication Critical patent/KR102307995B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법은 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리 단계, 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계, 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계 및 신경망 학습의 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 단계가 포함될 수 있다.A method of operating a system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention includes a pre-processing step in which a multi-dimensional mask image is generated from a radioiodine plane image, and the residual tissue ( Remnant tissue) or lymph node metastasis (Lymph Node metastasis) is calculated, the pre-processed radioiodine plane image and the neural network (Neural Network) learning model is applied to the calculated likelihood of the learning is performed and diagnosing whether thyroid cancer has metastasized to a lymph node based on a result of neural network learning.

Description

딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템 및 이의 동작 방법{THE DIAGNOSTIC SYSTEM OF LYMPH NODE METASTASIS IN THYROID CANCER USING DEEP LEARNING AND METHOD THEREOF}Thyroid cancer lymph node metastasis diagnosis system using deep learning and its operation method

본 발명은 딥러닝을 이용한 갑상선 암의 림프절 진단 시스템 및 이의 동작 방법에 관한 것으로, 더욱 상세하게는 방사선요오드 평면 영상에 대하여 다차원 마스크 이미지를 생성하고, 잔여 조직 또는 림프절 전이에 대한 가능도를 계산하여 생성된 이미지 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용됨으로써 림프절 전이 여부가 진단되는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템 및 이의 동작 방법에 관한 것이다. The present invention relates to a lymph node diagnosis system for thyroid cancer using deep learning and an operating method thereof, and more particularly, by generating a multi-dimensional mask image for a radioiodine plane image and calculating the likelihood of residual tissue or lymph node metastasis. A system for diagnosing lymph node metastasis of thyroid cancer using deep learning in which a neural network learning model is applied to a generated image and a calculated likelihood is used to diagnose lymph node metastasis, and a method of operating the same.

림프절 전이(Lymph node Metastases)는 분화 갑상선암(DTC: Differentiated Thyroid Carcinoma)의 주요 예후 인자(prognostic factors) 중 하나로써, 분화 갑상선암 환자의 경부(頸部) 림프절 전이 유병률은 20%에서 90% 범위에 해당되는 것으로 보고되고 있다.Lymph node metastases are one of the major prognostic factors of Differentiated Thyroid Carcinoma (DTC), and the prevalence of cervical lymph node metastasis in patients with differentiated thyroid cancer ranges from 20% to 90%. is reported to be

의료 영상 중 하나인 방사성요오드 평면 영상(whole-body planar scans)은 갑상선 절제술 시행 후 갑상선암 환자에게 숨겨진 방사성 요오드(RAI: radioactive-iodine) 전이성 림프절 전이 정도를 시각화 함으로써 단계 별 진단하는데 도움이 됩니다. 다만, 상기 방사성요오드 평면 영상에서의 해부학적 특징이 부족한 점 및 갑상선 잔류물에 의한 방사성요오드 섭취는 진단 민감도 및 특이성에 부정적인 영향을 끼쳐 다수의 위양성(false positive) 또는 위음성(false negative) 진단이 발생함으로써 초과 혹은 부족 치료로 이어질 위험이 있다. 이러한 문제를 극복하기 위하여 단일광자 단층촬영(SPECT: single photon emission computed tomography, 이하 단층 촬영) 영상을 사용함으로써 림프절 전이 여부의 정확한 진단이 이루어질 수 있지만, 단층 촬영으로 인하여 초래되는 방사선 피폭 문제, 비용 문제 및 시간 문제 등을 고려하였을 때, 단층 촬영 방법은 지속적으로 사용하기 어렵다.Radioactive iodine planar scans, one of the medical images, are helpful in step-by-step diagnosis by visualizing the degree of radioactive-iodine (RAI) metastatic lymph node metastasis hidden in thyroid cancer patients after thyroidectomy. However, the lack of anatomical features in the radioactive iodine plane image and the intake of radioiodine by the thyroid residue negatively affect the diagnostic sensitivity and specificity, resulting in a number of false positive or false negative diagnoses. There is a risk of over- or under-treatment. To overcome this problem, an accurate diagnosis of lymph node metastasis can be made by using single photon emission computed tomography (SPECT) images, but radiation exposure problems and cost problems caused by tomography and time problem, it is difficult to continuously use the tomography method.

상기 문제점을 해결하기 위하여 컴퓨터 보조 진단(CAD: computer aided diagnosis) 시스템이 사용될 수 있다. 컴퓨터 보조 진단 시스템이란 의료 영상을 분석한 결과에 따라 의료 영상의 소정의 부위에 진단에 관련된 내용의 표시를 통해 의사의 진단에 도움을 줄 수 있는 시스템을 지칭할 수 있다. 갑상선암의 림프절 전이를 위한 컴퓨터 보조 진단 방법은 의사는 물론 환자에게도 유익한 도구가 될 수 있다.To solve the above problems, a computer aided diagnosis (CAD) system may be used. The computer-assisted diagnosis system may refer to a system capable of assisting a doctor in diagnosis by displaying diagnosis-related contents on a predetermined portion of a medical image according to a result of analyzing a medical image. A computer-aided diagnostic method for thyroid cancer metastasis to lymph nodes can be a useful tool not only for doctors but also for patients.

그러나, 컴퓨터 보조 진단을 사용하기 위해서 방사성요오드 평면 영상을 세분화 하여 검사하는 것은 방사성요오드 결합성을 가진 잔존 갑상샘 조직의 가능성 때문에 어려움을 겪고 있다. 현재는 경부 림프절 전이의 검출을 위해서 CT 영상에 초점을 맞출 수 밖에 없는 제한적인 상황에 처해있으며, CT 영상을 활용하더라도 인접한 조직으로부터 식별이 불가능한 전이 케이스가 있어 적합하지 않은 실정이다.However, subdivision and examination of radioiodine plane images for use in computer-aided diagnosis is difficult due to the possibility of residual thyroid tissue with radioiodine binding properties. Currently, we are in a limited situation where we have to focus on CT images for the detection of cervical lymph node metastases, and even if CT images are used, there are cases of metastases that cannot be identified from adjacent tissues, which is not suitable.

최근에는 여러가지 의학적인 진단 문제를 해결하기 위해서 딥러닝(deep-learning) 알고리즘이 활용되어 복잡한 이미징 및 해부학적 영상을 분석하여 진단에 활용되고 있다. 다만, 방사성요오드 평면 영상에서 림프절 전이 및 잔존 조직 영역은 일반적으로 노이즈 인공물질(noise artifacts)의 영향을 받고 다른 영역과 중첩될 수 있는 문제가 있어, 곧바로 방사성요오드 평면 영상을 딥러닝 알고리즘에 활용하는 것은 부적절하고, 픽셀 단위(pixel-wise)의 지역 기반 신경망 학습을 통해 림프절 전이 여부를 진단하기 위한 기술 개발이 요구되고 있다.Recently, a deep-learning algorithm is used to solve various medical diagnostic problems, and complex imaging and anatomical images are analyzed and utilized for diagnosis. However, in the radioiodine plane image, lymph node metastasis and the remaining tissue region are generally affected by noise artifacts and have a problem that may overlap with other regions. This is inappropriate, and the development of technology for diagnosing lymph node metastasis through pixel-wise regional-based neural network training is required.

대한민국 공개특허공보 제10-2018-0022440호 (공개일자: 2018.03.06)Republic of Korea Patent Publication No. 10-2018-0022440 (published date: 2018.03.06)

본 발명은 전술한 문제점에 대한 일 대응방안으로써, 딥러닝 알고리즘을 이용하여 방사성요오드 평면 영상을 분석하되, 방사성요오드 평면 영상 자체를 바로 학습시키는 것이 아니라, 픽셀 단위의 전처리된(preprocessed) 마스크 영상 및 계산된 가능도에 대하여 학습이 이루어진 결과를 활용할 수 있는 림프절전이 진단 시스템 및 이의 동작 방법을 제공하고자 함에 그 목적이 있다. The present invention is a countermeasure to the above-described problem, but analyzes a radioiodine plane image using a deep learning algorithm, rather than directly learning the radioiodine plane image itself, a pixel-unit preprocessed mask image and An object of the present invention is to provide a lymph node metastasis diagnosis system that can utilize the result of learning with respect to the calculated likelihood and an operating method thereof.

본 발명의 일 실시 예로써, 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법이 제공될 수 있다.As an embodiment of the present invention, a method of operating a system for diagnosing lymph node metastasis of thyroid cancer using deep learning may be provided.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법은 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리 단계, 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계, 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계 및 신경망 학습의 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 단계가 포함될 수 있다.A method of operating a system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention includes a pre-processing step in which a multi-dimensional mask image is generated from a radioiodine plane image, and the residual tissue ( Remnant tissue) or lymph node metastasis (Lymph Node metastasis) is calculated, the pre-processed radioiodine plane image and the neural network (Neural Network) learning model is applied to the calculated likelihood of the learning is performed and diagnosing whether thyroid cancer has metastasized to a lymph node based on a result of neural network learning.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법의 다차원 마스크 이미지가 생성되는 전처리 단계는 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되는 단계, 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되는 단계 및 가우시안 필터링 결과에 기초하여 픽셀 특징이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성되는 단계가 포함될 수 있다.The pre-processing step of generating a multi-dimensional mask image of the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention is the step of detecting the region of the tracer ingestion site from the radioiodine plane image, the detected tracer intake The method may include performing Gaussian filtering on the partial region and generating a multidimensional mask image in which pixel features are expressed in a plurality of levels based on the Gaussian filtering result.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에 있어서, 갑상선 암의 림프절 전이 여부가 진단되는 단계에서는 추적자 섭취부위 영역 별 잔여 조직 및 림프절 전이 중 어느 하나로 판단된 결과에 따라 갑상선 암의 림프절 전이 여부가 진단될 수 있다.In the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, in the step of diagnosing whether lymph node metastasis of thyroid cancer is diagnosed, it is determined as any one of residual tissue and lymph node metastasis for each region ingested by the tracer. Depending on the results obtained, it can be diagnosed whether the thyroid cancer has metastasized to the lymph nodes.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에는 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하기 위한 픽셀 단위의 필터링이 수행되는 후처리 단계가 더 포함될 수 있다.In the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, after filtering is performed in units of pixels to remove an area erroneously determined in the stage of diagnosing whether lymph node metastasis of thyroid cancer is performed, Further processing steps may be included.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에 있어서, 가능도(likelihood)가 계산되는 단계에서의 가능도는 전처리된 방사성요오드 평면 영상의 모든 픽셀의 GT(Ground Truth) 값에 대하여 정규화가 수행됨으로써 계산될 수 있다.In the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, the likelihood in the step of calculating the likelihood is the GT of all pixels of the preprocessed radioiodine plane image. (Ground Truth) may be calculated by performing normalization on the value.

본 발명의 일 실시 예로써, 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템이 제공될 수 있다.As an embodiment of the present invention, a system for diagnosing lymph node metastasis of thyroid cancer using deep learning may be provided.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템은 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리부, 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 가능도결정부, 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 신경망학습부 및 신경망학습부의 학습 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 진단예측부가 포함될 수 있다.A system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention includes a preprocessing unit that generates a multidimensional mask image from a radioiodine plane image, and a residual tissue for each pixel in the preprocessed radioiodine planar image. Alternatively, a neural network in which learning is performed by applying a Neural Network learning model to the likelihood determining unit where the likelihood of lymph node metastasis is calculated, the preprocessed radioiodine plane image, and the calculated likelihood. A diagnosis predictor for diagnosing whether thyroid cancer has metastasized to a lymph node based on the learning results of the learning unit and the neural network learning unit may be included.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 전처리부에서는 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되고, 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되며, 가우시안 필터링 결과에 기초하여 픽셀 특징이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성될 수 있다.In the preprocessor of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, a tracer intake site region is detected from a radioiodine plane image, and Gaussian filtering is performed on the detected tracer intake site region, A multidimensional mask image in which pixel features are expressed in a plurality of levels may be generated based on the Gaussian filtering result.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 진단예측부에서는 추적자 섭취부위 영역 별 잔여 조직 및 림프절 전이 중 어느 하나로 판단된 결과에 따라 갑상선 암의 림프절 전이 여부가 진단될 수 있다.In the diagnostic prediction unit of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, the diagnosis of whether the lymph node metastasis of thyroid cancer is diagnosed according to the result determined as either residual tissue or lymph node metastasis for each region of the tracer intake site can be

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템에는 진단예측부에서 잘못 판단된 영역을 제거하기 위한 픽셀 단위의 필터링이 수행되는 후처리부가 더 포함될 수 있다.The system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention may further include a post-processing unit in which filtering in units of pixels is performed to remove a region erroneously determined by the diagnosis prediction unit.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 가능도결정부에서는 전처리된 방사성요오드 평면 영상의 모든 픽셀의 GT(Ground Truth) 값에 대하여 정규화가 수행됨으로써 가능도가 계산될 수 있다.In the likelihood determination unit of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, normalization is performed on the GT (Ground Truth) values of all pixels of the pre-processed radioiodine plane image, thereby increasing the likelihood. can be calculated.

한편, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.Meanwhile, as an embodiment of the present invention, a computer-readable recording medium in which a program for implementing the above-described method is recorded may be provided.

본 발명의 일 실시 예에 따르면, 방사성요오드 영상의 픽셀 단위의 전처리된 영상을 학습시킴으로써 노이즈 인공물(noise artifact)의 영향을 최소화함으로써 학습이 수행될 수 있다. According to an embodiment of the present invention, learning may be performed by minimizing the influence of noise artifacts by learning the pixel-by-pixel preprocessed image of the radioiodine image.

또한, 림프절 전이 및 잔류 조직 여부에 대한 가능도(likelihood)에 관한 내용을 학습 대상으로 추가시킴으로써 갑상선 암의 림프절 전이 진단 여부를 더욱 정확하게 판단할 수 있다. In addition, by adding information on the likelihood of lymph node metastasis and residual tissue as a learning target, it is possible to more accurately determine whether lymph node metastasis of thyroid cancer is diagnosed.

도 1은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 다차원 마스크 이미지가 생성되는 전처리 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 가우시안 필터링이 수행된 이미지를 나타낸 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 림프절 전이 및 잔류 조직에 대하여 계산된 가능도가 반영된 이미지를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 환자 별 림프절 전이 및 잔류조직을 표시한 결과를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 부정확하게 분류된 결과를 나타낸 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 신경망의 히든 레이어 수에 따른 수행 결과를 나타낸 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템을 나타낸 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템을 나타낸 예시도이다.
1 is a flowchart illustrating an operating method of a system for diagnosing lymph node metastasis according to an embodiment of the present invention.
2 is a flowchart illustrating a pre-processing method for generating a multi-dimensional mask image in the operating method of the lymph node metastasis diagnosis system according to an embodiment of the present invention.
3 is an exemplary diagram illustrating an image on which Gaussian filtering is performed in the operating method of the system for diagnosing lymph node metastasis according to an embodiment of the present invention.
4 is an exemplary diagram illustrating an image in which the calculated likelihood of lymph node metastasis and residual tissue is reflected in the operating method of the lymph node metastasis diagnosis system according to an embodiment of the present invention.
5 is an exemplary diagram showing the results of displaying lymph node metastasis and residual tissue for each patient in the operating method of the lymph node metastasis diagnosis system according to an embodiment of the present invention.
6 is an exemplary diagram illustrating incorrect classification results in the operating method of the system for diagnosing lymph node metastasis according to an embodiment of the present invention.
7 is an exemplary diagram illustrating a result of performing a method according to the number of hidden layers of a neural network in an operating method of a system for diagnosing lymph node metastasis according to an embodiment of the present invention.
8 is a block diagram illustrating a system for diagnosing lymph node metastasis according to an embodiment of the present invention.
9 is an exemplary diagram illustrating a system for diagnosing lymph node metastasis according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다. When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. . In addition, when a part is "connected" to another part throughout the specification, it includes not only a case in which it is "directly connected" but also a case in which it is connected "with another element in the middle".

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시 예로써, 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법이 제공될 수 있다. 또한, 상기 림프절 전이 진단 시스템의 동작 방법은 후술하는 림프절 전이 진단 시스템(1000)에 의해서 수행될 수 있으며, 이하에서는 후술하는 림프절 전이 진단 시스템(1000)에 의해 수행되는 림프절 전이 진단 시스템의 동작 방법에 관하여 설명한다.As an embodiment of the present invention, a method of operating a system for diagnosing lymph node metastasis of thyroid cancer using deep learning may be provided. In addition, the operating method of the lymph node metastasis diagnosis system may be performed by the lymph node metastasis diagnosis system 1000 to be described later. explain about it.

도 1은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법을 나타낸 순서도이다.1 is a flowchart illustrating an operating method of a system for diagnosing lymph node metastasis according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법은 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리 단계(S100), 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계(S200), 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계(S300) 및 신경망 학습의 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 단계가 포함(S400)될 수 있다.Referring to FIG. 1 , the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention includes a pre-processing step (S100) of generating a multi-dimensional mask image from a radioactive iodine plane image, the pre-processed radioactive iodine A step of calculating the likelihood of residual tissue or Lymph Node metastasis for each pixel in the planar image (S200), the preprocessed radioiodine planar image and the calculated likelihood of the neural network Network) A step of performing learning by applying a learning model ( S300 ) and a step of diagnosing whether lymph node metastasis of thyroid cancer is diagnosed based on the result of neural network learning ( S400 ) may be included.

상기 방사성요오드 평면 영상(whole-body planar scans)은 전술한 바와 같이 의료 영상 중 하나로써, 갑상선 절제술 시행 후 갑상선암 환자에게 숨겨진 방사성 요오드(RAI: radioactive-iodine) 전이성 림프절 전이 정도를 시각화 한 영상을 지칭할 수 있다. 또한, 상기 방사성요오드 평면 영상은 갑상선 암 환자에 대하여 131-I 요오드를 투여한 후 소정의 시간이 지난 뒤에 감마선 카메라를 이용하여 촬영된 영상에 해당될 수 있다.The radioactive iodine planar image (whole-body planar scans) is one of the medical images as described above, and refers to an image that visualizes the degree of radioactive-iodine (RAI) metastatic lymph node metastasis hidden in a thyroid cancer patient after thyroidectomy. can do. In addition, the radioiodine plane image may correspond to an image taken using a gamma-ray camera after a predetermined time has elapsed after administration of 131-I iodine to a thyroid cancer patient.

먼저, 전처리 단계(S100)에서는 입력된 방사성요오드 평면 영상에 대하여 전처리가 수행됨으로써 다차원 마스크 이미지(multi-dimensional masked images)가 생성될 수 있다.First, in the pre-processing step ( S100 ), pre-processing is performed on the input radioiodine plane image, so that multi-dimensional masked images can be generated.

도 2는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 다차원 마스크 이미지가 생성되는 전처리 방법을 나타낸 순서도이고, 도 3은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 가우시안 필터링이 수행된 이미지를 나타낸 예시도이다.2 is a flowchart illustrating a pre-processing method for generating a multi-dimensional mask image in an operating method of a lymph node metastasis diagnosis system according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating a lymph node metastasis diagnosis system according to an embodiment of the present invention. In the method of operation, it is an exemplary diagram showing an image on which Gaussian filtering is performed.

도 2 내지 도 3을 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법의 다차원 마스크 이미지가 생성되는 전처리 단계(S100)는 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되는 단계(S110), 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되는 단계(S120) 및 가우시안 필터링 결과에 기초하여 픽셀 특징들이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성되는 단계(S130)가 포함될 수 있다.2 to 3, the pre-processing step (S100) of generating a multidimensional mask image of the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention is a tracer from a radioiodine plane image. A step of detecting the intake site region (S110), the step of performing Gaussian filtering on the detected tracer intake region region (S120), and a multi-dimensional mask image in which pixel features are expressed in a plurality of levels based on the Gaussian filtering result is generated Step S130 may be included.

구체적으로, 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되는 단계(S110)에서는 방사선요오드 평면 영상 내에서 갑상선 암의 전이 여부가 진단되기 위한 추적자 섭취 부위 영역이 먼저 검출되는데, 추적자 섭취 부위는 잔류 조직 및 전이 조직 모두에 표시가 되는 것으로, 추적자는 방사선 영상 생성 장치에 있어서 양전자를 방출하는 물질을 지칭할 수 있다. 즉, 추적자 섭취부위 영역 검출 단계(S110)에서는 아직 전이 조직 혹은 잔류 조직에 대한 분류 결과가 나오진 않았지만 본 발명에 의해서 진단의 대상이 되는 갑상선 주위의 추적자가 섭취된 영역이 별도로 검출됨으로써 추후 딥러닝 학습을 위한 대상으로 사용될 수 있다.Specifically, in the step (S110) of detecting the region of the tracer intake site from the radioiodine plane image, the region of the tracer intake site for diagnosing whether or not metastasis of thyroid cancer is detected in the radioiodine plane image is first detected, and the tracer intake site is the residual tissue. and metastatic tissue, the tracer may refer to a substance emitting positrons in a radiographic image generating device. That is, in the step of detecting the region of the tracer ingestion site (S110), the classification result for the metastatic tissue or the residual tissue has not yet been obtained, but the region in which the tracer is ingested around the thyroid gland, which is the subject of diagnosis, is separately detected according to the present invention, thereby further deep learning learning. can be used as a target for

다음으로, 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되는 단계(S120)에서는 영상 품질을 향상시키고 다차원 픽셀 피처를 생성하기 위해 가우시안 필터링(Gaussian filtering)이 수행될 수 있다. 가우시안 필터링은 영상 처리 기법 중 하나로 가우시안 함수를 이용하여 마스크를 생성하고 입력된 영상과 마스크 연산을 수행하는 필터링 방법을 지칭할 수 있으며, 표준 편차 값을 다양하게 설정함에 따라 다차원 가우스 픽셀 특징들이 생성될 수 있다. 도 3에 도시된 바와 같이 원본 영상(A)에 대하여 표준 편차 값을 2, 4, 8로 설정함으로써 필터링된 이미지가 각각 B, C, D와 같이 나타날 수 있다. Next, in the step S120 of performing Gaussian filtering on the detected tracer intake region, Gaussian filtering may be performed to improve image quality and generate multidimensional pixel features. Gaussian filtering, one of the image processing techniques, may refer to a filtering method that generates a mask using a Gaussian function and performs a mask operation with an input image. can As shown in FIG. 3 , by setting standard deviation values of 2, 4, and 8 with respect to the original image A, the filtered images may appear as B, C, and D, respectively.

다음으로, 즉, S110 단계에서 검출된 추적자 섭취 부위에 대하여 S120 단계에서 가우시안 필터링을 통해 생성된 이미지를 이용한 마스크 연산을 통해 다차원 마스크 이미지가 생성될 수 있다. 즉, 전처리 단계(S100)의 결과로써, 가우시안 필터링 결과에 기초하여 픽셀 특징들이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성(S130)될 수 있다.Next, that is, a multidimensional mask image may be generated through a mask operation using the image generated through Gaussian filtering in step S120 with respect to the tracer intake site detected in step S110. That is, as a result of the pre-processing step ( S100 ), a multidimensional mask image in which pixel features are expressed in a plurality of levels based on the Gaussian filtering result may be generated ( S130 ).

전처리 단계(S100) 이후에는 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계(S200)가 수행될 수 있다.After the pre-processing step (S100), a step (S200) of calculating the likelihood of residual tissue or lymph node metastasis for each pixel in the pre-treated radioiodine plane image may be performed.

도 4는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 림프절 전이 및 잔류 조직에 대하여 계산된 가능도가 반영된 이미지를 나타낸 예시도이다.4 is an exemplary diagram illustrating an image in which the calculated likelihood of lymph node metastasis and residual tissue is reflected in the operating method of the lymph node metastasis diagnosis system according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에 있어서, 가능도(likelihood)가 계산되는 단계에서의 가능도는 전처리된 방사성요오드 평면 영상의 모든 픽셀의 GT(Ground Truth) 값에 대하여 정규화가 수행됨으로써 계산될 수 있다.4 , in the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, the likelihood in the step of calculating the likelihood is the preprocessed radioiodine plane. It may be calculated by performing normalization on GT (Ground Truth) values of all pixels of the image.

상기 GT(Ground Truth) 값은 영상처리 알고리즘 성능 평가에서 사용되는 것으로, 특정 결과 값이 얼마나 정확한지 평가하고자 할 때, 그 비교 기준이 되는 실제 값을 지칭할 수 있다. 더욱 자세한 설명은 본 발명의 내용과 관계 없는 것으로 생략한다.The GT (Ground Truth) value is used in the image processing algorithm performance evaluation, and may refer to an actual value serving as a comparison standard when evaluating how accurate a specific result value is. A more detailed description is omitted as it is irrelevant to the content of the present invention.

구체적인 가능도 계산은 아래 정규화 계산을 위한 [수학식 1] 및 [수학식 2] 에 의해 수행될 수 있다.Specific likelihood calculation may be performed by [Equation 1] and [Equation 2] for the following normalization calculation.

[수학식 1][Equation 1]

Figure 112019003584712-pat00001
Figure 112019003584712-pat00001

[수학식 2][Equation 2]

Figure 112019003584712-pat00002
Figure 112019003584712-pat00002

상기 [수학식 1] 및 [수학식 2]에서

Figure 112019003584712-pat00003
는 전술한 GT(Ground Truth) 값에 해당되고, [수학식 1]에서
Figure 112019003584712-pat00004
는 해당 전처리 영상의 픽셀 위치가 잔여 조직(remnant tissue)에 해당될 확률을 나타내며, [수학식 2]에서
Figure 112019003584712-pat00005
는 해당 전처리 영상의 픽셀 위치가 림프절 전이(lymph node metastasis)에 해당될 확률을 나타낼 수 있다. 즉, 위 [수학식 1] 및 [수학식 2]를 사용하여 전처리된 영상에 대한 모든 픽셀의 GT 값을 정규화함으로써 림프절 전이 혹은 잔여 조직 여부에 대한 가능도가 계산될 수 있다.In the above [Equation 1] and [Equation 2]
Figure 112019003584712-pat00003
corresponds to the above-described GT (Ground Truth) value, and in [Equation 1]
Figure 112019003584712-pat00004
represents the probability that the pixel position of the pre-processed image corresponds to residual tissue, and in [Equation 2]
Figure 112019003584712-pat00005
may represent the probability that the pixel position of the pre-processed image corresponds to lymph node metastasis. That is, the likelihood of lymph node metastasis or residual tissue can be calculated by normalizing the GT values of all pixels for the preprocessed image using the above [Equation 1] and [Equation 2].

다음으로, 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계(S300)가 수행될 수 있다. 도 8을 참조하면, 전처리된 방사성요오드 평면 영상 및 가능도에 관한 정보는 신경망 학습을 위해 데이터베이스부(600)에 저장될 수 있다.Next, a step (S300) of learning by applying a neural network learning model to the preprocessed radioiodine plane image and the calculated likelihood may be performed. Referring to FIG. 8 , the preprocessed radioiodine plane image and information about the likelihood may be stored in the database unit 600 for learning the neural network.

본 발명에서 사용되는 딥러닝 알고리즘에는 다양한 알고리즘이 사용될 수 있으나, 이하에서는 심층신경망(DNN: Deep Neural Network)를 이용하여 학습 및 진단되는 과정을 설명한다. 상기 심층신경망(DNN)은 입력 층(input layer)과 출력 층(output layer) 사이에 여러 개의 은닉 층(hidden layer)들로 이루어진 인공신경망(ANN: Artificial Neural Network)를 지칭할 수 있다.A variety of algorithms may be used in the deep learning algorithm used in the present invention. Hereinafter, a learning and diagnosis process using a deep neural network (DNN) will be described. The deep neural network (DNN) may refer to an artificial neural network (ANN) including several hidden layers between an input layer and an output layer.

도 7은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 신경망의 히든 레이어 수에 따른 수행 결과를 나타낸 예시도인데, 도 7 및 도 9에 도시된 바와 같이 은닉 층의 수는 3(A), 7(B), 10(C) 등 다양하게 설정될 수 있지만, 은닉 층의 수가 많아질수록 수행 능력(ex. 정확도, 손실 등)이 우수함을 확인할 수 있다. 즉, 도 7의 A, B 보다 C의 경우 우수한 수행 능력을 확인할 수 있다.7 is an exemplary diagram showing the performance result according to the number of hidden layers of the neural network in the operating method of the system for diagnosing lymph node metastasis according to an embodiment of the present invention. As shown in FIGS. 7 and 9, the number of hidden layers can be variously set, such as 3(A), 7(B), 10(C), but it can be seen that the higher the number of hidden layers, the better the performance (ex. accuracy, loss, etc.). That is, in case of C rather than A and B in FIG. 7 , it can be seen that the performance is superior.

또한, 상기 입력 층(input layer)에서의 노드(node)의 수는 전술한 단계(S100-S200)에서 추출된 이미지 픽셀 특징들의 수와 동일하게 결정될 수 있다. In addition, the number of nodes in the input layer may be determined to be the same as the number of image pixel features extracted in the above-described steps S100-S200.

더불어, 상기 심층신경망에는 활성화 함수(activation function)를 수행하기 위한 ReLU(Rectified linear unit) 레이어, tanh(r) 레이어 등이 포함될 수 있다.In addition, the deep neural network may include a Rectified Linear Unit (ReLU) layer, a tanh(r) layer, etc. for performing an activation function.

상기 심층신경망의 학습에 있어서 라벨링(labeling) 정보는 단일광자 단층촬영(SPECT: single photon emission computed tomography, 이하 단층 촬영) 영상으로 진단된 결과가 활용될 수 있다. 즉, 환자 별 단층 촬영 결과에 기초하여 림프절 전이 혹은 잔여 조직으로 진단된 결과를 활용하여 심층신경망 학습을 위해 라벨링이 수행될 수 있다.In the learning of the deep neural network, as the labeling information, a result diagnosed by a single photon emission computed tomography (SPECT) image may be utilized. That is, labeling can be performed for deep neural network learning using the results of diagnosis of lymph node metastasis or residual tissue based on the tomography results for each patient.

상기와 같은 심층신경망 학습 모델을 통해 학습이 수행(S300)된 이후에는 상기 학습 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단(S400)될 수 있다. 본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에 있어서, 갑상선 암의 림프절 전이 여부가 진단되는 단계에서는 추적자 섭취부위 영역 별 잔여 조직 및 림프절 전이 중 어느 하나로 판단된 결과에 따라 갑상선 암의 림프절 전이 여부가 진단될 수 있다.After the learning is performed (S300) through the deep neural network learning model as described above, based on the learning result, whether the lymph node metastasis of the thyroid cancer is diagnosed (S400). In the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, in the step of diagnosing whether lymph node metastasis of thyroid cancer is diagnosed, it is determined as any one of residual tissue and lymph node metastasis for each region ingested by the tracer. Depending on the results obtained, it can be diagnosed whether the thyroid cancer has metastasized to the lymph nodes.

상기 림프절 전이 여부 진단 단계의 수행을 위해서 심층신경망의 출력단에는 분류 레이어로써, softmax layer가 사용될 수 있다. 즉, softmax layer에서는 심층신경망 학습 결과에 따라 출력된 점수에 따라 픽셀 단위로 림프절 전이 혹은 잔여 조직에 대한 분류가 수행될 수 있다.In order to perform the lymph node metastasis diagnosis step, a softmax layer may be used as a classification layer at the output end of the deep neural network. That is, in the softmax layer, the classification of lymph node metastasis or residual tissue can be performed in units of pixels according to the score output according to the deep neural network learning result.

도 5는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 환자 별 림프절 전이 및 잔류조직을 표시한 결과를 나타낸 예시도이고, 도 6은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템의 동작 방법에 있어서, 부정확하게 분류된 결과를 나타낸 예시도이다.5 is an exemplary view showing the results of displaying lymph node metastasis and residual tissue for each patient in the operating method of the lymph node metastasis diagnosis system according to an embodiment of the present invention, and FIG. 6 is a lymph node according to an embodiment of the present invention. In the operating method of the metastasis diagnosis system, it is an exemplary diagram showing incorrect classification results.

도 5를 참조하면, 본 발명의 림프절 전이 진단 시스템의 동작 방법에 의해 방사선요오드 평면 영상에서 초록색 부분이 잔여 조직(20)으로 분류되어 표시된 영역에 해당되고, 빨간색 부분이 림프절 전이 조직(30)으로 분류되어 표시된 결과가 도시되어 있다. 즉, 본 발명의 수행에 따라 입력된 방사선요오드 평면 영상(50) 내에서 픽셀 단위(pixel-wise)로 잔여 조직 및 림프절 전이 조직으로 분류된 결과가 표시될 수 있다.Referring to FIG. 5 , according to the operating method of the lymph node metastasis diagnosis system of the present invention, the green part corresponds to the marked area classified as the residual tissue 20 in the radioiodine plane image, and the red part corresponds to the lymph node metastasis tissue 30 . The sorted and displayed results are shown. That is, in the radioiodine plane image 50 input according to the implementation of the present invention, the result of classification into residual tissue and lymph node metastasis tissue in pixel-wise manner may be displayed.

또한, 본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에는 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하기 위한 픽셀 단위의 필터링이 수행되는 후처리 단계가 더 포함될 수 있다.In addition, in the operating method of the system for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, filtering in units of pixels to remove an erroneously determined region in the stage of diagnosing whether lymph node metastasis of thyroid cancer is performed is performed. A post-processing step may be further included.

상기 후처리(post-processing) 방법에는 다양한 방법이 사용될 수 있는데, 예를 들면 전이 조직 혹은 림프절 전이 조직으로 분류된 이미지에 대하여 소정의 픽셀에 대한 크기 필터링 방법이 포함될 수 있다.Various methods may be used for the post-processing method. For example, a size filtering method for a predetermined pixel may be included in an image classified as metastatic tissue or lymph node metastasis tissue.

본 발명의 일 실시 예로써, 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템(1000)이 제공될 수 있다. 이하에서 설명될 림프절 전이 진단 시스템(1000)과 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여 전술한 내용과 동일한 내용에 대하여는 설명을 생략하였다.As an embodiment of the present invention, a system 1000 for diagnosing lymph node metastasis of thyroid cancer using deep learning may be provided. In relation to the system 1000 for diagnosing lymph node metastasis to be described below, the above-described method may be applied. Accordingly, descriptions of the same contents as those described above in relation to the system are omitted.

도 8은 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템(1000)을 나타낸 블록도이고, 도 9는 본 발명의 일 실시 예에 따른 림프절 전이 진단 시스템(1000)을 나타낸 예시도이다.8 is a block diagram illustrating a lymph node metastasis diagnosis system 1000 according to an embodiment of the present invention, and FIG. 9 is an exemplary diagram illustrating a lymph node metastasis diagnosis system 1000 according to an embodiment of the present invention.

도 8 및 도 9를 참조하면, 본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템(1000)은 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리부(100), 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 가능도결정부(200), 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 신경망학습부(300) 및 신경망학습부(300)의 학습 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 진단예측부(400)가 포함될 수 있다.8 and 9 , the system 1000 for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention includes a preprocessing unit 100 that generates a multidimensional mask image from a radioiodine plane image; The likelihood determination unit 200, which calculates the likelihood of residual tissue or Lymph Node metastasis for each pixel in the radioiodine plane image, the preprocessed radioiodine plane image and the calculated likelihood With respect to the figure, a neural network learning unit 300 to which a Neural Network learning model is applied and learning is performed, and a diagnosis prediction unit 400 for diagnosing whether lymph node metastasis of thyroid cancer is diagnosed based on the learning results of the neural network learning unit 300 ) may be included.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템(1000)의 전처리부(100)에서는 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되고, 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되며, 가우시안 필터링 결과에 기초하여 픽셀 특징이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성될 수 있다.In the preprocessor 100 of the system 1000 for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, a tracer intake site region is detected from a radioiodine plane image, and the detected tracer intake site region is Gaussian filtering is performed, and a multidimensional mask image in which pixel features are expressed in a plurality of levels may be generated based on the Gaussian filtering result.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템(1000)의 진단예측부(400)에서는 추적자 섭취부위 영역 별 잔여 조직 및 림프절 전이 중 어느 하나로 판단된 결과에 따라 갑상선 암의 림프절 전이 여부가 진단될 수 있다.In the diagnosis prediction unit 400 of the system 1000 for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, the thyroid cancer lymph node metastasis can be diagnosed.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템(1000)에는 진단예측부(400)에서 잘못 판단된 영역을 제거하기 위한 픽셀 단위의 필터링이 수행되는 후처리부(500)가 더 포함될 수 있다.In the system 1000 for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, a post-processing unit 500 in which filtering is performed in units of pixels to remove an area erroneously determined by the diagnosis prediction unit 400 . may be further included.

본 발명의 일 실시 예에 따른 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템(1000)의 가능도결정부(200)에서는 전처리된 방사성요오드 평면 영상의 모든 픽셀의 GT(Ground Truth) 값에 대하여 정규화가 수행됨으로써 가능도가 계산될 수 있다.In the likelihood determination unit 200 of the system 1000 for diagnosing lymph node metastasis of thyroid cancer using deep learning according to an embodiment of the present invention, the GT (Ground Truth) values of all pixels of the preprocessed radioiodine plane image are normalized. By performing , the likelihood can be calculated.

한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.Meanwhile, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. In addition, the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means. A recording medium for recording an executable computer program or code for performing various methods of the present invention should not be construed as including temporary objects such as carrier waves or signals. The computer-readable medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100: 전처리부 200: 가능도결정부
300: 신경망학습부 400: 진단예측부
500: 후처리부 600: 데이터베이스부
1000: 림프절 전이 진단 시스템
100: preprocessing unit 200: likelihood determining unit
300: neural network learning unit 400: diagnosis prediction unit
500: post-processing unit 600: database unit
1000: lymph node metastasis diagnosis system

Claims (11)

딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법에 있어서,
전처리부에서 방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리 단계;
가능도결정부에서 상기 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 단계;
신경망학습부에서 상기 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 단계; 및
진단예측부에서 상기 신경망 학습의 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 단계가 포함되고,
상기 다차원 마스크 이미지가 생성되는 전처리 단계는,
상기 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되는 단계;
상기 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되는 단계; 및
상기 가우시안 필터링 결과에 기초하여 픽셀 특징이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성되는 단계를 더 포함하는 것을 특징으로 하는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법.
In the operating method of a system for diagnosing lymph node metastasis of thyroid cancer using deep learning,
A pre-processing step of generating a multi-dimensional mask image from the radioiodine plane image in the pre-processing unit;
calculating the likelihood of residual tissue or Lymph Node metastasis for each pixel in the pre-processed radioiodine plane image in the likelihood determination unit;
performing learning by applying a neural network learning model to the preprocessed radioiodine plane image and the calculated likelihood in the neural network learning unit; and
A step of diagnosing whether the lymph node metastasis of thyroid cancer is included based on the result of the neural network learning in the diagnosis prediction unit,
The pre-processing step in which the multidimensional mask image is generated is,
detecting a region of a tracer intake site from the radioiodine plane image;
performing Gaussian filtering on the detected tracer intake region; and
The method of operating a system for diagnosing lymph node metastasis of thyroid cancer using deep learning, further comprising generating a multidimensional mask image in which pixel features are expressed in a plurality of levels based on the Gaussian filtering result.
삭제delete 제 1 항에 있어서,
상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서는 상기 추적자 섭취부위 영역 별 잔여 조직 및 림프절 전이 중 어느 하나로 판단된 결과에 따라 갑상선 암의 림프절 전이 여부가 진단되는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법.
The method of claim 1,
In the step of diagnosing whether or not the lymph node metastasis of the thyroid cancer is present, the lymph node metastasis diagnosis of thyroid cancer using deep learning is diagnosed according to the result determined as either residual tissue or lymph node metastasis for each region of the tracer intake site. How the system works.
제 3 항에 있어서,
후처리부에서 상기 갑상선 암의 림프절 전이 여부가 진단되는 단계에서 잘못 판단된 영역을 제거하기 위한 픽셀 단위의 필터링이 수행되는 후처리 단계;가 더 포함되는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법.
4. The method of claim 3,
In the post-processing unit, a post-processing step in which filtering in a pixel unit is performed to remove an erroneously determined region in the step of diagnosing whether the lymph node metastasis of the thyroid cancer is diagnosed. how it works.
제 1 항에 있어서,
상기 가능도(likelihood)가 계산되는 단계에서의 상기 가능도는 상기 전처리된 방사성요오드 평면 영상의 모든 픽셀의 GT(Ground Truth) 값에 대하여 정규화가 수행됨으로써 계산되는 딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템의 동작 방법.
The method of claim 1,
Lymph node metastasis of thyroid cancer using deep learning is calculated by normalizing GT (Ground Truth) values of all pixels of the preprocessed radioiodine plane image in the step of calculating the likelihood. How the diagnostic system works.
딥러닝을 이용한 갑상선 암의 림프절 전이 진단 시스템에 있어서,
방사성요오드 평면 영상으로부터 다차원 마스크 이미지가 생성되는 전처리부;
상기 전처리된 방사성요오드 평면 영상에서 각 픽셀 별 잔여 조직(Remnant tissue) 또는 림프절 전이(Lymph Node metastasis)의 가능도(likelihood)가 계산되는 가능도결정부;
상기 전처리된 방사성요오드 평면 영상 및 계산된 가능도에 대하여 신경망(Neural Network) 학습 모델이 적용되어 학습이 수행되는 신경망학습부; 및
상기 신경망학습부의 학습 결과에 기초하여 갑상선 암의 림프절 전이 여부가 진단되는 진단예측부;가 포함되고,
상기 전처리부에서는 방사성요오드 평면 영상으로부터 추적자 섭취부위 영역이 검출되고, 상기 검출된 추적자 섭취부위 영역에 대하여 가우시안 필터링이 수행되며, 상기 가우시안 필터링 결과에 기초하여 픽셀 특징이 복수개의 레벨로 표현된 다차원 마스크 이미지가 생성되는 것을 특징으로 하는 갑상선 암의 림프절 전이 진단 시스템.
In a system for diagnosing lymph node metastasis of thyroid cancer using deep learning,
a preprocessor for generating a multidimensional mask image from the radioiodine plane image;
a likelihood determining unit for calculating the likelihood of residual tissue or lymph node metastasis for each pixel in the pre-processed radioiodine plane image;
a neural network learning unit that performs learning by applying a neural network learning model to the preprocessed radioiodine plane image and the calculated likelihood; and
a diagnosis prediction unit for diagnosing whether or not metastasis of thyroid cancer to lymph nodes is diagnosed based on the learning result of the neural network learning unit;
In the preprocessor, a region of a tracer intake site is detected from the radioiodine plane image, Gaussian filtering is performed on the detected tracer intake region, and a multidimensional mask in which pixel features are expressed in a plurality of levels based on the result of the Gaussian filtering. A system for diagnosing lymph node metastasis of thyroid cancer, characterized in that an image is generated.
삭제delete 제 6 항에 있어서,
상기 진단예측부에서는 상기 추적자 섭취부위 영역 별 잔여 조직 및 림프절 전이 중 어느 하나로 판단된 결과에 따라 갑상선 암의 림프절 전이 여부가 진단되는 갑상선 암의 림프절 전이 진단 시스템.
7. The method of claim 6,
The thyroid cancer lymph node metastasis diagnosis system in which the diagnosis predicting unit diagnoses whether the thyroid cancer has metastasized to the lymph node according to a result determined as any one of residual tissue and lymph node metastasis for each region of the tracer intake site.
제 8 항에 있어서,
상기 진단예측부에서 잘못 판단된 영역을 제거하기 위한 픽셀 단위의 필터링이 수행되는 후처리부;가 더 포함되는 갑상선 암의 림프절 전이 진단 시스템.
9. The method of claim 8,
The system for diagnosing lymph node metastasis of thyroid cancer further includes a post-processing unit that performs pixel-by-pixel filtering to remove the region erroneously determined by the diagnosis prediction unit.
제 6 항에 있어서,
상기 가능도결정부에서는 상기 전처리된 방사성요오드 평면 영상의 모든 픽셀의 GT(Ground Truth) 값에 대하여 정규화가 수행됨으로써 상기 가능도가 계산되는 갑상선 암의 림프절 전이 진단 시스템.
7. The method of claim 6,
In the likelihood determination unit, the likelihood is calculated by normalizing the GT (ground truth) values of all pixels of the pre-processed radioiodine plane image.
제 1 항 및 제 3 항 내지 제 5 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체. A computer-readable recording medium in which a program for implementing the method of any one of claims 1 and 3 to 5 is recorded.
KR1020190003676A 2019-01-11 2019-01-11 The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof KR102307995B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190003676A KR102307995B1 (en) 2019-01-11 2019-01-11 The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003676A KR102307995B1 (en) 2019-01-11 2019-01-11 The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof

Publications (2)

Publication Number Publication Date
KR20200087427A KR20200087427A (en) 2020-07-21
KR102307995B1 true KR102307995B1 (en) 2021-10-01

Family

ID=71832903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003676A KR102307995B1 (en) 2019-01-11 2019-01-11 The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof

Country Status (1)

Country Link
KR (1) KR102307995B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605248B1 (en) * 2021-06-09 2023-11-23 사회복지법인 삼성생명공익재단 Metastasis of lymph node predicting method using image of endoscopically resected specimens in early colorectal cancer and analysis apparatus
KR102325963B1 (en) * 2021-07-09 2021-11-16 주식회사 피노맥스 Method and apparatus for providing information for diagnosing lymph node metastasis thyroid cancer
KR20230080144A (en) 2021-11-29 2023-06-07 인제대학교 산학협력단 Method and System For Multi-class Classification of Histopathology Images using Fine-Tuning Techniques of Transfer Learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156133A1 (en) * 2017-02-23 2018-08-30 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
KR101919866B1 (en) 2018-02-22 2018-11-19 주식회사 뷰노 Method for aiding determination of presence of bone metastasis from bone scan image and apparatus using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN2014CN03228A (en) * 2011-10-05 2015-07-03 Cireca Theranostics Llc
KR101899109B1 (en) 2016-08-24 2018-09-17 주식회사 제트바이오텍 Thyroid Diagnostic Devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156133A1 (en) * 2017-02-23 2018-08-30 Google Llc Method and system for assisting pathologist identification of tumor cells in magnified tissue images
KR101919866B1 (en) 2018-02-22 2018-11-19 주식회사 뷰노 Method for aiding determination of presence of bone metastasis from bone scan image and apparatus using the same

Also Published As

Publication number Publication date
KR20200087427A (en) 2020-07-21

Similar Documents

Publication Publication Date Title
Chauhan et al. Role of gist and PHOG features in computer-aided diagnosis of tuberculosis without segmentation
JP2020064609A (en) Patient-specific deep learning image denoising methods and systems
KR101919866B1 (en) Method for aiding determination of presence of bone metastasis from bone scan image and apparatus using the same
CN109754387A (en) Medical image lesion detects localization method, device, electronic equipment and storage medium
KR102307995B1 (en) The diagnostic system of lymph node metastasis in thyroid cancer using deep learning and method thereof
Zhou et al. Preliminary investigation of computer-aided detection of pulmonary embolism in threedimensional computed tomography pulmonary angiography images
Bo et al. Toward human intervention-free clinical diagnosis of intracranial aneurysm via deep neural network
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
KR102149369B1 (en) Method for visualizing medical image and apparatus using the same
US8787634B2 (en) Apparatus and method for indicating likely computer-detected false positives in medical imaging data
US20110064289A1 (en) Systems and Methods for Multilevel Nodule Attachment Classification in 3D CT Lung Images
EP3479349B1 (en) Change detection in medical images
US20210142480A1 (en) Data processing method and apparatus
Eloyan et al. Health effects of lesion localization in multiple sclerosis: spatial registration and confounding adjustment
Bendtsen et al. X-ray computed tomography: semiautomated volumetric analysis of late-stage lung tumors as a basis for response assessments
Mahmood et al. Detecting spurious correlations with sanity tests for artificial intelligence guided radiology systems
CN113469934A (en) Assessment of abnormal regions associated with disease from chest CT images
Liang et al. Evaluation of the effectiveness of artificial intelligence chest CT lung nodule detection based on deep learning
KR101590483B1 (en) Method for processing image segmentation using Morphological operation
Piętka et al. Role of radiologists in CAD life-cycle
US20110194741A1 (en) Brain ventricle analysis
Geetha Pavani et al. A semantic contour based segmentation of lungs from chest x‐rays for the classification of tuberculosis using Naïve Bayes classifier
US20230343455A1 (en) Medical image diagnosis assistant apparatus and method for generating and visualizing assistant information based on distributions of signal intensities in medical images
CN115210755A (en) Resolving class-diverse loss functions of missing annotations in training data
US20230222771A1 (en) Method and system for automatic classification of radiographic images having different acquisition characteristics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant