KR102537470B1 - 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법 - Google Patents

신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법 Download PDF

Info

Publication number
KR102537470B1
KR102537470B1 KR1020200136193A KR20200136193A KR102537470B1 KR 102537470 B1 KR102537470 B1 KR 102537470B1 KR 1020200136193 A KR1020200136193 A KR 1020200136193A KR 20200136193 A KR20200136193 A KR 20200136193A KR 102537470 B1 KR102537470 B1 KR 102537470B1
Authority
KR
South Korea
Prior art keywords
neural network
image
thyroid
images
ophthalmopathy
Prior art date
Application number
KR1020200136193A
Other languages
English (en)
Other versions
KR20220052166A (ko
Inventor
이정규
이재성
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020200136193A priority Critical patent/KR102537470B1/ko
Publication of KR20220052166A publication Critical patent/KR20220052166A/ko
Application granted granted Critical
Publication of KR102537470B1 publication Critical patent/KR102537470B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법에 관한 것으로, 보다 상세하게는 CT(전산화단층촬영)을 통해서 GO(Graves’Orbitopathy) 진단에 적용할 수 있는 새로운 인공신경망(Neural Network)을 개발함으로써 CT이미지를 통한 진단 정확도(AUC)는 유지하면서 GO진단에 요구되는 시간은 줄일 수 있는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법에 관한 것이다.

Description

신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증(GO) 진단 방법{Diagnosis method for Graves’orbitopathy using orbital computed tomography (CT) based on neural network-based algorithm}
본 발명은 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법에 관한 것으로, 보다 상세하게는 CT를 통해서 갑상선안병증 진단에 적용할 수 있는 새로운 인공신경망(NN: Neural Network)을 개발함으로써 CT 이미지를 통한 진단 정확도(AUC)는 유지하면서 갑상선안병증 진단에 요구되는 시간은 줄일 수 있는 신경망 기반 알고리즘에 근거한 안와 CT를 이용한 갑상선안병증 진단 방법에 관한 것이다.
갑상선안병증은 주로 그레이브스 질병과 관련이 있는 자가면역 장애질환으로, 그레이브스병 환자의 25%~50% 정도 관찰되는 비교적 흔한 갑상샘외 합병증이다. 일반적으로 눈꺼풀 뒷당김(eyelid retraction), 안구돌출, 눈부심, 압박감 및 복시 등의 증상이 나타나며 시간이 경과함에 따라 호전되는 양상을 보인다. 그러나 갑상선안병증 환자들의 3-5%에서는 실명과 같은 심각한 합병증이 발생할 수 있다. 따라서 갑상선안병증을 앓고 있는 환자의 감별진단 및 예후예측을 명확하도록 하기 위해서 컴퓨터 단층촬영(CT) 방법이 활용되고 있다. CT는 이전에는 갑상선안병증을 진단하고 적절한 치료 방법을 결정하는 목적으로 사용되었으나 점차 적응증이 증가하여 안구돌출 정도 평가나 압박성 시신경증 여부 확인, 심지어 갑상선안병증의 활동성 평가에 까지 널리 사용되고 있다. 이러한 적응증의 확대에도 불구하고 안와 CT 결과에 근거한 갑상선안병증 진단에는 몇 가지 단점이 있다.
우선 CT 소견만으로는 안와지방 및 외안근의 미세한 변화를 식별하기 어렵다. 안와 내 구조물들의 정상범위에 대해 널리 인정된 연구가 없기 때문에 CT 결과만으로는 안와의 변화를 명확히 구분하기 어려운 단점이 있다. CT 분석을 위해 여러 소프트웨어 프로그램이 개발되고 있지만, CT 결과를 분석하고 갑상선안병증 환자의 진단과 예후를 예측하기 위한 객관적인 결과를 제공하기 위해 보다 직관적이고 쉬운 방법이 필요하다.
최근에는 영상분석을 위한 신경망(NN: Neural Network) 기반의 여러 가지 방법이 개발되어 녹내장, 당뇨망막병증, 연령관련 황반변성 등 다양한 안질환을 진단하는 데 적용되고 있다. 그러나 이런 기 개발된 인공신경망은 일반적인 영상분석을 위해 개발되었기 때문에 안와질환과 같이 구조적인 변화를 감지하기 위해 여러 축방향으로 수십장의 전문영상이 필요한 질병에는 불충분할 수 있다.
본 발명은 이와 같은 문제점을 감안하여 안와 CT를 이용하여 갑상선안병증의 진단 및 중증도 평가에 인공신경망(NN: Neural Network)의 적용 가능성을 입증하고, 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법을 제공하는 것이다.
본 발명의 실시예들에 따른 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법은 갑상선안병증을 앓고 있는 환자의 CT영상 이미지를 수집하는 단계;와 상기 수집한 CT 영상의 각각에 대한 정보 처리 파이프라인을 만들어 상기 CT영상을 전처리하는 단계;와 상기 전처리한 CT영상을 기반으로 진단 상황을 상정하여 데이터를 구성하는 단계;와 상기 수집한 영상들의 조합 데이터 셋트를 만들어 인공신경망(NN: Neural Network)를 학습시키는 단계;와 상기 인공신경망(NN: Neural Network) 학습을 n번 반복하여, n개의 진단 정확도 값을 평균을 내어 상기 인공신경망(NN: Neural Network)의 최적 진단 성능을 내는 단계; 및 상기 최적의 진단 성능을 내는 인공신경망(NN: Neural Network)의 알고리즘 통해, 상기 CT 영상물로 갑상선 안병증을 진단하는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 갑상선안병증 환자의 CT영상을 전처리하는 단계는 상기 수집한 갑상선안병증의 환자 CT영상 이미지 데이터셋을 기반으로, 상기 갑상선안병증 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보데이터를 얻는 단계; 및 상기 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보를 기반으로, 영상 정보 처리 파이프라인을 만들어 전처리하는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 CT영상을 전처리하는 단계는 상기 최초 입력된 축상(Axial), 관상(Coronal), 시상(Sagittal) CT 영상에 대해 보간법(Interpolation)을 활용하여 크기를 정규화하는 단계;와 상기 CT영상 이미지에서 안구와 관련된 부분을 추출하는 단계;와 상기 안구와 관련된 부분만 추출된 CT영상 이미지 이 외, 주변의 불필요한 검은 영역으로 표시되는 단계;와 상기 CT영상 이미지에서 검은 영역으로 표시한 영역을 삭제하는 단계;와 상기 안구 부분 이외 주변의 이미지가 삭제된 CT 영상에 대해 보간법(Interpolation)을 통해 이미지의 크기를 정규화하는 단계; 및 상기 Hounsfield unit 값을 통해, 지방과 근육을 제외한 나머지 부분을 제거한 뒤, 영상의 픽셀 값들을 0~1 사이로 정규화하는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 Hounsfield unit 값을 이용한 상기 CT영상 정규화 단계는 사람의 안구가 2개인 점에 착안하여 각 안구로부터 얻을 수 있는 수많은 정보를 기준 없이 하나의 정보로 포괄하여 처리하지 않고, Half Depthwise Convolution 구조를 추가하여 진단 성능의 한계를 향상시키는 단계를 포함한다.
본 발명의 실시예들에 따라, 상기 조합 데이터 셋트를 만드는 단계는 상기 전처리한 CT영상을 기반으로, 4가지 진단 상황을 상정하여 데이터를 구성하는 단계; 및 상기 축(Axial), 중앙(Coronal), 수직(Sagittal) CT 영상을 통해 7조합의 데이터 셋트를 만들어 내는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 CT영상 이미지의 축(Axial), 중앙(Coronal), 수직(Sagittal) 부분의 영상정보 처리 파이브라인은, 상기 영상 정보 처리 파이프라인을 별도로 둘 수 있도록 설계함으로써 학습에 필요한 계산량을 유동적으로 조절할 수 있는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 인공신경망(NN: Neural Network) 학습을 시키는 단계는 상기 각각의 CT영상 데이터의 80% 만큼의 CT 영상을 활용하여, 상기 인공신경망(NN: Neural Network)을 학습시키며, 나머지 20%의 상기 CT 영상들을 활용하여 진단 정확도(AUC)를 측정하는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 인공신경망(NN: Neural Network)의 알고리즘은 상기 갑상선 안병증을 여부를 진단하고, 상기 갑상선 안병증의 중증도롤 진단하는 계산식을 만들어 내는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 인공신경망(NN: Neural Network)의 학습을 n번 반복하여, 상기 n개의 진단 결과를 기반으로 하여 정확도 값을 도출하고, 상기 도출된 n개의 정확도 값의 평균을 내어 상기 인공신경망(NN: Neural Network)의 최적 진단 성능 사양(SPEC) 및 성능을 도출하는 단계;를 포함한다.
본 발명의 실시예들에 따라, 상기 갑상선 안병증 진단은 상기 반복된 학습을 거친 인공신경망(NN: Neural Network)의 알고리즘을 기반으로, 상기 CT 영상물로 갑상선 안병증을 진단하는 단계;를 포함한다.
이상에서 설명한 바와 같은 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법에 따르면 다음과 같은 효과가 있다.
첫째, CT 이미지를 통한 진단 정확도(AUC)는 유지하면서 갑상선안병증 진단에 요구되는 시간을 줄일 수 있다.
둘째, 갑상선 안병증 환자 CT 영상 각각에 대한 정보 처리 파이프라인을 별도로 둘 수 있도록 설계함으로써 학습에 필요한 계산량을 유동적으로 조절할 수 있다.
셋째, CT 이미지를 통해 갑상선안병증 환자의 중증도를 자동화된 판독과정을 통해 판단함으로써 진료과정에서 치료방법 선택 및 예후예측에 응용할 수 있다.
넷째, Half Depthwise Convolution 구조를 추가하여 일측성 혹은 비대칭적인 안구돌출(Exophthalmos)의 환자를 판단함으로써 진단 정확도(AUC)를 보장할 수 있다.
도1은, 본 발명의 단계별 흐름도이다.
도2와 도3은, 본 발명의 CT영상 전처리 흐름도이다.
도4는, 본 발명인 NN(Neural Network)에 입력할 CT 이미지 입력값에 따른 성능 결과값을 나타낸 표.
도5는, 본 발명으로 도출된 CT 결과와 전문임상 CT와의 진단 정확도(AUC)를 비교하기 위해 ROC 곡선을 나타낸 그래프.
첨부한 도면을 참조하여 본 발명의 실시예들에 따른 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다. 또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도1은, 본 발명의 단계별 흐름도이다.
도1을 참고하면, 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법은 갑상선안병증을 앓고 있는 환자의 CT영상 이미지를 수집하는 단계;와 상기 수집한 CT 영상의 각각에 대한 정보 처리 파이프라인을 만들어 상기 CT영상을 전처리하는 단계;와 상기 전처리한 CT영상을 기반으로 진단 상황을 상정하여 데이터를 구성하는 단계;와 상기 수집한 영상들의 조합 데이터 셋트를 만들어 인공신경망(NN: Neural Network)를 학습시키는 단계;와 상기 인공신경망(NN: Neural Network) 학습을 n번 반복하여, n개의 진단 정확도 값을 평균을 내어 상기 인공신경망(NN: Neural Network)의 최적 진단 성능을 내는 단계; 및 상기 최적의 진단 성능을 내는 인공신경망(NN: Neural Network)의 알고리즘 통해, 상기 CT 영상물로 갑상선 안병증을 진단하는 단계;를 포함한다.
도1은, 본 발명의 단계별 흐름도이다.
도2와 도3은, 본 발명의 CT영상 전처리 흐름도이다.
도2와 도3을 참고하면, 상기 갑상선안병증 환자의 CT영상을 전처리하는 단계는 상기 수집한 갑상선안병증의 환자 CT영상 이미지 데이터셋을 기반으로, 상기 갑상선안병증 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보데이터를 얻는 단계; 및 상기 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보를 기반으로, 영상 정보 처리 파이프라인을 만들어 전처리하는 단계;를 포함한다. 따라서, 상기 CT영상을 전처리하는 단계는 상기 최초 입력된 축상(Axial), 관상(Coronal), 시상(Sagittal) CT 영상에 대해 보간법(Interpolation)을 활용하여 크기를 정규화하는 단계;와 상기 CT영상 이미지에서 안구와 관련된 부분을 추출하는 단계;와 상기 안구와 관련된 부분만 추출된 CT영상 이미지 이 외, 주변의 불필요한 검은 영역으로 표시되는 단계;와 상기 CT영상 이미지에서 검은 영역으로 표시한 영역을 삭제하는 단계;와 상기 안구 부분 이외 주변의 이미지가 삭제된 CT 영상에 대해 보간법(Interpolation)을 통해 이미지의 크기를 정규화하는 단계; 및 상기 Hounsfield unit 값을 통해, 지방과 근육을 제외한 나머지 부분을 제거한 뒤, 영상의 픽셀 값들을 0~1 사이로 정규화하는 단계;를 포함한다. 좀 더 상세하게는 순도GO 99건, 중간~심도GO 94건, 정상제어 95건 등 총 288건의 CT 영상세트를 수집한다. Axial, Coronal 및 Sagittal 평면에서 획득한 CT 영상은 CT 장비의 차이로 인한 변동을 극복하기 위해 스플라인 보간법을 사용하여 각 평면의 영상 수를 32개로 고정한다. 이 후, 수동으로 관심 영역(ROI)을 잘라내고 남은 흑마진을 제거한다. NN(Neural Network)에 대한 고정 크기 입력 요건을 충족하기 위해 CT 영상은 축상면과 시상면의 경우 128 × 128, 관상면의 경우 64 × 128로 확대축소한다. CT 영상은 Hounsfield unit(HU) 값으로 스케일링되었으며, 불필요한 픽셀을 제거하기 위해 지방과 UM을 각각 -110-10, 0-40 HU의 범위에서 선택한다. 17 마지막으로 0과 1 사이의 스케일링으로 모든 영상을 정규화한다.
여기서, 상기 Hounsfield unit 값을 이용한 상기 CT영상 정규화 단계는 사람의 안구가 2개인 점에 착안하여 각 안구로부터 얻을 수 있는 수많은 정보를 기준 없이 하나의 정보로 포괄하여 처리하지 않고, Half Depthwise Convolution 구조를 추가하여 진단 성능의 한계를 향상시키는 단계를 포함한다. 또한, 상기 조합 데이터 셋트를 만드는 단계는 상기 전처리한 CT영상을 기반으로, 4가지 진단 상황을 상정하여 데이터를 구성하는 단계;와 상기 축(Axial), 중앙(Coronal), 수직(Sagittal) CT 영상을 통해 7조합의 데이터 셋트를 만들어 내는 단계;를 포함하며, 상기 CT영상 이미지의 축(Axial), 중앙(Coronal), 수직(Sagittal) 부분의 영상 정보 처리 파이브라인은 상기 영상 정보 처리 파이프라인을 별도로 둘 수 있도록 설계함으로써 학습에 필요한 계산량을 유동적으로 조절할 수 있는 단계;를 포함한다.
또한, 상기 인공신경망(NN: Neural Network) 학습을 시키는 단계는 상기 각각의 CT영상 데이터의 80% 만큼의 CT 영상을 활용하여, 상기 인공신경망(NN: Neural Network)을 학습시키며, 나머지 20%의 상기 CT 영상들을 활용하여 진단 정확도(AUC)를 측정하는 단계;를 포함하며, 특별히 상기 인공신경망(NN: Neural Network)의 알고리즘은, 상기 갑상선 안병증의 여부를 진단하고, 상기 갑상선 안병증의 중증도를 판단하는 계산식을 강화(enhancing)하는 단계;를 포함한다. 이 후, 상기 인공신경망(NN: Neural Network)의 학습을 n번 반복하여, 상기 n개의 진단 결과를 기반으로 하여 정확도 값을 도출하고, 상기 도출된 n개의 정확도 값의 평균을 내어 상기 인공신경망(NN: Neural Network)의 최적 진단 성능 사양(SPEC) 및 성능을 도출하는 단계;를 포함하며, 상기 갑상선 안병증 진단은 상기 반복된 학습을 거친 인공신경망(NN: Neural Network)의 알고리즘을 기반으로, 상기 CT 영상물로 갑상선 안병증을 진단하는 단계;를 포함한다. 이상에서 설명한 바와 같은 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 진단 방법에 따르면 다음과 같은 효과가 나타낸다.그 효과는 CT 이미지를 통한 진단 정확도(AUC)는 유지하면서 갑상선안병증 진단에 요구되는 시간을 줄일 수 있으먀, 갑상선 안병증 환자 CT 영상 각각에 대한 정보 처리 파이프라인을 별도로 둘 수 있도록 설계함으로써 학습에 필요한 계산량을 유동적으로 조절할 수 있다. 또한, CT 이미지를 통해 갑상선안병증 환자의 중증도를 자동화된 판독과정을 통해 판단함으로써 진료과정에서 치료방법 선택 및 예후예측에 응용할 수 있으며, Half Depthwise Convolution 구조를 추가하여 일측성 혹은 비대칭적인 안구돌출(Exophthalmos)의 환자를 판단함으로써 진단 정확도(AUC)를 보장할 수 있다.
도4는, 본 발명인 NN(Neural Network)에 입력할 CT 이미지 입력값에 따른 성능 결과값을 나타낸 표이며, 도5는, 본 발명으로 도출된 CT 결과와 전문임상 CT와의 진단 정확도(AUC)를 비교하기 위해 ROC 곡선을 나타낸 그래프이다.
도4를 참고하면, 도 4는 본 발명인 NN(Neural Network)에 입력할 CT 이미지 입력값에 따른 성능 결과값을 나타낸 표이며, 상기 조합 데이터 셋트는 인공신경망(NN: Neural Network)를 학습시키는 입력 데이터 세트이며, 상기 입력 데이터 세트는 첫째, 중등도이상의 갑상선안병증(GO) vs 정상대조, 둘째, 가벼운 갑상선안병증(GO) vs 정상대조, 셋째, 가벼운 갑상선안병증(GO) vs 중등도이상의 갑상선안병증(GO), 넷째, 가벼운 갑상선안병증(GO) vs 중등도이상의 갑상선안병증(GO) vs 정상대조의 4가지 판단 상황으로 구성되며 다음으로, 각 실험 그룹은 분리된 데이터 집합으로 표현되었다. 성별과 연령에 따른 선택 편향의 영향을 완화하기 위해 참가자의 임상적 또는 인구통계학적 특성에 관계없이 무작위 분할로 홀드아웃 교차 검증을 사용했으며, 각 데이터 세트의 경우 80%가 NN(Neural Network)을 훈련하는 훈련 세트로, 나머지 20%는 훈련된 NN(Neural Network)을 평가하기 위한 테스트 세트로 사용한다. 제안된 NN(Neural Network)과 기존 NN(Neural Network)의 최종 성능은 30회의 반복 실험 결과를 평균하여 측정한다.
제안된 NN(Neural Network)은 축(128 × 128 × 32), 시상(128 × 128 × 32), 관상 영상(64 × 128 × 32)을 취하는 32비트 단일정밀 부동소자로 구성된 3개의 입력층으로 구성되며, 최종 완전 연결층 이전에 독립적으로 처리된다. 제안된 NN(Neural Network)에서 첫째, 최대 3개의 서로 다른 평면의 입력 CT 영상에 기반한 경련 및 심층 경련 층에서 형상을 추출한다. 최대 풀링 레이어는 각 콘볼루션 작동을 따른다. 첫 번째 단계 이후 축상 영상과 관상 영상의 크기는 각각 32 × 32 × 16과 16 × 32 × 16으로 축소된다. 다음으로 피쳐 맵을 각 이미지의 왼쪽과 오른쪽 궤도에서 별도로 추출하여 궤도를 비교하고, 비대칭이나 일방적인 GO를 검출한다. 이를 위해 필터 크기가 이미지 크기의 절반으로 설정된 깊이-와이드 콘볼루션을 사용한다. 각 경련 필터는 분리된 왼쪽 또는 오른쪽 궤도 영상에서 실제 값을 추출한다. 구체적으로, 16개의 콘볼루션 필터를 각 궤도에 사용하여 후속 16 × 2 노드에 대한 입력 값을 산출한다. 셋째, 16 × 2 노드의 각 그룹은 32 × 1 노드로 평탄화되며, 이는 후속 4 × 1 노드에 완전히 연결된다. 마지막으로 4 × 1 노드의 출력 값이 출력 레이어로 전달된다. 출력 계층에는 데이터 집합이 가벼운 GO 환자 대 정상 제어와 같은 두 가지 클래스로 구성되는 경우 유의성 값을 계산하기 위한 하나의 S자형 노드를 포함한다.
도5를 참고하면, 도5는 제안하는 NN(Neural Network)과 전문임상의와의 진단 정확도(AUC)를 비교하기 위해 ROC 커브를 그려둔 것입니다. 푸른색이 제안하는 NN(Neural Network)의 진단 정확도를 나타내고 붉은색이 전문임상의의 진단 정확도를 나타냅니다. 4가지 비교 실험에서 모두 제안하는 NN(Neural Network)의 진단 정확도가 모두 더 높은 것을 확인할 수 있다.
비교를 위해 제안된 NN(Neural Network)과 기존 NN(Neural Network)과 같이 임상 정보 없이 3개 실험군을 비교하는 4개의 독립적 실험을 수행했으며, 최종 등급은 다수결로 결정되었으며, 수신기 작동 특성(ROC) 곡선 아래 면적 면적의 진단 성과를 제안된 NN(Neural Network)과 비교한다. 갑상선 안병증(GO)진단에 특화된 참신한 경련형 NN(Neural Network)을 개발했는데 정상 대조군과 비교해서 중간에서 심각까지의 GO환자를 진단한 AUC가 0.979로 가장 높은 것으로 나타났고, 중간에서 중증의 GO환자와 가벼운 GO환자를 차별한 경우는 0.941로 나타났다. 또한 제안된 NN(Neural Network)은 GugLeNet, ResNet-50, VGG-16과 같은 기존 NN(Neural Network)보다 훨씬 높은 성능을 나타낸다. 본 발명의 인공신경망(NN: Neural Network)은 3개의 입력 채널이 있는 3개의 콘볼루션 계층을 포함하고, 그 다음에 이항 분류를 위한 하나의 완전히 연결된 계층과 다중 분류를 위한 소프트맥스 계층을 위한 최종 sigmoid 분류 계층을 포함한다. 각 환자에 대해 서로 다른 평면을 가진 100개 이상의 CT 영상을 분석해야 한다는 점을 고려하면, 다중 입력 채널의 구성은 모든 관련 기능을 손실 없이 사용할 수 있다. 또한 제안된 NN(Neural Network)은 각 평면의 CT 영상에 대한 정보 처리 파이프라인을 포함시켜 진단 성능을 향상시킬 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
삭제

Claims (10)

  1. 갑상선안병증을 앓고 있는 환자의 CT영상 이미지를 수집하는 단계;
    상기 수집한 CT 영상의 각각에 대한 정보 처리 파이프라인을 만들어 상기 CT영상을 전처리하는 단계;
    상기 전처리한 CT영상을 기반으로 판단 상황을 상정하여 데이터를 구성하는 단계;
    상기 수집한 영상들의 조합 데이터 셋트를 만들어 인공신경망(NN: Neural Network)를 학습시키는 단계;
    상기 인공신경망(NN: Neural Network) 학습을 n번 반복하여, n개의 판단 정확도 값을 평균을 내어 상기 인공신경망(NN: Neural Network)의 최적 판단 성능을 내는 단계;
    상기 최적의 판단 성능을 내는 인공신경망(NN: Neural Network)의 알고리즘 통해, 상기 CT 영상으로 갑상선안병증을 판단하는 단계;를 포함하며,
    상기 조합 데이터 셋트를 만드는 단계는,
    상기 전처리한 CT영상을 기반으로, 첫째, 중등도이상의 갑상선안병증(GO) vs 정상대조, 둘째, 가벼운 갑상선안병증(GO) vs 정상대조, 셋째, 가벼운 갑상선안병증(GO) vs 중등도이상의 갑상선안병증(GO), 넷째, 가벼운 갑상선안병증(GO) vs 중등도이상의 갑상선안병증(GO) vs 정상대조의 4가지 판단 상황을 상정하여 데이터를 구성하는 단계; 및 축상(Axial), 관상(Coronal), 시상(Sagittal) CT 영상을 통해 7조합의 데이터 셋트를 만들어 내는 단계;를 포함하며,
    상기 CT영상을 전처리하는 단계는,
    최초 입력된 축상(Axial), 관상(Coronal), 시상(Sagittal) CT 영상에 대해 보간법(Interpolation)을 활용하여 상기 축상(Axial), 관상(Coronal), 시상(Sagittal) CT 영상 수를 32개로 정규화하는 단계;
    상기 CT영상 이미지에서 수동으로 관심 영역(ROI)을 잘라내고 남은 흑마진을 제거하여 안구와 관련된 부분을 추출하는 단계;
    상기 안구와 관련된 부분만 추출된 CT영상 이미지 이 외, 주변의 불필요한 검은 영역으로 표시되는 단계;
    상기 CT영상 이미지에서 불필요한 검은 영역을 삭제하는 단계;
    NN(Neural Network)에 대한 고정 크기 입력 요건을 충족하기 위해 상기 안구 부분 이외 주변의 이미지가 삭제된 CT 영상에 대해 보간법(Interpolation)을 통해 이미지의 크기를 CT 영상은 축상면과 시상면의 경우 128 × 128, 관상면의 경우 64 × 128로 확대축소하여 정규화하는 단계;
    Hounsfield unit 값을 통해, 지방과 근육을 제외한 나머지 부분을 제거한 뒤, 영상의 픽셀 값들을 0~1 사이로 정규화하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  2. 제1항에 있어서,
    상기 갑상선안병증 환자의 CT영상을 전처리하는 단계는,
    상기 수집한 갑상선안병증의 환자 CT영상 이미지 데이터셋을 기반으로,
    상기 갑상선안병증 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보데이터를 얻는 단계;
    상기 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보를 기반으로, 영상 정보 처리 파이프라인을 만들어 전처리하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 Hounsfield unit 값을 이용한 상기 CT영상 정규화 단계는,
    사람의 안구가 2개인 점에 착안하여 각 안구로부터 얻을 수 있는 수많은 정보를 기준 없이 하나의 정보로 포괄하여 처리하지 않고, Half Depthwise Convolution 구조를 추가하여 판단 성능의 한계를 향상시키는 단계를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  5. 삭제
  6. 제2항에 있어서,
    상기 CT영상 이미지의 축상(Axial), 관상(Coronal), 시상(Sagittal) 부분의 영상정보 처리 파이브라인은,
    상기 영상 정보 처리 파이프라인을 별도로 둘 수 있도록 설계함으로써 학습에 필요한 계산량을 유동적으로 조절할 수 있는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  7. 제1항에 있어서,
    상기 인공신경망(NN: Neural Network) 학습을 시키는 단계는,
    상기 각각의 CT영상 데이터의 80% 만큼의 CT 영상을 활용하여, 상기 인공신경망(NN: Neural Network)을 학습시키며,
    나머지 20%의 상기 CT 영상들을 활용하여 판단 정확도(AUC)를 측정하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  8. 제7항에 있어서,
    상기 인공신경망(NN: Neural Network)의 알고리즘은,
    상기 갑상선안병증의 여부를 판단하고,
    상기 갑상선안병증의 중증도를 판단하는 계산식을 강화(enhancing)하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  9. 제8항에 있어서,
    상기 인공신경망(NN: Neural Network)의 학습을 n번 반복하여,
    상기 n개의 판단 결과를 기반으로 하여 정확도 값을 도출하고,
    상기 도출된 n개의 정확도 값의 평균을 내어 상기 인공신경망(NN: Neural Network)의 최적 판단 성능 사양(SPEC) 및 성능을 도출하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
  10. 제1항에 있어서,
    상기 갑상선안병증 판단은,
    상기 반복된 학습을 거친 인공신경망(NN: Neural Network)의 알고리즘을 기반으로, 상기 CT 영상으로 갑상선 안병증을 판단하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(CT)을 이용한 갑상선안병증 판단 방법.
KR1020200136193A 2020-10-20 2020-10-20 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법 KR102537470B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200136193A KR102537470B1 (ko) 2020-10-20 2020-10-20 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200136193A KR102537470B1 (ko) 2020-10-20 2020-10-20 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법

Publications (2)

Publication Number Publication Date
KR20220052166A KR20220052166A (ko) 2022-04-27
KR102537470B1 true KR102537470B1 (ko) 2023-05-26

Family

ID=81391053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136193A KR102537470B1 (ko) 2020-10-20 2020-10-20 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법

Country Status (1)

Country Link
KR (1) KR102537470B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564437B1 (ko) * 2022-10-12 2023-08-10 주식회사 지오비전 딥러닝 모델을 이용한 안면골 골절 검출 시스템
KR20240073531A (ko) 2022-11-18 2024-05-27 가톨릭대학교 산학협력단 머신러닝 알고리즘을 이용한 갑상선 중독증 감별 진단 방법, 이를 위한 서버 및 프로그램
WO2024143757A1 (ko) * 2022-12-28 2024-07-04 가톨릭대학교 산학협력단 안와 ct 영상에서 외안근의 비정상 여부를 검출하는 전자장치, 그 방법 및 안와 ct 영상에서 외안근의 비정상 여부를 검출하는 3차원 변이 오토인코더 모델을 학습하는 방법
CN115969400A (zh) * 2023-01-13 2023-04-18 深圳市眼科医院(深圳市眼病防治研究所) 眼球突出截面积测量装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543728A (zh) * 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101925040B1 (ko) * 2016-11-11 2018-12-04 한국과학기술정보연구원 Mhc와 펩타이드 사이의 결합 친화성 예측 방법 및 장치
KR102204371B1 (ko) * 2019-03-25 2021-01-19 세종대학교산학협력단 다중시기 측부혈류 영상을 생성하기 위한 학습 방법 및 기계 학습을 이용한 다중시기 측부혈류 영상 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543728A (zh) * 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
꾸준희. [Deep Learning] 딥러닝에서 사용되는 다양한 Convolution 기법들. 티스토리 블로그, [online], 2020년 5월 18일, [2022년 4월 15일 검색], 인터넷: <URL: https://eehoeskrap.tistory.com/431>*

Also Published As

Publication number Publication date
KR20220052166A (ko) 2022-04-27

Similar Documents

Publication Publication Date Title
KR102537470B1 (ko) 신경망 기반 알고리즘에 근거한 안와 전산화단층촬영(ct)을 이용한 갑상선안병증(go) 진단 방법
Li et al. A large-scale database and a CNN model for attention-based glaucoma detection
Li et al. Deep learning based early stage diabetic retinopathy detection using optical coherence tomography
Li et al. Deep learning-based automated detection of glaucomatous optic neuropathy on color fundus photographs
Carass et al. Longitudinal multiple sclerosis lesion segmentation: resource and challenge
Gao et al. Automatic feature learning to grade nuclear cataracts based on deep learning
EP3659067B1 (en) Method of modifying a retina fundus image for a deep learning model
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
JP2020032190A (ja) 多変量及び多解像度網膜画像異常検出システム
US7905599B2 (en) Methods for diagnosing glaucoma utilizing combinations of FD-OCT measurements from three anatomical regions of the eye
Chea et al. Classification of Fundus Images Based on Deep Learning for Detecting Eye Diseases.
Das et al. CA-Net: A novel cascaded attention-based network for multi-stage glaucoma classification using fundus images
CN113192074B (zh) 一种适用于octa图像的动静脉自动化分割方法
Sakaguchi et al. Fundus image classification for diabetic retinopathy using disease severity grading
Hassan et al. Deep learning based automated extraction of intra-retinal layers for analyzing retinal abnormalities
CN113610842A (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
Khan et al. Spatial Correlation Module for Classification of Multi-Label Ocular Diseases Using Color Fundus Images.
Li et al. Class-Aware Attention Network for infectious keratitis diagnosis using corneal photographs
CN114898172B (zh) 基于多特征dag网络的糖尿病视网膜病变分类建模方法
CN115810122A (zh) 基于spect/ct检测甲状腺相关眼病活动性的深度学习方法
Zhou et al. CF-Loss: Clinically-relevant feature optimised loss function for retinal multi-class vessel segmentation and vascular feature measurement
Hussein et al. Convolutional Neural Network in Classifying Three Stages of Age-Related Macula Degeneration
Zhong et al. CeCNN: Copula-enhanced convolutional neural networks in joint prediction of refraction error and axial length based on ultra-widefield fundus images
Hussein et al. Automatic classification of AMD in retinal images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant