KR102464422B1 - 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 - Google Patents
폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 Download PDFInfo
- Publication number
- KR102464422B1 KR102464422B1 KR1020200129881A KR20200129881A KR102464422B1 KR 102464422 B1 KR102464422 B1 KR 102464422B1 KR 1020200129881 A KR1020200129881 A KR 1020200129881A KR 20200129881 A KR20200129881 A KR 20200129881A KR 102464422 B1 KR102464422 B1 KR 102464422B1
- Authority
- KR
- South Korea
- Prior art keywords
- damage
- image
- algorithm
- image data
- cause
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 231100000516 lung damage Toxicity 0.000 title claims abstract description 46
- 230000006378 damage Effects 0.000 claims abstract description 53
- 208000004852 Lung Injury Diseases 0.000 claims abstract description 52
- 206010069363 Traumatic lung injury Diseases 0.000 claims abstract description 52
- 231100000515 lung injury Toxicity 0.000 claims abstract description 52
- 238000003745 diagnosis Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 41
- 238000012800 visualization Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 16
- 210000004072 lung Anatomy 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 8
- 230000006735 deficit Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 239000000645 desinfectant Substances 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 208000035977 Rare disease Diseases 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Optics & Photonics (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 개시는 폐 손상 진단 장치, 방법 및 기록매체에 관한 것으로서, 특히 인체 조직을 촬영한 의료 영상 데이터로부터 전처리된 이미지를 제 1 알고리즘 및 제 2 알고리즘을 이용하여 손상 원인에 따라 분류하고, 분류 결과에 중요한 영향을 준 부분을 표시해줌으로써, 폐 손상 환자의 CT 영상 판정 시, 판정의 정확도를 높이고 소요시간을 획기적으로 줄일 수 있는 진단을 제공할 수 있다. 또한, 폐 손상 원인의 분류 근거를 시각화함으로써 전문의가 신뢰할 수 있는 진단을 제공할 수 있다.
Description
본 실시예들은 폐 손상 진단 장치, 방법 및 기록매체를 제공한다.
가습기 살균제는 가습기 내의 물에 첨가하여 미생물 번식과 물때 발생을 예방할 목적으로 1994년 최초 출시되어 약 20여 종의 제품이 연간 60여만 개가 판매되었다. 당초 카페트 항균제 등의 용도로 출시된 화학물질(PGH, PHMG 등)이 가습기 살균제 원료물질로 사용되었으며, 2009년부터 2011년 가습기 살균제 소비가 증가하면서 다수의 인명피해가 발생했다. 이에 가습기 살균제로 인한 국민의 신체적 피해에 따라 구제를 위한 판정을 진행 중이며, 총 6000여명 인정 신청자 중 486명이 승인되었으며, 가습기살균제 천식은 195명, 가습기살균제사용자 중 간질성폐질환 및 기관지확장증 판정자의 경우 871명(2018.11.22. 최종 추가) 영상 피해판정의 수가 증가되고 있다. 또한, 간질성폐질환은 호흡기질환 중 드문 질환으로 폐포와 폐포 사이의 공간인 간질에 염증 및 섬유화가 발생하는 질환군으로 호흡기질환 중 드문 질환일 뿐 아니라 질환들의 경과가 매우 다양하여 간질성폐질환 중 어떠한 질환인지를 정확하게 진단하고 이에 맞춰 치료하는 것이 매우 중요하다.
하지만, 가습기 살균제 폐손상 및 합병증 등에 대한 판독 경험은 몇몇 기관을 제외하고는 매우 드물기 때문에, 영상판정시 정확한 판정 및 진단 결과를 기대하기는 어려운 실정이다. 또한, 현재, 가습기 살균제 폐 손상 판독 시 소수의 판정위원이 수십~수백 건의 영상을 2-3시간 안에 판정하여, 판독 시 판정 에러가 발생하게 되며, 이 경우, 재해자가 재판정요구 및 행정소송을 진행을 해야하므로, 최소 6개월-3년까지 시간이 소요 및 행정력 낭비와 부대비용 발생하게 된다.
따라서, 가습기 살균제 피해자 판정 시, 판독자의 판정-재판정 결과 불일치의 문제, 병원 별 판정의 차이 발생. 일관된 판정 가이드의 필요성이 대두되고 있다. 이에 인공지능을 이용한 영상진단보조 시스템을 통해 가습기 살균제 폐 손상 환자의 영상 판정의 정확도를 높이고 소요시간을 획기적으로 줄일 수 있는 기술을 필요로 하고 있다.
이러한 배경에서, 본 실시 예들은 폐 손상 환자의 CT 영상 판정 시, 판정의 정확도를 높이고 소요시간을 획기적으로 줄일 수 있는 폐 손상 진단 장치, 방법 및 기록매체를 제공할 수 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시 예는, 폐 손상 진단 장치에 있어서, 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리부, 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 분류하는 분류부와 분류부의 분류결과에 기초하여 손상 원인을 이미지에 표시하여 출력하는 시각화부를 포함하는 폐 손상 진단 장치를 제공한다.
다른 측면에서, 본 실시 예는 폐 손상 진단 방법에 있어서, 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리 단계, 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 분류하는 분류 단계와 분류부의 분류결과에 기초하여 손상 원인을 상기 이미지에 표시하여 출력하는 시각화 단계를 포함하는 것을 특징으로 하는 폐손상 진단 방법을 제공한다.
또 다른 측면에서, 본 실시 예는 폐 손상 진단 방법을 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서, 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리 기능, 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 분류하는 분류 기능과 분류부의 분류결과에 기초하여 손상 원인을 상기 이미지에 표시하여 출력하는 시각화 기능을 구현하는 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 실시예들에 의하면, 폐 손상 환자의 CT 영상 판정 시, 판정의 정확도를 높이고 소요시간을 획기적으로 줄일 수 있는 폐 손상 진단 장치, 방법 및 기록매체를 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치의 구성을 도시한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 의료 영상 데이터를 선별하는 예시를 도시한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 제 1알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 제 2알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 5는 본 개시의 다른 실시 예에 따른 폐 손상 진단 장치에서 제 2알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 전체 알고리즘의 구조를 설명하기 위한 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 시각화부의 동작을 설명하기 위한 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 구현 결과의 예시를 도시한 도면이다.
도 9는 본 개시의 다른 실시 예에 따른 폐 손상 진단 방법의 흐름도이다.
도 2는 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 의료 영상 데이터를 선별하는 예시를 도시한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 제 1알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 제 2알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 5는 본 개시의 다른 실시 예에 따른 폐 손상 진단 장치에서 제 2알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 전체 알고리즘의 구조를 설명하기 위한 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 시각화부의 동작을 설명하기 위한 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 구현 결과의 예시를 도시한 도면이다.
도 9는 본 개시의 다른 실시 예에 따른 폐 손상 진단 방법의 흐름도이다.
본 개시는 폐 손상 진단 장치, 방법 및 기록매체에 관한 것이다.
이하, 본 개시의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 폐 손상 진단 장치(100)는, 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리부(110)와 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 분류하는 분류부(120)와 분류부의 분류 결과에 기초하여 손상 원인을 이미지에 표시하여 출력하는 시각화부(130)를 포함하는 폐 손상 진단 장치(100)를 제공한다.
전처리부(110)는 환자의 인체 조직을 촬영한 의료 영상 데이터를 입력받을 수 있다. 예를 들어, 의료 영상 데이터는 X-ray 장치, 초음파 장치, CT, MRI 등의 영상 진단 기기를 이용하여 촬영한 영상 데이터일 수 있다. 따라서 의료 영상 데이터는 인체의 조직에 따라 다른 방식으로 취득한 의료 영상 데이터일 수 있다. 전처리부(110)는 의료 영상 데이터의 촬영 정보에 기초하여 대상 의료 데이터를 선별하고, 선별된 대상 의료 영상 데이터로부터 관심 영역 이외의 영역은 제외할 수 있다. 또한, 의료 영상 데이터는 CT 영상 일 수 있다. 일 예로, CT 영상은 가습기살균제 폐 손상 CT 314례, 비-가습기살균제 폐 손상 CT 253례 영상 데이터일 수 있다. CT는 폐 실질조직 내의 질환과 작은 크기의 폐 결절(Nodule) 진단, 그리고 기관지 부위의 병변 진단을 할 수 있기 때문이다. 다만, 본 개시의 의료 영상 데이터는 환자의 폐를 촬영한 CT 영상으로 설명하나 이에 한정되지 않는다.
전처리부(110)는 환자마다 촬영된 의료 영상 데이터로부터 일정한 수의 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절 할 수 있다. 예를 들어, 전처리부(110)는 의료 영상 데이터에서 추출할 프레임을 결정하고 이에 따라 프레임 별 한 장씩 이미지를 추출할 수 있다. 이는, 환자마다 촬영한 프레임 수가 다르기 때문이다. 또한, 전처리부는 추출된 이미지를 분류부(120)의 입력으로 사용하기 위해 사이즈 조절이 필요하다.
전처리부(110)는 의료 영상 데이터의 촬영 정보에 기초하여 의료 영상 데이터로부터 대상 의료 영상 데이터를 선별하고, 선별된 대상 의료 영상 데이터로부터 관심 영역 이외의 영역은 제외하고, 프레임 별 이미지를 추출할 수 있다. 의료 영상 데이터의 선별 및 추출에 관한 구체적인 예는 도2를 참조하여 후술한다.
분류부(120)는 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출할 수 있다. 일 예로, 분류부(120)는 각 15장의 이미지 데이터를 입력으로 하여 제 1 알고리즘을 이용하면, CT 영상의 Level 별 특징을 추출할 수 있다. 이 때, CT 영상의 Level은 기준점을 의미하는 것으로 사용자가 설정한 Level 값이 지정한 부위의 값을 포함하면 해당 부위를 표시할 수 있다.
다른 일 예로, 제 1 알고리즘은 사이즈가 조절된 이미지의 픽셀 정보로부터 필터를 이용하여 특징 맵을 형성하고, 특징 맵으로부터 활성 함수를 이용하여 제 1 레이어를 형성하고, 제 1 레이어를 서브 샘플링하여 제 2 레이어를 형성하되, 제 1 레이어 및 상기 제 2레이어를 형성하는 것을 반복적으로 수행하여 특징 정보를 추출할 수 있다. 또한, 제 1 알고리즘은 반복적으로 형성된 상기 특징 맵을 패딩을 이용하여 동일한 데이터 사이즈로 변경하고, 변경된 특징 맵을 서로 연결하여 특징 정보를 추출할 수 있다. 제 1 알고리즘과 특징 맵, 활성 함수, 서브 샘플링 및 패딩 등의 상세한 내용은 도 3을 참조하여 후술한다.
분류부(120)는 추출된 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 이미지를 분류할 수 있다. 일 예로, 분류부(120)는 추출된 특징 정보를 입력으로 하여 제 2 알고리즘을 이용하면, 가습기 살균제 폐 손상인 이미지를 분류할 수 있다.
다른 일 예로, 제 2 알고리즘은 특징 정보 및 이전에 입력된 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 저장하고 학습하여 손상 원인을 분류할 수 있다. 또한, 제 2 알고리즘은 특징 정보 및 과거의 특징 정보의 저장 여부를 결정하고, 저장된 특징 정보 또는 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 선택적으로 학습하여 손상 원인을 분류할 수 있다. 제 2 알고리즘의 상세한 내용은 도 4 내지 도6을 참조하여 후술한다.
전술한 제 1 알고리즘 및 제 2 알고리즘은 인공 신경망을 다층 레이어로 쌓은 형태의 딥러닝 알고리즘(deep learning algorithm)일 수 있다. 즉, 딥러닝 알고리즘은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 형태일 수 있다. 예를 들어, CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등일 수 있으며, 본 개시는 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 딥 러닝 알고리즘일 수 있다.
시각화부(130)는 인체 조직의 손상 원인에 따라 분류된 결과에 기초하여 미리 설정된 손상 원인과 손상 원인이 일치하는 경우, 의료 영상 데이터 중 질환이 발생한 특정 부위를 표시할 수 있다. 예를 들어, 시각화부(130)는 미리 설정된 가습기살균제 폐 손상을 원인으로한 이미지와 일치하는 이미지를 분류하고, 분류한 결과에 중요한 영향을 미친 부위를 이미지 상에 표현할 수 있다.
시각화부(130)는 제 1 알고리즘의 특징 맵을 이용하여 가중 값을 산출하고, 가중 값에 기초하여 손상 원인을 표시할 수 있다. 예를 들어, 시각화부(130)는 폐 손상이라고 예측한 이미지에 대해 Grad-cam(Gradient-weighted CAM)을 이용할 수 있다. 또한, 시각화부(130)는 Grad-cam 이외에 Attention model 등일 수 있으며, 본 개시가 반드시 이러한 실시 예에 한정되는 것은 아니다.
도 2는 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 의료 영상 데이터를 선별하는 예시를 도시한 도면이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따른 폐 손상 진단 장치의 전처리부(110)에서 의료 영상 데이터의 촬영 정보에 기초하여 대상 의료 영상 데이터를 선별할 수 있다. 즉, CT 영상은 촬영 방법에 따라 구분될 수 있다. 예를 들면, S1 영상(210)은 척추가 아래로 가는 형태로 뼈 중심의 CT 영상일 수 있고, S2 영상(220)은 척추가 아래로 가는 형태로 폐 중심의 CT 영상일 수 있다. 또한, P1 영상(230)은 척추가 위로 가는 형태로 뼈 중심의 CT 영상일 수 있고, P2 영상(240)은 척추가 위로 가는 형태로 폐 중심의 CT 영상일 수 있다. 이 때, 전처리부(110)는 대상 의료 영상 데이터로 주로 S2를 사용할 수 있다.
다른 실시 예에 따른 전처리부(110)는 대상 의료 데이터로부터 관심 영역 이외의 영역은 제외할 수 있다. 예를 들면, 전처리부(110)는 가습기살균제 폐 손상이 발현되는 폐 이외의 영역인 목, 횡격막 아래 부분 등을 제외할 수 있다.
전처리부(110)는 입력 데이터의 사이즈를 고려하여 추출된 이미지의 사이즈를 조절할 수 있다. 예를 들어, CNN 알고리즘을 사용하는 모델의 경우는 입력 데이터로 224×224의 사이즈를 사용하기 때문에 입력 데이터 사이즈는 224×224로 설정될 수 있다. 따라서 의료 영상 데이터로부터 추출한 이미지는 미리 설정된 224×224의 사이즈로 조절할 수 있다. 다만, 본 명세서에서는 224×224의 사이즈를 기준으로 설명하나 이에 한정되는 것은 아니다.
도 3은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 제 1알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 3을 참조하면, 본 개시의 일 실시 예에 따른 폐 손상 진단 장치의 분류부(120)는 이미지의 픽셀 정보로부터 제 1 알고리즘을 이용하여 이미지를 분석하여 이미지의 특징 정보를 추출할 수 있다. 예를 들어, 분류부(120)의 제 1 알고리즘은 합성곱 신경망(CNN, Convolutional Neural Network)일 수 있고, 합성곱 신경망은 컨볼루션 층을 이용한 네트워크 구조로 이미지 처리에 적합하다. 이는 이미지 데이터를 입력으로 하여 이미지 내의 특징을 기반으로 이미지를 분류할 수 있기 때문이다.
구체적인 일 예로, 분류부(120)의 제 1 알고리즘은 이미지의 픽셀 정보로부터 필터를 이용하여 특징 맵(feature map)을 형성할 수 있다. 예를 들면, 이미지의 픽셀 정보는 흑백 이미지의 경우 1가지의 채널로 이루어진 2차원 데이터이고, 칼라 이미지의 경우 3가지의 채널로 이루어진 3차원 데이터일 수 있다. 또한, 필터는 이미지의 특징을 추출하기 위한 행렬로, 3*3 또는 4*4 의 정사각행렬로 정의가 되며 데이터에 특징이 있으면 큰 값, 특징이 없다면 0에 가까운 값으로 구성될 수 있다. 특징 맵은 채널 별로 합성 곱을 수행하여 1차로 특징 맵을 만들고, 필터를 이동시켜가며 반복 수행하여 2차로 특징 맵 행렬을 만들 수 있다. 특징 맵은 각 채널 별로 나온 특징 맵 행렬을 합한 것일 수 있다. 따라서, 전처리부(110)으로부터 처리된 이미지의 픽셀 정보를 필터를 이용하여 합성 곱을 반복 수행하여 특징 맵을 형성할 수 있다.
분류부(120)의 제 1 알고리즘은 특징 맵으로부터 활성 함수를 이용하여 제 1 레이어를 형성할 수 있다. 예를 들면, 특징 맵을 구성하고 있는 데이터는 특징을 가지고 있는 부분은 매우 큰값으로, 특징이 없는 부분은 0에 가까운 값을 가지고 있을 수 있다. 따라서 활성 함수를 이용하여 특징의 유무를 수치화하기 위해 비선형 값으로 바꿔줄 수 있다. 예를 들어, 활성 함수는 ReLU(Rectified Linear Unit)함수, 하이퍼볼릭탄젠트 함수, 시그모이드 함수, ELU(Exponential Linear Units)함수 등 일 수 있다.
분류부(120)의 제 1 알고리즘은 제 1 레이어를 서브 샘플링(subsampling)하여 제 2 레이어를 형성할 수 있다. 예를 들면, 서브 샘플링은 추출한 행렬의 특정 영역 안의 값의 최대값을 그 행렬의 대표 값으로 사용하는 것을 의미할 수 있다. 다만, 서브 샘플링은 효율적인 학습을 위해 데이터의 크기를 줄이고 싶을 때 선택적으로 사용할 수 있다.
분류부(120)의 제 1 알고리즘은 제 1 레이어 및 제 2 레이어를 형성하는 것을 반복적으로 수행한 최종 레이어를 제 2 알고리즘에 입력할 수 있다. 이 때, 최종 레이어는 입력 이미지의 공간적인 정보를 포함하는 특징을 저장하고 있다고 볼 수 있다. 또한, 분류부(120)의 제 1 알고리즘은 특징 정보를 포함하는 행렬을 배열(Fully connected)로 만들어 줄 수 있다.
구체적인 다른 예로, 분류부(120)의 제 1 알고리즘은 반복적으로 형성된 특징맵을 패딩을 이용하여 동일한 데이터 사이즈로 변경하고, 특징 맵을 서로 연결하여 특징 정보를 추출할 수 있다. 예를 들어, 패딩은 데이터의 외곽에 특정 값으로 채우는 과정으로 제 1 알고리즘의 최종 레이어의 사이즈를 입력 데이터 사이즈와 동일하게 변경시킬 수 있다.
또한, 분류부(120)의 제 1 알고리즘은 특징 맵을 서로 연결시켜 특징 정보를 추출할 수 있다. 예를 들어, 분류부(120)의 제 1 알고리즘은 합성곱 신경망 기반의 Densenet(Densely Connected Convolutional Networks)을 사용할 수 있다. 이하 표 1은 폐 손상 진단 장치에서 사용한 Densenet의 구조 예이다.
이를 통해, 분류부(120)의 제 1 알고리즘은 Bottleneck layers 와 모델의 압축 기법을 통해서 파라미터수를 최소화 하고 계산 복잡도를 감소시킬 수 있다.
도 4는 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 제 2알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 폐 손상 진단 장치의 분류부(120)는 이미지의 특징 정보로부터 제 2 알고리즘을 이용하여 이미지를 분류할 수 있다. 예를 들어, 분류부(120)의 제 2 알고리즘은 순환 신경망(RNN,Recurrent Neural Network)일 수 있다. 분류부(120)의 제 2 알고리즘은 시계열 데이터와 같이 시간의 흐름에 따라 변화하는 데이터를 학습할 수 있다.
구체적인 일 예로, 분류부(120)의 제 2 알고리즘은 이미지의 특징 정보 및 이전의 입력된 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 저장하고 학습하여 이미지를 분류할 수 있다. 예를 들면, 시계열 정보는 시간적 순서를 가진 데이터로, 과거의 데이터를 통해 현재의 움직임과 미래를 예측하는데 사용할 수 있다. 분류부(120)의 제 2 알고리즘은 입력층, 은닉층, 출력층 3단계로 구성될 수 있고, 은닉층의 결과를 다시 같은 은닉층의 입력으로 들어가도록 연결할 수 있다. 즉, 분류부(120)의 제 2 알고리즘은 이미지의 특징 정보로부터 이미지를 분류한 결과를 다시 제 2 알고리즘으로 입력할 수 있다. 이때, 은닉층은 tanh 함수를 가질 수 있고 ReLU 함수일 수도 있다.
도 5는 본 개시의 다른 실시 예에 따른 폐 손상 진단 장치에서 제 2알고리즘을 설명하기 위한 예시를 도시한 도면이다.
도 5를 참조하면, 본 개시의 일 실시 예에 따른 폐 손상 진단 장치의 분류부(120)는 특징 정보 및 과거의 특징 정보의 저장 여부를 결정하여 이미지의 시계열 정보를 선택적으로 학습하여 이미지를 분류할 수 있다. 예를 들어, 분류부(120)의 제 2 알고리즘은 순환 신경망 기반의 LSTM(Long Short-Term Memory)일 수 있고, 전체 프레임의 순서 정보를 보존하여 이미지의 시간적 특성을 반영할 수 있다. LSTM는 출력층 이외에 LSTM 사이의 공유되는 셀 상태(C, Cell state)가 존재할 수 있다. 또한, 셀 상태 값을 제어하기 위하여 게이트(Input Gate, Forget Gate, Output Gate)가 존재할 수 있다. 예를 들면, Input gate는 입력되는 정보 중 어떤 것을 저장할지 결정하는 것이고, Forget Gate는 과거의 입력 정보 중 삭제할 것을 결정하는 것이고, Output Gate는 어떤 정보를 출력할지 결정하는 것일 수 있다. 따라서, 분류부(120)의 제 2 알고리즘은 시계열 정보를 선택적으로 학습하여 장기 의존성(Gradient Vanishing)문제를 해결할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 전체 알고리즘의 구조를 설명하기 위한 예시를 도시한 도면이다.
도 6을 참조하면, 폐 손상 진단 장치(100)는 전처리부(110)로부터 전처리된 연속되는 이미지를 분류부(120)에서 순차적으로 처리하여 분류할 수 있다. 예를 들면, 전처리부(110)는 일정한 FPS(frame per second)로 지정하여 각 환자마다 지정된 개수의 이미지를 추출하고 이를 하나의 샘플 영상으로 간주할 수 있다. 분류부(120)는 환자마다 추출된 하나의 샘플 영상을 입력하여 학습을 진행할 수 있다 따라서 분류부(120)는 가습기 살균제로 폐 손상 진단을 받은 사람과 받지 않은 사람으로 분류된 샘플 영상을 입력하여 학습을 진행할 수 있다.
분류부(120)는 LRCN(Long-Term Recurrent Convolutional Networks)으로 구성될 수 있고, 제 1 알고리즘을 이용하여 형성된 최종 레이어와 제 2 알고리즘을 이용하여 순차 학습하는 형태를 가질 수 있다. 예를 들면, 분류부(120)는 합성곱 신경망과 순환 신경망 기반의 LSTM의 조합일 수 있다.
분류부(120)는 영상 데이터에 기초하여 전술한 제 1 알고리즘 및 제 2 알고리즘에 대한 학습을 수행할 수 있다. 예를 들어, 분류부(120)는 학습 반복 횟수(epoch), 학습 데이터 사이즈(Batch size) 등과 같은 내부 파라미터를 다르게하여 학습할 수 있다. 이에 따라 동일한 의료 영상 데이터 또는 동일한 알고리즘들을 사용하여 각각 학습하더라도 다른 결과를 추출할 수 있다. 이하 표 2는 본 개시의 학습 수행시 파라미터 조정의 예이다. 다만, 이는 학습 수행시 파라미터 조정을 설명하기 위한 일 예로 이에 한정되는 것은 아니다.
| 파라미터 | 범위 | 설명 |
| Epoch | 600 | Completed training once for the entire dataset |
| Learning Rate | [0.0001, 0.0005, 0.001] | controls how much we are adjusting the weights of our network with respect the loss gradient |
| Latent_Dim | [256, 512, 1024] | The dim of the Conv FC output |
| LSTM_Layer | [1,2,4] | Number of recurrent layers |
| Batch_Size | [16, 32, 64, 128] | Total number of training examples present in a single batch. |
| Hidden_Size | [128, 256, 512] | Size of output such as BasicLSTMCell |
도 7은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 시각화부의 동작을 설명하기 위한 예시를 도시한 도면이다.
도 7을 참조하면, 본 개시의 폐 손상 진단 장치(100)의 시각화부(130)에서 폐 손상 부위를 이미지 상에 표시하여 출력할 수 있다. 일 예로, 시각화부(130)는 합성곱 신경망 기반의 알고리즘에서 알고리즘이 분류한 결과에 중요한 영향을 미친 부위를 표시할 수 있다. 이를 위해 시각화부(130)는 Grad-CAM(Gradient-weighted CAM)을 이용할 수 있다. 예를 들면, 시각화부(130)는 Grad-CAM을 얻기 위해 역전파(Backpropagation)를 통한 그라디언트(Gradient)를 산출할 수 있고, 최종 레이어로 가는 그라디언트 정보를 이용하여 이미지에서 중요한 영역을 표시한 위치 맵(localization map)을 획득할 수 있다. 예를 들면, 최종 레이어에 역전파되는 그라디언트의 가중 값은 아래 수학식 1과 같이 산출할 수 있다.
이는 각 k개의 특징 맵이 타겟 클라스(C)를 분류하기 위한 중요도를 나타낼 수 있다. 여기서, yc는 Softmax 이전의 출력이고, Ak는 최종 레이어에서의 특징 맵을 의미할 수 있다. 그리고 
는 GAP(Global average pooling)으로 특징 맵 상의 노드 값들의 평균을 산출하기 위한 과정이다.
또한, 위치 맵은 최종 레이어에서 나온 특징 맵과 그라디언트의 가중 값을 선형 결합 시킨 후 비선형 함수 ReLU를 이용할 수 있다. 즉, 위치 맵은 아래 수학식 2와 같이 산출할 수 있다.
여기서, 비선형 함수 ReLU는 0 보다 큰 값에 대해서 입력 값을 반환하며, 0 보다 작은 값에 대해서는 0을 반환할 수 있다. 이는 본 개시에서 분류에 중요하게 영향을 미치는 부분, 즉, 양의 상관성(+)을 가지는 부분에만 관심이 있기 때문이다.
일 예로, 시각화부(130)는 분류부(120)가 폐 손상 원인으로 분류하게 된 부분을 시각적으로 보여줄 수 있다. 예를 들어, 시각화부(130)는 분류부(120)로부터 최종 레이어의 특징 맵을 이용하여 이미지 상의 손상 원인을 표시할 수 있다. 시각화부(130)의 구현 결과에 관한 상세한 내용은 도8을 참조하여 후술한다.
도 8은 본 개시의 일 실시 예에 따른 폐 손상 진단 장치에서 구현 결과의 예시를 도시한 도면이다.
도 8을 참조하면, 본 개시의 폐 손상 진단 장치(100)는 시각화부(130)에서 폐 손상 부위를 이미지 상에 표시한 결과를 이용하여 폐 손상 여부를 판단할 수 있다. 일 예로, 시각화부(130)는 기존의 의료 영상 데이터(810)에 분류 결과에 기초하여 손상 원인이 표시된 이미지(820)를 겹치는 과정을 통해 최종 영상(830)을 획득할 수 있다. 예를 들면, 기존의 의료 영상 데이터(810)는 시각화부(130)의 Grad-Cam을 이용하기 위한 원본 데이터이고, 손상 원인이 표시된 이미지(820)는 Grad-Cam을 이용하여 표시한 폐실질 구획일 수 있다.
다른 일 예로, 시각화부(130)는 미리 설정된 손상 원인과 분류부(120)의 분류 결과에 따른 손상 원인이 일치하는 경우, 이미지 상에 질환이 발생한 특정 부위를 표시할 수 있다. 예를 들면, 미리 설정된 손상 원인은 가습기 살균제로 인한 폐 질환 발생시 질환이 발생하는 특정 부위로 설정할 수 있고, 분류부(120)의 분류 결과가 해당 부위의 손상이라고 판단되면 이를 이미지상에 표시할 수 있다. 따라서 폐 손상 진단 장치(100)는 시각화부(130)의 출력 영상으로 가습기 살균제 폐 손상 여부 및 부위를 확인할 수 있다.
이하에서는 도 1 내지 도 8를 참조하여 설명한 폐 손상 진단 장치가 수행할 수 있는 폐 손상 진단 방법에 대해서 설명한다.
도 9는 본 개시의 다른 실시 예에 따른 폐 손상 진단 방법의 흐름도이다.
도 9을 참조하면, 본 개시의 폐 손상 진단 방법은 전 처리 단계를 포함할 수 있다(S910). 일 예로, 폐 손상 진단 장치는 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절할 수 있다. 다른 일 예로, 폐 손상 진단 장치는 의료 영상 데이터의 촬영 정보에 기초하여 의료 영상 데이터로부터 대상 의료 영상 데이터를 선별하고, 선별된 대상 의료 영상 데이터로부터 관심 영역 이외의 영역은 제외하고, 프레임 별 이미지를 추출할 수 있다.
또한, 폐 손상 진단 방법은 분류 단계를 포함할 수 있다(S920). 일 예로, 폐 손상 진단 장치는 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 분류할 수 있다. 예를 들어, 폐 손상 진단 장치는 사이즈가 조절된 이미지의 픽셀 정보로부터 필터를 이용하여 특징 맵을 형성하고, 특징 맵으로부터 활성 함수를 이용하여 제 1 레이어를 형성하고, 제 1 레이어를 서브 샘플링하여 제 2 레이어를 형성하되, 제 1 레이어 및 제 2레이어를 형성하는 것을 반복적으로 수행하여 특징 정보를 추출할 수 있다. 또는 폐 손상 진단 장치는 반복적으로 형성된 특징 맵을 패딩을 이용하여 동일한 데이터 사이즈로 변경하고, 변경된 특징 맵을 서로 연결하여 특징 정보를 추출할 수도 있다.
다른 예를 들어, 폐 손상 진단 장치는 추출된 특징 정보 및 이전에 입력된 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 저장하고 학습하여 손상 원인을 분류할 수 있다. 또는 폐 손상 진단 장치는 추출된 특징 정보 및 과거의 특징 정보의 저장 여부를 결정하고, 저장된 특징 정보 또는 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 선택적으로 학습하여 손상 원인을 분류할 수 있다.
또한, 폐 손상 진단 방법은 시각화 단계를 포함할 수 있다(S920). 일 예로, 폐 손상 진단 장치는 분류 결과에 기초하여 손상 원인을 이미지에 표시하여 출력할 수 있다. 또한 폐 손상 진단 장치는 특징 맵을 이용하여 가중 값을 산출하고, 상기 가중 값에 기초하여 손상 원인을 표시할 수 있다. 다른 일 예로, 폐 손상 진단 장치는 인체 조직의 손상 원인에 따라 분류된 결과에 기초하여 미리 설정된 손상 원인과 손상 원인이 일치하는 경우, 의료 영상 데이터 중 질환이 발생한 특정 부위를 표시할 수 있다.
이상에서는 본 개시의 실시 예에 따른 폐 손상 진단 방법이 도9 에서와 같은 절차로 수행되는 것으로 설명되었으나, 이는 설명의 편의를 위한 것일 뿐, 본 개시의 본질적인 개념을 벗어나지 않는 범위 내에서, 구현 방식에 따라 각 단계의 수행 절차가 바뀌거나 둘 이상의 단계가 통합되거나 하나의 단계가 둘 이상의 단계로 분리되어 수행될 수도 있다.
전술한 폐 손상 진단 방법은, 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 또한, 전술한 폐 손상 진단 방법을 실행시키기 위한 프로그램은, 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리 기능과 사이즈가 조절된 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 특징 정보로부터 제2 알고리즘을 이용하여 인체 조직의 손상 원인에 따라 분류하는 분류 기능 및 분류부의 분류결과에 기초하여 손상 원인을 이미지에 표시하여 출력하는 시각화 기능을 실행한다.
이상에서 전술한 본 개시의 실시 예에 따른 폐 손상 진단 방법은, 폐 손상 진단 장치(100)에 기본적으로 설치된 애플리케이션(이는 단말에 기본적으로 탑재된 플랫폼에 포함되거나 운영체제 등에 포함되거나 호환되는 프로그램일 수 있음)에 의해 실행될 수 있고, 또한, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 폐 손상 진단 장치(100)의 운영체제와 호환 가능하고 폐 손상 진단 장치(100)에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 여기서, 폐 손상 진단 장치(100)의 운영체제는, 데스크 탑 등의 일반 PC에 설치되는 윈도우(Window), 매킨토시(Macintosh), 리눅스(Linux) 등의 운영체제이거나, 스마트폰, 태블릿 PC 등의 모바일 단말기에 설치되는 iOS, 안드로이드(Android), 윈도우 모바일 등의 모바일 전용 운영체제 등일 수도 있다.
이러한 의미에서, 전술한 본 개시의 실시 예에 따른 폐 손상 진단 방법은 폐 손상 진단 장치(100)에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고, 폐 손상 진단 장치(100) 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
본 개시의 실시 예에 따른 폐 손상 진단 방법을 구현한 프로그램은, 전처리 기능, 분류 기능과 시각화 기능 등을 실행한다. 이뿐만 아니라, 도1 내지 도8 를 참조하여 전술한 본 개시의 실시 예에 따른 폐 손상 진단 방법에 대응되는 모든 기능을 실행할 수 있다.
이러한 프로그램은 컴퓨터에 의해 읽힐 수 있는 기록매체에 기록되고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 폐 손상 진단 방법을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈(예: 유선 및/또는 무선 통신 모듈)을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
그리고, 본 개시를 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 개시가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
이상에서 전술한 바와 같은, 본 개시의 실시 예에 따른 폐 손상 진단 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한, 본 개시의 실시 예에 따른 폐 손상 진단 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 애플리케이션 스토어 서버(Application Store Server), 애플리케이션 또는 해당 서비스와 관련된 웹 서버(Web Server) 등을 포함하는 애플리케이션 제공 서버(Application Provider Server)에 포함된 저장매체(예: 하드디스크 등)이거나, 애플리케이션 제공 서버 그 자체일 수도 있으며, 프로그램을 기록한 다른 컴퓨터 또는 그 저장매체일 수도 있다.
본 개시의 일 실시 예에 따른 폐 손상 진단 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기를 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
만약, 본 개시의 일 실시 예에 따른 폐 손상 진단 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터가 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기인 경우, 모바일 단말기는 애플리케이션 스토어 서버, 웹 서버 등을 포함하는 애플리케이션 제공 서버로부터 해당 애플리케이션을 다운로드 받아 설치할 수 있고, 경우에 따라서는, 애플리케이션 제공 서버에서 일반 PC로 다운로드 된 이후, 동기화 프로그램을 통해 모바일 단말기에 설치될 수도 있다.
이상에서, 본 개시의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 개시의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 개시의 실시 예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시 예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (15)
- 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리부;
사이즈가 조절된 복수의 연속된 이미지로부터 제 1 알고리즘을 이용하여 각 이미지의 특징 정보를 추출하고, 상기 특징 정보로부터 제 2 알고리즘을 이용하여 상기 인체 조직의 손상 원인에 따라 분류하는 분류부; 및
상기 분류부의 분류 결과에 기초하여 상기 손상 원인을 상기 이미지에 표시하여 출력하는 시각화부를 포함하되,
상기 전처리부는,
상기 인체 조직 중 폐를 촬영한 CT 영상 데이터에서 척추가 아래로 가는 형태로 뼈 중심의 CT 영상 데이터를 대상 의료 영상 데이터로 선별하고, 선별된 상기 대상 의료 영상 데이터로부터 관심 영역인 폐 영역 이외의 영역은 제외하고, 상기 프레임 별 이미지를 미리 지정된 개수로 추출하여 상기 연속되는 이미지로 전처리하는 것을 특징으로 하는 폐 손상 진단 장치. - 삭제
- 제 1 항에 있어서,
상기 제 1 알고리즘은,
상기 사이즈가 조절된 이미지의 픽셀 정보로부터 필터를 이용하여 특징 맵을 형성하고, 상기 특징 맵으로부터 활성 함수를 이용하여 제 1 레이어를 형성하고, 상기 제 1 레이어를 서브 샘플링 하여 제 2 레이어를 형성하되, 상기 제 1 레이어 및 상기 제 2 레이어를 형성하는 것을 반복적으로 수행하여 상기 특징 정보를 추출하는 것을 특징으로 하는 폐 손상 진단 장치. - 제 3 항에 있어서,
상기 제 1 알고리즘은,
반복적으로 형성된 상기 특징 맵을 패딩을 이용하여 동일한 데이터 사이즈로 변경하고, 변경된 특징 맵을 서로 연결하여 상기 특징 정보를 추출하는 것을 특징으로 하는 폐 손상 진단 장치. - 제 1 항에 있어서,
상기 제 2 알고리즘은,
상기 특징 정보 및 이전에 입력된 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 저장하고 학습하여 상기 손상 원인을 분류하는 것을 특징으로 하는 폐 손상 진단 장치. - 제 5 항에 있어서,
상기 제 2 알고리즘은,
상기 특징 정보 및 상기 과거의 특징 정보의 저장 여부를 결정하고, 저장된 상기 특징 정보 또는 상기 과거의 특징 정보를 이용하여 상기 이미지의 시계열 정보를 선택적으로 학습하여 상기 손상 원인을 분류하는 것을 특징으로 하는 폐 손상 진단 장치. - 제 1 항에 있어서,
상기 시각화부는,
상기 제 1 알고리즘의 특징 맵을 이용하여 가중 값을 산출하고, 상기 가중 값에 기초하여 상기 손상 원인을 표시하는 것을 특징으로 하는 폐 손상 진단 장치. - 제 1 항에 있어서,
상기 시각화부는,
상기 인체 조직의 손상 원인에 따라 분류된 결과에 기초하여 미리 설정된 손상 원인과 상기 손상 원인이 일치하는 경우, 상기 의료 영상 데이터 중 질환이 발생한 특정 부위를 표시하는 것을 특징으로 하는 폐 손상 진단 장치. - 사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리 단계;
사이즈가 조절된 복수의 연속되는 이미지로부터 제 1 알고리즘을 이용하여 각 이미지의 특징 정보를 추출하고, 상기 특징 정보로부터 제 2 알고리즘을 이용하여 상기 인체 조직의 손상 원인에 따라 분류하는 분류 단계; 및
상기 분류 단계의 분류 결과에 기초하여 상기 손상 원인을 상기 이미지에 표시하여 출력하는 시각화 단계를 포함하되,
상기 전처리 단계는,
상기 인체 조직 중 폐를 촬영한 CT 영상 데이터에서 척추가 아래로 가는 형태로 뼈 중심의 CT 영상 데이터를 대상 의료 영상 데이터로 선별하고, 선별된 상기 대상 의료 영상 데이터로부터 관심 영역인 폐 영역 이외의 영역은 제외하고, 상기 프레임 별 이미지를 미리 지정된 개수로 추출하여 상기 연속되는 이미지로 전처리하는 것을 특징으로 하는 폐 손상 진단에 필요한 정보를 제공하는 방법. - 삭제
- 제 9 항에 있어서,
상기 제 1 알고리즘은,
상기 사이즈가 조절된 이미지의 픽셀 정보로부터 필터를 이용하여 특징 맵을 형성하고, 상기 특징 맵으로부터 활성 함수를 이용하여 제 1 레이어를 형성하고, 상기 제 1 레이어를 서브 샘플링하여 제 2 레이어를 형성하되, 상기 제 1 레이어 및 상기 제 2 레이어를 형성하는 것을 반복적으로 수행하여 상기 특징 정보를 추출하는 것을 특징으로 하는 폐 손상 진단에 필요한 정보를 제공하는 방법. - 제 9 항에 있어서,
상기 제 2 알고리즘은,
상기 특징 정보 및 이전에 입력된 과거의 특징 정보를 이용하여 이미지의 시계열 정보를 저장하고 학습하여 상기 손상 원인을 분류하는 것을 특징으로 하는 폐 손상 진단에 필요한 정보를 제공하는 방법. - 제 12 항에 있어서,
상기 제 2 알고리즘은,
상기 특징 정보 및 상기 과거의 특징 정보의 저장 여부를 결정하고, 저장된 상기 특징 정보 또는 상기 과거의 특징 정보를 이용하여 상기 이미지의 시계열 정보를 선택적으로 학습하여 상기 손상 원인을 분류하는 것을 특징으로 하는 폐 손상 진단에 필요한 정보를 제공하는 방법. - 제 9 항에 있어서,
상기 시각화 단계는,
상기 인체 조직의 손상 원인에 따라 분류된 결과에 기초하여 미리 설정된 손상 원인과 상기 손상 원인이 일치하는 경우, 상기 의료 영상 데이터 중 질환이 발생한 특정 부위를 표시하는 것을 특징으로 하는 폐 손상 진단에 필요한 정보를 제공하는 방법. - 폐 손상 진단 방법을 실행시키기 위한 프로그램을 기록한 기록 매체에 있어서,
사용자의 인체 조직을 촬영한 의료 영상 데이터로부터 프레임 별 이미지를 추출하고, 추출된 이미지의 사이즈를 미리 설정된 사이즈로 조절하는 전처리 기능;
사이즈가 조절된 복수의 연속되는 이미지로부터 제1 알고리즘을 이용하여 이미지의 특징 정보를 추출하고, 상기 특징 정보로부터 제2 알고리즘을 이용하여 상기 인체 조직의 손상 원인에 따라 분류하는 분류 기능; 및
분류 결과에 기초하여 상기 손상 원인을 상기 이미지에 표시하여 출력하는 시각화 기능을 구현하되,
상기 전처리 기능은,
상기 인체 조직 중 폐를 촬영한 CT 영상 데이터에서 척추가 아래로 가는 형태로 뼈 중심의 CT 영상 데이터를 대상 의료 영상 데이터로 선별하고, 선별된 상기 대상 의료 영상 데이터로부터 관심 영역인 폐 영역 이외의 영역은 제외하고, 상기 프레임 별 이미지를 미리 지정된 개수로 추출하여 상기 연속되는 이미지로 전처리하는 것을 특징으로 하는 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200129881A KR102464422B1 (ko) | 2020-10-08 | 2020-10-08 | 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200129881A KR102464422B1 (ko) | 2020-10-08 | 2020-10-08 | 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220046798A KR20220046798A (ko) | 2022-04-15 |
| KR102464422B1 true KR102464422B1 (ko) | 2022-11-07 |
Family
ID=81212001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200129881A KR102464422B1 (ko) | 2020-10-08 | 2020-10-08 | 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102464422B1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101955012B1 (ko) * | 2017-03-28 | 2019-03-08 | 한국전자통신연구원 | 뇌졸중 예측과 분석 시스템 및 방법 |
| KR102128910B1 (ko) * | 2018-03-30 | 2020-07-01 | 광운대학교 산학협력단 | 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법 |
| KR102333670B1 (ko) * | 2018-12-06 | 2021-12-02 | 주식회사 메디웨일 | 안구 이미지 기반의 진단 보조 이미지 제공 장치 |
-
2020
- 2020-10-08 KR KR1020200129881A patent/KR102464422B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| Xu, S. 외. Automated Detection of Multiple Lesions on Chest X-ray Images: Classification Using a Neural Network Technique with Association-Specific Contexts. Appl. Sci. 2020, 10, 1742. 2020.03.03. 공개.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220046798A (ko) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3979198A1 (en) | Image segmentation model training method and apparatus, computer device, and storage medium | |
| US11257259B2 (en) | Topogram prediction from surface data in medical imaging | |
| CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
| US20190065897A1 (en) | Medical image analysis method, medical image analysis system and storage medium | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN110599421B (zh) | 模型训练方法、视频模糊帧转换方法、设备及存储介质 | |
| CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| US20220262105A1 (en) | Systems, methods, and apparatuses for the generation of source models for transfer learning to application specific models used in the processing of medical imaging | |
| US11663819B2 (en) | Image processing method, apparatus, and device, and storage medium | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| WO2022252929A1 (zh) | 医学图像中组织结构的层级分割方法、装置、设备及介质 | |
| WO2021017006A1 (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
| US20230177698A1 (en) | Method for image segmentation, and electronic device | |
| US20230051411A1 (en) | Image Processing Method and Apparatus, Computer Device, Storage Medium, and Program Product | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN111524109B (zh) | 头部医学影像的评分方法和装置、电子设备及存储介质 | |
| CN116797554A (zh) | 图像处理方法以及装置 | |
| CN114972211A (zh) | 图像分割模型的训练方法、分割方法、装置、设备和介质 | |
| US11475568B2 (en) | Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus | |
| CN114119635A (zh) | 一种基于空洞卷积的脂肪肝ct图像分割方法 | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| KR102464422B1 (ko) | 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 | |
| KR102036052B1 (ko) | 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치 | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
| KR20220078495A (ko) | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |