KR102558096B1 - 흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치 - Google Patents

흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치 Download PDF

Info

Publication number
KR102558096B1
KR102558096B1 KR1020210070757A KR20210070757A KR102558096B1 KR 102558096 B1 KR102558096 B1 KR 102558096B1 KR 1020210070757 A KR1020210070757 A KR 1020210070757A KR 20210070757 A KR20210070757 A KR 20210070757A KR 102558096 B1 KR102558096 B1 KR 102558096B1
Authority
KR
South Korea
Prior art keywords
severity
lesion
feature map
infectious disease
vision
Prior art date
Application number
KR1020210070757A
Other languages
English (en)
Other versions
KR20220134403A (ko
Inventor
예종철
박상준
김광현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US17/352,229 priority Critical patent/US20220036564A1/en
Priority to US17/704,879 priority patent/US20220309661A1/en
Publication of KR20220134403A publication Critical patent/KR20220134403A/ko
Application granted granted Critical
Publication of KR102558096B1 publication Critical patent/KR102558096B1/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 방법은 입력 흉부 방사선 영상을 수신하는 단계; 상기 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 단계; 상기 추출된 특징맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 단계; 및 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 단계를 포함한다.

Description

흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치 {Severity Quantication and Lesion Localization Method of Infectious Disease on CXR using Vision Transformer and Apparatus Therefor}
본 발명은 흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 기술에 관한 것으로, 보다 구체적으로는 흉부 방사선 영상 특징을 활용한 비전 변환기를 이용하여 감염병 예를 들어, COVID-19의 추정 및 중증도를 정량화할 수 있는 방법 및 그 장치에 관한 것이다.
중증급성호흡기증후군 코로나바이러스-2로 인한 신종 코로나바이러스 2019(COVID-19)는 2021년 3월 1일 현재 전 세계적으로 2,526,007명의 사망자가 발생하고 113,695,296명의 확진자가 발생한 팬데믹이다. COVID-19에 의한 전례 없는 팬데믹에 직면하여 공공 의료 시스템은 의료 자원의 심각한 부족을 포함하여 많은 측면에서 과제에 직면해 있으며, 많은 의료 사업자가 감염되었다. COVID-19의 높은 전염성과 병리학적 특성 때문에, 질병의 추가 확산을 방지하고 의료 시스템의 부담을 줄이기 위해 COVID-19의 조기 검진이 점점 더 중요해지고 있다.
현재 실시간 중합효소 연쇄반응(RT-PCR)은 높은 민감도와 특이성으로 인해 COVID-19 확인에서 최적표준이지만 결과를 얻는 데는 몇 시간이 걸린다. 확인된 COVID-19를 가진 많은 환자들이 폐렴의 방사선 소견을 제시하므로, 방사선 검사는 빠른 진단에 유용할 수 있다. 흉부 컴퓨터 단층 촬영(CT)은 COVID-19 진단에 대한 민감도와 특수성이 우수하지만, CT의 일상적인 사용은 흉부 방사선 촬영(CXR)보다 높은 비용과 상대적으로 긴 스캔 시간으로 인해 의료 시스템에 큰 부담을 준다. 따라서, CXR을 세계적인 유행병 하에서 일차 선별 도구로 사용할 수 있는 실질적인 이점이 있다. COVID-19의 일반적인 CXR 소견에는 폐 하부 및 주변부의 간유리음영(ground glass opacities) 및 패치 경결 등이 포함된다. CXR만 사용하는 COVID-19 진단의 민감도와 특수성이 CT 또는 RT-PCR보다 낮다고 보고되었지만 CXR은 여전히 환자 검사 중 COVID-19를 빠르게 검사할 수 있는 잠재력을 가지고 있어 팬데믹 상황에서 포화된 의료 시스템을 돕기 위한 환자 치료의 우선 순위를 결정한다.
따라서, CXR로 COVID-19를 진단하기 위해 딥 러닝을 사용하는 많은 접근법이 제안되었지만, 제한된 수의 라벨링된 COVID-19 데이터라는 공통 문제를 겪었고, 결과적으로 일반화 능력이 저하되었다. 완전히 다른 새로운 데이터셋에 대하여 신뢰할 수 있는 일반화 성능은 시스템의 실제 채택에 중요하다.
일반적으로, 이 문제를 해결하기 위한 가장 일반적인 접근 방식은 수백만 개의 트레이닝 데이터로 적대적으로 강력한 모델을 구축하는 것이다. 그러나 많은 국가에서 의료 시스템의 포화 때문에 라벨링된 COVID-19 사례가 많이 포함된 잘 정제된 데이터셋을 구축하는 것은 어렵다. 기존 연구들은 ImageNet과 같은 다른 대규모 데이터셋의 전이 학습을 사용하거나 약지도 학습 방법 및 이상 탐지를 활용하여 문제를 완화하려고 했지만, 그들의 성능은 종종 차선책이며 일반화 능력을 보장하지는 않는다. 또한 COVID-19는 일반적으로 낮은 영역 우성을 가진 두 폐 영역을 모두 포함하므로 모델은 질병의 전역적 징후를 기반으로 특징을 추출해야 한다.
자연어 처리(NLP) 분야에서 가장 먼저 도입된 변환기는 상당히 큰 수용 영역을 가진 자기 주의 메커니즘 기반의 딥 뉴럴 네트워크이다. 딥 뉴럴 네트워크 대한 기술은 일본등록특허 6164639호에 개시되어 있다. NLP에서 놀라운 결과를 얻은 후, 영상 내에서 장거리 종속성을 모델링할 수 있기 때문에 비전 커뮤니티가 컴퓨터 비전에서의 응용 프로그램을 연구하도록 영감을 주었다. 비전 변환기(ViT)는 우선 딥 뉴럴 네트워크에서 변환기가 어떻게 표준 컨볼루션 연산을 완전히 대체하며 최첨단 성능을 달성하는지 보여주었다. 그러나 비전 변환기를 처음부터 다시 트레이닝하려면 막대한 양의 데이터가 필요하므로 초기 특징 임베딩을 생성하는 기존의 컨볼루션 뉴럴 네트워크 예를 들어, ResNet 백본을 활용함으로써, 하이브리드 모델도 제안하였다. 이와 같이, ResNet 백본에 의해 생성된 특징 코퍼스(corpus)를 사용하여 트레이닝되는 변환기는 주로 글로벌 주의를 학습하는 데 초점을 맞출 수 있다. 경험적 결과는 하이브리드 모델이 소규모 데이터셋에서 더 나은 성능을 나타낸다는 것을 보여준다.
이 예비 결과는 유망하지만 ResNet에 의해 생성된 corpus가 CXR을 사용한 진단을 위한 최적의 입력 특징 임베딩이 아닐 수 있다는 우려는 여전히 남아 있다. 다행히 COVID-19가 발생하기 전에 구축된 CXR 분류를 위해 공개적으로 사용할 수 있는 대규모 데이터셋이 몇 개 있다. 그들 중 CheXpert 데이터셋은 전염병 진단에 유용한 저레벨의 CXR 특징 예를 들어, 음영, 경결, 부종 등을 포함하여 라벨링된 비정상 관측으로 구성된다. 또한 고급 CNN 아키텍처가 존재하는데, 이 아키텍처는 확률론적 클래스 활성화 맵(PCAM) 풀링을 사용하여 클래스 활성화 맵의 이점을 명시적으로 활용하여 이러한 저레벨의 특징에 대한 분류 및 위치지정 능력을 모두 향상시킬 수 있다.
본 발명의 실시예들은, 흉부 방사선 영상 특징을 활용한 비전 변환기를 이용하여 감염병 예를 들어, COVID-19의 추정 및 중증도를 정량화할 수 있는 방법 및 그 장치를 제공한다.
본 발명의 실시예들은, 사전 구축된 (Pre-built) 대규모 공개 데이터셋(Large public data set)에서 저레벨 특징(Low-level feature)을 분류하도록 학습한 후, 이렇게 학습된 모델에서 특징 맵을 얻어낸 후 이를 비전 변환기(Vision Transformer)를 활용하여 조합함으로써, COVID-19로 추정된 영상에서 중증도의 정도까지 정량화할 수 있는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 방법은 입력 흉부 방사선 영상을 수신하는 단계; 상기 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 단계; 상기 추출된 특징맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 단계; 및 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 단계를 포함한다.
상기 특징 맵을 추출하는 단계는 상기 수신된 입력 흉부 방사선 영상을 정규화 영상으로 변환한 후 상기 정규화 영상에 대하여 상기 뉴럴 네트워크를 이용하여 특징 맵을 추출할 수 있다.
상기 특징 맵을 추출하는 단계는 상기 입력 흉부 방사선 영상의 영상의 너비와 높이, 픽셀 값 범위를 일정한 범위로 정규화함으로써, 상기 입력 흉부 방사선 영상을 상기 정규화 영상으로 변환할 수 있다.
상기 정량화하는 단계는 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 병변을 영역화하는 단계를 포함할 수 있다.
상기 특징 맵을 추출하는 단계는 상기 입력 흉부 방사선 영상에 대하여, 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 저레벨 특징이 담긴 상기 특징 맵을 추출할 수 있다.
상기 병변을 분류하는 단계는 상기 특징 맵에 포함된 정보를 조합하여 병변을 분류하고, 상기 분류된 병변 분류 결과를 활용하여 최종적인 진단을 추정할 수 있다.
상기 정량화하는 단계는 상기 추출된 특징맵에 포함된 정보의 조합과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하고 상기 병변의 위치를 영역화할 수 있다.
상기 정량화하는 단계는 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 상기 생성된 병변 확률 맵을 이용하여 상기 입력 흉부 방사선 영상의 중증도를 정량화할 수 있다.
상기 정량화하는 단계는 상기 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 상기 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 상기 할당된 병변 확률 최대 값을 이용하여 상기 분할된 영역 각각에 대하여 상기 입력 흉부 방사선 영상의 중증도를 정량화할 수 있다.
상기 뉴럴 네트워크는 라벨링된 대규모의 제1 트레이닝 데이터셋에 의하여 미리 학습된 후, 분류하고자 하는 병변에 대하여 라벨링된 소규모의 제2 트레이닝 데이터셋을 이용한 트레이닝을 통해 상기 비전 변환기와 함께 지도 및 약지도 학습될 수 있다.
본 발명의 다른 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 방법은 입력 흉부 방사선 영상을 정규화 영상으로 변환하는 단계; 상기 변환된 정규화 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 단계; 상기 추출된 특징 맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 단계; 및 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 단계를 포함한다.
본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 장치는 입력 흉부 방사선 영상을 수신하는 수신부; 상기 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 추출부; 상기 추출된 특징맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 분류부; 및 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 정량화부를 포함한다.
상기 추출부는 상기 수신된 입력 흉부 방사선 영상을 정규화 영상으로 변환한 후 상기 정규화 영상에 대하여 상기 뉴럴 네트워크를 이용하여 특징 맵을 추출할 수 있다.
상기 추출부는 상기 입력 흉부 방사선 영상의 영상의 너비와 높이, 픽셀 값 범위를 일정한 범위로 정규화함으로써, 상기 입력 흉부 방사선 영상을 상기 정규화 영상으로 변환할 수 있다.
상기 정량화부는 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 병변을 영역화할 수 있다.
상기 추출부는 상기 입력 흉부 방사선 영상에 대하여, 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 저레벨 특징이 담긴 상기 특징 맵을 추출할 수 있다.
상기 분류부는 상기 특징 맵에 포함된 정보를 조합하여 병변을 분류하고, 상기 분류된 병변 분류 결과를 활용하여 최종적인 진단을 추정할 수 있다.
상기 정량화부는 상기 추출된 특징맵에 포함된 정보의 조합과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하고 상기 병변의 위치를 영역화할 수 있다.
상기 정량화부는 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 상기 생성된 병변 확률 맵을 이용하여 상기 입력 흉부 방사선 영상의 중증도를 정량화할 수 있다.
상기 정량화부는 상기 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 상기 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 상기 할당된 병변 확률 최대 값을 이용하여 상기 분할된 영역 각각에 대하여 상기 입력 흉부 방사선 영상의 중증도를 정량화할 수 있다.
상기 뉴럴 네트워크는 라벨링된 대규모의 제1 트레이닝 데이터셋에 의하여 미리 학습된 후, 분류하고자 하는 병변에 대하여 라벨링된 소규모의 제2 트레이닝 데이터셋을 이용한 트레이닝을 통해 상기 비전 변환기와 함께 지도 및 약지도 학습될 수 있다.
본 발명의 실시예들에 따르면, 흉부 방사선 영상 특징을 활용한 비전 변환기를 이용하여 감염병 예를 들어, COVID-19의 추정 및 중증도를 정량화할 수 있는데, 사전 구축된(Pre-built) 대규모 공개 데이터셋(Large public data set)에서 저레벨 특징(Low-level feature)을 분류하도록 학습한 후, 이렇게 학습된 모델에서 특징 맵을 얻어낸 후 이를 비전 변환기(Vision Transformer)를 활용하여 조합함으로써, COVID-19로 진단된 영상에서 중증도의 정도까지 정량화할 수 있다.
본 발명의 실시예들에 따르면, 추정 뿐만 아니라 중증도 정량화를 가능하게 함으로써, 감염병 선별 진료 과정에서 활용하면 감염병의 전파를 최소화하여 의료 자원의 효율적인 분배를 기대할 수 있으며, 치료 효과 확인 및 추적 관찰 과정에 적용하여 효과적으로 임상 의사를 보조 할 수 있다. 예를 들어, 본 발명은 단순 방사선 촬영 영상을 활용하여 코로나-19 등의 감염병으로 진단된 환자의 중증를 정량화 함으로써, 이미 기 진단된 환자의 추적 관찰(Follow-up) 및 치료 방침 결정(Treatment plan) 과정에서도 유용하게 활용될 수 있다.
본 발명의 실시예들에 따르면, 저레벨 특징은 대규모 데이터셋으로부터 학습된 모델을 활용하여 추출하므로 일반화 성능 저하 현상이 거의 나타나지 않고, 소규모 라벨 데이터로 학습된 비전 변환기는 저레벨 특징들을 조합하여 최종 결과를 내는 것 뿐이므로 마찬가지로 일반화 성능 저하의 영향을 적게 받는다.
흉부 단순 방사선 영상(Chest X-ray; CXR) 촬영은 타 감염병 진단 기술 대비 촬영 방식이 단순하고 빠르기 때문에 의료 시장 뿐만 아니라 전문 의료 인력이 부족한 민간시설에서도 응용될 수 있다. 공항이나 군사시설, 개발도상국 등 인구가 밀집한 반면 전문 의료자원이 부족한 환경에서, 본 발명을 감염병 선별 진료로서 활용한다면, 감염병의 무분별한 전파를 사전에 효과적으로 차단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명의 방법에 대한 프레임워크를 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 특징 임베딩 네트워크의 구조와 비전 변환기의 구조에 대한 일 예시도를 나타낸 것이다.
도 4는 셀프 트레이닝 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 방법과 모델과 DenseNet-121 기반 모델 간의 BIMCV 외부 테스트셋에 대한 영역화 성능을 비교한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
CXR에 대하여 COVID-19의 중증도를 정량화(Quantification) 및 병변을 영역화(Localization) 하는 것은 진단된 환자의 추적 관찰(Follow-up) 및 치료 방침 결정(Treatment plan) 과정에서도 유용하게 활용될 수 있다. 딥러닝 기반으로 중증도를 정량화 및 영역화를 하기 위해서는 보통 픽셀 단위의 라벨링(Pixel-level labelling)이 유용하지만, 이러한 라벨이 포함된 데이터셋을 구축하는 것에는 많은 양의 시간과 노동력이 소모된다. 따라서, 흉부를 6개의 영역으로 나눈 뒤, COVID-19 관련 병변의 유무에 따라 6개의 영역에 1 또는 0을 할당하는 배열 방식의 라벨링 기법이 도입되었다. 이러한 방식의 라벨링을 이용해 구축한 데이터셋을 기반으로 COVID-19의 중증도를 정량화하고 병변을 영역화하는 딥러닝 기반의 접근법이 제안되었다.
흉부 단순 방사선 영상(Chest X-ray)을 활용한 감염병 진단 인공신경망 기술을 개발하기 위해서는 대규모의 학습 데이터가 필수적이며, 일관된 전처리(Pre-processing) 과정을 거친 단일 기관 데이터를 활용하여 학습할 수록 정확도, 민감도 등의 성능을 높일 수 있다. 그러나, 전세계적으로 감염병이 유행하는 상황에서는 이와 같이 일관되게 정제된 다기관 데이터 세트를 구축하는 것에 한계가 있다. 따라서, 현실적으로는 미리 구축된 데이터 세트를 활용하거나, 다양한 출처에서 획득한 데이터 세트를 활용하여 학습하는 과정이 필수적이나, 이와 같은 방법으로 인공신경망을 학습시킬 경우 새로운 데이터셋(Unseen dataset)에서 급격하게 성능이 떨어지고, 학습 시 사용했던 데이터셋에서만 성능이 잘 나오는 일반화(Generalization) 성능 저하 및 과적합(Overfitting) 문제가 발생할 수 있다.
본 발명의 실시예들은, 사전 구축된(Pre-built) 대규모 공개 데이터셋(Large public data set)에서 저레벨 특징(Low-level feature)을 분류하도록 학습한 후, 이렇게 학습된 모델에서 특징 맵을 얻어낸 후 이를 비전 변환기(Vision Transformer)를 활용하여 조합함으로써, 감염병 예를 들어, COVID-19로 추정(또는 진단)된 영상에서 중증도의 정도까지 정량화하는 것을 그 요지로 한다.
이러한 본 발명은 저레벨 특징을 대규모 데이터셋으로부터 학습된 모델을 활용하여 추출하므로 일반화 성능 저하 현상이 거의 나타나지 않고, 소규모 라벨 데이터로 학습된 비전 변환기에서 저레벨 특징들을 조합하여 최종 결과를 내기 때문에 마찬가지로 일반화 성능 저하의 영향을 적게 받는다. 즉, 본 발명은 소규모 학습 데이터에서 일반화 성능 저하라는 문제점을 해결하고, 적은 노동력으로 단시간에 수집이 가능한 중증도 배열(Severity array)의 라벨로부터 약지도 학습(Weakly-supervised learning)된 모델을 활용하여 중증도 맵을 예측함으로써, 단순한 중증도 배열의 라벨로부터 약지도 학습 방식을 통해 중증도 맵의 예측 정확성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 방법은 입력 흉부 방사선 영상을 수신하는 과정(S110), 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 과정(S120), 추출된 특징맵을 기반으로 비전 변환기를 이용하여 입력 흉부 방사선 영상에서 병변을 분류하는 과정(S130) 및 추출된 특징맵과 분류된 병변에 기초하여 병변 예를 들어, COVID-19의 중증도를 정량화하는 과정(S140)을 포함한다.
단계 S110은 감염병으로 진단된 영상 예를 들어, COVID-19로 진단된 CXR 영상을 수신하거나 감염병 여부를 판단하고자 하는 CXR 영상을 수신할 수도 있다.
단계 S120은 단계 S110에서 수신된 입력 흉부 방사선 영상을 정규화 영상으로 변환한 후 정규화 영상에 대하여 뉴럴 네트워크 예를 들어, 백본 네트워크 또는 특징 임베딩 네트워크를 이용하여 특징 맵을 추출할 수 있다.
여기서, 단계 S120은 입력 흉부 방사선 영상의 영상의 너비와 높이, 픽셀 값 범위를 일정한 범위로 정규화함으로써, 입력 흉부 방사선 영상을 정규화 영상으로 변환할 수 있다. 물론, 본 발명의 방법은 정규화 영상으로 변환하는 과정을 필요에 따라 생략할 수도 있으며, 이러한 부분은 본 발명의 기술을 제공하는 사업자 또는 개인에 의해 결정될 수 있다.
단계 S120에서의 뉴럴 네트워크는 라벨링된 대규모의 제1 트레이닝 데이터셋에 의하여 미리 학습된 후, 분류하고자 하는 병변 예를 들어, COVID-19에 대하여 라벨링된 소규모의 제2 트레이닝 데이터셋을 이용한 트레이닝을 통해 비전 변환기와 함께 지도 및 약지도 학습됨으로써, 입력 흉부 방사선 영상에 대하여 분류하고자 하는 병변에 대한 특징 맵을 추출할 수 있다.
여기서, 단계 S120은 상기 입력 흉부 방사선 영상에 대하여, 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 저레벨 특징이 담긴 상기 특징 맵을 추출할 수 있다.
단계 S130은 특징 맵에 포함된 정보를 조합하여 병변을 분류하고, 분류된 병변 분류 결과를 활용하여 최종적인 진단을 추정하거나 병변 분류 결과 중 가장 많이 분류된 병변을 최종 병변으로 분류할 수 있다. 즉, 비전 변환기는 입력된 특징 맵을 이용하여 맵 헤드로 제공하기 위한 최종 특징을 생성할 수 있다.
단계 S140은 추출된 특징맵과 비전 변환기에 의해 분류된 병변에 기초하여 병변을 정량화하여 병변을 영역화할 수 있다.
여기서, 단계 S140은 상기 추출된 특징맵에 포함된 정보의 조합과 분류된 병변에 기초하여 입력 흉부 방사선 영상의 중증도를 정량화하고 병변의 위치를 영역화할 수 있다.
예를 들어, 단계 S140은 추출된 특징맵과 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 생성된 병변 확률 맵을 이용하여 입력 흉부 방사선 영상 또는 병변의 중증도를 정량화할 수 있는데, 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 할당된 병변 확률 최대 값을 이용하여 분할된 영역 각각에 대하여 입력 흉부 방사선 영상의 중증도를 정량화할 수 있다.
이러한 본 발명의 방법에 대하여 도 2 내지 도 5를 참조하여 설명하면 다음과 같다.
본 발명의 모델은 주석이 달린 중증도 점수 배열로 전면 CXR 영상으로 트레이닝된다. 특히, 좌/우 각각의 폐는 먼저 수직 방향으로 세 개의 영역으로 나뉜다. 하단 면적은 늑간 홈에서 하단 hilar 마크까지 확장되고, 가운데 부분은 하단 hilar 마크에서 상단 hilar 마크까지, 위쪽 부분은 상단 hilar 마크에서 상단 hilar 마크까지 이어진다. 그런 다음, 각 영역은 spines를 가로지르는 수평 방향을 따라 두 영역으로 나뉜다. 2진 점수 0/1은 음영의 유무에 따라 각 영역에 할당된다. 따라서 완료된 라벨은 3Х2 배열 형식 및 모든 요소 범위 0-6의 합계인 글로벌 중증도 점수를 가질 수 있다.
본 발명의 모델의 전체적인 아키텍처는 도 2a에 도시된 바와 같이, 첫째, 입력 CXR 영상이 사전 처리되어 폐 분할 네트워크(STGV2)에 부여된다. 분할된 폐 영상은 특징 임베딩 네트워크에 공급되고 비전 변환기에 이어진다. 비전 변환기에서 생성된 최종 특징은 완전한 COVID-19 확률 맵을 생성하는 맵 헤드에 제공된다. ROI max pooling에 의해 3Х2 COVID-19 중증도 배열은 최종 출력으로 추정된다.
본 발명의 모델의 장점은 변환기가 공개적으로 사용 가능한 크고 잘 다듬어진 CXR 데이터셋에서 비정상적인 CXR 특징을 추출하도록 트레이닝된 특징 임베딩 네트워크에서 얻은 저레벨의 CXR 특징 코퍼스(corpus)를 이용할 수 있다는 것이다.
저레벨의 특징 corpus를 위한 사전 트레이닝 특징 임베딩 네트워크: 영상에서 저레벨의 CXR 특징 corpus를 추출하기 위한 특징 임베딩 네트워크(또는 백본 네트워크)로서, 도 3a에 도시된 바와 같이 이 모델은 DenseNet-121 기반 특징 추출기의 출력에 확률론적 클래스 활성화 맵(PCAM) 풀링을 활용하여 분류 및 위치지정 능력을 모두 향상시키기 위해 클래스 활성화 맵의 이점을 명시적으로 활용한다. 특징 임베딩 네트워크는 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 10가지 방사선 소견을 분류하는 광범위한 공개 CXR 영상 데이터셋에서 사전 트레이닝될 수 있다. 구체적으로, 본 발명은 DenseNet-121의 전환 계층 3 이전에 16Х16Х1024 특징을 사용할 수 있다.
특징 임베딩 네트워크(backbone network)는 도 3a에 도시된 바와 같이, 특징 임베딩을 추출할 수 있는 여러 계층이 있으며, PCAM 작업 이전의 중간 레벨 임베딩에 가장 유용한 정보가 포함되어 있다. 그러나 최적의 PCAM 맵을 제공하도록 정렬된 특징을 안내하여 중간 레벨 특징 임베딩의 정확도를 향상시키기 위해 특정 저레벨 CXR 특징 예를 들어, 심장 비대, 폐 음영, 부종, 경결 등으로 트레이닝된 PCAM 장치가 필수적이었기 때문에 주의해야 한다. 특히 사전 트레이닝된 특징 임베딩 네트워크 F를 사용하여 입력 영상 예를 들어, 분할된 폐 x∈RH×W×C가 중간 특징 맵 c∈RH'×W'×C'으로 인코딩(또는 투영)될 수 있다. 각 H'ХW' 픽셀의 C' 차원 특징 벡터 c는 각 픽셀 위치에 투영된 형상 벡터로, 각 픽셀 위치의 저레벨 특징에 대한 인코딩된 표현으로 사용하고 저레벨 CXR 특징 코퍼스를 구성할 수 있으며, 아래 <수학식 1> 및 <수학식 2>와 같이 나타낼 수 있다.
[수학식 1]
[수학식 2]
비전 변환기: 비전 변환기 모델은 BERT(Devlin, J., Chang, M.W., Lee, K., Toutanova, K.: Bert: Pre-training of deep bidirec-tional transformers for language understanding. arXiv preprint arXiv:1810.04805(2018))와 유사하게 도 3b에 도시된 바와 같이 인코더 전용 아키텍처로, ViT-B/16 아키텍처를 채택하며, 입력은 16×16 패치일 수 있다. 변환기 인코더는 차원 D의 상수 잠재 벡터를 사용하기 때문에, 1Х1 컨볼루션 커널을 사용하여 차원 C'의 인코딩된 특징 c를 차원 D의 cp에 투영한다. BERT의 [class] 토큰과 유사하게, 본 발명은 이 [class] 토큰 z0 L의 마지막 L 계층 출력이 z0 L에 분류 헤드를 연결하여 전체 CXR 영상(=y)의 진단을 나타내도록 투영된 특징 cp에 학습 가능한 추가 임베딩 벡터 ccls를 권장할 수 있다. 즉, BERT의 [class] 토큰 역할인 학습 가능한 벡터 ccls는 ViT 트레이닝에 포함되어 있다. 그러나 토큰 위치의 출력을 제외하고 ViT-B/16의 최종 계층 출력을 사용한다. 또한, 본 발명은 순차적 순서의 개념을 투영된 특징 cp에 인코딩하기 위해 위치 임베딩 Epos를 추가함으로써, 특징 맵의 위치 정보를 잃지 않는다. 모델에 사용된 변환기 인코더 계층은 각 블록의 다중 헤드 자기 주의(MSA), 다중 계층 퍼셉트론(MLP), 계층 정규화(LN) 및 잔여 연결로 구성된 표준 변환기 인코더와 동일하며, 이 절차는 아래 <수학식 3>과 같이 나타낼 수있다.
[수학식 3]
여기서, L은 ViT의 계층수를 의미할 수 있다. 예를 드어, ViT-B/16의 경우 L은 12일 수 있다.
확률 맵 생성 및 ROI Max Pooling: ViT의 출력을 사용하는 맵 헤드는 4개의 업사이징(upsizing) 컨볼루션 블록으로 구성되며, 입력 크기와 동일한 크기의 맵을 생성한다. 맵 헤드의 상세 구조는 도 2b에 도시된 바와 같으며, 맵 헤드의 출력에 폐 마스크 m∈RH×W를 곱하면 COVID-19 병변 확률 맵 y∈RH×W이 생성된다. ROI max-pooling(RMP)은 도 2a에 도시된 바와 같이, COVID-19 병변 맵을 중증도 배열 a∈R3×2로 변환하는 데 사용될 수 있으며, 병변 확률 맵과 중증도 배열은 아래 <수학식 4>와 같이 나타낼 수 있다.
[수학식 4]
특히 폐 마스크의 연결된 구성 요소를 계산하여 폐가 오른쪽과 왼쪽 폐로 분리된다. 다음으로, 좌/우 각각의 폐는 폐 마스크의 가장 높은 위치와 가장 낮은 위치의 5/12 및 2/3 지점의 분할선에 의해 세 영역으로 분할된다. 그런 다음, 6개의 각 영역의 최대값이 3Х2 배열의 각 해당 요소에 할당된다. 모델을 최적화하기 위해 예측된 중증도 배열과 레이블 중증도 배열 간에 이진 교차 엔트로피 손실이 계산된다. 이러한 라인 추정 및 max pooling 프로세스는 약지도 학습 계획의 핵심일 수 있다.
라벨링되지 않은 데이터셋에 대한 셀프 트레이닝(self-training)
팬데믹 상황에서는 라벨링 방법이 매우 간단하더라도 충분한 중증도 라벨을 수집하기가 종종 어렵다. 본 발명은 모델의 성능을 향상시킬 수 있도록 중증도 라벨이 없는 더 큰 데이터셋과 중증도 라벨링된 더 작은 데이터셋을 활용하는 셀프 트레이닝을 사용할 수 있다. 셀프 트레이닝 방법의 상세한 과정은 도 4와 같다.
도 4를 참조하여 셀프 트레이닝 방법에 대해 설명하면, 첫 번째 단계에서 교사 네트워크는 라벨링된 데이터셋으로 트레이닝된다. 두 번째 단계에서 새로운 교사의 복사본으로 생성된 학생 네트워크는 이전 데이터셋에 라벨의 없는 새로운 데이터셋의 일부가 더해진 데이터셋에 대해 트레이닝된다. 학생 모델은 라벨링된 입력에 대해서는 참 라벨에 의해 라벨링되지 않은 입력에 대해 교사 네트워크에서 생성된 의사(pseudo) 라벨로 최적화된다. 그 다음, 학생은 새로운 교사가 되고, 두 번째 단계로 돌아감으로써, 그 과정이 반복되며, 지속적으로 학생 모델을 갱신한다.
아래 <표 1>은 CNUH(Chungnam National Univerity Hospital) 외부 테스트셋에 대한 중증도 정량화 성능의 정량적 비교를 나타낸 것으로, 표 1을 통해 알 수 있듯이, 본 발명의 모델은 대부분의 메트릭에서 CNN 기반 모델보다 우수한 성능과 일반화 가능성을 보여주는 것을 알 수 있다. 여기서, MSE는 평균 제곱 오차로, 전역 중증도 점수 범위 0~6의 회귀에 대한 주 메트릭으로 사용될 수 있고, MAE는 평균 절대 오차를 의미하며, CC는 상관 계수를 의미하고, R2는 전역 점수 회귀에 대한 점수를 의미하며, AUC는 ROC 커브의 아래 면적 평균을 의미할 수 있다.
도 5는 본 발명의 방법과 모델과 DenseNet-121 기반 모델 간의 BIMCV 외부 테스트셋에 대한 영역화 성능을 비교한 일 예시도를 나타낸 것으로, 도 5를 통해 알 수 있듯이, 본 발명의 모델(a)의 CXR 영상에서 비정상 영역에 대한 예측이 DenseNet-121 기반 모델(b)보다 더 정확한 위치 파악을 보여주는 것을 알 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 흉부 방사선 영상 특징을 활용한 비전 변환기를 이용하여 감염병 예를 들어, COVID-19의 추정 및 중증도를 정량화할 수 있는데, 사전 구축된(Pre-built) 대규모 공개 데이터셋(Large public data set)에서 저레벨 특징(Low-level feature)을 분류하도록 학습한 후, 이렇게 학습된 모델에서 특징 맵을 얻어낸 후 이를 비전 변환기(Vision Transformer)를 활용하여 조합함으로써, COVID-19로 진단된 영상에서 중증도의 정도까지 정량화할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 추정 뿐만 아니라 중증도 정량화를 가능하게 함으로써, 감염병 선별 진료 과정에서 활용하면 감염병의 전파를 최소화하여 의료 자원의 효율적인 분배를 기대할 수 있으며, 치료 효과 확인 및 추적 관찰 과정에 적용하여 효과적으로 임상 의사를 보조 할 수 있다. 예를 들어, 본 발명은 단순 방사선 촬영 영상을 활용하여 코로나-19 등의 감염병으로 진단된 환자의 중증를 정량화 함으로써, 이미기 진단된 환자의 추적 관찰(Follow-up) 및 치료 방침 결정(Treatment plan) 과정에서도 유용하게 활용될 수 있다.
또한, 본 발명의 실시예에 따른 방법에서 저레벨 특징은 대규모 데이터셋으로부터 학습된 모델을 활용하여 추출하므로 일반화 성능 저하 현상이 거의 나타나지 않고, 소규모 라벨 데이터로 학습된 비전 변환기는 저레벨 특징들을 조합하여 최종 결과를 내는 것 뿐이므로 마찬가지로 일반화 성능 저하의 영향을 적게 받는다.
또한, 본 발명의 실시예에 따른 방법은 감염병 진단 및 정량화에 국한된 것이 아니라 저레벨 특징을 조합하여 고레벨 결과 값을 도출하는 모든 방식의 알고리즘에서 활용할 수 있으며, 중증도 라벨이 되어있지 않은 데이터셋과 셀프 트레이닝을 이용하여 소규모의 중증도 라벨된 데이터셋으로부터 임상 전문가 수준의 성능을 보여주는 중증도 정량화 모델을 개발할 수 있다.
이러한 본 발명의 방법에서 중증도 정량화와 병변 영역화를 위한 새로운 ViT 체계의 중요한 장점 중 하나는 변환기의 글로벌 주의 맵이 전체 병변 맵으로 이어질 수 있다는 점이다. 여기서, 각 픽셀 값은 COVID-19의 이상 확률을 직접 의미하고, 셀프 트레이닝은 중증도 라벨링된 작은 데이터셋 외에도 라벨링되지 않은 큰 데이터셋을 활용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 5의 방법을 수행하는 장치에 대한 개념적인 구성을 나타낸 것이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 비전 변환기 기반의 감염병 중증도 정량화 장치(600)는 수신부(610), 추출부(620), 분류부(630) 및 정량화부(640)를 포함한다.
수신부(610)는 입력 흉부 방사선 영상을 수신한다.
이 때, 수신부(610)는 감염병으로 진단된 영상 예를 들어, COVID-19로 진단된 CXR 영상을 수신하거나 감염병 여부를 판단하고자 하는 CXR 영상을 수신할 수도 있다.
추출부(620)는 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출한다.
이 때, 추출부(620)는 수신된 입력 흉부 방사선 영상을 정규화 영상으로 변환한 후 정규화 영상에 대하여 뉴럴 네트워크 예를 들어, 백본 네트워크 또는 특징 임베딩 네트워크를 이용하여 특징 맵을 추출할 수 있다.
추출부(620)는 입력 흉부 방사선 영상의 영상의 너비와 높이, 픽셀 값 범위를 일정한 범위로 정규화함으로써, 입력 흉부 방사선 영상을 정규화 영상으로 변환할 수 있다.
추출부(620)에서의 뉴럴 네트워크는 라벨링된 대규모의 제1 트레이닝 데이터셋에 의하여 미리 학습된 후, 분류하고자 하는 병변 예를 들어, COVID-19에 대하여 라벨링된 소규모의 제2 트레이닝 데이터셋을 이용한 트레이닝을 통해 비전 변환기와 함께 약지도 학습됨으로써, 입력 흉부 방사선 영상에 대하여 분류하고자 하는 병변에 대한 특징 맵을 추출할 수 있다.
여기서, 추출부(620)는 입력 흉부 방사선 영상에 대하여, 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 저레벨 특징이 담긴 상기 특징 맵을 추출할 수 있다.
분류부(630)는 추출된 특징맵을 기반으로 비전 변환기를 이용하여 입력 흉부 방사선 영상에서 병변을 분류한다.
이 때, 분류부(630)는 특징 맵에 포함된 정보를 조합하여 병변을 분류하고, 분류된 병변 분류 결과를 활용하여 최종적인 진단을 추정하거나 병변 분류 결과 중 가장 많이 분류된 병변을 최종 병변으로 분류할 수 있다. 즉, 비전 변환기는 입력된 특징 맵을 이용하여 맵 헤드로 제공하기 위한 최종 특징을 생성할 수 있다.
정량화부(640)는 추출된 특징맵과 분류된 병변에 기초하여 병변 예를 들어, COVID-19의 중증도를 정량화한다.
나아가, 정량화부(640)는 추출된 특징맵과 비전 변환기에 의해 분류된 병변에 기초하여 병변을 정량화하고, 병변을 영역화할 수 있다.
여기서, 정량화부(640)는 상기 추출된 특징맵에 포함된 정보의 조합과 분류된 병변에 기초하여 입력 흉부 방사선 영상의 중증도를 정량화하고 병변의 위치를 영역화할 수 있다.
예를 들어, 정량화부(640)는 추출된 특징맵과 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 생성된 병변 확률 맵을 이용하여 입력 흉부 방사선 영상의 중증도를 정량화할 수 있는데, 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 할당된 병변 확률 최대 값을 이용하여 분할된 영역 각각에 대하여 병변의 중증도를 정량화할 수 있다.
비록, 도 6의 장치에서 그 설명이 생략되었더라도, 도 6을 구성하는 각 구성 수단은 도 1 내지 도 5에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 수신부에서, 입력 흉부 방사선 영상을 수신하는 단계;
    상기 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 추출부에서, 상기 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 단계;
    상기 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 분류부에서, 상기 추출된 특징맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 단계; 및
    상기 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 정량화부에서, 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 단계
    를 포함하고,
    상기 정량화하는 단계는
    상기 추출된 특징맵과 상기 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 상기 생성된 병변 확률 맵을 이용하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하며,
    상기 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 상기 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 상기 할당된 병변 확률 최대 값을 이용하여 상기 분할된 영역 각각에 대하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  2. 제1항에 있어서,
    상기 특징 맵을 추출하는 단계는
    상기 수신된 입력 흉부 방사선 영상을 정규화 영상으로 변환한 후 상기 정규화 영상에 대하여 상기 뉴럴 네트워크를 이용하여 특징 맵을 추출하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  3. 제2항에 있어서,
    상기 특징 맵을 추출하는 단계는
    상기 입력 흉부 방사선 영상의 너비와 높이, 픽셀 값 범위를 일정한 범위로 정규화함으로써, 상기 입력 흉부 방사선 영상을 상기 정규화 영상으로 변환하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  4. 제1항에 있어서,
    상기 정량화하는 단계는
    상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 병변을 영역화하는 단계
    를 포함하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  5. 제1항에 있어서,
    상기 특징 맵을 추출하는 단계는
    상기 입력 흉부 방사선 영상에 대하여, 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 저레벨 특징이 담긴 상기 특징 맵을 추출하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  6. 제1항에 있어서,
    상기 병변을 분류하는 단계는
    상기 특징 맵에 포함된 정보를 조합하여 병변을 분류하고, 상기 분류된 병변 분류 결과를 활용하여 최종적인 진단을 추정하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  7. 제4항에 있어서,
    상기 정량화하는 단계는
    상기 추출된 특징맵에 포함된 정보의 조합과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하고 상기 병변의 위치를 영역화하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 뉴럴 네트워크는
    라벨링된 대규모의 제1 트레이닝 데이터셋에 의하여 미리 학습된 후, 분류하고자 하는 병변에 대하여 라벨링된 소규모의 제2 트레이닝 데이터셋을 이용한 트레이닝을 통해 상기 비전 변환기와 함께 지도 및 약지도 학습되는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  11. 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 추출부에서, 입력 흉부 방사선 영상을 정규화 영상으로 변환하는 단계;
    상기 추출부에서, 상기 변환된 정규화 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 단계;
    상기 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 분류부에서, 상기 추출된 특징 맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 단계; 및
    상기 비전 변환기 기반의 감염병 중증도 정량화 장치에 포함되는 정량화부에서, 상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 단계
    를 포함하고,
    상기 정량화하는 단계는
    상기 추출된 특징맵과 상기 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 상기 생성된 병변 확률 맵을 이용하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하며,
    상기 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 상기 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 상기 할당된 병변 확률 최대 값을 이용하여 상기 분할된 영역 각각에 대하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 방법.
  12. 입력 흉부 방사선 영상을 수신하는 수신부;
    상기 수신된 입력 흉부 방사선 영상에 대하여, 미리 학습된 뉴럴 네트워크를 이용하여 특징 맵(Feature map)을 추출하는 추출부;
    상기 추출된 특징맵을 기반으로 비전 변환기를 이용하여 상기 입력 흉부 방사선 영상에서 병변을 분류하는 분류부; 및
    상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 정량화부
    를 포함하고,
    상기 정량화부는
    상기 추출된 특징맵과 상기 분류된 병변에 기초하여 병변 확률 맵을 생성하고, 상기 생성된 병변 확률 맵을 이용하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하며,
    상기 입력 흉부 방사선 영상의 좌/우 각각의 폐 영역을 세 개의 영역으로 분할하고, 상기 분할된 영역 각각에 대하여 병변 확률 최대 값을 할당하며, 상기 할당된 병변 확률 최대 값을 이용하여 상기 분할된 영역 각각에 대하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  13. 제12항에 있어서,
    상기 추출부는
    상기 수신된 입력 흉부 방사선 영상을 정규화 영상으로 변환한 후 상기 정규화 영상에 대하여 상기 뉴럴 네트워크를 이용하여 특징 맵을 추출하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  14. 제13항에 있어서,
    상기 추출부는
    상기 입력 흉부 방사선 영상의 너비와 높이, 픽셀 값 범위를 일정한 범위로 정규화함으로써, 상기 입력 흉부 방사선 영상을 상기 정규화 영상으로 변환하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  15. 제12항에 있어서,
    상기 정량화부는
    상기 추출된 특징맵과 상기 분류된 병변에 기초하여 상기 병변을 영역화하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  16. 제12항에 있어서,
    상기 추출부는
    상기 입력 흉부 방사선 영상에 대하여, 폐렴, 경결(consolidation), 폐 음영, 흉막유출, 심장 비대, 부종, 무기폐, 기흉, 보조 장치 및 소견 없음의 저레벨 특징이 담긴 상기 특징 맵을 추출하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  17. 제12항에 있어서,
    상기 분류부는
    상기 특징 맵에 포함된 정보를 조합하여 병변을 분류하고, 상기 분류된 병변 분류 결과를 활용하여 최종적인 진단을 추정하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  18. 제15항에 있어서,
    상기 정량화부는
    상기 추출된 특징맵에 포함된 정보의 조합과 상기 분류된 병변에 기초하여 상기 입력 흉부 방사선 영상의 중증도를 정량화하고 상기 병변의 위치를 영역화하는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
  19. 삭제
  20. 삭제
  21. 제12항에 있어서,
    상기 뉴럴 네트워크는
    라벨링된 대규모의 제1 트레이닝 데이터셋에 의하여 미리 학습된 후, 분류하고자 하는 병변에 대하여 라벨링된 소규모의 제2 트레이닝 데이터셋을 이용한 트레이닝을 통해 상기 비전 변환기와 함께 지도 및 약지도 학습되는 것을 특징으로 하는 비전 변환기 기반의 감염병 중증도 정량화 장치.
KR1020210070757A 2020-08-03 2021-06-01 흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치 KR102558096B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/352,229 US20220036564A1 (en) 2020-08-03 2021-06-18 Method of classifying lesion of chest x-ray radiograph based on data normalization and local patch and apparatus thereof
US17/704,879 US20220309661A1 (en) 2021-03-26 2022-03-25 Severity quantification and lesion localization method of infectious disease on cxr using vision transformer and apparatus therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210039509 2021-03-26
KR1020210039509 2021-03-26

Publications (2)

Publication Number Publication Date
KR20220134403A KR20220134403A (ko) 2022-10-05
KR102558096B1 true KR102558096B1 (ko) 2023-07-24

Family

ID=83596861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210070757A KR102558096B1 (ko) 2020-08-03 2021-06-01 흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102558096B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775226B (zh) * 2022-10-08 2023-09-26 广州锟元方青医疗科技有限公司 基于Transformer的医学图像分类方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154943A (ja) * 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102178803B1 (ko) * 2018-01-26 2020-11-16 울산대학교 산학협력단 흉부 의료 영상 판독 지원 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154943A (ja) * 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム

Also Published As

Publication number Publication date
KR20220134403A (ko) 2022-10-05

Similar Documents

Publication Publication Date Title
Park et al. Multi-task vision transformer using low-level chest X-ray feature corpus for COVID-19 diagnosis and severity quantification
Mondal et al. xViTCOS: explainable vision transformer based COVID-19 screening using radiography
US20220036564A1 (en) Method of classifying lesion of chest x-ray radiograph based on data normalization and local patch and apparatus thereof
US20220309661A1 (en) Severity quantification and lesion localization method of infectious disease on cxr using vision transformer and apparatus therefor
Park et al. Vision transformer for covid-19 cxr diagnosis using chest x-ray feature corpus
Kalane et al. Automatic detection of COVID-19 disease using U-Net architecture based fully convolutional network
Tian et al. Deep multi‐instance transfer learning for pneumothorax classification in chest X‐ray images
Li et al. Explainable multi-instance and multi-task learning for COVID-19 diagnosis and lesion segmentation in CT images
Liao et al. Semi-supervised learning for quantification of pulmonary edema in chest x-ray images
Zarshenas et al. Separation of bones from soft tissue in chest radiographs: Anatomy‐specific orientation‐frequency‐specific deep neural network convolution
Aledhari et al. Optimized CNN-based diagnosis system to detect the pneumonia from chest radiographs
Patro et al. SCovNet: A skip connection-based feature union deep learning technique with statistical approach analysis for the detection of COVID-19
Li et al. PNet: An efficient network for pneumonia detection
KR102558096B1 (ko) 흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치
Fallahpoor et al. Generalizability assessment of COVID-19 3D CT data for deep learning-based disease detection
El Gannour et al. COVID-19 Detection on x-ray images using a combining mechanism of pre-trained CNNs
Majdi et al. Deep learning classification of chest X-ray images
Zhang et al. CdcSegNet: automatic COVID-19 infection segmentation from CT images
Khademi et al. Spatio-temporal hybrid fusion of cae and swin transformers for lung cancer malignancy prediction
Blais et al. Deep learning and binary relevance classification of multiple diseases using chest X-ray images
Zhang et al. Automated screening of COVID-19-based tongue image on Chinese medicine
Haris et al. An automated framework for Corona virus severity detection using combination of AlexNet and faster RCNN
Gu et al. Chest l-transformer: local features with position attention for weakly supervised chest radiograph segmentation and classification
Ayyar et al. A hierarchical classification system for the detection of Covid-19 from chest X-ray images
Kim et al. Severity quantification and lesion localization of covid-19 on CXR using vision transformer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant