KR102226743B1

KR102226743B1 - 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 장치 및 이를 위한 방법

Info

Publication number: KR102226743B1
Application number: KR1020200118614A
Authority: KR
Inventors: 최우식; 김태규; 최종문; 김화평; 유진영
Original assignee: 주식회사 딥노이드; 충북대학교병원
Priority date: 2020-09-15
Filing date: 2020-09-15
Publication date: 2021-03-12

Abstract

기흉을 정량적으로 측정하기 위한 장치가 제공된다. 상기 장치는 흉부를 촬영한 3차원의 컴퓨터단층촬영(CT: computed tomography) 영상으로부터 2차원의 모조방사선(simulated X ray) 영상을 생성하는 모조영상생성부와, 상기 컴퓨터단층촬영 영상에서 기흉의 용적을 산출하는 용적실측부와, 상기 모조방사선 영상에 상기 산출된 기흉의 용적을 레이블로 부여하여 학습 데이터를 생성하는 학습데이터생성부와, 상기 학습데이터를 통해 흉부를 촬영한 방사선 영상에서 기흉의 용적을 산출하는 학습 모델을 생성하는 학습모델생성부를 포함한다.

Description

학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 장치 및 이를 위한 방법{Apparatus for quantitatively measuring pneumothorax in chest radiographic images based on a learning model and method therefor}

본 발명은 기흉을 정량적으로 측정하기 위한 기술에 관한 것으로, 보다 상세하게는, 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 장치 및 이를 위한 방법에 관한 것이다.

기흉(pneumothorax)은 흉강 내에 비정상적 공기가 유출된 상태로 기흉의 양은 치료에 있어 중요하다. 임상적으로 전체 폐 용적의 25% 이상의 기흉이 있는 경우는 저산소혈증이 발생하고, 폐포의 저환기(alveolar hypoventilation)가 나타나며 환기-관류(ventilation-perfusion)의 부조화에 의해서 동맥의 산소 분압의 감소를 초래하며 폐의 탄성(compliance)과 폐활량(vital capacity), 총폐기량(total lung capacity), 기능적 잔기량(functional residual capacity)의 감소를 초래한다.

한국등록특허 제2078876호 2020년 02월 12일 등록 (명칭: 기흉 검출 방법 및 시스템)

본 발명은 학습 모델을 기반으로 흉부 방사선 영상에서 기흉의 용적을 측정할 수 있는 장치 및 이를 위한 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 기흉을 정량적으로 측정하기 위한 장치는 흉부를 촬영한 3차원의 컴퓨터단층촬영(CT: computed tomography) 영상으로부터 2차원의 모조방사선(simulated X ray) 영상을 생성하는 모조영상생성부와, 상기 컴퓨터단층촬영 영상에서 기흉의 용적을 산출하는 용적실측부와, 상기 모조방사선 영상에 상기 산출된 기흉의 용적을 레이블로 부여하여 학습 데이터를 생성하는 학습데이터생성부와, 상기 학습데이터를 통해 흉부를 촬영한 방사선 영상에서 기흉의 용적을 산출하는 학습 모델을 생성하는 학습모델생성부를 포함한다.

상기 장치는 흉부를 촬영한 방사선 영상이 입력되면, 상기 학습 모델에 상기 방사선 영상을 입력하고, 상기 학습 모델이 상기 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 계층의 복수의 연산을 통해 상기 방사선 영상에서 기흉의 용적을 산출하면, 상기 기흉의 용적을 출력하는 용적추정부를 더 포함한다.

상기 학습 모델은 입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함한다.

게다가, 상기 장치는 상기 학습 모델의 컨벌루션층의 출력값 및 경사도를 비교하여 상기 방사선 영상에서 기흉이 차지하는 영역을 도출하고, 상기 방사선 영상에서 기흉이 차지하는 영역을 다른 영역과 구별되게 표시하는 마킹 영상을 생성하는 마킹부를 더 포함한다.

상기 마킹부는 수학식

에 따라 뉴런 중요도 가중치를 산출하고, 수학식

에 따라 마킹값을 생성하며, 상기 마킹값을 기초로 상기 마킹 영상을 생성하며, 상기

는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고, 상기

는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고, 상기

는

가

에 대해 가지는 경사도(gradient)이고, 상기

는 상기 뉴런 중요도 가중치이고, 상기

는 마킹 영상의 픽셀 좌표(i, j)의 마킹값인 것을 특징으로 한다.

상기 학습모델생성부는 학습 데이터 중 입력 데이터를 상기 학습 모델에 입력하고, 상기 학습 모델이 상기 입력 데이터에 대해 복수의 계층의 학습되지 않은 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하면, 상기 학습 모델의 출력값과 상기 입력 데이터에 대한 레이블인 기흉의 용적의 차이인 손실값이 최소가 되도록 학습 모델의 가중치를 수정하는 최적화를 수행하는 것을 특징으로 한다.

상기 학습모델생성부는 손실 함수

을 통해 상기 학습 모델의 출력값과 상기 입력 데이터에 대한 레이블인 기흉의 용적의 차이인 손실값이 최소가 되도록 학습 모델의 가중치를 수정하는 최적화를 수행하는 것을 특징으로 한다. 여기서, 상기 E는 손실함수이고, 상기 d는 상기 출력층의 출력값이고, 상기 L은 상기 출력층의 출력값에 대응하는 상기 입력 데이터에 대한 레이블인 것을 특징으로 한다.

상기 학습모델생성부는 평가 지표를 통해 상기 학습 모델의 출력값이 기 설정된 정확도 이상이면서, 상기 학습 모델에 대한 마킹 영상에서 마킹된 영역과 상기 방사선 영상에서 기흉이 차지하는 영역이 중첩되는 영역의 비율이 기 설정된 수치를 이상인지 여부에 따라 학습 완료 조건을 만족하는지 여부를 판단하고, 상기 학습 완료 조건을 만족하지 않으면, 다른 학습 데이터를 이용하여 상기 최적화를 반복하여 수행하는 것을 특징으로 한다.

상기 모조영상생성부는 흉부를 촬영한 3차원의 컴퓨터단층촬영(CT: computed tomography) 영상의 단면을 평면에 사상하여 2차원의 모조방사선(simulated X ray) 영상을 생성하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 기흉을 정량적으로 측정하기 위한 방법은 용적추정부가 흉부를 촬영한 방사선 영상을 입력받는 단계와, 상기 용적추정부가 학습 모델에 상기 방사선 영상을 입력하고, 상기 학습 모델이 상기 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 계층의 복수의 연산을 통해 상기 방사선 영상에서 기흉의 용적을 산출하는 단계와, 상기 용적추정부가 상기 기흉의 용적을 출력하는 단계를 포함한다.

상기 방법은 상기 흉부를 촬영한 방사선 영상을 입력받는 단계 전, 모조영상생성부가 흉부를 촬영한 3차원의 컴퓨터단층촬영 영상으로부터 2차원의 모조방사선 영상을 생성하는 단계와, 용적실측부가 상기 컴퓨터단층촬영 영상에서 기흉의 용적을 산출하는 단계와, 학습데이터생성부가 상기 모조방사선 영상에 상기 기흉의 용적을 레이블로 부여하여 학습 데이터를 생성하는 단계와, 학습모델생성부 상기 학습데이터를 통해 흉부를 촬영한 방사선 영상에서 기흉의 용적을 산출하는 상기 학습 모델을 생성하는 단계를 더 포함한다.

본 발명에 따르면 흉부 방사선 영상만으로 기흉의 용적을 정량적으로 측정할 수 있다. 이에 따라, 저비용으로 효율적인 진단 및 치료가 가능하다.

도 1은 본 발명의 실시예에 따른 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 모조방사선 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 학습 모델의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 마킹 영상 및 출력값을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 방법에 대해서 설명하기로 한다.
도 6은 본 발명의 실시예에 따른 학습 모델(LM)을 생성하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 학습이 완료된 학습 모델(LM)을 이용하여 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 방법을 설명하기 위한 흐름도이다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

먼저, 본 발명의 실시예에 따른 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 모조방사선 영상을 생성하는 방법을 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 학습 모델의 구조를 설명하기 위한 도면이다. 도 4는 본 발명의 실시예에 따른 마킹 영상 및 출력값을 설명하기 위한 도면이다.

먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 측정장치(10)는 모조영상생성부(110), 용적실측부(120), 학습데이터생성부(130), 학습모델생성부(140), 용적추정부(150) 및 마킹부(160)를 포함한다.

모조영상생성부(110)는 흉부를 촬영한 3차원의 컴퓨터단층촬영(CT: computed tomography) 영상으로부터 2차원의 모조방사선(simulated X-ray) 영상을 생성한다.

도 2에 (A)에 도시된 바와 같이, CT 영상은 3차원 영상이다. 이에 따라, 모조영상생성부(110)는 3차원의 CT 영상의 단면을 평면에 사상하여 도 2의 (B)에 도시된 바와 같이, 2차원의 모조방사선(simulated X-ray) 영상을 생성한다.

용적실측부(120)는 모조영상생성부(110)와 동일한 CT 영상을 입력받고, 입력된 CT 영상에서 기흉의 용적을 산출한다. 여기서, 기흉의 용적은 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)로 표현된다. 용적실측부(120)는 우선, 3차원 CT 영상의 복수의 2차원 단면 각각에서 검출되는 흉부가 차지하는 면적을 합산하여 흉부 전체 용적을 산출한다. 또한, 용적실측부(120)는 3차원 CT 영상의 복수의 2차원 단면 각각에서 검출되는 기흉이 차지하는 면적을 합산하여 기흉의 용적을 산출한다. 그런 다음, 흉부 전체 용적 대비 기흉의 용적을 산출하여 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)을 산출할 수 있다.

학습데이터생성부(130)는 모조영상생성부(110)가 CT 영상으로부터 생성한 모조방사선 영상과, 용적실측부(120)가 모조영상생성부(110)의 CT 영상과 동일한 CT 영상으로부터 측정한 용적을 입력받는다. 그러면, 학습데이터생성부(140)는 입력된 모조방사선 영상을 학습용 입력 데이터로 하고, 그 입력 데이터에 대해 용적실측부(120)가 측정한 용적을 레이블로 부여한다. 이로써, 학습 데이터가 생성된다. 이와 같이, 본 발명에 따르면, 하나의 CT 영상으로부터 모조방사선 영상을 생성하고, 이에 대한 레이블인 기흉의 용적을 자동으로 산출하여 학습 데이터를 자동으로 생성할 수 있다. 이에 따라, 대량의 학습 데이터를 용이하게 마련할 수 있다.

학습모델생성부(140)는 학습데이터생성부(130)가 생성한 학습 데이터를 이용하여 학습 모델(LM: Learning Model)을 생성한다. 학습모델생성부(140)는 학습 데이터를 이용하여 학습 모델(LM)이 흉부를 촬영한 방사선(X-ray) 영상에서 기흉의 용적을 산출하도록 학습시킨다. 여기서, 학습 모델(LM)은 머신러닝(Machine Learnig) 알고리즘 혹은 심층학습(Deep Learning) 알고리즘에 의해 학습된다. 즉, 학습모델생성부(140)는 학습되지 않은 가중치를 가지는 학습 모델의 원형을 학습 데이터를 이용하여 학습(Machine Learnig/Deep Learning)시킴으로써 학습된 가중치를 가지는 학습 모델(LM)을 생성한다. 본 발명의 실시예에 따라 학습이 완료된 학습 모델(LM)은 방사선 영상이 입력되면, 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 연산을 통해 기흉의 용적을 산출한다. 생성된 학습 모델(LM)은 용적추정부(150)에 제공된다.

용적추정부(150)는 흉부를 촬영한 방사선 영상이 입력되면, 상기 학습 모델을 통해 상기 방사선 영상에서 기흉의 용적을 산출한다. 즉, 용적추정부(150)는 흉부를 촬영한 방사선 영상이 입력되면, 학습 모델(LM)에 방사선 영상을 입력한다. 그러면, 학습 모델(LM)은 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 계층의 복수의 연산을 통해 방사선 영상에서 기흉의 용적을 산출한다.

본 발명의 일 실시예에 따르면, 학습 모델(LM)은 컨벌루션신경망(CNN: Convolution Neural Network)이 될 수 있다. 이러한 경우, 학습 모델(LM)은 입력층(Input Layer: IL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(Convolution Layer: CL)과 풀링층(Pooling Layer: PL), 적어도 하나의 완전연결층(Fully-connected Layer: FL) 및 출력층(Output Layer: OL)을 포함할 수 있다.

도 3에 학습 모델(LM)의 일례가 도시되었다. 도시된 바와 같이, 학습 모델(LM)은 복수의 계층, 즉, 순차로 입력층(IL), 컨볼루션층(CL), 풀링층(PL), 완전연결층(FL) 및 출력층(OL)을 포함한다. 복수의 계층 각각은 이전 계층의 연산 결과에 대해 가중치를 적용한 값을 입력받고, 가중치가 적용된 입력값에 대해 소정의 활성화함수에 의한 연산을 수행하여 그 연산 결과를 다음 계층으로 전달한다. 그리고 최종 계층의 연산 결과를 학습 모델(LM)의 출력값으로 출력한다. 본 발명의 실시에에 따르면, 학습 모델(LM)은 모조방사선(simulated X-ray) 영상 혹은 실제의 방사선(X-ray) 영상이 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 출력값을 산출한다. 이러한 출력값은 기흉의 용적을 나타낸다.

입력층(IL)은 모조방사선(simulated X-ray) 영상 혹은 실제의 방사선(X-ray) 영상 중 어느 하나인 입력 데이터를 입력 받기 위한 버퍼의 역할을 수행하며, 입력 데이터인 모조방사선(simulated X-ray) 영상 혹은 실제의 방사선(X-ray) 영상의 복수의 픽셀 각각이 위치 정보(예컨대, 픽셀 좌표)를 유지하도록 모조방사선(simulated X-ray) 영상 혹은 실제의 방사선(X-ray) 영상의 규격에 맞춰 형성된다.

컨볼루션층(CL)은 적어도 하나의 제1 특징맵(FM 1: Feature Map)으로 구성된다. 입력층(IL)에 모조방사선(simulated X-ray) 영상 혹은 실제의 방사선(X-ray) 영상 중 어느 하나인 입력 데이터가 입력되면, 컨볼루션층(CL)은 입력층(IL)의 입력 데이터에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산을 수행하여 가중치를 적용하고, 활성화함수에 의한 연산을 수행하여 복수의 제1 특징맵(FM1)을 도출한다.

풀링층(PL)은 적어도 하나의 제2 특징맵(FM 2: Feature Map 2)으로 구성된다. 풀링층(PL)은 컨볼루션층(CL)의 적어도 하나의 제1 특징맵(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징맵(FM2)을 도출한다.

완결연결층(FL)은 복수의 연산노드(f1 내지 fn)로 이루어진다. 완결연결층(FL)의 복수의 연산노드(f1 내지 fn)는 풀링층(PL)의 적어도 하나의 제2 특징맵(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 연산값을 산출한다. 선택적으로, 풀링층(PL)과 완전연결층(FL) 사이에 다음 계층의 값의 형태에 맞춰 이전 계층의 값의 형태를 변경하여 다음 계층에 입력하는 역할을 수행하는 평탄화계층(FLL: FLatten Layer)이 개재될 수 있다. 즉, 평탄화계층(FLL)은 풀링계층(PL)의 행렬 형태인 제2 특징맵(FM2)의 값을 완전연결계층(FL)의 연산 노드에 맞춰 변경하여 입력하는 역할을 수행한다. 예컨대, 평탄화계층(FLL)은 풀링계층(PL)의 제2 특징맵이 (행×열×채널)의 형태라면, 이를 완전연결계층(FL)의 연산 노드의 형태인 (열×채널)의 형태로 변경하여 그 연산 노드에 입력할 수 있다.

출력층(OL)은 하나의 출력노드(O)를 포함한다. 완결연결층(FL)의 복수의 연산노드(f1 내지 fn) 각각은 가중치(W: weight)를 가지는 채널로 출력층(OL)의 출력노드(O)와 연결된다. 다른 말로, 복수의 연산노드(f1 내지 fn)의 복수의 연산값은 가중치가 적용되어 출력노드(O)에 입력된다. 이에 따라, 출력층(OL)의 출력노드(O)는 완결연결층(FL)의 가중치가 적용되는 복수의 연산값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출한다.

전술한 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에서 연산에 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)은 이러한 활성화함수 중 어느 하나를 선택하여 연산을 수행한다.

출력층(OL)의 출력노드(O)는 기흉의 용적에 대응한다. 이러한 출력노드(O)의 값, 즉, 출력값은 흉부에서 기흉이 차지하는 비율을 나타낸다. 출력노드(O)는 완결연결층(FL)의 복수의 연산 노드(f1 내지 fn)로부터 입력되는 복수의 연산값 x=[x1, x2, … , xn]에 가중치 w=[w1, w2, … , wn]를 적용한 후, 그 결과에 활성화함수 F를 취하여 출력값을 산출한다. 예컨대, 출력노드(O)의 출력값이 0.17211이라고 가정하면, 이는 흉부에서 기흉이 차지하는 영역의 비율이 17%임을 나타낸다.

다시 도 1을 참조하면, 마킹부(160)는 학습이 완료된 학습 모델(LM)을 이용하여 방사선(X-ray) 영상에서 기흉이 차지하는 영역을 나타내는 마킹 영상을 생성하기 위한 것이다. 마킹 영상은 입력되는 방사선 영상에서 기흉이 차지하는 영역을 도출하고, 이를 다른 영역과 구별되게 표시한 영상을 의미한다.

도 3 및 도 4를 참조하면, 학습 모델(LM)이 방사선 영상(X)에 대해 컨벌루션층(CL)을 포함하는 복수의 계층의 학습된 가중치가 적용되는 복수의 연산을 통해 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)을 산출할 수 있다. 그러면, 마킹부(160)는 학습 모델(LM)의 컨벌루션층(CL)의 출력값(output) 및 경사도(gradient)를 비교하여 방사선 영상(X)에서 기흉이 차지하는 영역(M)을 도출하고, 방사선 영상(X)에서 기흉이 차지하는 영역(M)을 다른 영역과 구별되게 표시하여 마킹 영상(Y)을 생성한다. 도 4에 도시된 바와 같이, 기흉이 차지하는 영역(M)을 다른 영역과 구분하여 표시할 때, 색의 종류 및 밝기를 이용하여 표시할 수 있다. 이러한 마킹 영상을 생성하는 방법에 대해 보다 상세하게 설명하면 다음과 같다.

마킹부(160)는 학습모델(LM)의 연산의 결과를 수집한 후, 다음의 수학식 1에 따라 뉴런 중요도 가중치(neuron importance weight)를 산출한다.

여기서,

는 뉴런 중요도 가중치이고,

는 컨벌루션층(CL)에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고,

는 컨벌루션층(CL)의 k번째 특징지도의 좌표(i, j)의 값을 의미한다. 특히,

는

가

에 대해 가지는 경사도(gradient)를 의미한다.

이어서, 마킹부(160)는 다음의 수학식 2에 따라 마킹값을 산출한다.

여기서,

는 마킹 영상의 픽셀 좌표(i, j)의 마킹값을 나타낸다.

또한,

는 뉴런 중요도 가중치이고,

는 컨벌루션층(CL)의 k번째 특징맵(FM)의 좌표(i, j)의 값을 의미한다.

전술한 바와 같이, 마킹부(160)는 마킹값

를 산출한 후, 산출된 마킹값

에 따라 마킹 영상(Y)을 생성한다. 일 실시예에 따르면, 마킹부(160)는 마킹값

의 값에 비례하는 색의 채도를 가지는 픽셀값으로 이루어진 마킹 영상을 생성할 수 있다.

다른 실시예에 따르면, 마킹부(160)는

값이 기 설정된 수치 이상인 픽셀에만 소정의 색을 가지도록 하여 마킹 영상을 생성할 수 있다. 도 4에 이러한 다른 실시예에 따른 마킹 영상(Y)의 일례가 도시되었다. 도시된 바와 같이, 방사선 영상(X)에 기흉이 차지하는 영역(M)에만 색을 부여하여 마킹 영상(Y)을 생성할 수 있다.

이와 같이, 마킹부(160)는 학습이 완료된 학습 모델(LM)에 방사선 영상이 입력되면, 학습모델(LM)의 컨벌루션층(CL)의 출력값 및 경사도(gradient)를 비교하여 방사선 영상(X)에서 기흉이 차지하는 영역(M)을 다른 영역과 구부하여 표시하는 마킹 영상(Y)을 생성할 수 있다.

다음으로, 본 발명의 실시예에 따른 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 학습 모델을 기반으로 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 방법에 대해서 설명하기로 한다.

도 5를 참조하면, S110 단계에서 흉부를 촬영한 3차원의 CT 영상이 입력된다. 그러면, 모조영상생성부(110)는 S120 단계에서 입력된 CT 영상으로부터 2차원의 모조방사선 영상을 생성한다. 이때, 모조영상생성부(110)는 도 2에 (A)에 도시된 3차원의 CT 영상의 단면을 평면에 사상하여 도 2의 (B)에 도시된 바와 같은 모조방사선 영상을 생성할 수 있다.

S120 단계와 동시에, 용적실측부(120)는 S130 단계에서 모조영상생성부(110)와 동일한 CT 영상을 입력받고, 입력된 CT 영상에서 기흉의 용적을 산출한다. 여기서, 기흉의 용적은 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)로 표현된다. 보다 자세하게 설명하면, 용적실측부(120)는 우선, 3차원 CT 영상의 복수의 2차원 단면 각각에서 검출되는 흉부가 차지하는 면적을 합산하여 흉부 전체 용적을 산출한다. 또한, 용적실측부(120)는 3차원 CT 영상의 복수의 2차원 단면 각각에서 검출되는 기흉이 차지하는 면적을 합산하여 기흉의 용적을 산출한다. 그런 다음, 흉부 전체 용적 대비 기흉의 용적을 산출하여 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)을 산출할 수 있다.

학습데이터생성부(130)는 모조영상생성부(110)가 CT 영상으로부터 생성한 모조방사선 영상과, 용적실측부(120)가 모조영상생성부(110)의 CT 영상과 동일한 CT 영상으로부터 측정한 용적을 입력받는다. 그러면, 학습데이터생성부(140)는 S140 단계에서 입력된 모조방사선 영상을 학습용 입력 데이터로 하고, 그 입력 데이터에 대해 용적실측부(120)가 측정한 용적을 레이블로 부여한다. 이로써, 학습 데이터가 생성된다.

다음으로, 학습모델생성부(140)는 S150 단계에서 학습데이터생성부(130)가 생성한 학습 데이터를 이용하여 학습 모델(LM)을 생성한다. 이때, 학습모델생성부(140)는 학습 데이터를 이용하여 학습 모델(LM)이 흉부를 촬영한 방사선(X-ray) 영상에서 기흉의 용적을 산출하도록 학습시킨다.

그러면, 전술한 S150 단계의 학습 모델(LM)을 생성하는 방법, 즉, 학습 방법에 대해 보다 상세하게 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 학습 모델(LM)을 생성하는 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 학습 데이터는 입력 데이터인 모조방사선 영상과, 입력 데이터에 대한 레이블인 기흉의 용적, 즉, 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)을 포함한다.

학습모델생성부(140)는 S210 단계에서 학습 데이터 중 입력 데이터를 학습 모델의 원형에 입력한다. 학습 모델(LM)의 원형은 가중치의 초기값 혹은 학습이 완료되지 않은 가중치를 가진다.

학습 모델(LM)은 S220 단계에서 입력된 입력 데이터, 즉, 모조방사선 영상에 대해 복수의 계층의 학습되지 않은 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다.

그러면, 학습모델생성부(140)는 S230 단계에서 학습 모델(LM)의 출력값과 입력 데이터에 대한 레이블인 기흉의 용적(흉부에서 기흉이 차지하는 영역의 비율)을 이용하여 학습 모델(LM)의 가중치를 수정하는 최적화를 수행한다. 일 실시예에 따르면, 최적화는 다음과 같이 수행된다. 즉, 학습모델생성부(140)는 다음의 수학식 3과 같은 손실함수를 이용하여 학습 모델(LM)의 출력값과 입력 데이터에 대한 레이블인 기흉의 용적(흉부에서 기흉이 차지하는 영역의 비율)의 차이인 손실값이 최소가 되도록 학습 모델(LM)의 가중치를 수정한다.

수학식 3에서 E는 손실함수를 나타낸다. d는 출력층(OL)의 출력값이고, L은 출력층(OL)의 출력값에 대응하는 입력 데이터에 대한 레이블이다. 손실함수 E의 첫 번째 항(term)은 L1-norm 손실이며, 두 번째 항은 SSIM(Structural Similarity Index)을 나타낸다. 즉, L1-norm 및 SSIM을 합산한 값이 최소가 되도록 최적화를 수행한다.

전술한 S210 단계 내지 S230 단계는 복수의 서로 다른 학습 데이터를 이용하여 반복하여 수행되며, 이러한 반복은 평가 지표를 통해 원하는 정확도에 도달할 때까지 이루어질 수 있다. 이에 따라, 학습모델생성부(140)는 S240 단계에서 학습 완료 조건이 만족하는지 여부를 판단한다. 일 실시예에 따르면, 학습모델생성부(140)는 기 설정된 평가 지표를 통해 학습 모델(LM)의 출력값이 기 설정된 정확도 이상인 경우, 학습 완료 조건을 만족하는 것으로 판단할 수 있다.

한편, S240 단계의 추가적인 실시예에서 따르면, 학습모델생성부(140)는 마킹 영상(Y)을 추가로 이용할 수 있다. 즉, 학습모델생성부(140)는 마킹부(160)를 통해 마킹 영상(Y)을 생성한 후, 마킹 영상(Y)에서 마킹된 영역(M)과 모사방사선 영상에서 기흉이 차지하는 영역을 비교하여 픽셀 좌표 상 중첩되는 영역의 비율이 기 설정된 수치를 이상인지 여부를 추가로 고려하여 학습 완료를 판단할 수 있다 이는 학습 모델(LM)의 출력값이 다른 영역이 아닌 기흉이 차지하는 영역을 산출한 것임을 확인하기 위한 것이다. 즉, 추가적인 실시예에 따르면, 학습모델생성부(140)는 평가 지표를 통해 학습 모델(LM)의 출력값이 기 설정된 정확도 이상이면서, 마킹 영상(Y)에서 마킹되 영역(M)과 방사선(X-ray) 영상에서 기흉이 차지하는 영역이 중첩되는 영역의 비율이 기 설정된 수치를 이상인 경우, 학습 완료 조건을 만족하는 것으로 판단할 수 있다.

S240 단계의 판단 결과, 학습 완료 조건을 만족하지 않으면, 학습모델생성부(140)는 다른 학습 데이터를 이용하여 전술한 S210 단계 내지 S240 단계를 반복한다.

반면, S240 단계의 판단 결과, 학습 완료 조건을 만족하면, 학습모델생성부(140)는 S250 단계에서 학습을 종료하여 생성된 학습 모델(LM)을 용적추정부(150)에 제공된다.

그러면, 학습이 완료된 학습 모델(LM)을 이용하여 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 학습이 완료된 학습 모델(LM)을 이용하여 흉부 방사선 영상에서 기흉을 정량적으로 측정하기 위한 방법을 설명하기 위한 흐름도이다.

용적추정부(150)는 S310 단계에서 흉부를 촬영한 방사선 영상이 입력되면, S320 단계에서 학습 모델(LM)에 방사선 영상을 입력한다.

그러면, 학습 모델(LM)은 S320 단계에서 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 계층의 복수의 연산을 통해 출력값, 즉, 방사선 영상에서 기흉의 용적을 산출한다. 여기서, 기흉의 용적은 흉부에서 기흉이 차지하는 영역의 비율(예컨대, 17%)로 표현된다. 즉, 학습 모델(LM)의 복수의 계층(IL, CL, PL, FL 및 OL) 각각은 이전 계층의 연산 결과에 대해 가중치(W)를 적용한 값을 입력받고, 가중치(W)가 적용된 입력값에 대해 소정의 활성화함수에 의한 연산을 수행하여 그 연산 결과를 다음 계층으로 전달한다. 그리고 최종 계층, 즉, 출력층(OL)의 연산 결과를 출력값으로 출력한다. 예컨대, 출력노드(O)의 출력값이 0.17211이면, 흉부에서 기흉이 차지하는 영역의 비율이 17%임을 나타낸다.

마킹부(160)는 S340 단계에서 학습 모델(LM)을 이용하여 방사선(X-ray) 영상(X)으로부터 기흉이 차지하는 영역을 나타내는 마킹 영상(Y)을 생성한다. 즉, 마킹부(160)는 학습 모델(LM)의 컨벌루션층(CL)의 출력값(output) 및 경사도(gradient)를 비교하여 방사선 영상(X)에서 기흉이 차지하는 영역(M)을 도출하고, 방사선 영상(X)에서 기흉이 차지하는 영역(M)을 다른 영역과 구별되게 표시하여 마킹 영상(Y)을 생성한다.

그런 다음, 용적추정부(150)는 S350 단계에서 학습 모델(LM)의 출력값을 기흉이 차지하는 영역의 비율로 변환한 후, 마킹 영상(Y)에 기흉이 차지하는 영역의 비율을 결합하여 출력한다. 예컨대, 출력노드(O)의 출력값이 0.17211이면, 흉부에서 기흉이 차지하는 영역의 비율이 17%임을 나타낸다. 이에 따라, 예컨대, 도 4의 (Y)에 도시된 바와 같이, 기흉이 차지하는 영역을 마킹 영역(M)으로 다른 영역과 구별되게 표시하고, 해당 영역의 비율을 나타내는 텍스트 "기흉 분율 17%"를 통해 기흉의 용적에 대해 시각적이고 정량적인 정보를 제공할 수 있다.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

10: 항해장치
110: 모조영상생성장치
120: 용적실측부
130: 학습데이터생성부
140: 학습모델생성부
150: 용적추정부
160: 마킹부

Claims

기흉을 정량적으로 측정하기 위한 장치에 있어서,
흉부를 촬영한 3차원의 컴퓨터단층촬영(CT: computed tomography) 영상으로부터 2차원의 모조방사선(simulated X ray) 영상을 생성하는 모조영상생성부;
상기 컴퓨터단층촬영 영상에서 기흉의 용적을 산출하는 용적실측부; 및
상기 모조방사선 영상에 상기 산출된 기흉의 용적을 레이블로 부여하여 학습 데이터를 생성하는 학습데이터생성부; 및
상기 학습데이터를 통해 흉부를 촬영한 방사선 영상에서 기흉의 용적을 산출하는 학습 모델을 생성하는 학습모델생성부;
를 포함하며,
상기 학습모델생성부는
학습 데이터 중 입력 데이터를 상기 학습 모델에 입력하고,
상기 학습 모델이 상기 입력 데이터에 대해 복수의 계층의 학습되지 않은 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하면,
상기 학습 모델의 출력값과 상기 입력 데이터에 대한 레이블인 기흉의 용적의 차이인 손실값이 최소가 되도록 학습 모델의 가중치를 수정하는 최적화를 수행하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
제1항에 있어서,
흉부를 촬영한 방사선 영상이 입력되면, 상기 학습 모델에 상기 방사선 영상을 입력하고, 상기 학습 모델이 상기 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 계층의 복수의 연산을 통해 상기 방사선 영상에서 기흉의 용적을 산출하면, 상기 기흉의 용적을 출력하는 용적추정부;
를 더 포함하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
제2항에 있어서,
상기 학습 모델은
입력층, 교번으로 반복되는 적어도 한 쌍의 컨벌루션층 및 풀링층, 적어도 하나의 완전연결층 및 출력층을 포함하며,
상기 장치는
상기 학습 모델의 컨벌루션층의 출력값 및 경사도를 비교하여 상기 방사선 영상에서 기흉이 차지하는 영역을 도출하고, 상기 방사선 영상에서 기흉이 차지하는 영역을 다른 영역과 구별되게 표시하는 마킹 영상을 생성하는 마킹부;
를 더 포함하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
제3항에 있어서,
상기 마킹부는
수학식

에 따라 뉴런 중요도 가중치를 산출하고,
수학식

에 따라 마킹값을 생성하며,
상기 마킹값을 기초로 상기 마킹 영상을 생성하며,
상기
는 컨벌루션층에서 컨벌루션 연산을 수행하고 활성화함수에 의한 연산을 수행하기 전, 출력의 c번째 값이고,
상기
는 컨벌루션층의 k번째 특징지도의 좌표(i, j)의 값이고,
상기
는
가
에 대해 가지는 경사도(gradient)이고,
상기
는 상기 뉴런 중요도 가중치이고,
상기
는 마킹 영상의 픽셀 좌표(i, j)의 마킹값인 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
삭제
제1항에 있어서,
상기 학습모델생성부는
손실 함수

을 통해
상기 학습 모델의 출력값과 상기 입력 데이터에 대한 레이블인 기흉의 용적의 차이인 손실값이 최소가 되도록 학습 모델의 가중치를 수정하는 최적화를 수행하는 것을 특징으로 하는
상기 E는 손실함수이고,
상기 d는 출력층의 출력값이고,
상기 L은 상기 출력층의 출력값에 대응하는 상기 입력 데이터에 대한 레이블인 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
제1항에 있어서,
상기 학습모델생성부는
평가 지표를 통해 상기 학습 모델의 출력값이 기 설정된 정확도 이상이면서, 상기 학습 모델에 대한 마킹 영상에서 마킹된 영역과 상기 방사선 영상에서 기흉이 차지하는 영역이 중첩되는 영역의 비율이 기 설정된 수치를 이상인지 여부에 따라 학습 완료 조건을 만족하는지 여부를 판단하고,
상기 학습 완료 조건을 만족하지 않으면, 다른 학습 데이터를 이용하여 상기 최적화를 반복하여 수행하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
제1항에 있어서,
상기 모조영상생성부는
흉부를 촬영한 3차원의 컴퓨터단층촬영(CT: computed tomography) 영상의 단면을 평면에 사상하여 2차원의 모조방사선(simulated X ray) 영상을 생성하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 장치.
기흉을 정량적으로 측정하기 위한 방법에 있어서,
용적추정부가 흉부를 촬영한 방사선 영상을 입력받는 단계;
상기 용적추정부가 학습 모델에 상기 방사선 영상을 입력하고, 상기 학습 모델이 상기 방사선 영상에 대해 학습된 가중치가 적용되는 복수의 계층의 복수의 연산을 통해 상기 방사선 영상에서 기흉의 용적을 산출하는 단계; 및
상기 용적추정부가 상기 기흉의 용적을 출력하는 단계;
를 포함하며,
상기 방사선 영상을 입력 받는 단계 전,
학습모델생성부가 학습 데이터 중 입력 데이터를 상기 학습 모델에 입력하는 단계;
상기 학습 모델이 상기 입력 데이터에 대해 복수의 계층의 학습되지 않은 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하는 단계;
상기 학습모델생성부가 상기 학습 모델의 출력값과 상기 입력 데이터에 대한 레이블인 기흉의 용적의 차이인 손실값이 최소가 되도록 학습 모델의 가중치를 수정하는 최적화를 수행하는 단계;
를 더 포함하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 방법.
제9항에 있어서,
상기 학습 데이터 중 입력 데이터를 상기 학습 모델에 입력하는 단계 전,
모조영상생성부가 흉부를 촬영한 3차원의 컴퓨터단층촬영 영상으로부터 2차원의 모조방사선 영상을 생성하는 단계;
용적실측부가 상기 컴퓨터단층촬영 영상에서 기흉의 용적을 산출하는 단계; 및
학습데이터생성부가 상기 모조방사선 영상에 상기 기흉의 용적을 레이블로 부여하여 상기 학습 데이터를 생성하는 단계;
를 더 포함하는 것을 특징으로 하는
기흉을 정량적으로 측정하기 위한 방법.