KR102330519B1 - 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법 - Google Patents

Abstract

실시예들은 미리 학습된 뇌동맥류 예측 모델을 저장하는 저장부; 대상자의 안저 사진을 획득하는 데이터 획득부; 및 상기 대상자의 안저 사진 데이터를 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 예측부를 포함하는 뇌동맥류 예측 장치 및 상기 뇌동맥류 예측 장치에 의해 수행되는 뇌동맥류 예측 결과 제공 방법에 관한 것이다.

Description

안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법{APPARATUS FOR PREDICTING INTRACRANIAL ANEURYSM USING RETINAL FUNDUS IMAGE AND METHOD FOR PROVIDING INTRACRANIAL ANEURYSM PREDICTION RESULTS USING THE SAME}

본 발명은 안저 사진을 이용하여 뇌동맥류(intracranial aneurysm) 질환을 예측하는 기술에 관한 것으로서, 보다 상세하게는 안저사진에 연관된 샘플 데이터에 기초하여 학습된 뇌동맥류 예측 모델에 환자의 안저사진을 적용하여 상기 환자가 뇌동맥류를 가지고 있는지를 결정하는 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법에 관한 것이다.

기술의 발달로 인해 인간의 수명이 증가함에 따라, 인구구조가 고령화 사회, 나아가 초고령화 사회로 변화하고 있는 추세이다. 이로 인해, 퇴행성 질환(degenerative disease) 환자가 증가하고 있으며, 사회 경제적인 부담 또한 급격히 증가하고 있다. 이러한 퇴행성 질환은 혈관 질환, 관절 질환 등이 있는데, 혈관 질환은 혈관이란 신체적 구조 특성상 사망 위험이 상대적으로 높고, 수술이 어려우며 후유증 확률도 높은 질환에 속한다. 실제로, 2016년 한국 통계청 자료에 따르면 심장 질환, 뇌혈관질환은 사망원인 2위, 3위에 해당된다.

뇌동맥류는 뇌혈관 질환 중 하나로서, 머리 속 뇌동맥의 일부에 결손이 생겨 그 부분이 돌출되는 질환이다. 환자가 뇌동맥류에 걸리면, 환자의 뇌혈관 일부가 약한 경우 혈관벽이 늘어나서 꽈리모양으로 불거져 나오게 된다. 뇌동맥의 혈관벽이 얇고, 꽈리 모양과 같이 구조적으로 정상과 다르기 때문에, 뇌동맥류 질환자의 뇌혈관은 쉽게 터질 수 있다.

뇌동맥류의 대표적인 질환은, 사망률과 장애율이 가장 높은 질환은 지주막하출혈(subarachnoid hemorrhage)이다. 지주막하출혈 대부분은 뇌혈관 일부가 부풀어 오르는 증상을 가지며, 결국 뇌동맥류(intracranial aneurysm)의 발생을 유발한다.

일반적으로 미파열성 뇌동맥류는 보통 파열 전에 증상을 일으키지 않고, 단순 CT 상에서는 예측이 불가능한 질환이다.

현재 통상적으로 실행되는 선별 검사는, 예를 들어, 경피적두개강내혈관조영술(TFCA)와 같은 침습적인 검사, 또는 뇌컴퓨터단층촬영혈관조영술(CT Angio), 자기공명혈관조영술(MRA)와 같은 고방사선 검사 혹은 고가의 영상검사 등을 포함할 수 있다.

이러한 현재의 선별 검사는 침습식 검사 및/또는 조영제를 이용하는 검사로서, 침습 및 조영제의 위험으로 인해 피검사자의 건강에 악영향을 미칠 가능성이 있다.

또한, 선별 검사를 위해서는 막대한 수의 대상자에게 수행되어야 하며, 이를 위해 소모되는 그 비용 또한 상당하다.

지주막하 출혈과 같은 뇌동맥류는 파열 전에 예측하는 경우 예방적인 치료가 가능하다. 그러나, 뇌동맥류는 평소 증상이 거의 발현되지 않아서, 터지지 않은 상태의 미파열성 뇌동맥류를 발견하는 것은 매우 어렵다. 이로 인해, 상술한 침습적인 검사 혹은 고가의 영상검사들을 시행할 사람들을 결정하는 것 또한 어렵다.

따라서, 뇌동맥류를 가지고 있을 가능성이 높은 사람들을 선별해줄 수 있는 비침습적이고 손쉬운 검사 기술이 요구된다.

대한뇌졸증학회 뇌졸증진료지침 비파열뇌동맥류 선별검사 (2013.01.)

본 발명의 일 측면에 따르면 상세하게는 안저사진에 연관된 샘플 데이터에 기초하여 학습된 뇌동맥류 예측 모델에 환자의 안저사진을 적용하여 상기 환자가 뇌동맥류를 가지고 있는지를 높은 정확도로 결정할 수 있는 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법을 제공할 수 있다.

본 발명의 일 측면에 따른 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 뇌동맥류 예측 결과 제공 방법 또는 또는 뇌동맥류 예측(판단) 지원 방법은, 대상자의 안저 사진을 획득하는 단계; 및 상기 대상자의 안저 사진 데이터를 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 단계;를 포함한다. 여기서, 상기 뇌동맥류 예측 모델은 학습용 안저 사진을 포함하는 복수의 학습용 샘플을 이용하여 입력된 안저 사진을 뇌동맥류 그룹으로 분류하는 능력이 학습된 모델이다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 안저 사진이 입력되는 입력 레이어; 복수의 컨볼루션 레이어 및 풀링 레이어를 포함하며, 상기 입력 레이어의 안저 사진에서 특징을 추출하는 특징 추출 레이어; 및 복수의 노드를 포함한 완전 연결 레이어를 포함하며, 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함할 수 있다.

일 실시예에서, 상기 복수의 컨볼루션 레이어 중 적어도 하나는 입력 데이터가 복수의 경로로 진행한 뒤 다시 결합하도록 구성된 잔차 병목 블록(Residual Bottleneck Block)을 포함할 수 있다.

일 실시예에서, 상기 잔차 병목 블록은 복수의 서브 컨볼루션 레이어를 포함하되, 각 서브 컨볼루션 레이어는 컨볼루션 필터가 적용되도록 구성되고, 상기 잔차 병목 블록은 입력 데이터가 제1 경로 및 제2 경로를 통해 진행하고, 상기 제1 경로를 통해 진행한 데이터와 상기 제2 경로를 통해 진행한 데이터가 결합하도록 구성될 수 있다.

일 실시예에서, 상기 제1 경로를 통해 진행되는 입력 데이터는 복수의 서브 컨볼루션 레이어를 통과할 수 있다. 여기서, 상기 제1 경로를 통한 입력 데이터가 통과하는 복수의 서브 컨볼루션 레이어 중 적어도 하나는 다른 컨볼루션 필터에 비해 낮은 차원의 데이터를 출력할 수 있다.

일 실시예에서, 상기 잔차 병목 블록은, 입력된 특징맵에 복수의 1×1 크기의 필터를 적용하여 제1 특징맵을 출력하는 제1 서브 컨볼루션 레이어, 제1 서브 컨볼루션 레이어에서 출력된 제1 특징맵에 복수의 3×3 크기의 필터를 적용하여 제2 특징맵을 출력하는 제2 서브 컨볼루션 레이어, 및 제2 서브 컨볼루션 레이어에서 출력된 제2 특징맵에 복수의 1×1 크기의 필터를 적용하여 제3 특징맵을 출력하는 제3 서브 컨볼루션 레이어를 포함할 수 있다.

일 실시예에서, 상기 제1 경로를 통한 입력 데이터가 통과하는 복수의 서브 컨볼루션 레이어 중 적어도 하나가 샘플링 데이터를 출력하도록 구성된 경우, 상기 제2 경로를 통해 진행하는 입력 데이터는 상기 제1 경로의 샘플링 데이터에 대응하도록 샘플링 처리될 수 있다.

일 실시예에서, 상기 잔차 병목 블록에서의 데이터 결합은 요소별(element-wise) 덧셈 처리에 의해 수행될 수 있다.

일 실시예에서, 상기 특징 추출 레이어는 제1 컨볼루션 레이어를 포함할 수 있다. 여기서, 상기 제1 컨볼루션 레이어는 상기 입력 레이어에서 출력된 안저 이미지에 7×7 크기의 필터 64개를 이용하여 제1 특징맵을 출력하도록 구성된다.

일 실시예에서, 상기 특징 추출 레이어는 상기 제1 특징맵을 맥스 풀링 처리하도록 구성된 맥스 풀링 레이어를 더 포함할 수 있다.

일 실시예에서, 상기 특징 추출 레이어는 제2 내지 제4 컨볼루션 레이어를 더 포함할 수 있다. 여기서, 상기 제2 컨볼루션 레이어 내지 제4 컨볼루션 레이어 중 적어도 하나는 상기 잔차 병목 블록을 포함한다.

일 실시예에서, 상기 제2 컨볼루션 레이어 내지 제4 컨볼루션 레이어 중 적어도 하나는 복수의 잔차 병목 블록을 포함할 수 있다.

일 실시예에서, 상기 잔차 병목 블록이 복수인 경우, 적어도 하나의 잔차 병목 블록은 입력 데이터를 샘플링하여 출력하도록 구성된다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 상기 뇌동맥류 예측 모델의 비용 함수를 최소화되는 방향으로 상기 뇌동맥류 예측 모델에 포함된 파라미터를 업데이트하여 학습될 수 있다. 여기서, 상기 비용 함수(loss function)는 뇌동맥류 예측 모델에 안저 사진을 적용한 결과 값과 실제 값과의 차이를 나타낸다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 단안 안저 사진을 포함한 학습용 샘플을 이용하여 학습될 수 있다.

일 실시예에서, 상기 대상자의 안저 사진을 획득하는 단계는, 상기 대상자의 양안 안저 사진을 획득한 경우, 단안 안저 사진이 상기 뇌동맥류 예측 모델에 적용되도록 상기 양안 안저 사진을 필터링하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 양안 안저 사진을 포함한 학습용 샘플을 이용하여 학습될 수 있다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 제1 안저 사진이 입력되는 제1 입력 레이어; 상기 제1 안저 사진의 특징을 추출하는 제1 특징 추출 레이어; 제2 안저 사진이 입력되는 제2 입력 레이어; 상기 제2 안저 사진의 특징을 추출하는 제2 특징 추출 레이어; 상기 제1 특징 추출 레이어의 특징 값과 제2 특징 추출 레이어의 특징 값을 결합하도록 구성된 결합 레이어; 및 상기 결합된 특징 값에 기초하여 양안 안저 사진을 뇌동맥류 그룹 또는 비뇌동맥류 그룹으로 분류하는 분류 레이어를 포함할 수 있다.

일 실시예에서, 상기 결합 레이어는 벡터-결합(vector concatenation) 처리하도록 구성될 수 있다.

본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 여기서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 전술한 실시예들에 따른 뇌동맥류 예측 방법을 수행할 수 있다.

본 발명의 또 다른 일 측면에 따른 안저 사진을 이용하여 뇌동맥류를 예측하는 뇌동맥류 예측 장치는 미리 학습된 뇌동맥류 예측 모델을 저장하는 저장부; 대상자의 안저 사진을 획득하는 데이터 획득부; 및 상기 대상자의 안저 사진 데이터를 상기 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 예측부를 포함할 수 있다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 단안 안저 사진이 입력되는 입력 레이어; 상기 입력 레이어의 안저 사진에서 특징을 추출하는 특징 추출 레이어; 및 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함할 수 있다.

일 실시예에서, 상기 뇌동맥류 예측 모델은, 제1 안저 사진이 입력되는 제1 입력 레이어; 상기 제1 안저 사진의 특징을 추출하는 제1 특징 추출 레이어; 제2 안저 사진이 입력되는 제2 입력 레이어; 상기 제2 안저 사진의 특징을 추출하는 제2 특징 추출 레이어; 상기 제1 특징 추출 레이어의 특징 값과 제2 특징 추출 레이어의 특징 값을 결합하도록 구성된 결합 레이어; 및 상기 결합된 특징 값에 기초하여 양안 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함할 수 있다.

본 발명의 일 측면에 따른 뇌동맥류 예측 장치는 비침습식으로서 피검자에게 위해가 거의 없는 안저사진촬영을 통해서 뇌동맥류 여부를 높은 정확도로 예측할 수 있다.

안저 사진을 촬영할 수 있는 안저 카메라는 거의 대부분의 안과 의료원에 보급되어 있어 접근성이 높으며, 뇌동맥류 예측을 위해 환자의 신체 상태를 측정하기 위한 별도의 의료 기기를 구비할 필요가 없다. 또한, 안저 사진 촬영은 종래의 뇌동맥류 검사에 비해 비용이 상대적으로 저렴하다. 즉, 검사의 접근성 및 안정성이 매우 높고, 경제적으로도 저렴하다.

또한, 본 발명의 일측면에 따른 뇌동맥류 예측 장치는 종래에는 검사하기 어려운 미파열성 뇌동맥류에 대해서도 예측이 가능하다.

그 결과, 본 발명은 뇌동맥류를 가지고 있을 가능성이 높은 사람들을 선별해줄 수 있는 비침습적이고 손쉬운 검사 기술로 활용될 수 있다. 예를 들어, 현재의 침습식 검사 또는 영상 검사들을 실시하기에 앞서 뇌동맥류 고위험군을 필터링하는데 활용될 수 있다. 따라서, 뇌동맥류 검사가 필요없는 사람에 대하여 소모되는 사회, 경제적인 비용을 경감할 수 있다.

나아가, 본 발명에 따른 뇌동맥류 예측 장치는 그 자체로 뇌동맥류 질환자인지 진단하는 장치로 활용될 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 뇌동맥류 예측 장치의 개략적인 블록도이다.
도 2는 잔차 학습(Residual learning)을 설명하기 위한 도면이다.
도 3은, 본 발명의 일 실시예에 따른, 뇌동맥류 예측 모델의 구조를 설명하기 위한 도면이다.
도 4a는, 본 발명의 일 실시예에 따른, 도 3의 뇌동맥류 예측 모델의 세부 구조를 설명하기 위한 도면이다.
도 4b는, 본 발명의 일 실시예에 따른, 도 4a의 일부 컨볼루션 레이어를 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 도 3의 모델을 이용하여 뇌동맥류를 판단하는 과정을 설명하는 흐름도이다.
도 6은, 본 발명의 제2 실시예에 따른, 뇌동맥류 예측 모델의 구조를 설명하기 위한 도면이다.
도 7은, 본 발명의 일 실험예에 따른, 뇌동맥류 예측 모델의 성능을 설명하기 위한 도면이다.
도 8은, 본 발명의 일 실험예에 따른, 안저 사진의 예측 결과를 도시한 도면이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

본 명세서에서, 뇌동맥류는 뇌혈관 일부가 부풀어 올라 발생하는 지주막하출혈(subarachnoid hemorrhage)과 같은, 뇌동맥(cerebral arteries)의 이상으로 인해 발생한 질환을 지칭한다.

본 명세서에서, 안저 사진(fundus image)은 망막 안저 사진(retinal fundus image)으로 지칭될 수 있다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, 뇌동맥류 예측 장치의 개략적인 블록도이다.

도 1을 참조하면, 뇌동맥류 예측 장치(1000)는 대상자의 안저 사진을 획득하는 데이터 획득부(10); 및 대상자의 안저 사진 데이터를 뇌동맥류 예측 모델에 적용하여 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 예측부(50)를 포함한다. 일부 실시예에서, 뇌동맥류 예측 장치(1000)는 뇌동맥류 예측 모델을 모델링하는 학습부(30)를 더 포함할 수도 있다.

시신경유두와 망막의 혈관은 발생학적으로 뇌의 일부가 분화한 것으로 뇌의 혈관들과 유사한 특징을 가지고 있는 점에 비추어 볼 때, 망막 혈관의 이상과 뇌혈관 이상의 연관성이 있을 가능성이 있다. 즉, 뇌혈관의 이상이 망막 혈관의 이상으로 구현될 수도 있다. 이에 기초하여, 뇌동맥류 예측 장치(1000)는 대상자의 안저 사진을 이용하여 대상자가 뇌동맥류 질환자를 결정할 수 있다.

실시예들에 따른 뇌동맥류 예측 장치(1000)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 뇌동맥류 예측 장치(1000)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

데이터 획득부(10)는 안저 카메라에 의해 촬영된 대상자의 안저 사진을 수신한다. 상기 안저 카메라는 안저 사진을 획득할 수 있는 다양한 안저 카메라를 포함한다. 예를 들어, 상기 안저 카메라는 산동 안저 카메라, 무산동 안저 카메라, OCT 형(type) 안저 카메라 등을 포함할 수 있다.

일반적으로 안저 사진은 양안 안저 사진 형태로 획득된다. 그러나, 본 발명은 이에 제한되지 않으며, 데이터 획득부(10)는 단안 안저 사진을 획득할 수도 있다. 이 경우, 획득된 단안 안저 사진이 좌안의 안저 사진인지, 우안의 안저 사진인지 여부를 나타내는 라벨링 데이터를 더 획득할 수도 있다.

또한, 데이터 획득부(10)는 안저 사진과 관련된 데이터를 획득할 수 있다. 예를 들어, 안저 사진과 관련된 데이터는 안저 사진의 대상자를 식별할 수 있는 대상자 식별정보(예컨대, 성명, 신원 정보, 식별자 등)를 포함할 수 있다.

또한, 데이터 획득부(10)는 대상자의 안저 사진 및 안저 사진과 관련된 데이터를 예측부(50)에 제공한다. 예측부(50)에 제공되는 안저 사진은 예측부(50)에서 이용하는 뇌동맥류 예측 모델의 구조에 의존한다.

일 실시예에서, 뇌동맥류 예측 모델이 양안 안저 사진을 이용하여 학습된 경우, 데이터 획득부(10)는 대상자의 양안 안저 사진을 예측부(50)에 제공한다.

다른 일 실시예에서, 뇌동맥류 예측 모델이 단안 안저 사진을 이용하여 학습된 경우, 데이터 획득부(10)는 해당 단안 사진을 제공하도록 더 구성될 수 있다. 예를 들어, 뇌동맥류 예측 모델이 좌안 사진을 이용하여 학습된 경우, 양안 사진을 획득한 데이터 획득부(10)는 양안 사진을 필터링하여 좌안 사진만을 예측부(50)에 제공할 수도 있다.

예측부(50)는 대상자의 안저 사진을 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정한다. 일 실시예에서, 예측부(50)는 학습부(30)에 의해 학습된 상황 판단 모델을 이용하여 대상자가 질환자인지 결정할 수 있다.

다른 일 실시예에서, 예측부(50)는 학습부(30)에서 미리 학습된 상황 판단 모델을 이용하여 대상자가 질환자인지 결정할 수 있다. 이 경우, 미리 학습된 상황 판단 모델은 장치(1000)의 저장 장치(미도시)에 저장될 수 있다.

학습부(30)는 복수의 학습용 샘플을 이용하여 뇌동맥류 여부를 예측하는 뇌동맥류 예측 모델을 학습한다. 각 학습용 샘플은 양안 안저 사진 또는 단안 안저 사진, 뇌동맥류 여부를 나타내는 질환 데이터 등을 포함할 수 있다. 상기 질환 데이터는 뇌동맥류의 참(true), 거짓(false)를 나타내는 이진 라벨로 표현될 수 있다.

일 실시예에서, 학습부(30)는 도 1에 도시된 바와 같이, 뇌동맥류 예측 장치(1000)에 포함된 구성요소일 수 있다. 그러나, 본 발명은 이에 제한되지 않는다. 다른 일 실시예에서, 학습부(30)는 뇌동맥류 예측 장치(1000)에 원격 위치한 구성요소일 수 있다. 이 경우, 장치(1000)는 원격 위치한 학습부(30)에 의해 미리 생성된 뇌동맥류 예측 모델을 대상자에 대한 뇌동맥류 검사 이전에 수신하여 저장하고, 대상자에 대한 뇌동맥류 검사를 위해 이용할 수 있다. 이 경우, 뇌동맥류 예측 장치(1000)는 미리 생성된 뇌동맥류 예측 모델을 저장하기 위한 저장 장치(미도시)를 더 포함할 수 있다. 예를 들어, 저장 장치는 ROM(Read-only memory), 플래시 메모리, HDD(Hard disk drive) 등을 포함할 수 있다. 또는 뇌동맥류 예측 모델은 클라우드 서버에 저장되고, 장치(1000)는 상기 클라우드 서버와 통신하여 뇌동맥류 예측 모델을 이용하도록 구성될 수도 있다.

상기 뇌동맥류 예측 모델은, 하나 이상의 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 완전 연결 레이어(full-connected layer)를 포함하는 CNN(convolutional neural network) 구조로 구성될 수 있다.

일 실시예에서, 뇌동맥류 예측 모델의 적어도 일부는 잔차 병목 블록(residual bottleneck block)을 포함하도록 구성될 수 있다.

도 2는 잔차 학습(Residual learning)을 설명하기 위한 도면이다.

더 깊은(deeper) 망을 갖는 기계학습 모델이 학습 데이터 속에 존재하는 대표적인 개념을 잘 추출할 수 있어, 기계학습 모델에 포함된 망이 더 깊을수록 학습 결과가 좋아진다.

가중치 레이어들만으로 구성된 종래의 CNN 학습 모델의 경우, 입력이 x이면 하나 이상의 가중치 레이어(weight layer)를 통해 쌓여진 출력(stacked ouput) F(x)가 최종적으로 학습해야할 데이터이다.

그러나, CNN 구조의 망이 단순하게 깊어지면, 학습의 효과가 없어지거나 학습 속도가 아주 느려지고(Vanishing Gradient Problem), 깊은 망 구조를 가짐으로써 파라미터의 수가 비례적으로 늘어난 결과 학습한 데이터에만 최적화되어 학습하지 않은 데이터(즉, test data)에 대한 추론 성능이 악화되는 문제가 있다(Overfitting problem).

잔차 병목 블록은 깊은 구조(deep structure)를 갖는 CNN 기반 모델에 있어 기존의 스택 구조(stacked structure)에 일종의 스킵 연결(skip connection)(또는 숏컷(shortcut) 연결로 지칭됨)을 추가한 구조를 가진다.

잔차 병목 블록에서는 입력이 x이면, 최종적으로 학습해야할 데이터는 H(x)이다. 상기 H(x)는 F(x) + x로서, F(x) = H(x) - x로 표현될 수 있다. 따라서, 잔차 병목 블록은 가중치 레이어를 통해 쌓여진 출력 H(x)와 입력 간의 잔차(residual)를 학습함으로써 결과적으로 원래 학습을 의도한 결과 F(x)를 얻을 수 있다. 이와 같이, 잔차만 학습하면 되는 잔차 학습 블록 구조를 갖는 CNN 모델의 학습은 잔차 학습(residual learning)으로 지칭될 수 있다.

이러한 잔차 병목 블록을 포함한 CNN 모델을 이용할 경우, 깊은 망 구조에서도 쉽게 최적화가 가능하다. 따라서, 상기 잔차 병목 블록 구조에 기반한 뇌동맥류 예측 모델은 깊은 망 구조를 가지고 최적화될 수 있어, 높은 정확성을 가진다. 잔차 병목 블록 구조에 기반한 뇌동맥류 예측 모델의 구조에 대해서는 아래의 도 3 및 도 7 등을 참조하여 보다 상세하게 서술한다.

제1 실시예

도 3은, 본 발명의 제1 실시예에 따른, 단안 안저 사진이 적용되는 뇌동맥류 예측 모델의 구조를 설명하기 위한 도면이다.

도 3을 참조하면, 뇌동맥류 예측 모델은 입력 레이어(310), 특징 추출 레이어(330), 및 분류 레이어(350)를 포함한다.

일 실시예에서, 입력 레이어(310)는 학습을 위해 학습용 샘플을 수신하여 안저 이미지를 출력한다. 상기 안저 이미지는 특징 추출 레이어(330)로 전달된다. 예를 들어, 입력 레이어(310)는 512×512 크기의 RGB (즉, 512×512×3) 채널로 구성된 망막 안저 이미지(Retinal Fundus Image)로 출력하도록 구성될 수 있다.

일부 실시예에서, 입력 레이어(310)는 강화(augmentation) 처리가 수행되도록 더 구성될 수 있다. 예를 들어, 안저 사진에 대해 보다 강한 학습 결과를 도출하기 위해, 랜덤 플립(random filp), (예컨대, -30° 내지 30° 사이의) 랜덤 로테이션(random rotation), 랜덤 밝기 조정(random brightness adjustment), 랜덤 콘트라스트 조정(random contrast adjustment) 등이 수행될 수 있다.

특징 추출 레이어(330)는 입력 레이어(310)에서 출력된 출력 이미지로부터 뇌동맥류를 예측하는데 사용될 수 있는 특징들을 추출한다. 상기 특징들은 컨볼루션 필터를 통해 추출된다.

특징 추출 레이어(330)는 복수의 컨볼루션 레이어 및 풀링 레이어를 포함한다. 상기 복수의 컨볼루션 레이어 중 적어도 하나는 입력 데이터가 입력 데이터가 스택 구조를 통과하는 경로인 스택 경로, 그리고 스택 구조를 통과하지 않는 숏컷 경로를 통해 처리되도록 구성된 잔차 병목 블록(B)을 포함할 수 있다.

일 실시예에서, 잔차 병목 블록(B)은 스택 경로를 통해 진행하는 입력 데이터는 컨볼루션 필터가 적용되도록 모델링된 서브 컨볼루션 레이어를 적어도 하나 통과하여 특징을 추출하도록 (즉, 특징맵을 출력하도록) 구성된다. 상기 데이터의 진행은 경로를 따라 진행함으로써 수행되는 일련의 데이터 처리 과정을 지칭한다. 상기 스택 경로를 통해 처리된 출력 데이터는 숏컷 경로를 통해 진행한 데이터와 결합한다.

일부 실시예에서, 잔차 병목 블록은 특징 추출 과정에서 스택 경로에 입력된 데이터의 크기가 감소한 경우, 숏컷 경로에 입력된 데이터에 샘플링 필터가 적용되도록 더 구성될 수 있다. 샘플링 필터의 적용으로 인해, 스택 경로를 통해 출력된 데이터와 대응되는 데이터가 숏컷 경로를 통해 출력될 수 있다. 예를 들어, 스택 경로를 통해 출력된 특징맵이 입력된 특징맵 대비 1/2 사이즈인 경우, 숏컷 경로에는 출력된 특징맵과 동일한 사이즈의 특징맵을 출력하는 샘플링 필터가 적용될 수도 있다.

샘플링 필터는 스트라이드 동작만을 수행하도록 구성된 필터 또는 스트라이드 동작과 동시에 특징을 추출하도록 구성된 컨볼루션 필터를 포함한다. 상기 예에서, 스택 경로를 통해 출력된 특징맵이 1/2 사이즈로 샘플링된 경우, 샘플링 필터는 2픽셀 간격으로 이동하는 1×1 크기의 샘플링 필터일 수 있다.

도 4a는, 본 발명의 일 실시예에 따른, 도 3의 뇌동맥류 예측 모델의 세부 구조를 설명하기 위한 도면이다.

도 4a를 참조하면, 도 3의 뇌동맥류 예측 모델의 특징 추출 레이어(330)는 5개의 컨볼루션 레이어(331, 333, 334, 335, 336), 1개의 맥스 풀링 레이어(332), 1개의 평균 풀링 레이어(337)를 포함할 수 있다.

컨볼루션 레이어(331)는 입력 레이어(310)를 통해 입력된 데이터(예컨대, 512×512×3의 안저 이미지)에 컨볼루션 필터를 적용하여 특징맵을 출력한다. 일 예에서, 컨볼루션 레이어(331)는 7×7 크기의 필터 64개를 2픽셀 간격으로 이동하여 적용함으로써 컨볼루션 레이어(331)의 특징맵을 출력한다.

맥스 풀링 레이어(332)는 컨볼루션 레이어(331)에서 출력된 특징맵을 맥스 풀링 처리하도록 구성된다. 일 예에서, 맥스 풀링 레이어(332)는 3×3 크기의 필터를 2픽셀 간격으로 이동하며 적용함으로써 크기가 1/2로 샘플링된 특징맵을 출력한다.

컨볼루션 레이어(333)는 맥스 풀링 레이어(332)에서 출력된, 샘플링된 특징맵을 수신하고, 이에 컨볼루션 필터를 적용하여 특징맵을 출력한다.

일 실시예에서, 컨볼루션 레이어(333)는 잔차 병목 블록(B)을 포함한다. 도 4b를 참조하면, 컨볼루션 레이어(333)의 잔차 병목 블록(B)은 입력 데이터가 상기 복수의 서브 레이어를 순차적으로 거치면서 쌓여진 출력(stacking output)을 출력하는 스택 경로, 그리고 입력 데이터가 상기 스택 경로의 출력 데이터와 결합하게 하는 숏컷 경로로 진행하도록 구성된다. 상기 잔차 병목 블록은 스택 경로 상에 위치한 복수의 서브 레이어로서, 입력 데이터에 컨볼루션 필터가 적용되도록 구성된 복수의 서브 레이어를 포함한다. 복수의 서브 레이어 내에서 적어도 하나의 서브 레이어는 다른 서브 레이어에 포함된 컨볼루션 필터에 비해 낮은 차원의 데이터를 출력하는 컨볼루션 필터가 적용되도록 구성된다.

도 4b는, 본 발명의 일 실시예에 따른, 컨볼루션 레이어에 포함된 잔차 병목 블록의 구조를 설명하기 위한 도면이다.

구체적으로, 도 4b에 도시된 바와 같이, 컨볼루션 레이어(333)의 잔차 병목 블록(B)은 입력된 특징맵에 복수의 (예컨대, 64개) 1×1 크기의 컨볼루션 필터를 적용하여 제1 특징맵을 출력하는 서브 컨볼루션 레이어(3331), 서브 컨볼루션 레이어(3331)에서 출력된 제1 특징맵에 복수의 (예컨대, 64개) 3×3 크기의 필터를 적용하여 제2 특징맵을 출력하는 서브 컨볼루션 레이어(3333), 및 서브 컨볼루션 레이어(3333)에서 출력된 제2 특징맵에 복수의 (예컨대, 128개) 1×1 크기의 컨볼루션 필터를 적용하여 제3 특징맵을 출력하는 서브 컨볼루션 레이어(3335)를 포함한다. 상기 스택 경로의 입력 데이터에는 상기 서브 컨볼루션 레이어(3331, 3333, 3335)가 순차적으로 적용된다.

도 4b의 구조를 갖는 컨볼루션 레이어(333)는 1×1 필터를 갖는 서브 컨볼루션 레이어(3331)를 이용하여 데이터의 차원을 감소시킨 이후, 3×3 필터를 갖는 서브 컨볼루션 레이어(3333)를 이용하여 데이터 차원을 증가시킨다. 이와 같이, 3×3 필터를 갖는 서브 컨볼루션 레이어(3333)를 기준으로 줄어든 데이터의 차원이 증가한 후, 다시 줄어드는 현상이 나타나므로, 서브 컨볼루션 레이어(3333)는 병목 레이어(bottleneck layer)로 지칭될 수 있다.

컨볼루션 레이어(333)는 입력 데이터(즉, 샘플링된 특징맵)가 스택 경로에서 출력된 제3 특징맵과 결합하도록 더 구성된다. 상기 결합은 요소별(element-wise) 덧셈 처리에 의해 수행될 수 있다.

또한, 컨볼루션 레이어(333)는 서브 컨볼루션 레이어에서 출력된 데이터(특징맵)를 대체하도록 더 구성될 수 있다. 일 실시예에서, 컨볼루션 레이어(333)는 활성화 함수 ReLU를 이용하여 특징맵의 특징 값을 대체할 수 있다. ReLU는 0 이하의 입력에 대하여 0을 출력하고, 0을 초과하는 입력에 대하여 선형으로 비례하는 값을 출력하는 함수이다. 이 경우, 컨볼루션 레이어(333)는 스택 경로로 출력된 특징맵과 숏컷 경로로 출력된 특징맵이 결합된 출력 값에 활성화 함수 ReLU를 적용하여 대체값을 출력할 수 있다. 일부 실시예에서, 컨볼루션 레이어(333)는 서브 컨볼루션 레이어(3331, 3333)의 출력 값에도 활성화 함수 ReLU를 적용하도록 더 구성될 수 있다.

컨볼루션 레이어(333)는 특징 추출 과정이 복수회 반복되도록 더 구성될 수 있다. 일부 실시예에서, 컨볼루션 레이어(333)는 복수의 잔차 병목 블록(B)을 포함하여, 특징 추출 과정이 복수회 수행되도록 구성될 수 있다. 예를 들어, 컨볼루션 레이어(333)는 전술한 특징 추출 과정을 3회 반복(iterations)하기 위해 3개의 잔차 병목 블록(B)을 포함할 수 있다.

다른 컨볼루션 레이어(334, 335, 및 336)도 잔차 병목 블록(B)을 포함한다. 상기 잔차 병목 블록도 컨볼루션 필터를 포함한 복수의 서브 레이어를 포함하며, 입력 데이터가 상기 복수의 서브 레이어를 순차적으로 거치면서 쌓여진 출력(stacking output)을 출력하는 스택 경로, 그리고 입력 데이터가 상기 스택 경로의 출력 데이터와 결합하게 하는 숏컷 경로로 진행하도록 구성된다. 다른 컨볼루션 레이어(334, 335, 및 336)에 대해서는 컨볼루션 레이어(333)과의 차이점을 중심으로 서술한다.

다시 도 4a를 참조하면, 일 실시예에서, 컨볼루션 레이어(334)의 잔차 병목 블록(B)은 입력된 특징맵(예컨대, 컨볼루션 레이어(333)에서 출력된 특징맵)에 복수의 (예컨대, 128개) 1×1 크기의 컨볼루션 필터를 적용하여 제1 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3341); 서브 컨볼루션 레이어(3341)에서 출력된 제1 특징맵에 복수의 (예컨대, 128개) 3×3 크기의 컨볼루션 필터를 적용하여 제2 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3343); 및 서브 컨볼루션 레이어(3343)에서 출력된 제2 특징맵에 복수의 (예컨대, 512) 개) 1×1 크기의 컨볼루션 필터를 적용하여 제3 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3345)를 포함할 수 있다.

상기 스택 경로의 입력 데이터에는 상기 서브 컨볼루션 레이어(3341, 3343, 3345)가 순차적으로 적용된다.

일 실시예에서, 서브 컨볼루션 레이어 중 하나 이상은 특징맵의 크기를 감소시키도록 더 구성될 수 있다. 따라서, 스택 경로를 통해 출력된 데이터는 샘플링된 데이터일 수도 있다.

예를 들어, 도 4a에 도시된 바와 같이, 서브 컨볼루션 레이어(3341, 3343, 3345) 중에서 서브 컨볼루션 레이어(3341)는 2픽셀 간격으로 컨볼루션 필터가 이동하도록 구성되고, 다른 서브 컨볼루션 레이어(3343, 3345)는 1 픽셀 간격으로 컨볼루션 필터가 이동하도록 구성된다. 이 경우, 서브 컨볼루션 레이어(3341)의 출력 특징맵(도 4a의 64x64)은 입력 특징맵(도 4a의 128x128)에 비해 1/2 크기로 샘플링됨으로써, 컨볼루션 레이어(334)의 스택 경로를 통해서는 샘플링된 특징맵이 출력될 수 있다.

컨볼루션 레이어(334)는 숏컷 경로를 통해 진행하는 입력 데이터가 스택 경로에서 출력된 특징맵(예컨대, 서브 컨볼루션 레이어(3345)의 제3 특징맵)과 결합하도록 구성된다. 상기 결합은 요소별(element-wise) 덧셈 처리에 의해 수행될 수 있다.

일 실시예에서, 스택 경로를 통해 출력된 데이터(즉, 특징맵)가 샘플링된 경우, 컨볼루션 레이어(334)의 잔차 병목 블록(B)은 숏컷 경로를 통해 진행하는 데이터에 샘플링 필터를 적용하도록 더 구성된다. 상기 샘플링 필터는 스택 경로를 통해 출력된 데이터와 대응되는 데이터가 숏컷 경로를 통해 출력되게 한다. 예를 들어, 샘플링 필터는, 도 4a에 도시된 바와 같이, 서브 컨볼루션 레이어(3341, 3343, 3345) 중에서 서브 컨볼루션 레이어(3341)는 2픽셀 간격으로 컨볼루션 필터가 이동하도록 구성되어 스택 경로를 통해 1/2 크기로 샘플링된 특징맵이 출력되는 경우, 2 픽셀 간격으로 이동하는 1×1 크기의 샘플링 필터일 수 있다. 그 결과, 컨볼루션 레이어(334) 내에서 요소별(element-wise) 덧셈 처리가 가능하다.

또한, 컨볼루션 레이어(333)는 서브 컨볼루션 레이어에서 출력된 데이터(특징맵)를 대체하도록 더 구성될 수 있다. 일 실시예에서, 컨볼루션 레이어(334)는 서브 컨볼루션 레이어(3341, 3343)의 출력 값에 활성화 함수 ReLU를 적용하고, 서브 컨볼루션 레이어(3345, 3347)의 결합된 출력 값에 활성화 함수 ReLU를 적용하여 대체값을 출력할 수 있다.

컨볼루션 레이어(334)는 특징 추출 과정이 복수회 반복되도록 더 구성될 수 있다. 예를 들어, 컨볼루션 레이어(334)는 특징 추출 과정을 8회 반복(iterations)하기 위해 8개의 잔차 병목 블록을 포함할 수 있다.

일부 실시예에서, 컨볼루션 레이어(334)가 복수의 잔차 병목 블록을 포함할 경우, 복수의 잔차 병목 블록 중 하나 이상은 입력 특징맵을 샘플링처리하지 않도록 구성될 수 있다.

예를 들어, 도 4a에 도시된 바와 같이, 컨볼루션 레이어(334)에 포함된 복수의 잔차 병목 블록 중에서, 특징 추출 과정이 처음 수행되는 잔차 병목 블록에서는 (예컨대, 1×1 크기의 필터가 2픽셀 간격으로 이동함으로써) 스택 경로 및 숏컷 경로를 통해 샘플링된 특징맵이 출력되고, 나머지 잔차 병목 블록에서는 (예컨대, 1×1 크기의 필터가 1픽셀 간격으로 이동함으로써) 스택 경로 및 숏컷 경로를 통해 샘플링되지 않은 특징맵이 출력될 수도 있다.

컨볼루션 레이어(335)의 잔차 병목 블록(B)은 입력 특징맵(예컨대, 컨볼루션 레이어(334)에서 출력된 특징맵)에 1×1 크기의 복수의 (예컨대, 256개) 컨볼루션 필터를 적용하여 제1 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3351); 서브 컨볼루션 레이어(3351)에서 출력된 제1 특징맵에 복수의 (예컨대, 256개) 3×3 크기의 컨볼루션 필터를 적용하여 제2 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3353); 및 서브 컨볼루션 레이어(3353)에서 출력된 제2 특징맵에 복수의 (예컨대, 1024개) 1×1 크기의 컨볼루션 필터 를 적용하여 제3 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3355)를 포함할 수 있다.

상기 컨볼루션 레이어(335)의 잔차 병목 블록은 숏컷 경로를 통해 진행하는 입력 데이터가 스택 경로에서 출력된 특징맵(예컨대, 서브 컨볼루션 레이어(3355)의 제3 특징맵)과 결합하도록 구성된다.

또한, 컨볼루션 레이어(335)는 서브 컨볼루션 레이어에서 출력된 데이터(특징맵)를 대체하도록 더 구성될 수 있다.

일 실시예에서, 컨볼루션 레이어(335)에 포함된 잔차 병목 블록(B)의 서브 컨볼루션 레이어 중 적어도 하나는 입력 데이터(즉, 입력 특징맵)를 샘플링하도록 더 구성될 수 있다. 이 경우, 컨볼루션 레이어(335)에 포함된 잔차 병목 블록은 스택 경로를 통해 샘플링된 데이터가 출력되고, 숏컷 경로를 통해 샘플링된 데이터가 출력되도록 더 구성된다.

컨볼루션 레이어(335)는 특징 추출 과정이 복수회 반복되도록 더 구성될 수 있다. 예를 들어, 컨볼루션 레이어(335)는 특징 추출 과정을 64회 반복(iterations)하기 위해 64개의 잔차 병목 블록을 포함할 수 있다.

컨볼루션 레이어(335)는 컨볼루션 레이어(334)의 구성과 유사하므로, 자세한 설명은 생략한다.

컨볼루션 레이어(336)의 잔차 병목 블록(B)은 입력 특징맵(예컨대, 컨볼루션 레이어(335)에서 출력된 특징맵)에 1×1 크기의 복수의 (예컨대, 512개) 컨볼루션 필터를 적용하여 제1 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3361); 서브 컨볼루션 레이어(3361)에서 출력된 제1 특징맵에 복수의 (예컨대, 512개) 3×3 크기의 컨볼루션 필터를 적용하여 제2 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3363); 및 서브 컨볼루션 레이어(3363)에서 출력된 제2 특징맵에 복수의 (예컨대, 2048개) 1×1 크기의 컨볼루션 필터를 적용하여 제3 특징맵을 출력하도록 구성된 서브 컨볼루션 레이어(3365)를 포함할 수 있다.

상기 컨볼루션 레이어(336)의 잔차 병목 블록(B)은 숏컷 경로를 통해 진행하는 입력 데이터가 스택 경로에서 출력된 특징맵(예컨대, 서브 컨볼루션 레이어(3365)의 제3 특징맵)과 결합하도록 구성된다.

또한, 컨볼루션 레이어(336)는 서브 컨볼루션 레이어에서 출력된 데이터(특징맵)를 대체하도록 더 구성될 수 있다.

일 실시예에서, 컨볼루션 레이어(336)에 포함된 잔차 병목 블록(B)의 서브 컨볼루션 레이어 중 적어도 하나는 입력 데이터(즉, 입력 특징맵)를 샘플링하도록 더 구성될 수 있다. 이 경우, 컨볼루션 레이어(336)에 포함된 잔차 병목 블록(B)은 스택 경로를 통해 샘플링된 데이터가 출력되고, 숏컷 경로를 통해 샘플링된 데이터가 출력되도록 더 구성된다.

컨볼루션 레이어(336)는 특징 추출 과정이 복수회 반복되도록 더 구성될 수 있다. 예를 들어, 컨볼루션 레이어(336)는 특징 추출 과정을 3회 반복(iterations)하기 위해 3개의 잔차 병목 블록(B)을 포함할 수 있다.

컨볼루션 레이어(336)는 컨볼루션 레이어(334)의 구성과 유사하므로, 자세한 설명은 생략한다.

안저 사진이 전술한 컨볼루션 레이어(331, 333, 334, 335, 336)를 통해 처리되면, 뇌동맥류 여부를 예측할 수 있는 특징이 추출된다. 예를 들어, 특징 추출 레이어(330)에서는 안구 내 디스크(disc) 및 혈관과 관련된 특징이 활성화 함수가 적용되어 활성화된 특징맵(activation map)으로 출력될 수 있다.

평균 풀링 레이어(337)는 컨볼루션 레이어(336)를 통해 출력된 특징맵을 평균 풀링 처리하여 특징맵을 샘플링한다. 일 예에서, 평균 풀링 레이어(337)는 컨볼루션 레이어(336)에서 16x16크기의 특징맵이 출력되는 경우, 16×16 크기의 필터를 이용하여 평균 풀링 처리하고, 1×1×2048 크기를 갖는 뇌동맥류 특징맵을 출력한다.

분류 레이어(350)는 완전 연결 레이어(full connected layer)(351) 및/또는 확률 레이어(355)를 포함할 수 있다.

완전 연결 레이어(351)는 완전 연결된 복수의 노드로 구성되며, 각 노드는 노드별 가중치에 기초하여 입력 데이터를 출력 데이터로 변환한다. 완전 연결 레이어(351)는 특징 추출 레이어(330)에서 출력된 뇌동맥류 특징맵을 수신하고, 복수의 노드의 가중치에 기초하여 특징 값을 출력한다.

일 실시예에서, 완전 연결 레이어(351)에서 출력되는 특징 값은 두 그룹으로 분류된다. 예를 들어, 완전 연결 레이어(351)에서 1×1×2 크기를 갖는 특징 값이 출력되어 뇌동맥류 그룹 또는 비뇌동맥류 그룹으로 분류된다.

확률 레이어(355)는 완전 연결 레이어(351)에서 출력된 출력 값에 기초하여 해당 안저 사진이 뇌동맥류 그룹에 속할 확률을 산출한다. 일 예에서, 확률 레이어(355)는 다음과 같이 표현될 수 있는 소프트맥스(softmax) 수학식에 의해 확률을 산출할 수 있다.

[수학식 1]

여기서, yk는 k번째 그룹에 속할 확률을 나타낸다. 그리고, n은 완전 연결층(351)에서의 출력층의 노드의 수, e^ak는 완전 연결층(351)의 입력 신호 a_k의 지수 함수를 나타낸다.

소프트맥스 레이어(355)는 k번째 요소의 값을 전체 요소를 합한 값으로 나누어 0~1 사이의 값을 갖게 되는 확률 값을 산출할 수 있다.

분류 레이어(350)는 소프트맥스 레이어(355)에서 산출되는 확률 값에 기초하여 해당 안저 사진이 뇌동맥류를 가진 사람의 안저 사진인지 결정한다. 일 예에서, 뇌동맥류 그룹에 속할 확률(P1)이 0.5 이상인 경우, 해당 안저 사진은 뇌동맥류 그룹으로 분류될 수 있다. 상기 확률에 기초한 분류 방식은 단순한 예시로서, 이에 제한되진 않으며, 다양한 방식에 의한 확률 임계 값을 분류를 위해 이용할 수 있다. 다른 예에서, ROC 커브를 이용하여 획득된 최적 값을 확률 임계 값으로 설정할 수 있다.

상기 수학식 1은 단순한 예시로서, 상기 확률 (P1)은 다른 소프트맥스 수학식 등에 의해 산출될 수도 있다.

학습부(30)는 도 3의 뇌동맥류 예측 모델의 파라미터들을 학습에 따라 업데이트한다. 구체적으로, 복수의 학습용 샘플에 포함된 안저 사진을 뇌동맥류 예측 모델에 입력하여 해당 안저 사진을 분류하고, 상기 분류 결과(즉, 모델 적용 결과)와 학습용 샘플에 포함된 질환 데이터(즉, 실제 결과)와 비교하여 오차를 줄여나가도록 파라미터를 업데이트한다. 이러한 과정을 통해, 특징 추출 레이어(330)(예컨대, 컨볼루션 레이어) 및/또는 분류 레이어(350)(예컨대, 완전 연결 레이어)가 학습된다.

학습부(30)는 학습용 샘플을 이용하여 단안 안저 사진에 기초하여 뇌동맥류 여부를 판단하는 도 3의 뇌동맥류 예측 모델을 모델링한다. 여기서 학습용 샘플은 단안 안저 사진으로서, 좌안 안저 사진 또는 우안 안저 사진을 포함한다.

일부 실시예에서, 샘플을 위해 특정 촬영자로부터 좌안 및 우안 안저 사진을 획득한 경우, 특정 촬영자의 각각의 안저 사진이 학습용 샘플로 모두 이용되지 않는다. 예를 들어, 특정 촬영자에 대한 좌안 안저 사진에 기초하여 뇌동맥류 예측 모델이 학습된 경우, 동일한 특정 촬영자에 대한 우안 안저 사진에 기초하여 뇌동맥류 예측 모델이 더 학습되지 않는다. 그러나, 상기 예에서, 도 3의 뇌동맥류 예측 모델을 학습하는데 있어서, 특정 유형의 단안 안저 사진으로 제한되진 않는다. 제1 촬영자에 대한 좌안 안저 사진에 기초하여 뇌동맥류 예측 모델이 학습된 경우, 제2 촬영자에 대한 우안 안저 사진에 기초하여 뇌동맥류 예측 모델이 더 학습될 수도 있다.

안저 사진을 입력으로 하는 뇌동맥류 예측 모델의 파라미터는 뇌동맥류 예측 질환 모델의 비용 함수가 최소화되는 방향으로 업데이트된다. 여기서, 비용 함수는 모델에서 내놓는 결과 값과 실제 결과 값의 차이를 나타낸다. 이러한 파라미터의 업데이트는 통상적으로 최적화로 지칭된다. 일 예에서, 파라미터 최적화는 ADAM(Adaptive Moment Estimation)을 통해 수행될 수 있으나, 이에 제한되지 않으며, Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp 등과 같은 다양한 경사 하강(gradient discent) 방식에 의해 수행될 수도 있다.

컨볼루션 레이어 및 완전 연결 레이어에 대한 학습 과정은 전향 계산(bias calucation), 오류 역전파, 가중치 업데이트의 3단계로 구성된다. 반면, 풀링 레이어는 연결선에 가중치가 할당되어 있지 않으므로, 전향 계산과 오류 역전파의 두 단계로만 구성된다. 이는 CNN 구조의 학습 모델에 대해 통상적으로 사용되는 학습 과정이므로, 자세한 설명은 생략한다.

결국, 도 3의 뇌동맥류 예측 모델의 뇌동맥류 예측 능력이 강화되도록 학습된다. 구체적으로, 도 3의 뇌동맥류 예측 모델은 복수의 학습용 샘플에 포함된 안저 사진이 입력 받고, 상기 샘플의 안저 사진으로부터 뇌동맥류 예측을 위한 특징을 추출한 뒤, 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비뇌동맥류 그룹으로 분류하는 것에 대해 학습된다. 뇌동맥류 예측 장치(1000)는 이와 같이 학습된 뇌동맥류 예측 모델(1)에 대상자의 단안 안저 사진을 적용하여 대상자가 뇌동맥류 질환자인지 결정할 수 있다.

도 5는, 본 발명의 일 실시예에 따른, 도 3의 모델을 이용하여 뇌동맥류를 판단하는 과정을 설명하는 흐름도이다.

단계(S610)에서, 대상자의 안저 사진을 획득한다. 대상자의 안저 사진은 안저 카메라에 의해 촬영될 수 있다. 안저 카메라는 뇌동맥류 예측 장치(1000)와 유/무선 통신 가능하도록 전기적으로 연결될 수 있다.

일 실시예에서, 안저 카메라가 외부에 결합되거나, 또는 원격 위치하여 전기적으로 통신가능하도록 구성된 경우, 뇌동맥류 예측 장치(1000)의 데이터 획득부(10)는 안저 카메라가 촬영한 안저 사진 데이터를 획득한다.

데이터 획득부(10)는 대상자의 단안 안저 사진을 예측부(50)에 제공한다. 상기 과정에서 단안 안저 사진의 제공은 다양하게 수행될 수도 있다. 일 예에서, 데이터 획득부(10)는 단안 안저 사진을 획득할 수 있다. 다른 일 예에서, 안저 카메라에 의해 양안 안저 사진이 촬영되고 양안 안저 사진을 수신한 경우, 데이터 획득부(10)는 양안 안저 사진을 필터링하여 단안 안저 사진을 예측부(50)에 제공한다.

일부 실시예에서, 데이터 획득부(10)는 대상자의 신원(예컨대, 성명, 나이, 식별자 등을 포함함) 등과 같은 안저 사진에 연관된 데이터를 예측부(50)에 더 제공할 수 있다.

그러면, 단계(S650)에서, 예측부(50)는 대상자의 단안 안저 사진을 뇌동맥류 예측 모델(1)에 적용한다. 뇌동맥류 예측 모델(1)은 해당 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류한다. 해당 안저 사진이 뇌동맥류 그룹으로 분류된 경우, 안저 사진의 대상자가 뇌동맥류를 가지고 있다고 (즉, 안저 사진의 대상자를 뇌동맥류 질환자로) 결정한다.

추가적으로, 뇌동맥류 예측 장치(1000)는 예측부(50)의 예측 결과를 사용자에게 제공할 수도 있다.

상기 뇌동맥류 예측 모델(1)을 이용하면, 대상자가 미파열성 뇌동맥류를 가지고 있는지 여부도 예측할 수 있다. 특히, 예측 과정에서 침습식 검사가 수행되지 않으므로, 대상자의 신체는 보다 안전할 수 있다.

상기 뇌동맥류 예측 장치(1000)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 뇌동맥류 예측 장치(1000)는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

제2 실시예

도 6은, 본 발명의 제2 실시예에 따른, 뇌동맥류 예측 모델의 구조를 설명하기 위한 도면이다.

본 발명의 제2 실시예에 따른 뇌동맥류 예측 모델(2)의 구조는 도 3의 제1 실시예에 따른 뇌동맥류 예측 모델의 구조와 상당 부분 유사하므로, 차이점을 위주로 설명한다.

도 6을 참조하면, 제2 실시예에 따른 뇌동맥류 예측 모델(2)은 제1 입력 레이어(310A), 제1 특징 추출 레이어(330A), 제2 입력 레이어(310B), 제2 특징 추출 레이어(330B) 및 분류 레이어(350)를 포함한다. 또한, 제1 특징 추출 레이어(330A)의 출력 값과 제2 특징 추출 레이어(330B)를 결합하는 결합 레이어(340)를 포함할 수 있다.

뇌동맥류 예측 모델(2)은 양안 안저 사진을 입력 받아 학습된다. 양안 중 제1안(예컨대, 왼쪽 눈)에 대한 안저 사진은 제1 입력 레이어(310A) 및 제1 특징 추출 레이어(330A)를 통해 특징이 추출되며, 양안 중 제2 안(예컨대, 오른쪽 눈)에 대한 안저 사진은 제2 입력 레이어(310B) 및 제2 특징 추출 레이어(330B)를 통해 특징이 출력된다.

일 실시예에서, 제1 특징 추출 레이어(330A) 및 제2 특징 추출 레이어(330B)는 전술한 도 4a와 동일한 구조를 가질 수 있다. 이 경우, 제1 특징 추출 레이어(330A)에서 출력되는 제1 안에 대한 특징 값은 1x1x2048 크기의 특징맵, 즉 특징 벡터가 출력되고, 제2 특징 추출 레이어(330B)에서 출력되는 제2 안에 대한 특징 값은 1x1x2048 크기의 특징맵, 즉 특징 벡터가 출력된다.

결합 레이어(340)는 추출된 특징을 분류 레이어(350)에 입력하기 이전에, 제1안에 대한 특징 값과 제2 안에 대한 특징 값을 결합한다. 일 예에서, 결합 레이어(340)의 결합은 잔차 병목 블록에서 수행되는 특징맵의 요소별 결합과 상이한 결합으로서, 도 6에 도시된 바와 같이 제1 특징 추출 레이어(330A)에서 출력된 특징 벡터와 제2 특징 추출 레이어(330B)에서 출력된 특징 벡터를 벡터 결합(vector-concatenation) 처리에 의해 수행된다.

분류 레이어(350)는 결합 레이어(340)에서 결합된 특징 값을 수신하여 양안 안저 사진을 뇌동맥류 그룹과 비뇌동맥류 그룹으로 분류한다.

뇌동맥류 예측 모델(2)은 양안의 안저 사진을 포함한 학습용 샘플을 이용하여 특징 추출 레이어(330A, 330B) 및/또는 분류 에이어(350)의 파라미터를 기계 학습한다. 도 7의 구조를 갖는 뇌동맥류 예측 모델(2)의 학습은 제1 실시예의 뇌동맥류 예측 모델(1)의 학습과 유사하므로, 자세한 설명은 생략한다. 뇌동맥류 예측 장치(1000)는 미리 학습된 도 7의 뇌동맥류 예측 모델(2)에 대상자의 양안 안저 사진을 적용하여 대상자가 뇌동맥류 질환자인지 결정한다.

도 6의 모델을 이용하여 뇌동맥류를 예측하는 과정은 도 5에 도시된 과정과 유사하다.

우선, 단계(S610)에서, 데이터 획득부(10)는 대상자의 양안 안저 사진을 획득한다. 또는 대상자 식별 정보를 더 획득할 수 있다.

그러면, 단계(S630)에서, 예측부(50)는 대상자의 양안 안저 사진을 도 6의 뇌동맥류 예측 모델(2)에 적용한다. 예측부(50)는 대상자의 양안 안저 사진 중에서 제1 안에 대한 안저 사진을 제1 입력 레이어(310A)로 입력하고, 제2 안에 대한 안저 사진을 제2 입력 레이어(310B)로 입력한다. 뇌동맥류 예측 모델(2)은 양안 안저 사진으로부터 추출된 특징 값에 기초하여 대상자의 양안 안저 사진이 뇌동맥류 그룹에 분류되는지 여부를 결정한다.

그리고 단계(S650)에서, 양안 안저 사진이 뇌동맥류 예측 그룹에 분류되는 것으로 결정되면, 예측부(50)는 양안 안저 사진의 대상자가 뇌동맥류가 있다고 결정한다.

도 7은 본 발명의 일 실시예에 따른, 양안 안저 사진을 이용한 예측 결과를 도시한 도면이다.

도 7에 도시된 바와 같이, 뇌동맥류 예측 장치(1000)가 실제 뇌동맥류 질환자인 대상자(X)의 양안 안저 사진을 뇌동맥류 예측 모델(2)에 적용하면, 대상자(X)를 뇌동맥류 질환자로 결정한 결과를 얻을 수 있다. 또한, 뇌동맥류 예측 장치(1000)가 뇌동맥류 비질환자인 대상자(Y)의 양안 안저 사진을 뇌동맥류 예측 모델(2)에 적용하면, 대상자(Y)를 정상(normal)으로 결정한 결과를 얻을 수 있다.

실험예

도 8는, 본 발명의 실험예들에 따른, 도 3 및 도 6의 모델의 성능을 설명하기 위한 도면이다.

제1 실험예는 뇌동맥류 질환자의 안저 사진과 정상 안저 사진의 비율을 1:1로 설정한 후, 단안 안저 사진을 이용하여 학습하였고, 제2 실험예는 뇌동맥류 질환자의 안저 사진과 정상 안저 사진의 비율을 1:1로 설정한 후, 양안 안저 사진을 이용하여 학습하였고, 제3 실험예는 뇌동맥류 질환자의 안저 사진과 정상 안저 사진의 비율을 1:2로 설정한 후, 양안 안저 사진을 이용하여 학습하였다. 즉, 제1 실험예는 도 3의 모델과 관련되고, 제2 및 제3 실험예는 도 6의 모델과 관련된다.

상기 실험예들의 실험 상황은 다음과 같은 환경에서 수행하였다. 학습은 데이터 강화(data augmentation)를 위해 랜덤 플립(random flip), -30° 내지 30° 사이의) 랜덤 로테이션(random rotation), 랜덤 밝기 조정(random brightness adjustment) 및 랜덤 콘트래스트 조정(random contrast adjustment)을 적용하였다. 양안 안저 사진을 이용하여 모델을 학습할 경우, 각각의 안저사진에 대해 데이터 강화를 적용하였다. 또한 영상의 정규화(normalization)을 위해 Z-스코어 정규화(Z-score normalization)를 전처리 기법으로 활용하였다. 학습과정은 배치(batch) 설정 값을 4로 설정하여 20000회 반복(iteration) 학습하고, 최적화를 위해 ADAM 방식을 활용하였다. 최적화 파라미터는 초기값(beta1: 0.9, beta2: 0.999)로 설정한상태로 학습하였다. 비용 함수(loss function로는 교차-엔트로피(Cross-Entropy) 함수를 사용하였다.

데이터의 규모가 작기때문에 5-폴드 교차 검증(fold corss validation) 방법을 통해 도 3 및 도 6의 모델(1, 2)의 성능을 검증하였다. 교차 검증은 모든 데이터가 최소 한번은 테스트 세트로 사용되도록 하는 검증 방법으로서, 데이터를 다수의 군으로 분할한뒤 매번 테스트 세트를 변형하여 학습 모델의 성능을 평가하는 검증 방식이다.

학습용 샘플을5개의 폴드(fold)로 나누어 검증을 진행되었으며, 제1 내지 제4 폴드에는 학습용 샘플(즉, training data)로서 안저 사진 572장(aneurysm 286장, normal 286장), 대상자의 안저 사진(즉, test data) 144장으로 설정하였고, 제5 폴드에는 학습용 샘플 안저 사진 576장(aneurysm 288장, normal 288장), 대상자의 안저 사진 140장으로 설정하였다.

제1 내지 제3 실험예에 따른 학습 결과는 다음의 4가지의 평가 방법을 통해 정량적인 결과로 도출되었다: ROC AUC(Receiver Operating Characteristic Area Under Curve), ACC(Accuracy), Se(Sensitivity), Sp(Specificity).

도 8을 참조하면, 단안 안저 사진을 이용하여 학습된 뇌동맥류 예측 모델(1) 및 양안 안저 사진을 이용하여 학습된 뇌동맥류 예측 모델(2) 모두 대략 97 내지 99%의 ROC AUC를 가진다. 또한, 단안 안저 사진을 이용하여 학습된 뇌동맥류 예측 모델(1)에 대해서는 대략 90%의 ACC를 가지고, 양안 안저 사진을 이용하여 학습된 뇌동맥류 예측 모델(2)에 대해서는 최소 80% 이상의 ACC를 가진다. 즉, 본 발명에 따른 안저 사진을 이용하여 학습된 뇌동맥류 예측 모델(1, 2)는 우수한 뇌동맥류 예측 성능을 가진다는 것을 확인할 수 있다. 이는 인간 의사의 경우는 뇌동맥류 진단을 위해 기존에 침습식이나 고방사선 이용 등 선별 검사가 필요하였던 바와 같이 안저 사진으로 뇌동맥류를 예측할 수 없는 것을 고려할 때 더욱 우수한 결과이다.

이상에서 설명한 실시예들에 따른 뇌동맥류 예측 장치 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

본 발명의 일 측면에 따른 뇌동맥류 예측 장치는 종래의 침습 기반 검사 위주였던 뇌동맥류 예측 기술과 달리, 비침습적이면서 4차 산업 기술 중 하나인 기계 러닝(machine learning)을 이용하여 뇌동맥류 질환자 여부를 예측할 수 있다. 그 결과, 기존의 뇌동맥류 검사보다 안전하게 뇌동맥류를 예측할 수 있다.

특히, 안저 사진을 이용하여 뇌동맥류를 예측할 수 있다. 눈의 망막 안저(retina fundus)는 실제 빛을 인식하는 카메라의 필름과 같은 조직이며, 안저 카메라(fundus camera)를 이용하여 쉽게 안저 사진을 얻을 수 있다. 안저 카메라는 침습적인 처치가 필요하지 않고 방사선을 사용하지 않을 뿐만 아니라 촬영 시간이 수 분 이내로 짧다. 이러한 안저 카메라를 이용한 안저 검사는 비용이 매우 저렴하다(현재 보험수가 7990원, 일반수가 20770원)이다. 또한, 안저 카메라는 거의 모든 안과의원 및 안과병원에 보급되어 있을 뿐만 아니라 다수의 검진센터들도 보유하고 있어, 접근성, 보급성이 뛰어나다. 무엇보다도 안저 사진은 시신경유두와 망막, 맥락막의 혈관(동맥, 정맥, 모세혈관 등)을 아주 높은 해상도로 제공하며, 망막의 혈관을 직접 관찰할 수 있는 망막안저의 조직특성상 안저 사진은 최신의 자기공명영상 장비들이 가진 혈관 해상력보다도 수십 배 훨씬 높은 해상도를 가지고 있다.

이러한 장점을 갖는 안저 사진 촬영을 이용하여 뇌동맥류를 예측할 수 있다면, 지주막하출혈 등과 같은 뇌동맥류에 대한 예방치료에 있어 획기적인 발전을 이룰 것으로 예상된다. 따라서, 지주막하출혈로 인한 사회, 경제적 비용을 경함할 수 있는 막대한 효과를 얻을 수 있다.

나아가, 본 발명을 통해 안저 사진으로부터 뇌혈관 이상 여부를 결정할 수 있다는 가능성이 시사되었는 바, 시신경유두와 망막의 혈관은 발생학적으로 뇌의 일부가 분화한 것으로 뇌의 혈관들과 유사한 특징을 가지고 있는 점에 비추어 볼 때, 망막 혈관의 이상과 뇌혈관 이상의 연관성에 대한 의료 분야의 이론에도 새로운 지평을 열 수 있다고 판단된다.

Claims (23)

1. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 뇌동맥류 예측 결과 제공 방법에 있어서,
   대상자의 안저 사진을 획득하는 단계; 및
   상기 대상자의 안저 사진 데이터를 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 단계;를 포함하되,
   상기 뇌동맥류 예측 모델은 학습용 안저 사진을 포함하는 복수의 학습용 샘플을 이용하여 입력된 안저 사진을 뇌동맥류 그룹으로 분류하는 능력이 학습된 모델로서, 상기 뇌동맥류 예측 모델의 비용 함수를 최소화되는 방향으로 상기 뇌동맥류 예측 모델에 포함된 파라미터를 업데이트하여 학습되며,
   상기 비용 함수(loss function)는 뇌동맥류 예측 모델에 안저 사진을 적용한 결과 값과 실제 값과의 차이를 나타내는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
2. 제1항에 있어서, 상기 뇌동맥류 예측 모델은,
   안저 사진이 입력되는 입력 레이어;
   복수의 컨볼루션 레이어 및 풀링 레이어를 포함하며, 상기 입력 레이어의 안저 사진에서 특징을 추출하는 특징 추출 레이어; 및
   복수의 노드를 포함한 완전 연결 레이어를 포함하며, 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
3. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 뇌동맥류 예측 결과 제공 방법에 있어서,
   대상자의 안저 사진을 획득하는 단계; 및
   상기 대상자의 안저 사진 데이터를 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 단계;를 포함하되,
   상기 뇌동맥류 예측 모델은 학습용 안저 사진을 포함하는 복수의 학습용 샘플을 이용하여 입력된 안저 사진을 뇌동맥류 그룹으로 분류하는 능력이 학습된 모델로서,
   상기 뇌동맥류 예측 모델은,
   안저 사진이 입력되는 입력 레이어;
   복수의 컨볼루션 레이어 및 풀링 레이어를 포함하며, 상기 입력 레이어의 안저 사진에서 특징을 추출하는 특징 추출 레이어; 및
   복수의 노드를 포함한 완전 연결 레이어를 포함하며, 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함하고,
   상기 복수의 컨볼루션 레이어 중 적어도 하나는 입력 데이터가 복수의 경로로 진행한 뒤 다시 결합하도록 구성된 잔차 병목 블록(Residual Bottleneck Block)을 포함하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
4. 제3항에 있어서,
   상기 잔차 병목 블록은 입력 데이터가 제1 경로 및 제2 경로를 통해 진행하고, 상기 제1 경로를 통해 진행한 데이터와 상기 제2 경로를 통해 진행한 데이터가 결합하도록 구성되며,
   상기 제1 경로를 통해 진행하는 데이터는 컨볼루션 필터가 적용되도록 구성된 복수의 서브 컨볼루션 레이어를 통해 진행하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
5. 제4항에 있어서,
   상기 복수의 서브 컨볼루션 레이어 중 적어도 하나는 다른 컨볼루션 필터에 비해 낮은 차원의 데이터를 출력하도록 구성된 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
6. 제5항에 있어서, 상기 잔차 병목 블록은,
   입력된 특징맵에 복수의 1×1 크기의 필터를 적용하여 제1 특징맵을 출력하는 제1 서브 컨볼루션 레이어, 제1 서브 컨볼루션 레이어에서 출력된 제1 특징맵에 복수의 3×3 크기의 필터를 적용하여 제2 특징맵을 출력하는 제2 서브 컨볼루션 레이어, 및 제2 서브 컨볼루션 레이어에서 출력된 제2 특징맵에 복수의 1×1 크기의 필터를 적용하여 제3 특징맵을 출력하는 제3 서브 컨볼루션 레이어를 포함하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
7. 제4항에 있어서,
   상기 복수의 서브 컨볼루션 레이어 중 적어도 하나가 샘플링 데이터를 출력하도록 모델링된 경우, 상기 제2 경로를 통해 진행하는 입력 데이터는 상기 제1 경로의 샘플링 데이터에 대응하도록 샘플링 처리되는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
8. 제3항에 있어서,
   상기 잔차 병목 블록에서의 데이터 결합은 요소별(element-wise) 덧셈 처리에 의해 수행되는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
9. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 뇌동맥류 예측 결과 제공 방법에 있어서,
   대상자의 안저 사진을 획득하는 단계; 및
   상기 대상자의 안저 사진 데이터를 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 단계;를 포함하되,
   상기 뇌동맥류 예측 모델은 학습용 안저 사진을 포함하는 복수의 학습용 샘플을 이용하여 입력된 안저 사진을 뇌동맥류 그룹으로 분류하는 능력이 학습된 모델로서,
   상기 뇌동맥류 예측 모델은,
   안저 사진이 입력되는 입력 레이어;
   복수의 컨볼루션 레이어 및 풀링 레이어를 포함하며, 상기 입력 레이어의 안저 사진에서 특징을 추출하는 특징 추출 레이어; 및
   복수의 노드를 포함한 완전 연결 레이어를 포함하며, 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함하고,
   상기 특징 추출 레이어는 제1 컨볼루션 레이어를 포함하되,
   상기 제1 컨볼루션 레이어는 상기 입력 레이어에서 출력된 안저 이미지에 7×7 크기의 필터 64개를 이용하여 제1 특징맵을 출력하도록 구성되는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
10. 제9항에 있어서,
    상기 특징 추출 레이어는 상기 제1 특징맵을 맥스 풀링 처리하도록 구성된 맥스 풀링 레이어를 더 포함하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
11. 제9항에 있어서,
    상기 특징 추출 레이어는 제2 내지 제4 컨볼루션 레이어를 더 포함하되,
    상기 제2 컨볼루션 레이어 내지 제4 컨볼루션 레이어 중 적어도 하나는 입력 데이터가 복수의 경로로 진행한 뒤 다시 결합하도록 구성된 잔차 병목 블록을 포함하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
12. 제11항에 있어서,
    상기 제2 컨볼루션 레이어 내지 제4 컨볼루션 레이어 중 적어도 하나에 포함된 잔차 병목 블록은 복수인 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
13. 제12항에 있어서,
    상기 잔차 병목 블록이 복수인 경우, 하나 이상의 잔차 병목 블록은 입력 데이터를 샘플링하여 출력하도록 구성되는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
14. 삭제
15. 제1항에 있어서, 상기 뇌동맥류 예측 모델은,
    단안 안저 사진을 포함한 학습용 샘플을 이용하여 학습된 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
16. 제15항에 있어서, 상기 대상자의 안저 사진을 획득하는 단계는,
    상기 대상자의 양안 안저 사진을 획득한 경우, 단안 안저 사진이 상기 뇌동맥류 예측 모델에 적용되도록 상기 양안 안저 사진을 필터링하는 단계를 더 포함하는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
17. 제1항에 있어서, 상기 뇌동맥류 예측 모델은,
    양안 안저 사진을 포함한 학습용 샘플을 이용하여 학습된 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
18. 제17항에 있어서, 상기 뇌동맥류 예측 모델은,
    제1 안저 사진이 입력되는 제1 입력 레이어;
    상기 제1 안저 사진의 특징을 추출하는 제1 특징 추출 레이어;
    제2 안저 사진이 입력되는 제2 입력 레이어;
    상기 제2 안저 사진의 특징을 추출하는 제2 특징 추출 레이어;
    상기 제1 특징 추출 레이어의 특징 값과 제2 특징 추출 레이어의 특징 값을 결합하도록 구성된 결합 레이어; 및
    상기 결합된 특징 값에 기초하여 양안 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함하는 뇌동맥류 예측 결과 제공 방법.
19. 제18항에 있어서, 상기 결합 레이어는 벡터-결합(vector concatenation) 처리하도록 구성되는 것을 특징으로 하는 뇌동맥류 예측 결과 제공 방법.
20. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제13항 및 제15항 내지 제19항 중 어느 하나의 항에 따른 뇌동맥류 예측 방법을 수행하게 하는 컴퓨터 판독가능 기록매체
21. 안저 사진을 이용하여 뇌동맥류를 예측하는 뇌동맥류 예측 장치로서,
    미리 학습된 뇌동맥류 예측 모델을 저장하는 저장부;
    대상자의 안저 사진을 획득하는 데이터 획득부; 및
    상기 대상자의 안저 사진 데이터를 상기 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 예측부를 포함하되,
    상기 뇌동맥류 예측 모델은 학습용 안저 사진을 포함하는 복수의 학습용 샘플을 이용하여 입력된 안저 사진을 뇌동맥류 그룹으로 분류하는 능력이 학습된 모델로서, 상기 뇌동맥류 예측 모델의 비용 함수를 최소화되는 방향으로 상기 뇌동맥류 예측 모델에 포함된 파라미터를 업데이트하여 학습되며,
    상기 비용 함수(loss function)는 뇌동맥류 예측 모델에 안저 사진을 적용한 결과 값과 실제 값과의 차이를 나타내는 것을 특징으로 하는 뇌동맥류 예측 장치.
22. 제21항에 있어서, 상기 뇌동맥류 예측 모델은,
    단안 안저 사진이 입력되는 입력 레이어;
    복수의 컨볼루션 레이어 및 풀링 레이어를 포함하며, 상기 입력 레이어의 안저 사진에서 특징을 추출하는 특징 추출 레이어; 및
    복수의 노드를 포함한 완전 연결 레이어를 포함하며, 상기 특징에 기초하여 입력된 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함하는 것을 특징으로 하는 뇌동맥류 예측 장치.
23. 안저 사진을 이용하여 뇌동맥류를 예측하는 뇌동맥류 예측 장치로서,
    미리 학습된 뇌동맥류 예측 모델을 저장하는 저장부;
    대상자의 안저 사진을 획득하는 데이터 획득부; 및
    상기 대상자의 안저 사진 데이터를 상기 뇌동맥류 예측 모델에 적용하여 상기 대상자가 뇌동맥류를 가지고 있는지 여부를 결정하는 예측부를 포함하되,
    상기 뇌동맥류 예측 모델은,
    제1 안저 사진이 입력되는 제1 입력 레이어;
    상기 제1 안저 사진의 특징을 추출하는 제1 특징 추출 레이어;
    제2 안저 사진이 입력되는 제2 입력 레이어;
    상기 제2 안저 사진의 특징을 추출하는 제2 특징 추출 레이어;
    상기 제1 특징 추출 레이어의 특징 값과 제2 특징 추출 레이어의 특징 값을 결합하도록 구성된 결합 레이어; 및
    상기 결합된 특징 값에 기초하여 양안 안저 사진을 뇌동맥류 그룹 또는 비질환 그룹으로 분류하는 분류 레이어를 포함하는 것을 특징으로 하는 뇌동맥류 예측 장치.

Images