KR102414994B1 - 안저영상을 이용한 혈관질환 예측 지원방법 및 지원장치, 이를 포함하는 시스템 - Google Patents

Abstract

기계 학습모델에 기초하여 피검자의 제1안저 영상으로부터 속성정보를 추출하고, 상기 제 1안저 영상에 대해 특징 요소(Saliency factor)를 맵핑하여 상기 속성정보와 대응되는 특징을 갖는 제2 안저영상을 생성하고, 제 1안저영상과 상기 제2안저영상을 외부 엔티티에 제공방법을 포함하는 안저영상을 이용한 혈관질환 예측 지원장치 및 지원방법을 제공한다.

Description

안저영상을 이용한 혈관질환 예측 지원방법 및 지원장치, 이를 포함하는 시스템 {METHOD FOR FACILITATING VALIDATION OF VASCULAR DISEASE USING FUNDUS IMAGE, APPARATUS THEREFOR AND SYSTEM INCLUDING THE SAME}

본 발명은 생체 이미지, 예를들어, 안저영상을 활용하여 피검자의 동맥경화, 협심증, 심근경색 등과 같은 심혈관 질환을 예측 지원방법 및 장치, 이를 포함하는 안저영상을 이용한 혈관질환 예측 지원 시스템에 관한 것이다.

심혈관 질환 (Cardiovascular disease, CVD)은 전 세계적으로 가장 흔한 사망 원인이며 모든 사망의 약 30 %를 차지하고 있어서, 심혈관 질환 위험의 평가 및 예방은 임상적으로 매우 중요하다.

최근 인공지능 학습모델이 발달함에 따라 의료영상을 판독함에 많은 기계 학습모델을 이용하고 있다. 특히, 의료 분야 중 안과 분야 역시 이와 같은 학습모델을 이용하여 현재 피검사자의 질환을 예측하기 위하여 영상 판독(finding/diagnosis)을 지원하는데 사용되고 있다.

예를들어, 대한민국 공개특허 10-2019-0074477(이하,'선행특허'라 함)의 경우, 안구영상을 이용한 심뇌혈관 질환 예측방법에 대해 기재되어 있다. 구체적으로, 선행특허는 OCT(Optical Coherence Tomography) 영상을 이용하여 심뇌혈관 질환을 예측하고 있지만, 실질적으론, OCT 안구영상과 다른 마커, 예를들어, 관상동맥 CT 촬영을 통한 관상동맥 석회화 지수, 관상동맥 내의 칼슘량, 초음파 촬영을 통한 경동맥 두께 등 간의 상관관계에 기초하여 환자의 심뇌혈관 질환여부를 예측하고 있다.

즉, 적어도 하나 이상의 마커 값을 라벨링한 학습 데이터를 이용하여 안구영상과 마커간의 상관관계를 나타내는 모델을 학습시켜 환자의 심뇌혈관 질환여부를 예측하고 있다.

그러나, 인공지능 학습모델을 이용하여 질환을 예측할 때, 인공지능의 학습 데이터 량을 줄이면서 정확도를 높일 수 있는 것이 중요하다.

또한, 선행특허의 경우, 학습된 모델을 이용하여OCT 안구 영상만으로도 심뇌혈관 질환보유 여부를 예측할 수 있다라고 기재되어 있지만, 심뇌혈관 질환 예측이 정확하다는 판단을 뒷받침할 수 있는 설명 등에 관한 방법 및 기기에 대해 나타나 있지 않아 신뢰성의 문제를 가지고 있다.

대한민국 공개특허 10-2019-0074477

본 발명의 실시예는 기계 학습모델에 기초하여 안저영상으로 혈관질환 보유 여부를 예측할 때, 예측에 대해 설명 가능한 방법을 제공할 수 있는 안저영상을 이용한 혈관질환 예측 지원방법, 안저영상을 이용한 혈관질환 예측 지원장치 및 이를 포함하는 혈관질환 예측지원 시스템을 제공하고자 한다.

기계 학습모델의 학습 데이터 량을 줄이면서 혈관질환의 예측도를 높일 수 있는 안저영상을 이용한 혈관질환 예측 지원방법, 안저영상을 이용한 혈관질환 예측 지원장치 및 이를 포함하는 혈관질환 예측지원 시스템을 제공하고자 한다.

본 출원의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않는 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일측면에 따르면, 피검자의 안저영상을 이용한 혈관질환 예측 지원방법은 기계 학습모델에 기초하여 상기 피검자의 제1안저 영상으로부터 속성정보를 추출하는 단계, 상기 제 1안저 영상에 대해 특징 요소(Saliency factor)를 맵핑하여 상기 속성정보와 대응되는 특징을 갖는 제 2 안저영상을 생성하는 단계 및 상기 제 1안저영상과 상기 제2안저영상을 외부 엔티티에 제공하는 단계를 포함한다.

본 발명의 다른 측면에 따르면, 피검자의 안저영상을 이용한 혈관질환 예측 지원장치는 상기 피검자의 제 1 안저영상이 저장된 메모리부 및 기계 학습모델에 기초하여 상기 제1안저영상으로부터 속성정보를 추출하고, 상기 제 1안저 영상에 대해 특징 요소(Saliency factor)를 맵핑하여 상기 속성정보와 대응되는 특징으로 갖는 제2안저영상을 생성하는 프로세서를 포함한다.

제1안저영상의 제1속성정보는, 안저영상에 포함된 망막혈관(Retinal Vessel)의 변화정보, 중심와(Fovea)를 포함한 황반부(Macula)의 변화정보, 면화반(Cotton Wool Spot)의 유무 정보, 시신경유두(Optic Nerve)의 변화정보 중 적어도 어느 하나일 수 있다.

특징 요소는, 상기 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, R, G, B 픽셀의 색(Color)의 변화를 조절할 수 있는 값, 상기 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값, 상기 제1 안저영상에서 방향 특징(Orientation feature)를 조절하는 값 중 적어도 어느 하나일 수 있다.

본 발명의 실시예에 따르면, 기계 학습모델에 기초한 안저 영상을 이용하여 혈관질환을 예측하는데 있어서, 설명 가능한 판독을 지원할 수 있는 효과가 있다.

또한, 작은 학습 데이터량으로도 기계 학습모델에 기초하여 정확도 높은 혈관질환 예측을 할 수 있는 효과가 있다.

또한, 기계 학습모델을 위한 안저영상을 다양화하게 이미지 전처리하여 혈관질환 예측력을 높일 수 있는 효과가 있다.

본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 혈관질환 예측을 위한 안저영상 판독 지원방법을 설명하기 위한 도이다.
도 2는 본 발명의 일 실시예에 따라 피검자의 안저영상을 이용하여 혈관질환을 예측 지원하는 장치를 개략적으로 나타낸 도이다.
도 3은 본 발명의 일 실시예에 따라 피검자의 안저영상을 이용하여 혈관질환을 예측 지원하는 시스템을 개략적으로 나타낸 도이다.
도 4는 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 안저 영상에 포함된 속성정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
도 5는 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 망막 혈관의 변화정보를 설명하기 위한 도이다.
도 6은 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 시신경유두의 변화정보를 설명하기 위한 도이다.
도 7a 및 도 7b는 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 기계학습 모델을 위한 안저영상 생성방법을 설명하기 위한 도이다.
도 8은 본 발명의 혈관질환 예측 지원장치를 이용하여 안저영상에 대해 기계학습 모델을 기초하여 얻어진 죽상경화증의 예측 정확도 성능(DL-FAS, AUROC)을 나타낸 그래프이다.
도 9는 본 발명의 일 실시예에 따른 안저영상 판독 지원 방법을 예시적으로 나타낸 흐름도이다.

이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.

또한, 본 발명의 상세한 설명 및 청구항들에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명의 상세한 설명 및 청구항들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 상세한 설명 및 청구항들에서, "학습", 혹은 "러닝"은 절차에 따른 컴퓨팅(computing)을 통하여 기계학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 것으로 이해되어야 한다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나 지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

도 1은 본 발명의 일 실시예에 따른 혈관질환 예측을 위한 안저영상 판독 지원방법을 설명하기 위한 도이다.

일반적으로, 피검자로부터 안저 영상을 취득하면, 기계 학습모델을 이용하여 상기 안저 영상에 대해 라벨링(Labeling) 함으로써 속성정보를 도출해 낸다. 그러나 이와 같은 안저 영상의 속성정보는 앞서 설명한 바와 같이 기계 학습모델에 입력되는 학습량의 차이로 인해 신뢰성 있는 속성정보를 도출해 내지 못하게 된다. 또한, 1차적으로 안저 영상의 속성정보를 도출했다 하더라도 이를 통한 혈관질환 예측 및 판단함에 있어서 뒷받침할 수 있는 설명의 부족으로 신뢰성있는 안저 영상의 판독 지원이 되지 못하게 된다.

도 1를 참조하면, 본 발명의 일 실시예에 따른 혈관질환 예측 지원장치(100)는 이와 같이 신뢰성이 부족한 안저영상 판독 지원을 해결하기 위해, 안저영상을 이용하여 혈관질환을 예측함에 있어서, 도출해낸 안저 영상의 속성정보가 신뢰성을 갖고, 의료진이 정확한 판독을 하는데 지원할 수 있는 안저영상의 속성정보를 자동으로 생성해 낼 수 있다. 즉, 본 발명에 따른 혈관질환 예측 지원장치(100)는 피검자의 안저에 대해 카메라 등을 통해 촬영한 안저 영상(10)으로부터 1차적으로 속성정보를 알아내고, 2차적으로 속성정보를 포함한 피검자의 안저 영상이 실제 신뢰성 있는 안저 영상인지를 판단 혹은 설명하는데 도움을 줄 수 있다.

상술한 바와 같은 안저영상의 속성정보를 생성하기 위해, 혈관질환 예측 지원장치(100)는 촬영된 제1안저 영상(10)으로부터 기계 학습모델(Machine Learning Model)을 이용하여 제 1안저영상(10)의 제 1속성정보(30)를 추출하고, 추출된 상기 제1안저영상(10)의 제1 속성정보(30)는 후술할 시스템 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다. 기계 학습모델은 프로세서(111)에 입력되어 수행될 수 있고, 도시되지 않았지만 컴퓨터 판독 가능한 기록매체에 입력되어 수행될 수 있다. 또한, 기계 학습 모델은 메모리부(113)나 스토리지 디바이스(115)에 입력되고, 상기 프로세서(111)에 의해 동작되어 수행될 수 있다.

추가로, 혈관질환 예측 지원장치(100)는 피검자, 예를들어, 피검자(환자)의 임상정보를 후술할 메모리부(113)나 스토리지 디바이스(115)에 추가 저장할 수 있다. 프로세서(111)는 메모리나 스토리지 디바이스에 저장된 대상체의 임상정보를 활용하여 기계 학습모델에 기초한 제 1안저영상의 제1속성정보를 추출할 수 있다. 임상정보는 대상체(환자)의 나이, 성별, 병력, 문진정보, 검사 측정 값, 운동습관, 식습관, 상기 병력과 관련된 가족력, 환자의 음주량 및 흡연 여부 등이 될 수 있고, 이에 한정되지 않는다. 문진정보라 함은 의사가 환자에게 수행할 수 있는 신경의학적 문진등을 포함할 수 있고, 이는 병력과 다르게 지금 현재 관찰되는 이상적 소견을 의미할 수 있다. 또한, 검사 측정값은 예를들어, Intraocular pressure을 측정한 값, 혈압, 혈중 당수치 등이 고려될 수 있다.

제 1 속성정보(30)는 의료진과 같은 엔티티(entity)가 병명을 예측 및 진단하는데 지원할 수 있는 정보, 예를들어, 제1 속성정보는 피검자의 안저영상에서 죽상경화증(Atherosclerosis)과 같은 심혈관질환(Cardiovascular disease, CVD)을 예측 및 진단할 경우, 안저 영상에 포함된 망막혈관(Retinal Vessel)의 변화정보, 중심와(Fovea)를 포함한 황반부(Macula)의 변화정보, 면화반(Cotton Wool Spot)의 유무 정보, 시신경유두(Optic Nerve)의 변화정보 등을 포함할 수 있다. 이때, 망막혈관의 변화정보는 혈관의 두께, 혈관의 팽창도, 혈관팽창 진행속도, 혈관팽창 진행속도를 통한 혈관의 탄력도 중 적어도 어느 하나를 포함할 수 있고, 시신경유두(Optic Nerve)의 변화정보는 C/D 비(Cup-to-Disk ratio)의 정보, Disc Rim Thinning에 대한 두께 변화 정보, 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보 중 적어도 어느 하나를 포함할 수 있다.

제 1 속성 정보는 죽상경화증과 같은 혈관질환이 있고 없다는 것을 의미하는 소견(Label)의 유무로 나타나거나 소견의 유무를 확인할 수 있는 예측값(Prediction Value)으로 나타날 수 있다. 상기 예측값은 백분율이나, 0과 1사이의 숫자로 표현될 수 있지만, 이에 한정되지 않는다.

본 발명의 일 실시예에 따른 혈관질환 예측 지원 방법은, 촬영된 제1안저영상(10)에 대해 특징 요소(Saliency factor, 11)를 맵핑(Mapping)하여, 제 1안저영상(10)의 속성정보와 대응되는 특징을 갖는 제2 안저영상(20)을 생성한다. 이때, 특징 요소(11)를 맵핑하는 것은 특징 필터(Saliency Filter,15)를 통하여 프로세서(111)에 의해 수행될 수 있고, 생성된 제2안저영상(20)은 제1안저영상(10)과 같이 후술할 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다.

제1안저영상(10)에 대해 맵핑되는 특징 요소(11)는 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, R, G, B 픽셀의 색(Color)의 변화를 조절할 수 있는 값, 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값, 제1안저영상의 방향특징(Orientation feature)을 조절하는 값 등을 포함할 수 있고, 이에 한정되지 않고 제1 안저영상의 속성정보에 변화를 줄 수 있는 요소이면 어느 것이든 포함될 수 있다.

제2안저영상(20)은 특징 요소를1회 맵핑하여 생성될 수 있지만, 기계 학습모델에 기초하여 얻어진 예측값(Prediction Value)에 따라 반복적으로 맵핑하여 생성될 수 있다.

이와 같이 기계 학습모델에 기초하여 얻어진 속성정보를 갖는 제1안저영상과 특징 요소를 맵핑하여 제1안저영상의 속성정보와 대응되는 특징을 갖는 제2안저영상은 후술할 디스플레이 어댑터(118)나 네트워크 어뎁터(119)와 같은 전송모듈을 통하여 외부 엔티티에 제공되거나 컴퓨팅 디바이스(110)에 인터넷 네트웍 망으로 연동되는 리모트 컴퓨팅 디바이스 혹은 타 장치에 제공될 수 있다.

제2안저영상(20)은 제1안저영상(10)의 속성정보에 해당하는 특징들을 나타내기 때문에 엔티티로 하여금 제 1안저영상을 판독할 때, 제2안저영상과 비교 판독이 쉽고, 판독의 결과에 대한 설명이 가능하고, 이에 따라 제1속성정보를 갖는 제1안저영상의 판독에 대해 신뢰성을 높일 수 있다.

또한, 생성된 제2안저영상(20)은 제1안저영상과 겹쳐(Overlay)지도록 이미지 처리되어 제3안저영상(40)이 생성되고, 생성된 제3안저영상(40)은 엔티티에게 제공될 수 있다. 제3안저영상(40)은 제1안저영상(10)의 속성정보에 해당하는 특징들이 안저영상의 어떤 영역에서 나타나고 있는지 시각적으로 알려줄 수 있기 때문에, 정확한 판독 및 판독에 대한 설명 가능함을 더할 수 있다.

도 2는 본 발명의 일 실시예에 따라 피검자의 안저영상을 이용하여 혈관질환을 예측 지원하는 장치를 개략적으로 나타낸 도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 혈관질환 예측 지원장치(100)는 컴퓨팅 디바이스(Computing Device, 110), 디스플레이 디바이스(Display Device, 130)를 포함할 수 있다. 컴퓨팅 디바이스(110)는 프로세서(Processor, 111), 메모리부(Memory Unit, 113), 스토리지 디바이스(Storage Device, 115), 입, 출력 인터페이스(117), 네트웍 어뎁터(Network Adapter, 118), 디스플레이 어뎁터(Display Adapter, 119), 프로세서를 포함한 다양한 시스템 구성요소를 메모리부(113)에 연결하는 시스템 버스(System bus, 112)를 포함할 수 있지만 이에 한정되지 않는다. 또한, 안저영상 판독 지원장치는 정보를 전달하기 위한 버스(112)뿐만 아니라 다른 통신 메커니즘을 포함할 수 있다.

버스 또는 다른 통신 메커니즘은, 프로세서, 컴퓨터 판독가능한 기록매체인 메모리, 근거리 통신 모듈(예를 들어, 블루투스나 NFC), 네트워크 인터페이스나 이동통신 모듈을 포함하는 네트워크 어뎁터, 디스플레이 디바이스(예를 들면, CRT 또는 LCD 등), 입력장치 (예를 들면, 키보드, 키패드, 가상 키보드, 마우스, 트랙볼, 스타일러스, 터치 감지 수단 등), 및/또는 하위 시스템들을 상호 접속한다.

프로세서(111)는 기계 학습모델(13)을 활용하여 자동으로 프로세싱 하는 프로세싱 모듈일 수 있고, CPU, AP(Application Processor), 마이크로 컨트롤러, 등일 수 있으나 이에 한정되는 것은 아니다.

프로세서(111)는 디스플레이 디바이스용 하드웨어 제어기 예를들어, 디스플레이 어뎁터(119)와 통신하여 디스플레이 디바이스(130) 상에 혈관질환 예측 지원장치의 동작 및 유저 인터페이스를 표시할 수 있다.

프로세서(111)는 메모리부(113)에 접속하여 메모리부에 저장된 명령들이나 로직의 하나 이상의 시퀀스들을 실행하는 것에 의해 이후 설명될 본 발명의 실시예에 따른 혈관질환 예측 지원장치의 동작을 제어한다.

이러한 명령들은, 정적 저장부(Static storage) 또는 디스크 드라이브와 같은 다른 컴퓨터 판독가능 기록매체로부터 메모리 안에서 판독 될 수도 있다. 다른 실시형태들에서, 본 개시를 구현하기 위한 소프트웨어 명령들을 대신하거나 소프트웨어 명령들과 조합된 하드웨어에 내장된 회로부(hard-wired circuitry)가 사용될 수도 있다. 로직은, 프로세서로 명령들을 제공하는 데 참여하는 임의의 매체를 지칭할 수도 있으며, 메모리부(113)에 로딩될 수도 있다.

시스템 버스(System bus, 112)는 다양한 버스 구조(architectures) 중 임의의 것을 사용하는 메모리 버스 또는 메모리 컨트롤러, 주변장치버스, 가속 그래픽 포트 및 프로세서 혹은 로컬 버스를 포함하는 여러 가능한 유형의 버스 구조 중 하나 이상을 나타낸다. 예를 들어, 이런 구조들(architectures)은 ISA (Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA)버스, VESA(Video Electronics Standard Association) 로컬 버스, AGP(Accelerated Graphics Port) 버스 및 PCI(Peripheral Component Interconnects), PCI-Express 버스, PCMCIA(Personal Computer Memory Card Industry Association), USB(Universal Serial Bus)과 같은 것을 포함할 수 있다.

시스템 버스(System bus, 112)는 유, 무선 네트워크 연결로써 실행될 수 있다. 프로세서(Processor, 111), 대용량 스토리지 장치(Mass Storage Device), 오퍼레이팅 시스템(Operating System), 이미징 소프트웨어(Imaging Software), 이미징 데이터(Imaging Data), 네트워크 어뎁터(Network Adapter), 시스템 메모리(System Memory), 입/출력 인터페이스(Input/Output Interface), 디스플레이 어뎁터(Display Adapter), 디스플레이 디바이스(Display Device)를 포함하는 서브 시스템 각각은 물리적으로 분리된 위치에 하나 이상의 원격 컴퓨팅 장치(Remote Computing Device, 200, 300, 400) 안에 포함될 수 있고, 분산된 시스템을 효율적으로 실행하는데 있어 이와 같은 형태의 버스들을 통해 연결될 수 있다.

버스의 배선들(wires)을 포함하는 송신 매체들은 동축 케이블, 동선(copper wire), 및 광섬유들을 포함할 수 있다. 일 예에서, 송신 매체들은, 라디오 파 통신이나 적외선 데이터 통신 동안 생성된 음파 또는 광파의 형태를 취할 수도 있다.

본 발명의 실시예에 따른 혈관질환 예측 지원장치(100)는, 네트워크 링크 및 네트워크 어뎁터(Network Adapter, 118)를 통해 메시지들, 데이터, 정보 및 하나 이상의 프로그램들(즉, 애플리케이션 코드)을 포함하는 명령들을 송신하고 수신할 수도 있다.

네트워크 어뎁터(Network Adapter, 118)는, 네트워크 링크를 통한 송수신을 가능하게 하기 위한, 별개의 또는 통합된 안테나를 포함할 수도 있다. 네트워크 어뎁터(118)는 네트워크에 접속하여 원격 혈관질환 예측 지원 장치와 같은 원격 컴퓨팅 장치(Remote Computing Device, 200, 300, 400)와 통신할 수 있다. 네트워크는 LAN, WLAN, PSTN, 및 셀룰러 폰 네트워크 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.

네트워크 어뎁터(118)는 상기 네트워크에 접속하기 위한 네트워크 인터페이스 및 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 이동통신 모듈은 세대별 이동통신망(예를 들어, 2G 내지 5G 이동통신망)에 접속가능하다.

프로그램 코드는 수신될 때 프로세서(111)에 의해 실행될 수도 있고/있거나 실행을 위해 메모리부(113)의 디스크 드라이브 또는 디스크 드라이브와는 다른 종류의 비휘발성 메모리에 저장될 수도 있다.

컴퓨팅 디바이스(Computing device, 110)는 다양한 컴퓨터 판독가능한 기록매체를 포함할 수 있다. 판독가능한 매체는 컴퓨팅 디바이스에 의해 접근 가능한 임의의 다양한 매체가 될 수 있고, 예를들어, 휘발성(volatile) 또는 비휘발성 매체(non-volatile media), 유동 매체(removable media), 비유동 매체(non-removablemedia)를 포함할 수 있지만 이에 한정되지 않는다.

메모리부(113)는 본 발명의 실시예에 따른 안저영상 판독 지원장치의 동작에 필요한 운영체제, 드라이버, 애플리케이션 프로그램, 데이터 및 데이터 베이스 등을 저장할 수 있으나 이에 한정되는 것은 아니다. 또한, 메모리부(113)는RAM(Random Acces Memory)과 같은 휘발성 메모리, ROM(Read Only Memory) 및 플래시 메모리와 같은 비휘발성 메모리 형태로 컴퓨터 판독 가능한 매체를 포함할 수 있고, 또한, 디스크 드라이브 예를들면, 하드 디스크 드라이브(Hard Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive), 광 디스크 드라이브 등을 포함 할 수 있지만 이에 한정되지 않는다. 또한, 메모리부(113)와 스토리지 디바이스(115)는 각각 전형적으로 대상체의 안저영상과 같은 이미징 데이터(Imaging Data, 113a, 115a)와 같은 데이터, 프로세서(111)에 의해 동작되도록 즉시 접속될 수 있는 이미징 소프트웨어(113b, 115b)와 오퍼레이팅 시스템(113c, 115c)과 같은 프로그램 모듈을 포함할 수 있다.

기계 학습모델(13)은 프로세서(111), 메모리부(113) 혹은 스토리지 디바이스(115)에 삽입될 수 있다. 이때의 기계 학습모델(13)은 기계학습 알고리즘의 하나인 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 등을 포함할 수 있고, 이에 한정되지 않는다.

심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망(DNN)은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.

합성곱신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, 합성곱 신경망(CNN)은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. 합성곱 신경망(CNN)은 또한 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망(CNN)은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.

딥 러닝에서는 합성곱 심층 신뢰 신경망(Convolutional Deep Belief Network, CDBN)가 개발되었는데, 기존 합성곱 신경망(CNN)과 구조적으로 매우 비슷해서, 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰신경망(Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다. 합성곱 심층 신뢰 신경망(CDBN)은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.

순환 신경망(Recurrent Neural Network, RNN)은 인공신경망을 구성하는 유닛 사이의 연결이 다이렉티드 사이클(directed cycle)을 구성하는 신경망을 말한다. 순환 신경망은 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다.

도 3은 본 발명의 일 실시예에 따라 피검자의 안저영상을 이용하여 혈관질환을 예측 지원하는 시스템을 개략적으로 나타낸 도이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 혈관질환 예측 지원 시스템(500)은 본 발명의 일 실시예에 따른 혈관질환 예측지원장치(100)의 구성요소를 포함하고, 추가로 카메라부(Camera, 150)를 포함한다. 그러므로 이미 설명한 안저영상을 이용한 혈관질환 예측 지원장치의 구성요소에 대한 동작 및 설명에 대해선 생략하기로 한다. 카메라부(150)는 오브젝트의 이미지를 촬상하고 그 이미지를 광전자적으로 이미지 신호로 변환하는 이미지 센서(미도시)를 포함하고, 대상체의 안저 영상을 촬영한다. 촬영된 대상체의 안저영상은 입/출력 인터페이스(117)를 통하여 프로세서(111)에 제공되어 기계 학습모델(13)에 기초하여 처리된다.

도 4는 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 안저 영상에 포함된 속성정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.

도 4를 참고하면, (a)는 본 발명에 따른 혈관질환 예측 지원 장치가 기계 학습모델에 기초하여 피검자로부터 얻어낸 제 1안저영상이고, (b)는 제1안저영상에 대해 특징요소(Saliency factor)를 맵핑하여 얻어낸 제2안저영상이고, (c)는 제1안저영상과 제2안저영상을 겹치도록 이미지 처리하여 제1안저영상과 제2안저영상이 동시에 시각화 할 수 있는 제3안저영상이다.

제1안저영상(a)에서 속성정보는 망막혈관(Retinal Vessel,①)의 변화정보, 중심와(Fovea)를 포함한 황반부(Macula,②)의 변화정보, 면화반(Cotton Wool Spot,③)의 유무 정보, 시신경유두(Optic Nerve,④)의 변화정보 중 적어도 하나일 수 있고, 기타 제1안저영상에서 혈관질환을 예측하는데 정보를 줄수 있는 부위이면 어디든 포함할 수 있다. 제2안저영상(b)은 제1안저영상의 속성정보의 영역과 대응되는 영역을 나타난다. 특징 요소(Saliency factor)의 맵핑 방법에 대해선 이미 상술한바 있음으로 이에 대한 설명은 생략하기로 한다.

구체적으로 살펴보면, 기계 학습모델에 기초하여 얻어진 제1 안저영상(a)은 여러 속성정보를 통해, 의료진과 같은 엔티티는 혈관질환이 있다는 소견을 갖는 안저영상이다. 그러나 이와 같은 기계학습 모델에 기초하여 소견이 있는 제1안저영상이라 하더라도 실제 어떤 영역에 기초하여 혈관질환 여부를 판단하였는지 알 수 없어, 제1안저영상에 대한 소견의 신뢰성이 떨어지고, 소견에 대한 확인 가능한 설명이 부족하다.

본 발명에 따른 혈관질환 예측 지원장치는 (b)와 같이, 혈관질환의 예측에 기여하는 영역을 식별함과 동시에 소견을 뒷받침할 수 있는 영역, 예를들어, 제1안저영상의 속성정보에 대응되는 영역들의 특징을 나타내도록 제2안저영상을 생성하여 엔티티에 제공함으로써, 제1안저영상에 기초한 혈관질환 예측의 신뢰성과 소견의 근거를 설명할 수 있다.

도 5는 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 망막 혈관의 변화정보를 설명하기 위한 도이고, 도 6은 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 시신경유두의 변화정보를 설명하기 위한 도이다.

도 5를 참조하면, (a)는 제1안저영상이고, (b)는 제1안저영상에서 망막혈관에 대한 정보를 얻기 위해 이미지 처리하여 확대한 안저영상이고, (c1), (c2) 및 (c3)는 망막혈관의 변화정보를 나타낸 영상이다. 즉, (c1)은 확대된 안저영상에서 혈관두께를 나타내고, (c2)는 확대된 안저영상에서 혈관 팽창도를 나타내고, (c3)는 확대된 안저영상에서 혈관팽창 진행속도 혹은 혈관의 탄력도를 나타낸다. 이때, 혈관 두께는 혈관의 외벽과 혈관의 중심선의 직각이 되는 선의 교차점에서 잰 거리이고, 혈관 팽창도는 혈관의 같은 지점에서 발생하는 시간적 차이에 따른 혈관의 두께 변화이고, 혈관팽창 진행속도는 혈관팽창이 한 지점에서 다른지점으로 이동하는 거리를 이동시간으로 나눈값 혹은 Fourier Transform을 이용하여 산출된 이에 상응하는 속도값을 나타낸다.

도 6를 참조하면, (a)는 C/D비(Cup-to-Disk ratio)를 위한 제1안저영상이고, (a')는 시신경유두 영역에서 C/D 비(Cup-to Disk)의 정보를 얻기 위해 이미지 처리하여 확대한 안저영상이고, (b)는 Disc Rim Thinning을 위한 제1안저영상이고, (b')는Disc Rim Thinning에 대한 두께 변화 정보를 얻기 위해 이미지 처리하여 확대한 안저영상이고, (c)는 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)을 위한 제1안저영상이고, (c')는 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보를 얻기 위해 이미지 처리하여 확대한 안저영상이다.

C/D 비는 안저영상의 Cup에 해당하는 면적의 위아래(안저영상에서 정의하고 있는 방향의Superior(위), Inferior(아래)) 방향의 최대거리를 Disc에 해당하는 면적의 위아래 방향의 최대거리로 나눈값을 의미한다. 이러한 C/D비 정보는 안저영상에서 혈관질환을 예측하는 척도이다.

Disc Rim Thinning이란 안저영상의 Disc면적에서 Cup에 해당하는 면적을 제외한 부분을 Rim이라하고, 안저영상에서 정의되는 위바깥(Superiotemporal, Stemp), 위(Superior), 아래바깥(Inferiotempal), 아래(Inferior)의 방향의 Rim의 두께가 좁아지는 정도를 의미한다. 통상적으로 위바깥, 위, 아래바깥, 아래 방향으로의 Rim의 두께를 각각 바깥(Temporal, Temp) 방향으로의 Rim의 두께로 나눈 값 중 어느 하나라도 대략 1.6 이하일 경우, 또는 Disc의 최대 길이의 약 0.1배 이하일 경우에 혈관질환을 예측할 수 있다.

또한, 망막신경섬유층 결손(RNFL Defect)이란 망막신경섬유층이 안저영상의 Disc에서 시작하여 부채꼴 형태로 나타나게 되는데, 이러한 신경섬유가 결손이 되는 것을 의미하고, 망막신경섬유층 결손이 발생할 경우엔 안저영상에서 해당부위가 어둡게 나타나고 밝은 신경섬유 유형의 패턴이 손실되어 혈관질환을 예측할 수 있다.

이와 같이 본 발명에 따른 혈관질환 예측 지원장치는 망막혈관의 여러가지 변화정보를 통해 피검자의 혈관질환을 직접적으로 예측할 수 있고, 시신경유두의 변화정보를 통해 피검자의 혈관질환을 간접적으로 예측할 수 있어, 예측의 신뢰성을 더할 수 있다.

도 7a 및 도 7b는 본 발명에 따른 혈관질환 예측 지원장치의 일 실시예에서, 기계학습 모델을 위한 안저영상 생성방법을 설명하기 위한 도이다.

도 7a를 참조하면, 카메라를 통해 촬상되어 얻어지거나 이미 저장된 피검자의 제1안저영상(a)에 대해, 제1안저영상의 특정영역 예를들어, 망막혈관을 포함한 시신경유두 영역의 정보를 중점적으로 확인하기 위하여 해당 영역을 확대하도록 이미지 전 처리하여 안저영상(b)을 생성하게 된다. 이러한 안저영상은 기계학습 모델을 통하여 얻어진 속성정보에 기초하여 혈관질환 여부를 예측하게 된다.

또한, 도 7b와 같이, 이미지 전 처리하여 확대된 영상(a)에 대해 (b)와 같이 국부적으로 구획하여 다수의 안저영상(c)을 생성할 수 있다. 이때, 다수의 안저영상은 안저부위가 부분적으로 겹쳐 생성될 수 있다. 이러한 다수의 안저영상 역시 기계학습 모델을 통하여 얻어진 속성정보에 기초하여 혈관질환 여부를 예측하게 된다.

이와 같이, 피검자의 최초 제1안저영상에 대해 다양한 방법으로 새로운 안저영상을 생성하여 기계학습 모델에 입력하게 되면 이를 통한 혈관질환의 예측 정확도를 향상시키게 된다.

한편, 도 7a 및 도 7b에서 기계학습 모델을 위한 새로운 안저영상을 특정영역에 대한 확대 혹은 국부적 구획으로 이미지 전처리하여 생성하였지만, 이에 한정되지 않고 다양하게 새로운 안저영상을 생성할 수 있다. 예를들어, 제1안저영상의 특정 기준축을 중심으로 회전하여 안저영상을 생성하거나, 제1안저영상의 명암(Contrast)이나 휘도(Brightness)를 조절하여 안저영상을 생성하거나 제1안저영상의 수평 혹은 수직축을 중심으로 플립(flip)하여 안저영상을 생성할 수 있다. 또한, 위와 같은 방법들을 다양하게 조합하여 새로운 안저영상을 생성할 수 있다.

도 8은 본 발명의 혈관질환 예측 지원장치를 이용하여 안저영상에 대해 기계학습 모델에 기초하여 얻어진 죽상경화증의 예측 정확도 성능(DL-FAS, AUROC)을 나타낸 그래프이다.

본 발명의 일실시예에 따른 혈관질환 예측지원 장치는 기계학습 모델의 학습을 위한 안저영상의Training set을 12,362으로하고, 안저영상의 Testing set을 1,526으로 하여 수행한 바, 예측 정확도 성능값(AUROC)이 0.713으로 나타났다. 이때, Training set으로 사용된 안저영상은 이미지 전처리 없이 기계학습 모델에 활용된 영상이다. 예측 정확도 성능값(AUROC)이 이상적인 값에 근접하지는 않지만, 충분히 혈관질환에 대한 예측 정확도가 높고, 또한, 앞서 설명한 기계학습 모델을 위한 안저영상에 대해 이미지 전처리를 통하여 더욱 높은 예측 정확도를 가져올 수 있다.

도 9는 본 발명의 일 실시예에 따른 혈관질환 예측 지원 방법을 예시적으로 나타낸 흐름도이다.

도 9를 참조하면, 외부 기기장치 예를 들어, 안저 카메라(Fundus Camera) 혹은 컴퓨팅 장치(110)와 연동되는 타장치(미도시)로부터 피검자의 제1안저영상을 획득하면, 컴퓨팅 장치(110)는 기계 학습모델에 기초하여 제1안저영상으로부터 속성정보를 추출한다 (S910). 제1안저영상은 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다. 이후 컴퓨티 장치(110)는 제1안저영상에 대해 이미지 전처리한다(S920). 이미지 전처리하는 방법에 대해선 앞서 상술한 바와 동일함으로 이에 대한 설명은 생략하기로 한다. 이후, 제 1안저영상에 대해 특징요소(Saliency factor)를 맵핑한다. 특징요소의 맵핑방법은 앞서 상술한 바와 동일함으로 이에 대한 설명은 생략하기로 한다. 이에 따라 제1안저영상의 속성정보와 대응되는 특징을 갖는 제2안저영상이 생성된다 (S930). 이 경우, 제1안저영상에 대해 제2안저영상을 겹쳐지도록 이미지 처리하여 제3안저영상을 생성할 수 있다. 제 2안저영상 역시 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다. 컴퓨팅 장치의 네트워크 어댑터(118)와 디스플레이 어뎁터(119)와 같은 전송모듈을 통해 제1안저영상과 제2안저영상을 외부 엔티티에 제공한다 (S940).

이와 같이 본 발명에 따른 혈관질환 예측지원 장치 및 방법은 기계 학습모델에 기초한 안저 영상을 판독하는데 있어서, 설명 가능한 안저영상 판독을 지원할 수 있어 의료진으로 하여금 더욱더 신뢰성이 있는 안저영상을 통해 혈관질환을 예측 가능하게 할 수 있다.

위 실시예에서와 같이, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.

기계 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다.

상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는, 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.

이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.

10: 제1안저영상
20: 제2안저영상
30: 제1속성정보
40: 제3안저영상
110: 컴퓨팅 장치
111: 프로세서
113: 메모리부
115: 스토리지 디바이스
117: 입출력 인터페이스
118: 네트웍 어뎁터
119: 디스플레이 어뎁터
130: 디스플레이 디바이스

Claims (17)

1. 피검자의 혈관질환 예측을 지원하는 방법에 있어서,
   (a)컴퓨팅 디바이스가, 기계 학습모델에 기초하여 상기 피검자의 제1안저 영상으로부터 속성정보를 추출하는 단계;
   (b) 상기 컴퓨팅 디바이스가, 특징필터(Saliency filter)를 이용하여, 상기 제1안저 영상에 대해 특징 요소(Saliency factor)를 맵핑하여 상기 속성정보와 대응되는 특징을 갖는 제2안저 영상을 생성하는 단계; 및
   (c)상기 컴퓨팅 디바이스가, 상기 제1안저 영상과 상기 제2안저 영상을 외부 엔티티에 제공하는 단계를 포함하고,
   상기 속성정보는 상기 혈관질환의 유무에 대한 예측값으로 표현되고,
   상기 제2안저 영상은 상기 기계학습 모델에 기초하여 상기 예측값에 따라 상기 특징요소(Saliency factor)를 반복적으로 맵핑하여 생성되는 안저영상을 이용한 혈관질환 예측 지원방법.
2. 제 1항에 있어서,
   상기 특징 요소는,
   상기 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, 상기 제1안저영상을 표현하는 R, G, B 픽셀의 색(Color)의 변화를 조절할 수 있는 값, 상기 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값, 상기 제1안저영상의 방향 특징(orientation feature)을 조절하는 값 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
3. 제1항에 있어서,
   상기 기계 학습모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN)을 포함할 수 있는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
4. 제 1항에 있어서,
   상기 제1안저영상의 속성정보는,
   안저영상에 포함된 망막혈관(Retinal Vessel)의 변화정보, 중심와(Fovea)를 포함한 황반부(Macula)의 변화정보, 면화반(Cotton Wool Spot)의 유무 정보, 시신경유두(Optic Nerve)의 변화정보 중 적어도 어느 하나인 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
5. 제 4항에 있어서,
   상기 망막 혈관(Retinal Vessel)의 변화 정보는, 상기 혈관의 두께, 상기 혈관의 팽창도, 상기 혈관팽창 진행속도, 상기 혈관팽창 진행속도를 통한 상기 혈관의 탄력도 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
6. 제4항에 있어서,
   상기 시신경유두(Optic Nerve)의 변화정보는 C/D 비(Cup-to-Disk ratio)의 정보, Disc Rim Thinning에 대한 두께 변화 정보, 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
7. 제 1항에 있어서,
   상기 제1안저영상을 국부적으로 구획하여 다수의 안저영상을 생성하거나, 상기 제1안저영상의 특정영역을 확대하여 안저영상을 생성하거나, 상기 제1안저영상의 기준축을 중심으로 회전하여 안저영상을 생성하거나, 상기 제1안저영상의 명암(Contrast)이나 휘도(Brightness)를 조절하여 안저영상을 생성하거나, 상기 제1안저영상의 수평 혹은 수직축을 중심으로 플립(Flip)하여 안저영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
8. 제 1항에 있어서,
   상기 제 1안저 영상에 대해 특징 요소(Saliency factor)가 맵핑된 제2안저영상이 겹치도록 이미지 처리되어 시각화 된 제3안저영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
9. 제 1항에 있어서,
   상기 제 1안저영상의 속성정보는 상기 피검자의 임상정보가 활용되어 추출되는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
10. 제 9항에 있어서,
    상기 임상정보는 상기 피검자의 나이, 성별, 병력, 문진 정보, 검사 측정 값, 운동습관, 식습관, 흡연 및 음주량 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원방법.
11. 제 1항 내지 제10항 중 어느 한 항의 방법을 수행하도록 구현된 명령어를 포함하는, 기계 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
12. 피검자의 제1안저 영상이 저장된 메모리부; 및
    기계 학습모델에 기초하여 상기 제1안저 영상으로부터 속성정보를 추출하고, 특징필터(Saliency filter)를 이용하여, 상기 제 1안저 영상에 대해 특징 요소(Saliency factor)를 맵핑하여 상기 속성정보와 대응되는 특징으로 갖는 제2안저영상을 생성하는 프로세서를 포함하고,
    상기 속성정보는 혈관질환의 유무에 대한 예측값으로 표현되고,
    상기 제2안저 영상은 상기 기계학습 모델에 기초하여 상기 예측값에 따라 상기 특징요소(Saliency factor)를 반복적으로 맵핑하여 생성되는 안저영상을 이용한 혈관질환 예측 지원장치.
13. 제 12항에 있어서,
    상기 제1안저영상의 속성정보는,
    안저영상에 포함된 망막혈관(Retinal Vessel)의 변화정보, 중심와(Fovea)를 포함한 황반부(Macula)의 변화정보, 면화반(Cotton Wool Spot)의 유무 정보, 시신경유두(Optic Nerve)의 변화정보 중 적어도 어느 하나인 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원장치.
14. 제 12항에 있어서,
    상기 특징 요소는,
    상기 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, 상기 제1안저영상을 표현하는 R, G, B 픽셀의 색(Color)의 변화를 조절할 수 있는 값, 상기 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값, 상기 제1안저영상에서 orientation feature를 조절하는 값 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원장치.
15. 제 12항에 있어서,
    상기 프로세서는 상기 제1안저영상을 국부적으로 구획하여 다수의 안저영상을 생성하고, 상기 다수의 안저영상의 속성정보를 추출하는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원장치.
16. 제 15항에 있어서,
    상기 다수의 안저영상은 상기 제1안저영상에서 안저부위가 부분적으로 겹쳐 생성되는 것을 특징으로 하는 안저영상을 이용한 혈관질환 예측 지원장치.
17. 피검자의 제1안저 영상을 촬영하는 카메라부;
    상기 제1안저 영상이 저장된 메모리부; 및
    기계 학습모델에 기초하여 상기 제1안저 영상으로부터 속성정보를 추출하고, 특징필터(Saliency filter)를 이용하여, 상기 제1안저 영상에 대해 특징 요소(Saliency factor)를 맵핑하여 상기 속성정보와 대응되는 특징으로 갖는 제2안저영상을 생성하는 프로세서를 포함하고,
    상기 속성정보는 혈관질환의 유무에 대한 예측값으로 표현되고,
    상기 제2안저 영상은 상기 기계학습 모델에 기초하여 상기 예측값에 따라 상기 특징요소(Saliency factor)를 반복적으로 맵핑하여 생성되는 안저영상을 이용한 혈관질환 예측 지원 시스템.

Images