KR20210026597A

KR20210026597A - Method and device for predicting disease using segmentating vessel in eye image

Info

Publication number: KR20210026597A
Application number: KR1020190107602A
Authority: KR
Inventors: 이수찬; 노경진; 박상준
Original assignee: 국민대학교산학협력단; 서울대학교병원
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2021-03-10
Also published as: KR102250694B1; WO2021040258A1

Abstract

The present invention relates to an automatic disease determination device using an eyeball image and a method thereof and, more specifically, to a device and a method for automatically determining a disease by using blood vessel segmentation in an eyeball image. According to one aspect of the present invention, the automatic disease determination device comprises a processor and a memory which is electrically connected to the processor and stores a convolutional neural network. The memory can include instructions which generate a first blood vessel segmentation image for a first eyeball image and a second blood vessel segmentation image for a second eyeball image in accordance with a preset method, use the first blood vessel segmentation image to generate a first blood vessel graph, use the second blood vessel segmentation image to generate a second blood vessel graph, and compare the first blood vessel graph and the second blood vessel graph to determine the presence of a disease through the convolutional neural network. According to the present invention, accurate eyeball blood vessel analysis is possible since a precise area of a retina blood vessel in an eyeground image can be automatically extracted by matching the eyeground image and a fluorescent eyeground angiography image.

Description

Automatic disease determination device and method using blood vessel segmentation in eye image {METHOD AND DEVICE FOR PREDICTING DISEASE USING SEGMENTATING VESSEL IN EYE IMAGE}

본 발명은 안구 영상을 이용한 자동 질환 판단 장치 및 그 방법에 대한 것으로서, 보다 상세하게는 안구 영상 내 혈관 분할을 이용하여 자동으로 질환을 판단하는 장치 및 방법에 대한 것이다. The present invention relates to an automatic disease determination apparatus and method using an eyeball image, and more particularly, to an apparatus and method for automatically determining a disease by using blood vessel segmentation in an eyeball image.

안저 영상은 안과에서 진단 또는 기록을 목적으로 가장 많이 사용되는 안과 사진 중 하나이다. 안저 영상은 진료시 관찰되는 피검자의 안저와 비교적 유사하여 직관적이므로, 안과 질환 검사에 사용되고 있다. 한편, 임상의들은 이러한 안저 영상을 기초로 혈관 특성을 정량적으로 분석하고, 이를 기반으로 질환을 진단하는 체계를 개발하고자 하지만, 아직까지 정밀한 혈관 영역 추출 기술은 정확도에 한계가 있다. Fundus imaging is one of the most frequently used ophthalmic pictures for diagnosis or recording in ophthalmology. The fundus image is relatively similar to the fundus of the subject observed during treatment and is intuitive, so it is used for examination of ophthalmic diseases. On the other hand, clinicians are trying to develop a system for quantitatively analyzing blood vessel characteristics based on these fundus images and diagnosing diseases based on this, but the precise blood vessel region extraction technology still has limitations in accuracy.

한편 최근에는 딥 러닝을 이용하여 다양한 의료영상을 처리하여 필요한 정보를 획득하는 방법에 대한 개발이 활발하게 진행되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.Meanwhile, in recent years, development of a method of obtaining necessary information by processing various medical images using deep learning is actively progressing. Deep learning is defined as a set of machine learning algorithms that attempt high-level abstractions (summarizing key contents or functions in a large amount of data or complex data) through a combination of several nonlinear transformation methods. Deep learning can be seen as a branch of machine learning that teaches computers how people think in a big frame.

Russakovsky O, Deng J, Su H, et al. ImageNet Large Scale Visual Recognition Challenge. Int J Comput Vis. 2015.Russakovsky O, Deng J, Su H, et al. ImageNet Large Scale Visual Recognition Challenge. Int J Comput Vis. 2015.

본 발명은 안구 혈관을 분석한 결과를 이용하여 질병을 자동으로 판단할 수 있는 장치 및 방법을 제공하고자 한다. An object of the present invention is to provide an apparatus and method capable of automatically determining a disease using a result of analyzing an ocular blood vessel.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by an embodiment of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by the means shown in the claims and combinations thereof.

본 발명의 일 측면에 따르면, 프로세서; 및 상기 프로세서에 전기적으로 연결되고, 합성곱 신경망이 저장된 메모리;를 포함하고, 상기 메모리는, 미리 설정된 방법에 따라 제1 안구영상에 대한 제1 혈관분할영상 및 제2 안구영상에 대한 제2 혈관분할영상을 생성하고, 상기 제1 혈관분할영상을 이용하여 제1 혈관그래프를 생성하고, 상기 제2 혈관분할영상을 이용하여 제2 혈관그래프를 생성하며, 상기 제1 혈관그래프 및 상기 제2 혈관그래프를 비교하여 상기 합성곱 신경망을 통해 질환 유무를 판단하는 인스트럭션들을 포함하되, 상기 제1 안구영상은 상기 제2 안구영상보다 먼저 생성된 영상인, 자동 질환 판단 장치가 개시된다. According to an aspect of the present invention, there is provided a processor; And a memory electrically connected to the processor and storing a convolutional neural network, wherein the memory includes a first blood vessel segmentation image for a first eye image and a second blood vessel image for a second eye image according to a preset method. A segmented image is generated, a first blood vessel graph is generated using the first vessel segmented image, a second vessel graph is generated using the second vessel segmented image, and the first vessel graph and the second vessel An automatic disease determination apparatus is disclosed that includes instructions for comparing graphs to determine the presence or absence of a disease through the convolutional neural network, wherein the first eyeball image is an image generated earlier than the second eyeball image.

실시예에 따라, 상기 메모리는, 상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 동맥 중심선을 추출하고, 상기 동맥 중심선을 이용하여 동맥 분기점을 추출하며, 상기 동맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 인스트럭션들을 더 포함할 수 있다. According to an embodiment, the memory extracts an arterial center line from the first blood vessel segmentation image or the second blood vessel segmentation image, extracts an artery bifurcation point using the arterial center line, and sets the arterial bifurcation point according to a preset method. The connection may further include instructions for generating the first blood vessel graph or the second blood vessel graph.

실시예에 따라, 상기 메모리는, 상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 정맥 중심선을 추출하고, 상기 정맥 중심선을 이용하여 정맥 분기점을 추출하며, 상기 정맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 인스트럭션들을 더 포함할 수 있다. According to an embodiment, the memory extracts a vein center line from the first vascular segment image or the second vascular segment image, extracts a vein branch point using the vein center line, and sets the vein branch point according to a preset method. The connection may further include instructions for generating the first blood vessel graph or the second blood vessel graph.

실시예에 따라, 상기 메모리는, 상기 동맥 분기점을 연결하는 동맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하고, 상기 정맥 분기점을 연결하는 정맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 인스트럭션들을 더 포함할 수 있다. According to an embodiment, the memory generates the first blood vessel graph or the second blood vessel graph by reflecting the thickness and length of the arteries connecting the arterial bifurcation points, and determines the thickness and length of the veins connecting the vein bifurcation points. It may further include instructions for generating the first blood vessel graph or the second blood vessel graph by reflection.

실시예에 따라, 상기 메모리는, 상기 제1 혈관그래프와 상기 제2 혈관그래프를 정합하여 상이한 부분을 관측하고, 상기 상이한 부분을 이용하여 미리 학습된 상기 합성곱 신경망을 이용하여 상기 질환 유무를 판단하는 인스트럭션들을 더 포함하되, 상기 합성곱 신경망은 질병의 종류와 시간 변화에 따른 혈관그래프 변화의 상관 관계를 통해 미리 학습된 것임을 특징으로 할 수 있다. According to an embodiment, the memory, by matching the first blood vessel graph and the second blood vessel graph, observes different parts, and determines the presence or absence of the disease using the convolutional neural network learned in advance using the different parts. The convolutional neural network may be characterized in that it is learned in advance through a correlation between a type of disease and a change in a blood vessel graph according to a change in time.

본 발명의 다른 실시예에 따르면, 자동 질환 판단 장치에서 수행되는 자동 질환 판단 방법에 있어서, 미리 설정된 방법에 따라 제1 안구영상에 대한 제1 혈관분할영상 및 제2 안구영상에 대한 제2 혈관분할영상을 생성하는 단계; 상기 제1 혈관분할영상을 이용하여 제1 혈관그래프를 생성하고, 상기 제2 혈관분할영상을 이용하여 제2 혈관그래프를 생성하는 단계; 및 상기 제1 혈관그래프 및 상기 제2 혈관그래프를 비교하여 질환 유무를 판단하는 단계;를 포함하되, 상기 제1 안구영상은 상기 제2 안구영상보다 먼저 생성된 영상인, 자동 질환 판단 방법이 개시된다. According to another embodiment of the present invention, in an automatic disease determination method performed by an automatic disease determination apparatus, a first blood vessel segmentation image for a first eye image and a second blood vessel segmentation for a second eye image according to a preset method. Generating an image; Generating a first blood vessel graph using the first blood vessel segmentation image and generating a second blood vessel graph using the second vessel segmentation image; And determining the presence or absence of a disease by comparing the first blood vessel graph and the second blood vessel graph; including, wherein the first eye image is an image generated earlier than the second eye image, and an automatic disease determination method is disclosed. do.

실시예에 따라, 상기 제1 혈관그래프를 생성하는 단계는, 상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 동맥 중심선을 추출하는 단계; 상기 동맥 중심선을 이용하여 동맥 분기점을 추출하는 단계; 및 상기 동맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계;를 포함할 수 있다. According to an embodiment, generating the first blood vessel graph may include extracting an artery center line from the first blood vessel segmentation image or the second vessel segmentation image; Extracting an artery bifurcation point using the arterial center line; And generating the first blood vessel graph or the second blood vessel graph by connecting the arterial bifurcation points according to a preset method.

실시예에 따라, 상기 제2 혈관그래프를 생성하는 단계는, 상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 정맥 중심선을 추출하는 단계; 상기 정맥 중심선을 이용하여 정맥 분기점을 추출하는 단계; 및 상기 정맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계;를 더 포함할 수 있다. According to an embodiment, generating the second blood vessel graph may include extracting a vein center line from the first blood vessel segmentation image or the second vessel segmentation image; Extracting a vein branch point using the vein center line; And generating the first blood vessel graph or the second blood vessel graph by connecting the vein bifurcation points according to a preset method.

실시예에 따라, 상기 제1 혈관그래프 및 상기 제2 혈관그래프를 생성하는 단계는, 상기 동맥 분기점을 연결하는 동맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계; 및 상기 정맥 분기점을 연결하는 정맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계;를 더 포함할 수 있다. According to an embodiment, the generating of the first blood vessel graph and the second blood vessel graph includes generating the first blood vessel graph or the second blood vessel graph by reflecting the thickness and length of the arteries connecting the arterial bifurcation points. step; And generating the first blood vessel graph or the second blood vessel graph by reflecting the thickness and length of veins connecting the vein bifurcation points.

실시예에 따라, 상기 질환 유무를 판단하는 단계는, 상기 제1 혈관그래프와 상기 제2 혈관그래프를 정합하여 상이한 부분을 관측하는 단계; 및 상기 상이한 부분을 이용하여 미리 학습된 합성곱 신경망을 이용하여 상기 질환 유무를 판단하는 단계;를 포함하되, 상기 합성곱 신경망은 질병의 종류와 시간 변화에 따른 혈관그래프 변화의 상관 관계를 통해 미리 학습된 것일 수 있다. According to an embodiment, determining the presence or absence of the disease may include: observing different portions by matching the first blood vessel graph and the second blood vessel graph; And determining the presence or absence of the disease using a convolutional neural network learned in advance using the different parts; including, wherein the convolutional neural network is preliminarily based on a correlation between a change in a blood vessel graph according to a type of disease and a time change. It may be learned.

실시예에 따라, 상기 제1 혈관분할영상을 생성하는 단계는, 환자의 안저 영상(FP image)과 형광안저혈관조영 영상(FAG image)의 프레임들을 취득하는 단계; 형광안저혈관조영 영상(FAG image)의 각 프레임들을 특징점 정합 기법을 활용하여 강체 정합(rigid registration)하는 단계; 형광안저혈관조영 영상(FAG image)의 특성에 맞춰 딥러닝 기반으로 정합된 형광안저혈관조영영상(FAG image)의 혈관 추출을 수행하는 단계; 형광안저혈관조영 영상(FAG image) 프레임들의 혈관 추출 결과를 평균값으로 통합하는 단계; 안저 영상의 특성에 맞춰 딥러닝 기반으로 안저 영상의 혈관 추출을 수행하는 단계; 상기 추출된 혈관으로부터 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행하는 단계; 및 상기 정합된 결과를 기초로 혈관을 분할하는 단계;를 포함할 수 있다. According to an embodiment, generating the first blood vessel segmentation image includes: acquiring frames of a patient's fundus image (FP image) and a fluorescent fundus angiography image (FAG image); Rigid registration of each frame of a fluorescent fundus angiography image (FAG image) using a feature point matching technique; Performing blood vessel extraction of a fluorescent fundus angiography image (FAG image) matched based on deep learning according to the characteristics of a fluorescent fundus angiography image (FAG image); Integrating the blood vessel extraction results of the FAG image frames into an average value; Performing blood vessel extraction of the fundus image based on deep learning according to the characteristics of the fundus image; Performing matching of a fluorescent fundus angiography image (FAG image) and a fundus image (FP image) from the extracted blood vessels; And dividing the blood vessel based on the matched result.

실시예에 따라, 상기 형광안저혈관조영 영상(FAG image)의 각 프레임들을 특징점 정합 기법을 활용하여 강체정합(rigid registration)하는 단계는, 특징점 검출, 특징점 기술자 추출, 특징점 정합 과정 중 RANSAC(RANdom Sample Consensus)를 사용하여 형광안저혈관조영 영상(FAG image)의 정합을 수행하는 단계;를 포함할 수 있다. According to an embodiment, the step of rigid registration of each frame of the fluorescent fundus angiography image (FAG image) using a feature point matching technique may include detecting a feature point, extracting a feature point descriptor, and performing a RANSAC (RANdom Sample) during the feature point matching process. Consensus) to perform matching of a fluorescent fundus angiography image (FAG image); may include.

실시예에 따라, 상기 딥러닝은 학습된 컨볼루셔널 신경망(convolutional neural network : CNN)이고, 상기 형광안저혈관조영 영상(FAG image)의 특성에 맞춰 딥러닝 기반으로 정합된 형광안저혈관조영 영상(FAG image)의 혈관 추출을 수행하는 단계는, 형광안저혈관조영 영상(FAG image)에서의 혈관을 바탕으로 딥러닝 기반의 FAG Vessel Probability map(FAGVP)를 도출하는 단계;를 포함할 수 있다. According to an embodiment, the deep learning is a learned convolutional neural network (CNN), and a fluorescent fundus angiography image matched based on deep learning according to the characteristics of the fluorescent fundus angiography image (FAG image) ( The step of performing blood vessel extraction of the FAG image) may include deriving a deep learning-based FAG Vessel Probability map (FAGVP) based on blood vessels in a fluorescent fundus angiography image (FAG image).

실시예에 따라, 상기 형광안저혈관조영 영상(FAG image) 프레임들의 혈관 추출 결과를 평균값으로 통합하는 단계는, FAGVP에서 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 하는 비강체 정합(non-rigid registration)을 수행하고 정합된 FAGVP의 Average FAG Vessel Probability map(A-FAGVP)의 평균값 및 동일한 pixel 위치별 최대값을 추출한 Maximum FAG Vessel Probability map(M-FAGVP)을 도출하는 단계;를 포함할 수 있다. According to an embodiment, the step of integrating the blood vessel extraction results of the FAG image frames as an average value is a ratio based on a free-form deformation technique of a coordinate grid expressed by a B-Spline model in FAGVP. Performing non-rigid registration and deriving a Maximum FAG Vessel Probability Map (M-FAGVP) obtained by extracting the average value of the average FAG Vessel Probability map (A-FAGVP) of the matched FAGVP and the maximum value for each pixel position May include;

실시예에 따라, 상기 안저 영상의 특성에 맞춰 딥러닝 기반으로 안저 영상의 혈관 추출을 수행하는 단계는, 안저 영상(FP image)과 A-FAGVP 간의 정합을 위해 딥러닝 기반의 Fundus Photo Vessel Probability map(FPVP)을 도출하는 단계;를 포함할 수 있다. According to an embodiment, the step of performing blood vessel extraction of a fundus image based on deep learning according to the characteristics of the fundus image includes a deep learning-based Fundus Photo Vessel Probability map for matching between the fundus image (FP image) and A-FAGVP. It may include; deriving (FPVP).

실시예에 따라, 상기 추출된 혈관으로부터 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행하는 단계는, FPVP와 A-FAGVP에서 도출된 혈관으로부터 챔퍼 매칭(Chamfer Matching) 기법을 이용하여 안저 영상-형광안저혈관조영 영상(FP-FAG) 간 강체 정합(rigid registration)을 수행하는 단계; 및 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 하는 최종 안저 영상-형광안저혈관조영 영상(FP-FAG) 간 비강체 정합(non-rigid registration)을 수행하는 단계;를 포함할 수 있다. According to an embodiment, the step of performing the matching of a fluorescent fundus angiography image (FAG image) and a fundus image (FP image) from the extracted blood vessels includes chamfer matching from blood vessels derived from FPVP and A-FAGVP. Performing rigid registration between a fundus image-fluorescent fundus angiography image (FP-FAG) using a technique; And performing non-rigid registration between the final fundus image-fluorescent fundus angiography image (FP-FAG) based on the free-form deformation technique of the coordinate grid represented by the B-Spline model. Can include.

실시예에 따라, 상기 정합된 결과를 기초로 혈관을 분할하는 단계는, A-FAGVP의 픽셀별 확률값을 기반으로 이중 역치(hysteresis thresholding) 기법을 적용하여 이진(binary) 혈관 분할 마스크(vessel segmentation mask)를 도출하는 단계; 도출된 혈관 분할 마스크에 연결된 요소 분석(connected component analysis) 기법을 적용하여 노이즈를 제거하는 단계; 및 정맥(vein)에 발생하는 틈새까지 보강된 정합된 A-FAGVP를 바탕으로 분할(segmentation)하는 단계;를 포함할 수 있다. According to an embodiment, the step of segmenting a blood vessel based on the matched result is a binary vessel segmentation mask by applying a hysteresis thresholding technique based on a probability value for each pixel of A-FAGVP. ) Deriving; Removing noise by applying a connected component analysis technique to the derived blood vessel segmentation mask; And segmentation based on the matched A-FAGVP reinforced up to the gap occurring in the vein.

본 발명의 실시예들에 따른 질환 판단 장치 및 그 방법은 안저 영상과 형광안저혈관조영 영상을 정합하여 안저 영상 내 망막 혈관의 정밀한 영역을 자동 추출할 수 있으므로 정확한 안구 혈관 분석이 가능하다. The disease determination apparatus and method according to embodiments of the present invention can automatically extract a precise region of the retinal blood vessels in the fundus image by matching the fundus image and the fluorescent angiography image, so that accurate ocular blood vessel analysis is possible.

또한, 본 발명의 실시예들에 따른 질환 판단 장치 및 그 방법은 정확한 안구 혈관 분석을 기반으로 자동 질환 판단의 정확성을 높일 수 있다. In addition, the apparatus and method for determining a disease according to embodiments of the present invention may increase accuracy of automatic disease determination based on an accurate ocular blood vessel analysis.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 질환 판단 장치에 대한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 질환 판단 동작 및 방법에 대한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 혈관추출모듈에 대한 논리적 구성도이다.
도 4는 본 발명의 일 실시예에 따른 SIFT 기법을 이용하여 정합한 결과에 대한 도면이다.
도 5는 본 발명의 일 실시예에 따른 형광안저혈관조영 영상(FAG image)에서의 FAG Vessel Probability map(FAGVP)을 도출한 결과에 대한 도면이다.
도 6은 본 발명의 일 실시예에 따른 강체 정합(rigid registration)으로 유사하게 정합된 두 영상이 B-Spline 기법을 통해 매우 정밀하게 정합(registration)된 결과에 대한 도면이다.
도 7은 본 발명의 일 실시예에 따른 정밀하게 분할된 혈관 영상의 결과에 대한 도면이다.
도 8은 본 발명의 일 실시예에 따른 안저 영상과 형광안저혈관조영 영상을 정합하는 방법에 대한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 딥러닝을 이용한 FAG Vessel Probability map을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 강체 정합(왼쪽)과 비강체 정합(오른쪽)에 따른 결과를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 Average FAGVP map(왼쪽)과 Maximum FAGVP map(오른쪽)을 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 FP 이미지(왼쪽)과 딥러닝을 이용하여 도출된 FAGVP map을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 챔퍼 매칭을 이용한 강체 정합에 따른 결과를 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 B-Spline 기법을 이용한 비강체 정합에 따른 결과를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 혈관분할영상이 생성되는 동작에 대한 개략적인 흐름을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따라 혈관분할영상에서 동맥 분기점 및 정맥 분기점을 추출하는 동작을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 혈관그래프를 예시한 도면이다.
도 18은 본 발명의 일 실시예에 따라 제1 혈관그래프와 제n 혈관그래프의 비교를 예시한 도면이다. The following drawings appended to the present specification illustrate preferred embodiments of the present invention, and serve to further understand the technical idea of the present invention along with specific details for carrying out the present invention. It cannot be interpreted limitedly to the information described.
1 is a block diagram of an apparatus for determining a disease according to an embodiment of the present invention.
2 is a flowchart of an operation and method for determining a disease according to an embodiment of the present invention.
3 is a logical configuration diagram of a blood vessel extraction module according to an embodiment of the present invention.
4 is a diagram for a result of matching using the SIFT technique according to an embodiment of the present invention.
FIG. 5 is a diagram for a result of deriving a FAG Vessel Probability map (FAGVP) in a fluorescent fundus angiography image (FAG image) according to an embodiment of the present invention.
6 is a diagram showing a result of very precisely registration of two images similarly matched by rigid registration according to an embodiment of the present invention through the B-Spline technique.
7 is a diagram for a result of a precisely segmented blood vessel image according to an embodiment of the present invention.
8 is a flowchart illustrating a method of matching a fundus image and a fluorescent fundus angiography image according to an embodiment of the present invention.
9 is a diagram illustrating a FAG Vessel Probability map using deep learning according to an embodiment of the present invention.
10 is a view showing the results of rigid body registration (left) and non-rigid body registration (right) according to an embodiment of the present invention.
11 is a diagram showing an average FAGVP map (left) and a maximum FAGVP map (right) according to an embodiment of the present invention.
12 is a diagram illustrating an FP image (left) and a FAGVP map derived using deep learning according to an embodiment of the present invention.
13 is a view showing a result of rigid body matching using chamfer matching according to an embodiment of the present invention.
14 is a diagram showing a result of non-rigid matching using a B-Spline technique according to an embodiment of the present invention.
15 is a diagram for explaining a schematic flow of an operation in which a blood vessel segmented image is generated according to an embodiment of the present invention.
16 is a diagram for explaining an operation of extracting an artery bifurcation point and a vein bifurcation point from a blood vessel segmentation image according to an embodiment of the present invention.
17 is a diagram illustrating a blood vessel graph according to an embodiment of the present invention.
18 is a diagram illustrating a comparison between a first blood vessel graph and an n-th blood vessel graph according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can apply various transformations and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all conversions, equivalents, and substitutes included in the spirit and scope of the present invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, when it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description of the present specification are merely identification symbols for distinguishing one component from other components.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, throughout the specification, when one component is referred to as "connected" or "connected" to another component, the one component may be directly connected or directly connected to the other component, but specially It should be understood that as long as there is no opposite substrate, it may be connected or may be connected via another component in the middle.

또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.In addition, throughout the specification, when a certain part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "unit" and "module" described in the specification mean a unit that processes at least one function or operation, which means that it can be implemented as one or more hardware or software, or a combination of hardware and software. .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 질환 판단 장치에 대한 블록 구성도이다.1 is a block diagram of an apparatus for determining a disease according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 질환 판단 장치(100)는 수신부(110), 프로세서(120) 및 메모리(130)를 포함할 수 있다. Referring to FIG. 1, a disease determination apparatus 100 according to an embodiment of the present invention may include a receiver 110, a processor 120, and a memory 130.

수신부(110)는 외부 장치와 연결되어 각종 정보를 수신하는 구성일 수 있다. 특히 수신부(110)는 외주 장치로부터 안구 영상을 수신할 수 있다. 수신부(110)는 통신 모뎀, USB 포트 등을 포함할 수 있다. 예를 들어, 수신부(110)는 이동통신 단말기(미도시)와 유선 또는 무선으로 연결되어 이동통신 단말기(미도시)를 통해 안구 영상을 수신할 수 있다. 다른 예를 들어, 수신부(110)는 외부 메모리 장치(미도시)와 유선으로 연결되어, 외부 메모리 장치(미도시)에 저장되어 있는 안구 영상을 수신할 수 있다. The receiving unit 110 may be connected to an external device to receive various types of information. In particular, the receiving unit 110 may receive an eyeball image from an external device. The receiving unit 110 may include a communication modem, a USB port, and the like. For example, the receiving unit 110 may be connected to a mobile communication terminal (not shown) by wire or wirelessly to receive an eyeball image through a mobile communication terminal (not shown). For another example, the receiving unit 110 may be connected to an external memory device (not shown) by wire to receive an eyeball image stored in the external memory device (not shown).

여기서 안구 영상은 임의의 환자의 안구에 상응하는 영상일 수 있다. 예를 들어, 안구 영상은 임의의 환자의 안구에 상응하는 안저 영상(FP image, Fundus Photography image)을 포함할 수 있다. 다른 예를 들어, 안구 영상은 임의의 환자의 안구에 상응하는 형광안저혈관조영 영상(FAG image, Fluorescein Angiography image) 등일 수 있다. 안구 영상은 임의의 환자의 안저 영상(FP image) 및 형광안저혈관조영 영상(FAG image)를 모두 포함하는 개념일 수도 있다. Here, the eyeball image may be an image corresponding to the eyeball of an arbitrary patient. For example, the eyeball image may include a fundus image (FP image, Fundus Photography image) corresponding to the eyeball of a patient. For another example, the eyeball image may be a Fluorescein Angiography image (FAG image) corresponding to the eyeball of a patient. The eye image may be a concept including both an FP image and a fluorescein angiography image (FAG image) of an arbitrary patient.

수신부(110)는 수신된 안구 영상을 프로세서(120)로 출력할 수 있다. The receiver 110 may output the received eyeball image to the processor 120.

프로세서(120)는 메모리(130)에 저장된 인스트럭션들을 이용하여 안구 정보를 분석할 수 있다. 즉 프로세서(120)는 메모리(130)에 저장된 인스트럭션들을 이용하여 입력된 안구 정보를 분석한 뒤, 당해 환자의 질환 유무를 판단할 수 있다. 이하, 프로세서(120)가 안구 정보를 분석하는 동작에 대해 구체적으로 설명한다. The processor 120 may analyze eye information using instructions stored in the memory 130. That is, the processor 120 may analyze the input eye information using instructions stored in the memory 130 and then determine whether the patient has a disease. Hereinafter, an operation in which the processor 120 analyzes eye information will be described in detail.

도 2는 본 발명의 일 실시예에 따른 프로세서(120)의 질환 판단 동작 및 질환 판단 방법에 대한 개략적인 순서도이다.2 is a schematic flowchart of a disease determination operation and a disease determination method of the processor 120 according to an embodiment of the present invention.

도 2를 참조하면, 단계 S210에서, 프로세서(120)는 수신부(110)로부터 안구 영상을 수신할 수 있다. 프로세서(120)에 수신된 안구 영상은 제1 안구 영상과 제2 안구 영상을 포함할 수 있다. 제1 안구 영상은 제2 안구 영상보다 먼저 생성된 영상일 수 있다. 예를 들어, 제1 안구 영상은 2017년 08월에 생성된 안구 영상일 수 있고, 제2 안구 영상은 2019년 08월에 생성된 안구 영상일 수 있다. 또한 제1 안구 영상은 제1 안저 영상(FP image) 및 제1 형광안저혈관조영 영상(FAG image)을 포함할 수 있다. 또한 제2 안구 영상은 제2 안저 영상(FP image) 및 제2 형광안저혈관조영 영상(FAG image)을 포함할 수 있다.Referring to FIG. 2, in step S210, the processor 120 may receive an eyeball image from the receiver 110. The eyeball image received by the processor 120 may include a first eyeball image and a second eyeball image. The first eyeball image may be an image generated before the second eyeball image. For example, the first eyeball image may be an eyeball image generated in August, 2017, and the second eyeball image may be an eyeball image generated in August, 2019. In addition, the first eyeball image may include a first fundus image (FP image) and a first fluorescent fundus angiography image (FAG image). In addition, the second eyeball image may include a second fundus image (FP image) and a second fluorescent fundus angiography image (FAG image).

단계 S220에서, 프로세서(120)는 혈관추출모듈(140)에 상응하는 인스트럭션들을 이용하여 안구 정보를 분석할 수 있다. 혈관추출모듈(140)은 안구 정보에서 혈관에 대한 정보만을 분할할 수 있도록 하는 인스트럭션들을 포함할 수 있다. 따라서 프로세서(120)는 혈관추출모듈(140)에 상응하는 인스트럭션들을 이용하여 제1 안구영상에 대한 제1 혈관분할영상을 생성할 수 있다. 마찬가지로 프로세서(120)는 혈관추출모듈(140)에 상응하는 인스트럭션들을 이용하여 제2 안구영상에 대한 제2 혈관분할영상을 생성할 수 있다. 여기서 제1 혈관분할영상은 제1 안구 영상을 이용하여 당해 환자 안구의 혈관에 대한 정보만 분할된 영상일 수 있고, 제2 혈관분할영상은 제2 안구 영상을 이용하여 당해 환자 안구의 혈관에 대한 정보만 분할된 영상일 수 있다. In step S220, the processor 120 may analyze eye information using instructions corresponding to the blood vessel extraction module 140. The blood vessel extraction module 140 may include instructions for dividing only information on blood vessels from eye information. Accordingly, the processor 120 may generate a first blood vessel segmentation image for the first eyeball image by using instructions corresponding to the blood vessel extraction module 140. Likewise, the processor 120 may generate a second blood vessel segmented image for the second eyeball image by using instructions corresponding to the blood vessel extraction module 140. Here, the first blood vessel segmentation image may be an image in which only information about the blood vessels of the patient's eye is segmented using the first eyeball image, and the second vessel segmentation image is an image of the blood vessels of the patient's eye using the second eyeball image. Only information may be a segmented image.

이하 도 3을 참조하여 혈관추출모듈(140)에 상응하는 인스트럭션들을 이용한 프로세서(120)의 동작에 대해 구체적으로 설명한다. Hereinafter, the operation of the processor 120 using instructions corresponding to the blood vessel extraction module 140 will be described in detail with reference to FIG. 3.

도 3은 본 발명의 일 실시예에 따른 혈관추출모듈에 대한 논리적 구성도이다.3 is a logical configuration diagram of a blood vessel extraction module according to an embodiment of the present invention.

도 3을 참조하면, 혈관추출모듈(140)은 FAG 정합유닛(210), FAG 혈관추출유닛(220), 통합유닛(230), FP 혈관추출유닛(240), FAG -FP 정합유닛(250) 및 혈관분할유닛(260)과 같은 논리적 구성을 포함할 수 있다. 프로세서(120)가 제1 혈관분할영상을 생성하는 동작과 제2 혈관분할영상을 생성하는 동작은 동일할 수 있다. 따라서 이하에서는 프로세서(120)가 구분없이 혈관분할영상을 생성하는 것으로 통칭하여 설명한다. 3, the blood vessel extraction module 140 includes a FAG matching unit 210, a FAG blood vessel extraction unit 220, an integrated unit 230, an FP blood vessel extraction unit 240, and a FAG-FP matching unit 250. And a logical configuration such as the blood vessel division unit 260. An operation of the processor 120 generating the first blood vessel segmentation image and the operation of generating the second vessel segmentation image may be the same. Therefore, hereinafter, the processor 120 will collectively be described as generating a blood vessel segmentation image without distinction.

먼저, 프로세서(120)는 환자의 안저 영상(FP image)과 형광안저혈관조영 영상(FAG image)의 프레임들을 취득한다. 이때, 안저 영상(FP image)은 안과에서 안구 질환의 검사를 위한 안저 촬영 장치를 통해 취득될 수 있으며, 형광안저혈관조영 영상(FAG image)은 정맥에 형광물질(Fluorescein)을 주입하고, 형광 물질이 망막순환계를 통해 순환하는 것을 광학적으로 촬영하여 혈관을 표시하는 장치를 통해 취득될 수 있다. 한편, 상술한 안저 영상 및/또는 형광안저혈관조영 영상은 시간의 흐름에 따라 다중 프레임으로 구성될 수 있다.First, the processor 120 acquires frames of a patient's fundus image (FP image) and a fluorescent fundus angiography image (FAG image). At this time, the fundus image (FP image) can be acquired through a fundus imaging device for the examination of eye diseases in ophthalmology, and the fluorescein angiography image (FAG image) is by injecting a fluorescent substance (Fluorescein) into a vein, and a fluorescent substance. The circulating through the retinal circulatory system can be optically photographed and acquired through a device displaying blood vessels. Meanwhile, the above-described fundus image and/or fluorescent fundus angiography image may be configured as multiple frames according to the passage of time.

FAG 정합유닛(310)에는 시간의 흐름에 따라 다중 프레임으로 구성된 형광안저혈관조영 영상(FAG image)의 각 프레임들을 특징점 정합 기법을 활용하여 정합하도록 하는 인스트럭션들을 포함한다. 보다 구체적으로, FAG 정합유닛(310)은 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 형광안저혈관조영 영상(FAG image)의 강체 정합(rigid registration)을 수행하도록 하는 인스트럭션들을 포함한다. FAG 정합유닛(310)은 특징점 검출, 특징점 기술자 추출, 특징점 정합 과정 중 RANSAC(RANdom Sample Consensus)를 사용하여 형광안저혈관조영 영상(FAG image)의 정합이 수행되도록 할 수 있다. The FAG matching unit 310 includes instructions for matching each frame of a fluorescent fundus angiography image composed of multiple frames according to the passage of time using a feature point matching technique. More specifically, the FAG matching unit 310 includes instructions for performing rigid registration of a fluorescent fundus angiography image (FAG image) using a Scale Invariant Feature Transform (SIFT) technique. The FAG matching unit 310 may perform registration of a fluorescent fundus angiography image (FAG image) using RANSAC (RANdom Sample Consensus) during a feature point detection, feature point descriptor extraction, and feature point matching process.

형광안저혈관조영 영상(FAG image)은 시간에 따른 혈관 및 배경의 변화가 존재할 수 있다. 따라서 본 발명에서는 영상의 변화를 최소화하면서 다양한 특징을 검출할 수 있도록 SIFT(Scale Invariant Feature Transform) 기법이 활용될 수 있다. SIFT(Scale Invariant Feature Transform) 기법을 이용하여 형광안저혈관조영 영상(FAG image) 내의 optic disc, fovea, local vessel structure 등 다양한 지역적인 특징이 검색될 수 있다. 이러한 특징들을 바탕으로 시각적인 변화를 최소화할 수 있도록, 프로세서(120)는 두 영상 내에서의 특징들을 매칭(matching)하고, 이를 바탕으로 RANSAC(RANDOM SAMPLE CONSENSUS)기법을 기반으로 하는 perspectivce transform 추정할 수 있다. 프로세서(120)는 추정된 perspective transform으로 두 영상 간의 강체 정합(rigid registration)을 수행할 수 있다. 프로세서(120)는 연속적으로 이어지는 영상을 앞서 정합(registration)이 수행된 영상을 기준으로 하여 SIFT기반의 정합 (registration)할 수 있다. Fluorescein angiography images (FAG images) may have changes in blood vessels and backgrounds over time. Accordingly, in the present invention, a Scale Invariant Feature Transform (SIFT) technique may be used to detect various features while minimizing a change in an image. Using the Scale Invariant Feature Transform (SIFT) technique, various regional features such as optic disc, fovea, and local vessel structure in a FAG image can be searched. In order to minimize visual changes based on these features, the processor 120 matches features in two images and estimates a perspectivce transform based on the RANSAC (RANDOM SAMPLE CONSENSUS) technique. I can. The processor 120 may perform rigid registration between two images using the estimated perspective transform. The processor 120 may perform SIFT-based registration of the continuously continuous images based on the image for which registration has been previously performed.

이러한 일련의 과정에 따른 결과는 도 4에 도시된 바와 같다. 이와 같은 과정을 통해 프로세서(120)는 모든 형광안저혈관조영 영상(FAG image)을 반복으로 정합(registration)할 수 있다. 프로세서(120)는 모든 형광안저혈관조영 영상(FAG image)에 대해 상기 동작을 수행한 후, 최종적으로 정합(registration)된 결과는 가장 첫번째의 영상을 기준으로 정합(registration)할 수 있다. The results of this series of processes are as shown in FIG. 4. Through this process, the processor 120 may repeatedly register all of the fluorescent fundus angiography images (FAG images). After the processor 120 performs the above operation on all of the fluorescent fundus angiography images (FAG images), the final registration result may be registered based on the first image.

FAG 혈관 추출유닛(320)에는 형광안저혈관조영 영상(FAG image)의 특성에 맞춰 딥러닝 기반으로 정합된 형광안저혈관조영 영상(FAG image)의 혈관 추출을 수행하도록 하는 인스트럭션들을 포함할 수 있다. 이때, 딥러닝은 학습된 컨볼루셔널 신경망(convolutional neural network: CNN)일 수 있다. 보다 구체적으로, 프로세서(120)는 FAG 혈관 추출유닛(320)의 인스트럭션들을 이용하여 형광안저혈관조영 영상(FAG image)에서의 혈관을 바탕으로 딥러닝 기반 FAG Vessel Probability map(FAGVP)를 도출할 수 있다. The FAG blood vessel extraction unit 320 may include instructions for performing blood vessel extraction of a fluorescent fundus angiography image (FAG image) matched based on deep learning in accordance with the characteristics of a fluorescent fundus angiography image (FAG image). In this case, deep learning may be a learned convolutional neural network (CNN). More specifically, the processor 120 can derive a deep learning-based FAG Vessel Probability map (FAGVP) based on blood vessels in a fluorescent fundus angiography image (FAG image) using the instructions of the FAG blood vessel extraction unit 320. have.

상술한 FAG 정합유닛(310)의 인스트럭션들을 통해 형광안저혈관조영 영상(FAG image)은 perspective transform으로부터 강제 정합(rigid registration)되지만, 여전히 형광안저혈관조영 영상(FAG image)에는 시간에 따른 변화, optic disc, background 등 오리지널 형광안저혈관조영 영상(FAG image)의 속성을 그대로 가지고 있으므로, 매우 밀접한 혈관 간의 정합을 위해서 정합에 방해가 되는 다른 속성들을 제거해야 할 필요가 있다. Fluorescent fundus angiography image (FAG image) through the instructions of the FAG matching unit 310 described above is forcibly registered from the perspective transform, but the fluorescence fundus angiography image (FAG image) is still subject to change over time, optics Since it retains the properties of the original fluorescent fundus angiography image (FAG image) such as disc and background, it is necessary to remove other properties that interfere with registration for very close registration between blood vessels.

따라서, 프로세서(120)는 FAG 혈관 추출유닛(320)에 포함된 정밀도가 높은 딥러닝(Deep Learning: DL) 기반의 혈관 영역화 기법 인스트럭션들을 적용하여 정합된 형광안저혈관조영 영상(FAG image)의 혈관 추출을 수행한다. 딥러닝 기반의 혈관 영역화 기법들은 공지된 기술로 다양하며, 혈관을 제외한 다른 속성들을 매우 높은 확률로 제거할 수 있다. 하지만, 종래의 기술 중 Retinal Vessel Segmentation 기법들의 Database(DRIVE, STARE, CHASE, HRF)들은 모두 안저 영상(FP image)에 대한 것이므로 형광안저혈관조영 영상(FAG image)과 다른 특징을 가지고 있다. 특히, 혈관의 특징이 매우 다르게 나타난다. 안저 영상(FP image)을 그레이스케일(grayscale)로 변환했을 때, 혈관의 주변보다 더욱 낮은 pixel value로 표현된다. 반면, 형광안저혈관조영 영상(FAG image)에서는 주변에 비해 더욱 높은 pixel value로 표현된다. Therefore, the processor 120 applies the high-precision deep learning (DL) based blood vessel regionization technique instructions included in the FAG blood vessel extraction unit 320 to obtain a matched fluorescein angiography image (FAG image). Vascular extraction is performed. Deep learning-based blood vessel localization techniques are various known techniques, and other properties other than blood vessels can be removed with a very high probability. However, among the conventional techniques, databases (DRIVE, STARE, CHASE, HRF) of the Retinal Vessel Segmentation techniques are all for FP images, so they have different characteristics from FAG images. In particular, the characteristics of blood vessels appear very differently. When the fundus image (FP image) is converted to grayscale, it is expressed as a lower pixel value than the periphery of the blood vessel. On the other hand, in the fluorescence fundus angiography image (FAG image), it is expressed as a higher pixel value than the surrounding area.

따라서, 이러한 상반된 특성이 형광안저혈관조영 영상(FAG image)에 반영될 수 있도록 기존의 안저 영상(FP image) 데이터베이스는 적절히 변환될 수 있다. 혈관을 기준으로 안저 영상(FP image)에서 그린 채널(green channel)의 pixel value가 인버스 트랜스폼(inverse transform)되면 형광안저혈관조영 영상(FAG image)과 유사한 특성이 포함되도록 변환될 수 있기 때문이다. Therefore, the existing fundus image (FP image) database can be appropriately converted so that these contradictory characteristics can be reflected in the fluorescence fundus angiography image (FAG image). This is because if the pixel value of the green channel in the FP image is inverse transformed based on the blood vessel, it can be transformed to include characteristics similar to the FAG image. .

기반의 혈관 영역화 기법에 대한 딥러닝(Deep Learning: DL)은 변환된 안저 영상(FP image)을 바탕으로 동일한 Ground Truth(GT)에 대해 학습될 수 있고, 이를 통해 형광안저혈관조영 영상(FAG image)에서의 FAG Vessel Probability map(FAGVP)이 도출될 수 있다. Deep Learning (DL) for the based vascular localization technique can be learned about the same Ground Truth (GT) based on the converted fundus image (FP image), and through this, a fluorescence fundus angiography image (FAG) can be learned. image) can be derived from the FAG Vessel Probability map (FAGVP).

이때 도출된 결과는 도 5에 도시된 바와 같이 매우 정밀하게 혈관이 추정되는 것을 볼 수 있다. 도 5에서 좌측 상단은 Color Fundus Photo Image, 우측 상단은 Gray Fundus Photo Image, 좌측 하단은 Inverse Gray Fundus Photo, 우측 하단은 FAG Image이다.In this case, it can be seen that the blood vessel is estimated very precisely as shown in FIG. 5. In FIG. 5, the upper left is a Color Fundus Photo Image, the upper right is a Gray Fundus Photo Image, the lower left is an Inverse Gray Fundus Photo, and the lower right is a FAG Image.

프로세서(120)는 통합유닛(330)의 인스트럭션들을 이용하여 형광안저혈관조영 영상(FAG image) 프레임들의 혈관 추출 결과를 평균값으로 통합할 수 있다. 보다 구체적으로, 프로세서(120)는 통합유닛(330)의 인스트럭션들을 이용하여 FAGVP에서 B-Spline 기법을 기반으로 하는 비강체 정합(non-rigid registration)을 수행하고 정합된 FAGVP의 Average FAG Vessel Probability map(A-FAGVP)을 도출할 수 있다. 보다 자세하게, 프로세서(120)는 통합유닛(330)의 인스트럭션들을 이용하여 FAGVP에서 B-Spline 모델로 표현되는 좌표 격자의 free-form deformation 기법을 기반으로 하는 비강체 정합(non-rigid registration)을 수행하고 정합된 FAGVP의 Average FAG Vessel Probability map(A-FAGVP)의 평균값을 도출할 수 있다. The processor 120 may integrate the blood vessel extraction results of the FAG image frames as an average value using the instructions of the integration unit 330. More specifically, the processor 120 uses the instructions of the integration unit 330 to perform non-rigid registration based on the B-Spline technique in FAGVP, and the average FAG Vessel Probability map of the matched FAGVP. (A-FAGVP) can be derived. In more detail, the processor 120 uses the instructions of the integration unit 330 to perform non-rigid registration based on the free-form deformation technique of the coordinate grid represented by the B-Spline model in FAGVP. And the average value of the average FAG Vessel Probability map (A-FAGVP) of the matched FAGVP can be derived.

상술한 FAG 혈관 추출유닛(320)의 인스트럭션들을 이용한 SIFT 기반의 강체 정합(rigid registration)은 혈관이 아닌 주변 구조물 혹은 비강체(non-rigid)한 움직임으로 인해 정밀하게 정합되지 못한다. 따라서, 본 발명에서의 프로세서(120)는 다른 구조물들을 제거한 FAGVP로부터 혈관 간의 정밀도가 높은 비강체 정합(non-rigid registration)을 수행한다. 프로세서(120)는 이미 강체 정합(rigid registration)을 통해 상당히 유사하게 정합된 FAGVP로부터 반복적인 정합을 수행하여 정보를 계산하고, 이를 바탕으로 오차를 줄여나가는 B-Spline 정합(registration) 기법을 활용하여 비강체 정합(non-rigid registration)을 수행할 수 있다. The SIFT-based rigid registration using the instructions of the above-described FAG blood vessel extraction unit 320 cannot be precisely matched due to the surrounding structures or non-rigid movements other than blood vessels. Accordingly, the processor 120 in the present invention performs non-rigid registration with high precision between blood vessels from the FAGVP from which other structures have been removed. The processor 120 calculates information by performing repetitive registration from FAGVPs that have already been fairly similarly matched through rigid registration, and utilizes a B-Spline registration technique that reduces errors based on this. Non-rigid registration can be performed.

프로세서(120)는 FP 혈관 추출유닛(340)의 인스트럭션들을 이용하여 안저 영상의 특성에 맞춰 딥러닝 기반으로 안저 영상의 혈관 추출을 수행할 수 있다. 보다 구체적으로, 프로세서(120)는 FP 혈관 추출유닛(340)의 인스트럭션들을 이용하여 안저 영상(FP image)와 A-FAGVP 간의 정합을 위해 딥러닝 기반의 Fundus Photo Vessel Probability map(FPVP)을 도출할 수 있다. 통합유닛(330)의 인스트럭션들을 이용한 비강체 정합(non-rigid registration) 이후, 프로세서(120)는 시간에 따른 전체적인 혈관의 변화를 모두 포함하기 위해 시간축으로 동일한 pixel 위치의 평균을 계산하여 average FAG Vessel Probability map(A-FAGVP) 및 동일한 pixel 위치별 최대값을 추출한 Maximum FAG Vessel Probability map(M-FAGVP)을 도출할 수 있다. 시간축을 따라 pixel 별 평균값으로 계산된 A-FAGVP는 전체적인 시간에 따른 혈관의 변화를 반영할 뿐만 아니라, 발생할 수 있는 작은 노이즈(noise)를 효과적으로 억제할 수 있다. The processor 120 may extract blood vessels of the fundus image based on deep learning in accordance with the characteristics of the fundus image using instructions of the FP blood vessel extraction unit 340. More specifically, the processor 120 uses the instructions of the FP blood vessel extraction unit 340 to derive a deep learning-based Fundus Photo Vessel Probability map (FPVP) for matching between the fundus image (FP image) and A-FAGVP. I can. After non-rigid registration using the instructions of the integration unit 330, the processor 120 calculates the average of the same pixel positions along the time axis to include all changes in the entire blood vessel over time and average FAG Vessel. A Probability map (A-FAGVP) and a Maximum FAG Vessel Probability Map (M-FAGVP) obtained by extracting the maximum value for each pixel location can be derived. A-FAGVP, calculated as an average value for each pixel along the time axis, not only reflects the change in blood vessels over time, but also effectively suppresses small noise that may occur.

형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합 기법이 혈관을 기반으로 하는 정밀한 정합이기 때문에, FP 혈관 추출유닛(340)에도 딥러닝(DL) 프로그램이 포함되어 프로세서(120)가 FP 혈관 추출유닛(340)의 딥러닝(DL)을 이용하여 FPVP를 도출하는 것이 바람직하다. Since the matching technique of the fluorescent fundus angiography image (FAG image) and the fundus image (FP image) is precise matching based on blood vessels, a deep learning (DL) program is also included in the FP blood vessel extraction unit 340 and the processor 120 ) It is preferable to derive the FPVP using the deep learning (DL) of the FP blood vessel extraction unit 340.

한편, 안저 영상(FP image)으로부터의 혈관 분할(vessel segmentation) 기법은 사전에 공지된 많은 기법들이 있으며, 본 발명에서는 공지된 기법 중 하나인 Database인 DRIVE로부터 학습한 DL기법을 활용할 수 있다.Meanwhile, there are many techniques known in advance for vessel segmentation from an FP image, and in the present invention, a DL technique learned from DRIVE, which is one of the known techniques, can be used.

프로세서(120)는 FAG-FP 정합유닛(350)의 인스트럭션들을 이용하여 추출된 혈관으로부터 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행할 수 있다. 이와 같이 정합하는 이유는, 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)에서 혈관의 특징이 다르게 나타나기 때문이다. 프로세서(120)는 FAG-FP 정합유닛(350)의 딥러닝 기법을 이용하여 안저 영상(FP image)으로부터 도출된 FPVP를 바탕으로 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행할 수 있다. The processor 120 may perform registration of a fluorescent fundus angiography image (FAG image) and a fundus image (FP image) from blood vessels extracted using instructions of the FAG-FP matching unit 350. The reason for this registration is that the characteristics of blood vessels appear differently in the fluorescence fundus angiography image (FAG image) and the fundus image (FP image). Processor 120 is based on the FPVP derived from the fundus image (FP image) by using the deep learning technique of the FAG-FP matching unit 350, a fluorescence fundus angiography image (FAG image) and a fundus image (FP image). Matching can be performed.

프로세서(120)는 FAG-FP 정합유닛(350)의 인스트럭션들을 이용하여 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 크게 2가지의 과정을 거쳐 진행할 수 있다. 첫째, 프로세서(120)는 FPVP와 A-FAGVP에서 도출된 혈관으로부터 챔퍼 매칭(Chamfer Matching) 기법을 이용하여 안저 영상-형광안저혈관조영 영상(FP-FAG) 간 강체 정합(rigid registration)을 수행할 수 있고, 둘째, FAG-FP 정합유닛(350)는 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 하는 최종 안저 영상-형광안저혈관조영 영상(FP-FAG) 간 비강체 정합(non-rigid registration)을 수행할 수 있다. The processor 120 may perform matching of a fluorescent fundus angiography image (FAG image) and a fundus image (FP image) by using the instructions of the FAG-FP matching unit 350 through two major processes. First, the processor 120 performs rigid registration between the fundus image-fluorescent fundus angiography image (FP-FAG) using a chamfer matching technique from blood vessels derived from FPVP and A-FAGVP. Second, the FAG-FP matching unit 350 is a non-rigid body between the final fundus image-fluorescent fundus angiography image (FP-FAG) based on the free-form deformation technique of the coordinate grid represented by the B-Spline model. Non-rigid registration can be performed.

보다 구체적으로, 프로세서(120)는 상술한 과정으로부터 도출된 A-FAGVP와 FPVP를 적정한 threshold값을 기준으로 이진화하고, 챔퍼 매칭(Chamfer Matching) 기법을 이용해 강체 정합(rigid registration)할 수 있다. 둘째, 프로세서(120)는 혈관 간의 정밀한 정합(registration)을 위해 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 비강체 정합(non-rigid registration)을 수행할 수 있다. More specifically, the processor 120 binarizes the A-FAGVP and FPVP derived from the above-described process based on an appropriate threshold value, and may perform rigid registration using a chamfer matching technique. Second, the processor 120 may perform non-rigid registration based on a free-form deformation technique of a coordinate grid represented by a B-Spline model for precise registration between blood vessels.

한편, 상술한 바에 따르면, FPVP를 기준으로 A-FAGVP가 정합(registration)될 수 있다. 본 발명에 있어서, 정합(registration)하기 위한 입력 소스(input source)는 모두 vessel probability map이기 때문에, 혈관에 대한 일부분의 정보를 가지고 있으므로, 상술한 SIFT 기법 대신 챔퍼 매칭(Chamfer Matching) 기법을 이용한다. SIFT 기법은 영상(image)으로부터 피쳐(feature)을 탐지하고 디스크립터(descriptor)를 생성한다. 이후, 피쳐 디스크립터(feature descriptor)로부터 매칭 포인트(matching point)를 찾고, 이를 기준으로 RANSAC(RANDOM SAMPLE CONSENSUS)을 활용한 perspective transform을 계산한다. 이러한 일련의 과정들은 매우 많은 연산량이 필요하며, 또한 복잡한 local feature가 많은 영상에서 효과적이다. 반면에 챔퍼 매칭(Chamfer Matching) 기법은 target and source binary image로부터 모든 pixel의 distance를 계산하고 이를 바탕으로 두 distance image 간의 유사도를 계산하는 것이다. 따라서, 챔퍼 매칭(Chamfer Matching) 기법은 SIFT 기법 대비 매우 적은 연산량과 시간이 소요되며, 혈관(vessel) 간의 정합(registration)에도 효과적이다. 한편, 본 실시예에 따른 챔퍼 매칭(Chamfer Matching) 기법은 translation을 계산하는 종래의 챔퍼 매칭(Chamfer Matching) 기법을 개선한 커스터마이즈(customize) 챔퍼 매칭(Chamfer Matching) 기법으로, 로테이션(rotation)까지 고려한다. Meanwhile, according to the above, A-FAGVP may be registered based on FPVP. In the present invention, since all input sources for registration are vessel probability maps, a chamfer matching technique is used instead of the above-described SIFT technique since it has partial information about a blood vessel. The SIFT technique detects a feature from an image and generates a descriptor. Thereafter, a matching point is found from a feature descriptor, and a perspective transform using RANSAC (RANDOM SAMPLE CONSENSUS) is calculated based on this. These series of processes require a very large amount of computation, and are also effective in images with many complex local features. On the other hand, the chamfer matching technique calculates the distances of all pixels from the target and source binary images and calculates the similarity between the two distance images based on this. Therefore, the chamfer matching technique requires a very small amount of computation and time compared to the SIFT technique, and is effective for registration between vessels. Meanwhile, the chamfer matching technique according to the present embodiment is a customized chamfer matching technique that improves the conventional chamfer matching technique that calculates translation, and considers rotation. do.

마지막으로, 프로세서(120)는 FAG-FP 정합유닛(350)의 인스트력션들을 이용하여 최종 안저 영상-형광안저혈관조영 영상(FP-FAG)의 정합을 위해 비강체 정합(non-rigid registration)을 할 수 있다. 상술한 바에 따르면, 프로세서(120)는 형광안저혈관조영 영상(FP-FAG)들 간에 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법 기반으로 비강체 정합(non-rigid registration)을 수행한다. 프로세서(120)는 최종적으로 정밀한 안저 영상-형광안저혈관조영 영상(FP-FAG)의 정합을 위해, 비강체한 동작(non-rigid motion)까지 고려하여 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법 기반의 비강체 정합(nonrigid registration)을 수행할 수 있다. 이미 강체 정합(rigid registration)으로 유사하게 정합된 두 영상은 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 통해 도 6과 같은 매우 정밀한 정합(registration) 결과를 도출할 수 있다. 도 6에서, 좌측 상단은 안저 영상, 우측 상단은 안저 영상의 혈관 확률 맵, 좌측 하단은 안저 영상 혈관 확률 맵(흰색)과 형광안저혈관조영 영상의 혈관확률 맵(파란색) 간의 정합 이전 결과, 우측 하단은 안저 영상 혈관 확률 맵(흰색)과 형광안저혈관조영 영상의 혈관 확률 맵(파란색) 간의 정합 후 결과이다. Finally, the processor 120 uses the instructions of the FAG-FP matching unit 350 to perform non-rigid registration for matching the final fundus image-fluorescent fundus angiography image (FP-FAG). can do. According to the above, the processor 120 performs non-rigid registration based on the free-form deformation technique of the coordinate grid represented by the B-Spline model between the fluorescent fundus angiography images (FP-FAG). do. The processor 120 finally considers a non-rigid motion to match a precise fundus image-fluorescent fundus angiography image (FP-FAG), and free-of-coordinate grids expressed by the B-Spline model. Nonrigid registration based on the form deformation technique can be performed. Two images that are already similarly matched by rigid registration can derive a very precise registration result as shown in FIG. 6 through the free-form deformation technique of the coordinate grid represented by the B-Spline model. 6, the upper left is a fundus image, the upper right is a blood vessel probability map of the fundus image, and the lower left is a result of prior registration between the blood vessel probability map (white) of the fundus image and the blood vessel probability map (blue) of the fluorescent fundus angiography image, right The bottom is the result after matching between the blood vessel probability map of the fundus image (white) and the blood vessel probability map (blue) of the fluorescent fundus angiography image.

프로세서(120)는 혈관 분할유닛(360)의 인스트럭션들을 이용하여 정합된 결과를 기초로 혈관을 분할할 수 있다. 본 실시예에 따르면, GT(Ground Truth)로 활용할 수 있는 매우 정밀한 혈관 분할 마스크(vessel segmentation mask)를 정합된 A-FAGVP로부터 도출해야 하므로, 프로세서(120)는 혈관 분할유닛(360)의 인스트럭션들을 이용하여 A-FAGVP의 픽셀별 확률값을 기반으로 이중 역치(hysteresis thresholding) 기법을 적용하여 이진(binary) 혈관 분할 마스크(vessel segmentation mask)를 도출하고, 도출된 혈관 분할 마스크에 연결된 요소 분석(connected component analysis) 기법을 적용하여 노이즈를 제거할 수 있다. The processor 120 may divide a blood vessel based on a result matched using the instructions of the blood vessel segmentation unit 360. According to the present embodiment, since a very precise vessel segmentation mask that can be used as a GT (Ground Truth) must be derived from the matched A-FAGVP, the processor 120 performs the instructions of the vessel segmentation unit 360. Using a hysteresis thresholding technique based on the probability value of each pixel of A-FAGVP, a binary vessel segmentation mask is derived, and the connected component is connected to the derived vessel segmentation mask. analysis) technique can be applied to remove noise.

먼저, 프로세서(120)는 형광안저혈관조영 영상(FAG image)에서 정맥(vein)에는 콘트라스트(contrast)가 늦게 차오르기 때문에 정맥(vein) 영역에서 발생하는 홀(hole)을 채워야 한다. 따라서, 혈관 분할유닛(360)는 정합된 A-FAGVP에서 정맥(vein) 내부의 홀(hole)을 탐지하고 상대적으로 낮은 pixel probability를 보강 할 수 있다. 이후, 프로세서(120)는 정합된 A-FAGVP에서 히스테리시스 임계값(hysteresis threshold) 개념을 적용해 얇은 혈관과 굵은 혈관을 따로 분할할 수 있다. 이후 프로세서(120)는 noise 제거를 위해 연결된 구성(connected components)으로부터 매우 작은 영역(region)을 제거한다. First, the processor 120 needs to fill a hole occurring in a vein region because a vein is filled with a late contrast in a FAG image. Accordingly, the blood vessel segmentation unit 360 may detect a hole inside a vein in the matched A-FAGVP and reinforce a relatively low pixel probability. Thereafter, the processor 120 may separately divide thin blood vessels and thick blood vessels by applying the concept of a hysteresis threshold in the matched A-FAGVP. Thereafter, the processor 120 removes a very small region from connected components to remove noise.

한편, A-FAGVP에서 정맥(Vein)의 영역에서 주로 중심부에 틈새가 발생할 수 있다. 이는 콘트라스트(contrast)가 동맥(artery)을 지나 정맥(vein)까지 도달하기까지의 시간차 때문에 발생한다. 또한, 모세혈관으로부터 가까운 혈관벽에 먼저 콘트라스트(contrast)가 도달함에 따라 혈관 벽에 해당하는 average probability는 상당히 높게 나타날 수 있다. 반면에 정맥(vein)의 중심부는 거의 마지막쯤 짧은 영역에서 차오르기 때문에 average probability가 낮게 나타난다. On the other hand, in A-FAGVP, a gap may occur mainly in the center in the region of the vein. This occurs because of the time difference between the contrast passing through the artery and reaching the vein. In addition, as the contrast first reaches the vessel wall close to the capillary vessel, the average probability corresponding to the vessel wall may be considerably high. On the other hand, since the center of the vein fills in a short area near the end, the average probability is low.

따라서, 프로세서(120)는 vessel segmentation mask 획득을 위해 정맥(vein)에서 발생하는 틈새를 채워야 한다. 보다 구체적으로 설명하면, 프로세서(120)는 먼저 틈새를 찾기 위해 A-FAGVP를 낮은 임계값으로 설정하여(t=0.3) 이진화(X)할 수 있다. 다음으로 프로세서(120)는 이진화된 영상으로부터 morphological closing 기법을 이용하여 틈새를 채울 수 있다. 마지막으로 프로세서(120)는 높은 임계값으로 설정하여(t=0.7) A-FAGVP를 이진화(Y)한 뒤 두 영상간의 차(X-Y)를 계산하고 음의 값은 버린다. 계산된 subtracted image는 정맥(vein)의 틈을 이진 영상으로 표현한 것이 된다. 이후, 프로세서(120)는 A-FAGVP 안에 해당하는 subtracted image영역의 probability를 보강 한다. 이때, 본 발명에서는 고정된 probability로(p=0.5) 보강될 수 있다. Therefore, the processor 120 must fill a gap occurring in a vein in order to obtain a vessel segmentation mask. In more detail, the processor 120 may first set A-FAGVP to a low threshold (t=0.3) to find a gap and perform binarization (X). Next, the processor 120 may fill the gap from the binarized image using a morphological closing technique. Finally, the processor 120 sets a high threshold (t=0.7) to binarize A-FAGVP (Y), calculates the difference (X-Y) between the two images, and discards the negative value. The calculated subtracted image is a binary image of the vein gap. Thereafter, the processor 120 reinforces the probability of the subtracted image area corresponding to the A-FAGVP. In this case, in the present invention, it may be reinforced with a fixed probability (p=0.5).

다음으로, 프로세서(120)는 혈관 분할유닛(360)의 인스트럭션들을 이용하여 정맥(vein)에 발생하는 틈새까지 보강된 정합된 A-FAGVP를 바탕으로 분할(segmentation)을 할 수 있다. 이때 단순한 임계값으로부터의 진화가 아닌 히스테리시스(Hysteresis) 개념을 바탕으로 한 분할(segmentation)을 진행할 수 있다. 먼저, 프로세서(120)는 1차 임계값을 통해 굵은 혈관(vessel) 위주의 binary vessel mask를 획득한다. 다음으로 프로세서(120)는 얇은 혈관(vessel)을 검출 할 수 있도록 2차 임계값을 낮게 설정하여 2차 binary vessel mask를 도출한다. 이후, 프로세서(120)는 2차 binay vessel mask로부터 skeletonization 기법을 통해 vessel center line mask를 도출한다. pixel 굵기가 1에 가까운 말단의 얇은 vessel까지 표현된 vessel center line mask를 굵은 혈관이 도출된 1차 binary(FAG image)에서 정맥(vein)에는 콘트라스트(contrast)가 늦게 차오르기 때문에 프로세서(120)는 정맥(vein) 영역에서 발생하는 홀(hole)을 채워야 한다. 따라서, 프로세서(120)는 정합된 A-FAGVP에서 정맥(vein) 내부의 홀(hole)을 탐지하고 상대적으로 낮은 pixel probability를 보강 한다. 이후, 프로세서(120)는 정합된 A-FAGVP에서 히스테리시스 임계값(hysteresis threshold) 개념을 적용해 얇은 혈관과 굵은 혈관을 따로 분할한다. 이후 프로세서(120)는 noise 제거를 위해 연결된 구성(connected components)으로부터 매우 작은 영역(region)을 제거한다. Next, the processor 120 may perform segmentation based on the matched A-FAGVP reinforced to a gap occurring in a vein by using the instructions of the blood vessel segmentation unit 360. At this time, it is possible to perform segmentation based on the concept of hysteresis rather than evolution from a simple threshold. First, the processor 120 acquires a binary vessel mask centered on a thick vessel through a first threshold value. Next, the processor 120 derives the second binary vessel mask by setting the second threshold low to detect thin vessels. Thereafter, the processor 120 derives the vessel center line mask from the secondary binay vessel mask through a skeletonization technique. In the primary binary (FAG image) from which the thick blood vessel is derived, the vessel center line mask, which is expressed up to the thin vessel with the pixel thickness close to 1, is slowly filled in the vein, so the processor 120 is used as a vein. Holes occurring in the (vein) area must be filled. Accordingly, the processor 120 detects a hole in a vein in the matched A-FAGVP and reinforces a relatively low pixel probability. Thereafter, the processor 120 divides thin blood vessels and thick blood vessels separately by applying the concept of a hysteresis threshold in the matched A-FAGVP. Thereafter, the processor 120 removes a very small region from connected components to remove noise.

상술한 본 발명에 따르면, 도 7과 같이 정밀하게 분할된 혈관 영상의 결과를 얻을 수 있으며, 이러한 결과 영상을 통해 실명유발질환 및/또는 만선혈관질환의 조기진단 및 치료가 가능하다. 도 7의 A 및 B에서 좌측 상단은 전체 안저 영상, 우측 상단은 전체 안저 영상 혈관영역화 결과, 좌측 하단은 왼쪽부터 시신경 유두 중심(Optic disc center) 확대 안저 영상, 황반 중심(fovea center) 확대 안저 영상, 우측 하단은 왼쪽부터 시신경 유두 중심(Optic disc center) 확대 혈관영역화 결과, 황반 중심(fovea center) 확대 혈관영역화 결과이다. According to the present invention described above, a result of a precisely divided blood vessel image as shown in FIG. 7 can be obtained, and an early diagnosis and treatment of a blindness-causing disease and/or a full blood vessel disease is possible through the result image. In Fig. 7A and B, the upper left is the whole fundus image, the upper right is the whole fundus image vascularization result, the lower left is the optic disc center enlarged fundus image from the left, the fovea center enlarged fundus The lower right of the image is the result of enlarged vascularization at the center of the optic disc center from the left, and the result of enlarged vascularization at the fovea center.

도 8은 본 발명의 일 실시예에 따른 안저 영상과 형광안저혈관조영 영상을 정합하는 방법의 흐름도이다. 8 is a flowchart of a method of matching a fundus image and a fluorescent fundus angiography image according to an embodiment of the present invention.

본 실시예에 따른 영상 정합 방법은 상술한 안구 영상을 이용한 자동 질환 판단 장치(100)에서 수행된다. 따라서 이하에서 설명되는 각 단계들을 수행하는 주체는 자동 질환 판단 장치(100)이므로 생략될 수 있다. The image matching method according to the present embodiment is performed by the automatic disease determination apparatus 100 using the above-described eyeball image. Therefore, since the subject performing each step described below is the automatic disease determination apparatus 100, it may be omitted.

도 8을 참조하면, 먼저, 환자의 안저 영상(FP image)과 형광안저혈관조영 영상(FAG image)의 프레임들을 취득한다(S810). 이때, 안저 영상(FP image)은 안과에서 안구 질환의 검사를 위한 안저 촬영 장치를 통해 취득될 수 있으며, 형광안저혈관조영 영상(FAG image)은 정맥에 형광물질(Fluorescein)을 주입하고, 형광 물질이 망막순환계를 통해 순환하는 것을 광학적으로 촬영하여 혈관을 표시하는 장치를 통해 취득될 수 있다.Referring to FIG. 8, first, frames of a patient's fundus image (FP image) and a fluorescent fundus angiography image (FAG image) are acquired (S810). At this time, the fundus image (FP image) can be acquired through a fundus imaging device for the examination of eye diseases in ophthalmology, and the fluorescein angiography image (FAG image) is by injecting a fluorescent substance (Fluorescein) into a vein, and a fluorescent substance. The circulating through the retinal circulatory system can be optically photographed and acquired through a device displaying blood vessels.

다음으로, 형광안저혈관조영 영상(FAG image)의 각 프레임들을 특징점 정합 기법을 활용하여 정합한다(S820). 보다 구체적으로, SIFT(Scale Invariant Feature Transform) 기법을 이용하여 형광안저혈관조영 영상(FAG image)의 강체 정합(rigid registration)을 수행한다. 형광안저혈관조영 영상(FAG image)은 시간에 따른 혈관 및 배경의 변화가 존재하므로, 본 발명에서는 영상의 변화를 최소화하면서 다양한 특징을 검출할 수 있도록 SIFT(Scale Invariant Feature Transform) 기법을 활용한다.Next, each frame of the fluorescent fundus angiography image (FAG image) is matched using a feature point matching technique (S820). More specifically, rigid registration of a fluorescent fundus angiography image (FAG image) is performed using a Scale Invariant Feature Transform (SIFT) technique. Fluorescent fundus angiography (FAG) images have changes in blood vessels and backgrounds over time, and thus, in the present invention, a Scale Invariant Feature Transform (SIFT) technique is used to detect various features while minimizing changes in the image.

다음으로, 형광안저혈관조영 영상(FAG image)의 특성에 맞춰 딥러닝 기반으로 정합된 형광안저혈관조영 영상(FAG image)의 혈관 추출을 수행한다(S830). 이때, 딥러닝은 학습된 컨볼루셔널 신경망(convolutional neural network : CNN)일 수 있다.Next, the blood vessel extraction of the fluorescent fundus angiography image (FAG image) matched based on deep learning according to the characteristics of the fluorescent fundus angiography image (FAG image) is performed (S830). In this case, the deep learning may be a learned convolutional neural network (CNN).

다음으로, 형광안저혈관조영 영상(FAG image) 프레임들의 혈관 추출 결과를 평균값으로 통합한다(S840). 보다 구체적으로, FAGVP에서 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 하는 비강체 정합(non-rigid registration)을 수행하고 정합된 FAGVP의 Average FAG Vessel Probability map(A-FAGVP)을 도출한다.Next, the blood vessel extraction results of the frames of the fluorescent fundus angiography image (FAG image) are integrated as an average value (S840). More specifically, non-rigid registration is performed based on the free-form deformation technique of the coordinate grid represented by the B-Spline model in FAGVP, and the average FAG Vessel Probability map (A-FAGVP) of the matched FAGVP is performed. ).

다음으로, 안저 영상의 특성에 맞춰 딥러닝 기반으로 안저 영상의 혈관 추출을 수행한다(S850). 보다 구체적으로, 안저 영상(FP image)와 A-FAGVP 간의 정합을 위해 딥러닝 기반의 Fundus Photo Vessel Probability map(FPVP)을 도출한다.Next, blood vessel extraction of the fundus image is performed based on deep learning according to the characteristics of the fundus image (S850). More specifically, a deep learning-based Fundus Photo Vessel Probability map (FPVP) is derived for matching between the fundus image (FP image) and A-FAGVP.

다음으로, 추출된 혈관으로부터 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행한다(S860). 이와 같이 정합하는 이유는, 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)에서 혈관의 특징이 다르게 나타나기 때문이다. 본 실시예에 따르면, 딥러닝 기법을 이용하여 안저 영상(FP image)으로부터 도출된 FPVP를 바탕으로 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행한다.Next, registration of a fluorescence fundus angiography image (FAG image) and a fundus image (FP image) from the extracted blood vessels is performed (S860). The reason for this registration is that the characteristics of blood vessels appear differently in the fluorescence fundus angiography image (FAG image) and the fundus image (FP image). According to the present embodiment, matching of a fluorescein angiography image (FAG image) and a fundus image (FP image) is performed based on FPVP derived from a fundus image (FP image) using a deep learning technique.

다음으로, 정합된 결과를 기초로 혈관을 분할한다(S870). 보다 구체적으로, 혈관 분할 마스트 제너레이션(vessel segmentation mask generation) 기법을 이용하여 혈관 분할 마스크(vessel segmentation mask)를 정합된 A-FAGVP로부터 도출하고, 정맥(vein)에 발생하는 틈새까지 보강된 정합된 A-FAGVP를 바탕으로 분할(segmentation)한다.Next, the blood vessel is divided based on the matched result (S870). More specifically, a vessel segmentation mask is derived from the matched A-FAGVP using a vessel segmentation mask generation technique, and the matched A is reinforced to the gap occurring in the vein. -Segmentation based on FAGVP.

한편, 본 출원인은 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관분할에 따른 결과를 확인하기 위해 아래와 같은 실험을 실시하였다.On the other hand, the applicant of the present invention conducted the following experiment to confirm the result of automatic blood vessel segmentation using the matching of the fundus image and the fluorescent fundus angiography image.

실험은 Intel(R) Core(TM) i7-6850K CPU @ 3.6GHz, 32G RAM, GeForce GTX 1080TI11G로 구성된 하드웨어와 Ubuntu 16.04 LTS OS, python 2.7 개발 환경에서 진행하였다. 실험에 사용된 Database는 한장의 FP image와 여러장의 FAG image로 구성이 하나의 set로 된 총 10개의 FP-FAG set이다. 또한 딥러닝 학습을 위해 공개된 DRIVE Database의 train과 test set 각각 20장의 FP image와 GT(ground truth)를 이용하였다. 먼저, FAG image간의 비강체 정합을 위해 SIFT기법을 활용한 형태 검출(feature detection)과 형태 매칭(feature matching), 그리고 RANSAC기법을 통해 perspective transform을 계산하여 정합하였다. The experiment was conducted in hardware consisting of Intel(R) Core(TM) i7-6850K CPU @ 3.6GHz, 32G RAM, GeForce GTX 1080TI11G, Ubuntu 16.04 LTS OS, and python 2.7 development environment. The database used in the experiment is a total of 10 FP-FAG sets consisting of one FP image and several FAG images. In addition, 20 FP images and GT (ground truth) of each train and test set of the DRIVE Database released for deep learning learning were used. First, for non-rigid matching between FAG images, the perspective transform was calculated and matched through the feature detection and feature matching using the SIFT technique, and the RANSAC technique.

다음으로, 모든 FAG image의 Vessel Probability map을 도출하기 위해 딥러닝을 활용하였다. 이미 많은 연구가 되어있는 딥러닝 기반의 Vessel segmentation의 input image는 FP이다. 따라서 우리는 DRIVE Database의 FP image을 gray scale로 변환 후 inverse transform하여 FAG image과 유사한 특성을 보이도록 변형 하였다. 이후 inverted FP image을 입력으로하는 딥러닝 학습을 하였다. 학습에 사용된 network model은 최근 scale space 이론을 적용하여 가장 좋은 성능을 보여준 SSA-Vessel Segmentation을 기반으로 하였다. 학습 시 preprocessing으로 input image로부터의 mean을 빼고 standard deviation으로 나누었다. 이후 학습 network로부터의 test시 input image를 FAG image를 변경하여 결과를 도출한다. 도출된 결과는 도 9에 도시된 바와 같이 매우 정밀하게 얇은 혈관까지도 나타나는 것을 보여준다. Next, deep learning was used to derive the Vessel Probability map of all FAG images. The input image of vessel segmentation based on deep learning, which has been studied a lot, is FP. Therefore, we transformed the FP image of the DRIVE Database to gray scale and then inverse transformed it to show similar characteristics to the FAG image. After that, deep learning learning was performed using an inverted FP image as an input. The network model used for training was based on SSA-Vessel Segmentation, which showed the best performance by applying the recent scale space theory. During training, the mean from the input image was subtracted by preprocessing and divided by the standard deviation. Then, when testing from the learning network, the input image is changed to the FAG image to derive the result. The derived results show that even thin blood vessels appear very precisely as shown in FIG. 9.

이후 학습된 딥러닝으로부터 도출 된 FAG Vessel Probability map을 이용해 더욱 정밀한 정합을 하기 위해 free form deformation 계열의 B-Spline 모델로 표현되는 좌표격자의 freeform deformation 기법을 통해 비강체 정합을 한다. 비강체 정합까지 도출된 FAG 정합 결과는 도 10에 도시된 바와 같이 매우 정밀한 결과를 볼 수 있다. 이렇게 비강체 정합까지 모두 완료된 FAGVP map을 이용하여 전체 시퀀스를 종합 할 수 있는 map을 도출해야 한다. 따라서 우리는 시간축에 따른 정보를 포함한 결과를 Average FAGVP map과 Maximum FAGVP map으로써 도출했다. 도 11과 같이 aggregated image는 매우 정교하고 정밀하게 혈관이 추정되는 것을 보여준다. Afterwards, non-rigid body registration is performed through the freeform deformation technique of the coordinate grid expressed by the B-Spline model of the free form deformation series in order to achieve more precise matching using the FAG Vessel Probability map derived from the learned deep learning. The FAG matching result derived up to the non-rigid matching can be seen very precise results as shown in FIG. 10. In this way, a map that can synthesize the entire sequence must be derived using the FAGVP map that has been completely matched to the non-rigid body. Therefore, we derive the results including information along the time axis as Average FAGVP map and Maximum FAGVP map. As shown in FIG. 11, the aggregated image shows that blood vessels are estimated with great precision and precision.

이제 FP image와 FAG image 간의 정합을 위해 마찬가지로 FP image의 Vessel Probability map을 딥러닝을 활용하여 도출한다. FAGVP map을 도출할 때와 마찬가지로 Database는 DRIVE를 사용하였으며, network model 또한 동일한 model을 사용하였다. 학습시 input은 DRIVE Database의 FP image를 그대로 사용하여 학습했으며, 전처리로 평균을 빼고 표준편타로 나누었다. 학습된 결과를 바탕으로 실험시에는 우리의 FP image를 input으로하여 도 12와 같은 결과를 도출했다.Now, for matching between the FP image and the FAG image, the Vessel Probability map of the FP image is similarly derived using deep learning. As in deriving the FAGVP map, the database used DRIVE, and the network model also used the same model. During training, the input was learned using the FP image of the DRIVE Database as it is, and the average was subtracted and divided by the standard deviation by pre-processing. In the experiment based on the learned result, the result as shown in FIG. 12 was derived by using our FP image as an input.

정합의 마지막 과정인 FP-FAG 정합은 A-FAGVP map을 FPVP map에 정합 하는 것이다.FP-FAG matching, the final process of matching, is to match the A-FAGVP map to the FPVP map.

첫번째 단계는 FP-FAG 강체 정합이다. 이미 우리는 각각의 영상에 대한 Vessel Probability map을 도출하였다. 따라서 vessel probability map으로부터의 binary image를 생성하고, 이를 바탕으로 챔퍼 매칭(Chamfer matching)을 이용한 강체 정합을 하였다. 그러나 도 13과 같이 유사한 위치에 정합이 되지만, 약간씩 오차가 발생되는 것을 볼 수 있다.The first step is the FP-FAG rigid body registration. We have already derived a Vessel Probability map for each image. Therefore, a binary image from the vessel probability map was created, and based on this, rigid body matching was performed using chamfer matching. However, although it is matched to a similar position as shown in FIG. 13, it can be seen that an error occurs little by little.

따라서, 우리는 FAG 정합 과정과 마찬가지로 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 이용한 비강체 정합을 수행한다. 비강체 정합의 결과는 도 14에 도시된 바와 같이, 이전 결과보다 매우 정교하고 정밀한 것을 볼 수 있다.Therefore, we perform non-rigid registration using the free-form deformation technique of the coordinate grid represented by the B-Spline model, similar to the FAG matching process. It can be seen that the result of the non-rigid registration is much more elaborate and precise than the previous result, as shown in FIG. 14.

다시 도 2를 참조하면, 상술한 방법에 따라 프로세서(120)는 제1 안구영상에 대한 제1 혈관분할영상을 생성할 수 있고, 제2 안구영상에 대한 제2 혈관분할영상을 생성할 수 있다. 여기서 혈관분할영상은 안구 영상에서 환자의 안구에 상응하는 혈관들이 추출된 영상을 의미할 수 있다. 따라서 제1 혈관분할영상은 제1 안구 영상에서 혈관만 추출된 영상을 의미할 수 있고, 제2 혈관분할영상은 제2 안구 영상에서 혈관만 추출된 영상을 의미할 수 있다. Referring back to FIG. 2, according to the above-described method, the processor 120 may generate a first blood vessel segmentation image for the first eyeball image, and may generate a second vessel segmentation image for the second eyeball image. . Here, the blood vessel segmentation image may mean an image obtained by extracting blood vessels corresponding to the eyeball of the patient from the eyeball image. Accordingly, the first blood vessel segmentation image may mean an image from which only blood vessels are extracted from the first eyeball image, and the second blood vessel segmentation image may mean an image from which only blood vessels are extracted from the second eyeball image.

이후 프로세서(120)는 분석모듈(150)에 포함된 인스트럭션들을 이용하여 제1 혈관분할영상에서 동맥과 정맥을 분리하여 제1 동정맥분할영상을 생성할 수 있다. 또한 프로세서(120)는 분석모듈(150)에 포함된 인스트럭션들을 이용하여 제2 혈관분할영상에서 동맥과 정맥을 분리하여 제2 동정맥분리영상을 생성할 수 있다.Thereafter, the processor 120 may generate a first arteriovenous segmented image by separating an artery and a vein from the first vessel segmented image using instructions included in the analysis module 150. In addition, the processor 120 may generate a second arteriovenous separated image by separating an artery and a vein from the second blood vessel segmentation image using instructions included in the analysis module 150.

분석모듈(150)에는 합성곱 신경망(CNN, Convolution Neural Network)이 포함되어 있을 수 있다. 분석모듈(150)의 합성곱 신경망은 미리 설정된 라벨링된 정보를 기반으로 미리 학습되어 있을 수 있다. 따라서 프로세서(120)는 제1 혈관분할영상을 합성곱 신경망의 입력으로 이용하여 제1 동정맥분할영상을 생성할 수 있다. 마찬가지로 프로세서(120)는 제2 혈관분할영상을 합성곱 신경망의 입력으로 이용하여 제2 동정맥분할영상을 생성할 수 있다. The analysis module 150 may include a convolution neural network (CNN). The convolutional neural network of the analysis module 150 may be pre-trained based on pre-set labeled information. Accordingly, the processor 120 may generate the first arteriovenous segmented image by using the first blood vessel segmentation image as an input of the convolutional neural network. Similarly, the processor 120 may generate a second arteriovenous segmented image by using the second blood vessel segmented image as an input of the convolutional neural network.

분석모듈(150)의 합성곱 신경망은 무수히 많은 라벨링된 혈관분할영상을 이용하여 미리 학습된 프로그램일 수 있다. 예를 들어, 분석모듈(150)의 합성곱 신경망은 A개의 동맥영상(즉, 혈관분할영상 중 동맥만 분할되어 표시된 영상)과 B개의 정맥영상(즉, 혈관분할영상 중 정맥만 분할되어 표시된 영상)을 통해 미리 학습된 프로그램일 수 있다(단, A 및 B는 복수의 자연수임). 따라서 분석모듈(150)의 합성곱 신경망은 제1 혈관분할영상 또는 제2 혈관분할영상이 입력되면 제1 동정맥분할영상 또는 제2 동정맥분할영상을 출력할 수 있다. The convolutional neural network of the analysis module 150 may be a pre-learned program using a myriad of labeled blood vessel segmentation images. For example, the convolutional neural network of the analysis module 150 includes A arterial images (i.e., an image displayed by dividing only an artery among vascular segment images) and B vein images (i.e., an image displayed by dividing only a vein among vascular segment images ) May be a pre-learned program (however, A and B are a plurality of natural numbers). Accordingly, the convolutional neural network of the analysis module 150 may output the first arteriovenous segmented image or the second arteriovenous segmented image when the first segmented image or the second segmented image is input.

도 15에는 동맥이 적색으로 표시되고, 정맥이 청색으로 표시된 제1 동정맥분할영상(또는 제2 동정맥분할영상)이 예시된다. 15 illustrates a first arteriovenous segmented image (or a second arteriovenous segmented image) in which arteries are displayed in red and veins are displayed in blue.

단계 S230에서, 프로세서(120)는 제1 혈관분할영상(즉, 제1 동정맥분할영상)을 이용하여 제1 혈관그래프를 생성할 수 있고, 제2 혈관분할영상(즉, 제2 동정맥분할영상)을 이용하여 제2 혈관그래프를 생성할 수 있다. In step S230, the processor 120 may generate a first blood vessel graph using a first blood vessel segmentation image (ie, a first arteriovenous segmentation image), and a second vessel segmentation image (that is, a second arteriovenous segmentation image). A second blood vessel graph may be generated by using.

이하, 도 16 및 도 17을 참조하여 프로세서(120)가 분석모듈(150)의 인스트럭션들을 이용하여 제1 혈관그래프 및 제2 혈관그래프를 생성하는 동작에 대해 설명한다. 제1 혈관그래프가 생성되는 동작과 제2 혈관그래프가 생성되는 동작은 동일, 유사할 수 있으므로 양자를 구분하여 설명하지 않고 혈관그래프가 생성되는 것으로 통칭하여 설명한다. Hereinafter, an operation of generating a first blood vessel graph and a second blood vessel graph by the processor 120 using instructions of the analysis module 150 will be described with reference to FIGS. 16 and 17. Since the operation for generating the first blood vessel graph and the operation for generating the second blood vessel graph may be the same or similar, it will be described collectively as generating a blood vessel graph without distinguishing them.

도 16은 본 발명의 일 실시예에 따라 혈관분할영상에서 동맥 분기점 및 정맥 분기점을 추출하는 동작을 설명하기 위한 도면이고, 도 17은 본 발명의 일 실시예에 따른 혈관그래프를 예시한 도면이다. 16 is a diagram for explaining an operation of extracting arterial bifurcation points and vein bifurcation points from a blood vessel segmentation image according to an embodiment of the present invention, and FIG. 17 is a diagram illustrating a blood vessel graph according to an embodiment of the present invention.

분석모듈(150)에는 상기 합성곱 신경망 외, 동정맥분할영상에서 동맥 중심선과 동맥분기점을, 정맥 중심선과 정맥분기점을 각각 추출할 수 있는 인스트럭션들이 저장될 수 있다. In addition to the convolutional neural network, the analysis module 150 may store instructions for extracting the arterial center line and the arterial branch point, and the vein center line and the vein branch point from the arteriovenous segmentation image, respectively.

따라서 프로세서(120)는 분석모듈(150)의 인스트럭션들을 이용하여 동맥중심선을 추출할 수 있다. 즉, 프로세서(120)는 동정맥분할영상에서 동맥 중심선만(즉, 동맥의 굵기를 무시한 선)을 추출할 수 있다. 또한 프로세서(120)는 동맥 중심선에서 분기되는 지점을 동맥 분기점으로 검출할 수 있다. 마찬가지로 즉, 프로세서(120)는 동정맥분할영상에서 정맥 중심선만(즉, 정맥의 굵기를 무시한 선)을 추출할 수 있다. 또한 프로세서(120)는 정맥 중심선에서 분기되는 지점을 정맥 분기점으로 검출할 수 있다.Accordingly, the processor 120 may extract the arterial centerline using the instructions of the analysis module 150. That is, the processor 120 may extract only the arterial center line (ie, a line ignoring the thickness of the artery) from the arteriovenous segmented image. In addition, the processor 120 may detect a branching point from the center line of the artery as an arterial branching point. Similarly, the processor 120 may extract only the vein center line (ie, a line ignoring the thickness of the vein) from the arteriovenous segmentation image. In addition, the processor 120 may detect a branch point from the vein center line as a vein branch point.

프로세서(120)는 동정맥분할영상에서 시신경유두 부분을 검출할 수 있다(도 16의 녹색 원 중앙 부분). 프로세서(120)는 시신경유두 부분을 근원 시작점으로 정의하고, 검출된 동맥의 분기점을 꼭지점으로 정의하며, 각 꼭지점을 근원 시작점에서 분기되는 순서대로 배치한 후 연결하여 혈관그래프를 생성할 수 있다. The processor 120 may detect a portion of the optic nerve papilla in the arteriovenous segmented image (a central portion of a green circle in FIG. 16). The processor 120 may define an optic nerve papilla as a root start point, define a branch point of a detected artery as a vertex, and arrange each vertex in the order of branching from the root start point and connect to generate a blood vessel graph.

이때, 각 꼭지점을 연결하는 선의 굵기는 상응하는 혈관의 두께에 상응할 수 있다. 또한, 각 꼭지점을 연결하는 선의 길이는 상응하는 혈관의 길이에 상응할 수 있다. 즉, 제1 꼭지점과 제2 꼭지점을 연결하는 선의 굵기는 상응하는 혈관의 굵기에 상응할 수 있고, 당해 선의 길이는 당해 혈관의 길이에 상응할 수 있다. In this case, the thickness of the line connecting each vertex may correspond to the thickness of the corresponding blood vessel. In addition, the length of the line connecting each vertex may correspond to the length of the corresponding blood vessel. That is, the thickness of a line connecting the first vertex and the second vertex may correspond to the thickness of a corresponding blood vessel, and the length of the line may correspond to the length of the blood vessel.

도 17에는 제n 혈관그래프가 예시된다(단 n은 자연수임). 도 17을 참조하면, 제n 혈관그래프의 그래프 뿌리가 근원 시작점인 시신경유두에 상응할 수 있고, 그래픽 뿌리에서 좌측으로 분기되는 그래프가 동맥 그래프에 상응할 수 있으며, 그래픽 뿌리에서 우측으로 분기되는 그래프가 정맥 그래프에 상응할 수 있다. 따라서 프로세서(120)는 제n 혈관그래프를 통해 제n 안구 영상에서의 혈관 분포를 용이하게 인지할 수 있다. 17 illustrates an nth blood vessel graph (where n is a natural number). Referring to FIG. 17, the graph root of the nth blood vessel graph may correspond to the optic nerve papilla as the root starting point, the graph branching from the graphic root to the left may correspond to the arterial graph, and a graph branching from the graphic root to the right May correspond to the vein graph. Accordingly, the processor 120 can easily recognize the distribution of blood vessels in the n-th eyeball image through the n-th blood vessel graph.

다시 도 2를 참조하면, 단계 S240에서, 프로세서(120)는 판단모듈(160)의 인스트럭션들을 이용하여 제1 혈관그래프 및 제2 혈관그래프를 비교한 후, 비교 결과를 이용하여 "환자의 시간 흐름에 따른 안구혈관 변화"를 관측할 수 있다. 상술한 바와 같이 프로세서(120)는 혈관그래프를 통해 환자의 혈관 분포를 용이하게 인지할 수 있다. 또한, 판단모듈(160)에서는 제1 혈관그래프와 제2 혈관그래프를 비교하여 상이한 부분을 검출할 수 있도록 하는 인스트럭션들이 포함될 수 있다. 따라서 프로세서(120)는 판단모듈(160)의 인스트럭션들을 이용하여 제1 혈관그래프와 제2 혈관그래프의 차이점을 인지할 수 있다. 도 18의 예시라면, 프로세서(120)는 적색 원 부분이 상이함을 용이하게 인지할 수 있을 것이다. Referring back to FIG. 2, in step S240, the processor 120 compares the first blood vessel graph and the second blood vessel graph using the instructions of the determination module 160, and then uses the comparison result to "patient time flow. Ocular blood vessel changes according to "can be observed. As described above, the processor 120 can easily recognize the blood vessel distribution of the patient through the blood vessel graph. In addition, the determination module 160 may include instructions for detecting different portions by comparing the first blood vessel graph and the second blood vessel graph. Accordingly, the processor 120 may recognize a difference between the first blood vessel graph and the second blood vessel graph using the instructions of the determination module 160. In the example of FIG. 18, the processor 120 may easily recognize that the red circle portions are different.

혈관 그래프에 의하여 프로세서(120)는 간단한 연산으로 혈관의 시간적 변화를 인지할 수 있다. 혈관분할영상은 너무 복잡하기 때문에 상호 비교할 경우 엄청난 연산량이 요구될 것이지만, 혈관그래프는 간단한 선의 연결에 불과하므로, 프로세서(120)가 간단한 연산으로 제1 혈관분할영상과 제2 혈관분할영상을 비교 관측할 수 있는 것이다. Through the blood vessel graph, the processor 120 can recognize the temporal change of the blood vessel with a simple operation. Since the vascular segmented image is too complex, a tremendous amount of computation will be required when comparing each other, but since the vascular graph is only a simple connection of lines, the processor 120 compares and observes the first vascular segmented image and the second vascular segmented image with a simple operation. It can be done.

단계 S250에서, 프로세서(120)는 판단모듈(160)의 인스트럭션들을 이용하여 관측 결과에 따른 환자의 질환 유무를 판단할 수 있다. In step S250, the processor 120 may determine the presence or absence of a disease of the patient according to the observation result using the instructions of the determination module 160.

판단모듈(160)에도 합성곱 신경망(CNN, Convolution Neural Network)이 포함되어 있을 수 있다. 판단모듈(160)의 합성곱 신경망도 질병의 종류와 시간 변화에 따른 혈관그래프 변화의 상관 관계를 통해 미리 라벨링된 정보를 기반으로 미리 학습되어 있을 수 있다. 따라서 프로세서(120)는 제1 혈관그래프와 제2 혈관그래프의 비교 결과를 판단모듈(160)의 합성곱 신경망 입력으로 이용하여 환자의 질병 유무를 판단할 수 있다. The determination module 160 may also include a convolution neural network (CNN). The convolutional neural network of the determination module 160 may also be learned in advance based on pre-labeled information through a correlation between a type of disease and a change in a blood vessel graph according to a change in time. Accordingly, the processor 120 may determine whether the patient has a disease by using the comparison result of the first blood vessel graph and the second blood vessel graph as an input of the convolutional neural network of the determination module 160.

판단모듈(160)의 합성곱 신경망은 무수히 많은 라벨링된 비교 결과를 이용하여 미리 학습된 프로그램일 수 있다. 예를 들어, 판단모듈(160)의 합성곱 신경망은 녹내장에 상응하는 C개의 혈관그래프 비교 결과, 백내장에 상응하는 D개의 혈관그래프 비교 결과를 이용하여 미리 학습된 프로그램일 수 있다(단, C 및 D는 복수의 자연수임). 따라서 판단모듈(160)의 합성곱 신경망은 제1 혈관그래프와 제2 혈관그래프의 비교 결과가 입력되면 그에 상응하는 질병 여부를 자동으로 판단할 수 있다. The convolutional neural network of the determination module 160 may be a pre-learned program using a myriad of labeled comparison results. For example, the convolutional neural network of the determination module 160 may be a program that has been learned in advance using the result of comparing C blood vessel graphs corresponding to glaucoma and the result of comparing D blood vessel graphs corresponding to cataract (however, C and D is a plural natural number). Accordingly, the convolutional neural network of the determination module 160 may automatically determine whether a disease corresponding thereto is input when the comparison result of the first blood vessel graph and the second blood vessel graph is input.

상술한 본 발명의 실시예에 따른 자동 질환 판단 장치의 동작은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되어 컴퓨터에 의해 자동 질환 판단 방법으로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The operation of the automatic disease determination apparatus according to an embodiment of the present invention described above may be implemented as a computer-readable code in a computer-readable recording medium and implemented as an automatic disease determination method by a computer. Computer-readable recording media include all types of recording media in which data that can be decoded by a computer system are stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed to a computer system connected through a computer communication network, and stored and executed as codes that can be read in a distributed manner.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments of the present invention, those of ordinary skill in the relevant technical field variously modify the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. And it will be easily understood that it can be changed.

100: 자동 질환 판단 장치
110: 수신부
120: 프로세서
130: 메모리
140: 혈관추출모듈
150: 분석모듈
160: 판단모듈100: automatic disease determination device
110: receiver
120: processor
130: memory
140: blood vessel extraction module
150: analysis module
160: judgment module

Claims

Processor; And
A memory electrically connected to the processor and storing a convolutional neural network;
Including,
The memory,
According to a preset method, a first blood vessel segmentation image for a first eyeball image and a second vessel segmentation image for a second eyeball image are generated, a first blood vessel graph is generated using the first blood vessel segmentation image, and the Including instructions for generating a second blood vessel graph using a second blood vessel segmentation image, comparing the first blood vessel graph and the second blood vessel graph to determine the presence or absence of a disease through the convolutional neural network,
The first eyeball image is an image generated earlier than the second eyeball image, an automatic disease determination device

The method of claim 1,
The memory,
Extracting an arterial center line from the first blood vessel segmentation image or the second vessel segmentation image, extracting an artery bifurcation point using the arterial center line, and connecting the arterial bifurcation points according to a preset method to obtain the first blood vessel graph or the Automatic disease determination apparatus further comprising instructions for generating a second blood vessel graph.

The method of claim 2,
The memory,
Extracting a vein center line from the first vascular segment image or the second vascular segment image, extracting a vein branch point using the vein center line, and connecting the vein branch points according to a preset method to connect the first blood vessel graph or the Automatic disease determination apparatus further comprising instructions for generating a second blood vessel graph.

The method of claim 3,
The memory,
The first blood vessel graph or the second blood vessel graph is generated by reflecting the thickness and length of the arteries connecting the arterial bifurcation points, and the first blood vessel graph or the first vessel graph or the length by reflecting the thickness and length of the veins connecting the vein bifurcation points. Automatic disease determination apparatus further comprising instructions for generating a second blood vessel graph.

The method of claim 1,
The memory,
Further comprising instructions for observing different portions by matching the first blood vessel graph and the second blood vessel graph, and determining the presence or absence of the disease using the convolutional neural network learned in advance using the different portions,
The convolutional neural network, characterized in that it is learned in advance through a correlation between a type of disease and a change in a blood vessel graph according to a change in time.

In the automatic disease determination method performed by the automatic disease determination device,
Generating a first blood vessel segmentation image for the first eyeball image and a second vessel segmentation image for the second eyeball image according to a preset method;
Generating a first blood vessel graph using the first blood vessel segmentation image and generating a second blood vessel graph using the second vessel segmentation image; And
Determining the presence or absence of a disease by comparing the first blood vessel graph and the second blood vessel graph;
Including,
The first eyeball image is an image generated earlier than the second eyeball image, automatic disease determination method.

The method of claim 6,
The step of generating the first blood vessel graph,
Extracting an artery center line from the first blood vessel segmentation image or the second vessel segmentation image;
Extracting an artery bifurcation point using the arterial center line; And
Generating the first blood vessel graph or the second blood vessel graph by connecting the arterial bifurcation points according to a preset method;
Containing, automatic disease determination method.

The method of claim 7,
Generating the second blood vessel graph,
Extracting a vein center line from the first blood vessel segmentation image or the second vessel segmentation image;
Extracting a vein branch point using the vein center line; And
Generating the first blood vessel graph or the second blood vessel graph by connecting the vein bifurcation points according to a preset method;
Automatic disease determination method comprising a further.

The method of claim 8,
Generating the first blood vessel graph and the second blood vessel graph,
Generating the first blood vessel graph or the second blood vessel graph by reflecting the thickness and length of the arteries connecting the arterial bifurcation points; And
Generating the first blood vessel graph or the second blood vessel graph by reflecting the thickness and length of veins connecting the vein bifurcation points;
Automatic disease determination method comprising a further.

The method of claim 6,
The step of determining the presence or absence of the disease,
Observing different portions by matching the first blood vessel graph and the second blood vessel graph; And
Determining the presence or absence of the disease using a convolutional neural network learned in advance using the different parts;
Including,
The convolutional neural network is an automatic disease determination method, characterized in that it is learned in advance through a correlation between a type of disease and a change in a blood vessel graph according to a change in time.

The method of claim 6,
Generating the first blood vessel segmentation image,
Acquiring frames of a patient's fundus image (FP image) and a fluorescent fundus angiography image (FAG image);
Rigid registration of each frame of a fluorescent fundus angiography image (FAG image) using a feature point matching technique;
Performing blood vessel extraction of a fluorescent fundus angiography image (FAG image) matched based on deep learning according to the characteristics of a fluorescent fundus angiography image (FAG image);
Integrating the blood vessel extraction results of the FAG image frames into an average value;
Performing blood vessel extraction of the fundus image based on deep learning according to the characteristics of the fundus image;
Performing matching of a fluorescent fundus angiography image (FAG image) and a fundus image (FP image) from the extracted blood vessels; And
Dividing a blood vessel based on the matched result;
Containing, automatic disease determination method.

The method of claim 11,
Rigid registration of each frame of the fluorescent fundus angiography image (FAG image) using a feature point matching technique,
Performing registration of a fluorescent fundus angiography image (FAG image) using RANSAC (RANdom Sample Consensus) during a feature point detection, feature point descriptor extraction, and feature point matching process;
Automatic disease determination method comprising a.

The method of claim 11,
The deep learning is a learned convolutional neural network (CNN),
The step of performing blood vessel extraction of a fluorescent fundus angiography image (FAG image) matched based on deep learning according to the characteristics of the fluorescent fundus angiography image (FAG image),
Deriving a deep learning-based FAG Vessel Probability Map (FAGVP) based on blood vessels in a fluorescent fundus angiography image (FAG image);
Automatic disease determination method comprising a.

The method of claim 11,
Integrating the blood vessel extraction results of the FAG image frames as an average value,
In FAGVP, non-rigid registration based on the free-form deformation technique of the coordinate grid represented by the B-Spline model was performed, and the average value of the average FAG Vessel Probability map (A-FAGVP) of the matched FAGVP and Deriving a Maximum FAG Vessel Probability Map (M-FAGVP) from which the maximum value for each pixel location is extracted;
Automatic disease determination method comprising a.

The method of claim 11,
The step of performing blood vessel extraction of the fundus image based on deep learning according to the characteristics of the fundus image,
Deriving a deep learning-based Fundus Photo Vessel Probability map (FPVP) for matching between an FP image and A-FAGVP;
Automatic disease determination method comprising a.

The method of claim 11,
The step of performing matching of a fluorescent fundus angiography image (FAG image) and a fundus image (FP image) from the extracted blood vessels,
Performing rigid registration between fundus images-fluorescent fundus angiography (FP-FAG) using a chamfer matching technique from blood vessels derived from FPVP and A-FAGVP; And
Performing non-rigid registration between the final fundus image-fluorescent fundus angiography image (FP-FAG) based on the free-form deformation technique of the coordinate grid represented by the B-Spline model;
Automatic disease determination method comprising a.

The method of claim 11,
Dividing the blood vessel based on the matched result,
Deriving a binary vessel segmentation mask by applying a hysteresis thresholding technique based on the probability value for each pixel of A-FAGVP;
Removing noise by applying a connected component analysis technique to the derived blood vessel segmentation mask; And
Segmentation based on the matched A-FAGVP reinforced up to the gap occurring in the vein;
Automatic disease determination method comprising a.