KR20190115713A - Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same - Google Patents
Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing sameInfo
- Publication number
- KR20190115713A KR20190115713A KR1020180038731A KR20180038731A KR20190115713A KR 20190115713 A KR20190115713 A KR 20190115713A KR 1020180038731 A KR1020180038731 A KR 1020180038731A KR 20180038731 A KR20180038731 A KR 20180038731A KR 20190115713 A KR20190115713 A KR 20190115713A
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- image
- retinal
- edema
- region
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Abstract
Description
본 출원의 일실시예들은, 혈관탐지 및 망막부종진단 장치 및 그 방법에 관한 것이다. One embodiment of the present application relates to a blood vessel detection and retinal edema diagnostic apparatus and method thereof.
기계학습(Machine Learning)은 인공 지능의 한 분야로서, 이미지와 같은 데이터의 특징(feature)과 패턴을 식별할 수 있도록 컴퓨터를 학습 또는 훈련시키는 알고리즘 혹은 프로그램 전반을 일컫는다. 이와 같은 기계학습은 최근 다양한 산업현장에 적용되고 있다. 특히, 의료현장에서는 환자의 검사과정에서 얻은 데이터 예컨대, 혈액, 혈압 등을 바탕으로 하는 기계학습이 적용될 수 있다. Machine learning is an area of artificial intelligence that refers to algorithms or programs that program or train computers to identify features and patterns of data such as images. Such machine learning has recently been applied to various industrial sites. In particular, in the medical field, machine learning based on data obtained during the examination of a patient, for example, blood and blood pressure, may be applied.
한편, 안구의 망막질환은, 혈관증상과 관련하여 오진되는 경우가 빈번하기 때문에, 정맥과 동맥이라하는 망막 혈관의 큰 줄기를 분석해야 한다. 이러한 망막혈관을 분석하는 것은, 소요되는 시간과 비용이 막대한 망막단층촬영 OCT(Optical Coherence Tomography)라는 장비를 반드시 이용해야 한다. On the other hand, since retinal diseases of the eye are frequently misdiagnosed with vascular symptoms, large stems of retinal blood vessels called veins and arteries should be analyzed. Analyzing these retinal vessels requires the use of a device called optical coherence tomography (OCT), which is expensive and time consuming.
이에 따라, OCT 장치를 이용하지 않으면서, 망막의 혈관을 보다 신속하고, 정확하게 탐지하며, 망막혈류 폐색의 원인이 되는 부종을 진단할 수 있는 기술이 요구되고 있다. Accordingly, there is a demand for a technique capable of detecting blood vessels of the retina more quickly and accurately and diagnosing edema causing retinal blood flow obstruction without using an OCT device.
본 출원의 일 목적은, 망막 촬영을 통해 수집된 피대상자의 망막이미지로부터 혈류의 폐색으로 은닉된 혈관을 포함한 혈관이미지를 탐지하여 보다 정확한 망막의 혈관이미지를 제공하는 것을 목적으로 한다. One object of the present application is to provide a more accurate blood vessel image of the retina by detecting a blood vessel image including the blood vessels concealed by the blockage of the blood flow from the retinal image of the subject collected through retinal imaging.
본 출원의 다른 목적은, 심층 신경망에 다기능의 알고리즘을 적용시켜, 혈관이미지를 탐지하는 동시에, 망막에 대한 부종정도를 진단할 수 있게 하는 것을 목적으로 한다. Another object of the present application is to apply a multifunctional algorithm to a deep neural network, to detect blood vessel images and to diagnose the degree of edema to the retina.
본 출원의 일 실시예에 따르는 혈관탐지 및 망막부종진단 장치는 심층 신경망(Deep Neural Network, DNN)을 통해 학습되는 피대상자의 망막이미지로부터 분할된 복수의 분할이미지들 간의 색채차이에 기반하여 상기 피대상자의 혈관영역을 추출하는 추출부, 은닉마르코브 모델(Hidden Markov Model, HMM)을 이용하여 기저장된 정상군의 혈관영역과 상기 피대상자의 혈관영역에 기반하는 은닉혈관영역을 추출하여 피대상자의 혈관이미지를 생성하는 이미지 처리부 및 상기 심층 신경망(DNN)을 통해 학습되는 정상군 및 부종환자군의 망막이미지들의 색채차이에 따른 유사성을 기반으로, 서포트 백터 머신(Support Vector Machine, SVM)을 통해 상기 망막이미지에 대한 부종정도를 상기 혈관이미지를 참조하여 진단하는 진단부를 포함한다. Blood vessel detection and retinal edema diagnostic apparatus according to an embodiment of the present application is based on the color difference between the plurality of divided images divided from the retinal image of the subject trained through a deep neural network (DNN) The blood vessel region of the subject is extracted using an extraction unit for extracting the vessel region of the subject, a hidden Markov model (HMM), and a hidden vessel region based on the vessel region of the subject. Based on the similarity according to the color difference between the retina images of the normal group and the edema patient group, which are learned through the image processing unit and the deep neural network (DNN), which generate blood vessel images, the retina is supported by a support vector machine (SVM). It includes a diagnostic unit for diagnosing the degree of edema of the image with reference to the blood vessel image.
실시 예에 있어서, 상기 이미지 처리부는, 상기 은닉혈관영역을 추출할 때, 은닉마르코브 모델(Hidden Markov Model, HMM)을 이용한다. In an embodiment, the image processing unit uses a Hidden Markov Model (HMM) when extracting the hidden blood vessel region.
실시 예에 있어서, 상기 진단부는, 서포트 백터 머신(Support Vector Machine, SVM)을 통해 기학습된 부종영역에 대한 유사성을 기반으로, 상기 피대상자의 혈관이미지를 참조하여 상기 부종정도를 진단한다.In an embodiment, the diagnosis unit diagnoses the degree of edema with reference to a blood vessel image of the subject, based on similarity to the edema region previously learned through a support vector machine (SVM).
실시 예에 있어서, 상기 이미지 처리부는, 상기 망막이미지를 기설정된 픽셀 크기로 분할하여 상기 분할이미지들을 생성하고, 기설정된 색상코드가 포함된 혈관영역과 상기 색상코드가 포함되지 않는 배경영역을 식별한다. The image processor may generate the divided images by dividing the retinal image into a predetermined pixel size, and identify a blood vessel region including a preset color code and a background region not including the color code. .
실시 예에 있어서, 상기 이미지 처리부는, 상기 혈관영역과 경계를 이루는 상기 배경영역의 어느 일 부분에 대해 색상, 채도 및 콘트라스트 중 적어도 어느 하나를 보정한다. The image processor may be configured to correct at least one of hue, saturation, and contrast with respect to any part of the background area bordering the blood vessel area.
실시 예에 있어서, 상기 은닉혈관영역은 상기 배경영역에 속한다. In example embodiments, the hidden blood vessel region belongs to the background region.
실시 예에 있어서, 상기 이미지 처리부는, 상기 혈관영역에 해당하는 제1 이미지를 그레이스케일 변환하고, 상기 그레이스케일 변환된 제1 이미지와 상기 은닉혈관영역에 해당하는 제2 이미지를 취합한다. The image processing unit may grayscale transform the first image corresponding to the blood vessel region, and collect the grayscale converted first image and the second image corresponding to the hidden blood vessel region.
실시 예에 있어서, 상기 심층 신경망(DNN)은, U-NET, 컨볼루션 신경망(CNN), 대규모 병렬 신경망(extreme parallel) 중 어느 하나이다. In an embodiment, the deep neural network DNN is any one of a U-NET, a convolutional neural network CNN, and a massively parallel neural network.
실시 예에 있어서, 외부로부터 수집된 피대상자의 단층이미지와 상기 혈관이미지 간의 비교를 통해 ROC 곡선을 도출하고, 상기 ROC 곡선에서의 AUC(area under curve)의 기설정된 조건에 따라, 상기 혈관이미지를 검증하는 검증부를 더 포함한다. In an embodiment, a ROC curve may be derived through comparison between a tomography image of a subject collected from the outside and the blood vessel image, and the blood vessel image may be obtained according to predetermined conditions of an AUC (area under curve) in the ROC curve. It further includes a verification unit for verifying.
본 출원의 다른 실시예에 따르는 혈관탐지 및 망막부종진단 장치의 동작방법은, 피대상자의 망막이미지를 기설정된 픽셀 크기로 분할하여 복수의 분할이미지들을 생성하는 단계, 상기 분할이미지들 간의 색채차이에 따른 영역을 심층 신경망(Deep Neural Network,DNN)을 통해 학습하는 단계, 상기 분할이미지들로부터 기설정된 색상코드가 추출되는 혈관영역을 추출하는 단계, 상기 혈관영역에 해당하는 제1 이미지를 그레이스케일 변환하는 단계, 은닉마르코브 모델(Hidden Markov Model, HMM)을 이용하여 기저장된 정상군의 혈관영역으로부터 상기 피대상자의 혈관영역에 기반한 은닉혈관영역을 추출하는 단계 및 상기 그레이스케일 변환된 제1 이미지와 상기 은닉혈관영역에 해당하는 제2 이미지를 취합하여 혈관이미지를 생성하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of operating a blood vessel detection and retinal edema diagnosis apparatus, the method comprising: dividing a retinal image of a subject into a predetermined pixel size to generate a plurality of divided images; Learning the corresponding region through a deep neural network (DNN), extracting a blood vessel region from which a predetermined color code is extracted from the divided images, and converting a gray scale of a first image corresponding to the blood vessel region Step, Hidden Markov Model (Hidden Markov Model, Extracting the hidden vascular region based on the vascular region of the subject from the previously stored vascular region of the normal group using HMM), and collecting the grayscale transformed first image and the second image corresponding to the hidden vascular region. Generating a blood vessel image.
실시 예에 있어서, 상기 심층 신경망(DNN)을 통해 기학습된 정상군 망막이미지들 및 부종환자군의 망막이미지들 간의 색채차이에 따른 부종영역의 유사성을 학습하는 단계 및 서포트 백터 머신(Support Vector Machine, SVM)을 통해 상기 부종영역에 대한 유사성을 기반으로, 상기 망막이미지에 대한 부종정도를 상기 혈관이미지를 참조하여 진단하는 단계를 포함한다. In an embodiment, learning the similarity of the edema region according to the color difference between the normal group retinal images and the retinal image of the edema patient group pre-learned through the deep neural network (DNN) and Support Vector Machine (Support Vector Machine, SVM) based on the similarity to the edema region, the step of diagnosing the degree of edema for the retinal image with reference to the blood vessel image.
실시 예에 있어서, 상기 색상코드가 추출되지 않는 배경영역을 색채보정을 통해 상기 혈관영역과 식별하는 포함한다. In an embodiment, the background region from which the color code is not extracted may be identified from the blood vessel region through color correction.
실시 예에 있어서,상기 혈관영역과 경계를 이루는 상기 배경영역의 어느 일 부분에 대해 색상, 채도 및 콘트라스트 중 적어도 어느 하나를 보정하는 단계를 포함한다. The method may further include correcting at least one of hue, saturation, and contrast with respect to any part of the background area bordering the blood vessel area.
실시 예에 있어서, 외부로부터 수집된 피대상자의 단층이미지와 상기 혈관이미지 간의 비교를 통해 ROC 곡선을 도출하는 단계, 상기 ROC 곡선에서의 AUC(area under curve)의 기설정된 조건에 따라, 상기 혈관이미지를 검증하는 단계 및 상기 혈관이미지에 대한 검증 결과에 따라 상기 혈관이미지와 다른 혈관이미지의 생성 여부를 결정하는 단계를 더 포함한다. In an embodiment, a step of deriving a ROC curve through comparison between a tomography image of a subject collected from the outside and the blood vessel image, and according to a predetermined condition of an AUC (area under curve) in the ROC curve, the blood vessel image The method may further include determining whether to generate the blood vessel image and another blood vessel image according to the verification result of the blood vessel image.
실시 예에 있어서, 상기 심층 신경망(DNN)은, U-NET, 컨볼루션 신경망(CNN), 대규모 병렬 신경망(extreme parallel) 중 어느 하나이다. In an embodiment, the deep neural network DNN is any one of a U-NET, a convolutional neural network CNN, and a massively parallel neural network.
본 출원의 실시 예에 따른 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법은, 혈류의 폐색으로 은닉된 혈관을 포함한 혈관이미지를 신속하고 보다 정확하게 탐지할 수 있는 동시에, 혈관탐지 비용을 감소시킬 수 있다. Vascular detection and retinal edema diagnostic apparatus and method using the multi-function neural network according to an embodiment of the present application, it is possible to quickly and more accurately detect the blood vessel image including the blood vessels concealed by the blockage of blood flow, Can be reduced.
또한, 혈관탐지와 더불어 망막질환인 망막부종의 발병 여부를 진단하고, 조기에 발견할 수 있게 하는 효과가 있다. In addition, there is an effect that can be detected early, and detect the development of retinal edema, a retinal disease in addition to blood vessel detection.
도 1은 본 출원의 일 실시예에 따른 혈관탐지 및 망막부종 진단장치의 블록도이다.
도 2는 도 1의 구성들의 동작을 설명하기 위한 예이다.
도 3은 본 출원의 다른 실시예에 따른 혈관탐지 및 망막부종 진단장치의 블록도이다.
도 4는 도 3의 검증부가 도출한 ROC 곡선의 일 예이다.
도 5는 도 1의 혈관탐지 및 망막부종 진단장치의 일 실시 예에 따른 동작을 보여주는 순서도이다.
도 6은 도 1의 혈관탐지 및 망막부종 진단장치의 다른 실시 예에 따른 동작을 보여주는 순서도이다.
도 7은 도 1의 혈관탐지 및 망막부종 진단장치의 일 예이다. 1 is a block diagram of a blood vessel detection and retinal edema diagnostic apparatus according to an embodiment of the present application.
FIG. 2 is an example for describing the operation of the components of FIG. 1.
Figure 3 is a block diagram of a blood vessel detection and retinal edema diagnostic apparatus according to another embodiment of the present application.
4 is an example of a ROC curve derived from the verification unit of FIG. 3.
FIG. 5 is a flowchart illustrating an operation of an apparatus for detecting blood vessels and retinal edema of FIG. 1.
6 is a flowchart illustrating an operation according to another embodiment of the apparatus for detecting blood vessels and retinal edema of FIG. 1.
7 is an example of the apparatus for detecting blood vessels and retinal edema of FIG. 1.
이하, 본 출원에 관련된 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Hereinafter, a blood vessel detection and retinal edema diagnosis apparatus and method using the multifunctional neural network according to the present application will be described in detail with reference to the accompanying drawings. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other. In the present specification, the same or similar reference numerals are assigned to the same or similar configurations in different embodiments, and the description thereof is replaced with the first description. As used herein, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise.
본 명세서의 도면들은 본 출원의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 즉, 도면도에 표시된 기능들은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스에 의해 수행되는 것으로 이해되어야 한다.It is to be understood that the drawings herein represent a conceptual perspective of an example circuit embodying the principles of the present application. That is, it is to be understood that the functions depicted in the figures may be represented by a computer substantially on a readable medium and may be performed by various processes performed by the computer or processor whether or not the computer or processor is explicitly shown.
그리고, 각각의 기능은 전용하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.Each function may be provided in addition to dedicated hardware, as well as the use of hardware having the ability to execute software in association with appropriate software. When provided by a processor, the functionality may be provided by a single dedicated processor, by a single shared processor or by a plurality of individual processors, some of which may be shared.
본 출원을 설명함에 있어서 본 출원과 관련된 공지 기술에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 출원에 따른 바람직한 일실시예를 상세히 설명하기로 한다.In describing the present application, when it is determined that the detailed description of the known technology related to the present application may unnecessarily obscure the subject matter of the present application, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present application will be described in detail with reference to the accompanying drawings.
도 1은 본 출원의 일 실시예에 따른 혈관탐지 및 망막부종 진단장치(100)의 블록도이다. 1 is a block diagram of a blood vessel detection and retinal edema diagnostic apparatus 100 according to an embodiment of the present application.
도 1을 참조하면, 혈관탐지 및 망막부종 진단장치(100)는 다기능의 신경망(Neural Network)을 활용하여 피대상자의 망막이미지에 대한 데이터를 학습할 수 있다. 여기서, 피대상자의 망막이미지는, 촬영시간이 신속하고 비용이 저렴한 안저(fundus) 촬영 장비를 통해 촬영된 이미지일 수 있다. 이러한 혈관탐지 및 망막부종 진단장치(100)는 망막이미지와 같은 파일 기반의 데이터 쓰기 및 읽기 서비스를 통해 저장하거나 일련의 데이터관련 작업을 수행하기 위한 인터페이스, 저장장치, 또는 프로세스를 포함할 수 있다. Referring to FIG. 1, the apparatus for detecting blood vessels and retinal edema 100 may learn data on retina images of a subject by using a multifunctional neural network. Here, the retina image of the subject may be an image photographed through a fundus photographing device having a fast photographing time and a low cost. The apparatus for detecting vascular detection and retinal edema 100 may include an interface, a storage device, or a process for storing or performing a series of data related operations through a file-based data writing and reading service such as a retinal image.
예컨대, 혈관탐지 및 망막부종 진단장치(100)는 안저 촬영 장비로부터 촬영된 피대상자의 망막이미지를 인터페이스를 통해 획득하고, 획득한 망막이미지를 저장장치에 저장하며, 다기능의 신경망(NN)을 활용하는 프로세스를 통해 혈관 탐지 및 망막부종을 진단할 수 있다.For example, the vascular detection and retinal edema diagnosis apparatus 100 acquires a retinal image of a subject photographed from an ocular fundus photographing apparatus through an interface, stores the acquired retinal image in a storage device, and utilizes a multifunctional neural network (NN). Can be used to detect blood vessels and diagnose retinal edema.
즉, 혈관탐지 및 망막부종 진단장치(100)는 다기능의 신경망(Neural Network, NN)을 통해 학습된 망막이미지에 대한 데이터를 기반으로, 혈류폐색으로 인하여 은닉된 혈관을 탐지하고, 동시에 탐지된 혈관 내 망막부종 여부에 따라 망막부종을 진단할 수 있다. 이에 따라, 혈관탐지 및 망막부종 진단장치(100)는 OCT 장비를 통해 촬영된 망막혈관의 단층이미지를 탐지하는 방법보다 소요되는 시간과 비용을 획기적으로 감소시킬 수 있을 뿐 아니라, 단지, 안저 촬영 장비로부터 촬영된 피대상자의 망막이미지를 그대로 변환하는 방법 보다 정확한 혈관을 탐지할 수 있다. That is, the blood vessel detection and retinal edema diagnosis apparatus 100 detects blood vessels concealed due to blood flow obstruction based on data on retinal images learned through a multifunctional neural network (NN), and simultaneously detects blood vessels. Retinal edema can be diagnosed according to the retinal edema. Accordingly, the vascular detection and retinal edema diagnostic apparatus 100 can not only significantly reduce the time and cost required than the method of detecting tomographic images of retinal vessels taken by the OCT equipment, but only, fundus imaging equipment. It is possible to detect blood vessels more accurately than the method of converting the retinal image of the subject photographed from as it is.
이하, 도 2를 참조하여, 혈관탐지 및 망막부종 진단장치(100)의 구성들이 보다 구체적으로 설명될 것이다. Hereinafter, with reference to Figure 2, the configuration of the blood vessel detection and retinal edema diagnostic apparatus 100 will be described in more detail.
도 2는 도 1의 구성들의 동작을 설명하기 위한 예이다. FIG. 2 is an example for describing the operation of the components of FIG. 1.
도 1과 도 2를 참조하면, 혈관탐지 및 망막부종 진단장치(100)는 추출부(110), 이미지 처리부(120) 및 진단부(130)를 포함할 수 있다. 1 and 2, the apparatus for detecting blood vessels and retinal edema 100 may include an extractor 110, an image processor 120, and a diagnostic unit 130.
추출부(110)는 피대상자의 망막이미지로부터 피대상자의 혈관영역을 추출할 수 있다. The extraction unit 110 may extract the blood vessel region of the subject from the retina image of the subject.
본 출원의 기술적 사상에 따른 추출부(110)는 혈관영역을 추출하기 위하여, 피대상자의 망막이미지로부터 분할된 복수의 분할이미지들 간의 색채차이를 심층 신경망(Deep Neural Network, DNN)을 통해 학습할 수 있다. 여기서, 분할이미지는 망막이미지의 가로×세로 32 픽셀 크기로 결정될 수 있다. 이와 같이, 추출부(110)는 작은 크기의 픽셀들로 분할된 복수의 분할이미지들을 학습함으로써, 망막이미지에 위치한 혈관을 세밀하게 학습할 수 있다. In order to extract the blood vessel region, the extractor 110 according to the technical spirit of the present application may learn a color difference between the plurality of divided images divided from the retinal image of the subject through a deep neural network (DNN). Can be. In this case, the divided image may be determined to have a size of 32 pixels in width x length of the retinal image. As such, the extractor 110 may learn the blood vessels located in the retinal image in detail by learning a plurality of divided images divided into pixels of small size.
보다 구체적으로, 추출부(110)는 후술할 이미지 처리부(120)가 피대상자의 망막이미지를 기설정된 픽셀 크기로 분할하여 복수의 분할이미지들을 생성할 때, 이미지 처리부(120)를 통해 생성된 복수의 분할이미지들 간의 색채차이를 심층 신경망(DNN)을 통해 학습할 수 있다. More specifically, the extractor 110 generates a plurality of divided images when the image processor 120 to be described later divides the subject's retina image into a predetermined pixel size and generates the plurality of divided images. Color difference between the divided images of can be learned through the deep neural network (DNN).
예컨대, 추출부(110)는 복수의 분할이미지들 간의 색상, 채도 및 콘트라스트 중 적어도 어느 하나에 대한 차이를 심층 신경망(DNN)을 통해 학습할 수 있다. For example, the extractor 110 may learn a difference in at least one of hue, saturation, and contrast between the plurality of divided images through the deep neural network DNN.
이러한 심층 신경망(DNN)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)을 포함하는 인공 신경망(Artificial Neural Network, AN)일 수 있다. 또한, 심층 신경망(DNN)은 다중의 은닉층을 포함하여 다양한 비선형적 관계를 학습할 수 있다. The deep neural network DNN may be an artificial neural network (AN) including a plurality of hidden layers between an input layer and an output layer. In addition, the deep neural network (DNN) can learn a variety of nonlinear relationships, including multiple hidden layers.
특히, 심층 신경망(DNN)은 학습을 위한 많은 연산량과 과하게 학습하여 실제 데이터에 대해 오차가 증가하는 과적합(overfitting), 기울기 값의 소실 문제(vanishing gradient problem) 등의 문제를 해결하기 위해 드롭아웃(drop-out), ReLU(Rectified Linear Unit), 배치 정규화(batch normalization) 등의 기법이 적용되면서 딥 러닝(deep learning)의 핵심 모델로 활용된다. 예컨대, 심층 신경망(DNN)은 알고리즘에 따라 비지도 학습 방법(unsupervised learning)을 기반으로 하는 심층 신뢰 신경망(Deep Belief Network), 심층 오토인코더(deep autoencoder) 등이 있다. In particular, deep neural networks (DNNs) drop out to solve problems such as overfitting, an error in vanishing gradient problems that increase the error for real data by overloading a large amount of computation for learning. (drop-out), rectified linear unit (ReLU), and batch normalization are used as core models for deep learning. For example, the deep neural network (DNN) includes a deep belief network, a deep autoencoder, and the like based on an unsupervised learning method according to an algorithm.
본 출원의 기술적 사상에 따른 심층 신경망(DNN)은, 이미지와 같은 2차원 데이터 처리를 위한 U-NET, 합성곱 신경망(Convolutional Neural Network), 대규모 병렬 신경망(extreme parallel Neural Network) 중 어느 하나일 수 있다. 이와 같이, 어느 하나의 심층 신경망(DNN)은, 색채차이에 대해서만 학습하게 함으로써, 시스템의 부하를 감소시킬 수 있다. The deep neural network (DNN) according to the technical spirit of the present application may be any one of a U-NET, a convolutional neural network, and a massively parallel neural network for processing two-dimensional data such as an image. have. As such, any one deep neural network DNN can reduce the load on the system by learning only about the color difference.
또한, 추출부(110)는 심층 신경망(DNN)을 통해 학습된 복수의 분할이미지들 간의 색채차이를 기반으로, 기설정된 색상코드가 탐지된 혈관영역을 추출할 수 있다. 즉, 추출부(110)는 복수의 분할이미지들로부터 기설정된 색상코드가 포함된 영역들을 피대상자의 혈관영역으로 추출할 수 있다. 예컨대, 추출부(110)는 복수의 분할이미지들로부터 피대상자의 망막혈관에 해당하는 빨간색인 #FF000의 영역을 추출할 수 있다. In addition, the extractor 110 may extract a blood vessel region in which a predetermined color code is detected, based on color differences between the plurality of divided images learned through the deep neural network DNN. That is, the extractor 110 may extract regions including a predetermined color code from the plurality of divided images as blood vessel regions of the subject. For example, the extractor 110 may extract a region of # FF000 which is a red color corresponding to the retinal blood vessel of the subject from the plurality of divided images.
또한, 추출부(110)는 기설정된 색상코드가 포함되지 않는 나머지 영역에 해당하는 배경영역을 상기 혈관영역과 식별하여 추출할 수 있다. In addition, the extraction unit 110 may identify and extract a background region corresponding to the remaining region that does not include a predetermined color code from the blood vessel region.
다음으로, 이미지 처리부(120)는 추출부(110)를 통해 추출된 혈관영역과 배경영역 중 어느 하나의 영역을 색채보정할 수 있다. 보다 구체적으로, 이미지 처리부(120)는 혈관영역과 경계를 이루는 배경영역의 어느 일 부분에 대해 색상, 채도, 콘트라스트 중 적어도 하나를 보정할 수 있다. 이와 같이, 이미지 처리부(120)는 색채보정을 통해 배경영역과 혈관영역을 용이하게 식별하여 보다 빠른 속도로 분리할 수 있다. Next, the image processor 120 may color correct one of the blood vessel region and the background region extracted by the extractor 110. More specifically, the image processor 120 may correct at least one of hue, saturation, and contrast with respect to any part of the background area bordering the blood vessel area. As such, the image processor 120 may easily identify the background region and the blood vessel region through color correction and may separate the image at a higher speed.
본 출원의 기술적 사상에 따른 실시 예에 있어서, 이미지 처리부(120)는 은닉 마르코브 모델(Hidden Markov Model, HMM)을 이용하여 기저장된 정상군의 혈관영역과 상기 피대상자의 혈관영역에 기반하는 은닉혈관영역을 추출할 수 있다. In an embodiment according to the technical spirit of the present application, the image processing unit 120 may conceal the blood vessel region of the normal group and the vessel region of the subject by using a hidden Markov model (HMM). Blood vessel region can be extracted.
여기서, 은닉마르코브 모델(HMM)은 상태(state) 정보가 은닉된 통계적 마르코프 모델이다. 기본 마르코프 모델은, 시간(t)에 따른 상태(state) 정보가 관찰되는 반면, 은닉 마르코프 모델(HMM)은 상태(state) 정보가 숨겨져 있고, 출력(output)된 정보만 관찰될 때, 출력(output)된 정보을 가지고 숨겨진 상태(state) 정보를 추정할 수 있는 모델을 의미할 수 있다. 또한, 은닉 마르코프 모델(HMM)은 음성 인식, 자연어 처리, 몸짓 인식(gesture recognition) 등과 같이 대량으로 출력된 데이터를 통계적으로 패턴 분석하여 입력된 정보를 추론하는 데에 응용될 수 있다. 예를 들면, 은닉 마르코프 모델(HMM)은 음성 인식 분야에서 은닉 상태의 주어진 음성의 문자열을 찾기 위해 음성 신호의 변동을 확률 변수로 취급하여, 입력 음성의 흔들림 등을 분석할 수 있다. Here, the Hidden Markov Model (HMM) is a statistical Markov model in which state information is hidden. In the basic Markov model, state information over time t is observed, whereas in the hidden Markov model HMM, when the state information is hidden and only output information is observed, the output ( It can mean a model that can estimate hidden state information with output information. In addition, the Hidden Markov Model (HMM) may be applied to infer the input information by statistically patterning data output in large quantities such as speech recognition, natural language processing, gesture recognition, and the like. For example, the Hidden Markov Model (HMM) can analyze the fluctuation of the input voice by treating the fluctuation of the voice signal as a random variable to find a string of a given voice in the hidden state in the speech recognition field.
본 출원의 기술적 사상에 따른 실시예에 있어서, 피대상자의 혈관영역과, 정상군의 혈관영역을 출력(output)정보라 가정할 때, 은닉마르코브 모델(HMM)은, 상태(state) 정보인 은닉혈관영역을 추정하여 추출할 수 있다. In an embodiment according to the technical spirit of the present application, when the blood vessel region of the subject and the blood vessel region of the normal group are assumed to be output information, the hidden mark model HMM is state information. Hidden blood vessel region can be estimated and extracted.
즉, 이미지 처리부(120)는 은닉 마르코브 모델(HMM)을 이용하여, 기저장된 정상군의 혈관영역과 상기 피대상자의 혈관영역인 출력(output)정보로부터 은닉혈관영역을 상태(state) 정보로서 추출할 수 있다. 이에 따라, 이미지 처리부(120)는 혈류폐색으로 인하여 망막 안저 촬영만으로 추출되지 않았던 은닉된 혈관을 탐지할 수 있다. That is, the image processor 120 uses the hidden Markov model (HMM) to select the hidden blood vessel region as state information from previously stored blood vessel regions of the normal group and output information which is the blood vessel region of the subject. Can be extracted. Accordingly, the image processor 120 may detect hidden blood vessels that were not extracted only by retinal fundus imaging due to blood flow obstruction.
또한, 이미지 처리부(120)는 혈관영역과 은닉혈관영역을 이용하여 피대상자의 혈관이미지를 생성할 수 있다. 즉, 이미지 처리부(120)는 추출부(110)를 통해 추출된 피대상자의 혈관영역과 은닉 마르코브 모델(HMM)을 이용하여 추출된 은닉혈관영역을 취합하고, 취합된 영역을 이용하여 혈관이미지를 생성할 수 있다. 여기서, 은닉혈관영역은 혈관영역이 아닌, 배경영역에 속할 수 있다. In addition, the image processor 120 may generate a blood vessel image of the subject using the blood vessel region and the hidden vessel region. That is, the image processing unit 120 collects the blood vessel region of the subject extracted through the extraction unit 110 and the hidden vessel region extracted using the hidden Markov model (HMM), and uses the collected region to obtain a blood vessel image. Can be generated. Here, the hidden blood vessel region may belong to the background region, not the blood vessel region.
보다 구체적으로, 이미지 처리부(120)는 피대상자의 망막이미지를 그레이 스케일 이미지로 변환할 수 있다. 이때, 이미지 처리부(120)는, 추출부(110)를 통해 추출된 혈관영역에 해당하는 제1 이미지와 은닉 마르코브 모델(HMM)을 이용하여 추출된 은닉혈관영역에 해당하는 제2 이미지를 상기 그레이 스케일 이미지로부터 추출 및 취합하여 혈관이미지를 생성할 수 있다. More specifically, the image processor 120 may convert the retina image of the subject into a gray scale image. In this case, the image processor 120 may include the first image corresponding to the blood vessel region extracted by the extractor 110 and the second image corresponding to the hidden blood vessel region extracted using the hidden Markov model (HMM). Blood vessel images can be generated by extraction and aggregation from gray scale images.
이와 같이, 이미지 처리부(120)는 그레이 스케일 이미지로부터 혈관영역과 은닉혈관영역에 해당하는 혈관이미지를 추출 및 생성함으로써, 혈류의 폐색으로 인하여 탐지되지 않는 은닉혈관을 포함한 혈관이미지를 보다 정확하게 추출할 수 있다. As such, the image processor 120 extracts and generates a blood vessel image corresponding to the blood vessel region and the hidden blood vessel region from the gray scale image, thereby more accurately extracting the blood vessel image including the hidden blood vessel which is not detected due to the blockage of blood flow. have.
다음으로, 진단부(130)는 기학습된 정상군 및 부종환자군의 망막이미지들 간의 색채차이에 따른 유사성을 기반으로, 서포트 백터 머신(Support Vector Machine, SVM)을 통해 피대상자의 망막이미지에 대한 부종정도를 혈관이미지를 참조하여 진단할 수 있다. Next, the diagnosis unit 130 is based on the similarity according to the color difference between the retinal image of the normal group and the edema patient group pre-learned, for the retinal image of the subject through a support vector machine (SVM) The degree of edema can be diagnosed with reference to the blood vessel image.
우선, 진단부(130)가 피대상자의 망막이미지에 대한 부종정도를 진단하기 위하여, 기저장된 정상군 망막이미지들 및 부종환자군의 망막이미지들이 학습되는 과정이 선행될 수 있다. First, in order for the diagnosis unit 130 to diagnose the degree of edema of the subject's retinal image, a process of learning previously stored normal group retinal images and retinal images of the edema patient group may be preceded.
기저장된 정상군 망막이미지들 및 부종환자군의 망막이미지들이 기학습되는 과정에서, 이미지 처리부(120)는 기저장된 정상군 및 부종환자군의 망막이미지들을 기설정된 픽셀 크기로 분할하여 제1 내지 제N 개의 복수의 분할이미지들을 생성할 수 있다. 이때, 추출부(110)는 이미지 처리부(120)를 통해 생성된 제1 내지 제N 개의 복수의 분할이미지들 간의 색채차이에 따른 부종영역을 심층 신경망(DNN)을 통해 학습할 수 있다. 예를들면, 부종영역은 혈관영역과 다르게 황색의 색상코드인 #FFE400인 데이터 또는 검정색의 색상코드인 #000000인 데이터일 수 있다. 이러한 학습과정은 추출부(110)에서 피대상자의 망막이미지를 학습하는 과정과 유사하다. In the process of pre-learning the normal group retinal images and the retinal images of the edema patient group, the image processing unit 120 divides the previously stored retinal images of the normal group and the edema patient group into predetermined pixel sizes to obtain the first to N-th number. A plurality of split images may be generated. In this case, the extraction unit 110 may learn the edema region according to the color difference between the first to Nth plurality of divided images generated by the image processing unit 120 through the deep neural network DNN. For example, the edema area may be data of yellow color code # FFE400 or black color code # 000000 different from blood vessel area. This learning process is similar to the process of learning the retina image of the subject in the extraction unit 110.
이어서, 추출부(110)는 색채차이에 따른 영역에 기초하는 제1 내지 제N 개의 복수의 분할이미지들 간의 부종영역에 대한 유사성에 따라, 서포트 백터 머신(SVM)을 이용하여 부종환자군의 망막이미지들에 대해 부종단계를 분류하고, 학습할 수 있다. Subsequently, the extraction unit 110 uses the support vector machine (SVM) to retina images of the edema patient group according to the similarity to the edema region among the first to Nth plurality of divided images based on the color difference region. Classify and study edema stages.
여기서, 서포트 백터 머신(SVM)은 기계 학습의 분야 중 하나로, 패턴 인식, 자료 분석을 위한 지도 학습 모델이고, 주로 분류와 회귀 분석을 위해 사용될 수 있다. 또한, 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 서포트 백터 머신(SVM)은, 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지를 판단할 수 있다. 이러한 서포트 백터 머신(SVM)은 정상군 및 부종환자군 망막이미지들을 두 카테고리로 결정하고, 새로운 데이터에 해당하는 피대상자의 혈관이미지가 정상군 및 부종환자군의 망막이미지들 중 어느 카테고리에 속할 지를 판단할 수 있다. Here, the support vector machine (SVM) is one of the fields of machine learning, and is a supervised learning model for pattern recognition and data analysis, and can be mainly used for classification and regression analysis. In addition, given a set of data belonging to either of the two categories, the support vector machine (SVM) can determine which category the new data belongs to based on the given data set. The support vector machine (SVM) determines the normal and edema patient retinal images into two categories, and determines whether the blood vessel image of the subject corresponding to the new data belongs to the normal and edema patient retinal images. Can be.
즉, 진단부(130)는 상기 심층 신경망(DNN)을 통해 기학습된 정상군 망막이미지들 및 부종환자군의 망막이미지들 간의 색채차이에 따른 부종영역의 유사성에 기반하여, 서포트 백터 머신(SVM)을 통해 피대상자의 망막이미지에 대한 부종정도를 혈관이미지를 참조하여 진단할 수 있다. That is, the diagnosis unit 130 based on the similarity of the edema region according to the color difference between the normal group retinal images and the retinal image of the edema patient group pre-learned through the deep neural network (DNN), support vector machine (SVM) The degree of edema of the retina image of the subject can be diagnosed by referring to the blood vessel image.
본 출원의 기술적 사상의 실시 예에 따른 진단부(130)는 피대상자의 망막혈관의 부종을 진단하기 위해, 이미지 처리부(120)로부터 생성된 혈관이미지를 리드(READ)하고, 피대상자의 혈관이미지가 부종환자군의 망막이미지들의 부종단계 중 어느 단계에 속하는 지에 따라 부종정도를 진단할 수 있다. 여기서, 부종정도는 부종환자군의 망막이미지들이 분류된 부종단계에 따라 미리 정량화된 수치일 수 있다. 이렇게, 진단부(130)는 피대상자의 망막이미지에 대해 서포트 백터 머신(SVM)을 통해 분류된 부종단계에 따라 부종정도를 혈관이미지를 참조하여 가시화시킬 수 있다. The diagnostic unit 130 according to an embodiment of the present disclosure reads a blood vessel image generated from the image processor 120 to diagnose edema of the retinal vessel of the subject, and the blood vessel image of the subject. The degree of edema can be diagnosed according to which stage of edema of the retinal images of the edema patient group. Here, the degree of edema may be a value quantified in advance according to the edema stage in which the retinal images of the edema patient group are classified. In this way, the diagnosis unit 130 may visualize the degree of edema with reference to the blood vessel image according to the edema stage classified through the support vector machine (SVM) for the subject's retinal image.
이와 같이, 진단부(130)는 기학습된 정상군 및 부종환자군의 망막이미지들에 대한 색채차이에 따른 부종영역의 유사성에 따라, 서포트 백터 머신(SVM)을 통해 피대상자의 망막이미지에 대한 부종정도를 진단함으로써, 이를 이용하는 사용자 예컨대, 의료진이나 환자에게 망막질환의 발병 여부에 대한 정보를 신속하게 제공할 수 있다. As described above, the diagnosis unit 130 swells the retinal image of the subject through the support vector machine (SVM) according to the similarity of the edema area according to the color difference with respect to the retinal images of the normal group and the edema patient group. By diagnosing the degree, it is possible to promptly provide the user, for example, a medical staff or a patient, with information on whether retinal disease has occurred.
본 출원의 기술적 사상의 실시 예에 있어서, 혈관탐지 및 망막부종 진단장치(100)는 심층 신경망(DNN)을 통해 학습된 피대상자의 망막이미지로부터 피대상자의 혈관영역을 추출하고, 은닉마르코브 모델(HMM)을 이용하여 은닉혈관영역을 추출하여 피대상자의 혈관이미지를 생성하며, 서포트 백터 머신(SVM)을 통해 상기 피대상자의 망막이미지에 대한 부종정도를 진단할 수 있다. 이에 따라, 혈관탐지 및 망막부종 진단장치(100)는, 비교적 비용이 저렴하고, 소요시간이 짧은 안저 촬영 장비를 통해 촬영한 망막이미지로도 혈관폐쇄로 인한 은닉된 혈관을 포함하는 정맥과 동맥의 큰 줄기인 망막혈관 모두를 탐지할 수 있고, 동시에 망막부종에 대한 진단정보를 제공할 수 있다.In an embodiment of the technical idea of the present application, the apparatus for detecting blood vessels and retinal edema 100 extracts a blood vessel region of a subject from a retina image of a subject learned through a deep neural network (DNN), and a hidden mark model. (HMM) is used to extract the hidden blood vessel region to generate a blood vessel image of the subject, and a support vector machine (SVM) can diagnose the degree of edema of the subject's retinal image. Accordingly, the apparatus for detecting blood vessels and retinal edema 100 is relatively inexpensive and uses a short time-consuming retinal image. Both retinal vessels, which are large stems, can be detected and at the same time, diagnostic information about retinal edema can be provided.
도 3은 본 출원의 다른 실시예에 따른 혈관탐지 및 망막부종 진단장치(100_1)의 블록도이다. 3 is a block diagram of a blood vessel detection and retinal edema diagnostic apparatus 100_1 according to another embodiment of the present application.
도 3을 참조하면, 혈관탐지 및 망막부종 진단장치(100_1)는 추출부(110_1), 이미지 처리부(120_1), 진단부(130_1) 및 검증부(140)를 포함할 수 있다. Referring to FIG. 3, the apparatus for detecting blood vessels and retinal edema 100_1 may include an extractor 110_1, an image processor 120_1, a diagnostic unit 130_1, and a verification unit 140.
추출부(110_1), 이미지 처리부(120_1), 진단부(130_1)는 도 1에서의 구성들과 동일하고, 그에 따른 효과도 동일하므로, 상세한 설명은 생략하기로 한다.The extraction unit 110_1, the image processing unit 120_1, and the diagnosis unit 130_1 are the same as those in FIG. 1, and the effects thereof are also the same, and thus a detailed description thereof will be omitted.
다음으로, 검증부(140)는 수집되는 피대상자의 망막 혈관에 대한 단층이미지와 이미지 처리부(120)를 통해 생성된 혈관이미지 간의 비교를 통해 혈관이미지의 정확도를 검증할 수 있다. Next, the verification unit 140 may verify the accuracy of the blood vessel image by comparing the tomographic image of the collected retinal blood vessel of the subject and the blood vessel image generated by the image processor 120.
보다 구체적으로, 검증부(140)는 망막단층 촬영(Optical Coherence Tomography, OCT) 장치나 외부 장치를 통해 수집된 피대상자의 망막 혈관에 대한 단층이미지를 수집할 수 있다. More specifically, the verification unit 140 may collect a tomography image of the subject's retinal blood vessels collected through an optical coherence tomography (OCT) device or an external device.
이때, 검증부(140)는 이미지 처리부(120)를 통해 생성된 피대상자의 혈관이미지와 수집된 단층이미지 간의 로지스틱 회귀(Logistic regression) 알고리즘을 이용한 비교를 통해 ROC 곡선을 도출할 수 있다. At this time, the verification unit 140 may derive the ROC curve through a comparison using a logistic regression algorithm between the blood vessel image of the subject generated by the image processing unit 120 and the collected tomographic image.
여기서, ROC 곡선은 혈관이미지에 대한 탐지의 성능을 나타내는 곡선으로 민감도(sensitivity), 특이도(specificity), 정확도(accuracy)로 구성될 수 있다. 보다 구체적으로, 민감도(sensitivity)는 단층이미지에 있는 혈관이 혈관이미지에 탐지될 비율이며, 특이도(specificity)는 단층이미지에 있는 혈관이 혈관이미지에 탐지되지 않을 비율이며, 정확도(accuracy)는 단층이미지와 혈관이미지 간의 유사 비율을 나타낼 수 있다. Here, the ROC curve is a curve representing the performance of detection on the blood vessel image and may be composed of sensitivity, specificity, and accuracy. More specifically, sensitivity is the rate at which blood vessels in the tomography image are detected in the vascular image, specificity is the rate at which blood vessels in the tomography image are not detected in the blood vessel image, and accuracy is tomography. The similar ratio between the image and the blood vessel image can be shown.
이때, 검증부(140)는 도출된 상기 ROC 곡선에서, AUC(area under curve)의 기설정된 조건에 따라, 상기 혈관이미지를 검증할 수 있다. 보다 구체적으로, 검증부(140)는 도출된 상기 ROC 곡선에서, AUC가 기설정된 조건에 해당하는 경우, 상기 혈관이미지를 상기 피대상자의 망막에 대한 혈관이미지로 결정할 수 있고, 해당하지 않는 경우, 상기 혈관이미지를 실패이미지로서 저장할 수 있다. In this case, the verification unit 140 may verify the blood vessel image according to a predetermined condition of an area under curve (AUC) in the derived ROC curve. More specifically, the verification unit 140 may determine the blood vessel image as the blood vessel image of the subject's retina when the AUC corresponds to a predetermined condition in the derived ROC curve, and if not, The blood vessel image may be stored as a failure image.
예를 들면, 검증부(140)는 도 4에 도시된 바와 같이, AUC가 95% 초과인 경우, 상기 혈관이미지를 상기 피대상자의 망막에 대한 혈관이미지로 최종 결정할 수 있다. 보다 구체적으로, 검증부(140)는 도출된 상기 ROC 곡선에서, AUC가 95% 초과인 경우, 상기 혈관이미지를 상기 피대상자의 망막에 대한 혈관이미지로 최종 결정하고, AUC가 95% 이하인 경우, 상기 혈관이미지를 실패이미지로서 저장할 수 있다. For example, as illustrated in FIG. 4, when the AUC is greater than 95%, the verification unit 140 may finally determine the blood vessel image as a blood vessel image of the subject's retina. More specifically, the verification unit 140 determines the vascular image as the vascular image of the subject's retina when the AUC is greater than 95% in the derived ROC curve, and when the AUC is 95% or less, The blood vessel image may be stored as a failure image.
즉, 검증부(140)는 상기 혈관이미지에 대한 검증 결과에 따라, 상기 혈관이미지와 다른 혈관이미지의 생성 여부를 결정할 수 있다. That is, the verification unit 140 may determine whether to generate a blood vessel image different from the blood vessel image according to the verification result of the blood vessel image.
그런 다음, 다른 혈관이미지의 생성이 결정되는 경우, 검증부(140)는 추출부(110-1), 이미지 처리부(120-1)를 재동작하도록 제어함으로써, 피대상자의 망막이미지로부터 생성된 다른 혈관이미지에 대한 검증을 재수행할 수 있다. Then, when the generation of another blood vessel image is determined, the verification unit 140 controls the extraction unit 110-1 and the image processing unit 120-1 to operate again, thereby generating another image generated from the retina image of the subject. Validation of blood vessel images can be performed again.
한편, 검증부(140)는 추출부(110), 이미지 처리부(120)를 통해 수집된 피대상자의 혈관이미지들이 일정 개수 이상 생성될 때, 상기 피대상자의 혈관이미지에 대해 탐지 실패로 결정할 수 있다. Meanwhile, the verification unit 140 may determine that the blood vessel image of the subject is a detection failure when a predetermined number of blood vessel images collected through the extractor 110 and the image processor 120 are generated. .
이와 같이, 검증부(140)는 피대상자의 단층이미지와 혈관이미지 간의 비교를 통해 도출된 ROC 곡선을 이용하여 혈관이미지에 대한 민감도, 특이도 및 정확도를 검증함으로써, 이미지 처리부(120-1)를 통해 생성된 혈관이미지에 대해 신뢰도를 향상시킬 수 있다. As such, the verification unit 140 verifies the sensitivity, specificity, and accuracy of the blood vessel image by using the ROC curve derived through the comparison between the tomographic image and the blood vessel image of the subject. The reliability of the generated blood vessel image can be improved.
도 5는 도 1의 혈관탐지 및 망막부종 진단장치(100)의 일 실시 예에 따른 동작을 보여주는 순서도이다. 5 is a flowchart illustrating an operation of the blood vessel detection and retinal edema diagnosis apparatus 100 of FIG. 1.
도 1, 도 2 및 도 5를 참조하면, 먼저, 이미지 처리부(120)는 피대상자의 망막이미지를 기설정된 픽셀 크기로 분할하여 복수의 분할이미지들을 생성할 수 있다(S110). 1, 2 and 5, first, the image processor 120 may generate a plurality of divided images by dividing a retina image of a subject into a predetermined pixel size (S110).
이때, 추출부(110)는 이미지 처리부(120)를 통해 생성된 분할이미지들 간의 색채차이에 따른 영역을 심층 신경망(DNN)을 통해 학습할 수 있다(S120). In this case, the extractor 110 may learn a region according to the color difference between the divided images generated by the image processor 120 through the deep neural network DNN (S120).
이어서, 추출부(110)는 심층 신경망(DNN)을 통해 학습된 복수의 분할이미지들로부터 기설정된 색상코드가 포함된 혈관영역을 추출할 수 있다(S130). Subsequently, the extractor 110 may extract a blood vessel region including a predetermined color code from the plurality of divided images learned through the deep neural network DNN (S130).
또한, 이미지 처리부(120)는 기설정된 색상코드가 포함된 혈관영역과 상기 색상코드가 포함되지 않는 배경영역이 식별되도록 색채를 보정할 수 있다(S140).In addition, the image processor 120 may correct the color to identify the blood vessel region including the predetermined color code and the background region not including the color code (S140).
그런 다음, 추출부(110)는 상기 망막이미지로부터 배경영역이 제외된 혈관영역에 해당하는 제1 이미지를 추출할 수 있다(S150).Next, the extractor 110 may extract the first image corresponding to the blood vessel region from which the background region is excluded from the retinal image (S150).
이때, 이미지 처리부(120)는 제1 이미지를 그레이스케일 변환할 수 있다(S160). In this case, the image processor 120 may grayscale convert the first image (S160).
이어서, 이미지 처리부(120)는 은닉마르코브 모델(HMM)을 이용하여 기저장된 정상군의 혈관영역으로부터 상기 피대상자의 혈관영역에 기반한 상기 피대상자의 배경영역의 은닉혈관영역을 추출하고(S170), 망막이미지로부터 은닉혈관영역에 해당하는 제2 이미지를 추출할 수 있다(S180). Subsequently, the image processor 120 extracts the hidden blood vessel region of the background region of the subject based on the blood vessel region of the subject from previously stored blood vessel regions using the hidden Markov model (HMM) (S170). In operation S180, a second image corresponding to the hidden blood vessel region may be extracted from the retinal image.
이후, 이미지 처리부(120)는 제1 및 제2 이미지를 취합하여 피대상자의 혈관이미지 예컨대, 망막 혈관을 탐지하기 위한 이미지를 생성할 수 있다(S190). Thereafter, the image processor 120 may collect the first and second images to generate an image for detecting a blood vessel image of the subject, for example, a retinal vessel (S190).
도 6은 도 1의 혈관탐지 및 망막부종 진단장치(100)의 다른 실시 예에 따른 동작을 보여주는 순서도이다. 6 is a flowchart illustrating an operation of another apparatus for detecting blood vessels and retinal edema diagnosis of FIG. 1.
먼저, 이미지 처리부(120)는 기저장된 정상군 및 부종환자군의 망막이미지들을 기설정된 픽셀 크기로 분할하고, 분할된 제1 내지 제N 개의 복수의 분할이미지들을 생성할 수 있다(S210). First, the image processor 120 may divide the pre-stored retina images of the normal group and the edema patient group into a predetermined pixel size and generate the divided first to Nth plurality of divided images (S210).
이때, 추출부(110)는 이미지 처리부(120)를 통해 생성된 제1 내지 제N 개의 복수의 분할이미지들 간의 색채차이에 따른 부종영역을 심층 신경망(DNN)을 통해 학습할 수 있다(S220). In this case, the extractor 110 may learn the edema region according to the color difference between the first to Nth plurality of divided images generated by the image processor 120 through the deep neural network DNN (S220). .
이어서, 추출부(110)는 제1 내지 제N 개의 복수의 분할이미지들 간의 부종영역의 유사성에 기반하여, 서포트 백터 머신(SVM)을 통해 부종환자군의 망막이미지들에 대한 부종단계를 분류하고(S230), 분류된 부종환자군의 망막이미지들에 대한 부종단계를 학습할 수 있다(S240). Subsequently, the extraction unit 110 classifies the edema stage for the retinal images of the edema patient group through the support vector machine (SVM) based on the similarity of the edema region between the first to Nth plurality of divided images (SVM). S230), it is possible to learn the edema stage for the retinal images of the group of edema patients (S240).
그런 다음, 진단부(130)는 피대상자의 망막혈관에 대한 부종정도를 진단하기 위해 이미지 처리부(120)로부터 생성된 혈관이미지를 리드(READ)할 수 있다(S250).Then, the diagnosis unit 130 may read the blood vessel image generated from the image processing unit 120 to diagnose the degree of edema of the subject's retinal vessel (S250).
이후, 진단부(130)는 서포트 백터 머신(SVM)을 통해 학습된 부종환자군의 망막이미지들의 부종단계 중 리드된 혈관이미지가 어느 단계에 속하는 지를 참조하여 피대상자의 망막이미지에 대한 부종정도를 진단할 수 있다(S260). Thereafter, the diagnosis unit 130 diagnoses the degree of edema of the subject's retinal image by referring to which stage the leaded vascular image belongs to the edema stage of the retinal image of the edema patient group learned through the support vector machine (SVM). It may be (S260).
도 7은 도 1의 혈관탐지 및 망막부종 진단장치(100)의 일 예이다. 7 is an example of the blood vessel detection and retinal edema diagnostic apparatus 100 of FIG.
도 1 내지 도 2 및 도 7을 참조하면, 혈관탐지 및 망막부종 진단장치(100)는 파일 기반의 데이터를 수집 또는 전송할 수 있도록 통신부(150) 및 인터페이스부(160)를 더 포함할 수 있다. 1 to 2 and 7, the blood vessel detection and retinal edema diagnosis apparatus 100 may further include a communication unit 150 and an interface unit 160 to collect or transmit file-based data.
통신부(150)와 인터페이스부(160)는 네트워크(10) 또는 인터페이스 모듈(20)를 통해 연결되어, 안저촬영장비(200)나 피대상자의 망막이미지가 저장된 저장D/B(300)로부터 피대상자의 망막이미지, 혈관이미지, 진단정보 등을 수집 또는 전송할 수 있다. The communicator 150 and the interface unit 160 are connected through the network 10 or the interface module 20, and the subject from the storage D / B 300 in which the retina image of the fundus photographing apparatus 200 or the subject is stored is stored. Retinal image, blood vessel image, diagnostic information can be collected or transmitted.
예를 들면, 통신부(150)는 관공서나 병원 또는 혈관탐지 및 망막부종 진단장치를 운영하는 업체의 저장 D/B(300)로부터 피대상자의 망막이미지, 정상군 및 부종환자군의 망막이지들을 네트워크(10)를 통해 전송받을 수 있다. 또한, 인터페이스부(160)는 USB 포트와 AUX 잭, SD카드 소켓 등을 포함하는 인터페이스 모듈(20)을 통해 연결되어 피대상자의 망막이미지, 정상군 및 부종환자군의 망막이지들을 전송받을 수 있다. For example, the communication unit 150 may be configured to network the retinas of the subject's retina, normal group and edema patient group from a storage D / B 300 of a government office or a hospital or a company operating a blood vessel detection and retinal edema diagnosis device. 10) can be transmitted. In addition, the interface unit 160 may be connected through an interface module 20 including a USB port, an AUX jack, and an SD card socket to receive retina images of a subject, retinas of a normal group, and an edema patient group.
여기서, 통신부(150)는 전력선 통신(Power Line Communication, PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(Berial communication), 광/동축 케이블 중 적어도 어느 하나를 포함하는 유선 통신모듈, 무선랜(Wireless LAN, WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet AccesB), HSUPA(High Speed Uplink Packet AccesB), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service, WMBB) 중 적어도 어느 하나를 포함하는 무선 통신모듈 및 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication, NFC), 초음파 통신(Ultra Sound Communication, USC), 가시광 통신(Visible Light Communication, VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 중 적어도 어느 하나를 포함하는 근거리 통신모듈로 구현될 수 있다. Here, the communication unit 150 is a wired communication module including at least one of power line communication (PLC), USB communication, Ethernet, Ethernet, serial communication, optical / coaxial cable, wireless LAN ( Wireless LAN (WLAN), Digital Living Network Alliance (DLNA), Wireless Broadband (Wibro), WiMAX (World Interoperability for Microwave Access, Wimax), High Speed Downlink Packet AccesB (HSDPA), High Speed Uplink Packet AccesB (HSUPA) And a wireless communication module including at least one of IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), and Wireless Mobile Broadband Service (WMBB). Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Ultrasound Communication (Ultra Sound Communication) , USC), It may be implemented as a short range communication module including at least one of Visible Light Communication (VLC), Wi-Fi, and Wi-Fi Direct.
한편, 안저촬영장치(200)는 통신부(150)와 인터페이스부(160)의 구성 필요없이, 혈관탐지 및 망막부종 진단장치(100)의 추출부(110), 이미지 처리부(120) 및 진단부(130)의 구성을 구비함으로써, 혈관탐지 및 망막부종 진단장치(100)로 구현될 수 있다. Meanwhile, the fundus photographing apparatus 200 may include the extracting unit 110, the image processing unit 120, and the diagnosing unit of the blood vessel detection and retinal edema diagnosis apparatus 100 without the necessity of configuring the communication unit 150 and the interface unit 160. By having a configuration of 130, it can be implemented as a blood vessel detection and retinal edema diagnostic apparatus 100.
또한, 혈관탐지 및 망막부종 진단장치(100)는 파일 기반의 데이터를 수집 또는 전송할 수 있도록 컴퓨터나 휴대용 단말기, 텔레비전으로 구현될 수 있다. In addition, the apparatus for detecting blood vessel detection and retinal edema 100 may be implemented as a computer, a portable terminal, or a television to collect or transmit file-based data.
예를 들면, 혈관탐지 및 망막부종 진단장치(100)는 데스크탑 PC(Personal Computer, PC), 노트북 PC 등 컴퓨터인 것이 일반적이지만, 이에 한정되는 것은 아니다. For example, the blood vessel detection and retinal edema diagnosis apparatus 100 is a computer such as a desktop PC (Personal Computer, PC), notebook PC, but is not limited thereto.
또한, 혈관탐지 및 망막부종 진단장치(100)는 일명 피처폰(feature phone)과는 달리 사용자가 원하는 다양한 애플리케이션(Application) 프로그램을 다운로드 받아 자유롭게 사용하고 삭제가 가능한 오픈 운영체제를 기반으로 한 스마트폰일 수 있다. In addition, the apparatus for detecting blood vessels and retinal edema 100 may be a smartphone based on an open operating system that can be freely used and deleted by downloading various application programs desired by a user, unlike a feature phone. have.
이외에도, 모바일 오피스 기능을 갖춘 모든 모바일 폰 또는 음성통화 기능이 없으나 인터넷 접속 가능한 모든 인터넷폰 또는 테블릿 PC(Tablet PC)모바일 게임기(mobile play-station), 통신기능이 있는 DMB(Digital Multimedia Broadcasting)폰을 포함하는 통신기기, IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함하는 텔레비전으로 구현될 수 있다. In addition, all mobile phones with mobile office function or voice call function, but all internet phones or tablet PC (tablet PC) mobile game-station (DMB) phone with a communication function It may be implemented as a television, including a communication device including a, IPTV (Internet Protocol Television), Internet TV (Internet Television), terrestrial TV, cable TV.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the devices and components described in the embodiments may include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to the execution of the software. For the convenience of understanding, a processing device may be described as one being used, but a person skilled in the art will appreciate that the processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process independently or collectively. You can command the device. Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted. The software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner. Software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or substituted by equivalents, an appropriate result can be achieved.
100: 혈관탐지 및 망막부종 진단장치
110: 추출부
120: 이미지 처리부
130: 진단부
140: 검증부
150: 통신부
160: 인터페이스부
200: 안저촬영장비
300: 저장D/B100: blood vessel detection and retinal edema diagnostic device
110: extraction unit
120: image processing unit
130: diagnostic unit
140: verification unit
150: communication unit
160: interface unit
200: fundus photography equipment
300: Save D / B
Claims (15)
기저장된 정상군과 상기 피대상자의 혈관영역에 기반하는 은닉혈관영역을 추출하여 상기 피대상자의 혈관이미지를 생성하는 이미지 처리부; 및
상기 심층 신경망(DNN)을 통해 학습되는 정상군 및 부종환자군의 망막이미지들의 색채차이에 따른 유사성을 기반으로, 상기 피대상자의 망막이미지에 대한 부종정도를 진단하는 진단부를 포함하는 혈관탐지 및 망막부종 진단장치.
An extraction unit for extracting a blood vessel region of the subject based on color differences between the plurality of divided images divided from the retinal image of the subject trained through a deep neural network (DNN);
An image processor for extracting a hidden blood vessel region based on a previously stored normal group and a blood vessel region of the subject to generate a blood vessel image of the subject; And
Vascular detection and retinal edema, including a diagnostic unit for diagnosing the degree of edema of the subject's retinal image based on the similarity according to the color difference of the retinal image of the normal group and the edema patient group learned through the deep neural network (DNN) Diagnostic device.
상기 은닉혈관영역을 추출할 때, 은닉마르코브 모델(Hidden Markov Model, HMM)을 이용하는 혈관탐지 및 망막부종 진단장치.
The method of claim 1, wherein the image processing unit,
When detecting the hidden vessel region, blood vessel detection and retinal edema diagnostic apparatus using a hidden Markov Model (HMM).
서포트 백터 머신(Support Vector Machine, SVM)을 통해 기학습된 부종영역에 대한 유사성을 기반으로, 상기 피대상자의 혈관이미지를 참조하여 상기 부종정도를 진단하는 혈관탐지 및 망막부종 진단장치.
The method of claim 1, wherein the diagnostic unit,
An apparatus for detecting vascular edema and retinal edema, based on the similarity to the edema region previously learned through a support vector machine (SVM), by referring to the blood vessel image of the subject.
상기 망막이미지를 기설정된 픽셀 크기로 분할하여 상기 분할이미지들을 생성하고, 기설정된 색상코드가 포함된 상기 혈관영역과 상기 기설정된 색상코드가 포함되지 않는 배경영역을 식별하는 혈관탐지 및 망막부종 진단장치.
The method of claim 1, wherein the image processing unit,
Vascular detection and retinal edema diagnostic apparatus for dividing the retinal image into a predetermined pixel size to generate the divided images, and to identify the blood vessel region including a predetermined color code and a background region not including the predetermined color code. .
상기 혈관영역과 경계를 이루는 상기 배경영역의 어느 일 부분에 대해 색상, 채도 및 콘트라스트 중 적어도 어느 하나를 보정하는 혈관탐지 및 망막부종 진단장치.
The method of claim 4, wherein the image processing unit,
An apparatus for detecting blood vessels and retinal edema for correcting at least one of color, saturation, and contrast with respect to any portion of the background region bordering the blood vessel region.
상기 은닉혈관영역은 상기 배경영역에 속하는 혈관탐지 및 망막부종 진단장치.
The method of claim 4, wherein
The hidden vascular region belongs to the background region blood vessel detection and retinal edema diagnostic apparatus.
상기 혈관영역에 해당하는 제1 이미지를 그레이스케일 변환하고,
상기 그레이스케일 변환된 제1 이미지와 상기 은닉혈관영역에 해당하는 제2 이미지를 취합하는 혈관탐지 및 망막부종 진단장치.
The method of claim 1, wherein the image processing unit,
Gray-scale conversion of the first image corresponding to the blood vessel region,
An apparatus for detecting blood vessels and retinal edema, which combines the grayscale transformed first image and a second image corresponding to the hidden blood vessel region.
U-NET, 컨볼루션 신경망(CNN), 대규모 병렬 신경망(extreme parallel) 중 어느 하나인 혈관탐지 및 망막부종 진단장치.
The method of claim 1, wherein the deep neural network (DNN),
U-NET, convolutional neural network (CNN), massively parallel neural network (extreme parallel) any one of the vessel detection and retinal edema diagnostic device.
외부로부터 수집된 상기 피대상자의 단층이미지와 상기 피대상자의 혈관이미지 간의 비교를 통해 ROC 곡선을 도출하고, 상기 ROC 곡선에서의 AUC(area under curve)의 기설정된 조건에 따라, 상기 혈관이미지를 검증하는 검증부를 더 포함하는 혈관탐지 및 망막부종 진단장치.
The method of claim 1,
A ROC curve is derived through comparison between the tomography image of the subject collected from the outside and the blood vessel image of the subject, and the blood vessel image is verified according to a predetermined condition of an AUC (area under curve) in the ROC curve. Vascular detection and retinal edema diagnostic apparatus further comprising a verification unit to.
피대상자의 망막이미지를 기설정된 픽셀 크기로 분할하여 복수의 분할이미지들을 생성하는 단계;
상기 분할이미지들 간의 색채차이에 따른 영역을 심층 신경망(Deep Neural Network,DNN)을 통해 학습하는 단계;
상기 분할이미지들로부터 기설정된 색상코드가 추출되는 혈관영역을 추출하는 단계;
상기 혈관영역에 해당하는 제1 이미지를 그레이스케일 변환하는 단계;
은닉마르코브 모델(Hidden Markov Model, HMM)을 이용하여 기저장된 정상군의 혈관영역으로부터 상기 피대상자의 혈관영역에 기반한 은닉혈관영역을 추출하는 단계; 및
상기 그레이스케일 변환된 제1 이미지와 상기 은닉혈관영역에 해당하는 제2 이미지를 취합하여 혈관이미지를 생성하는 단계를 포함하는 혈관탐지 및 망막부종진단 방법.
As an operation method of blood vessel detection and retinal edema diagnosis device,
Generating a plurality of divided images by dividing a subject's retinal image into a predetermined pixel size;
Learning an area according to color difference between the divided images through a deep neural network (DNN);
Extracting a blood vessel region from which the predetermined color code is extracted from the divided images;
Grayscale converting the first image corresponding to the blood vessel region;
Hidden Markov Model (Hidden Markov Model, Extracting hidden vascular regions based on vascular regions of the subject from previously stored vascular regions using HMM); And
The blood vessel detection and retinal edema diagnosis method comprising the step of combining the grayscale transformed first image and the second image corresponding to the hidden vessel region to generate a blood vessel image.
상기 심층 신경망(DNN)을 통해 기학습된 정상군 망막이미지들 및 부종환자군의 망막이미지들 간의 색채차이에 따른 부종영역의 유사성을 학습하는 단계; 및
서포트 백터 머신(Support Vector Machine, SVM)을 통해 상기 부종영역에 대한 유사성을 기반으로, 상기 망막이미지에 대한 부종정도를 상기 혈관이미지를 참조하여 진단하는 단계를 포함하는 혈관탐지 및 망막부종진단 방법.
The method of claim 10,
Learning the similarity of the edema region according to the color difference between the normal group retinal images and the retinal images of the edema patient group previously learned through the deep neural network (DNN); And
Vascular detection and retinal edema diagnostic method comprising the step of diagnosing the degree of edema for the retinal image with reference to the blood vessel image based on the similarity to the edema region through a support vector machine (SVM).
상기 색상코드가 추출되지 않는 배경영역을 색채보정을 통해 상기 혈관영역과 식별하는 단계를 포함하는 혈관탐지 및 망막부종진단 방법.
The method of claim 10,
Blood vessel detection and retinal edema diagnosis method comprising the step of identifying the background region from which the color code is not extracted through the color correction.
상기 혈관영역과 경계를 이루는 상기 배경영역의 어느 일 부분에 대해 색상, 채도 및 콘트라스트 중 적어도 어느 하나를 보정하는 단계를 포함하는 혈관탐지 및 망막부종진단 방법.
The method of claim 12,
Vascular detection and retinal edema diagnosis method comprising the step of correcting at least any one of the hue, saturation and contrast for any portion of the background region bounded by the vessel region.
외부로부터 수집된 피대상자의 단층이미지와 상기 혈관이미지 간의 비교를 통해 ROC 곡선을 도출하는 단계;
상기 ROC 곡선에서의 AUC(area under curve)의 기설정된 조건에 따라, 상기 혈관이미지를 검증하는 단계; 및
상기 혈관이미지에 대한 검증 결과에 따라 상기 혈관이미지와 다른 혈관이미지의 생성 여부를 결정하는 단계를 더 포함하는 혈관탐지 및 망막부종진단 방법.
The method of claim 10,
Deriving a ROC curve through comparison between the tomography image of the subject collected from the outside and the blood vessel image;
Verifying the blood vessel image according to a predetermined condition of an area under curve (AUC) in the ROC curve; And
Vascular detection and retinal edema diagnostic method further comprising the step of determining whether to generate the blood vessel image and other blood vessel image according to the verification result for the blood vessel image.
U-NET, 컨볼루션 신경망(CNN), 대규모 병렬 신경망(extreme parallel) 중 어느 하나인 혈관탐지 및 망막부종진단 방법.
11. The method of claim 10, wherein the deep neural network (DNN),
Blood vessel detection and retinal edema diagnostic method, which is one of U-NET, convolutional neural network (CNN), and massively parallel neural network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180038731A KR102143940B1 (en) | 2018-04-03 | 2018-04-03 | Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180038731A KR102143940B1 (en) | 2018-04-03 | 2018-04-03 | Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190115713A true KR20190115713A (en) | 2019-10-14 |
| KR102143940B1 KR102143940B1 (en) | 2020-08-13 |
Family
ID=68171664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180038731A KR102143940B1 (en) | 2018-04-03 | 2018-04-03 | Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102143940B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102246966B1 (en) * | 2020-01-29 | 2021-04-30 | 주식회사 아티큐 | Method for Recognizing Object Target of Body |
| WO2021162354A1 (en) * | 2020-02-10 | 2021-08-19 | 재단법인 아산사회복지재단 | Method and device for extracting major vessel region on basis of vessel image |
| WO2021241830A1 (en) * | 2020-05-27 | 2021-12-02 | 주식회사 스파이더코어 | Deep neural network-based retinal image analysis method and apparatus for detection of abnormal kidney function |
| KR20220021171A (en) * | 2020-08-13 | 2022-02-22 | 순천향대학교 산학협력단 | Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof |
| KR20220106247A (en) * | 2021-01-21 | 2022-07-29 | 연세대학교 산학협력단 | Method and device for correcting medical image using phantom |
| KR20220164953A (en) * | 2021-06-07 | 2022-12-14 | 주식회사 지오비전 | Retinal blood vessel detection system using deep learning |
| WO2023054994A1 (en) * | 2021-09-29 | 2023-04-06 | 주식회사 온택트헬스 | Method and device for segmenting blood vessel area in medical image |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102486723B1 (en) | 2021-05-27 | 2023-01-09 | 조선대학교산학협력단 | Providing method of diagnostic information on alzheimer's disease using extreme learning machine |
| KR102599756B1 (en) | 2021-07-23 | 2023-11-07 | 조선대학교산학협력단 | Providing method of diagnostic information on alzheimer's disease using structural, diffusion, and functional neuroimaging data and the APOE genotype |
| KR20230023872A (en) | 2021-08-10 | 2023-02-20 | 조선대학교산학협력단 | Providing method of diagnostic information on brain disease using gray-level co-occurrence matrix and pyramid directional filter bank contourlet transform with kernel support vector machine |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170104065A (en) | 2016-03-04 | 2017-09-14 | 한양대학교 산학협력단 | Method and device for analizing blood vessel using blood vessel image |
| KR20170113251A (en) | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | Method and device for automatic inner and outer vessel wall segmentation in intravascular ultrasound images using deep learning |
-
2018
- 2018-04-03 KR KR1020180038731A patent/KR102143940B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170104065A (en) | 2016-03-04 | 2017-09-14 | 한양대학교 산학협력단 | Method and device for analizing blood vessel using blood vessel image |
| KR20170113251A (en) | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | Method and device for automatic inner and outer vessel wall segmentation in intravascular ultrasound images using deep learning |
Non-Patent Citations (2)
| Title |
|---|
| Hyeongsuk Ryu 외 3명 "Retinal Vessel Detection Using Deep Learning: A novel DirectNet Architecture", The Korean Journal of Vision Science Vol.20 No.2 pp.151-159, Accepted June 19, 2018 * |
| Paweł Liskowski 외 1명, "Segmenting Retinal Blood Vessels with Deep Neural Networks", IEEE TRANSACTIONS ON MEDICAL IMAGING, 2015 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220017955A (en) * | 2020-01-29 | 2022-02-14 | 주식회사 아티큐 | A method for determining a object target of the body that minimizes the risk of target deviation, a method for calculating the center coordinates of a final object target, an automatic blood collection device using the same, and a program stored in a computer-readable recording medium |
| KR20210097063A (en) * | 2020-01-29 | 2021-08-06 | 주식회사 아티큐 | Method for Recognizing Object Target of Body |
| KR20220018519A (en) * | 2020-01-29 | 2022-02-15 | 주식회사 아티큐 | A method for determining a object target of the body, an automatic blood collection device using the same, and a program stored in a computer-readable recording medium |
| KR102246966B1 (en) * | 2020-01-29 | 2021-04-30 | 주식회사 아티큐 | Method for Recognizing Object Target of Body |
| KR20210101639A (en) * | 2020-02-10 | 2021-08-19 | 울산대학교 산학협력단 | Apparatus and method for extracting major vessel region based on blood vessel image |
| WO2021162354A1 (en) * | 2020-02-10 | 2021-08-19 | 재단법인 아산사회복지재단 | Method and device for extracting major vessel region on basis of vessel image |
| KR20220037422A (en) * | 2020-02-10 | 2022-03-24 | 주식회사 메디픽셀 | Apparatus and method for extracting major vessel region based on blood vessel image |
| US11610309B2 (en) | 2020-02-10 | 2023-03-21 | Medipixel, Inc. | Method and device for extracting major vessel region on basis of vessel image |
| KR20210146690A (en) * | 2020-05-27 | 2021-12-06 | 주식회사 스파이더코어 | Deep Neural Network based Retinal Image Analysis Method and Apparatus for Detection of Abnormal Kidney Function |
| WO2021241830A1 (en) * | 2020-05-27 | 2021-12-02 | 주식회사 스파이더코어 | Deep neural network-based retinal image analysis method and apparatus for detection of abnormal kidney function |
| KR20220021171A (en) * | 2020-08-13 | 2022-02-22 | 순천향대학교 산학협력단 | Deep Neural Networks(DNN) based eye diseases diagnosis apparatus using fundus images and method thereof |
| KR20220106247A (en) * | 2021-01-21 | 2022-07-29 | 연세대학교 산학협력단 | Method and device for correcting medical image using phantom |
| KR20220164953A (en) * | 2021-06-07 | 2022-12-14 | 주식회사 지오비전 | Retinal blood vessel detection system using deep learning |
| WO2023054994A1 (en) * | 2021-09-29 | 2023-04-06 | 주식회사 온택트헬스 | Method and device for segmenting blood vessel area in medical image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102143940B1 (en) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102143940B1 (en) | Device for vessel detection and retinal edema diagnosis using multi-functional neurlal network and method for detecting and diagnosing same | |
| US11954852B2 (en) | Medical image classification method, model training method, computing device, and storage medium | |
| JP7058373B2 (en) | Lesion detection and positioning methods, devices, devices, and storage media for medical images | |
| JP6539901B2 (en) | PLANT DISEASE DIAGNOSTIC SYSTEM, PLANT DISEASE DIAGNOSTIC METHOD, AND PROGRAM | |
| US20240081618A1 (en) | Endoscopic image processing | |
| US11058209B2 (en) | Beauty counseling information providing device and beauty counseling information providing method | |
| US20190156200A1 (en) | System and method for anomaly detection via a multi-prediction-model architecture | |
| KR102021515B1 (en) | Apparatus for learning brain disease model, apparatus for detecting brain disease using the brain disease model, method for learning brain disease model, and method for detecting brain disease using the brain disease model | |
| US11461599B2 (en) | Classification of images based on convolution neural networks | |
| US11164021B2 (en) | Methods, systems, and media for discriminating and generating translated images | |
| WO2021164640A1 (en) | Retinal image recognition method and apparatus, electronic device, and storage medium | |
| US10133955B2 (en) | Systems and methods for object recognition based on human visual pathway | |
| US11830187B2 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| WO2022166604A1 (en) | Image processing method and apparatus, computer device, storage medium, and program product | |
| US11721023B1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| US20190117167A1 (en) | Image processing apparatus, learning device, image processing method, method of creating classification criterion, learning method, and computer readable recording medium | |
| EP3985574A1 (en) | Method and apparatus with neural network pruning | |
| AU2021393601A1 (en) | Systems and methods for object recognition | |
| KR102100699B1 (en) | Apparatus and method for constructing unified lesion learning model and apparatus and method for diagnosing lesion using the unified lesion learning model | |
| US20210295509A1 (en) | Disease diagnosis system and method using multiple color models and neural network | |
| KR20210155655A (en) | Method and apparatus for identifying object representing abnormal temperatures | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
| EP3933683A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a user's body before removing hair for determining a user-specific trapped hair value | |
| Kye et al. | Skin color classification of Koreans using clustering | |
| CN115115569A (en) | Image correlation detection method and detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |