KR20230101126A - Apparatus, system and method for diagnosing glaucoma - Google Patents
Apparatus, system and method for diagnosing glaucoma Download PDFInfo
- Publication number
- KR20230101126A KR20230101126A KR1020210190957A KR20210190957A KR20230101126A KR 20230101126 A KR20230101126 A KR 20230101126A KR 1020210190957 A KR1020210190957 A KR 1020210190957A KR 20210190957 A KR20210190957 A KR 20210190957A KR 20230101126 A KR20230101126 A KR 20230101126A
- Authority
- KR
- South Korea
- Prior art keywords
- glaucoma
- diagnosis
- clinical information
- model
- subject
- Prior art date
Links
- 208000010412 Glaucoma Diseases 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003745 diagnosis Methods 0.000 claims abstract description 177
- 230000002207 retinal effect Effects 0.000 claims abstract description 58
- 210000004126 nerve fiber Anatomy 0.000 claims abstract description 57
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims abstract description 27
- 230000004410 intraocular pressure Effects 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 230000002123 temporal effect Effects 0.000 claims description 16
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012014 optical coherence tomography Methods 0.000 description 8
- 238000013480 data collection Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010047555 Visual field defect Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004406 elevated intraocular pressure Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/16—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring intraocular pressure, e.g. tonometers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
녹내장을 진단하는 기술과 관련된다.It is related to the technology for diagnosing glaucoma.
녹내장은 전 세계적으로 비가역적 실명의 주요 원인이며 시신경에 점진적으로 영향을 미친다. 현재는 안압 상승 감지, 유두함몰비(cup-to-disc ratio, CDR)를 계산한 시신경유두(optic disc) 손상 평가, 감소된 망막신경섬유층 (decreased retinal nerve fiber layer) 두께 확인 및 특징적인 시야 결함 감지와 같이 4가지 검사를 통해 진단하고 있다. 광간섭단층촬영(optical coherence tomography, OCT) 및 시야 검사(visual field test)와 같은 구조적이고 기능적인 임상적 모달리티는 녹내장 진단에 사용할 수 있는 지표 또는 값을 제공한다. 그러나, 이러한 기존의 녹내장 진단 방법은 오진 가능성이 있으므로 오진을 방지하기 위한 기술 개발이 필요하다.Glaucoma is the leading cause of irreversible blindness worldwide and progressively affects the optic nerve. Currently, it is possible to detect elevated intraocular pressure, evaluate optic disc damage by calculating cup-to-disc ratio (CDR), identify reduced retinal nerve fiber layer thickness, and characterize visual field defects. It is diagnosed through four tests, such as detection. Structural and functional clinical modalities such as optical coherence tomography (OCT) and visual field tests provide indicators or values that can be used for glaucoma diagnosis. However, since these existing glaucoma diagnosis methods have a possibility of misdiagnosis, it is necessary to develop technology to prevent misdiagnosis.
기계학습을 기반으로 녹내장을 진단하는 장치, 시스템 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a device, system, and method for diagnosing glaucoma based on machine learning.
일 양상에 따른 녹내장 진단 장치는, 피험자의 임상 정보를 입력받는 데이터 입력부; 및 기계학습 기반의 녹내장 진단 모델을 이용하여 상기 임상 정보로부터 상기 피험자에 대해 녹내장 여부를 진단하고 진단 결과의 이유를 설명하기 위한 그래픽 차트를 생성하는 진단부; 를 포함하고, 상기 임상 정보는 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 안압 및 시야검사를 통해 획득되는 패턴표준편차를 포함할 수 있다.An apparatus for diagnosing glaucoma according to an aspect includes: a data input unit for receiving clinical information of a subject; and a diagnostic unit diagnosing whether the test subject has glaucoma from the clinical information using a machine learning-based glaucoma diagnosis model and generating a graphic chart to explain the reason for the diagnosis result; The clinical information may include the upper retinal nerve fiber layer thickness, the retinal nerve fiber layer lower thickness, the retinal nerve fiber layer temporal thickness, and the pattern standard deviation obtained through intraocular pressure and visual field tests.
상기 진단부는, 상기 녹내장 진단 모델의 생성에 이용된 임상 정보의 분포 내에서 상기 피험자의 임상 정보의 값의 위치를 표현하거나 상기 진단 과정에서의 각 임상 정보의 역할을 표현하는 그래픽 차트를 생성할 수 있다.The diagnosis unit may generate a graphic chart representing a position of a value of clinical information of the subject within the distribution of clinical information used to generate the glaucoma diagnosis model or expressing a role of each clinical information in the diagnosis process. there is.
상기 그래픽 차트는 게이지형 차트, 방사형 차트 및 SHAP(Shapley Additive Explanations) 차트를 포함할 수 있다.The graphic chart may include a gauge chart, a radial chart, and a Shapley Additive Explanations (SHAP) chart.
상기 녹내장 진단 모델은 XGboost을 이용하여 생성될 수 있다.The glaucoma diagnosis model may be generated using XGboost.
상기 녹내장 진단 장치는, 상기 피험자에 대한 최종 진단 결과를 피드백으로 입력받는 피드백 입력부; 및 상기 피드백으로 입력받은 최종 진단 결과와 상기 진단부의 진단 결과가 상이한 경우, 상기 최종 진단 결과와 상기 임상 정보를 기반으로 상기 녹내장 진단 모델을 갱신하는 모델 갱신부; 를 더 포함할 수 있다.The apparatus for diagnosing glaucoma may include: a feedback input unit receiving a final diagnosis result for the test subject as feedback; and a model updater configured to update the glaucoma diagnosis model based on the final diagnosis result and the clinical information when a final diagnosis result input as the feedback is different from a diagnosis result of the diagnosis unit; may further include.
다른 양상에 따른 녹내장 진단 방법은, 피험자의 임상 정보를 입력받는 단계; 기계학습 기반의 녹내장 진단 모델을 이용하여 상기 임상 정보로부터 상기 피험자에 대해 녹내장 여부를 진단하는 단계; 및 진단 결과의 이유를 설명하기 위한 그래픽 차트를 생성하는 단계; 를 포함하고, 상기 임상 정보는 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 안압 및 시야검사를 통해 획득되는 패턴표준편차를 포함할 수 있다.A method for diagnosing glaucoma according to another aspect includes receiving clinical information of a subject; diagnosing whether or not the subject has glaucoma from the clinical information using a machine learning-based glaucoma diagnosis model; and generating a graphic chart to explain the reason for the diagnosis result. The clinical information may include the upper retinal nerve fiber layer thickness, the retinal nerve fiber layer lower thickness, the retinal nerve fiber layer temporal thickness, and the pattern standard deviation obtained through intraocular pressure and visual field tests.
상기 그래픽 차트를 생성하는 단계는, 상기 녹내장 진단 모델의 생성에 이용된 임상 정보의 분포 내에서 상기 피험자의 임상 정보의 값의 위치를 표현하거나 상기 진단 과정에서의 각 임상 정보의 역할을 표현하는 그래픽 차트를 생성할 수 있다.The generating of the graphic chart may include a graphic representing a position of a value of clinical information of the subject within the distribution of clinical information used to generate the glaucoma diagnosis model or a role of each clinical information in the diagnosis process. You can create charts.
상기 그래픽 차트는 게이지형 차트, 방사형 차트 및 SHAP(Shapley Additive Explanations) 차트를 포함할 수 있다.The graphic chart may include a gauge chart, a radial chart, and a Shapley Additive Explanations (SHAP) chart.
상기 녹내장 진단 모델은 XGboost을 이용하여 생성될 수 있다.The glaucoma diagnosis model may be generated using XGboost.
상기 녹내장 진단 방법은, 상기 피험자에 대한 최종 진단 결과를 피드백으로 입력받는 단계; 및 상기 피드백으로 입력받은 최종 진단 결과와 상기 녹내장 진단 모델을 이용하여 진단한 결과가 상이한 경우, 상기 최종 진단 결과와 상기 임상 정보를 기반으로 상기 녹내장 진단 모델을 갱신하는 단계; 를 더 포함할 수 있다.The method for diagnosing glaucoma may include receiving a final diagnosis result of the test subject as feedback; and updating the glaucoma diagnosis model based on the final diagnosis result and the clinical information when a final diagnosis result received as the feedback and a diagnosis result using the glaucoma diagnosis model are different; may further include.
또 다른 양상에 따른 녹내장 진단 시스템은, 다수 환자들에 대한 임상 정보와 그에 대응하는 녹내장 진단 결과를 학습 데이터로 수집하고, 상기 수집된 학습 데이터를 기반으로 기계학습 모델을 학습시켜 녹내장 진단 모델을 생성하는 녹내장 진단 모델 생성 장치; 및 피험자의 임상 정보를 입력받고, 상기 녹내장 진단 모델을 이용하여 상기 피험자의 임상 정보로부터 상기 피험자에 대해 녹내장 여부를 진단하고 진단 결과의 이유를 설명하기 위한 그래픽 차트를 생성하는 녹내장 진단 장치; 를 포함하고, 상기 임상 정보는 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 안압 및 시야검사를 통해 획득되는 패턴표준편차를 포함할 수 있다.A glaucoma diagnosis system according to another aspect collects clinical information about a plurality of patients and corresponding glaucoma diagnosis results as learning data, and generates a glaucoma diagnosis model by learning a machine learning model based on the collected learning data. a glaucoma diagnostic model generating device; and a glaucoma diagnosis device that receives clinical information of the subject, diagnoses whether or not the subject has glaucoma from the clinical information of the subject using the glaucoma diagnosis model, and generates a graphic chart to explain the reason for the diagnosis result; The clinical information may include the upper retinal nerve fiber layer thickness, the retinal nerve fiber layer lower thickness, the retinal nerve fiber layer temporal thickness, and the pattern standard deviation obtained through intraocular pressure and visual field tests.
기계학습 기반으로 녹내장 진단 모델을 생성하여 이용함으로써, 용이하고 정확하게 녹내장을 진단할 수 있다.By generating and using a glaucoma diagnosis model based on machine learning, it is possible to diagnose glaucoma easily and accurately.
또한, 진단 결과의 이유를 설명하기 위해 그래픽 차트를 생성하여 제공함으로써, 임상의는 진단 결과를 이해할 수 있도록 도움을 줄 수 있다.In addition, by generating and providing a graphic chart to explain the reason for the diagnosis result, it is possible to help the clinician understand the diagnosis result.
도 1은 일 실시예에 따른 녹내장 진단 시스템을 도시한 도면이다.
도 2는 일 실시예에 따른 녹내장 진단 모델 생성 장치를 도시한 도면이다.
도 3은 일 실시예에 따른 녹내장 진단 장치를 도시한 도면이다.
도 4는 일 실시예에 따른 게이지형 차트를 도시한 도면이다.
도 5는 일 실시예에 따른 방사형 차트를 도시한 도면이다.
도 6은 일 실시예에 따른 SHAP 차트를 도시한 도면이다.
도 7은 일 실시예에 따른 녹내장 진단 장치를 도시한 도면이다.
도 8은 일 실시예에 따른 녹내장 진단 모델 생성 방법을 도시한 도면이다.
도 9는 일 실시예에 따른 녹내장 진단 방법을 도시한 도면이다.
도 10은 일 실시예에 따른 녹내장 진단 방법을 도시한 도면이다.1 is a diagram illustrating a system for diagnosing glaucoma according to an exemplary embodiment.
2 is a diagram illustrating an apparatus for generating a glaucoma diagnostic model according to an exemplary embodiment.
3 is a diagram illustrating an apparatus for diagnosing glaucoma according to an exemplary embodiment.
4 is a diagram illustrating a gauge type chart according to an exemplary embodiment.
5 is a diagram illustrating a radial chart according to an exemplary embodiment.
6 is a diagram illustrating a SHAP chart according to an embodiment.
7 is a diagram illustrating an apparatus for diagnosing glaucoma according to an exemplary embodiment.
8 is a diagram illustrating a method for generating a glaucoma diagnosis model according to an embodiment.
9 is a diagram illustrating a method for diagnosing glaucoma according to an exemplary embodiment.
10 is a diagram illustrating a method for diagnosing glaucoma according to an exemplary embodiment.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In adding reference numerals to components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.
한편, 각 단계들에 있어, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 수행될 수 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Meanwhile, in each step, each step may occur in a different order from the specified order unless a specific order is clearly described in context. That is, each step may be performed in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하고, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. Terms are only used to distinguish one component from another. Singular expressions include plural expressions unless the context clearly dictates otherwise, and terms such as 'include' or 'have' refer to features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. It is intended to specify that something exists, but it should be understood that it does not preclude the possibility of the existence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
또한, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주 기능별로 구분한 것에 불과하다. 즉, 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있다. 각 구성부는 하드웨어(예컨대, 메모리, 프로세서 등) 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, the division of components in the present specification is merely a classification for each main function in charge of each component. That is, two or more components may be combined into one component, or one component may be divided into two or more for each more subdivided function. In addition, each component may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component are dedicated to other components. may be performed. Each component may be implemented in hardware (eg, memory, processor, etc.) or software, or a combination of hardware and software.
도 1은 일 실시예에 따른 녹내장 진단 시스템을 도시한 도면이고, 도 2는 일 실시예에 따른 녹내장 진단 모델 생성 장치를 도시한 도면이고, 도 3은 일 실시예에 따른 녹내장 진단 장치를 도시한 도면이다.1 is a diagram illustrating a glaucoma diagnosis system according to an embodiment, FIG. 2 is a diagram illustrating a glaucoma diagnosis model generation device according to an embodiment, and FIG. 3 illustrates a glaucoma diagnosis device according to an embodiment. it is a drawing
도 1을 참조하면, 일 실시예에 따른 녹내장 진단 시스템(100)은 녹내장 진단 모델 생성 장치(110) 및 녹내장 진단 장치(120)를 포함할 수 있다.Referring to FIG. 1 , a
녹내장 진단 모델 생성 장치(110)는 기계학습 알고리즘을 기반으로 녹내장 진단 모델을 생성할 수 있다. 이때, 기계학습 알고리즘은 트리 기반 기계학습 알고리즘(예컨대, 랜덤포레스트, XGboost(Extreme Gradient Boost), ADAboost(Adaptive Boost), Light GBM(Light Gradient Boost Machine), C5.0, ID3, C4.5, CART 등), 딥러닝 알고리즘, K-근접 이웃 알고리즘, 나이브 베이즈 분류(Naㅿve Bayes Classification) 알고리즘, 신경망(Neural Networks) 알고리즘, 서포트 벡터 머신(Support Vector Machines) 등일 수 있으나, 이에 한정되는 것은 아니다.The glaucoma diagnosis
녹내장 진단 모델 생성 장치(110)는 도 2에 도시된 바와 같이, 학습 데이터 수집부(210) 및 모델 생성부(220)를 포함할 수 있다.As shown in FIG. 2 , the glaucoma diagnosis
학습 데이터 수집부(210)는 녹내장 진단 모델 생성에 이용될 학습 데이터를 수집할 수 있다.The learning
보다 구체적으로, 학습 데이터 수집부(210)는 외부 장치로부터 다수의 환자들에 대한 임상 정보(clinical information)와, 그에 대응하는 녹내장 진단 결과를 학습 데이터로서 수집할 수 있다. 여기서 임상 정보는 시야 검사(visual field test), 망막신경섬유층(retinal nerve fiber layer, RNFL) 광 간섭 단층 촬영(optical coherence tomography, OCT) 검사, 안압 검사 등을 통해 획득된 정보로서, 패턴표준편차(pattern standard deviation), 망막신경섬유층(retinal nerve fiber layer, RNFL) 상측(superior) 두께, 망막신경섬유층 하측(inferior) 두께, 망막신경섬유층 이측(temporal) 두께, 및 안압(intraocular pressure) 등을 포함할 수 있다. 여기서, 패턴표준편차는 시야 검사를 통해 획득될 수 있고, 각각의 검사점이 인접한 검사점들에 비하여 얼마나 감도차이가 있는지 보여주는 지표일 수 있다. 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께 및 망막신경섬유층 이측 두께는 망막신경섬유층 광 간섭 단층 촬영 검사를 통해 획득될 수 있다.More specifically, the learning
이때, 학습 데이터 수집부(210)는 외부 장치로부터 학습 데이터를 획득하기 위하여 다양한 유무선 통신 기술을 이용할 수 있다. 외부 장치는 전자 건강 기록(예컨대, EHR(electronic health record) 또는 EMR(electronic medical record))을 저장하는 장치 또는 서버일 수 있다.At this time, the learning
학습 데이터 수집부(210)는 수집된 임상 정보에 결측치가 존재하면, 결측치를 처리할 수 있다. 일 실시예에 따르면, 학습 데이터 수집부(210)는 결측치를 삭제하는 방법, 결측치를 대치하는 방법 및 결측치가 없는 변수들로 구성된 데이터 세트로 결측치를 예측하는 방법 등 다양한 방법을 이용하여 결측치를 처리할 수 있다.If a missing value exists in the collected clinical information, the learning
모델 생성부(220)는 수집된 학습 데이터를 기반으로 녹내장 진단 모델을 생성할 수 있다.The
예를 들어, 모델 생성부(220)는 다수의 환자들에 대한 패턴표준편차, 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께 및 안압과, 이들에 대응하는 녹내장 진단 결과를 기반으로 기계학습 모델을 학습시켜 녹내장 진단 모델을 생성할 수 있다. 이때, 기계학습 모델은 트리 기반 기계학습 모델(예컨대, 랜덤포레스트, XGboost, ADAboost, Light GBM, C5.0, ID3, C4.5, CART 등), 딥러닝, K-근접 이웃, 나이브 베이즈 분류, 신경망, 서포트 벡터 머신 등을 포함할 수 있다. 보다 바람직하게 기계학습 모델은 트리 기반 기계학습 모델일 수 있으며, 예를 들어, XGboost일 수 있다.For example, the
한편, 일 실시예에 따르면, 모델 생성부(220)는 기계학습 모델의 하이퍼 파라미터를 최적화할 수 있다. 예컨대, 모델 생성부(220)는 베이지안 최적화(Bayesizan Optimization) 알고리즘을 통해 기계학습 모델의 하이퍼 파라미터를 최적화할 수 있다.Meanwhile, according to an embodiment, the
녹내장 진단 장치(120)는 녹내장 진단 모델 생성 장치(110)에서 생성된 녹내장 진단 모델을 이용하여 피험자에 대해 녹내장 여부를 진단할 수 있다.The
녹내장 진단 장치(120)는 도 3에 도시된 바와 같이, 데이터 획득부(310), 저장부(320) 및 위험도 산출부(330)를 포함할 수 있다.As shown in FIG. 3 , the
데이터 입력부(310)는 사용자로부터 녹내장 진단에 이용되는 피험자의 임상 정보를 입력받을 수 있다. 임상 정보는 전술한 바와 같이, 패턴표준편차, 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께 및 안압 등을 포함할 수 있다.The
일 실시예에 따르면, 데이터 입력부(310)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog switch), H/W 버튼 등을 포함할 수 있다. 특히, 터치 패드가 디스플레이와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.According to an embodiment, the
저장부(320)는 녹내장 진단 모델 생성 장치(110)에서 생성된 녹내장 진단 모델을 저장할 수 있다. 저장부(320)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 등 적어도 하나의 타입의 저장매체를 포함할 수 있다.The
진단부(330)는 데이터 입력부(310)를 통해 입력된 피험자의 임상 정보와 저장부(320)에 저장된 녹내장 진단 모델을 이용하여 피험자에 대해 녹내장 여부를 진단할 수 있다. 보다 구체적으로 진단부(330)는 피험자의 임상 정보를 녹내장 진단 모델에 입력하여 녹내장 여부를 진단할 수 있다.The
진단부(330)는 진단 결과의 이유를 설명하기 위해 그래픽 차트를 생성하여 출력 수단을 통해 출력할 수 있다. 이때, 그래픽 차트는 학습 데이터의 임상 정보 분포에서 피험자의 임상 정보의 값의 위치를 표현하거나 및/또는 녹내장 진단 모델의 진단 과정에서의 각 임상 정보의 역할을 표현할 수 있다. 예를 들어, 그래픽 차트는 게이지형 차트, 방사형 차트 및 SHAP(Shapley Additive Explanations) 차트 등을 포함할 수 있다.The
도 4는 일 실시예에 따른 게이지형 차트를 도시한 도면이다. 구체적으로 도 3은 임상 정보 중 망막신경섬유층 상측 두께(RNFL_S)를 도시한 게이지형 차트이다.4 is a diagram illustrating a gauge type chart according to an exemplary embodiment. Specifically, FIG. 3 is a gauge chart showing the upper retinal nerve fiber layer thickness (RNFL_S) among clinical information.
도 4를 참조하면, 다이얼에서 0과 170은 녹내장 진단 모델 생성에 사용된 학습 데이터의 분포에서 RNFL_S의 최소값과 최대값을 나타내고, 64와 155는 학습 데이터의 분포에서 녹내장 환자와 정상인 간의 중첩 범위의 경계값을 나타낼 수 있다. 게이지형 차트의 하단 중앙의 값 86은 피험자에 대한 RNFL_S 값을 나타내며 다이얼 위의 바늘 각도를 결정할 수 있다. 다이얼에서 0 ~ 64의 범위는 녹내장 환자의 범위를 나타내고, 155 ~ 170의 범위는 정상인의 범위를 나타내고, 64 ~ 155의 범위는 녹내장 환자와 정상인의 중첩 범위를 나타낼 수 있다.Referring to FIG. 4, 0 and 170 on the dial represent the minimum and maximum values of RNFL_S in the distribution of training data used to generate the glaucoma diagnosis model, and 64 and 155 represent the overlapping range between glaucoma patients and normal subjects in the distribution of learning data. boundary values can be indicated. The
일 실시예에 따르면 녹내장 진단 장치(120)는 각 임상 정보를 게이지형 차트로 표현함으로써, 피험자의 각 임상 정보의 값이 어느 범위에 속해있는지를 직관적으로 확인하고 녹내장 진단 모델의 진단 결과를 이해할 수 있도록 사용자인 임상의에게 도움을 줄 수 있다.According to an embodiment, the
도 5는 일 실시예에 따른 방사형 차트를 도시한 도면이다. 도 5에서 좌측 차트는 녹내장 환자에 대한 것이며, 우측 차트는 정상인에 대한 것일 수 있다.5 is a diagram illustrating a radial chart according to an exemplary embodiment. In FIG. 5 , a chart on the left may be for a glaucoma patient, and a chart on the right may be for a normal person.
방사형 차트는 도 5에 도시된 바와 같이, 동일한 지점에서 시작하여 축으로 표현되는 3개 이상의 양적 변수의 2차원 차트 형태로 다변수 데이터를 시각화한 차트이다.As shown in FIG. 5, a radar chart is a chart visualizing multivariate data in the form of a two-dimensional chart of three or more quantitative variables represented by axes starting from the same point.
도 5의 좌측 차트(녹내장 환자)와 우측 차트(정상인)를 비교하면, 녹내장 환자는 정상인보다 패턴표준편차(PSD)와 안압(IOP)이 더 높고, 망막신경섬유층 상측 두께(RNFL_S), 망막신경섬유층 하측 두께(RNFL_I) 및 망막신경섬유층 이측 두께(RNFL_T)가 더 낮다는 것을 알 수 있다.Comparing the left chart (glaucoma patients) and the right chart (normal people) of FIG. 5, the glaucoma patients had higher pattern standard deviation (PSD) and intraocular pressure (IOP) than normal people, and the upper retinal nerve fiber layer thickness (RNFL_S) and retinal nerve It can be seen that the lower fiber layer thickness (RNFL_I) and the retinal nerve fiber layer temporal thickness (RNFL_T) are lower.
일 실시예에 따르면 녹내장 진단 장치(120)는 피험자의 5가지 임상 정보를 방사형 차트로 표현함으로써, 녹내장 여부에 대한 진단을 내리고 녹내장 진단 모델의 진단 결과를 이해할 수 있도록 사용자인 임상의에게 도움을 줄 수 있다.According to an embodiment, the
도 6은 일 실시예에 따른 SHAP 차트를 도시한 도면이다.6 is a diagram illustrating a SHAP chart according to an embodiment.
도 6의 SHAP 차트는 샤플리 값(Shapley value)을 기반으로 하며, 세로축은 피험자에 대한 각 임상 정보와 해당 값을 나타내며, 가로축은 녹내장에 대한 기여도를 나타낸다. 기여도가 양수이라는 것은 해당 임상 정보가 녹내장 진단에 기여한다는 것을 의미하며, 기여도가 음수라는 것은 해당 임상 정보가 정상인 진단에 기여한다는 것을 의미할 수 있다. 기여도를 나타내는 막대가 길수록, 즉 기여도의 절대값이 클수록 더 강력하게 기여한다는 것을 의미할 수 있다.The SHAP chart of FIG. 6 is based on the Shapley value, the vertical axis represents each clinical information for the subject and the corresponding value, and the horizontal axis represents the contribution to glaucoma. A positive contribution means that the corresponding clinical information contributes to the diagnosis of glaucoma, and a negative contribution means that the corresponding clinical information contributes to the diagnosis of a normal person. It may mean that the longer the bar representing the contribution, that is, the greater the absolute value of the contribution, the stronger the contribution.
SHAP 차트의 상부에는 진단 결과와 확실성 정도가 표시될 수 있다. 도 6의 예의 경우 피험자에 대한 진단 결과는 녹내장이고, 확실성의 정도는 0.96(96%)이다.At the top of the SHAP chart, the diagnosis result and degree of certainty can be displayed. In the case of the example of FIG. 6 , the diagnosis result for the subject is glaucoma, and the degree of certainty is 0.96 (96%).
도 6을 참조하면, 패턴표준편차(PSD) 값 10.51은 망막신경섬유층 이측 두께(RNFL_T) 값 47과 마찬가지로 녹내장 진단에 강력하게 기여하며, 망막신경섬유층 하측 두께(RNFL_I) 값 119는 정상인 진단에 기여하고, 망막신경섬유층 상측 두께 (RNFL_S) 값 86과 안압(IOP) 값 18은 녹내장 진단에 약하게 기여한다는 것을 알 수 있다. Referring to FIG. 6, the pattern standard deviation (PSD) value of 10.51 strongly contributes to the diagnosis of glaucoma, as does the retinal nerve fiber layer temporal thickness (RNFL_T) value of 47, and the retinal nerve fiber layer inferior thickness (RNFL_I) value of 119 contributes to the diagnosis of normal individuals. It can be seen that the retinal nerve fiber layer superior thickness (RNFL_S) value of 86 and intraocular pressure (IOP) value of 18 contribute weakly to the diagnosis of glaucoma.
일 실시예에 따르면 녹내장 진단 장치(120)는 진단에 대한 각 임상 정보의 기여도를 SHAP 차트로 표현함으로써, 녹내장 진단 모델이 피험자를 녹내장 환자로 진단한 이유를 사용자인 임상의에게 보여줄 수 있다.According to an embodiment, the
한편, SHAP 차트를 생성하기 위해 진단부(330)는 각 임상 정보의 샤플리 값을 산출할 수 있다.Meanwhile, in order to generate a SHAP chart, the
도 7은 일 실시예에 따른 녹내장 진단 장치를 도시한 도면이다.7 is a diagram illustrating an apparatus for diagnosing glaucoma according to an exemplary embodiment.
도 7의 녹내장 진단 장치(700)는 도 1의 녹내장 진단 장치(12)의 다른 실시예일 수 있다.The
도 7을 참조하면, 녹내장 진단 장치(700)는 데이터 입력부(310), 저장부(320), 진단부(330), 피드백 입력부(710), 모델 갱싱부(720), 통신부(730) 및 추력부(740)를 포함할 수 있다. 여기서 데이터 입력부(310), 저장부(320) 및 진단부(330)는 도 3을 참조하여 전술한 바와 같으므로 그 상세한 설명은 생략하기로 한다.Referring to FIG. 7 , the
피드백 입력부(710)는 임상의의 피험자에 대한 최종 진단 결과를 피드백으로 입력받을 수 있다. 일 실시예에 따르면, 피드백 입력부(710)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog switch), H/W 버튼 등을 포함할 수 있다.The
모델 갱신부(720)는 진단부(330)의 진단 결과와 피드백 입력부(710)로부터 입력받은 최종 진단 결과가 상이한 경우, 데이터 입력부(310)를 통해 입력받은 피험자의 임상 정보와, 피드백 입력부(710)를 통해 입력받은 최종 진단 결과를 기반으로 기 저장된 녹내장 진단 모델을 갱신할 수 있다. 예컨대, 모델 갱신부(720)는 데이터 입력부(310)를 통해 입력받은 피험자의 임상 정보와, 피드백 입력부(710)를 통해 입력받은 최종 진단 결과를 새로운 학습 데이터로 하여, 기 저장된 녹내장 진단 모델을 추가 학습시킬 수 있다. 이에 따라 녹내장 진단 모델의 진단 정확도를 높일 수 있다.When the diagnosis result of the
통신부(730)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(730)는 녹내장 진단 장치(700)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 외부 장치로 전송하거나, 외부 장치로부터 녹내장 진단에 도움이 되는 다양한 데이터를 수신할 수 있다.The
이때, 외부 장치는 녹내장 진단 모델 생성 장치(110)일 수도 있으며, 녹내장 진단 장치(700)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 사용하는 의료 장비, 결과물을 출력하기 위한 프린트 또는 디스플레이 장치일 수도 있다. 이외에도 외부 장치는 디지털 TV, 데스크탑 컴퓨터, 휴대폰, 스마트 폰, 태블릿, 노트북, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 장치, MP3 플레이어, 디지털 카메라, 웨어러블 디바이스 등 일 수도 있으나, 이에 제한되지 않는다.At this time, the external device may be the glaucoma diagnosis
통신부(730)는 유무선 통신 기술을 이용하여 외부 장치와 통신할 수 있다. 이때 무선 통신 기술은 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 포함할 수 있으나 이는 일 예에 불과할 뿐이며, 이에 한정되는 것은 아니다.The
출력부(740)는 녹내장 진단 장치(700)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 출력할 수 있다. 예컨대, 출력부(740)는 데이터 입력부(310) 및 피드백 입력부(710)를 통해 입력된 데이터, 진단부(740)의 진단결과 및 진단부(740)에서 생성된 그래픽 차트 등을 출력할 수 있다.The
일 실시예에 따르면, 출력부(740)는 녹내장 진단 장치(700)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 청각적 방법, 시각적 방법 및 촉각적 방법 중 적어도 하나의 방법으로 출력할 수 있다. 이를 위해 출력부(740)는 디스플레이, 스피커, 진동기 등을 포함할 수 있다.According to an embodiment, the
한편, 도 7는 데이터 입력부(310)와 피드백 입력부(710)를 별개의 구성부로 도시하였으나 이에 한정되는 것은 아니며, 데이터 입력부(310) 및 피드백 입력부(710)가 하나의 구성부로 통합될 수도 있다.Meanwhile, although FIG. 7 shows the
또한, 실시예에 따라서는 모델 갱신부(720)의 기능을 녹내장 진단 모델 생성 장치(110)가 수행할 수도 있다.Also, depending on embodiments, the function of the
도 8은 일 실시예에 따른 녹내장 진단 모델 생성 방법을 도시한 도면이다.8 is a diagram illustrating a method for generating a glaucoma diagnosis model according to an embodiment.
도 8의 녹내장 진단 모델 생성 방법은 도 2의 녹내장 진단 모델 생성 장치(110)에 의해 수행될 수 있다.The glaucoma diagnostic model generating method of FIG. 8 may be performed by the glaucoma diagnostic
도 8을 참조하면, 녹내장 진단 모델 생성 장치는 녹내장 진단 모델 생성에 이용될 학습 데이터를 수집할 수 있다(810). 예를 들어, 녹내장 진단 모델 생성 장치는 외부 장치로부터 다수의 환자들에 대한 임상 정보(clinical information)와, 그에 대응하는 녹내장 진단 결과를 학습 데이터로서 수집할 수 있다. 여기서 임상 정보는 시야 검사(visual field test), 망막신경섬유층(retinal nerve fiber layer, RNFL) 광 간섭 단층 촬영(optical coherence tomography, OCT) 검사, 안압 검사 등을 통해 획득된 정보로서, 패턴표준편차(pattern standard deviation), 망막신경섬유층(retinal nerve fiber layer, RNFL) 상측(superior) 두께, 망막신경섬유층 하측(inferior) 두께, 망막신경섬유층 이측(temporal) 두께, 및 안압(intraocular pressure) 등을 포함할 수 있다.Referring to FIG. 8 , the apparatus for generating a glaucoma diagnostic model may collect learning data to be used for generating a glaucoma diagnostic model (810). For example, the glaucoma diagnosis model generation device may collect clinical information on a plurality of patients and a corresponding glaucoma diagnosis result as learning data from an external device. Here, the clinical information is information obtained through a visual field test, a retinal nerve fiber layer (RNFL) optical coherence tomography (OCT) test, an intraocular pressure test, etc., and the pattern standard deviation ( pattern standard deviation), retinal nerve fiber layer (RNFL) superior thickness, retinal nerve fiber layer inferior thickness, retinal nerve fiber layer temporal thickness, and intraocular pressure. can
녹내장 진단 모델 생성 장치는 수집된 학습 데이터를 기반으로 기계학습 모델을 학습시켜 녹내장 진단 모델을 생성할 수 있다(820). 이때, 기계학습 모델은 트리 기반 기계학습 모델(예컨대, 랜덤포레스트, XGboost, ADAboost, Light GBM, C5.0, ID3, C4.5, CART 등), 딥러닝, K-근접 이웃, 나이브 베이즈 분류, 신경망, 서포트 벡터 머신 등을 포함할 수 있다. 보다 바람직하게 기계학습 모델은 트리 기반 기계학습 모델일 수 있으며, 예를 들어, XGboost일 수 있다.The glaucoma diagnosis model generating apparatus may generate a glaucoma diagnosis model by learning a machine learning model based on the collected learning data (820). At this time, the machine learning model is a tree-based machine learning model (e.g., random forest, XGboost, ADAboost, Light GBM, C5.0, ID3, C4.5, CART, etc.), deep learning, K-nearest neighbors, and Naive Bayes classification , neural networks, support vector machines, and the like. More preferably, the machine learning model may be a tree-based machine learning model, for example, XGboost.
한편, 일 실시예에 따르면, 녹내장 진단 모델 생성 장치는 녹내장 진단 모델 생성 과정(820)에서 기계학습 모델의 하이퍼 파라미터를 최적화할 수 있다. 예컨대, 녹내장 진단 모델 생성 장치는 베이지안 최적화(Bayesizan Optimization) 알고리즘을 통해 기계학습 모델의 하이퍼 파라미터를 최적화할 수 있다.Meanwhile, according to an embodiment, the glaucoma diagnostic model generating apparatus may optimize the hyperparameters of the machine learning model in the glaucoma diagnostic
일 실시예에 따르면 녹내장 진단 모델 생성 장치는 수집된 임상 정보에 결측치가 존재하면, 결측치를 처리할 수 있다. 예컨대, 녹내장 진단 모델 생성 장치는 결측치를 삭제하는 방법, 결측치를 대치하는 방법 및 결측치가 없는 변수들로 구성된 데이터 세트로 결측치를 예측하는 방법 등 다양한 방법을 이용하여 결측치를 처리할 수 있다.According to an embodiment, the apparatus for generating a diagnostic model for glaucoma may process a missing value if a missing value exists in the collected clinical information. For example, the apparatus for generating a diagnostic model for glaucoma may process missing values using various methods, such as a method of deleting missing values, a method of replacing missing values, and a method of predicting missing values with a data set composed of variables without missing values.
도 9는 일 실시예에 따른 녹내장 진단 방법을 도시한 도면이다.9 is a diagram illustrating a method for diagnosing glaucoma according to an exemplary embodiment.
도 9의 녹내장 진단 방법은 도 3의 녹내장 진단 장치에 의해 수행될 수 있다.The glaucoma diagnosis method of FIG. 9 may be performed by the glaucoma diagnosis apparatus of FIG. 3 .
도 9를 참조하면, 녹내장 진단 장치는 사용자로부터 녹내장 진단에 이용되는 피험자의 임상 정보를 입력받을 수 있다(910). 임상 정보는 전술한 바와 같이, 패턴표준편차, 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께 및 안압 등을 포함할 수 있다.Referring to FIG. 9 , the apparatus for diagnosing glaucoma may receive clinical information of a subject to be used for glaucoma diagnosis from a user (910). As described above, the clinical information may include pattern standard deviation, upper retinal nerve fiber layer thickness, lower retinal nerve fiber layer thickness, retinal nerve fiber layer temporal thickness, intraocular pressure, and the like.
녹내장 진단 장치는 입력된 피험자의 임상 정보와 기 저장된 녹내장 진단 모델을 이용하여 피험자에 대해 녹내장 여부를 진단할 수 있다(820). 보다 구체적으로 녹내장 진단 장치는 피험자의 임상 정보를 녹내장 진단 모델에 입력하여 녹내장 여부를 진단할 수 있다.The glaucoma diagnosis apparatus may diagnose whether or not the subject has glaucoma by using the input clinical information of the subject and the pre-stored glaucoma diagnosis model (820). More specifically, the glaucoma diagnosis apparatus may diagnose glaucoma by inputting clinical information of a test subject into a glaucoma diagnosis model.
녹내장 진단 장치는 진단 결과의 이유를 설명하기 위해 그래픽 차트를 생성하여 출력 수단을 통해 출력할 수 있다(820). 이때, 그래픽 차트는 학습 데이터의 임상 정보 분포에서 피험자의 임상 정보의 값의 위치를 표현하거나 및/또는 녹내장 진단 모델의 진단 과정에서의 각 임상 정보의 역할을 표현할 수 있다. 예를 들어, 그래픽 차트는 게이지형 차트, 방사형 차트 및 SHAP(Shapley Additive Explanations) 차트 등을 포함할 수 있다.The apparatus for diagnosing glaucoma may generate and output a graphic chart through an output means to explain the reason for the diagnosis result (820). In this case, the graphic chart may represent the position of the value of the subject's clinical information in the clinical information distribution of the learning data and/or the role of each clinical information in the diagnosis process of the glaucoma diagnosis model. For example, the graphic chart may include a gauge chart, a radial chart, a Shapley Additive Explanations (SHAP) chart, and the like.
도 10은 일 실시예에 따른 녹내장 진단 방법을 도시한 도면이다.10 is a diagram illustrating a method for diagnosing glaucoma according to an exemplary embodiment.
도 10의 녹내장 진단 방법은 도 7의 녹내장 진단 장치에 의해 수행될 수 있다.The glaucoma diagnosis method of FIG. 10 may be performed by the glaucoma diagnosis apparatus of FIG. 7 .
도 10을 참조하면, 녹내장 진단 장치는 사용자로부터 녹내장 진단에 이용되는 피험자의 임상 정보를 입력받을 수 있다(1010).Referring to FIG. 10 , the apparatus for diagnosing glaucoma may receive clinical information of a subject to be used for glaucoma diagnosis from a user (1010).
녹내장 진단 장치는 입력된 피험자의 임상 정보와 기 저장된 녹내장 진단 모델을 이용하여 피험자에 대해 녹내장 여부를 진단할 수 있다(1020).The glaucoma diagnosis apparatus may diagnose whether or not the subject has glaucoma by using the input clinical information of the subject and the pre-stored glaucoma diagnosis model (1020).
녹내장 진단 장치는 진단 결과의 이유를 설명하기 위해 그래픽 차트를 생성하여 출력 수단을 통해 출력할 수 있다(1030).The apparatus for diagnosing glaucoma may generate and output a graphic chart through an output means to explain the reason for the diagnosis result (1030).
녹내장 진단 장치는 임상의의 피험자에 대한 최종 진단 결과를 피드백으로 입력받을 수 있다(1040).The glaucoma diagnosis apparatus may receive the clinician's final diagnosis result for the subject as feedback (1040).
녹내장 진단 장치는 단계 1020의 진단 결과와 단계 1030에서 입력받은 최종 진단 결과가 상이한 경우, 단계 1010에서 입력받은 피험자의 임상 정보와, 단계 1030에서 입력받은 최종 진단 결과를 기반으로 기 저장된 녹내장 진단 모델을 갱신할 수 있다(10580). 예컨대, 녹내장 진단 장치는 피험자의 임상 정보와, 최종 진단 결과를 새로운 학습 데이터로 하여, 기 저장된 녹내장 진단 모델을 추가 학습시킬 수 있다.When the diagnosis result in
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.An aspect of the present invention may be implemented as computer readable code on a computer readable recording medium. Codes and code segments implementing the above program can be easily inferred by a computer programmer in the art. A computer-readable recording medium may include all types of recording devices storing data that can be read by a computer system. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. In addition, the computer-readable recording medium may be distributed among computer systems connected through a network, and may be written and executed as computer-readable codes in a distributed manner.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, the present invention has been looked at mainly with its preferred embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention should be construed to include various embodiments within the scope equivalent to those described in the claims without being limited to the above-described embodiments.
[실시예][Example]
녹내장 환자 430명과 정상인 377으로부터 총 1624 케이스에 대한 임상 정보를 수집하였다. 임상 정보는 시야 검사, RNFL OCT 검사, 안압 검사 및 안저영상 검사를 통해 획득되었다.Clinical information was collected for a total of 1624 cases from 430 patients with glaucoma and 377 normal subjects. Clinical information was acquired through visual field examination, RNFL OCT examination, intraocular pressure examination, and fundus imaging examination.
수집된 임상 정보에는 성별, 나이, 녹내장 헤미필드 테스트(glaucoma hemifield test), 시야 인덱스(visual field index), 평균편차(mean deviation), 패턴표준편차, 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 망막신경섬유층 비측(Nasal) 두께, 망막신경섬유층 평균 두께, 안압, 각막 두께, 최대 교정 시력(best-corrected visual acuity), 구면렌즈 대응치(spherical equivalent), 안축장 길이(axial length), 시신경 유두테(neuro-retinal rim) 두께, 함몰(cup) 지름, 유두(disc) 지름, 평균유두함몰비(Mean of cup/disc ratio), 수직유두함몰비(vertical cup/disc ratio), CNN(convolutional neural network) degree 등 총 22가지 특징들이 포함되었다. 여기서 CNN degree는 CNN을 기반으로 진단 모델을 생성하고, 생성된 진단 모델을 통해 안저 영상으로부터 예측된 녹내장 정도이다.The collected clinical information included gender, age, glaucoma hemifield test, visual field index, mean deviation, pattern standard deviation, upper retinal nerve fiber layer thickness, lower retinal nerve fiber layer thickness, retinal nerve fiber layer temporal thickness, retinal nerve fiber layer nasal thickness, retinal nerve fiber layer average thickness, intraocular pressure, corneal thickness, best-corrected visual acuity, spherical equivalent, axial length length), neuro-retinal rim thickness, cup diameter, disc diameter, mean cup/disc ratio, vertical cup/disc ratio , CNN (convolutional neural network) degree, etc. A total of 22 features were included. Here, the CNN degree is the degree of glaucoma predicted from the fundus image by generating a diagnosis model based on CNN and using the generated diagnosis model.
카이 스퀘어 특징 선택(chi-square feature selection) 기법을 이용하여 총 22가지 특징들 중에서 10개의 유익한 특징을 선택하고, 조합 테스트를 수행하여 최상의 정확도를 생성하는 5가지 특징(패턴표준편차, 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께 및 안압)을 획득하였다.Using the chi-square feature selection technique, 10 beneficial features were selected from a total of 22 features, and a combination test was performed to determine the 5 features that produced the best accuracy (pattern standard deviation, retinal nerve fiber layer). superior thickness, retinal nerve fiber layer inferior thickness, retinal nerve fiber layer temporal thickness and intraocular pressure) were obtained.
총 1624 케이스의 임상 정보를 랜덤하게 분할하여 1306 케이스를 학습 세트로서 녹내장 진단 모델 생성에 이용하고, 318 케이스를 검증 세트로서 녹내장 진단 모델의 성능 검증에 이용하였다. 서포트 벡터 머신, C5.0, 램덤 포레스트, XGboost를 이용하여 4가지 녹내장 진단 모델을 생성하여 테스트 한 결과 하기 표를 획득할 수 있었다.Clinical information of a total of 1624 cases was randomly divided, 1306 cases were used as a learning set to generate a glaucoma diagnosis model, and 318 cases were used as a verification set to verify the performance of the glaucoma diagnosis model. Four glaucoma diagnosis models were created and tested using a support vector machine, C5.0, random forest, and XGboost, and the following table was obtained.
위 표를 참조하면, 5가지 특징을 기반으로 기계학습 모델을 이용하여 녹내장 진단 모델을 생성하는 경우, 매우 높은 성능을 보임을 알 수 있다.Referring to the table above, it can be seen that when a glaucoma diagnosis model is generated using a machine learning model based on the five features, very high performance is shown.
특히 XGboost 모델의 경우 AUC는 0.945, 민감도(sensitivity)는 0.941이고, 정확도(accuracy)는 0.947이고, 특이도(specificity)는 0.950으로, 다른 다른 모델들에 비하여 진단 성능이 좋다는 것을 확인할 수 있었다.In particular, in the case of the XGboost model, AUC was 0.945, sensitivity was 0.941, accuracy was 0.947, and specificity was 0.950, confirming that the diagnostic performance was better than other models.
100: 녹내장 진단 시스템
110: 녹내장 진단 모델 생성 장치
120, 700: 녹내장 진단 장치
210: 학습 데이터 수집부
220: 모델 생성부
310: 데이터 입력부
320: 저장부
330: 진단부
710: 피드백 입력부
720: 모델 갱신부
730: 통신부
740: 출력부100: glaucoma diagnosis system
110: glaucoma diagnostic model generating device
120, 700: glaucoma diagnosis device
210: learning data collection unit
220: model generating unit
310: data input unit
320: storage unit
330: diagnosis unit
710: feedback input unit
720: model update unit
730: communication department
740: output unit
Claims (11)
기계학습 기반의 녹내장 진단 모델을 이용하여 상기 임상 정보로부터 상기 피험자에 대해 녹내장 여부를 진단하고, 진단 결과의 이유를 설명하기 위한 그래픽 차트를 생성하는 진단부; 를 포함하고,
상기 임상 정보는 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 안압 및 시야검사를 통해 획득되는 패턴표준편차를 포함하는,
녹내장 진단 장치.a data input unit that receives clinical information of the subject; and
a diagnostic unit for diagnosing whether or not the subject has glaucoma from the clinical information using a machine learning-based glaucoma diagnosis model and generating a graphic chart to explain the reason for the diagnosis result; including,
The clinical information includes a pattern standard deviation obtained through an upper retinal nerve fiber layer thickness, a lower retinal nerve fiber layer thickness, a temporal retinal nerve fiber layer thickness, an intraocular pressure, and a visual field test.
Glaucoma diagnostic device.
상기 진단부는,
상기 녹내장 진단 모델의 생성에 이용된 임상 정보의 분포 내에서 상기 피험자의 임상 정보의 값의 위치를 표현하거나 상기 진단 과정에서의 각 임상 정보의 역할을 표현하는 그래픽 차트를 생성하는,
녹내장 진단 장치.According to claim 1,
The diagnosis unit,
Generating a graphic chart expressing the position of the value of the clinical information of the subject within the distribution of clinical information used in the generation of the glaucoma diagnostic model or expressing the role of each clinical information in the diagnosis process,
Glaucoma diagnostic device.
상기 그래픽 차트는 게이지형 차트, 방사형 차트 및 SHAP(Shapley Additive Explanations) 차트를 포함하는,
녹내장 진단 장치.According to claim 2,
The graphic chart includes a gauge chart, a radar chart, and a Shapley Additive Explanations (SHAP) chart.
Glaucoma diagnostic device.
상기 녹내장 진단 모델은 XGboost을 이용하여 생성되는,
녹내장 진단 장치.According to claim 1,
The glaucoma diagnosis model is generated using XGboost,
Glaucoma diagnostic device.
상기 피험자에 대한 최종 진단 결과를 피드백으로 입력받는 피드백 입력부; 및
상기 피드백으로 입력받은 최종 진단 결과와 상기 진단부의 진단 결과가 상이한 경우, 상기 최종 진단 결과와 상기 임상 정보를 기반으로 상기 녹내장 진단 모델을 갱신하는 모델 갱신부; 를 더 포함하는,
녹내장 진단 장치.According to claim 1,
a feedback input unit that receives a final diagnosis result for the test subject as feedback; and
a model updater configured to update the glaucoma diagnosis model based on the final diagnosis result and the clinical information when a final diagnosis result received as the feedback is different from a diagnosis result of the diagnosis unit; Including more,
Glaucoma diagnostic device.
기계학습 기반의 녹내장 진단 모델을 이용하여 상기 임상 정보로부터 상기 피험자에 대해 녹내장 여부를 진단하는 단계; 및
진단 결과의 이유를 설명하기 위한 그래픽 차트를 생성하는 단계; 를 포함하고,
상기 임상 정보는 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 안압 및 시야검사를 통해 획득되는 패턴표준편차를 포함하는,
녹내장 진단 방법.receiving clinical information of the subject;
diagnosing whether or not the subject has glaucoma from the clinical information using a machine learning-based glaucoma diagnosis model; and
generating a graphic chart to explain the reason for the diagnosis result; including,
The clinical information includes a pattern standard deviation obtained through an upper retinal nerve fiber layer thickness, a lower retinal nerve fiber layer thickness, a temporal retinal nerve fiber layer thickness, an intraocular pressure, and a visual field test.
Methods for diagnosing glaucoma.
상기 그래픽 차트를 생성하는 단계는,
상기 녹내장 진단 모델의 생성에 이용된 임상 정보의 분포 내에서 상기 피험자의 임상 정보의 값의 위치를 표현하거나 상기 진단 과정에서의 각 임상 정보의 역할을 표현하는 그래픽 차트를 생성하는,
녹내장 진단 방법.According to claim 6,
Generating the graphic chart,
Generating a graphic chart expressing the position of the value of the clinical information of the subject within the distribution of clinical information used in the generation of the glaucoma diagnostic model or expressing the role of each clinical information in the diagnosis process,
Methods for diagnosing glaucoma.
상기 그래픽 차트는 게이지형 차트, 방사형 차트 및 SHAP(Shapley Additive Explanations) 차트를 포함하는,
녹내장 진단 방법.According to claim 7,
The graphic chart includes a gauge chart, a radar chart, and a Shapley Additive Explanations (SHAP) chart.
Methods for diagnosing glaucoma.
상기 녹내장 진단 모델은 XGboost을 이용하여 생성되는,
녹내장 진단 방법.According to claim 6,
The glaucoma diagnosis model is generated using XGboost,
Methods for diagnosing glaucoma.
상기 피험자에 대한 최종 진단 결과를 피드백으로 입력받는 단계; 및
상기 피드백으로 입력받은 최종 진단 결과와 상기 녹내장 진단 모델을 이용하여 진단한 결과가 상이한 경우, 상기 최종 진단 결과와 상기 임상 정보를 기반으로 상기 녹내장 진단 모델을 갱신하는 단계; 를 더 포함하는,
녹내장 진단 방법.According to claim 6,
receiving a final diagnosis result for the subject as feedback; and
updating the glaucoma diagnosis model based on the final diagnosis result and the clinical information when a final diagnosis result received as the feedback and a diagnosis result using the glaucoma diagnosis model are different; Including more,
Methods for diagnosing glaucoma.
피험자의 임상 정보를 입력받고, 상기 녹내장 진단 모델을 이용하여 상기 피험자의 임상 정보로부터 상기 피험자에 대해 녹내장 여부를 진단하고, 진단 결과의 이유를 설명하기 위한 그래픽 차트를 생성하는 녹내장 진단 장치; 를 포함하고,
상기 임상 정보는 망막신경섬유층 상측 두께, 망막신경섬유층 하측 두께, 망막신경섬유층 이측 두께, 안압 및 시야검사를 통해 획득되는 패턴표준편차를 포함하는,
녹내장 진단 시스템.a glaucoma diagnosis model generating device that collects clinical information about multiple patients and corresponding glaucoma diagnosis results as learning data, and generates a glaucoma diagnosis model by learning a machine learning model based on the collected learning data; and
A glaucoma diagnosis device that receives clinical information of a subject, diagnoses whether or not the subject has glaucoma from the clinical information of the subject using the glaucoma diagnosis model, and generates a graphic chart to explain the reason for the diagnosis result; including,
The clinical information includes a pattern standard deviation obtained through an upper retinal nerve fiber layer thickness, a lower retinal nerve fiber layer thickness, a temporal retinal nerve fiber layer thickness, an intraocular pressure, and a visual field test.
Glaucoma Diagnostic System.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210190957A KR102704938B1 (en) | 2021-12-29 | 2021-12-29 | Apparatus, system and method for diagnosing glaucoma |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210190957A KR102704938B1 (en) | 2021-12-29 | 2021-12-29 | Apparatus, system and method for diagnosing glaucoma |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230101126A true KR20230101126A (en) | 2023-07-06 |
KR102704938B1 KR102704938B1 (en) | 2024-09-09 |
Family
ID=87185439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210190957A KR102704938B1 (en) | 2021-12-29 | 2021-12-29 | Apparatus, system and method for diagnosing glaucoma |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102704938B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019005319A (en) * | 2017-06-27 | 2019-01-17 | 株式会社トプコン | Ophthalmologic information processing system, ophthalmologic information processing method, program, and recording medium |
KR20190087272A (en) | 2018-01-16 | 2019-07-24 | 한국전자통신연구원 | Method for diagnosing glaucoma using fundus image and apparatus therefor |
KR20190128292A (en) * | 2018-05-08 | 2019-11-18 | 서울대학교산학협력단 | Method and System for Early Diagnosis of Glaucoma and Displaying suspicious Area |
-
2021
- 2021-12-29 KR KR1020210190957A patent/KR102704938B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019005319A (en) * | 2017-06-27 | 2019-01-17 | 株式会社トプコン | Ophthalmologic information processing system, ophthalmologic information processing method, program, and recording medium |
KR20190087272A (en) | 2018-01-16 | 2019-07-24 | 한국전자통신연구원 | Method for diagnosing glaucoma using fundus image and apparatus therefor |
KR20190128292A (en) * | 2018-05-08 | 2019-11-18 | 서울대학교산학협력단 | Method and System for Early Diagnosis of Glaucoma and Displaying suspicious Area |
Also Published As
Publication number | Publication date |
---|---|
KR102704938B1 (en) | 2024-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tong et al. | Application of machine learning in ophthalmic imaging modalities | |
CN109378065A (en) | Medical data processing method and processing device, storage medium, electronic equipment | |
CN109074869B (en) | Medical diagnosis support device, information processing method, and medical diagnosis support system | |
WO2020121308A1 (en) | Systems and methods for diagnosing a stroke condition | |
KR20200005987A (en) | System and method for diagnosing cognitive impairment using touch input | |
JP2013039230A (en) | Medical diagnosis support device and medical diagnosis support method | |
US20170112373A1 (en) | Visual acuity testing method and product | |
WO2012116334A2 (en) | Methods and systems for assessing latent traits using probabilistic scoring | |
US11915830B2 (en) | Intelligent prompting of protocols | |
US11640858B2 (en) | Digital therapeutic platform | |
KR20200017261A (en) | System for biomedical image diagnosis, method for biomedical image diagnosis and terminal performing the same | |
JP2013041428A (en) | Medical diagnosis support device and medical diagnosis support method | |
KR102704938B1 (en) | Apparatus, system and method for diagnosing glaucoma | |
Juliet | Investigations on machine learning models for mental health analysis and prediction | |
JP6316325B2 (en) | Information processing apparatus, information processing apparatus operating method, and information processing system | |
WO2023128000A1 (en) | Glaucoma diagnosis device, system, and method | |
CN113805695A (en) | Reading understanding level prediction method and device, electronic equipment and storage medium | |
KR102515437B1 (en) | Apparatus and method for calculating risk of prostate cancer based on machine learning, Apparatus and method for generating risk calculation model of prostate cancer based on machine learning | |
KR20230161183A (en) | Apparatus and method for determining mental health | |
JP2018110040A (en) | Information processor, information processing method and program | |
US20240245385A1 (en) | Click-to-correct for automatic vessel lumen border tracing | |
US20240331152A1 (en) | Graphical user interface for intravascular plaque burden indication | |
KR20230155103A (en) | Apparatus and method for diagnosing risk of glaucoma | |
US20240081781A1 (en) | Graphical user interface for intravascular ultrasound stent display | |
US20240081782A1 (en) | Graphical user interface for intravascular ultrasound calcium display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |