KR102460451B1 - 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법 - Google Patents

가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법 Download PDF

Info

Publication number
KR102460451B1
KR102460451B1 KR1020200021273A KR20200021273A KR102460451B1 KR 102460451 B1 KR102460451 B1 KR 102460451B1 KR 1020200021273 A KR1020200021273 A KR 1020200021273A KR 20200021273 A KR20200021273 A KR 20200021273A KR 102460451 B1 KR102460451 B1 KR 102460451B1
Authority
KR
South Korea
Prior art keywords
refractive error
image
pupil
measuring
visible light
Prior art date
Application number
KR1020200021273A
Other languages
English (en)
Other versions
KR20210106287A (ko
KR102460451B9 (ko
Inventor
임동희
김영준
전재형
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020200021273A priority Critical patent/KR102460451B1/ko
Priority to US17/136,174 priority patent/US11744457B2/en
Publication of KR20210106287A publication Critical patent/KR20210106287A/ko
Application granted granted Critical
Publication of KR102460451B1 publication Critical patent/KR102460451B1/ko
Publication of KR102460451B9 publication Critical patent/KR102460451B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A61B3/1035—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes for measuring astigmatism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은, 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법에 관한 것으로서, 특히 촬영된 이미지만으로 굴절이상의 진단 및 자가 검진이 가능한 굴절이상 측정 방법에 관한 것이다. 본 발명은, 피검사자의 망막에 플래시를 이용한 가시광선을 투영하여 동공에 반사되는 모양과 위치를 스마트폰 카메라로 촬영하여 이미지를 획득하는 단계; 상기 피검사자들의 굴절이상의 결과 값이 기 반영된 임상 정보를 통해 이미지넷(ImageNet)의 데이터로 학습된 ResNet(Residual Neural Network) 모델에 상기 이미지를 적용하는 단계; 및 상기 이미지의 굴절이상 및 상기 이미지의 굴절이상을 도출하는 과정에서 상기 동공의 반사되는 모양 및 위치에서 상기 굴절이상을 판단하기 위해 측정된 측정 요소를 출력하는 단계를 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법을 제공한다.
본 발명에 따르면, 굴절력 측정 시간이 짧고, 피검자의 협조 없이도 굴절이상을 측정할 수 있으며, 조절마비제를 사용하지 않고 양안을 동시에 검사할 수 있어 대량의 집단을 조사하는 경우 사용이 편리하다는 이점이 있다.

Description

가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법{METHOD FOR MEASURING ANOMALIES OF REFRACTION USING A REFLECTION IMAGE OF PUPIL IN VISIBLE LIGHT}
본 발명은 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법에 관한 것으로서, 특히 스마트폰 카메라 등으로 촬영된 이미지만으로 굴절이상의 진단 및 자가 검진이 가능한 굴절이상 측정 방법에 관한 것이다.
굴절이상이란 여러 가지 원인에 의해 빛이 망막에 정확히 초점을 맺지 못하는 상태를 뜻하며 흔한 굴절이상으로는 근시, 원시, 난시, 원시 등이 있다. 교정되지 않는 굴절이상은 상을 흐리게 보이게 하므로 특히 신생아나 소아의 경우 시력 발달에 결정적인 영향을 미친다. 심지어 신생아 시기에도 선천백내장 등으로 빛 자극이 차단될 경우에는 생후 1-2개월 이내 완전한 시력 소실을 유발할 수 있고 드물게는 망막모세포종과 같이 생명을 위협할 수 있는 안과질환이 발생할 수 있다. 따라서 적절한 시력교정 및 약시 예방을 위한 조기 진단과 치료가 필수적이나 협조 되지 않는 신생아 또는 소아의 굴절이상을 정확하게 진단하는 것이 매우 어렵다.
약시를 조기에 치료하지 않으면 성인이 되어서도 정상적인 시력을 획득하기 어려울 뿐 아니라 입체시가 약하거나 없어 3D 입체 영상을 인식하는 것에 어려움을 느낄 수 있고, 정상 시력에 비해 물체 잡기, 걷기, 운전, 읽기 등의 일상생활에서 정확성과 속도가 떨어질 수 있다.
이와 관련하여, 소아의 굴절이상을 확인하기 위한 종래의 표준검사는 조절마비안약을 점안 후 검영기를 이용하여 굴절이상을 측정하는 조절마비 굴절검사이다. 그러나 조절마비 굴절검사를 시행하기 위해서는 안과 전문의가 필요하며 검사자가 숙련되지 않을 경우, 그 측정치가 부정확할 가능성이 있다. 또한 피검자의 협조가 필수적이기 때문에 소아에서 검사를 시행하는데 어려움이 있으며, 검사 시간이 오래 걸려 약시 집단 선별검사로는 적합하지 않은 문제점이 있다. 또한, 미약하지만 검사 후 안약 효과로 인하여 조절력이 풀리며 동공이 커지는 상태나 근거리가 흐릿해지고 눈부심 증상이 여전히 존재하는 문제점이 있다.
본 발명은 스마트폰 카메라 등을 이용한 사진굴절검사법(Photorefraction)을 통한 딥 러닝 알고리즘을 이용하여 굴절이상 정도를 판단하는 굴절이상 측정 방법 을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 피검사자의 망막에 플래시를 이용한 가시광선을 투영하여 동공에 반사되는 모양과 위치를 스마트폰 카메라 등으로 촬영하여 이미지를 획득하는 단계; 상기 피검사자들의 굴절이상의 결과 값이 기 반영된 임상 정보를 통해 이미지넷(ImageNet)의 데이터로 학습된 ResNet(Residual Neural Network) 모델에 상기 이미지를 적용하는 단계; 및 상기 이미지의 굴절이상 및 상기 이미지의 굴절이상을 도출하는 과정에서 상기 동공의 반사되는 모양 및 위치에서 상기 굴절이상을 판단하기 위해 측정된 측정 요소를 출력하는 단계를 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법을 제공한다.
실시 예에 따라, 상기 이미지를 획득하는 단계는, 상기 ResNet 모델에 적용 전 상기 이미지를 기 설정된 픽셀로 편집하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 이미지를 적용하는 단계는, 상기 이미지로부터 특징 벡터를 추출하는 단계; 및 상기 특징 벡터를 상기 ResNet 모델에 적용하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 이미지를 적용하는 단계는, 상기 임상 정보의 굴절이상을 디옵터(D:Diopter)를 기준으로 기 설정된 구간으로 그룹핑하는 단계를 더 포함할 수 있다.
또한, 상기 측정 요소를 출력하는 단계는, 상기 동공의 굴절이상을 출력하기 위해 상기 ResNet (Residual Neural Network) 모델에서 비교된 상기 동공의 이미지를 히트맵(heat map)으로 표현하는 단계를 포함할 수 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 굴절력 측정 시간이 짧고, 피검자의 협조 없이도 굴절이상을 측정하는 데 유용한 이점이 있다.
또한, 본 발명은, 조절마비제를 사용하지 않고 양안을 동시에 검사할 수 있으며, 특히 대량의 집단을 조사하는 경우 사용이 편리하다는 이점이 있다.
또한 본 발명은, 근시, 원시, 난시 등 반정량적인 굴절이상 정도 및 조절력, 사시 및 약시 여부, 백내장과 같은 매체혼탁을 유발하는 안과질환을 진단할 수 있는 이점이 있다.
또한 본 발명은, 스마트폰의 광원 및 카메라를 이용하기 때문에 고가의 장비 대신 저렴한 가격으로 비교적 쉽게 검안할 수 있으며, 안과 전문의가 없는 의료낙후지역에 보급하여 국내 의료 접근성의 형평성 증가에 기여할 수 있는 이점이 있다.
도 1은 본 발명의 굴절이상 측정 방법의 순서도를 나타낸다.
도 2는 본 발명의 실시 예에 따른 굴절이상 측정 방법의 세부 구성도를 나타낸다.
도 3은 본 발명의 실시 예에 따라 안구 반사의 형태로 굴절이상을 측정하는 모습을 나타낸다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 스마트폰에서 구현되는 앱에 의해 실행될 수 있으며, 스마트폰 이외에도 반사광을 통해 이미지를 획득할 수 있는 프로그램이 재생 가능한 프로세서가 탑재된 디바이스에서 구현될 수 있다. 본 방법의 모든 과정은 소프트웨어로 구현되어 프로세서(미도시)에 의해 처리될 수 있다.
도 1은 본 발명의 굴절이상 측정 방법의 순서도를 나타낸다.
도 1을 참조하면, 본 발명은, 이미지를 획득하는 단계, ResNet(Residual Neural Network) 모델에 이미지를 적용하는 단계 및 굴절이상 및 측정 요소를 출력하는 단계를 포함할 수 있다.
이미지를 획득하는 단계(S10)는, 피검사자의 망막에 플래시를 이용한 가시광선을 투영하여 동공에 반사되는 모양과 위치를 스마트폰 카메라 등으로 촬영하는 과정을 거칠 수 있다. 획득된 이미지는 입력 영상으로 사용될 수 있다.
ResNet(Residual Neural Network) 모델에 이미지를 적용하는 단계(S20)는, 기존의 임상 정보를 통해 학습된 ResNet에 상술한 이미지를 입력하는 과정이다. 상기 피검사자들의 굴절이상의 결과 값이 기 반영된 임상 정보를 통해 입력 영상의 결과를 출력할 수 있다.
굴절이상 및 측정 요소를 출력하는 단계(S30)는, 상기 이미지의 굴절이상 및 상기 이미지의 굴절이상을 도출하는 과정에서 상기 동공의 반사되는 모양 및 위치에서 상기 굴절이상을 판단하기 위해 측정된 측정 요소를 출력하는 과정이다.
전체적으로 살펴보면 본 발명은, 눈의 굴절 이상을 자동으로 진단하는 알고리즘에 대한 것으로, 더욱 상세하게는 스마트폰으로 진행한 사진굴절검사법 사진을 입력으로 하여 굴절 이상 정도를 출력하는 알고리즘에 관한 것이다. 딥 러닝 네트워크의 종류인 Residual Neural Network를 구현하고 수집된 사진굴절검사 사진들과 각 사진마다 전문의가 조절마비 굴절검사를 통해 얻어낸 굴절 이상 값 데이터를 대상으로 기 학습된 딥 러닝 네트워크에 이미지를 적용시킬 수 있다.
이 알고리즘은 크게 두 부분으로 나뉘어지며, 사진에서 특징을 추출하고 굴절이상 정도를 출력하는 딥 러닝 네트워크 모듈, 그리고 딥 러닝 네트워크가 어떠한 특징을 의사결정에 활용했는지 heat map으로 표현하는 Grad-Cam 모듈이다.
최종적으로 사용자가 스마트폰으로 촬영한 사진굴점검사 사진을 네트워크에 입력하면 알고리즘은 해당 사진의 굴절이상 정도와 굴절이상 정도를 진단할 때 주의 깊게 바라본 heat map이 출력될 수 있다.
도 2는 본 발명의 실시 예에 따른 굴절이상 측정 방법의 세부 구성도를 나타낸다.
도 2를 참조하면, 이미지를 획득하는 단계는, 상기 ResNet 모델에 적용 전 상기 이미지를 기 설정된 픽셀로 편집하는 단계를 더 포함할 수 있는데, 프로세서는 수신한 안저 영상에서 각막반사광 후보를 추출하고, 상기 추출된 각막반사광 후보를 이용하여 동공 후보를 추출할 수 있다.
프로세서는 사진굴절검사법으로 동공 후보를 이용하여 안저 사진의 동공 부분을 224x224 크기로 추출하여 이미지를 생성할 수 있다.
상기 이미지를 적용하는 단계는, 이후의 ResNet(Residual Neural Network) 모델에 이미지를 적용하는 과정이다. 이 과정에서 이미지로부터 특징 벡터를 추출하는 단계 및 상기 특징 벡터를 상기 ResNet 모델에 적용하는 단계를 포함할 수 있다.
프로세서는 기존의 임상 정보를 바탕으로 프로그램이 구현되도록 학습되어 있으며, ResNet(Residual Neural Network) 모델은, 임상 정보를 바탕으로 굴절이상을 판독하는 모델을 말하는 것으로, 조절마비 굴절검사를 통해 얻은 굴절이상 값을 각 이미지에 매칭시켜 사전에 학습을 시킬 수 있다.
학습 과정은, 학습용 데이터, 검증용 데이터, 실험용 데이터를 짝을 이뤄 모델을 생성할 수 있다.
학습용 데이터는,딥 러닝 네트워크를 학습시키기 위한 데이터로써 검증용 데이터, 실험용 데이터와 겹치지 않는 사진굴절검사 사진들과 각 사진마다 전문의가 조절마비 굴절검사를 통해 얻어낸 굴절 이상 값 데이터가 짝을 이뤄 구성된다.
검증용 데이터는, 딥 러닝 네트워크를 학습용 데이터를 통해 학습시키는 과정 중 딥 러닝 네트워크의 정확도를 평가하는 데이터로써 학습용 데이터와 실험용 데이터와 겹치지 않는 사진굴절검사 사진들과 각 사진마다 전문의가 조절마비 굴절검사를 통해 얻어낸 굴절 이상 값 데이터가 짝을 이뤄 구성된다.
실험용 데이터는, 학습이 완료된 딥 러닝 네트워크의 최종 정확도를 확인하는 데이터로써 학습용 데이터와 검증용 데이터와 겹치지 않는 사진굴절검사 사진들과 각 사진마다 전문의가 조절마비 굴절검사를 통해 얻어낸 굴절 이상 값 데이터가 짝을 이뤄 구성된다.
상기 이미지를 적용하는 단계는, 상기 임상 정보의 굴절이상을 디옵터(D:Diopter)를 기준으로 기 설정된 구간으로 그룹핑하는 단계를 더 포함할 수 있다.
이 때 학습용 데이터, 검증용 데이터, 실험용 데이터의 비율은 6:2:2로 구성하며 굴절이상 값은 아래 표 1과 같이 7개의 구간으로 나누어 설정될 수 있으며, 설정된 구간 별로 사진이 분류될 수 있다.
굴절이상 구간
(D=Diopter)		 Accuracy (%)
Figure 112020018422845-pat00001
Figure 112020018422845-pat00002
D		 80.0
Figure 112020018422845-pat00003
Figure 112020018422845-pat00004
,
Figure 112020018422845-pat00005
Figure 112020018422845-pat00006
D		 77.8
Figure 112020018422845-pat00007
Figure 112020018422845-pat00008
,
Figure 112020018422845-pat00009
Figure 112020018422845-pat00010
D		 82.0
Figure 112020018422845-pat00011
Figure 112020018422845-pat00012
,
Figure 112020018422845-pat00013
Figure 112020018422845-pat00014
D		 83.3
Figure 112020018422845-pat00015
Figure 112020018422845-pat00016
,
Figure 112020018422845-pat00017
Figure 112020018422845-pat00018
D		 82.8
Figure 112020018422845-pat00019
Figure 112020018422845-pat00020
,
Figure 112020018422845-pat00021
Figure 112020018422845-pat00022
D		 79.3
Figure 112020018422845-pat00023
Figure 112020018422845-pat00024
D		 75.0
전체 81.6
이미지넷(ImageNet)의 데이터로 학습된 ResNet(Residual Neural Network, 18 layers) 모델을 초기 모델로 가져오며 가장 마지막 Layer는 7차원의 fully-connected layer로 교체될 수 있다.
또한, 학습용 데이터와 검증용 데이터로 상술한 7차원의 fully-connected layer의 ResNet(Residual Neural Network)을 최대 500번 반복 학습을 하고, 검증용 데이터로 모델의 정확도가 수렴할 때 학습을 중단한다.
이 때 학습에 사용된 손실 함수는 ResNet(Residual Neural Network)가 예측한 굴절이상 정도 구간 확률 값의 cross-entropy이다(Pytorch라는 Deep learning framework로 학습될 수 있음).
상기 측정 요소를 출력하는 단계는, 상기 동공의 굴절이상을 출력하기 위해 상기 ResNet(Residual Neural Network) 모델에서 비교된 상기 동공의 이미지를 히트맵(heat map)으로 표현하는 단계를 포함할 수 있다.
실시 예에 따라, 학습된 모델의 정확도를 최종적으로 실험용 데이터로 확인할 수 있으며, 이 때 heat-map을 Grad-CAM 알고리즘으로 만들어내어 모델의 설명력을 높일 수 있다.
Heat-map 및 Grad-CAM의 경우, Grad-CAM으로 형성된 heat-map을 진단 시 재확인함으로써 딥 러닝 네트워크가 제대로 된 판단 근거를 가지고 굴절이상 정도를 예측하였는지 검증할 수 있다.
딥 러닝 library인 Pytorch에서 이미지넷의 ImageNet의 데이터로 학습된 Residual Neural Network (18 layers) 모델을 초기 모델로 가져오며 가장 마지막 Layer는 7차원의 fully-connected layer로 교체할 수 있다.
도 3은 본 발명의 실시 예에 따라 안구 반사의 형태로 굴절이상을 측정하는 모습을 나타낸다.
도 3을 참조하면, 위 표 1과 관련하여, 굴절이상 구간에 따른 안구 반사의 모습을 알 수 있다.
도 3과 같이 측정하는 경우 짧은 시간에 검사가 가능하고, 협조가 좋지 않은 소아환자에게도 정확도가 높게 측정될 수 있다.
또한 굴절이상으로 인한 시력발달지연을 조기에 진단할 수 있다.
본 발명의 실시 예를 통한 시제품의 임상 시험 결과를 설명하면 다음과 같다.
아래 표 2는 소아의 나이에 따른 난시, 원시, 부등시, 근시에서의 굴절 이상 정도를 측정한 것이다.
시력발달지연(약시)을 유발할 수 있는 굴절이상의 정도
나이, 개월 난시 원시 부등시 근시
12-30 >2.0D >4.5D >2.5D >-3.5D
31-48 >2.0D >4.0D >2.0D >-3.0D
>48 >1.5D >3.5D >1.5D >-1.5D

아래 표 3은 본 발명의 측정 방법을 이용하여 소아의 나이에 따른 난시, 원시, 부등시, 근시에서의 굴절 이상 정도를 측정한 것이다.
평가 기준(조절마비 굴절검사)
양성(+) 음성(-)
양성(+) 진양성(A) 위양성(B)
음성(-) 위음성(C) 진음성(D)
탈락율 E F

민감도 = A/(A+C) * 100(%)특이도 = D/(B+D) * 100(%)
양성예측도 = A/(A+B) * 100(%)
음성예측도 = D/(C+D) * 100(%)
탈락율 = (E+F) / (A+B+C+D+E+F)
측정된 굴절 이상 수치 정도를 “조절마비굴절검사＂라고 하는 굴절이상의 Gold standard와 비교한 모습이다.
해당기기를 통한 약시 진단과, 조절마비굴절검사상의 약시 진단을 비교하여, 해당기기의 약시 진단 정확도를 알아본 임상시험 결과를 나타낸다.
아래 표 4는 약사위험도 성능지표 평가에 관한 표이다.
약사 위험도 성능지표 평가
민감도 80.49
특이도 74.17
양성예측도 68.04
음성예측도 84.76
정확도 76.73
탈락률 3.12
표 4를 참조하면, 실제 약시가 있는 환자를 해당기술로 스크리닝할수 있는 민감도가 80.49%, 약시가 없는 환자를 해당기술로 없다고 진단할수 있는 특이도가 74.17%, 전체 환자들중에서 검사결과가 도출되지 않은, 탈락율이 3.12%, 즉, 민감도와 특이도가 상당히 높으며, 탈락률이 매우 낮다는 것을 알 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims (5)

  1. 스마트폰 카메라에 의해 피검사자의 망막에 플래시를 이용한 가시광선을 투영하여, 동공에 반사되는 모양과 위치를 촬영하여 이미지를 획득하는 단계;
    프로세서가 상기 피검사자들의 굴절이상의 결과 값이 기 반영된 임상 정보를 통해 이미지넷(ImageNet)의 데이터로 학습된 ResNet(Residual Neural Network) 모델에 상기 이미지를 적용하는 단계; 및
    상기 ResNet 모델이 상기 이미지의 굴절이상 및 상기 이미지의 굴절이상을 도출하고, 상기 동공의 반사되는 모양 및 위치에서 상기 굴절이상을 판단하기 위해 측정된 측정 요소를 출력하는 단계를 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법.
  2. 제 1 항에 있어서,
    상기 이미지를 획득하는 단계는,
    상기 프로세서가 상기 ResNet 모델에 적용 전 상기 이미지를 기 설정된 픽셀로 편집하는 단계를 더 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법.
  3. 제 1 항에 있어서,
    상기 이미지를 적용하는 단계는,
    상기 프로세서가 상기 이미지로부터 특징 벡터를 추출하는 단계; 및
    상기 특징 벡터를 상기 ResNet 모델에 적용하는 단계를 더 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법.
  4. 제 1 항에 있어서,
    상기 이미지를 적용하는 단계는,
    상기 프로세서가 상기 임상 정보의 굴절이상을 디옵터(D:Diopter)를 기준으로 기 설정된 구간으로 그룹핑하는 단계를 더 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법.
  5. 제 1 항에 있어서,
    상기 측정 요소를 출력하는 단계는, 상기 ResNet(Residual Neural Network) 모델에서, 상기 동공의 굴절이상을 출력하기 위해 비교된, 상기 동공의 이미지를 히트맵(heat map)으로 표현하는 단계를 포함하는 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법.
KR1020200021273A 2020-02-20 2020-02-20 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법 KR102460451B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200021273A KR102460451B1 (ko) 2020-02-20 2020-02-20 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법
US17/136,174 US11744457B2 (en) 2020-02-20 2020-12-29 Method for measuring anomalies of refraction using a reflection image of pupil in visible light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200021273A KR102460451B1 (ko) 2020-02-20 2020-02-20 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법

Publications (3)

Publication Number Publication Date
KR20210106287A KR20210106287A (ko) 2021-08-30
KR102460451B1 true KR102460451B1 (ko) 2022-10-28
KR102460451B9 KR102460451B9 (ko) 2023-03-23

Family

ID=77366736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021273A KR102460451B1 (ko) 2020-02-20 2020-02-20 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법

Country Status (2)

Country Link
US (1) US11744457B2 (ko)
KR (1) KR102460451B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6089715A (en) * 1998-10-15 2000-07-18 Eyedx, Inc. Automated photorefractive screening
DK3003121T3 (da) * 2013-06-06 2021-08-16 6 OVER 6 VISION Ltd System til måling af brydningsfejl i et øje baseret på subjektiv afstandsmåling
WO2015003062A1 (en) * 2013-07-02 2015-01-08 Massachusetts Institute Of Technology Apparatus and method of determining an eye prescription
US20220304572A1 (en) * 2019-06-07 2022-09-29 SPEQS Limited Eye test

Also Published As

Publication number Publication date
US11744457B2 (en) 2023-09-05
US20210259542A1 (en) 2021-08-26
KR20210106287A (ko) 2021-08-30
KR102460451B9 (ko) 2023-03-23

Similar Documents

Publication Publication Date Title
Lavric et al. KeratoDetect: keratoconus detection algorithm using convolutional neural networks
EP3373798B1 (en) Method and system for classifying optic nerve head
Martinez-Enriquez et al. OCT-based full crystalline lens shape change during accommodation in vivo
CN113646805A (zh) 眼科和全身性疾病的基于图像的检测
JP2023145613A (ja) 視力を予測するための眼の画像を処理するための深層学習の使用
Pieczynski et al. The role of telemedicine, in-home testing and artificial intelligence to alleviate an increasingly burdened healthcare system: Diabetic retinopathy
JP7166473B2 (ja) 眼検査
CN109998477A (zh) 一种高度近视白内障手术预后智能预判系统
Zheng et al. Detection of referable horizontal strabismus in children's primary gaze photographs using deep learning
Ram et al. The relationship between Fully Connected Layers and number of classes for the analysis of retinal images
CN109464120A (zh) 一种糖尿病视网膜病变筛查方法、装置及存储介质
KR101855012B1 (ko) Oct 촬영 결과 학습을 통한 시력, 시야 예측 장치
Breher et al. Direct modeling of foveal pit morphology from distortion-corrected OCT images
KR102460451B1 (ko) 가시광선의 동공 반사 이미지를 이용한 굴절이상 측정 방법
Sinha et al. Prospects of artificial intelligence in ophthalmic practice
TWI742782B (zh) 視網膜分層厚度檢測模型之建立方法、視網膜分層厚度檢測系統、眼部照護裝置、視網膜分層厚度檢測方法及失智症評估和預測方法
de Oliveira Simoes et al. Automatic ocular alignment evaluation for strabismus detection using u-net and resnet networks
Otuna-Hernández et al. Diagnosis and degree of evolution in a Keratoconus-type corneal Ectasia from image processing
de Araújo XAIPrivacy-XAI with Differential Privacy
Kriangsakdachai et al. Anomaly detection in red reflex images using deep learning approaches
ÇİFTCİ ARTIFICIAL INTELLIGENCE FOR CATARACT
Almeida-Galárraga Diagnosis and Degree of Evolution in a Keratoconus-Type Corneal Ectasia from Image Processing
Williams Computational methods to quantify human lens shape and optical properties using laser ray tracing and optical coherence tomography
Huang et al. Automated classification of ocular ultrasonography using CNN
Semerád Theoretical and Experimental Determination of the Amount of Information in Human Ocular Biometric Characteristics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]