KR102184761B1 - 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템 - Google Patents

자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템 Download PDF

Info

Publication number
KR102184761B1
KR102184761B1 KR1020180156711A KR20180156711A KR102184761B1 KR 102184761 B1 KR102184761 B1 KR 102184761B1 KR 1020180156711 A KR1020180156711 A KR 1020180156711A KR 20180156711 A KR20180156711 A KR 20180156711A KR 102184761 B1 KR102184761 B1 KR 102184761B1
Authority
KR
South Korea
Prior art keywords
image
fundus image
test subject
fundus
sensor
Prior art date
Application number
KR1020180156711A
Other languages
English (en)
Other versions
KR20200069547A (ko
Inventor
강욱
신일형
박상민
박기호
오백록
장주영
Original Assignee
서울대학교병원
인더스마트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 인더스마트 주식회사 filed Critical 서울대학교병원
Priority to KR1020180156711A priority Critical patent/KR102184761B1/ko
Priority to PCT/KR2019/017258 priority patent/WO2020117021A1/ko
Publication of KR20200069547A publication Critical patent/KR20200069547A/ko
Application granted granted Critical
Publication of KR102184761B1 publication Critical patent/KR102184761B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/0408
    • A61B5/0496
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

초점용 영상이 표시되는 디스플레이부, 피검사자의 동공 상태를 측정하는 제1 센서부, 상기 피검사자의 눈꺼풀의 깜빡임을 측정하는 제2 센서부, 상기 피검사자의 동공 영상 및 상기 피검사자의 안저 영상 중 적어도 하나를 촬영하는 카메라부, 및 상기 제1 센서부의 측정값, 상기 제2 센서부의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어하고, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정하는 제어부를 포함하는 자가 안저 영상 촬영 장치가 개시된다.

Description

자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템{APPARATUS FOR TAKING FUNDAS IMAGE, APPARATUS FOR TAKING FUNDAS IMAGE AND DIAGNOSING THERFROM, AND SYSTEM FOR TAKING FUNDAS IMAGE AND DIAGNOSING THERFROM}
본 발명은 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템으로, 보다 상세하게는, 의료진의 도움 없이도 피검사자 스스로 안저 영상을 촬영할 수 있을 뿐만 아니라, 촬영된 안저 영상으로부터 병변 판독이 가능하여 의료진의 진단을 지원할 수 있는 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템에 관한 것이다.
안저 영상은 안과에서 진단 또는 기록의 목적으로 가장 많이 사용되는 안과 영상 중 하나로서, 안과 질환 검사에 주로 사용되고 있다.
그런데, 이러한 안저 영상은 안저 영상을 촬영하는 의료진의 숙련도에 따라 그 선명도 등의 차이가 크게 발생하고, 숙련도가 낮은 의료진이 촬영한 낮은 퀄러티의 안저 영상에 대하여 안과 질환 검사를 수행하는 경우 오진 발생의 확율이 높아지는 문제가 있다.
한편, 최근 인공지능 학습모델이 발달함에 따라 의료 영상을 판독함에 있어서 다양한 인공지능 학습모델이 이용되고 있다.
예를 들면, 기계학습 모델, 보다 상세하게는, 합성곱 신경망(Convolutional Neural Networks), 순환 신경망(Recurrent Neural Network, RNN) 등을 포함하는 딥러닝 모델이 의료영상 이미지를 검출하고, 분류하고, 특징을 학습하는 데 이용되고 있다.
특히, 영상 판독이 중요한 안저 분야 역시 이와 같은 학습모델을 이용하여 피검사자의 안저 영상의 판독(finding/diagnosis)을 지원하고 있다.
그러나, 의료진에 의한 안저 영상 판독은 물론 이러한 학습모델을 이용한 안저 영상 판독의 경우, 안저 영상 판독의 정확성을 제고하기 위해서는 우선 안저 영상 자체에 노이즈가 없는 고 퀄러티의 선명한 안저 영상을 획득하는 것이 중요하다.
이를 위해 의료진들은 안저 영상 촬영시 많은 시간과 노력을 들이고 있다.
그러나, 앞서 설명한 바와 같이 안저 영상을 촬영하는 의료진의 숙련도에 따라 안저 영상의 선명도 등의 차이가 발생하므로, 의료진에 의한 판독에서든 학습모델에 의한 판독에서든 오진 발생의 문제점은 여전히 존재한다.
한국 등록특허 제10-1848322호
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 피검사자의 동공의 크기가 확대되었을 때 안저 영상의 촬영이 이루어질 수 있도록 구성되어 있으므로, 피검사자는 의료진의 도움 없이 스스로 선명한 안저 영상을 촬영할 수 있는 자가 안저 영상 촬영 장치를 제공하는 것이다.
본 발명의 다른 목적은, 촬영된 안저 영상이 병변 판독대상 안저 영상으로 부적합할 경우 안저 영상의 재촬영이 이루어질 수 있도록 구성되어 있어서 병변 판독대상 안저 영상으로써 적합한 선명한 안저 영상을 얻을 수 있는 자가 안저 영상 촬영 장치를 제공하는 것이다.
본 발명의 또 다른 목적은, 안저 영상 촬영시 좌안과 우안을 동시에 촬영할 수 있도록 구성되어 있어서 양안의 안저 영상 모두 균등한 선명도 등을 얻을 수 있는 자가 안저 영상 촬영 장치를 제공하는 것이다.
본 발명의 또 다른 목적은, 병변 판독대상 안저 영상에 대하여 인공지능 알고리즘을 적용하여 병변을 판독함으로써, 의료진의 병변 진단을 지원하는 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 자가 안저 영상 촬영 장치는, 초점용 영상이 표시되는 디스플레이부, 피검사자의 동공 상태를 측정하는 제1 센서부, 상기 피검사자의 눈꺼풀의 깜빡임을 측정하는 제2 센서부, 상기 피검사자의 동공 영상 및 상기 피검사자의 안저 영상 중 적어도 하나를 촬영하는 카메라부, 및 상기 제1 센서부의 측정값, 상기 제2 센서부의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어하고, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정하는 제어부를 포함할 수 있다.
상기 피검사자의 동공 상태는 상기 피검사자의 맥박으로 측정될 수 있다.
상기 제1 센서부는 ECG(Electro-CardioGram) 센서 또는 PPG(Pulse-PlethysmoGram) 센서를 포함하는 것이 바람직하다.
상기 제1 센서부는 인 것이 바람직하다.
상기 제2 센서부는, 적어도 하나의 좌안용 센서 및 우안용 센서를 포함할 수 있다.
상기 제2 센서부는 EOG(Electro OculoGram) 센서를 포함할 수 있다.
상기 초점용 영상은 좌안용 초점용 영상 및 우안용 초점용 영상을 포함할 수 있다.
상기 제어부는 피검사자의 좌안의 안저 영상과 우안의 안저 영상 중 일 안저 영상을 먼저 촬영하고, 이후 나머지 안저 영상을 촬영하도록 상기 카메라부를 제어할 수 있다.
상기 제어부는 상기 디스플레이부에 표시되는 상기 좌안용 초점용 영상과 상기 우안용 초점용 영상이 서로 멀어지도록 상기 좌안용 초점용 영상과 상기 우안용 초점용 영상을 제어할 수 있다.
상기 제어부는 피검사자의 좌안의 안저 영상과 우안의 안저 영상을 동시에 촬영하도록 상기 카메라부를 제어할 수 있다.
상기 제어부는 상기 카메라부에 의해 촬영된 상기 피검사자의 동공 영상에서의 동공 크기가 미리 설정된 동공 영상의 동공 크기 이상이고, 상기 제2 센서부의 측정에 의해 상기 피검사자의 눈깜빡임이 없을 경우, 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어할 수 있다.
상기 제어부는 기계학습 알고리즘 또는 DSP 알고리즘에 기초하여, 상기 카메라부에 의해 촬영된 상기 피검사자의 동공 영상에서의 동공 크기가 미리 설정된 동공 영상의 동공 크기 이상인지 여부를 판단할 수 있다.
상기 제어부는 기계학습 알고리즘에 기초하여, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인지 여부를 판단할 수 있다.
상기 제어부는 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 밖인 경우, 상기 피검사자의 안저 영상을 재촬영하도록 카메라부를 제어할 수 있다.
상기 제어부는 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우, 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명에 따른 자가 안저 영상 촬영 및 판독 장치는, 초점용 영상이 표시되는 제1 디스플레이부, 피검사자의 동공 상태를 측정하는 제1 센서부, 상기 피검사자의 눈꺼풀의 깜빡임을 측정하는 제2 센서부, 상기 피검사자의 동공 영상 및 상기 피검사자의 안저 영상 중 적어도 하나를 촬영하는 카메라부, 및 상기 제1 센서부의 측정값, 상기 제2 센서부의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어하고, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정하고, 상기 병변 판독대상 안저 영상으로부터 병변을 판독하는 제어부를 포함할 수 있다.
상기 제어부는 기계학습 알고리즘에 기초하여, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인지 여부를 판단할 수 있다.
상기 제어부는 기계학습 알고리즘에 기초하여, 상기 병변 판독대상 안저 영상으로부터 병변을 판독할 수 있다.
상기 피검사자의 병변 판독대상 안저 영상으로부터의 병변 판독 결과를 표시하는 제2 디스플레이부를 더 포함할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명에 따른 자가 안저 영상 촬영 및 판독 시스템은, 자가 안저 영상 촬영 장치, 및 상기 자가 안저 영상 촬영 장치로부터 수신된 병변 판독대상 안저 영상으로부터 병변을 판독하는 병변 판독 장치를 포함하고, 상기 자가 안저 영상 촬영 장치는, 초점용 영상이 표시되는 디스플레이부, 피검사자의 동공 상태를 측정하는 제1 센서부, 상기 피검사자의 눈꺼풀의 깜빡임을 측정하는 제2 센서부, 상기 피검사자의 동공 영상 및 상기 피검사자의 안저 영상 중 적어도 하나를 촬영하는 카메라부, 및 상기 제1 센서부의 측정값, 상기 제2 센서부의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어하고, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정하는 제어부를 포함할 수 있다.
상기 제어부는 기계학습 알고리즘에 기초하여, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인지 여부를 판단할 수 있다.
상기 병변 판독 장치는 기계학습 알고리즘에 기초하여, 상기 병변 판독대상 안저 영상으로부터 병변을 판독할 수 있다.
본 발명에 따르면, 피검사자의 동공의 크기가 확대되었을 때 안저 영상의 촬영이 이루어질 수 있도록 구성되어 있으므로, 피검사자는 의료진의 도움 없이 스스로 선명한 안저 영상을 촬영할 수 있는 이점이 있다.
본 발명에 따르면, 촬영된 안저 영상이 병변 판독대상 안저 영상으로 부적합할 경우 안저 영상의 재촬영이 이루어질 수 있도록 구성되어 있어서 병변 판독대상 안저 영상으로싸 적합한 선명한 안저 영상을 얻을 수 있는 이점이 있다.
본 발명에 따르면, 안저 영상 촬영시 좌안과 우안을 동시에 촬영할 수 있도록 구성되어 있어서 양안의 안저 영상 모두 균등한 선명도 등을 얻을 수 있는 이점이 있다.
본 발명에 따르면, 병변 판독대상 안저 영상에 대하여 기계학습 알고리즘이나 딥러닝 알고리즘을 적용하여 병변을 판독함으로써, 의료진의 병변 진단을 지원하는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치의 구성도를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치의 디스플레이부 상에 표시되는 초점용 영상을 개략적으로 도시한 것이다.
도 3은 ECG 센서에 의해 측정된 ECG 신호를 개략적으로 도시한 것이다.
도 4는 PPG 센서에 의해 측정된 PPG 신호를 개략적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 피검사자의 초점을 수평으로 맞추는 과정을 개략적으로 설명한 도면이다.
도 6은 본 발명의 일 실시예에 따른 카메라에의 의해 촬영된 좌안의 안저 영상과 우안의 안저 영상을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 및 판독 장치의 구성도를 개략적으로 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 자가 안저 영상 촬영 및 판독 장치의 구성도를 개략적으로 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 및 판독 시스템의 구성도를 개략적으로 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치의 외관을 개략적으로 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치가 다른 지지 장치에 연결되어 있는 형태를 개략적으로 도시한 것이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 실시예를 통하여 본 발명을 좀 더 구체적으로 살펴보지만, 하기 예에 본 발명의 범주가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치의 구성도를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치의 디스플레이부 상에 표시되는 초점용 영상을 개략적으로 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치(100)는, 디스플레이부(110), 제1 센서부(120), 제2 센서부(130), 카메라부(140), 및 컴퓨팅부(C)를 포함할 수 있다.
상기 컴퓨팅부(C)는 제어부(150), 메모리(160), 스토리지(170), 입출력 인터페이스(184) 등을 포함할 수 있다. 상기 제어부(150)는 하나 이상의 프로세서를 포함할 수 있다.
도 2를 참조하면, 상기 디스플레이부(110)에는 안저 영상 촬영 전 피검사자의 초점을 맞추기 위한 초점용 영상이 표시된다.
상기 디스플레이부(110)는 좌안용 초점용 영상(L)이 표시되는 제1 영역(112)과, 우안용 초점용 영상(R)이 표시되는 제2 영역(114)를 포함할 수 있다. 상기 제1 영역(112)과 상기 제2 영역(114) 사이에는 벽(W)이 마련되어 있어서 양 영역은 물리적으로 분리되어 있다.
다시 도 1을 참조하면, 상기 제1 센서부(120)는 피검사자의 동공 상태를 측정할 수 있다. 상기 피검사자의 동공 상태는 상기 피검사자의 맥박으로 측정될 수 있다.
상기 제1 센서부(120)는 압력 센서, 온도 센서, 기계적 센서, 움직임 센서, 광 센서 및 전 자센서를 포함하는 임의의 적절한 센서 기술이 사용될 수 있으나 반드시 이에 한정되지 않는다. 다양한 실시예에 따르면, 예를 들어, EMG(Electro MyoGraphy) 센서, ECG(Electro CardioGram)센서, PPG(Pulse PlethysmoGram)센서 중 적어도 하나의 센서가 상기 제1 선세부(120)로 사용될 수 있다.
상기 ECG 센서는 EKG 센서로도 불리우는데, 신체 표면에서 측정가능한 심장의 전기적 활성단계를 반영하는 미약한 전기 신호인 심전도를 측정하는 센서이다.
도 3은 ECG 센서에 의해 측정된 ECG 신호를 개략적으로 도시한 것이다. 도 3에 도시된 바와 같이, R-R 간격이 얼마나 규칙적인지, 불규칙적인지에 따라서 일정한 저주파 영역과 불규칙한 고주파의 영역으로 구분될 수 있다.
시각적으로는, R파와 R파 사이의 간격이 균일해 보여도 실제 정량적으로 값을 추려내면 R-R 간격이 조금씩 변하고 있다. 정상인의 경우, R-R 간격의 변화는 자율신경계가 심장리듬 발생부에 길항 제어를 하기 때문에 발생한다. 따라서, R-R간격의 변화를 분석하면 자율신경계를 구성하는 교감신경계와 부교감 신경계의 활성 양상을 파악할 수 있다.
피검사자 긴장 상태인 경우, R-R 간격은 불규칙하게 나타난다. 따라서, 상기 ECG 센서를 통해 피검사자의 동공 상태가 긴장상태임을 확인할 수 있다.
상기 PPG 센서는 맥파를 측정하는 센서로서, 손목에 있는 노동맥(Radial Artery)의 흐름을 감지해 맥박을 측정한다.
도 4는 PPG 센서에 의해 측정된 PPG 신호를 개략적으로 도시한 것이다. 도 4에 도시된 IBI는 도 3에 도시된 R-R 간격과 마찬가지로 그 간격이 불규칙한 경우 피검사자는 긴장상태에 놓여 있는 것으로 판단될 수 있다.
한편, 제1 아날로그 프론트 엔드(Analog Front-end, 122)는 이득단(Gain, 122a)과 아날로그-디지털 컨버터(Analog-Digital Convertor, 122b)를 포함한다.
상기 제1 아날로그 프론트 엔드(122)는 상기 제1 센서부(120)와 전기적으로 연결되어 있고, 제 1 센서부(120)에서 감지한 신호를 디지털 신호로 변환하여 프로세서(제어부, 150)에 제공한다.
이득단(122a)은 단일 종단 차동 증폭기나 계측 증폭기로 구성되어 출력 신호범위가 협소한 제1 센서부(120)의 출력신호 폭을 조절할 수 있다.
아날로그-디지털 컨버터(122b)는 조절된 제 1센서부(120)의 출력 신호를 디지털 신호로 변환한다.
상기 프로세서(150)는 CPU, AP(Application Processor), 마이크로 컨트롤러, 디지털 신호 프로세서(DSP) 등일 수 있고, 또한, 기계학습 모델을 통하여 자동으로 프로세싱하는 프로세싱 모듈일 수 있으나 반드시 이에 한정되는 것은 아니다.
상기 프로세서(150)는 디스플레이 어뎁터(180)와 통신하여 자가 안저 촬영 장치의 동작 및 유저 인터페이스를 디스플레이 디바이스(미도시)에 표시할 수 있다.
본 발명의 실시예에 따른 자가 안저 영상 촬영 장치는, 네트워크 어뎁터(182)를 통해 메시지들, 데이터, 정보 및 하나 이상의 프로그램(즉, 애플리케이션 코드)을 포함하는 명령들을 송신하고 수신할 수도 있다.
상기 네트워크 어뎁터(182)는 네트워크 링크를 통한 송수신을 가능하게 하기 위한, 별개의 또는 통합된 안테나를 포함할 수도 있다. 상기 네트워크 어뎁터(182)는 네트워크에 접속하여 원격의 안저 영상 판독장치와 같은 원격 컴퓨팅 장치(미도시)와 통신할 수 있다. 네트워크는 LAN, WLAN, PSTN, 및 셀룰러 폰 네트워크 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
상기 네트워크 어뎁터(182)는 상기 네트워크에 접속하기 위한 네트워크 인터페이스 및 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 이동통신 모듈은 세대별 이동통신망(예를 들어, 2G 내지 5G 이동통신망)에 접속가능하다.
상기 메모리(160)는 본 발명의 실시예에 따른 자가 안저 영상 촬영 장치의 동작에 필요한 운영체제, 드라이버, 애플리케이션 프로그램, 데이터 및 데이터 베이스 등을 저장할 수 있으나 이에 한정되는 것은 아니다.
또한, 상기 메모리(160)는 RAM(Random Acces Memory)과 같은 휘발성 메모리, ROM(Read Only Memory) 및 플래시 메모리와 같은 비휘발성 메모리 형태로 컴퓨터 판독 가능한 매체를 포함할 수 있고, 또한, 디스크 드라이브 예를 들면, 하드 디스크 드라이브(Hard Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive), 광 디스크 드라이브 등을 포함할 수 있지만 이에 한정되지 않는다.
또한, 상기 메모리(160)는 전형적으로 이미징 데이터와 같은 데이터, 프로세서에 의해 동작되도록 즉시 접속될 수 있는 이미징 소프트웨어와 오퍼레이팅 시스템과 같은 프로그램 모듈을 포함할 수 있다.
상기 제2 센서부(130)는 자가 안저 영상 촬영 장치를 사용하고 있는 피검사자의 동공의 움직임이나 눈의 깜빡임, 눈의 시각 등을 추적할 수 있는 적어도 하나 의 센서를 포함할 수 있다.
본 명세서에서 기술된 동공 영상이란 상기 제 1센서부(120) 또는 제2 센서부(130)를 통해 얻어질 수 있는 동공 상태의 영상을 의미하거나, 전체 아이 트랙킹(eye tracking)을 위한 동공 영상을 의미한다.
상기 제2 센서부(130)는 움직임 센서, 광센서 및 전자 센서를 포함하는 임의의 센서 기술이 사용될 수 있으나 반드시 이에 한정되지 않는다. 다양한 실시예 중 하나로써 EOG(Electro OculoGram) 센서가 상기 제2 센서부(130)로써 사용될 수 있으며,상기 EOG 센서는 피검사자의 안전위도를 측정한다.
상기 제2 센서부(130)는 좌안용 센서와 우안용 센서를 포함할 수 있다. 이 때, 상기 좌안용 센서는 바람직하게는 적어도 하나, 보다 바람직하게는 적어도 두 개일 수 있고, 상기 우안용 센서 역시 바람직하게는 적어도 하나, 보다 바람직하게는 적어도 두 개일 수 있다.
피검사자의 동공의 크기가 꺼졌을 때 안저 영상이 촬영되어야 병변 판독대상 안저 영상으로써 적합한 선명도 등을 가질 수 있다.
본 명세서에서 기술된 안저 영상이란, 눈의 병변을 찾기 위하여 촬영한 영상을 의미하는 것으로, 스틸 이지미(still image)나 모션 이미지(motion image)일 수 있다.
본 발명에서는 피검사자의 동공 크기가 커졌을 때를 확인하기 위하여 앞서 설명한 바와 같이 ECK나 PPG 센서를 통해 피검사자의 맥박이 불규칙하게 뛰고 있는지를 확인한다. 또한, EOG 센서를 통해 피검사자의 눈이 깜빡였는지를 확인한 후 피검사자의 안저 영상을 촬영하도록 구성되어 있다. 즉, 눈 깜빡임이 없는 시점에 안저 영상을 촬영하도록 구성되어 있다.
상기 카메라부(140)는 오브젝트의 이미지를 촬상하고 그 이미지를 광전자적으로 이미지 신호로 변환하는 이미지 센서(미도시)를 포함하고, 피검사자의 동공 영상과 안저 영상을 촬영한다. 촬영된 피검사자의 동공 영상은 제어부(프로세서, 150)에 제공되어 이미지 프로세싱 또는 기계학습 모델에 기초하여 처리된다.
또한, 상기 카메라부(140)는 피검사자의 안저 영상을 촬영하기 전에 피검사자의 동공 크기가 안저 영상을 촬영하기에 적합한지를 판단하기 위한 목적으로 상기 피검사자의 동공 영상을 촬영한다.
다양한 실시예 중 하나로써 펀더스 카메라(Fundus Camera)가 상기 카메라부(140)로써 사용될 수 있다.
상기 제어부(150)는 상기 제1 센서부의 측정값, 상기 제2 센서부의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 상기 카메라부(140)를 제어한다.
즉, 상기 제어부(150)는 상기 제1 센서부(120)에 의해 측정된 상기 피검사자의 맥박이 불규칙하고, 상기 카메라부(140)에 의해 촬영된 상기 피검사자의 동공 영상에서의 동공 크기가 미리 설정된 동공 영상에서의 동공 크기 이상이며, 상기 제2 센서부(130)의 측정에 의해 상기 피검사자의 눈 깜빡임이 없는 경우, 상기 피검사자의 안저 영상을 촬영하도록 카메라부(140)를 제어할 수 있다.
이 때, 상기 제어부(150)는 기계학습 모델 또는 DSP(Digital Signal Processor) 알고리즘에 기초하여, 상기 카메라부(140)에 의해 촬영된 상기 피검사자의 동공 영상에서의 동공 크기가 미리 설정된 동공 영상에서의 동공 크기 이상인지 여부를 판단할 수 있다.
안저 영상을 촬영하기 위한 가장 적절한 시기를 파악하기 위해, 상기 설명한 동공 크기 이외에도 여러 가지 동공 상태 정보가 이용될 수 있다.
기계학습 알고리즘의 하나인 딥러닝 알고리즘에는 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN) 등 다양한 모델이 존재한다.
심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망(DNN)은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다.
예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.
합성곱 신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, 합성곱 신경망(CNN)은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. 합성곱 신경망(CNN)은 또한 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망(CNN)은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
딥 러닝에서는 합성곱 심층 신뢰 신경망(Convolutional Deep Belief Network, CDBN)가 개발되었는데, 기존 합성곱 신경망(CNN)과 구조적으로 매우 비슷해서, 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰 신경망(Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다.
합성곱 심층 신뢰 신경망(CDBN)은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.
순환 신경망(Recurrent Neural Network, RNN)은 인공신경망을 구성하는 유닛 사이의 연결이 다이렉티드 사이클(directed cycle)을 구성하는 신경망을 말한다. 순환 신경망은 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다.
DSP 알고리즘을 통해 디지털 이미지 신호에 대해서 이미지 합성(Image Synthesis) 및 화이트 밸런싱(White Balancing)와 같은 여러가지 형태의 이미지 프로세싱을 수행한다.
상기 제어부(150)는 피검사자의 좌안의 안저 영상과 우안의 안저 영상 중 일 안저 영상을 먼저 촬영하고, 이후 나머지 안저 영상을 촬영하도록 상기 카메라부(140)를 제어할 수 있다.
상기 제어부(150)는 상기 디스플레이부(110)에 표시되는 상기 좌안용 초점용 영상(L)과 상기 우안용 초점용 영상(R)이 서로 멀어지도록 상기 좌안용 초점용 영상(L)과 상기 우안용 초점용 영상(R)을 제어할 수 있다. 이에 대하여 도 5를 참조하여 자세히 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 피검사자의 초점을 수평으로 맞추는 과정을 개략적으로 설명한 도면이다.
도 5를 참조하면, 디스플레이부(110) 상에 좌안용 초점용 영상(L)과 우안용 초점용 영상(R)이 제1 영역(112)과 제2 영역(112)에 각각 표시되어 있다. 이 경우 피검사자의 초점은 영역 S에 형성된다.
그런데, 상기 좌안용 초점용 영상(L)과 상기 우안용 초점용 영상(R)을 서로 멀어지도록 이동시키면, 피검사자의 초점은 영역 S'에 형성된다. 따라서, 초점이 S 영역에 형성된 경우와 비교하면, 피검사자의 초점은 수평 상태에 가깝게 된다.
피검사자의 초점이 수평 상태에 가깝게 되면, 피검사자의 좌안의 안저 영상과 우안의 안저 영상을 동시에 촬영이 가능한 상태가 된다.
상기 제어부(150)는 좌안의 안저 영상과 우안의 안저 영상을 동시에 촬영이 가능한 상태가 되었을 때 상기 카메라부(140)가 좌안과 우안의 안저 영상을 동시에 촬영하도록 제어할 수 있다. 이를 통해, 좌안과 우안 모두 선명한 안저 영상을 얻을 수 있으며, 이러한 양안의 안저 영상은 도 6에 도시되어 있다.
한편, 상기 제어부(150)는 이렇게 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정한다. 예를 들어, 미리 설정된 안저 영상의 정보는 안저 영상에서 기본적으로 보이는 눈의 조직(vessel, fovea, optic disc, macula), 안저 영상의 컨트라스트(contrast)나 브라이트니스(brightness)를 포함할 수 있다. 상기 열거된 정보는 일 예시일 뿐 반드시 이에 한정되는 것은 아니다.
보다 상세하게는, 상기 제어부(150)는 기계학습 모델을 적용하여, 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인지 여부를 판단할 수 있다.
앞서 설명한 기계 학습 알고리즘은 안저 영상 내의 이미지를 검출하고, 분류하며, 특징을 학습하는 등 충분한 반복(iteration)을 거치면, 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인지 여부를 정확도 높게 판단할 수 있다
판단 결과, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 밖인 경우, 상기 제어부(150)는 상기 피검사자의 안저 영상을 재촬영하도록 카메라부(140)를 제어할 수 있다.
판단 결과, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우, 상기 제어부(150)는 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 및 판독 장치의 구성도를 개략적으로 도시한 것이다.
도 7을 참조하면, 자가 안저 영상 촬영 및 판독 장치(200)는 디스플레이부(210), 제1 센서부(220), 제2 센서부(230), 카메라부(240), 및 컴퓨팅부(C)를 포함할 수 있다. 상기 컴퓨팅부(C)는 제어부(250), 메모리(260), 스토리지(270), 입출력 인터페이스(284)등을 포함할 수 있다. 상기 제어부(150)는 하나 이상의 프로세서를 포함할 수 있다.
상기 디스플레이부(210), 상기 제1 센서부(220), 상기 제2 센서부(230), 상기 카메라부(240)는 상기 도 1 내지 6을 참조하면 설명한 내용과 동일하므로, 그 설명을 생략하기로 한다.
상기 제어부(250)는 앞서 도 1 내지 6을 참조하여 설명한 제어부(150)와 동일한 기능을 수행하고, 추가로, 병변 판독대상 안저 영상으로 결정된 안저 영상으로부터 병변을 판독한다.
이때, 상기 제어부(250)는 기계학습 알고리즘을 적용하여 안저 영상으로부터 병변을 판독함으로써 의료진의 진단을 지원할 수 있다. 기계학습 알고리즘에 대한 내용은 앞서 설명한 바와 동일하므로, 그 설명은 생략하기로 한다.
도 8은 본 발명의 다른 실시예에 따른 자가 안저 영상 촬영 및 판독 장치의 구성도를 개략적으로 도시한 것이다.
도 8을 참조하면, 자가 안저 영상 촬영 및 판독 장치(300)는 제1 디스플레이부(310), 제1 센서부(320), 제2 센서부(330), 카메라부(340), 컴퓨팅부(C) 및 제2 디스플레이부(390)를 포함할 수 있다.
상기 컴퓨팅부(C)는 제어부(350), 메모리(360), 스토리지(370), 입출력 인터페이스(384) 등을 포함할 수 있다. 상기 제어부(350)는 하나 이상의 프로세서를 포함할 수 있다.
상기 제1 디스플레이부(310), 상기 제1 센서부(320), 상기 제2 센서부(330), 상기 카메라부(340), 상기 제어부(350)는 도 7을 참조하여 설명하였던 내용과 동일하므로, 이에 대한 설명은 생략하기로 한다.
상기 제2 디스플레이부(390)는 상기 제어부(350)가 기계학습 알고리즘을 적용하여 상기 피검사자의 병변 판독대상 안저 영상으로부터 병변을 판독하면, 그 판독 결과를 표시할 수 있다.
상기 제2 디스플레이부(390)는, 자가 안저 영상 촬영 및 판독 장치(300) 내부에 마련되어 있는 제1 디스플레이부(310)와 달리 상기 자가 안저 영상 촬영 및 판독 장치(300)의 외부에 마련될 수 있어서, 자가 안저 영상 촬영을 마친 피검사자가 자신의 안저 영상에 대한 판독 결과를 손쉽게 확인할 수 있다.
도 9는 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 및 판독 시스템의 구성도를 개략적으로 도시한 것이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 및 판독 시스템(1000)은 자가 안저 영상 촬영 장치(1100) 및 병변 판독 장치(1200)를 포함할 수 있다.
상기 자가 안저 영상 촬영 장치(1100)는 초점용 영상이 표시되는 디스플레이부(1100), 피검사자의 동공 상태를 측정하는 제1 센서부(1120), 상기 피검사자의 눈꺼풀의 깜빡임을 측정하는 제2 센서부(1130), 상기 피검사자의 동공 영상 및 상기 피검사자의 안저 영상 중 적어도 하나를 촬영하는 카메라부(1140), 및 상기 제어부(1150)을 포함할 수 있다.
상기 제어부(1150)는 상기 제1 센서부(1110)의 측정값, 상기 제2 센서부(1120)의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 카메라부(1140)를 제어하고, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정할 수 있다.
디스플레이부(1100), 제1 센서부(1120), 제2 센서부(1130), 상기 카메라부(1140), 상기 제어부(1150)에 대한 설명은 앞서 도 1 내지 6을 참조하면 설명한 내용과 동일하므로, 그 설명을 생략하기로 한다.
상기 병변 판독 장치(1200)는 상기 자가 안저 영상 촬영 장치(1110)와 유무선 통신망으로 연결되어 있다.
상기 유무선 통신망은, 예를 들어 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct 등 있다.
상기 병변 판독 장치(1200)는 상기 자가 안저 영상 촬영 장치(1110)으로부터 송신된 병변 판독대상 안저 영상을 수신하여 상기 병변 판독대상 안저 영상으로부터 병변을 판독할 수 있다.
판독 결과는 상기 병변 판독 장치(1200)에 마련된 디스플레이부(미도시)에 표시될 수 있다. 또 다르게, 판독 결과는 원격의 다른 디바이스(미도시)나 상기 자가 안저 영상 촬영 장치(1110)로 전송될 수 있다.
도 10은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치의 외관을 개략적으로 도시한 것이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치(400)는 본체부(410)와 상기 본체부(400)에 회전가능하게 부착되어 있는 손잡이부(420)를 포함할 수 있다
상기 손잡이부(420)에는 앞서 설명한 제1 센서부가 마련되어 있을 수 있으나 반드시 이에 한정되는 것은 아니다. 손잡이부에 상기 제1 센서부가 마련된 경우, 피검사자가 상기 손잡이부(420)를 잡고 있는 동안, 상기 제1 센서부에 의해 피검사자의 긴장상태, 즉 맥박의 불규칙성 여부가 측정될 수 있다.
도 11은 본 발명의 일 실시예에 따른 자가 안저 영상 촬영 장치가 다른 지지 장치에 연결되어 있는 형태를 개략적으로 도시한 것이다.
도 11을 참조하면, 본 발명에 따른 자가 안저 영상 촬영 장치(600)는 접이식 암(710)을 구비한 지지장치(700)에 부착되어 있다.
피검사자는 상기 지지장치(700)에 위치한 후 상기 지지장치(700)에 부착되어 있는 자가 안저 영상 촬영 장치(600)를 피검사자의 눈의 위치에 맞게 고정시킨 후 안저 영상 촬영을 진행할 수 있다. 이때, 상기 지지장치(700)는 접이식 암(710)을 구비하고 있어 피검사자는 눈의 적절한 위치에 자가 안저 영상 촬영 장치(600)를 위치시킬 수 있다.
피검사자가 자신의 눈의 적절한 위치에 상기 자가 안저 영상 촬영 장치(600)를 위치시키기만 하면, 의료진의 도움 없이도 피검사자의 동공의 크기가 확대되었을 때 선명도가 높은 안저 영상 등이 촬영될 수 있다.
또한, 상기 촬영된 안저 영상이 병변 진단 대상 안저 영상으로 사용될 수 있는 지 여부가 기계학습 알고리즘에 기초하여 판단되며, 병변 진단 대상 영상에 대하여 안과 질환에 대한 판독이 기계학습 알고리즘에 기초하여 이루어질 수 있는 이점이 있다.
이를 보다 구체적으로 설명하면 다음과 같다.
피검사자가 자가 안저 영상 촬영 장치(600)를 자신의 얼굴에 위치시키면, 자가 안저 영상 촬영 장치(600)의 EOG 센서가 동공 전체를 트랙킹한다. 이 후, ECG 센서나 PPG 센서가 동공 확장 여부를 확인하기 위하여 동공 영상을 트래킹하고, 피검사자의 동공이 디스플레이부에 표시된 초점용 영상을 응시할 때, 싱글 안(Single mode)으로 촬영할 지 양안(Dual Mode)으로 촬영할 지 제어부(DSP)에서 초점용 영상을 제어하고, 이 상태에서,EOG 센서는 눈 깜빡임을 감지하게 된다.
이런 트랙킹 또는 감지 상태에서 안저 영상 촬영의 최적 조건이 만족되면, 피검사자의 안저 영상이 촬영되고, 촬영된 안저 영상 이미지는 DSP 알고리즘을 이용하여 미리 설정된 안저 영상과 비교 판단되거나 기계학습 모델을 통해 안저 영상의 적합도(병변 진단대상 안저 영상으로서의 굿(Good) 또는 푸어(Poor))가 판단된다.
병변 진단대상 안저 영상으로서 적합하지 않은 경우, 안저 영상의 재촬영이 이루어진다.
이와 같은 자가 안저 영상 촬영 장치를 이용한 안저 영상 촬영 방법은 일 예시일 뿐 본 발명이 반드시 이에 한정되는 것은 아니다. 앞서 설명한, 안저 영상 촬영을 위한 최적 조건의 만족은 동시에 이루어질 수도 있고, 순차적으로 이루어질 수도 있다.
이상에서는 본 발명의 특정의 바람직한 실시예에 대하여 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변형은 청구 범위 기재의 범위 내에 있게 된다.
100 자가 안저 영상 촬영 장치
110 디스플레이부
120 제1 센서부
130 제2 센서부
140 카메라부
150 제어부
160 메모리
170 스토리지
200, 300 자가 안저 영상 촬영 및 판독 장치
1000 자가 안저 영상 촬영 및 판독 시스템

Claims (21)

  1. 좌안용 초점용 영상 및 우안용 초점용 영상이 표시되는 디스플레이부;
    피검사자의 동공 상태를 측정하는 제1 센서부;
    상기 피검사자의 눈 깜빡임을 측정하는 제2 센서부;
    상기 피검사자의 동공 영상 및 상기 피검사자의 안저 영상 중 적어도 하나를 촬영하는 카메라부; 및
    상기 제1 센서부의 측정값, 상기 제2 센서부의 측정값, 상기 피검사자의 동공 영상에 기초하여 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어하고, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정하는 제어부를 포함하고,
    상기 제어부는 상기 디스플레이부에 표시되는 상기 좌안용 초점용 영상과 상기 우안용 초점용 영상이 서로 멀어지도록 상기 좌안용 초점용 영상과 상기 우안용 초점용 영상을 제어하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  2. 제1 항에 있어서,
    상기 피검사자의 동공 상태는 상기 피검사자의 맥박으로 측정되는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  3. 제1 항에 있어서,
    상기 제1 센서부는 ECG(Electro-CardioGram) 센서 또는 PPG(Pulse-PlethysmoGram) 센서를 포함하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  4. 제1 항에 있어서,
    상기 제2 센서부는,
    적어도 하나의 좌안용 센서 및 우안용 센서;를 포함하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  5. 제1 항에 있어서,
    상기 제2 센서부는 EOG(Electro OculoGram) 센서를 포함하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  6. 삭제
  7. 제1 항에 있어서,
    상기 제어부는 피검사자의 좌안의 안저 영상과 우안의 안저 영상 중 일 안저 영상을 먼저 촬영하고, 이후 나머지 안저 영상을 촬영하도록 상기 카메라부를 제어하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  8. 삭제
  9. 제1 항에 있어서,
    상기 제어부는 피검사자의 좌안의 안저 영상과 우안의 안저 영상을 동시에 촬영하도록 상기 카메라부를 제어하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  10. 제1 항에 있어서,
    상기 제어부는 상기 카메라부에 의해 촬영된 상기 피검사자의 동공 영상에서의 동공 크기가 미리 설정된 동공 영상의 동공 크기 이상이고, 상기 제2 센서부의 측정에 의해 상기 피검사자의 눈깜박임이 없는 경우, 상기 피검사자의 안저 영상을 촬영하도록 카메라부를 제어하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  11. 제10 항에 있어서,
    상기 제어부는 기계학습 알고리즘 또는 DSP 알고리즘에 기초하여, 상기 카메라부에 의해 촬영된 상기 피검사자의 동공 영상에서의 동공 크기가 미리 설정된 동공 영상의 동공 크기 이상인지 여부를 판단하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  12. 제1 항에 있어서,
    상기 제어부는 기계학습 알고리즘에 기초하여, 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인지 여부를 판단하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  13. 제12 항에 있어서,
    상기 제어부는 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 밖인 경우, 상기 피검사자의 안저 영상을 재촬영하도록 카메라부를 제어하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  14. 제12 항에 있어서,
    상기 제어부는 촬영된 상기 피검사자의 안저 영상이 미리 설정된 안저 영상의 정보 범위 내인 경우, 촬영된 상기 피검사자의 안저 영상을 병변 판독대상 안저 영상으로 결정하는 것을 특징으로 하는 자가 안저 영상 촬영 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020180156711A 2018-12-07 2018-12-07 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템 KR102184761B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180156711A KR102184761B1 (ko) 2018-12-07 2018-12-07 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템
PCT/KR2019/017258 WO2020117021A1 (ko) 2018-12-07 2019-12-09 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치 및 자가 안저 영상 촬영 및 판독 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156711A KR102184761B1 (ko) 2018-12-07 2018-12-07 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템

Publications (2)

Publication Number Publication Date
KR20200069547A KR20200069547A (ko) 2020-06-17
KR102184761B1 true KR102184761B1 (ko) 2020-11-30

Family

ID=70974951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180156711A KR102184761B1 (ko) 2018-12-07 2018-12-07 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템

Country Status (2)

Country Link
KR (1) KR102184761B1 (ko)
WO (1) WO2020117021A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397656B2 (ja) * 2007-11-08 2014-01-22 株式会社ニデック 眼底カメラ
JP2016140636A (ja) * 2015-02-04 2016-08-08 株式会社ニデック 眼科装置、眼科システム、および眼科撮影プログラム
WO2017057631A1 (ja) * 2015-10-01 2017-04-06 株式会社夏目綜合研究所 明暗、呼吸及び脈拍の影響を排除する視認者情感判定装置、視認者情感判定システム及びプログラム
JP2018121886A (ja) * 2017-01-31 2018-08-09 株式会社ニデック 画像処理装置、および画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984764A (ja) * 1995-09-20 1997-03-31 Terumo Corp 眼底カメラの対物アダプタ、眼底カメラ装置、眼底カメラ用画像処理装置、および眼底カメラの制御方法
KR101930924B1 (ko) * 2017-02-17 2018-12-20 주식회사 씨엠랩 안과용 촬영장치
KR101848322B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 소견 및 진단 정보의 생성을 위하여 판독을 지원하는 방법 및 이를 이용한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397656B2 (ja) * 2007-11-08 2014-01-22 株式会社ニデック 眼底カメラ
JP2016140636A (ja) * 2015-02-04 2016-08-08 株式会社ニデック 眼科装置、眼科システム、および眼科撮影プログラム
WO2017057631A1 (ja) * 2015-10-01 2017-04-06 株式会社夏目綜合研究所 明暗、呼吸及び脈拍の影響を排除する視認者情感判定装置、視認者情感判定システム及びプログラム
JP2018121886A (ja) * 2017-01-31 2018-08-09 株式会社ニデック 画像処理装置、および画像処理プログラム

Also Published As

Publication number Publication date
KR20200069547A (ko) 2020-06-17
WO2020117021A1 (ko) 2020-06-11

Similar Documents

Publication Publication Date Title
US11604367B2 (en) Smartglasses with bendable temples
KR102265934B1 (ko) 모바일 단말을 이용한 맥파 신호 및 스트레스 측정 방법 및 장치
US10004410B2 (en) System and methods for measuring physiological parameters
US20220175325A1 (en) Information processing apparatus, information processing method, information processing system, and program
Lamonaca et al. Health parameters monitoring by smartphone for quality of life improvement
US10346601B2 (en) Biometric information acquisition method and device for same
WO2017019299A1 (en) Altering physiological signals based on patient movement
KR101637314B1 (ko) 안구 촬영 장치 및 방법
KR102416878B1 (ko) 심박수 측정을 위한 헬스케어 장치
Kumar et al. PulseCam: High-resolution blood perfusion imaging using a camera and a pulse oximeter
JP2023016933A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
KR102435808B1 (ko) 스트레스 지수 측정을 위한 헬스케어 장치
WO2021084488A1 (en) Smartglasses for detecting physiological parameters
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
US10835120B2 (en) Extended medical test system
CN106725295A (zh) 一种微型体检设备、装置及其使用方法
US20230096006A1 (en) Methods and systems for automated clinical workflows
US20210390692A1 (en) Detecting and tracking macular degeneration
KR102184761B1 (ko) 자가 안저 영상 촬영 장치, 자가 안저 영상 촬영 및 판독 장치, 및 자가 안저 영상 촬영 및 판독 시스템
KR102397941B1 (ko) 혈압을 추정하는 방법 및 장치
CN108720825A (zh) 一种基于多摄像头的非接触式生命体征参数的无缝检测方法
Tiwari et al. Non-invasive monitoring of health using sensor-rich wearables and smart devices
KR102473744B1 (ko) 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법
TWI839124B (zh) 光學斷層掃描自測系統、光學斷層掃描方法及眼部病變監控系統
US20210386287A1 (en) Determining refraction using eccentricity in a vision screening system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant