KR20210065732A - 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 - Google Patents
다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 Download PDFInfo
- Publication number
- KR20210065732A KR20210065732A KR1020190154823A KR20190154823A KR20210065732A KR 20210065732 A KR20210065732 A KR 20210065732A KR 1020190154823 A KR1020190154823 A KR 1020190154823A KR 20190154823 A KR20190154823 A KR 20190154823A KR 20210065732 A KR20210065732 A KR 20210065732A
- Authority
- KR
- South Korea
- Prior art keywords
- pupil
- image
- comment
- user
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 34
- 210000001508 eye Anatomy 0.000 title claims description 71
- 210000000744 eyelid Anatomy 0.000 claims abstract description 82
- 230000036541 health Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 34
- 238000003745 diagnosis Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 230000003862 health status Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 208000002173 dizziness Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001720 vestibular Effects 0.000 description 2
- 208000008811 Agoraphobia Diseases 0.000 description 1
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000013016 Hypoglycemia Diseases 0.000 description 1
- 208000001089 Multiple system atrophy Diseases 0.000 description 1
- 206010031127 Orthostatic hypotension Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002218 hypoglycaemic effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 208000019906 panic disease Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000001515 vagal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
- A61B5/4023—Evaluating sense of balance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0033—Operational features thereof characterised by user input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Nursing (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Emergency Management (AREA)
- Emergency Medicine (AREA)
- Critical Care (AREA)
- Business, Economics & Management (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
Abstract
본 발명의 일 실시예에 따른 동공 추적 방법은, (a) 눈에서 상측 눈꺼풀과 하측 눈꺼풀이 감지되어, 눈의 개방 정도가 감지되는 단계; (b) 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공이 감지되는 단계; (c) 동공 좌표가 감지된 동공에 대하여 생성되는 단계; 및 (d) 동공 좌표에서 동공의 일 지점에 대한 좌표값이 산출되는 단계를 포함하는 것을 특징으로 할 수 있다.
Description
본 발명은 동공 추적 방법 및 이를 이용한 건강 진단 시스템에 관한 것으로서, 보다 상세하게는, 상이한 눈 크기 및 메이크업 등과 같은 다양한 상태를 갖는 사람들의 동공을 추적할 수 있고, 추적된 동공의 움직임을 통해 건강 진단을 가능하도록 하는 동공 추적 방법 및 이를 이용한 건강 진단 시스템에 관한 것이다.
어지럼증은 많은 사람들이 겪는 흔한 증상으로써, 만성화되거나 반복적으로 발작하여 일상생활에 심각한 문제를 일으킬 수 있다. 이러한 어지럼증은 그 원인을 귀 문제, 뇌 문제, 내과적 문제 및 심리적 문제 이렇게 4가지로 나눌 수 있다. 우리가 일상생활을 불편 없이 할 수 있는 것은 귓속의 전정기관이 신체의 평형을 유지하기 때문인 데, 귀 문제로 인해 전정기관의 이상이 생김으로써, 어지럼증이 발생됩니다. 언어 장애, 인지능력 및 운동 능력의 저하가 동반되는 경우는 뇌 문제로 인한 어지럼증일 수 있다. 또한, 부정맥, 저혈당, 기립성저혈압, 미주신경실신 등이 동반된 어지럼증은 내과적 문제가 원인일 수 있고, 공황장애, 광장공포증, 불안장애, 우울증 등이 동반된 어지럼증은 심리적 문제가 원인일 수 있다.
한편, 뇌 문제로 인한 어지럼증은 치매를 일으키는 알츠하이머병과 같은 뇌질환에 연관되고, 안구의 운동을 통해 확인될 수 있다. 이러한 안구의 운동을 확인하기 위하여, 일반적으로 동공을 추적하는 방식이 이루어진다. 동공을 추적하기 위한 장비는 일반적으로 고가이기에, 대형 의료 기관을 제외하고는 의료 기관에서도 설치하여 이용하는 데에 부담스러운 실정이다. 또한, 동공을 추적하기 위한 장비는 고가이지만, 대부분 눈이 큰 사람을 기준으로 설계되어 눈이 작은 사람의 동공을 추적하는 데에 어려움이 있고, 눈 주위의 메이크업이 이루어진 부분과 동공을 구분하지 못하여 메이크업을 한 사람의 동공을 추적하는 데에도 어려움이 있다. 여기서, 눈 주위의 메이크업은 눈 주위에 적용되는 아이라인, 속눈썹, 문신 등을 포함한 다양한 미용 시술 및 수술을 의미한다. 이로 인해, 동공 추적을 위하여 사람들은 눈을 크게 뜨고, 메이크업도 지워야 하는 번거로움이 있는 실정이다.
본 발명의 기술적 사상에 따른 동공 추적 방법 및 이를 이용한 건강 진단 시스템이 이루고자 하는 기술적 과제는, 메이크업이 적용되고 동공의 일부분이 가려진 눈에 대한 동공 추적을 가능하도록 하는 동공 추적 방법 및 이를 이용한 건강 진단 시스템을 제공하는 것이다.
또한, 본 발명의 기술적 사상에 따른 동공 추적 방법 및 이를 이용한 건강 진단 시스템이 이루고자 하는 기술적 과제는, 동공 추적을 통해 건강 상태를 원격으로도 확인할 수 있도록 하는 동공 추적 방법 및 이를 이용한 건강 진단 시스템을 제공하는 것이다.
또한, 본 발명의 기술적 사상에 따른 동공 추적 방법 및 이를 이용한 건강 진단 시스템이 이루고자 하는 기술적 과제는, 저렴한 비용으로 건강 상태를 확인할 수 있도록 하는 동공 추적 방법 및 이를 이용한 건강 진단 시스템을 제공하는 것이다.
본 발명의 기술적 사상에 따른 동공 추적 방법 및 이를 이용한 건강 진단 시스템이 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 기술적 사상에 의한 일 실시예에 따른 동공 추적 방법은, (a) 눈에서 상측 눈꺼풀과 하측 눈꺼풀이 감지되어, 눈의 개방 정도가 감지되는 단계; (b) 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공이 감지되는 단계; (c) 동공 좌표가 감지된 동공에 대하여 생성되는 단계; 및 (d) 동공 좌표에서 동공의 일 지점에 대한 좌표값이 산출되는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, (a) 단계는, 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분을 감지하는 단계를 포함하고, 합성곱 신경망을 통해 이루어질 수 있다.
또한, (b) 단계에서, 눈의 개방 정도가 동공이 가시성을 갖도록 상측 눈꺼풀과 하측 눈꺼풀이 이격된 상태일 때, 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공이 감지될 수 있다.
본 발명의 기술적 사상에 의한 일 실시예에 따른 건강 진단 시스템은, 이용자의 눈을 감지하여, 눈의 개방 정도 및 개방된 눈의 통한 동공을 감지하고, 감지된 눈에 대한 영상을 생성하는 감지부; 감지부에 연결되며, 감지부로부터 영상에 따른 영상 신호를 전송받고 영상 신호에 따른 영상을 저장하는 제어부; 및 제어부에 연결되어 제어부로부터 영상에 따른 영상 신호를 전송받고 영상 신호에 따른 영상을 출력할 수 있고, 코멘트를 입력받을 수 있는 전문가 단말기를 포함하되, 감지부는 눈에서 상측 눈꺼풀과 하측 눈꺼풀을 감지하여 눈의 개방 정도를 감지하고, 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공을 감지하며, 전문가 단말기는 코멘트를 입력받아 코멘트에 따른 코멘트 신호를 제어부로 전송하는 것을 특징으로 할 수 있다.
또한, 감지부는, 이용자의 눈을 감지하되, 눈에 상측 눈꺼풀과 하측 눈꺼풀을 감지하여, 눈의 개방 정도를 감지하는 개방 감지부; 개방 감지부에서 감지된 상측 눈꺼풀과 하측 눈꺼풀 사이의 동공을 감지하는 동공 감지부; 동공 감지부에 감지된 동공에 따른 동공 좌표를 생성하고, 동공의 일 지점에 따른 좌표를 산출하는 연산부; 및 개방 감지부, 동공 감지부 및 연산부에 연결되어, 개방 감지부에 감지된 상측 눈꺼풀 및 하측 눈꺼풀과 동공 감지부에 감지된 동공에 대한 영상을 생성하고, 연산부에서 산출된 동공의 일 지점의 좌표값을 영상에 포함하며, 신호를 전송하거나 전송받을 수 있는 처리부를 포함할 수 있다.
또한, 처리부가 영상에 따른 영상 신호를 생성하여 제어부에 전송하고, 제어부는 이용자가 건강 이상 상태일 때 대응되는 동공의 움직임을 포함한 영상에 따른 영상 신호를 전송받아 영상 신호를 전문가 단말기로 전송하며, 전문가 단말기는 전송받은 영상 신호에 따른 영상을 출력하고, 출력된 영상에 따른 코멘트를 입력받아 코멘트에 따른 코멘트 신호를 생성하여 제어부로 전송할 수 있다.
또한, 건강 진단 시스템은, 제어부에 연결되어, 제어부로부터 신호를 전송받을 수 있는 보호자 단말기를 더 포함하되, 제어부는 이용자가 건강 이상 상태일 때 대응되는 동공의 움직임을 포함한 영상에 따른 영상 신호를 전송받아 영상 신호를 보호자 단말기로 전송하며, 전문가 단말기로부터 전송받은 코멘트에 따른 코멘트 신호를 보호자 단말기로 전송하고, 보호자 단말기는 전송받은 영상 신호에 따른 영상 및 코멘트 신호에 따른 코멘트를 출력할 수 있다.
또한, 감지부는, 명령 음성을 출력할 수 있는 음성 출력부를 더 포함하되, 음성 출력부는 이용자의 동공의 움직임을 유도하도록 명령 음성을 출력할 수 있다.
또한, 개방 감지부는 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분을 감지할 수 있다.
또한, 개방 감지부가 동공이 가시성을 갖도록 상측 눈꺼풀과 하측 눈꺼풀이 이격된 눈의 개방 정도를 감지할 때, 동공 감지부는 상측 눈꺼풀과 하측 눈꺼풀 사이에 동공을 감지할 수 있다.
본 발명의 기술적 사상에 의한 실시예들에 따른 동공 추적 방법 및 이를 이용한 건강 진단 시스템은 하기와 같은 효과를 가진다.
(1) 메이크업이 적용되고 동공의 일부분이 가려진 눈에 대한 동공 추적이 이루어질 수 있다.
(2) 동공 추적을 통해 원격으로도 건강 상태가 확인될 수 있다.
(3) 건강상태가 저렴한 비용으로도 확인될 수 있다.
다만, 본 발명의 일 실시예에 따른 동공 추적 방법 및 이를 이용한 건강 진단 시스템이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 동공 추적 방법을 도시하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 건강 진단 시스템을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 건강 진단 시스템의 감지부의 일 예를 도시한다.
도 1은 본 발명의 일 실시예에 따른 동공 추적 방법을 도시하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 건강 진단 시스템을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 건강 진단 시스템의 감지부의 일 예를 도시한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부'로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 발명의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 동공 추적 방법을 도시하는 흐름도이다.
도 1에 도시된 본 발명의 일 실시예에 따른 동공 추적 방법은 개방된 상태의 눈에서 동공을 감지하여 동공의 움직임을 추적할 수 있다. 여기서, 본 실시예에 따른 동공 추적 방법은 눈의 개방된 크기에 상관없이 개방된 눈에 대한 동공을 감지하고 동공의 움직임을 추적할 수 있다.
우선, 눈의 개방 정도가 감지되는 단계(S101)가 이루어질 수 있다. S101 단계는 눈에서 상측 눈꺼풀과 하측 눈꺼풀을 감지할 수 있다. 상측 눈꺼풀의 하단이 하측 눈꺼풀의 상단에 연결된 상태에서 상측 눈꺼풀과 하측 눈꺼풀 사이의 간격을 통해 눈의 개방 정도는 결정될 수 있다. 여기서, 상측 눈꺼풀과 하측 눈꺼풀은 합성곱 신경망(convolutional neural network; CNN)을 통해 3차원으로 감지될 수 있고, 눈의 개방 정도가 감지될 수 있다. 합성곱 신경망은 적어도 하나의 콘볼루션 계층(convolutional layer), 통합 계층(pooling layer) 및 완전하게 연결된 계층(fully connected layer)들로 구성될 수 있다.
실제로 상측 눈꺼풀과 하측 눈꺼풀이 상호 간에 이격된 상태에서, 안구의 일부는 상측 눈꺼풀과 하측 눈꺼풀 사이를 통해 노출될 수 있다. 눈의 개방 정도는 폐쇄 상태(closed state), 부분 개방 상태(semi opened state) 및 완전 개방 상태(wide opend state)로 나뉘어질 수 있다. 여기서, 폐쇄 상태는 안구의 동공이 상측 눈꺼풀과 하측 눈꺼풀에 완전히 가려져 가시성을 갖지 않는 상태를 의미하고, 부분 개방 상태는 안구의 동공이 상측 눈꺼풀과 하측 눈꺼풀에 부분적으로 가려져 원형으로 노출되지 않으나 가시성을 갖는 상태를 의미하며, 완전 개방 상태는 안구의 동공이 상측 눈꺼풀과 하측 눈꺼풀에 가려지지 않아 원형으로 노출되면서 가시성을 갖는 상태를 의미한다.
한편, 폐쇄 상태에서는 후술될 단계들이 이루어지지 않고, 부분 개방 상태 및 완전 개방 상태에서는 후술될 단계들이 이루어질 수 있다. 즉, 후술될 단계들은 안구의 동공이 가시성을 갖도록 노출될 수 있도록 상측 눈꺼풀과 하측 눈꺼풀의 간격이 설정치 이상인 상태에서 이루어지는 것이 바람직하다.
또한, S101 단계에서는 눈의 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분을 감지하는 단계가 이루어질 수 있다. 여기서, 메이크업 부분은 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업(예를 들어, 아이라인, 속눈썹, 문신 등) 처리된 부분을 의미한다. 메이크업 부분은 합성곱 신경망 중 레즈넷(ResNet)을 통해 감지될 수 있다. 또한, 메이크업 부분은 색상을 갖지만, 동공과 구별될 수 있다. 이로 인해, 메이크업 부분은 동공으로 감지되지 않을 수 있어, 동공의 감지가 보다 정확하게 이루어질 수 있다.
이어서, 동공이 감지되는 단계(S102)가 이루어질 수 있다. S102 단계는 S101 단계를 통해 감지된 상측 눈꺼풀과 하측 눈꺼풀 사이를 감지한 상태에서 동공을 감지한다. 여기서, 상측 눈꺼풀과 하측 눈꺼풀 사이의 안구에서 동공은 백색을 나타내는 안구의 다른 부분과 달리 흑색을 나타내기에 용이하게 감지될 수 있다. 이로 인해, 동공은 상측 눈꺼풀과 하측 눈꺼풀에 부분적으로 가려지더라도 감지될 수 있다.
S101 단계를 통해 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분이 이미 감지된 상태이기에, 동공은 메이크업 부분과 구별되어 감지될 수 있다.
이어서, 동공 좌표가 생성되는 단계(S103)가 이루어질 수 있다. S103 단계는 S102 단계를 통해 감지된 동공을 바탕으로 하여 회귀 트리 앙상블을 이용하여 이루어질 수 있다. 여기서, 동공 좌표는 감지된 동공의 일 지점(예를 들어, 중앙)을 중심으로 하여, XY 좌표 또는 XYZ 좌표의 형태로 이루어질 수 있다. 예를 들어, 동공 좌표의 원점은 동공의 일 지점에 대응되되, 동공의 일 지점은 XY 좌표에서는 (0, 0)으로 산출될 수 있고, XYZ 좌표에서는 (0, 0, 0)으로 산출될 수 있다. 한편, 동공 좌표는 회귀 트리 앙상블을 이용함으로써, 동공의 움직임을 고려한 좌표로 이루어질 수 있다.
이어서, 동공의 일 지점에 대한 좌표값이 산출되는 단계(S104)가 이루어질 수 있다. 동공의 움직임이 이루어질 때, 동공의 일 지점에 대한 좌표값은 변경되어 산출될 수 있다. 즉, 변경되는 좌표값은 동공의 움직임을 감지하는 데에 사용될 수 있다.
본 실시예의 동공 추적 방법은 눈의 부분 개방 상태 및 완전 개방 상태에서 눈의 상측 눈꺼풀 및 하측 눈꺼풀의 메이크업 처리된 부분을 감지하고, 메이크업 처리된 부분과 구별하여 동공을 감지할 수 있다. 이로 인해, 동공이 눈꺼풀에 의해 부분적으로 가려지고, 눈에 대한 메이크업 처리가 이루어진 상태에서도, 동공은 안정적으로 감지되어 동공의 움직임에 따른 추적이 이루어질 수 있다. 즉, 동공을 감지하고 추적하기 위하여, 눈을 감지 않는 이상 눈을 크게 뜨도록 하거나, 메이크업을 지우도록 하는 요구가 이루어지지 않을 수 있다. 따라서, 본 실시예의 동공 추적 방법은 상대적으로 눈이 작은 사람들(예를 들어, 동양인 등)의 동공을 용이하게 감지하여, 동공의 추적을 용이하게 이루어지도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 건강 진단 시스템(100)을 도시하는 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 건강 진단 시스템(100)은 감지부(101), 제어부(102), 전문가 단말기(103) 및 보호자 단말기(104)를 포함하고, 이용자의 동공 움직임을 추적하여 이용자의 건강 상태를 진단하고 이용자에게 의료 서비스를 제공할 수 있도록 할 수 있다. 여기서, 이용자는 지속적인 건강 상태의 확인이 필요한 사람들, 예를 들어, 노인, 장애인, 환자 등일 수 있고, 주로 실내 공간에서 활동하는 편이다.
또한, 본 실시예의 감지부(101), 제어부(102), 전문가 단말기(103) 및 보호자 단말기(104)는 네트워크를 통해 상호 간에 연결될 수 있다. 네트워크는, 복수의 단말기 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
감지부(101)는 일반적으로 실내 공간에 위치되되, 이용자의 눈을 감지하여, 눈의 개방 정도 및 개방된 눈의 동공을 감지할 수 있다. 또한, 감지부(101)는 감지된 동공에 대한 동공 좌표를 생성하고, 동공의 일 지점의 좌표값을 산출할 수 있다. 감지부(101)는 감지한 이용자의 눈에 대한 영상을 생성할 수 있고, 영상에는 동공의 일 지점의 좌표값을 포함할 수 있다. 본 실시예의 감지부(101)는 카메라의 형태로 이루어질 수 있고, 카메라 렌즈를 포함한 장비의 형태로 이루어질 수 있으며, 이용자의 눈에 대응하도록 위치될 수 있다.
또한, 감지부(101)는 개방 감지부(111), 동공 감지부(112), 연산부(113) 및 처리부(114)를 포함할 수 있다.
개방 감지부(111)는 이용자의 눈을 감지하되, 눈의 개방 정도를 감지할 수 있다. 여기서, 개방 감지부(111)는 상측 눈꺼풀과 하측 눈꺼풀을 감지한다. 상측 눈꺼풀의 하단이 하측 눈꺼풀의 상단에 연결된 상태에서 상측 눈꺼풀과 하측 눈꺼풀 사이의 간격이 형성되고, 개방 감지부(111)는 상측 눈꺼풀과 하측 눈꺼풀 사이의 간격을 통해 눈의 개방 정도를 감지할 수 있다. 또한, 개방 감지부(111)는 상측 눈꺼풀과 하측 눈꺼풀을 합성곱 신경망(convolutional neural network; CNN)을 통해 3차원으로 감지할 수 있고, 합성곱 신경망은 적어도 하나의 콘볼루션 계층(convolutional layer), 통합 계층(pooling layer) 및 완전하게 연결된 계층(fully connected layer)들로 구성될 수 있다.
눈의 개방 정도는 폐쇄 상태(closed state), 부분 개방 상태(semi opened state) 및 완전 개방 상태(wide opened state)로 나뉘어질 수 있다. 여기서, 폐쇄 상태는 안구의 동공이 상측 눈꺼풀과 하측 눈꺼풀에 완전히 가려져 가시성을 갖지 않는 상태를 의미하고, 부분 개방 상태는 안구의 동공이 상측 눈꺼풀과 하측 눈꺼풀에 부분적으로 가려져 원형으로 노출되지 않으나 가시성을 갖는 상태를 의미하며, 완전 개방 상태는 안구의 동공이 상측 눈꺼풀과 하측 눈꺼풀에 가려지지 않아 원형으로 노출되면서 가시성을 갖는 상태를 의미한다.
한편, 개방 감지부(111)는 눈의 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분을 감지할 수 있다. 여기서, 메이크업 부분은 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업(예를 들어, 아이라인, 속눈썹, 문신 등) 처리된 부분을 의미한다. 개방 감지부(111)는 합성곱 신경망 중 레즈넷(ResNet)을 통해 메이크업 부분을 감지할 수 있다.
동공 감지부(112)는 개방 감지부(111)가 상측 눈꺼풀과 하측 눈꺼풀 사이를 감지한 상태에서 동공을 감지할 수 있다. 여기서, 상측 눈꺼풀과 하측 눈꺼풀 사이의 안구에서 동공은 백색을 나타내는 안구의 다른 부분과 달리 흑색을 나타내기에, 동공 감지부(112)는 상측 눈꺼풀과 하측 눈꺼풀 사이에서 특정된 동공을 감지할 수 있다.
또한, 개방 감지부(111)가 메이크업 부분을 이미 감지한 경우, 동공 감지부(112)는 동공을 메이크업 부분과 구별하여 감지함으로써, 안정적으로 동공을 감지할 수 있다.
연산부(113)는 동공 감지부(112)에 의해 감지된 동공을 바탕으로 하여 동공 좌표를 생성하고, 동공의 일 지점에 대한 좌표값을 산출할 수 있다. 여기서, 연산부(113)는 회귀 트리 앙상블을 이용함으로써, 감지된 동공으로부터 동공 좌표를 생성할 수 있다. 또한, 산출된 동공의 일 지점(예를 들어, 중앙)의 좌표값은 동공의 움직임을 확인하는 데에 이용될 수 있다.
처리부(114)는 개방 감지부(111), 동공 감지부(112) 및 연산부(113)에 연결되어, 개방 감지부(111)에서 감지된 상측 눈꺼풀 및 하측 눈꺼풀과 동공 감지부(112)에 감지된 동공에 대한 영상을 생성하고, 연산부(113)에서 산출된 동공의 일 지점의 좌표값을 영상에 포함할 수 있다.
또한, 처리부(114)는 신호를 전송하거나 전송받을 수 있다. 예를 들어, 처리부(114)는 신호(예를 들어, 영상에 따른 영상 신호)를 생성하여 제어부(102)에 전송할 수 있고, 제어부(102)로부터 신호를 전송받을 수 있다.
한편, 본 실시예의 감지부(101)는 음성 출력부(115)를 더 포함할 수 있다. 음성 출력부(115)는 명령 음성을 출력할 수 있다. 여기서, 명령 음성은 이용자에게 동공의 움직임을 유도하는 명령(예를 들어, '오른쪽을 보세요', '왼쪽을 보세요' 등)을 포함한 음성을 의미한다. 이용자는 음성 출력부(115)로부터 출력되는 명령 음성에 대응하도록 안구를 움직여 동공을 움직일 수 있다. 여기서, 동공 감지부(112)는 움직이는 동공을 감지하고, 처리부(114)는 동공의 움직임에 따른 영상을 생성하고 출력된 명령 음성을 영상에 포함하기도 한다.
제어부(102)는 감지부(101)에 연결되고, 감지부(101)로부터 영상에 따른 영상 신호를 전송받고, 영상 신호에 따른 영상을 저장할 수 있다. 또한, 제어부(102)는 신호를 생성하여 감지부(101) 뿐 아니라 전문가 단말기(103) 및 보호자 단말기(104)로 전송할 수 있고, 전문가 단말기(103) 및 보호자 단말기(104)로부터 신호를 전송받을 수 있다.
한편, 제어부(102)가 영상에 따른 영상 신호를 전송받아 영상 신호에 따른 영상을 저장한 상태에서, 영상이 설정치 이상의 동공의 일 지점의 좌표값을 포함하거나, 설정 주기 이상으로 변경되는 동공의 일 지점의 좌표값을 포함할 때, 제어부(102)는 저장된 영상에 따른 영상 신호를 전문가 단말기(103) 또는 보호자 단말기(104)로 전송할 수 있다. 여기서, 동공의 일 지점의 좌표값의 설정치 및 동공의 일 지점의 좌표값의 설정 주기는 이용자가 건강 이상 상태일 때 동공의 움직임에 따른 동공의 일 지점의 좌표값에 대한 임계적 수치를 의미한다. 전문가 단말기(103) 또는 보호자 단말기(104)에는 제어부(102)로부터 전송된 영상 신호에 따른 영상이 출력될 수 있다.
또한, 제어부(102)가 영상에 따른 영상 신호를 전송받아 영상 신호에 따른 영상을 저장한 상태에서, 영상이 명령 음성을 포함하고 설정치 이하의 속도로 변경되는 동공의 일 지점의 좌표값을 포함할 때, 제어부(102)는 저장된 영상에 따른 영상 신호를 전문가 단말기(103) 또는 보호자 단말기(104)로 전송할 수 있다. 여기서, 동공의 일 지점의 좌표값의 설정치는 명령 음성에 따라 이용자의 동공의 움직임이 원활하지 않아, 이용자가 건강 이상 상태일 때 동공의 움직임에 따른 동공의 일 지점의 좌표값에 대한 임계적 수치를 의미한다. 전문가 단말기(103) 또는 보호자 단말기(104)에는 제어부(102)로부터 전송된 영상 신호에 따른 영상이 출력될 수 있다.
전문가 단말기(103)는 제어부(102)에 연결되어, 제어부(102)로부터 신호를 전송받을 수 있다. 여기서, 신호가 영상에 따른 영상 신호인 경우에, 전문가 단말기(103)는 영상 신호에 따른 영상을 출력할 수 있다. 영상에서 동공의 일 지점의 좌표값 또는 명령 음성이 포함된 경우, 전문가 단말기(103)는 동공의 일 지점의 좌표값 또는 명령 음성을 영상과 함께 출력할 수 있다.
전문가는 출력되는 영상을 통해 이용자의 동공의 움직임을 확인하고 이용자의 건강 상태를 진단할 수 있다. 여기서, 전문가는 동공의 움직임을 통해 이용자의 건강 상태를 진단할 수 있는 의사 등과 같은 의료계 종사자인 것이 바람직할 수 있다.
또한, 전문가 단말기(103)는 전문가에 의해 조작되어 코멘트를 입력받을 수 있다. 여기서, 코멘트는 전문가에 의해 진단된 이용자의 건강 상태에 따른 소견서 형태의 컨텐츠를 의미하되, 예를 들어, '이용자님은 현재 건강합니다', '이용자님의 건강 이상이 감지됩니다. 병원을 방문하여 정확한 진단을 받으시기 바랍니다', '이용자님은 속히 입원하셔서 치료받으시기 바랍니다' 등 일 수 있다. 또한, 전문가 단말기(103)에서는 코멘트에 따른 코멘트 신호가 생성되고, 코멘트 신호는 제어부(102)에 전송될 수 있다. 여기서, 제어부(102)는 코멘트 신호를 영상에 대응되도록 저장할 수 있다.
보호자 단말기(104)는 제어부(102)에 연결되어, 제어부(102)로부터 신호를 전송받을 수 있다. 여기서, 신호가 영상에 따른 영상 신호인 경우에, 보호자 단말기(104)는 영상 신호에 따른 영상을 출력할 수 있다. 영상에 동공의 일 지점의 좌표값 또는 명령 음성이 포함된 경우, 보호자 단말기(104)는 동공의 일 지점의 좌표값 또는 명령 음성을 영상과 함께 출력할 수 있다.
보호자는 출력되는 영상을 통해 이용자의 동공의 움직임을 확인하고 이용자의 건강 상태를 확인할 수 있다. 여기서, 이용자가 미성년자인 경우에는 보호자는 이용자의 부모 또는 후견인일 수 있고, 이용자가 성인인 경우에는 보호자는 이용자의 배우자, 성인인 자녀 또는 후견인일 수 있다.
또한, 보호자 단말기(104)는 제어부(102)로부터 코멘트에 따른 코멘트 신호를 전송받을 수 있다. 여기서, 보호자 단말기(104)에는 전문가에 의한 코멘트가 출력될 수 있다. 보호자는 보호자 단말기(104)를 통해 이용자의 건강 상태에 대한 전문가의 코멘트를 확인할 수 있고, 코멘트에 따라 이용자에 대한 조치를 취할 수 있다.
한편, 전문가 단말기(103) 또는 보호자 단말기(104)는 제어부(102)에 저장된 영상에 따른 영상 신호를 주기적으로 제어부(102)로부터 전송받을 수 있다. 이로 인해, 전문가 단말기(103) 또는 보호자 단말기(104)는 영상을 통해 주기적으로 이용자의 동공의 움직임을 확인할 수 있고, 이용자의 건강 상태를 확인할 수 있다.
본 실시예에서 전문가 단말기(103) 및 보호자 단말기(104)는 네트워크를 통하여 원격지의 서버나 단말기에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크탑(Desktop), 랩탑(Laptop) 등을 포함할 수 있다. 또한, 전문가 단말기(103) 및 보호자 단말기(104)는 네트워크(10)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말 장치로 구현될 수 있다. 단말 장치는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기, 스마트폰(smartphone), 스마트 패드(smartpad), 태블릿 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
본 실시예의 건강 진단 시스템(100)에서 감지부(101)는 눈의 부분 개방 상태 및 완전 개방 상태에서 눈의 상측 눈꺼풀 및 하측 눈꺼풀의 메이크업 처리된 부분을 감지하고, 메이크업 처리된 부분과 구별하여 동공을 감지할 수 있다. 이로 인해, 동공이 눈꺼풀에 의해 부분적으로 가려지고, 눈에 대한 메이크업 처리가 이루어진 상태에서도, 동공은 안정적으로 감지되어 움직임에 따른 추적이 이루어질 수 있다. 즉, 동공을 감지하고 추적하기 위하여, 눈을 감지 않는 이상 눈을 크게 뜨도록 하거나, 메이크업을 지우도록 하는 요구가 이루어지지 않을 수 있다. 따라서, 본 실시예의 건강 진단 시스템(100)은 상대적으로 눈이 작은 사람들(예를 들어, 동양인 등)의 동공을 용이하게 감지하여, 동공의 추적을 용이하게 이루어지도록 할 수 있다.
또한, 본 실시예의 건강 진단 시스템(100)에서 감지부(101)는 감지한 상측 눈꺼풀, 하측 눈꺼풀 및 동공을 포함한 영상을 생성하고, 영상에서 동공의 일 지점의 좌표값 및 명령 신호를 포함할 수 있다. 또한, 제어부(102)는 영상에 따른 영상 신호를 감지부(101)로부터 전송받아 영상 신호에 대응되는 영상을 저장할 수 있다.
제어부(102)는 영상에 따른 영상 신호를 생성하여 전문가 단말기(103) 및 보호자 단말기(104)에 전송할 수 있다. 전문가 및 보호자는 각각 전문가 단말기(103) 및 보호자 단말기(104)를 통해 출력되는 영상 신호에 따른 영상을 통해 이용자의 동공 움직임을 확인할 수 있다. 특히, 전문가는 전문가 단말기(103)를 통해 이용자의 동공 움직임을 바탕으로 하여 이용자의 건강 상태를 확인할 수 있고, 코멘트를 전문가 단말기(103)에 입력할 수 있다. 여기서, 제어부(102)는 전문가의 코멘트에 따른 코멘트 신호를 전문가 단말기(103)로부터 전송받고 보호자 단말기(104)에 전송할 수 있다. 보호자는 보호자 단말기(104)를 통해 코멘트 신호를 전송받아 코멘트 신호에 따른 전문가의 코멘트를 확인할 수 있고, 전문가의 코멘트에 따라 이용자에 대한 조치를 취할 수 있다. 따라서, 본 실시예의 건강 진단 시스템(100)은 카메라의 형태인 감지부(101)를 이용하여 이용자의 동공을 감지하여 추적하고, 원격으로 위치된 단말기의 형태인 전문가 단말기(103)를 통해 전문가의 진단을 받을 수 있어, 저렴한 비용으로도 이용자의 건강 상태를 진단하고 전문가의 진단에 따라 이용자에게 적절한 조치를 취할 수 있도록 할 수 있다. 감지부(101)는 다양한 형태의 장치가 가능하며, 도 3과 같은 감지부(101)를 책상에 두면 일상 생활 중에 쉽게 동공의 검사가 가능하게 될 수 있다.
한편, 본 실시예의 건강 진단 시스템(100)에서 제어부(102)는 복수 개의 감지부(101)들에 연결되어, 감지부(101)들의 각각으로부터 영상에 따른 영상 신호를 전송받을 수 있다. 여기서, 제어부(102)는 영상에 포함된 동공의 일 지점의 좌표값을 통해 동공의 움직임을 바탕으로 하여 감지부(101)들의 각각에 대응되는 이용자의 건강 상태를 감지할 수 있고, 이용자를 감지된 건강 상태에 따라 분류할 수 있다. 특히, 제어부(102)는 이용자의 건강 상태에 따라 이용자의 영상에 따른 영상 신호의 전송 순서를 설정하기도 하다. 여기서, 제어부(102)는 상대적으로 위험한 건강 상태의 이용자의 영상에 따른 영상 신호를 우선 순위로 설정하여 우선적으로 전문가 단말기(103)에 전송할 수 있다.
예를 들어, 제어부(102)는 이용자의 건강 상태를 정상군, 의심군, 위험군 및 고위험군으로 분류할 수 있다. 여기서, 제어부(102)는 고위험군에 포함된 이용자들 중에서 위험 정도에 따른 순서를 설정하고, 그 순서에 따라 이용자에 대응하는 영상에 따른 영상 신호를 전문가(103)에 전송할 수 있다. 이로 인해, 전문가는 전문가 단말기(103)를 통해 상대적으로 위험한 건강 상태의 이용자에 대응하는 영상을 우선적으로 확인하여 건강 상태를 진단할 수 있고, 이용자는 상대적으로 위험한 건강 상태에서 우선적으로 진단을 받고 조치될 수 있다.
또한, 보호자는 보호자 단말기(103)를 통해 미리 이용자 정보 및 지인 정보를 입력하여 제어부(102)에 전송하고 저장할 수 있다. 여기서, 이용자 정보는 이용자의 이름 및 주소(예를 들어, 감지부(101)가 설치된 공간의 주소) 등일 수 있고, 지인 정보는 지인(예를 들어, 이용자 근처에 거주하면서 이용자를 알고 있거나 이용자를 도와줄 수 있는 사람 등)의 이름 및 휴대폰 번호 등일 수 있다. 제어부(102)는 지인 정보를 바탕으로 하여 지속적으로 지인의 단말기에 대한 위치를 추적하여 지인의 위치를 추적할 수 있다.
제어부(102)는 위험한 건강 상태(예를 들어, 고위험군)의 이용자에 대응하는 영상에 따른 영상 신호를 전송받을 때, 알림 메시지에 따른 알림 신호를 생성하고, 기 저장된 이용자 정보에 따라 가장 이용자에 근접한 지인의 단말기에 전송할 수 있다. 가장 이용자에 근접한 지인은 자신의 단말기를 통해 알림 신호를 전송받아 알림 메시지를 확인할 수 있다. 여기서, 알림 메시지는 현재 이용자의 건강 상태, 알림 메시지를 확인한 지인에 대한 행동 사항 등을 포함할 수 있고, 예를 들어, "△△△님, □□에 살고 있는 이용자님이 위험한 상태이니, 이용자님을 도와주시기 바랍니다."일 수 있다. 또한, 알림 메시지는 응답 메뉴를 포함할 수 있고, 지인이 응답 메뉴를 터치하면 지인의 단말기에는 응답 신호가 생성되어 제어부(102)로 전송될 수 있다. 여기서, 지인은 알람 메시지에 따라 행동가능한 상태에서 응답 메뉴를 터치하는 것이 바람직하다.
한편, 지인의 단말기에 알림 신호가 전송된 이후에, 제어부(102)는 소정의 시간(예를 들어, 10초, 30초, 1분 등) 이내에 응답 신호를 전송받지 못하면, 차순위로 이용자에 근접한 지인의 단말기로 알림 메시지에 따른 알림 신호를 전송할 수 있다. 예를 들어, 알림 메시지는 "○○○님, □□에 살고 있는 이용자님이 위험한 상태인데, △△△님이 이용자님를 도와주시기 어려운 상황입니다. ○○○님이 이용자님을 도와주시기 바랍니다."일 수 있다. 상기와 같이 차순위로 이용자에 근접한 지인의 단말기에는 이용자에 가장 근접한 지인의 단말기와는 다소 상이하게 알람 메시지가 표시될 수 있다.
또한, 제어부(102)는 응답 신호를 전송한 지인의 지인 정보 및 위치 정보를 보호자 단말기(103)에 전송할 수 있다. 여기서, 보호자는 보호자 단말기(103)를 통해 이용자를 향하여 이동하는 지인 정보 및 지인의 위치를 확인할 수 있다.
또한, 알림 메시지에 포함된 응답 메뉴를 터치한 지인의 위치와 이용자의 위치 사이의 거리가 설정치 이상일 때, 제어부(102)는 응답 메뉴를 터치한 지인의 위치를 출발지로 선택하고 이용자의 주소를 도착지로 하여 택시 등과 같은 공유차량을 호출하는 호출 신호를 생성할 수 있다. 또한, 제어부(102)는 호출 신호에 응답한 공유 차량에 대한 차량 정보(예를 들어, 현재 차량 위치, 출발지 도착 시각, 차량 번호 등)를 응답 메뉴를 터치한 지인의 단말기로 전송할 수 있다. 이로 인해, 지인은 제공된 차량을 이용할 수 있고, 경우에 따라 호출 신호를 취소할 수 있다.
상기와 같이 제어부(102)는 사전에 보호자 단말기(103)에 의해 입력되어 기 지장된 지인 정보를 바탕으로 하여 이용자의 건강 상태, 특히 위험한 건강 상태에 따른 알림 메시지를 이용자에 근접한 순서에 따라 지인의 단말기에 전송할 수 있다. 따라서, 본 실시예의 건강 진단 시스템(100)은 이용자에게 건강 상태에 따라 지인으로부터의 실제적인 도움을 제공할 수 있도록 한다.
또한, 제어부(102)는 미리 복수 개의 응급 구조 센터의 위치 정보를 입력받아 저장할 수 있다. 제어부(102)는 위험한 건강 상태(예를 들어, 고위험군)의 이용자에 대응하는 영상에 따른 영상 신호를 전송받을 때, 기 저장된 응급 구조 센터의 위치 정보 중 이용자의 이용자 정보에 따라 가장 이용자에 근접한 응급 구조 센터에 응급 메시지에 따른 응급 신호를 전송할 수 있다. 응급 구조 센터에서 단말기를 통해 응급 메시지가 확인될 수 있다. 여기서, 응급 메시지는 현재 이용자의 건강 상태 및 이용자의 주소를 포함할 수 있다. 이로 인해, 응급 구조 센터에서는 구급 요원 및 구급차를 이용자에게 제공할 수 있다.
이상, 본 발명의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.
100: 건강 진단 시스템
101: 감지부
102: 제어부
103: 전문가 단말기
104: 보호자 단말기
101: 감지부
102: 제어부
103: 전문가 단말기
104: 보호자 단말기
Claims (10)
- (a) 눈에서 상측 눈꺼풀과 하측 눈꺼풀이 감지되어, 눈의 개방 정도가 감지되는 단계;
(b) 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공이 감지되는 단계;
(c) 동공 좌표가 감지된 동공에 대하여 생성되는 단계; 및
(d) 동공 좌표에서 동공의 일 지점에 대한 좌표값이 산출되는 단계를 포함하는 것을 특징으로 하는 동공 추적 방법.
- 제1항에 있어서, (a) 단계는,
상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분을 감지하는 단계를 포함하고,
합성곱 신경망을 통해 이루어지는 것을 특징으로 하는 동공 추적 방법.
- 제1항에 있어서, (b) 단계에서,
눈의 개방 정도가 동공이 가시성을 갖도록 상측 눈꺼풀과 하측 눈꺼풀이 이격된 상태일 때, 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공이 감지되는 것을 특징으로 하는 동공 추적 방법.
- 이용자의 눈을 감지하여, 눈의 개방 정도 및 개방된 눈의 통한 동공을 감지하고, 감지된 눈에 대한 영상을 생성하는 감지부;
감지부에 연결되며, 감지부로부터 영상에 따른 영상 신호를 전송받고 영상 신호에 따른 영상을 저장하는 제어부; 및
제어부에 연결되어 제어부로부터 영상에 따른 영상 신호를 전송받고 영상 신호에 따른 영상을 출력할 수 있고, 코멘트를 입력받을 수 있는 전문가 단말기를 포함하되,
감지부는 눈에서 상측 눈꺼풀과 하측 눈꺼풀을 감지하여 눈의 개방 정도를 감지하고, 상측 눈꺼풀과 하측 눈꺼풀 사이에서 동공을 감지하며,
전문가 단말기는 코멘트를 입력받아 코멘트에 따른 코멘트 신호를 제어부로 전송하는 것을 특징으로 하는 건강 진단 시스템.
- 제4항에 있어서, 감지부는,
이용자의 눈을 감지하되, 눈에 상측 눈꺼풀과 하측 눈꺼풀을 감지하여, 눈의 개방 정도를 감지하는 개방 감지부;
개방 감지부에서 감지된 상측 눈꺼풀과 하측 눈꺼풀 사이의 동공을 감지하는 동공 감지부;
동공 감지부에 감지된 동공에 따른 동공 좌표를 생성하고, 동공의 일 지점에 따른 좌표를 산출하는 연산부; 및
개방 감지부, 동공 감지부 및 연산부에 연결되어, 개방 감지부에 감지된 상측 눈꺼풀 및 하측 눈꺼풀과 동공 감지부에 감지된 동공에 대한 영상을 생성하고, 연산부에서 산출된 동공의 일 지점의 좌표값을 영상에 포함하며, 신호를 전송하거나 전송받을 수 있는 처리부를 포함하는 것을 특징으로 하는 건강 진단 시스템.
- 제5항에 있어서,
처리부가 영상에 따른 영상 신호를 생성하여 제어부에 전송하고,
제어부는 이용자가 건강 이상 상태일 때 대응되는 동공의 움직임을 포함한 영상에 따른 영상 신호를 전송받아 영상 신호를 전문가 단말기로 전송하며,
전문가 단말기는 전송받은 영상 신호에 따른 영상을 출력하고, 출력된 영상에 따른 코멘트를 입력받아 코멘트에 따른 코멘트 신호를 생성하여 제어부로 전송하는 것을 특징으로 하는 건강 진단 시스템.
- 제6항에 있어서, 건강 진단 시스템은,
제어부에 연결되어, 제어부로부터 신호를 전송받을 수 있는 보호자 단말기를 더 포함하되,
제어부는 이용자가 건강 이상 상태일 때 대응되는 동공의 움직임을 포함한 영상에 따른 영상 신호를 전송받아 영상 신호를 보호자 단말기로 전송하며, 전문가 단말기로부터 전송받은 코멘트에 따른 코멘트 신호를 보호자 단말기로 전송하고,
보호자 단말기는 전송받은 영상 신호에 따른 영상 및 코멘트 신호에 따른 코멘트를 출력하는 것을 특징으로 하는 건강 진단 시스템.
- 제5항에 있어서, 감지부는,
명령 음성을 출력할 수 있는 음성 출력부를 더 포함하되,
음성 출력부는 이용자의 동공의 움직임을 유도하도록 명령 음성을 출력하는 것을 특징으로 하는 건강 진단 시스템.
- 제5항에 있어서,
개방 감지부는 상측 눈꺼풀과 하측 눈꺼풀에서 메이크업 부분을 감지하는 것을 특징으로 하는 건강 진단 시스템.
- 제5항에 있어서,
개방 감지부가 동공이 가시성을 갖도록 상측 눈꺼풀과 하측 눈꺼풀이 이격된 눈의 개방 정도를 감지할 때, 동공 감지부는 상측 눈꺼풀과 하측 눈꺼풀 사이에 동공을 감지하는 것을 특징으로 하는 건강 진단 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154823A KR102281927B1 (ko) | 2019-11-27 | 2019-11-27 | 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 |
| US17/780,097 US20230074858A1 (en) | 2019-11-27 | 2020-10-13 | Method for tracking pupil for eye in various conditions, and health diagnosis system using same |
| PCT/KR2020/013909 WO2021107394A1 (ko) | 2019-11-27 | 2020-10-13 | 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154823A KR102281927B1 (ko) | 2019-11-27 | 2019-11-27 | 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210065732A true KR20210065732A (ko) | 2021-06-04 |
| KR102281927B1 KR102281927B1 (ko) | 2021-07-26 |
Family
ID=76129448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190154823A Expired - Fee Related KR102281927B1 (ko) | 2019-11-27 | 2019-11-27 | 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230074858A1 (ko) |
| KR (1) | KR102281927B1 (ko) |
| WO (1) | WO2021107394A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL320532A (en) * | 2022-10-31 | 2025-06-01 | Carmel Haifa Univ Economic Corporation Ltd | System and method for diagnosing and treating a number of eye diseases and problems |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1043138A (ja) * | 1996-08-02 | 1998-02-17 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像蓄積伝送協調診断支援システム |
| JP2015107155A (ja) * | 2013-12-03 | 2015-06-11 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
| KR20160061691A (ko) * | 2014-11-24 | 2016-06-01 | 현대자동차주식회사 | 시선추적장치 및 그의 동공검출방법 |
| KR20180105879A (ko) * | 2017-03-16 | 2018-10-01 | 한림대학교 산학협력단 | 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014524A (en) * | 1988-03-23 | 2000-01-11 | Canon Kabushiki Kaisha | Camera with visual axis detecting device |
| KR101218618B1 (ko) * | 2005-08-30 | 2013-01-04 | 신종한 | 세타 대역 주파수 성분의 다양성을 이용한 치매 진단 장치 |
| US9994228B2 (en) * | 2010-05-14 | 2018-06-12 | Iarmourholdings, Inc. | Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment |
| US9298985B2 (en) * | 2011-05-16 | 2016-03-29 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
| US10602927B2 (en) * | 2013-01-25 | 2020-03-31 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement using a faceguard |
| US10716469B2 (en) * | 2013-01-25 | 2020-07-21 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods |
| US11490809B2 (en) * | 2013-01-25 | 2022-11-08 | Wesley W. O. Krueger | Ocular parameter-based head impact measurement using a face shield |
| EP2967314B1 (en) * | 2013-03-11 | 2021-06-02 | Children's Healthcare Of Atlanta, Inc. | Methods for detection of cognitive and developmental conditions |
| US20170354326A1 (en) * | 2016-06-10 | 2017-12-14 | Johnson & Johnson Vision Care, Inc. | Electronic ophthalmic lens with medical monitoring |
| US20180173011A1 (en) * | 2016-12-21 | 2018-06-21 | Johnson & Johnson Vision Care, Inc. | Capacitive sensing circuits and methods for determining eyelid position using the same |
| CN120065536A (zh) * | 2018-01-17 | 2025-05-30 | 奇跃公司 | 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 |
-
2019
- 2019-11-27 KR KR1020190154823A patent/KR102281927B1/ko not_active Expired - Fee Related
-
2020
- 2020-10-13 US US17/780,097 patent/US20230074858A1/en active Pending
- 2020-10-13 WO PCT/KR2020/013909 patent/WO2021107394A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1043138A (ja) * | 1996-08-02 | 1998-02-17 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像蓄積伝送協調診断支援システム |
| JP2015107155A (ja) * | 2013-12-03 | 2015-06-11 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
| KR20160061691A (ko) * | 2014-11-24 | 2016-06-01 | 현대자동차주식회사 | 시선추적장치 및 그의 동공검출방법 |
| KR20180105879A (ko) * | 2017-03-16 | 2018-10-01 | 한림대학교 산학협력단 | 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021107394A1 (ko) | 2021-06-03 |
| US20230074858A1 (en) | 2023-03-09 |
| KR102281927B1 (ko) | 2021-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874129B (zh) | 显示系统 | |
| US11020003B2 (en) | Patient monitoring and communication system | |
| US10051410B2 (en) | Assist device and system | |
| US9795324B2 (en) | System for monitoring individuals as they age in place | |
| US20190147721A1 (en) | Personal emergency response system and method for improved signal initiation, transmission, notification/annunciation, and level of performance | |
| Lee et al. | A mobile care system with alert mechanism | |
| US20150288797A1 (en) | Computerized method and system for global health, personal safety and emergency response | |
| US10045096B2 (en) | Social media modification of behavior and mobile screening for impairment | |
| WO2020015439A1 (zh) | 一种监护方法、装置、监护设备及存储介质 | |
| KR20190006670A (ko) | 동영상 기반 발작 추적감시 방법 및 장치 | |
| Zanella et al. | Internet of things for elderly and fragile people | |
| US20220189626A1 (en) | Systems and methods for detecting and addressing quality issues in remote therapy sessions | |
| Meigal et al. | Towards a personal at-home lab for motion video tracking in patients with Parkinson's disease | |
| KR20190006412A (ko) | 전화 콘텐츠 디스플레이 및 건강 모니터링을 위한 웨어러블 증강현실 머리 착용 디스플레이 장치 | |
| KR102281927B1 (ko) | 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 | |
| Razavi Termeh et al. | Design and implementation of ubiquitous health system (u-health) using smart-watches sensors | |
| Torous | Digital psychiatry | |
| Guimarães | BedFeeling: sensing technologies for assistive communication in bed scenarios | |
| Luxton | Behavioral and mental health apps. | |
| Basinayak et al. | Beyond Boundaries: Progressive Health Monitoring For Paralysis | |
| Dorado Chaparro et al. | The shapes smart mirror approach for independent living, healthy and active ageing | |
| Lupu et al. | Medical professional end-device applications on Android for interacting with neuromotor disabled patients | |
| Martinez-Rodrigo et al. | Intelligent heart rate monitoring from a social robot | |
| Abir et al. | IoT Based Framework for Remote Patient Monitoring | |
| Awada et al. | An Integrated System for Improved Assisted Living of Elderly People |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191127 |
|
| PA0201 | Request for examination | ||
| PN2301 | Change of applicant |
Patent event date: 20200928 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20201223 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210709 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210720 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210720 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20250430 |