KR20190108909A - System and method for measurement of visual acuity based on the analysis of user eye movements - Google Patents
System and method for measurement of visual acuity based on the analysis of user eye movements Download PDFInfo
- Publication number
- KR20190108909A KR20190108909A KR1020180030573A KR20180030573A KR20190108909A KR 20190108909 A KR20190108909 A KR 20190108909A KR 1020180030573 A KR1020180030573 A KR 1020180030573A KR 20180030573 A KR20180030573 A KR 20180030573A KR 20190108909 A KR20190108909 A KR 20190108909A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- eye
- value
- measurement
- screen
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- G06K9/00228—
-
- G06K9/00604—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템에 관한 것으로서, 더욱 자세하게는 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 스마트 폰의 화면에서 이동되는 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for measuring vision using a user's eye movements, and more particularly, to display an eye measurement marker on a screen of a smart phone carried by a user, and the user's eyes are displayed on the screen of the smart phone without a user's input. The present invention relates to a method and system for measuring eyesight using a user's gaze movement, which enables a user to naturally measure eyesight only by following a moving measurement mark.
인간의 두 눈이 움직이지 않고 볼 수 있는 범위를 시야라고 한다. 눈의 시야 범위는 위쪽 58도, 아래쪽 73도, 눈쪽지 안쪽 65도, 바깥쪽 100도가 인간이 볼 수 있는 시야의 범위이다. 좌측 및 우측 눈의 시야가 겹쳐지는 중앙 부분이 눈에서 보이는 입체 시야가 가능한 범위이다.The range that human eyes can see without moving is called vision. The visual field of view of the eye is 58 degrees above, 73 degrees below, 65 degrees inside the medulla, and 100 degrees outside. The central part where the left and right eye's field of view overlaps is a range where the stereoscopic field of view seen by the eye is possible.
이러한 시야를 가진 눈의 시력을 측정하기 위해서는 사용자가 직접 시력 측정이 가능한 병원이나 안경점 등에 직접 방문해야 한다.In order to measure the eyesight of the eyes having such a vision, the user should visit a hospital or an optician who can directly measure eyesight.
이러한 곳에서 시력을 측정의 원리는 관리자의 안내에 따라 도 1에 도시된 바와 같이 종이 판에 이미지나 텍스트가 표식 된 시력판을 사용자가 응시하도록 하고, 관리자가 가리키는 표식을 알아 맞추면 해당 표식에 대응된 시력 값으로 사용자의 시력을 인식하는 것이다. 도 1은 일반적인 시력 측정 원리를 나타낸 도면이다. The principle of measuring eyesight in such a place is to guide the user to stare at the sight plate marked with an image or text on a paper plate as shown in FIG. 1 according to the manager's guidance. The visual acuity value of the user is to recognize the visual acuity of the user. 1 is a view showing a general vision measurement principle.
이러한 시력 측정 원리는 도 1에 도시된 바와 같이 2개의 점이 가까이 있을 때 이 2개의 점을 뇌에서 빨리 인지하는 능력의 '최소'를 지칭하는 것이 시력이라는 것이다. 두 점을 구별하는 최소의 시각이 1분일 때 시력은 1.0이고, 최소의 시각이 0.5분일 때 시력이 2.0으로 측정하는 것이다.The principle of vision measurement is that visual acuity refers to the 'minimum' of the ability of the brain to recognize these two points quickly when two points are close, as shown in FIG. The visual acuity is 1.0 when the minimum time that distinguishes two points is 1 minute, and the visual acuity is 2.0 when the minimum time is 0.5 minute.
그런데, 사용자가 시력을 측정하기 위해서는 시력을 측정할 수 있는 곳을 일일이 찾아가야 하는 번거로운 문제점이 있다.However, in order to measure the eyesight, there is a problem in that the user has to go to the place where the eyesight can be measured.
이러한 문제점을 해결하기 위해 사용자가 휴대하는 스마트 폰에 시력 측정 어플리케이션(App)을 설치하여 이를 통해 사용자의 시력을 측정하는 기술이 제공되고 있다.In order to solve this problem, a technology for measuring eyesight of a user is provided by installing an eyesight measurement application (App) on a smart phone carried by a user.
그러나, 기존의 스마트 폰을 통해 사용자의 시력을 측정하는 경우에는 측정 표식 등을 이용하여 사용자가 직접 값을 입력하거나 화면을 터치하여 측정해야 하는 불편함이 있었다.However, when measuring the eyesight of the user through a conventional smart phone, there was an inconvenience in that the user directly inputs a value using a measurement marker or the like and measures by touching the screen.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 스마트 폰의 화면에서 이동되는 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템을 제공함에 있다.An object of the present invention for solving the above-mentioned problems is to display an eye measurement marker on a screen of a smart phone carried by the user, and to follow the measurement marker that the user's eyes move on the screen of the smart phone without the user's input. The present invention provides a method and system for measuring eyesight using a user's gaze movement, which enables a user to naturally measure eyesight alone.
전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 시스템은, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 카메라 이미지 입력부; 안면 영상에서 눈의 위치와 영역 및 정보를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출하는 눈 이미지 추출부; 양안 거리 값을 기반으로 사용자와의 거리를 연산하는 거리 연산부; 사용자와의 거리에 맞추어, 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 생성하는 시력별 화면 생성부; 생성된 화면을 표시 출력하는 화면 표시부; 이동하는 측정 표식을 따라 움직이는 눈동자의 시선 위치를 추출하는 시선 위치 추출부; 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출하는 시선 매칭 검출부; 및 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단하는 시력 판단부를 포함할 수 있다.According to an aspect of the present invention, there is provided a vision measuring system using a user's gaze movement, including: a camera image input unit configured to input a face image captured by capturing a face of a user; An eye image extracting unit extracting eye position, area, and information from the facial image, and extracting a binocular distance value based on the eye position; A distance calculator configured to calculate a distance to a user based on a binocular distance value; A vision-specific screen generation unit configured to generate a screen to be displayed while moving a measurement mark corresponding to each visual acuity value according to a distance from the user; A screen display unit which displays and displays the generated screen; A gaze position extraction unit for extracting a gaze position of a pupil moving along a moving measurement mark; A gaze matching detector configured to detect whether a moving position of a measurement mark matches a gaze position of a pupil; And a visual acuity determining unit configured to determine a visual acuity value according to whether the movement position of the measurement mark matches the eye position of the eye.
또한, 측정 표식은, 사용자의 시력 값을 판단하기 위한 각 시력 값에 해당하는 크기를 갖는 이미지 또는 텍스트를 포함할 수 있다.In addition, the measurement marker may include an image or text having a size corresponding to each visual acuity value for determining a visual acuity value of the user.
또한, 눈 이미지 추출부는 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있다.The eye image extractor may extract the eyeline direction of the left or right eye of the user based on the position of the eye.
또한, 눈 이미지 추출부는 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다.In addition, the eye image extractor may determine whether the user's gaze is maintained based on the position of the eye.
또한, 거리 연산부는 두 눈동자 간 픽셀(Pixel) 값을 이용한 양안 거리 값에 기반하여 삼각비에 따라 상기 사용자와의 거리를 산출할 수 있다.The distance calculator may calculate a distance from the user based on a triangular ratio based on a binocular distance value using a pixel value between two eyes.
또한, 시력별 화면 생성부는, 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성할 수 있다.In addition, the screen generation unit for each visual acuity may generate a screen for displaying a measurement marker corresponding to the initial reference visual acuity value according to the calculated distance from the user, or may display a screen for displaying a measurement marker for each visual acuity value for each measurement step. Can be generated.
또한, 시력별 화면 생성부는 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.In addition, the screen generation unit for each visual acuity may generate a screen for continuously outputting the measurement markers corresponding to each visual acuity value sequentially with a time difference according to the visual acuity value.
또한, 시력별 화면 생성부는 최초에는 시력 값을 낮게 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.In addition, the screen generation unit for each visual acuity starts with a low visual acuity value, and gradually increases the visual acuity value, and continuously outputs a measurement marker corresponding to each visual acuity value sequentially with a time difference according to the visual acuity value. Can be generated.
또한, 시선 매칭 검출부는 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.In addition, the gaze matching detector may compare the coordinate value and the size value of the moving position of the measurement marker with the coordinate value and the size value of the gaze position to detect whether the match is performed.
그리고, 시력 판단부는, 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.The visual acuity determination unit may determine a visual acuity value of a measurement mark that was previously matched with a gaze position of a pupil as a visual acuity value of the user when the movement position of the measurement marker and the eye gaze position of the pupil do not match.
한편, 전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법은, 카메라 이미지 입력부가, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 단계; 눈 이미지 추출부가, 안면 영상에서 눈의 위치를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출하는 단계; 거리 연산부가, 양안 거리 값을 기반으로 사용자와의 거리 값을 연산하는 단계; 시력별 화면 생성부가, 사용자와의 거리 값에 맞는 시력 별 측정 표식을 디스플레이하는 화면을 생성하는 단계; 카메라 이미지 입력부가, 화면에서 이동하는 시력 별 측정 표식을 따라 눈을 움직이는 사용자의 얼굴을 촬영한 안면 영상을 입력하는 단계; 시선 위치 추출부가, 안면 영상에서 눈의 움직임과 시선 방향에 따른 눈동자의 시선 위치를 추출하는 단계; 시선 매칭 검출부가, 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출하는 단계; 및 시력 판단부가, 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 사용자의 시력 값을 판단하는 단계를 포함할 수 있다.On the other hand, the eyesight measurement method using the user's eye gaze motion according to an embodiment of the present invention for achieving the above object, the camera image input unit, comprising the steps of inputting a facial image captured by capturing the user's face; Extracting, by the eye image extractor, the position of the eye from the facial image and extracting a binocular distance value based on the position of the eye; Calculating, by the distance calculator, a distance value with the user based on the binocular distance value; Generating a screen for displaying a measurement marker for each vision corresponding to a distance value from the user; Inputting, by the camera image input unit, a face image photographing a face of a user who moves eyes according to a vision-specific measurement mark moving on a screen; A gaze position extracting unit, extracting gaze positions of the eyes according to eye movements and gaze directions in the facial image; Detecting, by the gaze matching detector, whether a movement position of a measurement mark and a gaze position of a pupil match; And determining the visual acuity value of the user based on whether the moving position of the measurement marker matches the eye gaze position of the pupil.
또한, 양안 거리 값을 추출하는 단계는, 눈 이미지 추출부가 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있다.In addition, the step of extracting the binocular distance value, the eye image extraction unit may extract the eye gaze direction of the left or right eye of the user based on the position of the eye.
또한, 양안 거리 값을 추출하는 단계는, 눈 이미지 추출부가 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다.In addition, in the step of extracting the binocular distance value, the eye image extractor may determine whether to maintain the user's gaze based on the position of the eye.
또한, 사용자와의 거리 값을 연산하는 단계는, 거리 연산부가 두 눈동자 간 픽셀(Pixel) 값을 이용한 양안 거리 값에 기반하여 삼각비에 따라 사용자와의 거리를 산출할 수 있다.In the calculating of the distance value with the user, the distance calculator may calculate the distance with the user based on the triangular ratio based on the binocular distance value using the pixel value between the two eyes.
또한, 디스플레이하는 화면을 생성하는 단계는, 시력별 화면 생성부가 상기 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성할 수 있다.The generating of the screen to be displayed may include generating a screen for displaying a measurement mark corresponding to an initial reference visual acuity value in accordance with the distance from the calculated user, or for each visual acuity value per measurement step. You can create a screen that displays the corresponding measurement markers.
또한, 디스플레이하는 화면을 생성하는 단계는, 시력별 화면 생성부가 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.In the generating of the screen to be displayed, the screen generating unit for each sight may generate a screen for continuously outputting the measurement markers corresponding to each sight value sequentially while having a time difference depending on the sight value.
또한, 디스플레이하는 화면을 생성하는 단계는, 시력별 화면 생성부가 최초에는 시력 값을 낮게 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.In addition, the step of generating the screen to be displayed, the screen-by-sight screen generation unit initially starts to lower the visual acuity value and gradually increase the visual acuity value, the measurement markers corresponding to each visual acuity value according to the visual acuity value sequentially You can create a screen that outputs continuously while moving to.
또한, 눈동자의 시선 위치가 매칭되는지를 검출하는 단계는, 시선 매칭 검출부가 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.In addition, the step of detecting whether the eye gaze position of the pupil is matched, the gaze matching detection unit detects a match by comparing the coordinate value and the size value for the movement position of the measurement marker with the coordinate value and the size value for the eye position. can do.
그리고, 사용자의 시력 값을 판단하는 단계는, 시력 판단부가 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.The determining of the visual acuity value of the user may include: when the visual acuity determination unit does not match the movement position of the measurement mark and the eye gaze position of the pupil, the visual acuity value of the measurement mark that was previously matched with the eye gaze position of the eye. It can be judged by the value.
본 발명에 의하면, 스마트 폰을 통해 사용자의 시력을 측정하는 경우 기존에 사용자가 직접 입력해야 하는 불편함과, 사용자의 입력이 잘못된 경우에 발생하는 부정확성을 해소할 수 있다. According to the present invention, when measuring the eyesight of the user through a smart phone, it is possible to solve the inconvenience that the user must input directly, and inaccuracies that occur when the user's input is wrong.
또한, 사용자가 단순히 스마트 폰에 표시되는 화면의 변화를 응시하고 따라가는 것 만으로 자동으로 사용자의 시력을 측정할 수 있으므로 편리함과 정확도를 높일 수 있다.In addition, since the user can automatically measure the user's vision simply by staring at and following the change in the screen displayed on the smartphone can increase the convenience and accuracy.
또한, 현재 출력되는 표식을 이전에 출력된 표식과의 연관성을 가지고 출력함으로써 사용자가 이전 표식을 제대로 인식하였는지를 판단할 수 있다.In addition, it is possible to determine whether the user correctly recognizes the previous mark by outputting the currently displayed mark with a correlation with the previously output mark.
또한, 사용자 시선의 응시 여부와 시선의 방향이 향하고 있는 지점을 정확하게 찾아내어 현재 스마트폰 화면에 표시되는 영역과 매칭되는지의 여부를 파악할 수 있다.In addition, it is possible to accurately find out whether the gaze of the user's gaze and the direction of the gaze are directed to determine whether it matches the area currently displayed on the smartphone screen.
그리고, 시력 측정용 이미지와 텍스트를 스마트폰 상에 시간의 차이를 두고 연속적으로 표시하는데, 현재 표시되는 이미지와 텍스트가 이전에 표시된 이미지와 텍스트와의 연관성을 가지고 표시함으로써 사용자가 이전 이미지와 텍스트를 제대로 인식하였는지를 쉽게 파악할 수 있다.In addition, the image and text for vision measurement are continuously displayed on the smartphone at a time difference. The currently displayed image and text are displayed in association with the previously displayed image and text. It is easy to see if it is properly recognized.
도 1은 일반적인 시력 측정 원리를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 시력 측정 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시 예에 따른 시력 측정 시스템의 내부 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 스마트 폰과 사용자 간의 거리를 측정하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 스마트 폰의 화면 상에 측정 표식을 시력 값에 따라 순차적으로 1초 간의 차이를 두고 이동하면서 연속적으로 출력하는 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따라 눈 움직임과 시선 방향을 스캔하는 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따라 화면에서 이동하는 시력 0.5에 해당하는 측정 표식을 응시하는 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 측정 표식이 시력 단계의 전환에 따라 위치를 이동하여 디스플레이할 때 사용자의 시선 응시를 나타낸 도면이다.1 is a view showing a general vision measurement principle.
2 is a configuration diagram schematically showing the overall configuration of the vision measurement system according to an embodiment of the present invention.
3 is a block diagram schematically illustrating an internal configuration of an eye vision measuring system according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of measuring a distance between a smart phone and a user according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating an operation of measuring a vision using a user's gaze movement according to an exemplary embodiment of the present invention.
6 is a diagram illustrating an example of continuously outputting a measurement marker on the screen of a smart phone according to the visual acuity value with a difference of 1 second in sequence.
7 is a diagram illustrating an example of scanning eye movement and a gaze direction according to an exemplary embodiment of the present invention.
8 illustrates an example of staring at a measurement mark corresponding to 0.5 of visual acuity moving on a screen according to an exemplary embodiment of the present invention.
9 is a diagram illustrating a gaze of a user's gaze when a measurement marker according to an exemplary embodiment of the present invention moves and displays a position according to a change of a vision stage.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and like reference numerals designate like elements throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a portion is referred to as being "above" another portion, it may be just above the other portion or may be accompanied by another portion in between. In contrast, when a part is mentioned as "directly above" another part, no other part is involved between them.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.Terms such as first, second, and third are used to describe various parts, components, regions, layers, and / or sections, but are not limited to these. These terms are only used to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, the first portion, component, region, layer or section described below may be referred to as the second portion, component, region, layer or section without departing from the scope of the invention.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for reference only to specific embodiments and is not intended to limit the invention. As used herein, the singular forms “a,” “an,” and “the” include plural forms as well, unless the phrases clearly indicate the opposite. As used herein, the meaning of "comprising" embodies a particular characteristic, region, integer, step, operation, element and / or component, and the presence of other characteristics, region, integer, step, operation, element and / or component It does not exclude the addition.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating relative space such as "below" and "above" may be used to more easily explain the relationship of one part to another part shown in the drawings. These terms are intended to include other meanings or operations of the device in use with the meanings intended in the figures. For example, turning the device in the figure upside down, some parts described as being "below" of the other parts are described as being "above" the other parts. Thus, the exemplary term "below" encompasses both up and down directions. The device can be rotated 90 degrees or at other angles, the terms representing relative space being interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art. Commonly defined terms used are additionally interpreted to have a meaning consistent with the related technical literature and the presently disclosed contents, and are not interpreted in an ideal or very formal sense unless defined.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
도 2는 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법을 설명하기 위한 전체적인 구성을 개략적으로 나타낸 구성도이다.2 is a configuration diagram schematically showing the overall configuration for explaining a vision measurement method using a user's eye gaze motion according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법은, 사용자가 휴대하는 스마트 폰(100)에 적용한 것으로서, 스마트 폰(100)의 내부에 본 발명에 따른 시력 측정용 어플리케이션이 설치되고, 이를 실행한 상태에서 시력 측정이 시작될 수 있다.Referring to FIG. 2, the method for measuring eyesight using a user's eye gaze motion according to an embodiment of the present invention is applied to a
본 발명의 실시 예에서는 사용자 시선 움직임을 이용한 시력 측정 시스템을 스마트 폰(100)에 적용하였으나, 이에 한정하지 않고, 사용자가 휴대할 수 있고 사용자의 얼굴을 촬영하는 카메라를 구비한 단말기라면 어떤 것이든지 가능하다. In an embodiment of the present invention, the vision measuring system using the user's gaze movement is applied to the
본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 시스템(100)은 스마트 폰 이외에 예를 들면, PDA 단말기, 핸드폰, 태블릿 PC, 휴대용 노트북, 휴대용 카메라 등에 적용할 수 있다.The
본 발명의 실시 예에서는 시력 측정 시스템(100)을 스마트 폰(100)에 적용한 것을 예로 들었으며, 시력 측정 시스템(100)과 스마트 폰(100) 모두 동일한 부호를 사용하여 설명하기로 한다.In the exemplary embodiment of the present invention, the
시력 측정 시스템(100)은 본 발명의 실시 예에 따른 시력 측정용 어플리케이션이 실행되면, 도 2에 도시된 바와 같이 낮은 시력에 해당하는 측정 표식부터 순차적으로 시간 차이를 두고 이동하면서 화면 상에서 디스플레이할 수 있다.When the
여기서, 측정 표식은 각 시력 값에 대응되는 이미지와 텍스트 등으로 구현할 수 있다.Here, the measurement marker may be implemented as an image and text corresponding to each visual acuity value.
이때, 사용자는 스마트 폰(100)의 화면 상에 디스플레이되는 측정 표식을 응시하는데, 시력 측정 단계에 따라 순차적으로 이동하면서 표시되는 각 시력 값에 해당하는 측정 표식을 두 눈으로 따라 가면서 응시하는 것을 계속 유지할 수 있다.At this time, the user gazes at the measurement marker displayed on the screen of the
스마트 폰(100)은 전면 카메라를 작동하여 사용자의 얼굴을 촬영해 사용자의 얼굴과 주요 특징들을 실시간으로 분석하고, 카메라를 통해 인식되는 사용자의 눈에 대한 움직임을 상세히 분석하여 해당 시력 값의 측정 표식에 대한 사용자의 인식 정도를 파악할 수 있다.The
스마트 폰(100)은 사용자의 시선의 움직임과 멈춤, 이동을 파악함으로써 스마트폰 화면의 UI(User Interface)에 대한 사용자의 인식 여부를 확인할 수 있다. 스마트 폰(100)은 현재 사용자와의 거리와, 측정하고자 하는 시력 값에 맞는 이미지나 텍스트를 화면에 표시하여 사용자의 인식 여부를 파악할 수 있다. The
이 때 스마트 폰(100)은 사용자의 인식 여부를 정확하게 판단하기 위해 이미지와 텍스트를 시간의 차이를 두고 연속적으로 표시하는데, 현재 표시되는 이미지와 텍스트가 이전에 표시된 이미지와 텍스트와의 연관성을 가지고 표시함으로써 사용자가 이전 이미지와 텍스트를 제대로 인식하였는지를 파악할 수 있다. In this case, the
스마트 폰(100)은 시력 값의 정도를 최초에는 낮게 시작하여 점차적으로 시력 값을 높여가면서 이동하는 해당 시력 값의 측정 표식을 사용자의 시선이 제대로 따라오는지를 측정하는데, 시력 값이 사용자의 현재 시력 값보다 높아지게 되면 사용자의 시선이 따라오지 못하게 되며, 스마트 폰(100)은 이 시점을 기준으로 사용자의 시력 값을 확인할 수 있게 되는 것이다.The
도 3은 본 발명의 실시 예에 따른 시력 측정 시스템의 내부 구성을 개략적으로 나타낸 블록도이다.3 is a block diagram schematically illustrating an internal configuration of an eye vision measuring system according to an exemplary embodiment of the present invention.
도 1 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 시력 측정 시스템(100)은, 카메라 이미지 입력부(110), 눈 이미지 추출부(A, 120), 거리 연산부(B, 130), 시력별 화면 생성부(D, 140), 시선위치 추출부(C, 150), 시선매칭 검출부(E, 160), 화면 표시부(170) 등을 포함할 수 있다.1 to 3, the
카메라 이미지 입력부(110)는 카메라를 구비하고, 카메라를 통해 사용자(User)의 얼굴을 실시간으로 촬영하여 캡쳐(Capture) 한 안면 영상을 입력할 수 있다. 여기서, 안면 영상은 사용자의 얼굴에서 움직임이 없는 정지 이미지를 포함하거나, 눈의 움직임이나 얼굴의 움직임, 두 눈동자의 움직임 등이 있는 동영상을 포함할 수 있다.The camera
또한, 카메라 이미지 입력부(110)는 화면 표시부(170)에 이동하면서 디스플레이되는 측정 표식을 두 눈으로 응시하는 사용자의 얼굴을 촬영하여 획득한 두 눈동자의 멈춤과 움직임 등이 포함된 안면 영상을 입력할 수 있다. In addition, the camera
여기서, 측정 표식은 사용자의 시력 값을 판단하기 위한 각 시력 값에 해당하는 크기를 갖는 이미지 또는 텍스트를 포함할 수 있다. 예를 들면, 측정 표식은 도 1에 도시된 바와 같이 각 시력 값에 따른 크기를 갖는 새나 비행기, 자동차, 나비, 물고기 등의 이미지와, 숫자나 문자 등의 텍스트를 포함할 수 있다.Here, the measurement marker may include an image or text having a size corresponding to each visual acuity value for determining a visual acuity value of the user. For example, the measurement marker may include an image of a bird, an airplane, a car, a butterfly, a fish, etc., having a size corresponding to each visual acuity value, and text such as numbers or letters as shown in FIG. 1.
눈 이미지 추출부(120)는 안면 영상에서 눈의 위치와 영역 및 정보를 추출할 수 있다. 즉, 눈 이미지 추출부(120)는 안면 영상에 대해 픽셀(Pixel) 단위 또는 픽셀 영역 단위로 서로 비교하여 색상 차이로 구분되는 특징에 따라 사용자의 눈 이미지 또는 눈동자 이미지를 추출할 수 있다.The
또한, 눈 이미지 추출부(120)는 안면 영상에서 추출된 눈 위치에 근거해 양안 거리를 추출할 수 있다(a-1). In addition, the
즉, 눈 이미지 추출부(120)는 추출한 두 눈에 대해 두 눈동자 간 픽셀(Pixel) 값을 도출해 물리적인 거리 값으로 환산할 수 있다. 이를 위해 눈 이미지 추출부(120)는 한 픽셀 당 실제 물리적인 거리 값이 사용자와 스마트 폰 간의 거리 비율에 따라 매칭되어 있는 매칭 테이블을 더 포함할 수 있다. 또한 매칭 테이블은 사용자의 시선 응시에 따라 화면에서 이동되는 측정 표식에 대응하여 동일하게 움직이는 사용자의 눈동자 한 픽셀 당 측정 표식이 이동하는 픽셀 값을 데이터로 저장할 수 있다.That is, the
또한, 눈 이미지 추출부(120)는 사용자의 눈동자가 화면 상의 측정 표식을 따라가며 움직이는 안면 영상에서, 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있다(a-2).In addition, the
즉, 눈 이미지 추출부(120)는 안면 영상에서 추출된 눈 이미지 또는 눈동자 이미지에 근거해 눈동자가 정면을 응시하여 멈춤 상태인 눈동자 이미지를 기준으로 눈동자가 어느 방향으로 움직이는지에 따라 시선 방향을 추출할 수 있다. That is, the
예를 들면, 눈동자가 정 중앙에 멈춤 상태로 있는 원점을 기준으로 동, 서, 남, 북 방향 중 어느 방향으로 움직이는지에 따라 또는 북동, 남동, 서북, 남서 방향 중 어느 방향으로 움직이는지에 따라 좌안 또는 우안의 시선 방향을 추출할 수 있다.For example, depending on whether the pupil moves in the east, west, south, or north direction with respect to the origin at the center stop, or in the northeast, southeast, northwest, southwest direction, the left eye or The direction of the eye of the right eye can be extracted.
또한, 눈 이미지 추출부(120)는 추출된 눈 이미지 또는 눈동자 이미지에서 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다(a-3). In addition, the
즉, 눈 이미지 추출부(120)는 안면 영상에서 추출된 눈 이미지 또는 눈동자 이미지에 근거해 눈동자가 정면을 응시하여 멈춤 상태로 유지하고 있는지, 또는 동, 서, 남, 북 방향 중 어느 하나의 방향으로 움직인 상태를 유지하고 있는지 등 사용자의 시선 유지 여부를 판단할 수 있다.That is, the eye
거리 연산부(130)는 도 4에 도시된 바와 같이 두 눈동자 간의 양안 거리 값을 기반으로 삼각비에 따라 스마트 폰(100)과 사용자(User) 간의 거리를 연산할 수 있다. 도 4는 본 발명의 실시 예에 따른 스마트 폰과 사용자 간의 거리를 측정하는 예를 나타낸 도면이다. 도 4에 도시된 바와 같이, 거리 연산부(130)는 두 눈동자 간 픽셀(Pixel) 값을 이용한 물리적인 거리 값에 기반하여 삼각비에 따라 스마트 폰(100)과 사용자(User) 간의 거리를 산출할 수 있다.As shown in FIG. 4, the
즉, 스마트 폰(100)은 전면 카메라를 이용하여 사용자의 두 눈동자의 위치를 검출할 수 있고, 이 검출된 두 눈동자의 위치를 통해 카메라 해상도 내에서의 두 눈동자 간 픽셀(Pixel) 값을 측정할 수 있다. 본 발명에서는 사람의 눈 간 거리가 일정한 값을 유지한다는 점을 이용하여 눈간 Pixel 값을 물리적인 거리 값으로 도출하고 이것을 기반으로 사용자(User)의 두 눈동자와 스마트폰 간(100)의 삼각비를 이용하여 사용자와 스마트폰(100) 간의 실제 거리를 측정할 수 있다. 삼각비를 이용하는 경우의 비례식은 실제 사용자와 스마트 폰(100)이 수평하다는 전제를 두고 연산하기 때문에, 실제 사용 환경에서 발생하는 스마트 폰(100)의 기울임과 사용자 눈의 기울어짐에 따른 오차가 발생할 수 있다. 이 오차를 스마트 폰(100)은 기울기 센서(미도시)를 이용하여 기울어짐 정도를 측정하고, 이에 맞추어 기울어짐을 보상하도록 함으로써 사용자와 스마트 폰(100) 간의 거리의 정확도를 높일 수 있다. 이 때 사용자 거리는 mm 단위 또는 Cm 단위를 사용할 수 있다.That is, the
시력별 화면 생성부(140)는 사용자와의 거리에 맞는 시력 값에 해당하는 화면의 이미지나 텍스트를 생성할 수 있다. The vision-specific
즉, 시력별 화면 생성부(140)는 사용자(User)와 스마트 폰(100) 간의 측정 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성할 수 있다. 여기서, 최초 기준 시력 값은 이전에 측정된 시력 값을 이용하거나 또는 기본적으로 설정된 기본 시력 값을 이용할 수 있다.That is, the
이 때, 시력 값에 맞는 화면의 이미지나 텍스트 등은 시력 측정 Standard EN ISO 8596:2017의 거리별 discern resolution에 맞게 생성할 수 있다(6/6 acuity, 20/20 acuity).At this time, the image or text on the screen that matches the visual acuity value can be generated according to the distance-based discern resolution of the standard EN ISO 8596: 2017 (6/6 acuity, 20/20 acuity).
또한, 시력별 화면 생성부(140)는 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.In addition, the
또한, 시력별 화면 생성부(140)는 시력 값의 정도를 최초에는 낮게 시작하여 점차적으로 단계 별로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.In addition, the
그리고, 시력별 화면 생성부(140)는 각 시력 값에 해당하는 측정 표식, 즉 이미지나 텍스트의 좌표 값과 크기 값을 시선 매칭 검출부(160)로 전달할 수 있다.In addition, the
시선 위치 추출부(150)는 눈의 움직임과 시선 방향을 추출할 수 있다. 즉, 시선 위치 추출부(150)는 눈 이미지 추출부(120)로부터 추출된 좌안 또는 우안의 시선 방향과 시선 유지 정보에 근거해 시선 위치를 추출할 수 있다.The
시선 위치 추출부(150)는 사용자의 측정 표식에 대한 응시에 따라 눈동자가 움직이는 안면 영상에서, 원점을 기준으로 눈동자가 움직인 후 움직임이 없이 멈춘 상태를 통해 현재 사용자의 시선이 어디에 머물고 있는지를 픽셀 단위로 환산하여 시선 위치를 추출할 수 있다. 이 때 추출된 시선 위치는 눈동자의 X, Y 좌표 값과, 해당 눈동자가 차지하는 픽셀 영역의 크기(Size)를 포함할 수 있다. 따라서 시선 위치 추출부(150)는 추출된 눈동자의 X, Y 좌표 값과 영역의 크기 값으로 정의되는 시선 정보 값을 시선 매칭 검출부(160)로 전달할 수 있다.The gaze
시선 위치 추출부(150)는 시선의 고정과 움직임을 분별하는 새카드(Saccades) 방식과, 물체 또는 화면의 움직임을 따라가는 스무스 추적(Smooth Pursuit) 방식을 이용하여 사용자의 시선의 움직임과 멈춤 및 이동 방향을 추출할 수 있다.The gaze
시선 매칭 검출부(160)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출할 수 있다.The
즉, 시선 매칭 검출부(160)는 시력별 화면 생성부(140)로부터 전달받은 각 시력 값에 해당하는 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치 추출부(150)로부터 전달받은 눈동자의 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다. That is, the
스마트 폰(100)은 시선 매칭 검출부(160)의 매칭 검출 결과에 따라 사용자가 현재 시력 측정 화면을 보고 있는지를 확인할 수 있다. 즉, 사용자가 화면을 응시할 때, 화면 상에서 이동하는 측정 표식이 눈에 보이면 계속적으로 측정 표식을 따라서 눈동자를 움직이게 되므로, 측정 표식의 이동 위치와 눈동자의 시선 위치가 서로 매칭되는 경우에 해당한다.The
화면 표시부(170)는 사용자와의 거리에 맞추어 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 표시 출력할 수 있다.The
시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단할 수 있다.The visual
즉, 낮은 시력부터 점차 높은 시력으로 단계적으로 시력의 크기를 증가시켜 측정 표식을 이동하면서 디스플레이할 때, 사용자의 시력과 측정 표식의 시력이 동일한 경우에는 사용자의 눈동자가 계속적으로 측정 표식을 따라 움직이게 되므로, 측정 표식의 이동 위치와 눈동자의 시선 위치가 동일하게 매칭되는 것이고, 사용자의 시력과 측정 표식의 시력이 다르게 되면 사용자의 눈에 측정 표식이 보이지 않아 눈동자가 측정 표식의 이동을 따라가지 못하게 되고 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 못하는 것이다.In other words, when the measurement marker is moved while displaying the size of the vision by gradually increasing the size of the vision from low to high vision, when the user's eyesight and the eyesight of the measurement markers are the same, the user's eyes continuously move along the measurement markers. In other words, the movement position of the measurement marker and the eye position of the pupil are identically matched, and if the user's eyesight and the eyesight of the measurement marker are different, the measurement marker is not visible to the user's eyes and the pupil cannot follow the movement of the measurement marker. The position of the marker's movement and the pupil's line of sight do not match.
따라서, 시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 사용자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 현재 사용자의 시력 값으로 판단할 수 있다.Therefore, when the moving position of the measurement mark and the eye gaze position of the pupil do not match, the
그리고, 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 시스템(100)은, 도 3에 도시하지는 않았으나, 시력측정 대상 사용자와 스마트 폰 간의 거리를 적외선 또는 초음파를 이용하여 측정하기 위한 별도의 거리 측정 센서를 포함할 수 있다. And, although not shown in Figure 3, the
도 5는 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.5 is a flowchart illustrating an operation of measuring a vision using a user's gaze movement according to an exemplary embodiment of the present invention.
도 1 내지 도 5를 참조하면, 본 발명의 시력 측정 시스템(100)에서, 먼저 카메라 이미지 입력부(110)는 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력할 수 있다(S510).1 to 5, in the
여기서, 안면 영상은 사용자의 얼굴을 비롯해 두 눈과 두 눈동자 등의 이미지를 포함할 수 있는데, 시력 측정을 위해 처음 사용자의 얼굴을 촬영하여 얻은 영상이므로, 두 눈의 움직임이 없는 정지 이미지를 포함할 수 있다.Here, the facial image may include images of the user's face, two eyes and two eyes, etc. Since the image is obtained by first photographing the user's face for eyesight measurement, the facial image may include a still image without movement of both eyes. Can be.
이어, 눈 이미지 추출부(120)는 안면 영상에서 눈의 위치를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출할 수 있다(S520).Subsequently, the
즉, 눈 이미지 추출부(120)는 안면 영상에 대해 픽셀 단위 또는 픽셀 영역 단위로 서로 비교하여 색상 차이로 구분되는 두 눈의 위치를 X, Y 좌표 값과 영역의 크기 값으로 추출할 수 있다. That is, the
또한, 눈 이미지 추출부(120)는 좌안의 X, Y 좌표 값과 우안의 X, Y 좌표 값에 근거해 두 눈의 간격, 즉 좌안의 X, Y 좌표 값과 우안의 X, Y 좌표 값의 차이에 따른 양안 거리 값을 추출할 수 있다.In addition, the
또한, 눈 이미지 추출부(120)는 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있고, 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다.In addition, the
이어, 거리 연산부(130)는 양안 거리 값을 기반으로 삼각비에 따라 스마트 폰(100)과 사용자(User)와의 거리 값을 연산할 수 있다(S530).Subsequently, the
즉, 거리 연산부(130)는 도 4에 도시된 바와 같이 카메라를 이용하여 검출된 두 눈동자의 위치를 통해 카메라 해상도 내에서의 두 눈동자 간 픽셀(Pixel) 값을 기반으로 삼각비에 따라 사용자와 스마트폰(100) 간의 실제 거리를 측정할 수 있다. 삼각비를 이용하는 경우의 비례식은 실제 사용자와 스마트 폰(100)이 수평하다는 전제를 두고 연산할 수 있다.That is, the
이어, 시력별 화면 생성부(140)는 사용자와의 거리에 맞는 시력 별 측정 표식(시력 값에 해당하는 화면의 이미지나 텍스트)을 디스플레이하는 화면을 생성해 화면 표시부(170)로 출력할 수 있다(S540).Subsequently, the vision
즉, 시력별 화면 생성부(140)는 사용자(User)와 스마트 폰(100) 간의 측정 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하여 화면 표시부(170)로 출력할 수 있다. That is, the
예를 들면, 시력별 화면 생성부(140)는 도 6에 도시된 바와 같이 측정 표식에 대해, 첫번째 표시로 시력이 0.1에 해당하는 "4"라는 숫자를 화면 오른쪽 상부에 1 초간 표시하고 사라지는 화면을 생성할 수 있다. 이어, 시력별 화면 생성부(140)는 표시 위치를 첫번째 위치로부터 좌측 아래로 이동하여 두번째 표시로 시력 0.2에 해당하는 "" 이미지를 1초간 표시하고 사라지는 화면을 생성할 수 있다. 이어, 시력별 화면 생성부(140)는 표시 위치를 두번째 위치로부터 우측 아래로 이동하여 세번째 표시로 시력 0.3에 해당하는 "" 이미지를 1초간 표시하고 사라지는 화면을 생성할 수 있다. 이어, 시력별 화면 생성부(140)는 표시 위치를 세번째 위치로부터 좌측 아래로 이동하여 네번째 표시로 시력 0.4에 해당하는 "2"라는 숫자를 1 초간 표시하고 사라지는 화면을 생성할 수 있다. 도 6의 경우에는 본 발명의 실시 예에 따른 스마트 폰의 화면 상에 측정 표식을 시력 값에 따라 순차적으로 1초간의 차이를 두고 이동하면서 연속적으로 출력하는 예를 나타낸 도면이다. For example, as shown in FIG. 6, the vision
이때, 측정 표식의 디스플레이 간격은 도 6에서 1초 간격으로 예시하였으나, 이에 한정하지 않고 0.5초 간격으로 표시 출력한다거나, 1.5초 간격으로 표시 출력하는 등 사용자가 설정 메뉴를 통해 임의로 설정할 수 있다.In this case, the display interval of the measurement marker is illustrated as an interval of 1 second in FIG. 6, but the present invention is not limited thereto. The display may be output at 0.5 second intervals or at 1.5 second intervals.
또한, 측정 표식의 디스플레이 위치도 도 6에서는 좌측과 우측으로 번갈아 가면서 디스플레이하는 것으로 예시하였으나, 이에 한정하지 않고 사용자가 메뉴 설정을 통해 설정한 표시 위치에 디스플레이되도록 하거나, 프로그램 또는 시력별 화면 생성부(140)가 측정 표식의 디스플레이 위치를 임의로 지정하거나 변경해 가면서 디스플레이하도록 설정할 수 있다.In addition, although the display position of the measurement marker is also displayed alternately left and right in FIG. 6, the present invention is not limited thereto, but the display position of the measurement marker is displayed on the display position set by the user through menu setting or by a program or a screen generation unit for each sight. 140 may be set to display the display position of the measurement marker while changing or specifying.
따라서, 화면 표시부(170)는 시력 별로 일정한 시간 차이를 두고 위치를 변경해 이동하면서 순차적으로 측정 표식을 디스플레이하는 화면을 표시 출력한다.Accordingly, the
이 때, 화면 표시부(170)는 시력 측정 어플리케이션이나 또는 시력별 화면 생성부(140)의 동작에 따라 시력 값의 정도를 최초에는 0.1과 같이 낮게 시작하여 점차적으로 단계 별로 시력 값을 높여가면서 도 4에 도시된 바와 같이 각 시력 값에 해당하는 측정 표식을 이동하면서 시력 값에 따라 순차적으로 시간의 차이를 두고 연속적으로 화면 상에 디스플레이할 수 있다.In this case, the
또한, 화면 표시부(170)는 도 4에서 시력 값에 대한 간격을 0.1 단위로 변경하여 그에 해당하는 측정 표식을 디스플레이하였으나, 이에 한정하지 않고 시력별 화면 생성부(140)의 동작에 따라 0.2 단위나, 0.3 단위로 변경해 그에 해당하는 측정 표식을 디스플레이하거나, 난수 알고리즘에 따라 0.1 간격, 0.3 간격, 0.4 간격 등 다양하게 변경하여 그에 해당하는 측정 표식을 디스플레이할 수 있다.In addition, although the
이때, 사용자는 자신과 일정 간격으로 떨어져 있는 스마트 폰(100)의 화면 표시부(170) 상에 디스플레이되는 측정 표식을 응시하면서, 측정 표식이 이동할 때마다 두 눈동자도 측정 표식의 이동을 따라 동일하게 움직여 가면서 계속적으로 측정 표식을 주시하게 된다.At this time, the user gazes at the measurement mark displayed on the
이어, 카메라 이미지 입력부(110)는 화면에서 이동하는 시력 별 측정 표식을 따라 눈을 움직이는 사용자의 얼굴을 촬영한 안면 영상을 입력할 수 있다(S550).Subsequently, the camera
여기서, 카메라 이미지 입력부(110)를 통해 입력되는 안면 영상은, 사용자의 얼굴을 비롯해 두 눈동자의 멈춤과 움직임 등의 동작 영상으로서, 각 프레임 단위의 정지 이미지가 합성된 영상을 포함할 수 있고, 시간 흐름에 따라 두 눈동자의 동작이 변경되는 실시간 비디오 영상을 포함할 수 있다. Here, the facial image input through the camera
또한, 안면 영상은 화면 표시부(170)의 화면 상에 시간 차이를 두고 이동하면서 표시되는 측정 표식을 따라가며 응시하는 사용자의 두 눈동자의 정지 및 움직임 영상을 포함할 수 있다.In addition, the facial image may include still and motion images of two eyes of a user staring while following a measurement mark displayed while moving with a time difference on the screen of the
이어, 시선 위치 추출부(150)는 안면 영상에서 눈의 움직임과 시선 방향에 따른 눈동자의 시선 위치를 추출할 수 있다(S560).Subsequently, the
즉, 시선 위치 추출부(150)는 화면 표시부(1170) 상에서 시력 값에 따라 디스플레이되는 측정 표식의 정지 및 이동에 대응하여 도 7에 도시된 바와 같이 사용자의 눈동자의 움직임과 시선 방향을 스캐닝(Scanning) 할 수 있다. 도 7은 본 발명의 실시 예에 따라 눈 움직임과 시선 방향을 스캔하는 예를 나타낸 도면이다. 도 7에 도시된 바와 같이, 시력 0.5와 시력 0.8, 시력 1.0, 시력 1.2에 해당하는 측정 표식이 디스플레이 될 때 사용자의 눈동자가 모두 활발하게 움직이는 것을 알 수 있다. 즉, 사용자의 눈에 해당 측정 표식이 잘 보이므로 응시 상태를 계속 유지하면서 시력 0.5에 해당하는 측정 표식부터 시력 1.2에 해당하는 측정 표식까지 눈동자의 움직임이 활발하게 일어나는 것을 알 수 있다.That is, the
이 때, 시선 위치 추출부(150)는 시선의 고정과 움직임을 분별하는 새카드(Saccades) 방식과, 물체 또는 화면의 움직임을 따라가는 스무스 추적(Smooth Pursuit) 방식을 이용하여 사용자의 시선의 움직임과 멈춤 및 이동 방향을 추출할 수 있다.At this time, the gaze
사용자는 화면 표시부(170) 상에 시간 차이를 두고 각 시력 값에 따라 바뀌고 위치가 변경되면서 도 8에 도시된 바와 같이 디스플레이되는 측정 표식을 응시하게 되고, 해당 측정 표식의 이동 위치를 따라 눈동자도 동일하게 움직이게 된다. 도 8은 본 발명의 실시 예에 따라 화면에서 이동하는 시력 0.5에 해당하는 측정 표식을 응시하는 예를 나타낸 도면이다.The user looks at the measurement marker displayed as shown in FIG. 8 while changing the position and changing the position according to the visual acuity value with time difference on the
이어, 시선 매칭 검출부(160)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출할 수 있다(S570).Subsequently, the
즉, 시선 매칭 검출부(160)는 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.That is, the
이 때, 시선 매칭 검출부(160)는 사용자의 눈동자 한 픽셀 당 측정 표식이 이동하는 픽셀 값이 저장되어 있는 매칭 테이블에 근거해 측정 표식의 이동 위치 및 방향과 눈동자의 움직인 위치와 방향이 일정 비율로 매칭되는지를 검출할 수 있다.At this time, the gaze matching
예를 들면, 매칭 테이블에 눈동자 1 픽셀 당 측정 표식의 이동 위치가 50 픽셀로 매칭되어 있고, 사용자가 화면에서 도 9에 도시된 바와 같이 시력 1.0에 해당하는 "" 측정 표식을 응시하다가 다음 시력 단계로 전환되어 시력 1.1에 해당하는 "" 측정 표식을 응시하게 되는 경우를 예로 들 수 있다. 도 9는 본 발명의 실시 예에 따른 측정 표식이 시력 단계의 전환에 따라 위치를 이동하여 디스플레이할 때 사용자의 시선 응시를 나타낸 도면이다. 도 9에서, 시력 전환에 따라 측정 표식은 시력 1.0에 해당하는 "" 측정 표식의 X, Y 좌표가 (300, 50)이고, 다음에 디스플레이되는 시력 1.1에 해당하는 "" 측정 표식의 X, Y 좌표가 (30, 400)인 경우, X 좌표가 좌측(-) 방향으로 10배로 이동했고, Y 좌표가 아래(+) 방향으로 8 배로 이동했음을 알 수 있다. 이 때, 시력 1.0에 해당하는 "" 측정 표식을 응시하는 눈동자의 X, Y 좌표(10, 1)를 기준으로 시력 1.1에 해당하는 "" 측정 표식을 응시하는 눈동자의 X, Y 좌표가 (1, 8)로 이동한 경우에, 시선 매칭 검출부(160)는 측정 표식을 응시하는 눈동자의 X 좌표가 좌측 방향으로 10배 이동하고, 눈동자 Y 좌표가 아래 방향으로 8배로 이동한 것으로 인식하여, 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는 상태로 검출할 수 있다.For example, in the matching table, the moving position of the measurement marker per pixel of the eye is matched to 50 pixels, and the user corresponds to the visual acuity of 1.0 as shown in FIG. 9 on the screen. "Stare at the measurement marker and switch to the next stage of vision, corresponding to 1.1 For example, the gaze of the measurement marker may be viewed. FIG. 9 illustrates a gaze of the user when the measurement marker according to an exemplary embodiment of the present invention moves and displays a position according to a change of vision stage. FIG. At 9, the marker measured according to visual acuity conversion corresponds to visual acuity 1.0 " "The X, Y coordinates of the measurement markers are (300, 50) and correspond to the visual acuity 1.1 displayed next" "If the X, Y coordinates of the measurement marker are (30, 400), then the X coordinate has moved 10 times in the left (-) direction and the Y coordinate has moved 8 times in the down (+) direction. , Equivalent to eyesight 1.0 "Corresponds to a visual acuity of 1.1 based on the X, Y coordinates (10, 1) of the pupil gazing at the measurement marker" "When the X and Y coordinates of the pupil gazing at the measurement marker are moved to (1, 8), the
즉, 사용자가 응시하는 화면에서 측정 표식이 변경된 화면 영역을 응시하고 있다면 시선 매칭 검출부(160)는 현재 측정 표식의 화면을 인지하였다고 인식하고, 시력별 화면 생성부(140)는 시력의 크기를 증가시켜 도 9에 도시된 바와 같이 이전 화면과 다른 위치에 다음 측정 표식의 화면을 생성하여 화면 표시부(170)에 표시 출력할 수 있다. That is, when the user gazes at the screen area where the measurement mark is changed, the gaze matching
측정 표식의 화면이 변경되면 시선 위치 추출부(150)는 다시 사용자의 시선 위치를 측정하고 변경 화면 위치를 응시하는지를 확인할 수 있다. 이 화면에는 이전 화면과 연동되는 정보와 관련없는 정보가 포함된 화면을 표시할 수 있다. 사용자가 이전 화면과 연동되는 정보를 정상적으로 응시하게 되면 사용자는 이전 화면의 내용을 정상적으로 인지한 것이고 응시하지 않으면 인지하지 못한 것이다. When the screen of the measurement marker is changed, the
이어, 시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 사용자의 시력 값을 판단할 수 있다(S580).Subsequently, the
즉, 시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.That is, the visual
예를 들면, 도 9에서 사용자의 눈동자가 측정 표식의 이동을 따라 동일한 방향으로 움직이다가 시력 1.0에 해당하는 "" 측정 표식은 응시하고, 측정 표식이 전환되어 시력 1.1에 해당하는 "" 측정 표식을 응시하지 못한 경우에, 시력 1.1에 대한 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않으므로, 바로 이전에 눈동자의 시선 위치와 매칭되었던 1.0 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.For example, in FIG. 9, the pupil of the user moves in the same direction along the movement of the measurement marker, and corresponds to the visual acuity of 1.0. "The measurement marker is staring and the measurement marker is switched to correspond to 1.1 eyesight." "If the eye was not staring at the measurement marker, the eye position of the 1.0 measurement marker that was previously matched to the eye position of the pupil was not matched since the movement position of the measurement marker for visual acuity 1.1 did not match. Judging by
전술한 바와 같이, 사용자가 스마트 폰(100)의 표시 화면부(170)에 디스플레이되는 측정 표식을 계속 응시하도록 하고, 각 단계 별로 측정 표식의 시력 값을 변화하며 이러한 일련의 과정들을 반복하면 사용자가 인지할 수 있는 수준의 시력 값을 측정하여 확인할 수 있게 되는 것이다.As described above, the user continues to stare at the measurement marker displayed on the
본 발명의 스마트 폰(100)은 이렇게 화면 변화에 이 화면을 쫓아가는 사용자의 시선을 확인하여 사용자 시력 정도를 측정할 수 있다.The
또한, 본 발명의 스마트 폰(100)은 사용자의 시선과 응시 정도의 변화를 이전 화면과 확실하게 구분할 수 있으며, 이전의 화면과 현재의 화면의 연관성을 만들어 내어 사용자가 이전 화면을 확실하게 인지 하였음을 판단할 수 있다.In addition, the
또한, 본 발명의 스마트 폰(100)은 사용자의 반응 감지를 통한 사용자의 입력이 없는 시력을 측정할 수 있다. 즉, 사용자 시선의 응시 여부와 시선의 방향이 향하고 있는 지점을 정확하게 찾아내어 현재 스마트 폰(100)의 화면에 표시되는 영역과 매칭되는지의 여부를 파악할 수 있다.In addition, the
전술한 바와 같이 본 발명에 의하면, 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 스마트 폰의 화면에서 이동되는 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템을 실현할 수 있다.As described above, according to the present invention, by simply displaying a marker for measuring the vision on the screen of the smart phone that the user carries, and following the measurement marker that the user's eyes move on the screen of the smart phone without the user's input, A vision measuring method and system using a user's gaze movement to measure vision can be realized.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features, the embodiments described above should be understood as illustrative and not restrictive in all aspects. Should be. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.
100 : 시력 측정 시스템
110 : 카메라 이미지 입력부
120 : 눈 이미지 추출부
130 : 거리 연산부
140 : 시선위치 추출부
150 : 시력별 화면 생성부
160 : 시선매칭 검출부
170 : 화면 표시부100: vision measurement system
110: camera image input unit
120: eye image extraction unit
130: distance calculation unit
140: gaze position extraction unit
150: screen generation unit for each sight
160: line matching detection unit
170: screen display unit
Claims (19)
사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 카메라 이미지 입력부;
상기 안면 영상에서 눈의 위치와 영역 및 정보를 추출하고, 상기 눈의 위치에 근거해 양안 거리 값을 추출하는 눈 이미지 추출부;
상기 양안 거리 값을 기반으로 상기 사용자와의 거리를 연산하는 거리 연산부;
상기 사용자와의 거리에 맞추어, 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 생성하는 시력별 화면 생성부;
상기 생성된 화면을 표시 출력하는 화면 표시부;
상기 이동하는 측정 표식을 따라 움직이는 눈동자의 시선 위치를 추출하는 시선 위치 추출부;
상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되는지를 검출하는 시선 매칭 검출부; 및
상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단하는 시력 판단부;를 포함하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
In an eye measurement system using the user's eye movements, the user displays the eye measurement markers, so that the user's eyes can naturally measure the user's eyes just by following the measurement markers,
A camera image input unit configured to input a face image captured by capturing a user's face;
An eye image extractor extracting a position, an area, and information of an eye from the face image, and extracting a binocular distance value based on the position of the eye;
A distance calculator configured to calculate a distance to the user based on the binocular distance value;
A vision-specific screen generation unit configured to generate a screen to be displayed while moving a measurement mark corresponding to each visual acuity value according to a distance from the user;
A screen display unit which displays and displays the generated screen;
A gaze position extraction unit for extracting a gaze position of a pupil moving along the moving measurement mark;
A gaze matching detector configured to detect whether a movement position of the measurement mark matches a gaze position of the pupil; And
A visual acuity determiner configured to determine a visual acuity value according to whether a movement position of the measurement mark is matched with a gaze position of the pupil;
Vision measurement system using user eye movement.
상기 측정 표식은, 상기 사용자의 시력 값을 판단하기 위한 각 시력 값에 해당하는 크기를 갖는 이미지 또는 텍스트를 포함하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The measurement marker may include an image or text having a size corresponding to each visual acuity value for determining a visual acuity value of the user.
Vision measurement system using user eye movement.
상기 눈 이미지 추출부는 상기 눈의 위치에 근거해 상기 사용자의 좌안 또는 우안의 시선 방향을 추출하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The eye image extracting unit extracts a gaze direction of the left or right eye of the user based on the position of the eye,
Vision measurement system using user eye movement.
상기 눈 이미지 추출부는 상기 눈의 위치에 근거해 상기 사용자의 시선 유지 여부를 판단하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The eye image extracting unit determines whether to maintain the user's gaze based on the position of the eye,
Vision measurement system using user eye movement.
상기 거리 연산부는 두 눈동자 간 픽셀(Pixel) 값을 이용한 양안 거리 값에 기반하여 삼각비에 따라 상기 사용자와의 거리를 산출하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The distance calculator calculates a distance from the user based on a triangular ratio based on a binocular distance value using a pixel value between two eyes,
Vision measurement system using user eye movement.
상기 시력별 화면 생성부는, 상기 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The screen generation unit for each visual acuity generates a screen for displaying a measurement mark corresponding to an initial reference visual acuity value according to the calculated distance from the user, or displays a screen for displaying a measurement mark corresponding to each visual acuity value for each measurement step. Produced,
Vision measurement system using user eye movement.
상기 시력별 화면 생성부는 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 6,
The screen generation unit for each visual acuity generates a screen for continuously outputting a measurement mark corresponding to each visual acuity value while sequentially moving with a time difference according to the visual acuity value.
Vision measurement system using user eye movement.
상기 시력별 화면 생성부는 최초에는 시력 값을 낮게 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 6,
The screen generation unit for each sight generates a screen for continuously outputting the measurement markers corresponding to each sight value sequentially with a time difference according to the sight value while gradually starting to lower the sight value and gradually increasing the sight value. doing,
Vision measurement system using user eye movement.
상기 시선 매칭 검출부는 상기 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 상기 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The gaze matching detector detects a match by comparing a coordinate value and a size value of a moving position of the measurement marker with a coordinate value and a size value of the gaze position.
Vision measurement system using user eye movement.
상기 시력 판단부는, 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 상기 사용자의 시력 값으로 판단하는,
사용자 시선 움직임을 이용한 시력 측정 시스템.
The method of claim 1,
The visual acuity determining unit may determine a visual acuity value of a measurement mark that was previously matched with a gaze position of an eye as the visual acuity value of the user when the movement position of the measurement mark and the eye position of the eye do not match.
Vision measurement system using user eye movement.
카메라 이미지 입력부가, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 단계;
눈 이미지 추출부가, 상기 안면 영상에서 눈의 위치를 추출하고, 상기 눈의 위치에 근거해 양안 거리 값을 추출하는 단계;
거리 연산부가, 상기 양안 거리 값을 기반으로 상기 사용자와의 거리 값을 연산하는 단계;
시력별 화면 생성부가, 상기 사용자와의 거리 값에 맞는 시력 별 측정 표식을 디스플레이하는 화면을 생성하는 단계;
카메라 이미지 입력부가, 상기 화면에서 이동하는 시력 별 측정 표식을 따라 눈을 움직이는 사용자의 얼굴을 촬영한 안면 영상을 입력하는 단계;
시선 위치 추출부가, 상기 안면 영상에서 눈의 움직임과 시선 방향에 따른 눈동자의 시선 위치를 추출하는 단계;
시선 매칭 검출부가, 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되는지를 검출하는 단계; 및
시력 판단부가, 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치의 매칭 여부에 따라 사용자의 시력 값을 판단하는 단계;
를 포함하는 사용자 시선 움직임을 이용한 시력 측정 방법.
In the eye measurement method using the user's eye movements, the user to display the eye measurement markers, so that the user's eyes can naturally measure the user's eyes just by following the measurement markers,
Inputting, by a camera image input unit, a face image captured by capturing a face of a user;
An eye image extracting unit, extracting a position of an eye from the face image and extracting a binocular distance value based on the position of the eye;
Calculating, by a distance calculator, a distance value with the user based on the binocular distance value;
Generating a screen for displaying a measurement marker for each sight corresponding to a distance value with the user;
Inputting, by a camera image input unit, a face image photographing a face of a user moving an eye according to a vision-specific measurement mark moving on the screen;
A gaze position extracting unit, extracting gaze positions of pupils according to eye movements and gaze directions from the facial image;
Detecting, by the line of sight matching detector, whether a movement position of the measurement mark and a line of sight of the pupil match; And
Determining, by the visual acuity determiner, the visual acuity value of the user according to whether the movement position of the measurement mark matches the eye position of the eye;
Vision measurement method using a user's gaze movement comprising a.
상기 양안 거리 값을 추출하는 단계는,
상기 눈 이미지 추출부가 상기 눈의 위치에 근거해 상기 사용자의 좌안 또는 우안의 시선 방향을 추출하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 11,
Extracting the binocular distance value,
The eye image extracting unit extracts a gaze direction of the left or right eye of the user based on the position of the eye,
Vision measurement method using the user's eye movement.
상기 양안 거리 값을 추출하는 단계는,
상기 눈 이미지 추출부가 상기 눈의 위치에 근거해 상기 사용자의 시선 유지 여부를 판단하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 11,
Extracting the binocular distance value,
The eye image extractor determines whether to maintain the user's gaze based on the position of the eye,
Vision measurement method using the user's eye movement.
상기 사용자와의 거리 값을 연산하는 단계는,
상기 거리 연산부가 두 눈동자 간 픽셀(Pixel) 값을 이용한 양안 거리 값에 기반하여 삼각비에 따라 상기 사용자와의 거리를 산출하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 11,
Computing the distance value with the user,
The distance calculator calculates a distance from the user based on a triangular ratio based on a binocular distance value using a pixel value between two eyes,
Vision measurement method using the user's eye movement.
상기 디스플레이하는 화면을 생성하는 단계는,
상기 시력별 화면 생성부가 상기 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 11,
Generating the screen to be displayed,
The screen generation unit for each sight generates a screen displaying a measurement mark corresponding to an initial reference vision value according to the calculated distance from the user, or a screen for displaying a measurement mark corresponding to each vision value for each measurement step. doing,
Vision measurement method using the user's eye movement.
상기 디스플레이하는 화면을 생성하는 단계는,
상기 시력별 화면 생성부가 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 15,
Generating the screen to be displayed,
The screen generation unit for each sight generates a screen for continuously outputting a measurement mark corresponding to each sight value sequentially moving with a time difference according to the sight value,
Vision measurement method using the user's eye movement.
상기 디스플레이하는 화면을 생성하는 단계는,
상기 시력별 화면 생성부가 최초에는 시력 값을 낮게 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 15,
Generating the screen to be displayed,
The screen generation unit for each sight generates a screen that continuously outputs the measurement markers corresponding to each sight value sequentially with a time difference according to the sight value while gradually starting to lower the sight value and gradually increasing the sight value. doing,
Vision measurement method using the user's eye movement.
상기 눈동자의 시선 위치가 매칭되는지를 검출하는 단계는,
상기 시선 매칭 검출부가 상기 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 상기 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출하는,
사용자 시선 움직임을 이용한 시력 측정 방법.
The method of claim 11,
Detecting whether the eye gaze position of the pupil is matched,
The gaze matching detection unit detects a match by comparing a coordinate value and a size value with respect to the movement position of the measurement mark and a coordinate value and a size value with respect to the gaze position.
Vision measurement method using the user's eye movement.
상기 사용자의 시력 값을 판단하는 단계는,
상기 시력 판단부가 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 상기 사용자의 시력 값으로 판단하는,
사용자 시선 움직임을 이용한 시력 측정 방법.The method of claim 11,
Determining the visual acuity value of the user,
When the visual acuity determination unit does not match the movement position of the measurement marker and the eye gaze position of the pupil, the visual acuity value of the measurement marker that was matched with the eye gaze position of the eye immediately before, as the eyesight value of the user,
Vision measurement method using the user's eye movement.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180030573A KR102118505B1 (en) | 2018-03-16 | 2018-03-16 | System and method for measurement of visual acuity based on the analysis of user eye movements |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180030573A KR102118505B1 (en) | 2018-03-16 | 2018-03-16 | System and method for measurement of visual acuity based on the analysis of user eye movements |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190108909A true KR20190108909A (en) | 2019-09-25 |
KR102118505B1 KR102118505B1 (en) | 2020-06-03 |
Family
ID=68068436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180030573A KR102118505B1 (en) | 2018-03-16 | 2018-03-16 | System and method for measurement of visual acuity based on the analysis of user eye movements |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102118505B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112741589A (en) * | 2021-01-14 | 2021-05-04 | 沈阳视达微医疗科技有限公司 | Optical device for vision detection, vision detection system and method |
SE2050893A1 (en) * | 2020-07-14 | 2022-01-15 | Heads Stockholm Ab | Eye movement evaluation |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004337546A (en) * | 2003-05-14 | 2004-12-02 | Eye Power Sports Inc | Method and apparatus for measuring visual ability |
KR20050089232A (en) * | 2004-03-04 | 2005-09-08 | 주식회사 팬택 | Wireless communication terminal and its method for providing eyesight test function |
JP2007105097A (en) * | 2005-10-11 | 2007-04-26 | Sony Corp | Visual acuity measurement system, information processor, remote handling equipment, information processing method, remote handling method and computer program |
KR20070066574A (en) * | 2005-12-22 | 2007-06-27 | 주식회사 팬택 | Method and mobile communication terminal for adjusting size of displayed text according to distance from user eyes |
JP2008534157A (en) * | 2005-03-30 | 2008-08-28 | ノバビジョン, インコーポレイテッド | Method and apparatus for providing visual stimuli using a head mounted display during vision training |
JP2010511486A (en) * | 2006-12-04 | 2010-04-15 | ファテ,シナ | System, method and apparatus for correction of amblyopia and eyeball deviation |
JP2017113573A (en) * | 2015-12-23 | 2017-06-29 | オクルス オプティクゲレーテ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Eye-sight inspection device and inspection method of eye |
KR20170085309A (en) | 2016-01-14 | 2017-07-24 | 임혜연 | The system and system for inspecting vision |
-
2018
- 2018-03-16 KR KR1020180030573A patent/KR102118505B1/en active IP Right Grant
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004337546A (en) * | 2003-05-14 | 2004-12-02 | Eye Power Sports Inc | Method and apparatus for measuring visual ability |
KR20050089232A (en) * | 2004-03-04 | 2005-09-08 | 주식회사 팬택 | Wireless communication terminal and its method for providing eyesight test function |
JP2008534157A (en) * | 2005-03-30 | 2008-08-28 | ノバビジョン, インコーポレイテッド | Method and apparatus for providing visual stimuli using a head mounted display during vision training |
JP2007105097A (en) * | 2005-10-11 | 2007-04-26 | Sony Corp | Visual acuity measurement system, information processor, remote handling equipment, information processing method, remote handling method and computer program |
KR20070066574A (en) * | 2005-12-22 | 2007-06-27 | 주식회사 팬택 | Method and mobile communication terminal for adjusting size of displayed text according to distance from user eyes |
JP2010511486A (en) * | 2006-12-04 | 2010-04-15 | ファテ,シナ | System, method and apparatus for correction of amblyopia and eyeball deviation |
JP2017113573A (en) * | 2015-12-23 | 2017-06-29 | オクルス オプティクゲレーテ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Eye-sight inspection device and inspection method of eye |
KR20170085309A (en) | 2016-01-14 | 2017-07-24 | 임혜연 | The system and system for inspecting vision |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE2050893A1 (en) * | 2020-07-14 | 2022-01-15 | Heads Stockholm Ab | Eye movement evaluation |
WO2022015227A1 (en) * | 2020-07-14 | 2022-01-20 | Heads Stockholm Ab | Eye movement evaluation |
CN112741589A (en) * | 2021-01-14 | 2021-05-04 | 沈阳视达微医疗科技有限公司 | Optical device for vision detection, vision detection system and method |
Also Published As
Publication number | Publication date |
---|---|
KR102118505B1 (en) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5728009B2 (en) | Instruction input device, instruction input method, program, recording medium, and integrated circuit | |
US11023038B2 (en) | Line of sight detection adjustment unit and control method | |
US9489574B2 (en) | Apparatus and method for enhancing user recognition | |
EP3293620B1 (en) | Multi-screen control method and system for display screen based on eyeball tracing technology | |
JP6056323B2 (en) | Gaze detection device, computer program for gaze detection | |
KR101663452B1 (en) | Screen Operation Apparatus and Screen Operation Method | |
JP6809226B2 (en) | Biometric device, biometric detection method, and biometric detection program | |
CN108292448B (en) | Information processing apparatus, information processing method, and program | |
JP6263617B2 (en) | Display control method and apparatus, electronic device | |
JP6631951B2 (en) | Eye gaze detection device and eye gaze detection method | |
CN103248822A (en) | Focusing method of camera shooting terminal and camera shooting terminal | |
US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6881755B2 (en) | Line-of-sight detection calibration methods, systems, and computer programs | |
JP7168953B2 (en) | Gaze measurement device for automatic calibration, Gaze measurement method and Gaze measurement program | |
JP2018205819A (en) | Gazing position detection computer program, gazing position detection device, and gazing position detection method | |
JP2018099174A (en) | Pupil detector and pupil detection method | |
TWI557601B (en) | A puppil positioning system, method, computer program product and computer readable recording medium | |
KR102118505B1 (en) | System and method for measurement of visual acuity based on the analysis of user eye movements | |
Dostal et al. | Estimating and using absolute and relative viewing distance in interactive systems | |
JP6199038B2 (en) | Line of sight analyzer | |
JP2006059147A (en) | Computer input method and device | |
CN110414302A (en) | Non-contact pupil distance measuring method and system | |
JP6865996B1 (en) | Cognitive / motor dysfunction evaluation system and cognitive / motor dysfunction evaluation program | |
KR102325684B1 (en) | Eye tracking input apparatus thar is attached to head and input method using this | |
CN114740966A (en) | Multi-modal image display control method and system and computer equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |