WO2019088555A1 - 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 - Google Patents

전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 Download PDF

Info

Publication number
WO2019088555A1
WO2019088555A1 PCT/KR2018/012635 KR2018012635W WO2019088555A1 WO 2019088555 A1 WO2019088555 A1 WO 2019088555A1 KR 2018012635 W KR2018012635 W KR 2018012635W WO 2019088555 A1 WO2019088555 A1 WO 2019088555A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
degree
processor
eye
congestion
Prior art date
Application number
PCT/KR2018/012635
Other languages
English (en)
French (fr)
Inventor
신형종
김민수
류춘
박은준
하창호
윤상철
경학수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201880066273.2A priority Critical patent/CN111212594B/zh
Priority to US16/759,463 priority patent/US11612314B2/en
Priority to EP18874834.7A priority patent/EP3666177B1/en
Publication of WO2019088555A1 publication Critical patent/WO2019088555A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case

Definitions

  • the present invention relates to an electronic device and a method for determining the degree of congestion of the eye using the same. More particularly, the present invention relates to an electronic device for determining the degree of congestion of an eye in an image including an eye.
  • the redness of the eye means that the capillaries distributed in the conjunctiva are enlarged by inflammation or stimulation. Congestion can occur due to a variety of causes such as microbial dust, pollen, etc., caused by contact with the conjunctiva, as well as by bacterial or viral infection.
  • the conventional apparatus for measuring congestion degree it has been common to calculate the degree of congestion based on the ratio of the red pixel value in the image of the eye.
  • the degree of redness is calculated based on the red pixel value, there is a problem that the redness is not accurately measured when the redness is not severe.
  • the conventional apparatus for measuring congestion degree only calculates the degree of congestion on the basis of the entire area of the eye, so that the degree of congestion can not be provided for each part of the eye.
  • the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for determining the degree of redness of blood vessels, And to provide a method of determining the degree of congestion of the eye using the electronic device.
  • An electronic device includes an image acquiring unit that acquires an image including a camera and eye photographed through the camera, extracts one or more blood vessels included in the image, and extracts, based on the size of the extracted one or more blood vessels , And a processor for determining the degree of redness of the eye.
  • the processor divides the plurality of blood vessels into a plurality of segments based on the intersections of the plurality of blood vessels included in the image, determines the degree of congestion of the eye based on the sizes of the plurality of segments, ,
  • the plurality of nodes may be at least one of a blood vessel between the end points of the plurality of blood vessels and a blood vessel between the intersection point and another intersection point based on the intersection point and the intersection point.
  • the processor calculates a hessian matrix of the image, applies the Hessian matrix to the image, binarizes the image to which the Hessian matrix is applied, extracts the plurality of blood vessels, The thickness of the plurality of blood vessels is converted into a thickness of a predetermined unit to determine the intersection point, and the size of each of the plurality of nodes in the binarized image can be calculated.
  • the processor may acquire a scleral image of a predetermined unit area in the image, calculate a size of the plurality of segments based on an intersection of the plurality of blood vessels included in the scleral image, The degree of congestion of the eye can be determined by comparing the sum of the sizes of the eyes with the predetermined unit area.
  • the processor may determine a position of the plurality of nodes in the image, and determine a degree of redness of the eye based on the position of the plurality of nodes.
  • the processor determines the thickness of the plurality of nodes, obtains at least one node having a predetermined thickness or more from the plurality of nodes, calculates a size of the obtained at least one node, Or at least one node less than a predetermined thickness among the plurality of nodes may be obtained and the degree of congestion of the eye may be determined by calculating the size of the obtained at least one node.
  • the processor determines a remaining region excluding the region including the reflected light from the entire region of the image, Can be judged.
  • the processor may determine a region other than the extracted one or more blood vessels from the image, and determine the degree of redness by further considering at least one of a color and a shape of the remaining region.
  • the processor may sequentially provide an image photographed through the camera, an image including a plurality of blood vessels divided into a plurality of segments based on the intersection, and an image for the determined degree of blood circulation.
  • the eye image photographed by the camera includes a left eye and a right eye of the user
  • the processor guides the user to be located at a close distance of the camera when the distance between the left eye and the right eye is less than a predetermined distance Guide information, and the degree of congestion can be determined when the distance between the left eye and the right eye included in the eye image reaches a predetermined distance.
  • the present invention may further include an illuminance sensor, wherein the processor provides guide information for inducing adjustment of the illuminance value when the illuminance value sensed through the illuminance sensor is equal to or less than a predetermined illuminance value, When the illuminance value is equal to or greater than a predetermined illuminance value, the degree of redness of the eye included in the image can be determined.
  • the processor may provide at least one of the cause of the congestion and the guide information for resolving the congestion based on one of the status information and the user information of the electronic device and the congestion degree,
  • the status information of the electronic device may be at least one of a distance between the electronic device and a user, a slope of the electronic device, an ambient illuminance of the electronic device, and a usage time of the electronic device, And information generated based on at least one of a photo application and a schedule application stored in the electronic device.
  • the present invention may further include a storage unit, wherein the processor determines the change in the degree of redness according to the predetermined time unit based on the red blood cell information stored in the storage unit, If the change is more than the set change amount, guide information for managing the blood circulation degree can be provided.
  • the processor can photograph an image including the eye through the camera, and determine the degree of congestion of the eye on the captured image.
  • the processor provides guide information for guiding the position of the pupil to a predetermined position, and when the pupil moves to the predetermined position, the degree of congestion of the eye is determined in the image including the eye .
  • the electronic device when the electronic device is operated in a lock mode in which the electronic device can release the lock screen based on the movement of the pupil, when an image including the eye is photographed through the camera, The degree of congestion of the eye can be determined from the image.
  • the present invention may further include a storage unit, wherein the processor can identify a user corresponding to the eye based on the user identification information, store the determined degree of blood coincidence in the storage unit by matching the identified user.
  • the processor may calculate an average value of the degree of redness of the eye on the basis of a predetermined time for each user based on the information stored in the storage unit.
  • the processor may provide the average value of the calculated blood congestion by matching each date on the execution screen of the calendar application.
  • the processor may graphically provide the degree of redness of the eye at predetermined time intervals based on the information stored in the storage unit.
  • a communication system including a communication unit for communicating with a server, wherein the processor receives information on the degree of congestion of a plurality of users from the server, The degree of congestion of the user, and provide information on the ranking.
  • the processor may identify the user corresponding to the eye based on the user identification information, receive information about at least one of the age and occupation of each of the plurality of users from the server, And a determination unit that determines the set to which the identified user belongs among the plurality of sets based on the degree of congestion of the eyes of the plurality of users belonging to the determined set, Information about the ranking can be provided.
  • a method for determining the degree of redness of the eye includes acquiring an image including eyes photographed through a camera, extracting one or more blood vessels included in the image, And determining the degree of congestion of the eye on the basis of the size of the blood vessel.
  • the step of determining the degree of redness may further include dividing the plurality of blood vessels into a plurality of segments based on intersections of the plurality of blood vessels included in the image,
  • the plurality of nodes may be at least one of blood vessels between the end points of the plurality of blood vessels and blood vessels between the intersection points and other intersection points based on the intersection points and the intersection points.
  • the extraction of the blood vessel may include calculating a hessian matrix of the image, applying the Hessian matrix to the image, and binarizing the image to which the Hessian matrix is applied,
  • the step of determining the intersection point comprises the step of converting the thickness of the plurality of blood vessels into a thickness of a predetermined unit to determine the degree of congestion, The size of each of the plurality of nodes can be calculated and determined.
  • the step of determining the degree of redness of the eye may include acquiring a scleral image of a predetermined unit area in the image and calculating a size of the plurality of segments based on an intersection of the plurality of blood vessels included in the scleral image
  • the degree of congestion of the eye can be determined by comparing the sum of sizes of the calculated plurality of nodes with the predetermined unit area.
  • the step of determining the degree of redness of the eye may determine a position of the plurality of nodes in the image and determine a degree of redness of the eye based on a position where the plurality of nodes exist .
  • the step of determining the degree of redness of the eye may include determining a thickness of the plurality of nodes, obtaining at least one node having a predetermined thickness or more from the plurality of nodes, Determining at least one node having a thickness less than a predetermined thickness among the plurality of nodes, calculating a size of the obtained at least one node, determining a degree of congestion of the eye can do.
  • the step of determining the degree of redness of the eye may include determining an area excluding the area containing the reflected light from the entire area of the image when the image includes reflected light, It is possible to determine the degree of congestion of the eye by calculating the sizes of the nodes.
  • the step of determining the degree of redness of the eye may include determining an area other than the extracted one or more blood vessels in the image, and determining the degree of redness based on at least one of the color and shape of the remaining area have.
  • the method may further include sequentially providing an image photographed through the camera, an image including a plurality of blood vessels divided into a plurality of segments based on the intersection, and an image for the determined degree of blood circulation .
  • the eye image photographed by the camera includes a left eye and a right eye of the user
  • the step of determining the degree of redness of the eye comprises: if the distance between the left eye and the right eye is less than a preset distance, The degree of congestion can be determined when the distance between the left eye and the right eye included in the eye image becomes a preset distance.
  • the step of determining the degree of redness of the eye may include providing guide information for guiding the adjustment of the illuminance value when the illuminance value around the electronic device is less than or equal to a predetermined illuminance value, The degree of congestion of the eyes included in the image can be determined.
  • the method may further include providing at least one of the cause of the congestion and the guide information for resolving the congestion based on at least one of the status information and the user information of the electronic device and the congestion degree
  • the status information of the electronic device is at least one of a distance between the electronic device and a user, a slope of the electronic device, an ambient illuminance of the electronic device, and a usage time of the electronic device, May be information that is generated based on at least one of the photo application and the schedule application stored in the application.
  • the method further includes the steps of storing the determined degree of redness and determining the change in the degree of redness according to the predetermined time unit based on the stored redness information, And providing guide information for management.
  • the step of determining the degree of congestion of the eye may include capturing an image including the eye through the camera when the iris authentication application is executed, and determining the degree of congestion of the eye on the captured image.
  • the step of determining the degree of redness of the eye may include: providing guide information for guiding the position of the pupil to a predetermined position; and, when the pupil moves to the predetermined position, The degree of congestion of the eye can be judged.
  • the step of determining the degree of congestion of the eye may further include the step of determining whether or not the image including the eye is photographed through the camera while the electronic device is operating in a lock mode in which the lock screen can be released based on the movement of the pupil
  • the degree of congestion of the eye can be determined from the image when the eye included in the eye moves to a predetermined position.
  • the method may further include identifying a user corresponding to the eye based on the user identification information, and storing the determined degree of redness in the storage unit by matching the identified user.
  • the method may further include calculating an average value of the degree of redness of the eye on the basis of a predetermined time for each user based on the information stored in the storage unit.
  • the method may further include the step of providing an average value of the calculated degree of blood coagulation by matching each date on the execution screen of a calendar application.
  • the method may further include graphically providing an average value of the degree of redness of the eye at predetermined time intervals.
  • the method also includes receiving information on the degree of congestion of a plurality of users from the server, determining the order of congestion of the eye based on the degree of congestion information of the plurality of users, The method comprising the steps of:
  • the method also includes the steps of identifying a user corresponding to the eye based on the user identification information and receiving information about at least one of the age and occupation of each of the plurality of users from the server, Wherein the plurality of users are classified into a plurality of sets based on one of the plurality of sets of the plurality of sets of users, the set of the plurality of users belonging to the set is determined, And providing information on the ranking.
  • an electronic device capable of analyzing the cause of the red blood cell as well as the disease of the human-related organs can be provided by determining the color and shape of the area excluding the blood vessels. In addition, by sequentially displaying the process of determining the degree of redness, the user can trust the degree of redness determined by the electronic device.
  • FIG. 1 is a block diagram for explaining an electronic device according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a method for determining the degree of red blood circulation according to an embodiment of the present invention.
  • FIG 3 is a view for explaining a blood vessel image of a binarized sclera according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining a method of dividing a plurality of blood vessels into a plurality of segments according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a method of calculating the size of each of a plurality of nodes according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a method for determining the degree of red blood cell according to an eye part according to an embodiment of the present invention.
  • 7 (a) and 7 (b) are views for explaining a method of determining the degree of redness of eyes based on the thickness of a blood vessel according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a method of removing reflected light and determining the degree of redness of eyes when reflected light is included in a scleral image according to an embodiment of the present invention.
  • FIG. 9 is a diagram for explaining an embodiment for visually feedbacking a process of determining the degree of redness of the eye according to an embodiment of the present invention.
  • FIG. 10 is a view for explaining an embodiment for providing guide information for solving the cause of blood redemption and blood redemption according to an embodiment of the present invention.
  • FIG. 11 is a view for explaining an embodiment for displaying the degree of redness according to an eye part according to an embodiment of the present invention.
  • FIGS. 12A, 12B, and 12C are views for explaining an embodiment of acquiring the iris peripheral region of the eye and the outer peripheral region of the iris, respectively, according to an embodiment of the present invention, and determining the degree of redness in each region.
  • FIG. 13 is a view for explaining an embodiment for providing guide information for accurately measuring the degree of redness of the eye according to an embodiment of the present invention.
  • FIG. 14 is a diagram for explaining an embodiment for determining the degree of redness in the case of releasing the lock screen through iris authentication according to an embodiment of the present invention.
  • FIG. 15 is a diagram for explaining an embodiment for determining the degree of redness of eyes in releasing the lock screen according to an embodiment of the present invention.
  • FIG. 16 is a view for explaining an embodiment for providing a blood circulation chart according to an embodiment of the present invention.
  • FIG. 17 is a diagram for explaining an embodiment of displaying the degree of redness of eyes according to an embodiment of the present invention on an execution screen of a calendar application.
  • FIG. 18 is a view for explaining an embodiment in which a change in the degree of blood circulation according to an embodiment of the present invention is provided for each predetermined time unit.
  • 19 is a diagram for explaining an embodiment for providing information related to fatigue based on the degree of redness according to an embodiment of the present invention.
  • FIG. 20 is a view for explaining an embodiment showing ranking information of a degree of blood circulation of a user according to an embodiment of the present invention.
  • FIG. 21 is a flowchart for explaining a method of determining the degree of congestion of the eye in the electronic device according to the embodiment of the present invention.
  • 22 is a flowchart for explaining a method of determining the degree of congestion of the eye in the electronic device according to the embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an electronic device according to an embodiment of the present invention.
  • an electronic device 100 may include a camera 110 and a processor 120.
  • the electronic device 100 may be implemented as an electronic device having a camera.
  • the electronic device 100 may be implemented as a smart phone.
  • the present invention is not limited thereto, and the electronic device 100 may be implemented by various electronic devices such as a tablet, a digital camera, a camcorder, a PDA, and the like.
  • the camera 110 can photograph various subjects.
  • the camera 110 can photograph the user's eyes.
  • the camera 110 may photograph an eye of a user including an anterior segment and a sclera.
  • the front part means the front part of the eye.
  • the anterior segment may include a cornea, a black eye, a conjunctiva, a sclera, and a crystalline body as the front part of the eye.
  • the sclera is a white film that covers most of the eyes and means the white of the eye.
  • the sclera may include multiple blood vessels.
  • the camera 110 may be implemented as an image sensing device such as a CMOS image sensor (CIS) or a CCD image sensor (Charge Coupled Device).
  • CMOS image sensor CIS
  • CCD image sensor Charge Coupled Device
  • the present invention is not limited thereto, and the camera 100 may be implemented with a camera module having various resolutions capable of photographing a subject.
  • Processor 120 controls the overall operation of electronic device 100.
  • the processor 120 may operate an operating system or an application program to control hardware or software components connected to the processor 120, and may perform various data processing and calculations.
  • the processor 120 may load and process instructions or data received from at least one of the other components into a volatile memory and store the various data in a non-volatile memory.
  • the processor 120 may be implemented as a generic-purpose processor capable of performing corresponding operations by executing one or more software programs stored in a memory device or a dedicated processor (e.g., an embedded processor) (E.g., a CPU or an application processor).
  • a dedicated processor e.g., an embedded processor
  • the processor 120 can determine the degree of redness of eyes included in the photographed image.
  • the processor 120 acquires an image including the eye photographed through the camera 110, and can determine the degree of congestion of the eye based on the intersection of a plurality of blood vessels included in the image.
  • FIG. 2 the operation of the processor 120 will be described with reference to FIGS. 2 to 5.
  • FIG. 2 the operation of the processor 120 will be described with reference to FIGS. 2 to 5.
  • FIG. 2 is a diagram for explaining a method for determining the degree of red blood circulation according to an embodiment of the present invention.
  • the processor 120 may generate an image 210 including a user's eye when the user's eye is photographed through the camera 110.
  • the photographed image 210 may include nose, mouth, etc. in addition to the eyes of the user.
  • the processor 120 may acquire the anterior segment image 220 from the photographed image 210.
  • the anterior segment may include cornea, black hair, conjunctiva, sclera and lens as the anterior part of the eye.
  • the processor 120 acquires an anterior segment image using positional information such as eyes, nose, and the like included in the photographed image 210, or obtains an edge segment from a face included in the photographed image 210.
  • anterior segment images can be acquired by analyzing the density of the line.
  • the processor 120 may acquire an anterior segment image through a database-based deep-learning technique.
  • the processor 120 may acquire the scleral image 230 from the anterior segment image 210.
  • Sclera is a white film that covers most of the eyes, which means the white of the eye.
  • the processor 120 analyzes the pixel values of the anterior segment image 210, separates the pupil, iris, and sclera, acquires a scleral image, or analyzes the edge of the iris and separates the sclera, Images can be acquired.
  • the processor 120 may acquire a scleral image using various techniques.
  • the processor 120 may acquire a scleral image using a circular detection module (not shown), and acquire a scleral image through a database-based deep-processing technique.
  • the processor 120 can convert the sclera image 230 into a predetermined unit area. Accordingly, the processor 120 can acquire the sclera image 240 converted into a predetermined unit area.
  • the predetermined unit area can be set in consideration of the size of the eyes of the general user.
  • the predetermined unit area may be an area of a square having a width of 30 mm and a length of 30 mm.
  • the present invention is not limited thereto, and the predetermined unit area may be changed according to the user setting.
  • the electronic device 100 can determine the degree of congestion of a plurality of users based on the same area.
  • the processor 120 may acquire a plurality of blood vessels from the scleral image 240 converted into a predetermined unit area.
  • the processor 120 may image the sclera image 240 converted into a predetermined unit area. Specifically, the processor can adjust the white balance and contrast of the sclera image 240 by applying a CLA (Contrast Limited Adaptive Histogram Equalization) algorithm to the sclera image 240.
  • the CLAHE algorithm means an algorithm for increasing the contrast of the image by flattening the histogram distribution level with respect to the brightness of the image. Accordingly, the processor 120 can acquire an image (not shown) in which the blood vessel in the scleral image is sharpened.
  • the processor 120 may calculate a hessian matrix of the contrast-adjusted scleral image, and image-process the scleral image based on the Hessian matrix. Accordingly, the processor 120 can acquire the image 250 in which the blood vessel region of the scleral image is highlighted. The processor 120 may binarize the scleral image 250 in which the blood vessel region is highlighted by application of the Hessian matrix. Specifically, the processor 120 may binarize the blood vessels included in the scleral image 250 to the number 1 and binarize the remaining part to the number 0. Accordingly, the processor 120 can acquire an image divided into a plurality of blood vessel regions and other regions, that is, a binarized sclera image 260.
  • the processor 120 includes a binarized sclera image 260 (see FIG. 3), including a blood vessel region 261 binarized to a number 1 and an outer region 262 binarized to a number 0 Can be obtained.
  • the processor 120 can acquire a plurality of blood vessels from the binarized scleral image 260.
  • the processor 120 may divide a plurality of blood vessels included in the binarized scleral image 260 into a plurality of segments. This is to judge not only the degree of congestion of the eye but also the degree of congestion of the eye based on the position and size of each of the plurality of nodes.
  • Each of the plurality of nodes may be a blood vessel between the end points of the plurality of blood vessels from the intersection of the plurality of blood vessels.
  • the present invention is not limited thereto.
  • the node may be a blood vessel between the first and second intersections. Also, in the absence of a crossing vessel, the node may be the vessel itself.
  • the processor 120 may convert a plurality of blood vessels included in the binarized sclera image 260 into a thickness of a predetermined unit in order to divide the plurality of blood vessels into a plurality of segments. This will be described below with reference to FIG.
  • FIG. 4 is a view for explaining a method of dividing a plurality of blood vessels into a plurality of segments according to an embodiment of the present invention.
  • the processor 120 can convert a plurality of blood vessels included in the binarized sclera image 260 into a predetermined thickness.
  • the thickness of the predetermined unit is a thickness for determining the intersection point of a plurality of blood vessels, and may be set to 0.01 mm.
  • the present invention is not limited to this, and the predetermined thickness may be set differently by the user.
  • the processor 120 may obtain a skeleton image 270, as shown in FIG.
  • a skeleton image 270 an image obtained by converting a plurality of blood vessels into a thickness of a predetermined unit is referred to as a skeleton image 270.
  • the processor 120 may determine the intersection point at which the plurality of blood vessels intersect in the skeleton image 270.
  • the processor 120 may include a first blood vessel (blood vessels between points 272-1 and 271-1) and a second blood vessel (between vessels 272-2 and 272-4) It is possible to determine the first intersection point 271-1 which is an intersecting point and the second intersection point 271-1 which is a point at which the second and third blood vessels (blood vessels between the point 272-3 and the point 271-2) 2). In addition, the processor 120 may determine the intersection points of the remaining plurality of blood vessels through the above-described method.
  • the processor 120 may determine the end point of each of the plurality of blood vessels in the skeleton image 270.
  • the processor 120 may determine the endpoints 272-1 and 271-1 of the first vessel, the endpoints 272-2 and 272-4 of the second vessel, (272-3, 271-2). In addition, the processor 120 can determine the end points of the respective blood vessels through the above-described method for the remaining plurality of blood vessels.
  • the processor 120 can divide the plurality of blood vessels into a plurality of segments in the skeleton image 270.
  • the processor 120 may be configured to pass blood vessels between an end point 272-1 of a first vessel and an intersection 271-1 of the first and second vessels to a first node 273-1 ), And the blood vessel between the intersection point 271-1 of the first and second blood vessels from the end point 272-2 of the second blood vessel can be determined as the second node 273-2, It is possible to determine the blood vessel between the end points 272-3 of the three blood vessels and the intersection 271-2 of the second and third blood vessels as the third node 273-3 and the end points 272-4 ) From the intersection 271-2 of the second and third blood vessels to the fourth node 273-4.
  • the processor 120 may determine the blood vessel between the first intersection 271-1 and the second intersection 271-2 as the fifth segment 273-5, and in the case of a blood vessel without an intersection, The blood vessel itself can be judged as the sixth segment 273-6.
  • the processor 120 may calculate the size of each of the plurality of nodes. Specifically, the processor 120 can calculate the intersection of a plurality of blood vessels in the binarized image 260 and the size between the end points of each of the plurality of blood vessels based on the intersection.
  • the processor 120 may use the image 280 in which the skeleton image 270 is overlapped with the binarized sclera image 260. This will be described below with reference to FIG.
  • FIG. 5 is a diagram for explaining a method of calculating the size of each of a plurality of nodes according to an embodiment of the present invention.
  • the processor 120 may overlap the skeleton image 270 with the binarized sclera image 260. Accordingly, the processor 120 can calculate the size of each of the plurality of nodes in the binarized sclera image 260.
  • an overlapping image of the skeleton image 270 on the binarized sclera image 260 will be referred to as an overlap image 280.
  • the processor 120 may divide a plurality of blood vessels into a plurality of segments in an overlap image. Specifically, the processor 120 can divide the plurality of blood vessels into a plurality of segments in the overlap image 280 based on each of the plurality of segments determined in the skeleton image 270.
  • the processor 120 may divide the skeleton image 270 into a plurality of regions to determine an area where each of the plurality of nodes exists in the entire region of the skeleton image 270.
  • the processor 120 divides the overlap image 280 into a plurality of regions with the same reference as dividing the skeleton image 270 into a plurality of regions, It is possible to determine an area in which each of the plurality of nodes exists in the entire area of the overlap image 280. In this case,
  • the processor 120 may determine each of the first through fifth nodes 281-1 through 281-5 based on the position of each of the plurality of nodes determined in the skeleton image 270 can do.
  • the processor 120 can calculate the size of each of the plurality of nodes in the overlap image 280.
  • the processor 120 may calculate the size of the first segment 281-1 based on a virtual line orthogonal to the blood vessel of a predetermined thickness included in the first segment 281-1 A plurality of lines may be generated within one segment 281-1 and the size of the first segment 281-1 may be calculated by summing the sizes of the plurality of lines.
  • the processor 120 may calculate the area by dividing the first node 281-1 into a plurality of triangles and quadrangles, or may calculate the area using point-counting have. That is, various techniques can be applied to the method of calculating the size of each of the plurality of nodes. On the other hand, the processor 120 can calculate the size of each of the remaining nodes included in the overlap image 280 other than the first node 281-1 by the above-described method.
  • the processor 120 can determine the degree of congestion of the eyes included in the photographed image, based on the sizes of the plurality of nodes.
  • the processor 120 may determine the degree of redness by comparing the area of the sclera image 230 having a predetermined unit area with the sizes of the plurality of bars. More specifically, the processor 120 compares the sum of the size of each of the plurality of nodes determined in the overlap image 280 with the area of the scleral image 230 of a predetermined unit area to determine the overall degree of redness of the eye can do.
  • the processor 120 calculates (600 ⁇ 900) ⁇ 100 ,
  • the total degree of redness of the eye can be calculated to be 66.67% (290).
  • the degree of redness of the eye is determined by comparing the area of the sclera image 230 of a predetermined unit area with the size of each of the plurality of segments. However, It is not.
  • the processor may compare the total area of the sclera image 230 with the size of each of the plurality of nodes to determine the degree of redness of the eye.
  • the processor 120 may image the sclera image 230 itself and acquire a plurality of blood vessels included in the sclera image 230.
  • the processor 120 calculates the sizes of the plurality of nodes based on the intersections of the plurality of blood vessels and compares the sum of sizes of the calculated plurality of nodes with the total area of the scleral image 230, The degree of congestion can be judged.
  • the processor 120 may determine the degree of redness of the eye region. This will be described below with reference to FIG.
  • FIG. 6 is a view for explaining a method for determining the degree of red blood cell according to an eye part according to an embodiment of the present invention.
  • the processor 120 may determine a region in which a plurality of nodes exist in the entire region of the skeleton image 270 by dividing the skeleton image 270 into a plurality of regions as described above.
  • the processor 120 divides the skeleton image 270 into a plurality of regions, coordinates each of the plurality of nodes included in the skeleton image 270, and determines an area where each of the plurality of nodes exists have.
  • the processor 120 determines that the first segment 273-1 is (1,3)
  • the second node 273-2 can be determined to exist in the (1,3) coordinate region
  • the third node 273-3 can be determined to exist in the coordinate region
  • the second node 273-2 can be determined to exist in the (1,3) And (2,3) coordinate regions
  • the fourth node 273-4 can be determined to exist in the (2,4) and (3,4) coordinate regions.
  • the processor 120 can determine the area where each node exists in the same manner as the above-described method for each of the remaining plurality of nodes included in the skeleton image 270. [
  • the processor 120 can determine the area in which each of the plurality of nodes exist in various ways, such as by using the relative position of each of the plurality of nodes.
  • the processor 120 can determine the degree of redness of the eye based on the position where each of the plurality of nodes exists. For example, the processor 120 may determine that only a region where each of the plurality of nodes is present partially becomes red blood.
  • the processor 120 may further determine the degree of redness of the eyes by considering the size of each node calculated from the overlap image.
  • the processor 120 determines that the size of the fifth node 271-5 is relatively larger than the sizes of the first to fourth nodes 271-1 to 271-4, the fifth node 271-5 -5) in the region where the first to fourth nodules 271-1 to 271-4 are present is higher than the degree of hyperemia in the region where the first to fourth nodules 271-1 to 271-4 are present.
  • the processor 120 may determine the degree of congestion of the eye based on the thickness of the blood vessel. The following description will be made with reference to Figs. 7 (a) and 7 (b).
  • 7 (a) and 7 (b) are diagrams for explaining a method of determining the degree of redness of the eye based on the thickness of a blood vessel according to an embodiment of the present invention.
  • the processor 120 can calculate the size of each node in the overlap image 280 as described above.
  • the processor 120 may determine at least one node less than a predetermined thickness among the plurality of nodes included in the overlap image 280.
  • the predetermined thickness may be set to 0.05 mm, but is not limited thereto.
  • the processor 120 may determine the blood vessels 282-1, 282-2, and 282-3 of nodes having a predetermined thickness.
  • a blood vessel made up of nodes having a thickness less than a predetermined thickness may be micro blood vessels.
  • the electronic device 100 can determine the degree of redness of the eye based on the microvessels.
  • the processor 120 may determine at least one node having a predetermined thickness or more among the plurality of nodes included in the overlap image 280.
  • the predetermined thickness may be set to 0.05 mm, but is not limited thereto.
  • the processor 120 may determine the blood vessels 283-1 and 283-2 having a predetermined thickness or more. Accordingly, the processor 120 may determine the degree of congestion of the eye based on the remaining blood vessels other than the micro-blood vessels.
  • reflected light may be included in the sclera image 240 due to reflection of light or the like.
  • the processor 120 can determine the degree of redness of the eye based on the remaining scleral region excluding the region including the reflected light in the entire region of the scleral image 240. This will be described below with reference to Fig.
  • FIG. 8 is a view for explaining a method of removing reflected light and determining the degree of redness of eyes when reflected light is included in a scleral image according to an embodiment of the present invention.
  • reflected light 241 may be included in the sclera image 240 '.
  • the area including the reflected light may be an area generated by the reflection of light in the process of photographing the eyes.
  • the processor 120 may remove the reflected light from the sclera image 240 '.
  • the processor 120 may first determine whether the reflected light is included in the sclera image 240 '. Specifically, when there is an area having a contrast of a predetermined brightness or more in the contrast-controlled image 250 through the CLAHE algorithm or the like, the processor 120 can determine the area as an area including reflected light.
  • the processor 120 may exclude a region including reflected light from the entire region of the scleral image.
  • the processor 120 can determine an area including the reflected light in the contrast-adjusted image 250 and remove the reflected light 241 from the sclera image 240 '.
  • the processor 120 can determine the degree of congestion of the eye by calculating the size of each node similarly to the above-described method.
  • the electronic device 100 has an effect of accurately measuring the degree of redness of eyes even when reflected light is included in the photographed image.
  • the processor 120 can determine the remaining region excluding the blood vessel from the binarized image. That is, the processor 120 can determine the non-blood vessel region excluding the blood vessel region from the binarized image. Specifically, the processor 120 may determine the binarized portion of the binarized image 260 to be the non-blood vessel region.
  • the processor 120 can determine at least one of the color and shape of the non-blood vessel area in the image before the image processing, that is, the sclera image 240 converted into the unit area. Specifically, the processor 120 can determine the color of the non-blood vessel region by determining the pixel value of the remaining region except the blood vessel, and determine the shape of the non-blood vessel region by determining the shape of the remaining region except for the blood vessel .
  • the processor 120 can determine the degree of blood circulation based on the non-blood vessel area. Specifically, the processor 120 may determine the ratio of the red pixel value in the non-blood vessel region and determine the degree of blood vessel blood circulation based thereon. Accordingly, the processor 120 can determine the redness of the conjunctiva represented by allergic disease. In addition, the processor 120 may determine the color change of the non-vascular region and determine whether the vascular organs, such as anemia and jaundice, are diseased or not.
  • the processor 120 can determine the change in thickness of the blood vessel based on the shape of the non-blood vessel region. Accordingly, the processor 120 can determine the vascular disease associated with the change in thickness of the blood vessel.
  • the processor 120 can visually feedback the process of determining the degree of redness of the eye to the user.
  • FIG. 9 is a diagram for explaining an embodiment in which a process of judging the degree of redness of eyes is visually fed back.
  • the electronic device 100 according to the embodiment of the present invention can visually feedback the process of determining the degree of redness of the eye.
  • the electronic device 100 according to an embodiment of the present invention may further include a display (not shown).
  • the display (not shown) can display various images.
  • the intersection point of a plurality of blood vessels, an image including a plurality of blood vessels divided into a plurality of nodes, and an image of the degree of redness of eyes can be displayed.
  • the display may be implemented with various types of displays such as a liquid crystal display panel (CD), an organic light emitting diode (OLED), a liquid crystal on silicon (LCoS) .
  • the display 220 may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an OTFT (organic TFT)
  • the degree of congestion of the eye is judged and only the result value thereof is provided to the user. In this case, since the user has not received feedback as to how the blood circulation degree is calculated, the user can not trust the result value.
  • the electronic device 100 can sequentially feedback the process of determining the degree of redness of eyes to the user, thereby allowing the user to trust the result value.
  • the processor 120 may first display an image 910 taken via the camera 110.
  • FIG. 9 the processor 120 may first display an image 910 taken via the camera 110.
  • the processor 120 may display the image 920 obtained by extracting the foreground part from the photographed image. At this time, the processor 120 may display a message indicating that the degree of congestion is being analyzed.
  • the processor 120 can display an image 930 including a plurality of blood vessels, which are divided into a plurality of segments, based on the intersections of the plurality of blood vessels. At this time, the processor 120 may display information on the determined degree of congestion of the eye together.
  • the user can receive visual feedback that the plurality of blood vessels included in the photographed image are acquired by the electronic device 100, and that the degree of blood circulation of the eye is measured based on the obtained blood vessels, You can have confidence in congestion.
  • the image 930 including the image 910 captured through the camera, the image 920 extracted from the frontal part, and the plurality of blood vessels divided into the plurality of segments is displayed.
  • the processor 120 may be configured to include a video camera image, a CLAHE algorithm video image, a binarized video image, an intersection of a plurality of blood vessels in a binarized image, An image for acquiring an end point, an image for calculating a size of a blood vessel for each of a plurality of nodes, and an image for a determined bleeding degree may be sequentially displayed or a part thereof may be omitted and displayed.
  • FIG. 10 is a view for explaining an embodiment of analyzing a cause of eye redness according to an embodiment of the present invention and providing guide information for resolving blood congestion.
  • the processor 120 may provide guide information for resolving the cause of redness and redness of the eyes.
  • the processor 120 causes the display to indicate that the congestion has increased because the user has used the smartphone closely. You can display and guide information to use your smartphone from afar in order to relieve blood congestion.
  • the processor 120 may utilize the status information of the electronic device 100.
  • the status information of the electronic device may be at least one of the distance between the electronic device and the user, the inclination of the electronic device, the ambient illuminance of the electronic device, and the usage time of the electronic device.
  • the processor 120 may analyze the image captured through the camera 110 to calculate the distance between the electronic device 100 and the user, and determine the tilt of the electronic device 100 through the gyro sensor . Then, the processor 120 can determine the ambient illuminance of the electronic device through the illuminance sensor.
  • the processor 120 may determine the cause of blood redemption based on the state information of the electronic device 100 before measuring the degree of red blood cell. For example, if the distance between the electronic device 100 and the user before the measurement of the degree of redness is shorter than a preset distance, the processor 120 may have a high degree of congestion because the user has used the electronic device 100 nearby It can be judged. Accordingly, as shown in FIG. 10, since the processor 120 uses the smartphone close to the user, the user can display the guide information for the congestion that the congestion degree has been raised and the guide information for the congestion relieving the user to use the smartphone from afar .
  • the processor 120 may use the user information to provide guide information for solving the cause of red blood circulation and red blood circulation in the eye.
  • the user information may be information generated based on at least one of a photo application and a schedule application stored in the electronic device 100.
  • the processor 120 may determine the cause of the red blood cell based on the user information before measuring the degree of redness. For example, in the photographic application, the processor 120 may classify images photographed within a predetermined time from the point at which the degree of redness is measured. If the classified image is a computer image, the processor 120 may determine that eye congestion has occurred due to a computer operation. In another embodiment, the processor 120 may determine in the schedule application that eye congestion has occurred by video conferencing if the user's schedule is a video conference.
  • the processor 120 may display guide information for causing a blood congestion due to a computer operation or a video conference and for resting for resolution of blood congestion.
  • the above-described technical idea can be applied even if the determined degree of redness is equal to or greater than a preset threshold value, but the determined degree of redness is below a predetermined threshold value.
  • the processor 120 may determine the cause of the non-high blood circulation based on at least one of the status information and the user information of the electronic device and display it on the display .
  • a message indicating that the degree of congestion is low due to the use of the electronic device at a remote location, and a guide indicating that the distance from the electronic device should be maintained can do.
  • the processor 120 may analyze the cause of the blood congestion considering the status information of the electronic device, the user information, and the determined degree of redness, and may provide the guide information for the redemption.
  • the user uses the smartphone in a dark place and the user determines that the video conference has been performed within a predetermined time from the time of measuring the degree of blood circulation, May be the cause of the high blood pressure, brighten the surrounding light and provide guidance information to stop the video conference.
  • the processor 120 can determine the guide information for the cause of the blood congestion and the relief of blood congestion through the deep learning.
  • the storage unit (not shown) of the electronic device 100 may store the information on the state information and the user information of the electronic device. For example, the degree of congestion when the electronic device is used nearer than a predetermined distance, the degree of congestion when the electronic device is used in a place darker than the preset illuminance, the degree of congestion when the user performs the computer operation for a predetermined time May be stored by this learning.
  • the processor 120 determines the degree of blood circulation of the user, and then, through the deep learning, the blood circulation and decongestion corresponding to the determined degree of redness and the state information of the electronic device, among the information stored in the storage (not shown) And can provide the information to the user. Likewise, the processor 120 may provide information for resolving blood congestion and decolonization, corresponding to the determined congestion and user information, through the deep run.
  • the guide information is described here as being displayed on the display of the electronic device, the guide information can be provided in various ways. For example, if it is determined that the determined degree of redness is higher than a predetermined threshold value, the electronic device can output a warning sound through the speaker. In addition, if the electronic device does not have a display, the electronic device may communicate with the display device to transmit the guide information.
  • FIG. 11 is a view for explaining an embodiment for displaying the degree of redness according to an eye part according to an embodiment of the present invention.
  • the processor 120 can determine the degree of redness of the eye based on the position where each of the plurality of nodes exists. Then, the processor 120 can display the degree of redness of the eye determined by each part through the display.
  • the processor 120 may determine, based on a position where each of a plurality of nodes exist and a size of each of a plurality of nodes, in an overlap image 280 divided into a plurality of regions, The degree of hyperemia can be displayed.
  • the degree of redness of the eye is shown as a separate table.
  • the degree of redness of the eye can be displayed overlapping with the overlap image.
  • the processor 120 may display information about ocular diseases based on the degree of redness determined for each region of the eye.
  • processor 120 may display a message indicating that the redness of the area around the iris is high and a message indicating that the irises are suspected .
  • processor 120 may display a message that suspected drug allergy due to eye drops is suspected if the degree of congestion in the lower area of the sclera is higher than the degree of congestion in other areas.
  • the processor 120 may determine an eye disease based on the direction of each of the plurality of nodes, and may display information about the eye disease together. In one example, the processor 120 may display a message indicating that dryness is suspected if the orientation of each of the plurality of nodes is horizontal.
  • the processor 120 can generate and display information on eye diseases based on the size of each of the plurality of nodes, the position where each node exists, and the directionality of each node.
  • information on eye disease may be stored in a storage unit (not shown) of the electronic device 100.
  • the electronic device 100 may further include a communication unit (not shown) capable of communicating with an external server, and may receive information on an eye disease through communication with an external server .
  • the electronic device 100 transmits information on the degree of congestion to the external server
  • the external server transmits information on the eye disease determined based on the degree of congestion information to the electronic device 100
  • the electronic device 100 Can display information about eye diseases received from an external server.
  • the communication unit may include a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and the like.
  • FIGS. 12A, 12B, and 12C are views for explaining an embodiment of acquiring the iris peripheral region of the eye and the outer peripheral region of the iris, respectively, according to an embodiment of the present invention, and determining the degree of redness in each region.
  • the processor 120 may obtain each of the iris peripheral region 1210 and the iris peripheral region 1220 of the eye.
  • the processor 120 may analyze the pixel values of the anterior segment image 210 to separate the pupil, iris, and sclera, and acquire a scleral image, as in the above-described embodiment.
  • the processor 120 analyzes the edge of the iris and determines an image of the sclera within a predetermined distance from the iris to acquire an iris peripheral region 1210 of the eye, 1210) may be excluded to obtain the area 1220 outside the iris periphery.
  • the present invention is not limited thereto, and the processor 120 may acquire each of the iris peripheral region 1210 and the iris peripheral region 1220 through a database-based deep learning technique.
  • the processor 120 can determine the degrees of redness of the iris peripheral region 1210 and the iris peripheral region 1220, respectively. Specifically, the processor 120 acquires blood vessels from the image 1210 'obtained by converting the iris peripheral region 1210 into a predetermined unit area, through the image processing as described above, and calculates the size of each blood vessel, The degree of congestion can be determined based on the size of the blood vessel. Accordingly, the processor 120 can provide the user with the result of determining the degree of redness of the iris peripheral region 1210, as shown in FIG. 12B.
  • the processor 120 acquires blood vessels through image processing as described above in the image 1220 'obtained by converting the region 1220 other than the iris peripheral region to a predetermined unit area, and calculates the size of each blood vessel, The degree of congestion can be determined based on the size of the blood vessel. Accordingly, the processor 120 can provide the user with the result of determining the degree of redness of the region 1220 other than the iris peripheral region, as shown in FIG. 12C.
  • each of the iris peripheral region 1210 and the iris peripheral region 1220 is obtained, and the processor 120 can determine the degree of redness of each region, thereby more accurately providing information on the eye disease. For example, based on the degree of redness determined in the iris peripheral region 1210, the processor 120 can determine an eye disease such as ulceris and provide it to a user, On the basis of this, the processor 120 can determine an eye disease such as conjunctivitis and provide it to the user.
  • FIG. 13 is a view for explaining an embodiment for providing guide information for accurately measuring the degree of redness of the eye according to an embodiment of the present invention.
  • the processor 120 can provide guide information for guiding the accurate measurement of the degree of congestion of the eye.
  • a left eye and a right eye of a user may be included in an eye image photographed through a camera.
  • the processor 120 can determine the distance between the left eye and the right eye. Specifically, the processor 120 may determine whether the distance between the left eye and the right eye is less than a predetermined distance.
  • the predetermined distance may be set to about 65 mm.
  • the processor 120 may display guide information for guiding the user to be located at a close distance of the camera.
  • the processor 120 may display a message that directs the user to take an eye close to the camera.
  • the electronic device 100 when the conventional electronic device fails to acquire the blood vessel from the photographed image, the electronic device 100 according to the embodiment of the present invention is different from the conventional device in that the user In the case where the user desires to photograph the eye from a distance from the camera, the guide information is displayed, thereby minimizing user inconvenience.
  • the processor 120 may provide guide information for guiding the adjustment of the illuminance value when the illuminance value around the electronic device 100 is equal to or less than a predetermined illuminance value.
  • the electronic device 100 may further include a light intensity sensor (not shown).
  • the processor 120 determines whether the illuminance value around the electronic device 100 is equal to or greater than a predetermined value, and if the illuminance value is less than a predetermined illuminance value, Guide information to guide the adjustment.
  • the processor 120 may determine the degree of redness of the eye included in the image if the illuminance value is equal to or greater than a predetermined illuminance value.
  • FIG. 14 is a diagram for explaining an embodiment for determining the degree of redness in the case of releasing the lock screen through iris authentication according to an embodiment of the present invention.
  • the processor 120 may determine the degree of redness of eyes included in the photographed image when the user attempts to release the lock screen through the iris authentication. Specifically, when the user's eyes are photographed through the camera in the lock screen state, the processor 120 can analyze the iris from the photographed image and determine the degree of redness of the eye by the above-described method.
  • the user can receive an analysis result of his / her blood circulation degree in the unlocking step without needing to execute a separate application for the blood circulation analysis.
  • the processor 120 can provide guide information for guiding the pupil's position to a predetermined position.
  • the processor 120 may provide guide information that requires moving the pupil in one of the left and right directions.
  • the processor 120 can determine the degree of congestion of the eye in the image including the eye. Accordingly, in determining the degree of redness, the processor 120 can repeatedly determine the degree of redness based on the blood vessels present in the same area of the sclera.
  • the processor 120 can continue to determine the degree of blood circulation based on blood vessels existing in the left region 1411 of the pupil. Accordingly, the electronic device according to an embodiment of the present invention can determine the degree of redness of blood in the same area of the sclera, and quantify the redness information. In addition, when compared to the case where the pupil is located at the center of the eye, a large area of the scleral image can be obtained, so that the degree of congestion can be judged more accurately.
  • FIG. 15 is a view for explaining an embodiment for determining the degree of redness of eyes in releasing a lock screen according to an embodiment of the present invention.
  • An electronic device may operate in a lock mode. Then, the electronic device can use the motion of the pupil to release the lock mode.
  • the processor 120 may provide guide information to guide the user to release the lock screen by pushing with the pupil.
  • the processor 120 captures an image including an eye through the camera in a locked mode, the degree of congestion of the eye can be determined from the captured image.
  • the user can receive an analysis result of his / her blood circulation degree in the unlocking step without needing to execute a separate application for the blood circulation analysis.
  • the processor 120 can determine the degree of congestion of the eye. Accordingly, in determining the degree of blood circulation, the processor 120 can determine the degree of blood circulation based on blood vessels existing in the same scleral region.
  • the electronic device can determine a change in the degree of redness in the same scleral region.
  • a large area of the scleral image can be obtained, so that the degree of congestion can be judged more accurately.
  • 16 is a view for explaining an embodiment for providing a blood circulation graph according to an embodiment of the present invention.
  • the processor 120 may determine the degree of redness of the eye in the photographed image and store the result in a storage unit (not shown).
  • the processor 120 may calculate an average value of the degree of redness of the eye based on a preset time. For example, the processor 120 may calculate an average value of eye congestion per day.
  • the processor 120 may then provide an average value of the calculated degree of redness of the eye. For example, referring to FIG. 16, the processor 120 may calculate an average value of the degree of redness of the eye in a day, and may graphically provide an average value of redness of the eye in a day. Thus, the user can easily grasp the change in the degree of blood circulation.
  • the processor 120 identifies the user corresponding to the eyes included in the photographed image based on the user identification information, and stores the matching information in the storage unit by matching with the identified user.
  • the user identification information may be user ID information, iris information, and the like, but is not limited thereto.
  • the processor 120 can calculate an average value of the degree of redness of the eye for each user, and can provide a graph of redness of the eye for each user.
  • 17 is a view for explaining an embodiment in which the degree of redness of the eye according to the embodiment of the present invention is displayed on each day of the execution screen of a calendar application.
  • the processor 120 may calculate an average value of the degree of congestion of the eye, as described above. For example, the processor 120 may calculate an average value of eye congestion per day.
  • the processor 120 may provide an average value of the degree of redness of eyes calculated on a daily basis by matching each date on the execution screen of a calendar application.
  • the processor 120 determines whether the degree of congestion is higher than a preset threshold value and the color of the day when the congestion degree is lower than a predetermined threshold, And can be displayed on the execution screen of the calendar application.
  • the processor 120 may display the calculated average value value itself on each day of the execution screen of the calendar application.
  • the user can easily grasp the change in the degree of blood circulation, and can visually easily feed back the day on which the average value of the degree of blood circulation is calculated and the day on which the blood circulation rate is low.
  • FIG. 18 is a view for explaining an embodiment for providing a change in the degree of blood circulation according to an embodiment of the present invention by predetermined time units.
  • the processor 120 may store the blood congestion determined through the photographed image in a storage unit (not shown).
  • the processor 120 may determine a change in the degree of red blood circulation based on predetermined time units based on the red blood circulation information stored in the storage unit. For example, the processor 120 may determine a change in the degree of congestion on a 24-hour basis, but is not limited thereto. For example, the processor 120 may determine a change in the degree of redness in various units such as 1 minute, 10 minutes, or 1 hour.
  • the processor 120 may provide a change in the degree of blood circulation every predetermined time unit.
  • the processor 120 can provide guide information for managing the degree of congestion when the change in the degree of congestion is equal to or greater than a predetermined amount of change. For example, when the degree of redness of blood determined at the second time is higher than a predetermined threshold value as compared with the degree of redness at the first time, the processor 120 may provide guide information for inducing the rest of the eyes.
  • the processor 120 may provide feedback to the user of the risk of eye disease if it is determined that the user's blood circulation is continuously increasing.
  • the feedback may be a visual indication of information that the degree of congestion of the eyes is continuously increasing, or may be a warning sound output through audio.
  • the processor 120 determines that the user's blood circulation is continuously increasing even after providing the user with the feedback indicating the risk of eye disease, the cerebrovascular disease such as a stroke may occur due to the elevation of the blood pressure of the eye Feedback may be provided to the user.
  • 19 is a view for explaining an embodiment for providing information related to fatigue based on the degree of redness according to an embodiment of the present invention.
  • the processor 120 may classify the determined degree of redness according to a predetermined criterion to determine the degree of fatigue of the user. Specifically, the processor 120 may determine that the degree of fatigue of the user is low when the determined degree of redness is equal to or less than the first threshold value, and if the determined degree of redness exceeds the first threshold value and is equal to or less than the second threshold value, The degree of fatigue can be judged to be intermediate, and when the determined degree of redness exceeds the second threshold value, the user's fatigue can be judged as a danger.
  • the first threshold value may be 10%
  • the second threshold value may be 30%.
  • the processor 120 may display guide information for inducing a rest, and guide information for inducing a hospital visit if the fatigue of the user is determined to be dangerous . Accordingly, the present invention can induce the user to manage the health of the eyes.
  • FIG. 20 is a view for explaining an embodiment showing rank information of a degree of blood circulation of a user according to an embodiment of the present invention.
  • the processor 120 may provide information on the degree of congestion of the eye determined through the photographed image.
  • the processor 120 receives the information on the degree of redness of the plurality of users from the server, compares the degree of redness of the plurality of users and the degree of redness of the eyes determined through the photographed image, The degree of congestion of the heart can be determined.
  • the electronic device 100 may further include a communication unit (not shown) for performing communication with the server.
  • the communication unit may include a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and the like.
  • processor 120 may provide a ranking of the user's congestion within the set to which the user belongs. To this end, the processor 120 may first identify the user corresponding to the eye based on the user identification information.
  • the user identification information may be user ID information or the like as described above.
  • the processor 120 receives information about at least one of age and occupation of each of a plurality of users from the server, and divides the plurality of users into a plurality of sets based on at least one of age and occupation, The set to which the identified user belongs can be determined.
  • the processor 120 compares the degree of congestion of the eyes of the plurality of users belonging to the determined set and the degree of congestion of the eye determined through the captured image to determine the degree of congestion of the eye determined through the captured image , And can provide information on ranking.
  • the user can be feedbacked whether the degree of congestion of his or her eye is high or low when compared to a plurality of users of the same occupation or the same age.
  • FIG. 21 is a flowchart for explaining a method of determining the degree of congestion of the eye in the electronic device according to the embodiment of the present invention.
  • An electronic device can acquire an image including an eye when an eye is photographed through a camera. Then, the electronic device can acquire an anterior segment image in an image including an eye, and acquire a scleral image in an anterior segment image (S2110).
  • the electronic device can image the scleral images to determine the intersection points of the plurality of blood vessels.
  • the electronic device can adjust the contrast of the scleral images using the CLA (Contrast Limited Adaptive Histogram Equalization) algorithm, binarize the sclera-controlled scleral images, and acquire a plurality of blood vessels from the binarized image .
  • the electronic device can determine the intersection point of the plurality of blood vessels by converting the thickness of the obtained plurality of blood vessels into a thickness of a predetermined unit.
  • the electronic device can divide the plurality of blood vessels into a plurality of nodes based on the intersection points of the plurality of blood vessels (S2120).
  • the node may be a blood vessel between the end points of each of the plurality of blood vessels based on the intersection points and the intersection points of the plurality of blood vessels.
  • the electronic device can determine the degree of congestion of the eye by calculating the sizes of the plurality of nodes (S2130). Specifically, the electronic device obtains a sclera area of a predetermined unit area in the scleral image, calculates a size of the plurality of segments based on the intersection of the plurality of blood vessels included in the sclera area, The sum can be compared with a predetermined unit area to determine the degree of congestion of the eye.
  • 22 is a flowchart for explaining a method of determining the degree of congestion of the eye in the electronic device according to the embodiment of the present invention.
  • the electronic device can acquire a facial image including the user's eyes (S2210).
  • the face image may include the user's eyes, nose, mouth, and the like.
  • the electronic device can acquire an anterior segment image from the facial image (S2215).
  • an electronic device can acquire an anterior segment image using positional information such as eye, nose, and the like included in a facial image.
  • the electronic device can acquire the scleral image from the anterior segment image (S2220).
  • electronic devices can acquire scleral images through pixel-value analysis of anterior segment images or database-based deep-running techniques.
  • the electronic device can convert the scleral image to a predetermined unit area (S2225).
  • the predetermined unit area can be determined in consideration of the scleral size of a general user.
  • the predetermined unit area may be an area of a square having a width of 30 mm and a length of 30 mm.
  • the present invention is not limited thereto, and the predetermined unit area may be changed according to the user setting.
  • the electronic device can remove it (S2230). This is because it is impossible to determine whether or not a blood vessel exists at a position where the reflected light exists.
  • the electronic device can image the scleral image converted into the unit area. Specifically, the electronic device converts the scleral image to a gray scale image (S2235), applies a CLAHE algorithm to the image converted to a gray scale (S2240), applies a Hessian matrix to the image to which the CLAHE algorithm is applied (S2245) . This is to adjust the contrast of the scleral images and highlight the blood vessels.
  • the electronic device can binarize the sclera image subjected to the image processing (S2250).
  • the electronic device can acquire a plurality of blood vessels from the scleral image.
  • the electronic device can convert a plurality of blood vessels acquired from the binarized image to a predetermined thickness (S2255).
  • the electronic device can apply pruning to a plurality of blood vessels converted to a predetermined thickness (S2260).
  • Prunning can mean the task of cutting multiple blood vessels.
  • the electronic device can divide one blood vessel into a plurality of unit blood vessels through pruning to cut out a plurality of blood vessels.
  • the electronic device can determine the intersection point of a plurality of prunning unit blood vessels and the end point of each unit blood vessel (S2265). Specifically, the electronic device can determine a point at which different unit blood vessels cross each other as an intersection point.
  • the electronic device can divide the plurality of blood vessels into a plurality of nodes based on the intersections of the plurality of blood vessels.
  • the node may mean a blood vessel between the end points of each of a plurality of blood vessels based on an intersection point where the plurality of blood vessels intersect and an intersection point.
  • the electronic device can calculate the blood vessel size of each node (S2270).
  • the electronic device can calculate the vessel size of each node by means of a point estimate method.
  • the electronic device can calculate the total blood vessel area (S2275) by summing the blood vessel sizes of the respective bars, and calculate the final blood circulation degree in comparison with the area of the scleral band image (S2280).
  • a non-transitory computer readable medium may be provided in which a program for sequentially performing the method of calculating the degree of redness according to the present invention is stored.
  • a non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus.
  • the various applications or programs described above may be stored on non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM,

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

전자 장치 및 이를 이용한 눈의 충혈도 판단 방법이 개시된다. 본 전자 장치는, 카메라 및 카메라를 통해 촬영된 눈을 포함하는 영상을 획득하고, 영상에 포함된 하나 이상의 혈관을 추출하며, 추출한 하나 이상의 혈관의 사이즈에 기초해서, 눈의 충혈도를 판단하는 프로세서를 포함한다.

Description

전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
본 발명은 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법에 관한 것으로, 더욱 상세하게는 눈을 포함하는 영상에서 눈의 충혈도를 판단하는 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법에 관한 것이다.
눈의 충혈이란 결막에 분포되어 있는 모세혈관이 염증이나 자극에 의해서 확장되어 보이는 것을 의미한다. 충혈은, 세균, 바이러스 감염에 의해 발생할 수 있음은 물론, 미세먼지, 꽃가루 등이 결막에 닿음으로써 발생하는 등 다양한 원인에 의해 발생할 수 있다.
한편, 충혈이 심할 경우 통증과 함께 시력이 저하되는 문제가 발생할 수 있다. 이에 따라, 눈의 충혈 여부를 주기적으로 검사할 필요가 있고, 충혈이 발생한 경우에는 병원 방문을 통해 진료를 받을 필요가 있다.
그런데, 종래의 충혈도 측정 장치의 경우, 눈을 촬영한 영상에서 붉은 픽셀 값이 차지하는 비율에 기초해서 충혈도를 산출하는 것이 일반적이었다. 그러나, 붉은 픽셀 값에 기초해서 충혈도를 산출할 경우, 충혈이 심하지 않은 경우에는 충혈 여부가 정확히 측정되지 않는 문제가 있다. 또한, 종래의 충혈도 측정 장치의 경우 눈의 전체 면적을 기준으로 충혈도를 산출할 뿐이어서, 눈의 부위별로 충혈도를 제공하지 못하는 문제가 있었다.
또한, 종래의 충혈도 측정 장치의 경우, 눈을 촬영한 영상으로부터 충혈도를 분석하고, 그 결과 값만을 사용자에게 보여줌으로써, 사용자가 결과 값을 신뢰하지 못하는 문제가 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 눈의 부위별로 충혈도를 판단할 수 있고, 미세 혈관의 충혈도를 판단할 수 있으며, 사용자가 충혈도를 분석한 결과 값을 신뢰할 수 있도록 하는 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 전자 장치는 카메라 및 상기 카메라를 통해 촬영된 눈을 포함하는 영상을 획득하고, 상기 영상에 포함된 하나 이상의 혈관을 추출하며, 상기 추출한 하나 이상의 혈관의 사이즈에 기초해서, 상기 눈의 충혈도를 판단하는 프로세서를 포함할 수 있다.
그리고, 상기 프로세서는, 상기 영상에 포함된 복수의 혈관들의 교차점에 기초해서, 상기 복수의 혈관들을 복수의 마디들로 구분하고, 상기 복수의 마디들의 사이즈에 기초해서 상기 눈의 충혈도를 판단하고, 상기 복수의 마디는, 상기 교차점과 상기 교차점을 기준으로 상기 복수의 혈관들 각각의 끝점 사이의 혈관 및 상기 교차점과 다른 교차점 사이의 혈관 중 적어도 하나가 될 수 있다.
그리고, 상기 프로세서는 상기 영상의 헤시안 행렬(hessian matrix)을 계산하고, 상기 헤시안 행렬을 상기 영상에 적용하며, 상기 헤시안 행렬이 적용된 영상을 이진화 처리하여 상기 복수의 혈관들을 추출하고, 상기 복수의 혈관들의 두께를 기설정된 단위의 두께로 변환하여 상기 교차점을 판단하며, 상기 이진화 처리된 영상에서 상기 복수의 마디 각각의 사이즈를 산출할 수 있다.
그리고, 상기 프로세서는 상기 영상에서 기설정된 단위 면적의 공막 영상을 획득하고, 상기 공막 영상에 포함된 상기 복수의 혈관들의 교차점에 기초하여 상기 복수의 마디들의 사이즈를 산출하고, 상기 산출된 복수의 마디들의 사이즈의 합과 상기 기설정된 단위 면적을 비교하여 상기 눈의 충혈도를 판단할 수 있다.
그리고, 상기 프로세서는 상기 영상에서 상기 복수의 마디들의 위치를 판단하고, 상기 복수의 마디들이 존재하는 위치에 기초해서, 상기 눈의 부위별 충혈도를 판단할 수 있다.
그리고, 상기 프로세서는 상기 복수의 마디들의 두께를 판단하고, 상기 복수의 마디들 중에서 기설정된 두께 이상의 적어도 하나의 마디를 획득하고, 상기 획득한 적어도 하나의 마디의 사이즈를 산출하여 상기 눈의 충혈도를 판단하거나, 상기 복수의 마디들 중에서 기설정된 두께 미만의 적어도 하나의 마디를 획득하고, 상기 획득한 적어도 하나의 마디의 사이즈를 산출하여 상기 눈의 충혈도를 판단할 수 있다.
그리고, 상기 프로세서는 상기 영상에 반사광이 포함된 경우, 상기 영상의 전체 영역 중에서 상기 반사광이 포함된 영역을 제외한 나머지 영역을 판단하고, 상기 나머지 영역에 포함된 하나 이상의 혈관의 사이즈에 기초해서 상기 눈의 충혈도를 판단할 수 있다.
그리고, 상기 프로세서는 상기 영상 중에서 상기 추출한 하나 이상의 혈관을 제외한 나머지 영역을 판단하고, 상기 나머지 영역의 색상 및 모양 중 적어도 하나를 더 고려하여 상기 충혈도를 판단할 수 있다.
그리고, 상기 프로세서는 상기 카메라를 통해 촬영된 영상, 상기 교차점에 기초하여 복수의 마디들로 구분된 복수의 혈관을 포함하는 영상 및 상기 판단한 충혈도에 대한 영상을 순차적으로 제공할 수 있다.
그리고, 상기 카메라를 통해 촬영된 눈 영상은 사용자의 좌안 및 우안을 포함하고, 상기 프로세서는 상기 좌안 및 우안 사이의 거리가 기설정된 거리 미만인 경우, 상기 사용자가 상기 카메라의 근접 거리에 위치하도록 유도하는 가이드 정보를 제공하고, 상기 눈 영상에 포함된 상기 좌안 및 우안 사이의 거리가 기설정된 거리가 되면, 상기 충혈도를 판단할 수 있다.
그리고, 본 발명은 조도 센서를 더 포함할 수 있고, 상기 프로세서는, 상기 조도 센서를 통해 감지된 조도 값이 기설정된 조도 값 이하인 경우, 상기 조도 값의 조절을 유도하는 가이드 정보를 제공하고, 상기 조도 값이 기설정된 조도 값 이상이 되면, 상기 영상에 포함된 눈의 충혈도를 판단할 수 있다.
그리고, 상기 프로세서는 상기 전자 장치의 상태 정보 및 사용자 정보 중적어도 하나와 상기 충혈도에 기초해서, 상기 충혈도가 발생한 원인 및 상기 충혈도를 해소하기 위한 가이드 정보 중 적어도 하나를 제공할 수 있고, 여기에서 상기 전자 장치의 상태 정보는, 상기 전자 장치와 사용자의 거리, 상기 전자 장치의 기울기, 상기 전자 장치의 주변 조도 및 상기 전자 장치의 사용 시간 중 적어도 하나가 될 수 있고, 상기 사용자 정보는 상기 전자 장치에 저장된 사진 어플리케이션 및 스케줄 어플리케이션 중 적어도 하나에 기초하여 생성된 정보가 될 수 있다.
그리고, 본 발명은 저장부를 더 포함할 수 있고, 상기 프로세서는, 상기 저장부에 저장된 충혈도 정보에 기초해서, 상기 충혈도의 변화를 기설정된 시간 단위별로 판단하고, 상기 충혈도의 변화가 기설정된 변화량 이상인 경우 충혈도 관리를 위한 가이드 정보를 제공할 수 있다.
그리고, 상기 프로세서는 홍채 인증 어플리케이션이 실행되면, 상기 카메라를 통해 상기 눈을 포함하는 영상을 촬영하고, 상기 촬영된 영상에서 상기 눈의 충혈도를 판단할 수 있다.
여기에서, 상기 프로세서는 눈동자의 위치를 기설정된 위치로 이동하도록 유도하는 가이드 정보를 제공하고, 상기 눈동자가 상기 기설정된 위치로 이동하면, 상기 눈을 포함하는 영상에서 상기 눈의 충혈도를 판단할 수 있다.
또한, 상기 프로세서는 상기 전자 장치가 눈동자의 움직임에 기초해서 잠금 화면을 해제할 수 있는 잠금 모드로 동작하는 동안, 상기 카메라를 통해 상기 눈을 포함하는 영상이 촬영되는 경우, 상기 눈에 포함된 눈동자가 기설정된 위치로 이동하면, 상기 영상에서 상기 눈의 충혈도를 판단할 수 있다.
또한, 본 발명은 저장부를 더 포함하고, 상기 프로세서는 사용자 식별 정보에 기초해서 상기 눈에 대응되는 사용자를 식별하고, 상기 판단한 충혈도를 상기 식별한 사용자에 매칭하여 상기 저장부에 저장할 수 있다.
그리고, 상기 프로세서는 상기 저장부에 저장된 정보에 기초해서, 사용자 별로 기설정된 시간을 기준으로 상기 눈의 충혈도의 평균 값을 산출할 수 있다.
여기에서, 상기 프로세서는 상기 산출한 충혈도의 평균 값을 캘린더(calendar) 어플리케이션의 실행 화면의 각 날짜에 매칭하여 제공할 수 있다.
또한, 상기 프로세서는 상기 저장부에 저장된 정보에 기초해서, 기설정된 시간별로 상기 눈의 충혈도를 그래프로 제공할 수 있다.
한편, 본 발명은 서버와 통신을 수행하는 통신부를 더 포함하고, 상기 프로세서는, 상기 서버로부터 복수의 사용자의 충혈도 정보를 수신하고, 상기 복수의 사용자의 충혈도 정보에 기초해서, 상기 판단한 눈의 충혈도의 순위를 판단하고, 상기 순위에 대한 정보를 제공할 수 있다.
또한, 상기 프로세서는 사용자 식별 정보에 기초해서 상기 눈에 대응되는 사용자를 식별하고, 상기 서버로부터 상기 복수의 사용자 각각의 나이 및 직업 중 적어도 하나에 대한 정보를 수신하고, 상기 나이 및 직업 중 적어도 하나에 기초해서 상기 복수의 사용자를 복수의 집합으로 구분하며, 상기 복수의 집합 중 상기 식별한 사용자가 속하는 집합을 판단하고, 상기 판단한 집합에 속한 복수의 사용자의 눈의 충혈도 정보에 기초해서 판단한 상기 순위에 대한 정보를 제공할 수 있다.
한편, 본 발명의 일 실시 예에 따른 눈의 충혈도를 판단하는 방법은 카메라를 통해 촬영된 눈을 포함하는 영상을 획득하는 단계, 상기 영상에 포함된 하나 이상의 혈관을 추출하는 단계 및 상기 추출한 하나 이상의 혈관의 사이즈에 기초해서, 상기 눈의 충혈도를 판단하는 단계를 포함할 수 있다.
그리고, 상기 충혈도를 판단하는 단계는 상기 영상에 포함된 복수의 혈관들의 교차점에 기초해서, 상기 복수의 혈관들을 복수의 마디들로 구분하고, 상기 복수의 마디들의 사이즈에 기초해서 상기 눈의 충혈도를 판단하고, 상기 복수의 마디는, 상기 교차점과 상기 교차점을 기준으로 상기 복수의 혈관들 각각의 끝점 사이의 혈관 및 상기 교차점과 다른 교차점 사이의 혈관 중 적어도 하나가 될 수 있다.
그리고, 상기 혈관을 추출하는 단계는, 상기 영상의 헤시안 행렬(hessian matrix)을 계산하는 단계, 상기 헤시안 행렬을 상기 영상에 적용하는 단계 및 상기 헤시안 행렬이 적용된 영상을 이진화 처리하여 상기 혈관을 추출하는 단계를 포함하고, 상기 교차점을 판단하는 단계는, 상기 복수의 혈관들의 두께를 기설정된 단위의 두께로 변환하여 판단하며, 상기 충혈도를 판단하는 단계는, 상기 이진화 처리된 영상에서 상기 복수의 마디 각각의 사이즈를 산출하여 판단할 수 있다.
그리고, 상기 눈의 충혈도를 판단하는 단계는, 상기 영상에서 기설정된 단위 면적의 공막 영상을 획득하고, 상기 공막 영상에 포함된 상기 복수의 혈관들의 교차점에 기초하여 상기 복수의 마디들의 사이즈를 산출하고, 상기 산출된 복수의 마디들의 사이즈의 합과 상기 기설정된 단위 면적을 비교하여 상기 눈의 충혈도를 판단할 수 있다.
그리고, 상기 눈의 충혈도를 판단하는 단계는, 상기 영상에서 상기 복수의 마디들의 위치를 판단하고, 상기 복수의 마디들이 존재하는 위치에 기초해서, 상기 눈의 부위별 충혈도를 판단할 수 있다.
그리고, 상기 눈의 충혈도를 판단하는 단계는, 상기 복수의 마디들의 두께를 판단하고, 상기 복수의 마디들 중에서 기설정된 두께 이상의 적어도 하나의 마디를 획득하고, 상기 획득한 적어도 하나의 마디의 사이즈를 산출하여 상기 눈의 충혈도를 판단하거나, 상기 복수의 마디들 중에서 기설정된 두께 미만의 적어도 하나의 마디를 획득하고, 상기 획득한 적어도 하나의 마디의 사이즈를 산출하여 상기 눈의 충혈도를 판단할 수 있다.
그리고, 상기 눈의 충혈도를 판단하는 단계는, 상기 영상에 반사광이 포함된 경우, 상기 영상의 전체 영역 중에서 상기 반사광이 포함된 영역을 제외한 나머지 영역을 판단하고, 상기 나머지 영역에 포함된 복수의 마디들의 사이즈를 산출하여 상기 눈의 충혈도를 판단할 수 있다.
또한, 상기 눈의 충혈도를 판단하는 단계는, 상기 영상에서 상기 추출한 하나 이상의 혈관을 제외한 나머지 영역을 판단하고, 상기 나머지 영역의 색상 및 모양 중 적어도 하나를 더 고려하여 상기 충혈도를 판단할 수 있다.
한편, 본 방법은 상기 카메라를 통해 촬영된 영상, 상기 교차점에 기초하여 복수의 마디들로 구분된 복수의 혈관을 포함하는 영상 및 상기 판단한 충혈도에 대한 영상을 순차적으로 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 카메라를 통해 촬영된 눈 영상은 사용자의 좌안 및 우안을 포함하고, 상기 눈의 충혈도를 판단하는 단계는, 상기 좌안 및 우안 사이의 거리가 기설정된 거리 미만인 경우, 상기 사용자가 상기 카메라의 근접 거리에 위치하도록 유도하는 가이드 정보를 제공하고, 상기 눈 영상에 포함된 상기 좌안 및 우안 사이의 거리가 기설정된 거리가 되면, 상기 충혈도를 판단할 수 있다.
그리고, 상기 눈의 충혈도를 판단하는 단계는 상기 전자 장치 주변의 조도 값이 기설정된 조도 값 이하인 경우, 상기 조도 값의 조절을 유도하는 가이드 정보를 제공하고, 상기 조도 값이 기설정된 조도 값 이상이 되면, 상기 영상에 포함된 눈의 충혈도를 판단할 수 있다.
또한, 본 방법은 상기 전자 장치의 상태 정보 및 사용자 정보 중 적어도 하나와 상기 충혈도에 기초해서, 상기 충혈도가 발생한 원인 및 상기 충혈도를 해소하기 위한 가이드 정보 중 적어도 하나를 제공하는 단계를 더 포함하고, 상기 전자 장치의 상태 정보는, 상기 전자 장치와 사용자의 거리, 상기 전자 장치의 기울기, 상기 전자 장치의 주변 조도 및 상기 전자 장치의 사용 시간 중 적어도 하나이고, 상기 사용자 정보는 상기 전자 장치에 저장된 사진 어플리케이션 및 스케줄 어플리케이션 중 적어도 하나에 기초하여 생성된 정보가 될 수 있다.
또한, 본 방법은 상기 판단한 충혈도를 저장하는 단계 및 상기 저장된 충혈도 정보에 기초해서, 상기 충혈도의 변화를 기설정된 시간 단위별로 판단하고, 상기 충혈도의 변화가 기설정된 변화량 이상인 경우 충혈도 관리를 위한 가이드 정보를 제공하는 단계를 더 포함할 수 있다.
그리고, 상기 눈의 충혈도를 판단하는 단계는, 홍채 인증 어플리케이션이 실행되면, 상기 카메라를 통해 상기 눈을 포함하는 영상을 촬영하고, 상기 촬영된 영상에서 상기 눈의 충혈도를 판단할 수 있다.
또한, 상기 눈의 충혈도를 판단하는 단계는, 눈동자의 위치를 기설정된 위치로 이동하도록 유도하는 가이드 정보를 제공하고, 상기 눈동자가 상기 기설정된 위치로 이동하면, 상기 눈을 포함하는 영상에서 상기 눈의 충혈도를 판단할 수 있다.
또한, 상기 눈의 충혈도를 판단하는 단계는, 상기 전자 장치가 눈동자의 움직임에 기초해서 잠금 화면을 해제할 수 있는 잠금 모드로 동작하는 동안, 상기 카메라를 통해 상기 눈을 포함하는 영상이 촬영되는 경우, 상기 눈에 포함된 눈동자가 기설정된 위치로 이동하면, 상기 영상에서 상기 눈의 충혈도를 판단할 수 있다.
또한, 본 방법은 사용자 식별 정보에 기초해서 상기 눈에 대응되는 사용자를 식별하는 단계 및 상기 판단한 충혈도를 상기 식별한 사용자에 매칭하여 상기 저장부에 저장하는 단계를 더 포함할 수 있다.
또한, 본 방법은 상기 저장부에 저장된 정보에 기초해서, 사용자 별로 기설정된 시간을 기준으로 상기 눈의 충혈도의 평균 값을 산출하는 단계를 더 포함할 수 있다.
그리고, 본 방법은 상기 산출한 충혈도의 평균 값을 캘린더(calendar) 어플리케이션의 실행 화면의 각 날짜에 매칭하여 제공하는 단계를 더 포함할 수 있다.
또한, 본 방법은 기설정된 시간별로 상기 눈의 충혈도의 평균 값을 그래프로 제공하는 단계를 더 포함할 수 있다.
또한, 본 방법은 서버로부터 복수의 사용자의 충혈도 정보를 수신하는 단계 및 상기 복수의 사용자의 충혈도 정보에 기초해서, 상기 판단한 눈의 충혈도의 순위를 판단하고, 상기 순위에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
또한, 본 방법은 사용자 식별 정보에 기초해서 상기 눈에 대응되는 사용자를 식별하는 단계 및 상기 서버로부터 상기 복수의 사용자 각각의 나이 및 직업 중 적어도 하나에 대한 정보를 수신하고, 상기 나이 및 직업 중 적어도 하나에 기초해서 상기 복수의 사용자를 복수의 집합으로 구분하며, 상기 복수의 집합 중 상기 식별한 사용자가 속하는 집합을 판단하고, 상기 판단한 집합에 속한 복수의 사용자의 눈의 충혈도 정보에 기초해서 판단한 상기 순위에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 영상에 포함된 복수의 마디들의 사이즈에 기초해서 충혈도를 판단함으로써, 눈의 부위별 충혈도를 판단할 수 있고, 미세 혈관의 충혈도를 판단할 수 있는 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법이 제공될 수 있다.
또한, 혈관을 제외한 영역의 색상 및 모양을 판단하여, 충혈의 원인을 분석할 수 있을 뿐만 아니라 인체 유관 기관의 질환까지 분석할 수 있는 전자 장치가 제공될 수 있다. 또한, 충혈도를 판단하는 과정을 순차적으로 디스플레이 함으로써, 사용자가 전자 장치에 의해 판단된 충혈도를 신뢰할 수 있다.
도 1은, 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 2는, 본 발명의 일 실시 예에 따른 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
도 3은, 본 발명의 일 실시 예에 따른 이진화 처리된 공막의 혈관 영상을 설명하기 위한 도면이다.
도 4는, 본 발명의 일 실시 예에 따른 복수의 혈관들을 복수의 마디로 구분하는 방법을 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시 예에 따른 복수의 마디 각각의 사이즈를 산출하는 방법을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시 예에 따른 눈의 부위별로 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
도 7(a) 및 도 7(b)는, 본 발명의 일 실시 예에 따른 혈관의 두께에 기초해서 눈의 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
도 8은, 본 발명의 일 실시 예에 따른 공막 영상에 반사광이 포함된 경우, 반사광을 제거하고 눈의 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
도 9는, 본 발명의 일 실시 예에 따른 눈의 충혈도를 판단하는 과정을 시각적으로 피드백 하는 실시 예를 설명하기 위한 도면이다.
도 10은, 본 발명의 일 실시 예에 따른 눈의 충혈 원인 및 충혈을 해소하기 위한 가이드 정보를 제공하는 실시 예를 설명하기 위한 도면이다.
도 11은, 본 발명의 일 실시 예에 따른 눈의 부위별 충혈도를 디스플레이하는 실시 예를 설명하기 위한 도면이다.
도 12a, 12b 및 12c는, 본 발명의 일 실시 예에 따른 눈의 홍채 주변 영역 및 홍채 주변 이 외 영역을 각각 획득하고, 각 영역에서의 충혈도를 판단하는 실시 예를 설명하기 위한 도면이다.
도 13은, 본 발명의 일 실시 예에 따른 눈의 충혈도를 정확하게 측정하도록 유도하기 위한 가이드 정보를 제공하는 실시 예를 설명하기 위한 도면이다.
도 14는, 본 발명의 일 실시 예에 따른 홍채 인증을 통해 잠금 화면을 해제하는 경우에 있어서, 충혈도를 판단하는 실시 예를 설명하기 위한 도면이다.
도 15는, 본 발명의 일 실시 예에 따른 잠금 화면을 해제하는 경우에 있어서 눈의 충혈도를 판단하는 실시 예를 설명하기 위한 도면이다.
도 16은, 본 발명의 일 실시 예에 따른 충혈도 그래프를 제공하는 실시 예를 설명하기 위한 도면이다.
도 17은, 본 발명의 일 실시 예에 따른 눈의 충혈도를 캘린더(calendar) 어플리케이션의 실행 화면에 표시하는 실시 예를 설명하기 위한 도면이다.
도 18은, 본 발명의 일 실시 예에 따른 충혈도의 변화를 기설정된 시간 단위별로 제공하는 실시 예를 설명하기 위한 도면이다.
도 19는, 본 발명의 일 실시 예에 따른 충혈도에 기초해서 피로도와 관련된 정보를 제공하는 실시 예를 설명하기 위한 도면이다.
도 20은, 본 발명의 일 실시 예에 따른 사용자의 충혈도의 순위 정보를 나타내는 실시 예를 설명하기 위한 도면이다.
도 21은, 본 발명의 일 실시 예에 따른 전자 장치가 눈의 충혈도를 판단하는 방법을 설명하기 위한 흐름도이다.
도 22는, 본 발명의 일 실시 예에 따른 전자 장치가 눈의 충혈도를 판단하는 방법을 설명하기 위한 흐름도이다.
-
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 카메라(110) 및 프로세서(120)를 포함할 수 있다. 여기에서, 전자 장치(100)는 카메라를 구비한 전자 장치로 구현될 수 있다. 일 예로, 전자 장치(100)는 스마트 폰으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니고 전자 장치(100)는 태블릿, 디지털 카메라, 캠코더, PDA 등과 같은 다양한 전자 장치로 구현될 수 있다.
카메라(110)는 다양한 피사체를 촬영할 수 있다. 특히, 카메라(110)는 사용자의 눈을 촬영할 수 있다. 구체적으로, 카메라(110)는 전안부(anterior segment) 및 공막(sclera)을 포함하는 사용자의 눈을 촬영할 수 있다.
여기에서, 전안부는 눈의 앞부분을 의미한다. 구체적으로, 전안부는 눈의 앞부분으로써 각막, 검은자, 결막, 공막 및 수정체를 포함할 수 있다.
그리고, 공막은 눈의 대부분을 싸고 있는 흰색의 막으로, 눈의 흰자위를 의미한다. 공막에는 복수의 혈관들이 포함될 수 있다.
이를 위해, 카메라(110)는 CMOS 구조를 가진 촬상 소자(CIS, CMOS Image Sensor), CCD 구조를 가진 촬상 소자(Charge Coupled Device) 등의 촬상 소자로 구현될 수 있다. 다만, 이에 한정되는 것은 아니고 카메라(100)는 피사체를 촬영할 수 있는 다양한 해상도의 카메라 모듈로 구현될 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(120)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(120)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(120)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(120)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.
프로세서(120)는 카메라(110)를 통해 사용자의 눈이 촬영되면, 촬영된 영상에 포함된 눈의 충혈도를 판단할 수 있다.
구체적으로, 프로세서(120)는 카메라(110)를 통해 촬영된 눈을 포함하는 영상을 획득하고, 영상에 포함된 복수의 혈관들의 교차점에 기초해서, 눈의 충혈도를 판단할 수 있다.
이하, 도 2 내지 도 5를 함께 참조하여, 프로세서(120)의 동작에 대해 설명한다.
도 2는, 본 발명의 일 실시 예에 따른 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
먼저, 프로세서(120)는 카메라(110)를 통해 사용자의 눈이 촬영되면, 사용자의 눈을 포함하는 영상(210)을 생성할 수 있다. 여기에서, 촬영된 영상(210)에는 사용자의 눈 외에도 코 및 입 등이 포함될 수 있다.
그리고, 프로세서(120)는 촬영된 영상(210)에서 전안부 영상(220)을 획득할 수 있다. 전안부는 눈의 앞부분으로써 각막, 검은자, 결막, 공막 및 수정체를 포함할 수 있다.
구체적으로, 프로세서(120)는 촬영된 영상(210)에 포함된 눈, 코 입 등의 위치 정보를 이용하여 전안부 영상을 획득하거나, 촬영된 영상(210)에 포함된 얼굴에서 선(edege) 정보를 획득 후 선의 밀집도를 분석함으로써 전안부 영상을 획득할 수 있다. 한편, 이는 일 실시 예일 뿐, 프로세서(120)가 전안부 영상(220)을 획득하는 방법에는 다양한 기술이 적용될 수 있다. 일 예로, 프로세서(120)는 데이터 베이스에 기반한 딥 러닝 기술을 통해 전안부 영상을 획득할 수도 있다.
그리고, 프로세서(120)는 전안부 영상(210)에서 공막 영상(230)을 획득할 수 있다. 공막은 눈의 대부분을 싸고 있는 흰색의 막으로, 눈의 흰자위를 의미한다.
구체적으로, 프로세서(120)는 전안부 영상(210)의 화소값을 분석하여 동공, 홍채 및 공막을 분리한 뒤 공막 영상을 획득하거나, 홍채의 경계선(edege)을 분석한 뒤 공막을 분리함으로써 공막 영상을 획득할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 프로세서(120)는 다양한 기술을 적용하여 공막 영상을 획득할 수 있다. 일 예로, 프로세서(120)는 원형 검출 모듈(미도시)을 이용하여 공막 영상을 획득할 수 있고, 데이터 베이스에 기반한 딥 러닝 기술을 통해 공막 영상을 획득할 수도 있다.
그리고, 프로세서(120)는 공막 영상(230)을 기설정된 단위 면적으로 변환할 수 있다. 이에 따라, 프로세서(120)는 기설정된 단위 면적으로 변환된 공막 영상(240)을 획득할 수 있다.
여기에서, 기설정된 단위 면적은 일반적인 사용자의 눈의 크기를 고려하여 설정될 수 있다. 예를 들어, 기설정된 단위 면적은 가로 30mm 및 세로 30mm로 이루어진 정사각형의 면적이 될 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 기설정된 단위 면적은 사용자 설정에 따라 변경될 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 전자 장치(100)는 동일한 면적을 기준으로, 복수의 사용자의 충혈도를 판단할 수 있다.
이후, 프로세서(120)는 기설정된 단위 면적으로 변환된 공막 영상(240)에서 복수의 혈관들을 획득할 수 있다.
이를 위해, 프로세서(120)는 기설정된 단위 면적으로 변환된 공막 영상(240)을 이미지 처리할 수 있다. 구체적으로, 프로세서는 공막 영상(240)에 CLAHE (Contrast Limited Adaptive Histogram Equalization) 알고리즘을 적용하여 공막 영상(240)의 화이트 밸런스와 콘트라스트를 조절할 수 있다. 여기에서, CLAHE 알고리즘이란, 영상의 밝기에 대한 히스토그램 분포 레벨을 평탄화함으로써 영상의 콘트라스트를 높여주는 알고리즘을 의미한다. 이에 따라, 프로세서(120)는 공막 영상 내의 혈관이 선명해진 영상(미도시)을 획득할 수 있다.
이후, 프로세서(120)는 콘트라스트가 조절된 공막 영상의 헤시안 행렬(hessian matrix)을 계산하고, 헤시안 행렬에 기초해서 공막 영상을 이미지 처리할 수 있다. 이에 따라, 프로세서(120)는 공막 영상의 혈관 부위가 부각된 영상(250)을 획득할 수 있다. 그리고, 프로세서(120)는 헤시안 행렬의 적용에 의해 혈관 부위가 부각된 공막 영상(250)을 이진화 처리할 수 있다. 구체적으로, 프로세서(120)는 공막 영상(250)에 포함된 혈관을 숫자 1로 이진화하고, 나머지 부분을 숫자 0으로 이진화할 수 있다. 이에 따라, 프로세서(120)는 복수의 혈관 영역 및 그 외 영역으로 구분된 영상, 즉 이진화 처리된 공막 영상(260)을 획득할 수 있다.
예를 들어, 도 3을 참조하면, 프로세서(120)는 숫자 1로 이진화 처리된 혈관 영역(261) 및 숫자 0으로 이진화 처리된 그 외 영역(262)을 포함하는, 이진화 처리된 공막 영상(260)을 획득할 수 있다.
이에 따라, 프로세서(120)는 이진화 처리된 공막 영상(260)으로부터 복수의 혈관들을 획득할 수 있다.
이후, 프로세서(120)는 이진화 처리된 공막 영상(260)에 포함된 복수의 혈관들을 복수의 마디로 구분할 수 있다. 이는, 복수의 마디 각각의 위치 및 사이즈에 기초해서, 눈의 전체 충혈도 뿐만 아니라 눈의 부위별 충혈도를 판단하기 위함이다.
한편, 복수의 마디 각각은 복수의 혈관들의 교차점으로부터 복수의 혈관들 각각의 끝점 사이의 혈관이 될 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 경우에 따라 마디는 제1 교차점으로부터 제2 교차점 사이의 혈관이 될 수 있다. 또한, 교차하는 혈관이 없을 경우, 마디는 혈관 자체가 될 수도 있다.
한편, 프로세서(120)는 복수의 혈관들을 복수의 마디로 구분하기 위해서, 이진화 처리된 공막 영상(260)에 포함된 복수의 혈관들을 기설정된 단위의 두께로 변환할 수 있다. 이하, 도 4를 참조하여 설명한다.
도 4는, 본 발명의 일 실시 예에 따른 복수의 혈관들을 복수의 마디로 구분하는 방법을 설명하기 위한 도면이다.
프로세서(120)는 이진화 처리된 공막 영상(260)에 포함된 복수의 혈관들을 기설정된 단위의 두께로 변환할 수 있다. 여기에서, 기설정된 단위의 두께는 복수의 혈관들의 교차점을 판단하기 위한 두께로써, 0.01mm로 설정될 수 있다. 다만, 이에 한정되는 것은 아니고, 기설정된 두께는 사용자에 의해 다르게 설정될 수도 있음은 물론이다.
이에 따라, 프로세서(120)는 도 4에 도시된 바와 같은, 뼈대(Skeleton) 영상(270)을 획득할 수 있다. 이하, 설명의 편의를 위해, 복수의 혈관들을 기설정된 단위의 두께로 변환한 영상을 뼈대(Skeleton) 영상(270)으로 지칭하여 설명한다.
프로세서(120)는 뼈대 영상(270)에서 복수의 혈관들이 교차하는 지점인 교차점을 판단할 수 있다.
예를 들어, 도 4를 참조하면, 프로세서(120)는 제1 혈관(272-1 지점 및 271-1 지점 사이의 혈관) 및 제2 혈관(272-2 지점 및 272-4 사이의 혈관)이 교차하는 지점인 제1 교차점(271-1)을 판단할 수 있고, 제2 혈관 및 제3 혈관(272-3 지점 및 271-2 지점 사이의 혈관)이 교차하는 지점인 제2 교차점(271-2)을 판단할 수 있다. 또한, 프로세서(120)는 나머지 복수의 혈관들에 대해서도 상술한 방법을 통해 교차점을 판단할 수 있다.
또한, 프로세서(120)는 뼈대 영상(270)에서 복수의 혈관들 각각의 끝점을 판단할 수 있다.
예를 들어, 도 4를 참조하면, 프로세서(120)는 제1 혈관의 끝점(272-1, 271-1), 제2 혈관의 끝점(272-2, 272-4) 및 제3 혈관의 끝점(272-3, 271-2)을 판단할 수 있다. 또한, 프로세서(120)는 나머지 복수의 혈관들에 대해서도 상술한 방법을 통해 각 혈관의 끝점을 판단할 수 있다.
이에 따라, 프로세서(120)는 뼈대(Skeleton) 영상(270)에서 복수의 혈관들을 복수의 마디로 구분할 수 있다.
예를 들어, 도 4를 참조하면, 프로세서(120)는 제1 혈관의 끝점(272-1)으로부터 제1 및 제2 혈관의 교차점(271-1) 사이의 혈관을 제1 마디(273-1)로 판단할 수 있고, 제2 혈관의 끝점(272-2)으로부터 제1 및 제2 혈관의 교차점(271-1) 사이의 혈관을 제2 마디(273-2)로 판단할 수 있으며, 제3 혈관의 끝점(272-3)으로부터 제2 및 제3 혈관의 교차점(271-2) 사이의 혈관을 제3 마디(273-3)로 판단할 수 있고, 제2 혈관의 끝점(272-4)으로부터 제2 및 제3 혈관의 교차점(271-2) 사이의 혈관을 제4 마디(273-4)로 판단할 수 있다.
또한, 프로세서(120)는 제1 교차점(271-1)으로부터 제2 교차점(271-2) 사이의 혈관을 제5 마디(273-5)로 판단할 수 있고, 교차점이 없는 혈관의 경우, 그 혈관 자체를 제6 마디(273-6)로 판단할 수 있다.
이후, 프로세서(120)는 복수의 마디들 각각의 사이즈를 산출할 수 있다. 구체적으로, 프로세서(120)는 이진화 처리된 영상(260)에서 복수의 혈관들의 교차점과, 교차점을 기준으로 복수의 혈관들 각각의 끝점 사이의 사이즈를 산출할 수 있다.
이를 위해, 프로세서(120)는 이진화 처리된 공막 영상(260)에 뼈대 영상(270)을 오버랩한 영상(280)을 이용할 수 있다. 이하, 도 5를 참조하여 설명한다.
도 5는, 본 발명의 일 실시 예에 따른 복수의 마디 각각의 사이즈를 산출하는 방법을 설명하기 위한 도면이다.
프로세서(120)는 뼈대 영상(270)을 이진화 처리된 공막 영상(260)에 오버랩 할 수 있다. 이에 따라, 프로세서(120)는 이진화 처리된 공막 영상(260)에서 복수의 마디 각각의 사이즈를 산출할 수 있다. 이하, 설명의 편의를 위해 뼈대 영상(270)이 이진화 처리된 공막 영상(260)에 오버랩 된 영상을, 오버랩 영상(280)이라 지칭하여 설명한다.
먼저, 프로세서(120)는 오버랩 영상에서 복수의 혈관을 복수의 마디로 구분할 수 있다. 구체적으로, 프로세서(120)는 뼈대 영상(270)에서 판단한 복수의 마디 각각에 기초해서, 오버랩 영상(280)에서 복수의 혈관을 복수의 마디로 구분할 수 있다.
보다 구체적으로, 프로세서(120)는 뼈대 영상(270)을 복수의 영역으로 구분하여, 뼈대 영상(270)의 전체 영역 중에서 복수의 마디 각각이 존재하는 영역을 판단할 수 있다. 그리고, 프로세서(120)는 뼈대 영상(270)을 복수의 영역으로 구분한 것과 동일한 기준으로, 오버랩 영상(280)을 복수의 영역으로 구분하고, 뼈대 영상(270)에서 복수의 마디 각각이 존재하는 영역과 오버랩 영상(280)의 각 영역을 비교하여, 오버랩 영상(280)의 전체 영역 중에서 복수의 마디 각각이 존재하는 영역을 판단할 수 있다.
예를 들어, 도 5를 참조하면, 프로세서(120)는 뼈대 영상(270)에서 판단한 복수의 마디 각각의 위치에 기초해서 제1 마디 내지 제5 마디(281-1 내지 281-5) 각각을 판단할 수 있다.
이에 따라, 프로세서(120)는 오버랩 영상(280)에서 복수의 마디들 각각의 사이즈를 산출할 수 있다. 예를 들어, 프로세서(120)는 제1 마디(281-1)의 사이즈를 산출함에 있어서, 제1 마디(281-1)에 포함된 기설정된 두께의 혈관을 기준으로 직교하는 가상의 선을 제1 마디(281-1) 내에 복수 개 생성하고, 생성한 복수 개의 선의 사이즈를 합해서 제1 마디(281-1)의 사이즈를 산출할 수 있다.
다만, 이는 일 실시 예일 뿐, 프로세서(120)는 제1 마디(281-1)를 복수 개의 삼각형 및 사각형으로 나누어서 각 면적을 산출할 수도 있고, 점산법(point-counting)을 이용하여 산출할 수도 있다. 즉, 복수의 마디 각각의 사이즈를 산출하는 방법에는 다양한 기술이 적용될 수 있다. 한편, 제1 마디(281-1) 외 오버랩 영상(280)에 포함된 나머지 마디 각각에 대해서도, 프로세서(120)는 상술한 방법에 의해 사이즈를 산출할 수 있다.
이후, 프로세서(120)는 복수의 마디들의 사이즈에 기초해서, 촬영된 영상에 포함된 눈의 충혈도를 판단할 수 있다.
구체적으로, 프로세서(120)는 기설정된 단위 면적의 공막 영상(230)의 면적과 복수의 마디들의 사이즈를 비교하여 충혈도를 판단할 수 있다. 보다 구체적으로, 프로세서(120)는 오버랩 영상(280)에서 판단한 복수의 마디들 각각의 사이즈를 합한 값과 기설정된 단위 면적의 공막 영상(230)의 면적을 비교하여, 눈의 전체 충혈도를 판단할 수 있다.
예를 들어, 기설정된 단위 면적의 공막 영상(230)의 면적이 900 ㎟이고, 복수의 마디들 각각의 사이즈를 합한 값이 600 ㎟이면, 프로세서(120)는 (600÷900) ×100 이라는 연산을 통해, 눈의 전체 충혈도를 66.67％로 산출(290)할 수 있다.
한편, 상술한 실시 예에서는, 기설정된 단위 면적의 공막 영상(230)의 면적과 복수의 마디들 각각의 사이즈를 합한 갓을 비교하여, 눈의 충혈도를 판단하는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니다.
일 예로, 프로세서는 공막 영상(230)의 전체 면적과 복수의 마디들 각각의 사이즈를 합한 것을 비교하여, 눈의 충혈도를 판단할 수도 있다.
여기에서 공막 영상(230)의 전체 면적에서 충혈도를 판단하는 방법에는, 상술한 기설정된 단위 면적의 공막 영상(240)에서 충혈도를 판단하는 방법과 동일한 기술적 사상이 적용될 수 있다.
구체적으로, 프로세서(120)는 공막 영상(230) 자체를 이미지 처리하고, 공막 영상(230)에 포함된 복수의 혈관들을 획득할 수 있다. 그리고, 프로세서(120)는, 복수의 혈관들의 교차점에 기초하여 복수의 마디들의 사이즈를 산출하고, 산출된 복수의 마디들 각각의 사이즈의 합과 공막 영상(230)의 전체 면적을 비교하여 눈의 충혈도를 판단할 수 있다.
한편, 프로세서(120)는 눈의 부위별로 충혈도를 판단할 수도 있다. 이하, 도 6을 참조하여 설명한다.
도 6은, 본 발명의 일 실시 예에 따른 눈의 부위별로 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
프로세서(120)는, 전술한 바와 같이, 뼈대 영상(270)을 복수의 영역으로 구분하여, 뼈대 영상(270)의 전체 영역 중에서 복수의 마디 각각이 존재하는 영역을 판단할 수 있다.
구체적으로, 프로세서(120)는 뼈대 영상(270)을 복수의 영역으로 구분하고, 뼈대 영상(270)에 포함된 복수의 마디 각각을 좌표화하여, 복수의 마디 각각이 존재하는 영역을 판단할 수 있다.
예를 들어, 도 6을 참조하면, 뼈대 영상(270)의 가로 및 세로 영역을 기설정된 복수 개 영역으로 구분한 경우, 프로세서(120)는 제1 마디(273-1)는 (1,3) 좌표 영역에 존재하는 것으로 판단할 수 있고, 제2 마디(273-2)는 (1,3) 좌표 영역에 존재하는 것으로 판단할 수 있으며, 제3 마디(273-3)는 (2,4) 및 (2,3) 좌표 영역에 존재하는 것으로 판단할 수 있고, 제4 마디(273-4)는 (2,4) 및 (3,4) 좌표 영역에 존재하는 것으로 판단할 수 있다. 또한, 프로세서(120)는 뼈대 영상(270)에 포함된 나머지 복수의 마디 각각에 대해서도 상술한 방법과 마찬가지로, 각 마디가 존재하는 영역을 판단할 수 있다.
한편, 여기에서 설명한 방법은 일 실시 예일 뿐, 프로세서(120)는 복수의 마디 각각의 상대적 위치를 이용하는 등 다양한 방법으로 복수의 마디 각각이 존재하는 영역을 판단할 수 있음은 물론이다.
이에 따라, 프로세서(120)는 복수의 마디들 각각이 존재하는 위치에 기초해서, 눈의 부위별 충혈도를 판단할 수 있다. 예를 들어, 프로세서(120)는 복수의 마디 각각이 존재하는 영역에만 부분적으로 충혈이 생겼음을 판단할 수 있다.
한편, 프로세서(120)는 오버랩 영상에서 산출한 각 마디별 사이즈를 더 고려해서, 눈의 부위별 충혈도를 판단할 수도 있다.
구체적으로, 프로세서(120)는 제5 마디(271-5)의 사이즈가 제1 마디 내지 제4 마디(271-1 내지 271-4)의 사이즈보다 상대적으로 크다고 판단될 경우, 제5 마디(271-5)가 존재하는 영역의 충혈도가 제1 마디 내지 제4 마디(271-1 내지 271-4)가 존재하는 영역의 충혈도 보다 높은 것으로 판단할 수 있다.
한편, 프로세서(120)는 혈관의 두께에 기초해서 눈의 충혈도를 판단할 수도 있다. 이하, 도 7(a) 및 도 7(b)를 참조하여 설명한다.
도 7(a) 및 도 7(b)는 본 발명의 일 실시 예에 따른 혈관의 두께에 기초해서 눈의 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
프로세서(120)는, 전술한 바와 같이, 오버랩 영상(280)에서 각 마디별 사이즈를 산출할 수 있다.
이 경우, 프로세서(120)는 오버랩 영상(280)에 포함된 복수의 마디들 중에서, 기설정된 두께 미만의 적어도 하나의 마디를 판단할 수 있다. 여기에서, 기설정된 두께는 0.05mm로 설정될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 도 7(a)를 참조하면, 프로세서(120)는 기설정된 두께 미만의 마디로 이루어진 혈관들(282-1, 282-2, 282-3)을 판단할 수 있다. 여기에서, 기설정된 두께 미만의 마디로 이루어진 혈관은 미세 혈관이 될 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 전자 장치(100)는 미세 혈관에 기초해서 눈의 충혈도를 판단할 수 있다.
한편, 프로세서(120)는 오버랩 영상(280)에 포함된 복수의 마디들 중에서, 기설정된 두께 이상의 적어도 하나의 마디를 판단할 수도 있다. 여기에서, 기설정된 두께는 0.05mm로 설정될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 도 7(b)를 참조하면, 프로세서(120)는 기설정된 두께 이상의 마디로 이루어진 혈관들(283-1, 283-2)을 판단할 수 있다. 이에 따라, 프로세서(120)는 미세 혈관을 제외한 나머지 혈관들에 기초해서 눈의 충혈도를 판단할 수도 있다.
한편, 눈을 촬영하는 과정에서, 빛의 반사 등에 의해 공막 영상(240)에 반사광이 포함될 수 있다. 이 경우, 프로세서(120)는 공막 영상(240)의 전체 영역 중에서 반사광이 포함된 영역을 제외한 나머지 공막 영역에 기초해서, 눈의 충혈도를 판단할 수 있다. 이하, 도 8을 참조하여 설명한다.
도 8은, 본 발명의 일 실시 예에 따른 공막 영상에 반사광이 포함된 경우, 반사광을 제거하고 눈의 충혈도를 판단하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 공막 영상(240 ´)에는 반사광(241)이 포함될 수 있다. 여기에서, 반사광을 포함하는 영역은 눈을 촬영하는 과정에서 빛의 반사에 의해 생긴 영역이 될 수 있다.
이 경우, 프로세서(120)는 공막 영상(240 ´)에서 반사광을 제거할 수 있다.
이를 위해, 프로세서(120)는 먼저 공막 영상(240 ´)에 반사광이 포함되었는지 여부를 판단할 수 있다. 구체적으로, 프로세서(120)는 CLAHE 알고리즘 등을 통해 콘트라스트가 조절된 영상(250)에서, 기설정된 밝기 이상의 콘트라스트를 가진 영역이 있을 경우, 해당 영역을 반사광이 포함된 영역으로 판단할 수 있다.
그리고, 프로세서(120)는 공막 영상의 전체 영역 중에서 반사광이 포함된 영역을 제외할 수 있다.
구체적으로, 프로세서(120)는 콘트라스트가 조절된 영상(250)에서, 반사광이 포함된 영역을 판단하고, 공막 영상(240 ´)에서 반사광(241)을 제거할 수 있다.
그리고, 프로세서(120)는 공막 영상(240 ´)에서 반사광(241)이 제외된 영역에서, 전술한 방법과 마찬가지로 각 마디의 사이즈를 산출하고, 눈의 충혈도를 판단할 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 전자 장치(100)는 촬영된 영상에 반사광이 포함되더라도, 눈의 충혈도를 정확하게 측정할 수 있는 효과가 있다.
한편, 프로세서(120)는 이진화 처리된 영상에서 혈관을 제외한 나머지 영역을 판단할 수 있다. 즉, 프로세서(120)는 이진화 처리된 영상에서 혈관 영역을 제외한 비혈관 영역을 판단할 수 있다. 구체적으로, 프로세서(120)는 이진화 처리된 영상(260)에서 전술한 숫자 0으로 이진화 된 부분을, 비혈관 영역으로 판단할 수 있다.
그리고, 프로세서(120)는 이미지 처리를 수행하기 전의 영상, 즉 단위 면적으로 변환된 공막 영상(240)에서, 비혈관 영역의 색상 및 모양 중 적어도 하나를 판단할 수 있다. 구체적으로, 프로세서(120)는 혈관을 제외한 나머지 영역의 픽셀 값을 판단하여 비혈관 영역의 색상을 판단할 수 있고, 혈관을 제외한 나머지 영역의 모양을 판단하여 비혈관 영역의 모양을 판단할 수 있다.
그리고, 프로세서(120)는 비혈관 영역에 기초해서 충혈도를 판단할 수 있다. 구체적으로, 프로세서(120)는 비혈관 영역에서 붉은 픽셀 값의 비율을 판단하고, 이에 기초하여 비혈관 영역의 충혈도를 판단할 수 있다. 이에 따라, 프로세서(120)는 알러지 질환으로 대표되는 결막의 붉어짐 현상을 판단할 수 있다. 또한, 프로세서(120)는 비혈관 영역의 색상 변화를 판단하여, 빈혈, 황달 등의 인체 유관 기관의 질환 여부를 판단할 수 있다.
또한, 프로세서(120)는 비혈관 영역의 모양에 기초해서, 혈관의 굵기 변화를 판단할 수 있다. 이에 따라, 프로세서(120)는 혈관의 굵기 변화와 관련된 혈관 질환을 판단할 수 있다.
한편, 프로세서(120)는 눈의 충혈도를 판단하는 과정을 사용자에게 시각적으로 피드백 할 수 있다.
도 9는, 눈의 충혈도를 판단하는 과정을 시각적으로 피드백 하는 실시 예를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 눈의 충혈도를 판단하는 과정을 시각적으로 피드백 할 수 있다. 이를 위해, 본 발명의 일 실시 예에 따른 전자 장치(100)는 디스플레이(미도시)를 더 포함할 수 있다.
여기에서, 디스플레이(미도시)는 다양한 영상을 디스플레이할 수 있다. 특히, 사용자의 눈이 촬영된 영상, 복수의 혈관들의 교차점에 기초하여, 복수의 마디들로 구분된, 복수의 혈관들을 포함하는 영상 및 눈의 충혈도에 대한 영상을 디스플레이할 수 있다.
이를 위해, 디스플레이(미도시)는 CD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(220) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
한편, 종래의 전자 장치의 경우, 눈의 충혈도를 판단하고 그에 대한 결과 값만을 사용자에게 제공하였다. 이 경우, 사용자는 어떠한 방식으로 충혈도가 산출된 것인지에 대해서는 피드백을 받지 못하였기 때문에, 그 결과 값을 신뢰하지 못하는 문제가 있었다.
이에 반해, 본 발명의 일 실시 예에 따른 전자 장치(100)는 눈의 충혈도를 판단하는 과정을 순차적으로 사용자에게 피드백 함으로써, 사용자가 그 결과 값을 신뢰하도록 할 수 있다.
예를 들어, 도 9를 참조하면, 프로세서(120)는 먼저, 카메라(110)를 통해 촬영된 영상(910)을 디스플레이할 수 있다.
그리고, 프로세서(120)는 촬영된 영상에서 전안부를 추출한 영상(920)을 디스플레이할 수 있다. 이때, 프로세서(120)는 충혈도를 분석 중이라는 메시지를 함께 디스플레이할 수 있다.
그리고, 프로세서(120)는 복수의 혈관들의 교차점에 기초하여, 복수의 마디들로 구분된, 복수의 혈관들을 포함하는 영상(930)을 디스플레이할 수 있다. 이때, 프로세서(120)는 판단한 눈의 충혈도에 대한 정보를 함께 디스플레이할 수 있다.
이에 따라, 사용자는 촬영된 영상에 포함된 복수의 혈관들이 전자 장치(100)에 의해 획득되고, 획득된 혈관들에 기초해서 눈의 충혈도가 측정된 것이라는 시각적 피드백을 받을 수 있고, 그 결과 값인 충혈도에 대한 신뢰를 가질 수 있다.
한편, 도 9에서는, 카메라를 통해 촬영된 영상(910), 전안부를 추출한 영상(920) 및 복수의 마디들로 구분된 복수의 혈관들을 포함하는 영상(930)을 디스플레이 하는 것으로 설명하였으나, 이는 일 실시 예일 뿐이다.
예를 들어, 프로세서(120)는 상술한 영상들 외 카메라를 통해 촬영된 영상, 촬영된 영상에 CLAHE 알고리즘을 적용한 영상, 이진화 처리된 영상, 이진화 처리된 영상에서 복수의 혈관들의 교차점 및 각 혈관들의 끝점을 획득하는 영상, 복수의 마디별로 혈관의 사이즈를 산출하는 영상, 판단한 출혈도에 대한 영상을 순차적으로 모두 디스플레이 하거나, 일부를 생략하고 디스플레이할 수도 있다.
도 10은, 본 발명의 일 실시 예에 따른 눈의 충혈 원인을 분석하고, 충혈을 해소하기 위한 가이드 정보를 제공하는 실시 예를 설명하기 위한 도면이다.
프로세서(120)는, 눈의 충혈 원인 및 충혈을 해소하기 위한 가이드 정보를 제공할 수 있다.
예를 들어, 도 10을 참조하면, 전자 장치(100)가 스마트 폰으로 구현되는 경우, 프로세서(120)는 디스플레이를 통해, 사용자가 스마트 폰을 가까이서 이용하였기 때문에 충혈도가 올라갔다는 충혈 원인을 표시할 수 있고, 충혈을 해소하기 위해, 스마트 폰을 멀리서 이용해 달라는 가이드 정보를 제공할 수 있다.
이를 위해, 프로세서(120)는 전자 장치(100)의 상태 정보를 이용할 수 있다. 여기에서, 전자 장치의 상태 정보는, 전자 장치와 사용자의 거리, 전자 장치의 기울기, 전자 장치의 주변 조도 및 전자 장치의 사용 시간 중 적어도 하나가 될 수 있다.
이를 위해, 프로세서(120)는 카메라(110)를 통해 촬영된 영상을 분석하여 전자 장치(100)와 사용자 사이의 거리를 산출할 수 있고, 자이로 센서를 통해 전자 장치(100)의 기울기를 판단할 수 있다. 그리고, 프로세서(120)는 조도 센서를 통해 전자 장치의 주변 조도를 판단할 수 있다.
그리고, 사용자의 충혈도가 기설정된 임계 값 이상으로 판단된 경우, 프로세서(120)는 충혈도를 측정하기 전 전자 장치(100)의 상태 정보에 기초해서, 충혈 원인을 판단할 수 있다. 예를 들어, 충혈도를 측정하기 전 전자 장치(100) 및 사용자의 거리가 기설정된 거리보다 짧은 경우, 프로세서(120)는 사용자가 전자 장치(100)를 가까이에서 이용하였기 때문에 충혈도가 높아진 것으로 판단할 수 있다. 이에 따라, 도 10에 도시된 바와 같이, 프로세서(120)는 스마트 폰을 가까이에서 이용하였기 때문에 충혈도가 올라갔다는 충혈 원인 및 스마트 폰을 멀리서 이용해 달라는 충혈 해소를 위한 가이드 정보를 표시할 수 있다.
한편, 프로세서(120)는 사용자 정보를 이용하여 눈의 충혈 원인 및 충혈을 해소하기 위한 가이드 정보를 제공할 수도 있다. 여기에서, 사용자 정보는 전자 장치(100)에 저장된 사진 어플리케이션 및 스케줄 어플리케이션 중 적어도 하나에 기초하여 생성된 정보가 될 수 있다.
구체적으로, 사용자의 충혈도가 기설정된 임계 값 이상으로 판단된 경우, 프로세서(120)는 충혈도를 측정하기 전 사용자 정보에 기초해서, 충혈 원인을 판단할 수 있다. 예를 들어, 프로세서(120)는 사진 어플리케이션에서, 충혈도를 측정한 시점으로부터 기설정된 시간 내 촬영된 영상을 분류할 수 있다. 그리고, 분류한 영상이 컴퓨터 작업을 수행 중인 영상인 경우, 프로세서(120)는 컴퓨터 작업에 의해 눈의 충혈이 생긴 것으로 판단할 수 있다. 다른 실시 예로, 프로세서(120)는 스케줄 어플리케이션에서, 사용자의 스케줄이 영상 회의인 경우, 영상 회의에 의해 눈의 충혈이 생긴 것으로 판단할 수 있다.
이에 따라, 프로세서(120)는 컴퓨터 작업 내지 영상 회의에 의해 충혈도가 올라갔다는 충혈 원인 및 충혈 해소를 위해 휴식을 취해 달라는 가이드 정보를 표시할 수 있다.
한편, 여기서는 판단한 충혈도가 기설정된 임계 값 이상인 경우를 예로 들었으나, 판단한 충혈도가 기설정된 임계 값 이하인 경우에도 상술한 기술적 사상이 적용될 수 있다.
구체적으로, 판단한 충혈도가 기설정된 임계 값 이하인 경우, 프로세서(120)는 충혈도가 높지 않은 원인을 전자 장치의 상태 정보 및 사용자 정보 중 적어도 하나에 기초해서 판단하고, 이를 디스플레이에 표시할 수 있다.
예를 들어, 충혈도를 측정하기 전 사용자가 전자 장치를 원거리에서 사용한 경우, 원거리에서 전자 장치를 사용한 덕분에 충혈도가 낮다는 메시지 및 전자 장치와의 거리를 계속 유지할 것을 요구하는 가이드 정보를 표시할 수 있다.
한편, 프로세서(120)는 전자 장치의 상태 정보, 사용자 정보 및 판단한 충혈도를 함께 고려하여 충혈 원인을 분석하고, 충혈 해소를 위한 가이드 정보를 제공할 수도 있다.
예를 들어, 프로세서(120)는 사용자가 어두운 곳에서 스마트 폰을 이용하였고, 충혈도를 측정한 때로부터 기설정된 시간 내 사용자가 영상 회의를 한 것으로 판단되면, 주변 밝기 및 영상 회의에 의해 충혈도가 높아졌다는 충혈 원인 및 주변의 밝기를 밝게 하고 영상 회의를 잠시 중단해달라는 가이드 정보를 제공할 수도 있다.
한편, 프로세서(120)는 충혈 원인 및 충혈 해소를 위한 가이드 정보를 딥 러닝을 통해 판단할 수 있다. 구체적으로, 전자 장치(100)의 저장부(미도시)에는 상술한 전자 장치의 상태 정보 및 사용자 정보 각각에 충혈도 정보가 매칭되어 저장되어 있을 수 있다. 예를 들어, 전자 장치를 기설정된 거리 보다 가까이서 이용할 경우의 충혈도, 전자 장치를 기설정된 조도보다 어두운 곳에서 이용할 경우의 충혈도, 사용자가 컴퓨터 작업을 기설정된 시간 동안 수행할 경우의 충혈도 등이 학습에 의해 저장되어 있을 수 있다.
이에 따라, 프로세서(120)는 사용자의 충혈도를 판단한 후, 딥 러닝을 통해 저장부(미도시)에 저장된 정보 중에서, 판단한 충혈도 및 전자 장치의 상태 정보에 대응되는, 충혈 원인 및 충혈도 해소를 위한 정보를 판단하고, 이를 사용자에게 제공할 수 있다. 마찬가지로, 프로세서(120)는 딥 러닝을 통해, 판단한 충혈도 및 사용자 정보에 대응되는, 충혈 원인 및 충혈도 해소를 위한 정보를 제공할 수 있다.
한편, 여기서는 가이드 정보를 전자 장치의 디스플레이에 표시하는 것으로 설명하였으나, 가이드 정보는 다양하게 제공될 수 있다. 예를 들어, 판단한 충혈도가 기설정된 임계 값보다 높다고 판단될 경우, 전자 장치는 스피커를 통한 경고음을 출력할 수 있다. 또한, 전자 장치가 디스플레이를 구비하지 않은 경우, 전자 장치는 디스플레이 장치와 통신을 수행하여 가이드 정보를 전송할 수도 있다.
도 11은, 본 발명의 일 실시 예에 따른 눈의 부위별 충혈도를 디스플레이하는 실시 예를 설명하기 위한 도면이다.
전술한 바와 같이, 프로세서(120)는 복수의 마디들 각각이 존재하는 위치에 기초해서, 눈의 부위별 충혈도를 판단할 수 있다. 그리고, 프로세서(120)는 각 부위별로 판단한 눈의 충혈도를 디스플레이를 통해 디스플레이할 수 있다.
예를 들어, 도 11을 참조하면, 프로세서(120)는 복수의 영역으로 구분된 오버랩 영상(280)에서, 복수의 마디들 각각이 존재하는 위치 및 복수의 마디들 각각의 사이즈에 기초해서, 눈의 부위별로 충혈도를 디스플레이할 수 있다.
한편, 도 11에서는 눈의 부위별 충혈도를 별개의 테이블로 도시하였으나, 실시 예에 따라 눈의 부위별 충혈도는 오버랩 영상에 오버랩되어 디스플레이 될 수도 있다.
또한, 프로세서(120)는 눈의 부위별로 판단한 충혈도에 기초해서, 안구 질환에 대한 정보를 함께 디스플레이할 수도 있다.
예를 들어, 프로세서(120)는 홍채 주변 영역의 충혈도가 다른 영역의 충혈도에 비해서 높은 것으로 판단되면, 홍채 주변 영역의 충혈도가 높다는 메시지와 함께 홍채염이 의심된다는 메시지를 함께 디스플레이할 수 있다. 다른 실시 예로, 프로세서(120)는 공막의 하층 영역의 충혈도가 다른 영역의 충혈도에 비해서 높은 것으로 판단되면, 안약에 의한 약물 알러지가 의심된다는 메시지를 함께 디스플레이할 수도 있다.
한편, 프로세서(120)는 복수의 마디 각각의 방향에 기초해서 안구 질환을 판단하고, 안구 질환에 대한 정보를 함께 디스플레이할 수도 있다. 일 예로, 프로세서(120)는 복수의 마디 각각의 방향이 수평 방향일 경우, 건조증이 의심된다는 메시지를 함께 디스플레이할 수 있다.
즉, 프로세서(120)는 복수의 마디 각각의 사이즈, 각 마디가 존재하는 위치 및 각 마디의 방향성에 기초해서 안구 질환에 대한 정보를 생성하고, 이를 디스플레이할 수 있다.
한편, 여기에서 안구 질환에 대한 정보는 전자 장치(100)의 저장부(미도시)에 기저장 되어 있을 수 있다.
또한, 본 발명의 일 실시 예에 따른 전자 장치(100)는 외부 서버와 통신할 수 있는 통신부(미도시)를 더 포함하고, 외부 서버와의 통신을 통해 안구 질환에 대한 정보를 수신할 수도 있다. 구체적으로, 전자 장치(100)는 외부 서버로 충혈도에 대한 정보를 전송하고, 외부 서버는 충혈도 정보에 기초해서 판단한 안구 질환에 대한 정보를 전자 장치(100)로 전송하며, 전자 장치(100)는 외부 서버로부터 수신한 안구 질환에 대한 정보를 디스플레이할 수 있다.
여기에서, 통신부(미도시)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 등을 포함할 수 있다.
도 12a, 12b 및 12c는, 본 발명의 일 실시 예에 따른 눈의 홍채 주변 영역 및 홍채 주변 이 외 영역을 각각 획득하고, 각 영역에서의 충혈도를 판단하는 실시 예를 설명하기 위한 도면이다.
도 12a를 참조하면, 프로세서(120)는 눈의 홍채 주변 영역(1210) 및 홍채 주변 이외 영역(1220) 각각을 획득할 수 있다.
구체적으로, 프로세서(120)는 전술한 실시 예와 같이, 전안부 영상(210)의 화소 값을 분석하여 동공, 홍채 및 공막을 분리한 뒤 공막 영상을 획득할 수 있다. 그리고, 프로세서(120)는 홍채의 경계선(edege)을 분석한 뒤 홍채로부터 기설정된 거리 내의 공막 영상을 판단함으로써, 눈의 홍채 주변 영역(1210)을 획득할 수 있고, 공막 영상 중 홍채 주변 영역(1210)을 제외하여 홍채 주변 이외 영역(1220)을 획득할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 프로세서(120)는 데이터 베이스에 기반한 딥 러닝 기술을 통해 홍채 주변 영역(1210) 및 홍채 주변 이외 영역(1220) 각각을 획득할 수도 있다.
그리고, 프로세서(120)는 도 12b 및 도 12c에 도시된 바와 같이, 홍채 주변 영역(1210) 및 홍채 주변 이외 영역(1220) 각각의 충혈도를 판단할 수 있다. 구체적으로, 프로세서(120)는 홍채 주변 영역(1210)을 기설정된 단위 면적으로 변환한 영상(1210´)에서, 전술한 바와 같이 이미지 처리를 통해 혈관을 획득하고, 각 혈관의 사이즈 내지 혈관의 마디의 사이즈에 기초해서 충혈도를 판단할 수 있다. 이에 따라, 프로세서(120)는 도 12b에 도시된 바와 같이, 홍채 주변 영역(1210)의 충혈도를 판단한 결과를 사용자에게 제공할 수 있다.
또한, 프로세서(120)는 홍채 주변 이외 영역(1220)을 기설정된 단위 면적으로 변환한 영상(1220´)에서, 전술한 바와 같이 이미지 처리를 통해 혈관을 획득하고, 각 혈관의 사이즈 내지 혈관의 마디의 사이즈에 기초해서 충혈도를 판단할 수 있다. 이에 따라, 프로세서(120)는 도 12c에 도시된 바와 같이, 홍채 주변 영역 이외 영역(1220)의 충혈도를 판단한 결과를 사용자에게 제공할 수 있다.
이와 같이, 홍채 주변 영역(1210) 및 홍채 주변 이외 영역(1220) 각각을 획득하고, 프로세서(120)는 각 영역의 충혈도를 각각 판단함으로써, 안구 질환에 대한 정보를 보다 정확하게 제공할 수 있다. 예를 들어, 홍채 주변 영역(1210)에서 판단한 충혈도에 기초해서, 프로세서(120)는 홍채염 등의 안구 질환을 판단하여 사용자에게 제공할 수 있고, 홍채 주변 이외 영역(1220)에서 판단한 충혈도에 기초해서, 프로세서(120)는 결막염 등의 안구 질환을 판단하여 사용자에게 제공할 수 있다.
도 13은, 본 발명의 일 실시 예에 따른 눈의 충혈도를 정확하게 측정하도록 유도하기 위한 가이드 정보를 제공하는 실시 예를 설명하기 위한 도면이다.
사용자가 기설정된 거리 이상에서 눈을 촬영할 경우, 카메라의 해상도에 따라, 촬영된 영상에는 복수의 혈관들이 포함되지 않을 수 있다. 이에 따라, 프로세서(120)는 눈의 충혈도를 정확하게 측정하도록 유도하기 위한 가이드 정보를 제공할 수 있다.
도 13을 참조하면, 카메라를 통해 촬영된 눈 영상에는 사용자의 좌안 및 우안이 포함될 수 있다. 이 경우, 프로세서(120)는 좌안 및 우안 사이의 거리를 판단할 수 있다. 구체적으로, 프로세서(120)는 좌안 및 우안 사이의 거리가 기설정된 거리 미만인지 여부를 판단할 수 있다. 여기에서 기설정된 거리는 65mm 정도로 설정될 수 있다.
그리고, 프로세서(120)는 촬영된 영상에서 판단한 좌안 및 우안 사이의 거리가 기설정된 거리 미만인 경우, 사용자가 카메라의 근접 거리에 위치하도록 유도하는 가이드 정보를 디스플레이할 수 있다.
예를 들어, 도 13을 참조하면, 프로세서(120)는 사용자가 카메라에 근접하여 눈을 촬영하도록 유도하는 메시지를 디스플레이할 수 있다.
이에 따라, 종래의 전자 장치가 촬영된 영상에서 혈관을 획득하지 못하는 경우, 재차 촬영을 요구함으로써 사용자에게 불편을 초래했던 것과 달리, 본 발명의 일 실시 예에 따른 전자 장치(100)는, 사용자가 카메라로부터 원거리에서 눈을 촬영하고자 하는 경우, 가이드 정보를 디스플레이 함으로써, 사용자 불편을 최소화 할 수 있는 효과가 있다.
한편, 프로세서(120)는 전자 장치(100) 주변의 조도 값이 기설정된 조도 값 이하인 경우에는, 조도 값의 조절을 유도하는 가이드 정보를 제공할 수 있다.
이를 위해, 본 전자 장치(100)는 조도 센서(미도시)를 더 포함할 수 있다.
구체적으로, 카메라를 통해 눈을 포함하는 영상이 촬영되는 경우, 프로세서(120)는 전자 장치(100) 주변의 조도 값이 기설정된 값 이상인지를 판단하고, 기설정된 조도 값 이하이면, 조도 값의 조절을 유도하는 가이드 정보를 제공할 수 있다.
그리고, 프로세서(120)는 조도 값이 기설정된 조도 값 이상이 되면, 영상에 포함된 눈의 충혈도를 판단할 수 있다.
이는, 기설정된 조도 값 이하에서 촬영된 영상에는 혈관이 포함되지 않거나 혈관이 명확하게 드러나지 않을 수 있기 때문이다. 이에 따라, 불필요하게 충혈도를 분석하는 경우를 방지하여, 전원 절감 및 프로세서의 부하를 방지할 수 있다.
도 14는, 본 발명의 일 실시 예에 따른 홍채 인증을 통해 잠금 화면을 해제하는 경우에 있어서, 충혈도를 판단하는 실시 예를 설명하기 위한 도면이다.
프로세서(120)는 사용자가 홍채 인증을 통해 잠금 화면을 해제하려고 하는 경우, 촬영된 영상에 포함된 눈의 충혈도를 판단할 수 있다. 구체적으로, 프로세서(120)는 잠금 화면 상태에서, 카메라를 통해 사용자의 눈이 촬영될 경우, 촬영된 영상에서 홍채를 분석함과 동시에, 상술한 방법으로 눈의 충혈도를 판단할 수 있다.
이에 따라, 사용자는 충혈도 분석을 위해, 별도의 어플리케이션을 실행할 필요 없이, 잠금 해제 단계에서 자신의 충혈도에 대한 분석 결과를 제공 받을 수 있는 효과가 있다.
한편, 프로세서(120)는 홍채 인증 어플리케이션이 실행되면, 눈동자의 위치를 기설정된 위치로 이동하도록 유도하는 가이드 정보를 제공할 수 있다. 일 예로, 프로세서(120)는 눈동자를 왼쪽 및 오른쪽 방향 중 하나로 이동시킬 것을 요구하는 가이드 정보를 제공할 수 있다.
그리고, 프로세서(120)는 눈동자가 기설정된 위치로 이동되면, 눈을 포함하는 영상에서 눈의 충혈도를 판단할 수 있다. 이에 따라, 프로세서(120)는 충혈도를 판단함에 있어서, 동일한 공막 영역에 존재하는 혈관에 기초해서 반복해서 충혈도를 판단할 수 있다.
예를 들어, 도 14와 같이, 프로세서(120)는 눈동자의 왼쪽 영역(1411)에 존재하는 혈관에 기초해서 충혈도를 계속해서 판단할 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 전자 장치는 동일한 공막 영역에서의 충혈도 변화를 판단하여, 충혈도 정보를 정량화 할 수 있다. 또한, 눈동자가 눈의 가운데 위치하는 경우와 비교하였을 때, 넓은 면적의 공막 영상을 획득할 수 있음으로써, 보다 정확하게 충혈도를 판단할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 잠금 화면을 해제하는 경우에 있어서 눈의 충혈도를 판단하는 실시 예를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 전자 장치는 잠금 모드로 동작할 수 있다. 그리고, 본 전자 장치는 잠금 모드를 해제하기 위해 눈동자의 움직임을 이용할 수 있다.
예를 들어, 도 15를 참조하면, 프로세서(120)는 눈동자로 밀어서 잠금 화면을 해제하도록 유도하는 가이드 정보를 제공할 수 있다. 그리고, 프로세서(120)는 잠금 모드 상태에서, 카메라를 통해 눈을 포함하는 영상이 촬영되는 경우, 촬영된 영상에서 눈의 충혈도를 판단할 수 있다.
이에 따라, 사용자는 충혈도 분석을 위해, 별도의 어플리케이션을 실행할 필요 없이, 잠금 해제 단계에서 자신의 충혈도에 대한 분석 결과를 제공 받을 수 있는 효과가 있다.
특히, 프로세서(120)는 눈동자가 기설정된 위치로 이동하면, 눈의 충혈도를 판단할 수 있다. 이에 따라, 프로세서(120)는 충혈도를 판단함에 있어서, 동일한 공막 영역에 존재하는 혈관에 기초해서 충혈도를 판단할 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 전자 장치는 동일한 공막 영역에서의 충혈도 변화를 판단할 수 있다. 또한, 눈동자가 눈의 가운데 위치하는 경우와 비교하였을 때, 넓은 면적의 공막 영상을 획득할 수 있음으로써, 보다 정확하게 충혈도를 판단할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 충혈도 그래프를 제공하는 실시 예를 설명하기 위한 도면이다.
프로세서(120)는 촬영된 영상에서 눈의 충혈도를 판단하고, 그 결과 값을 저장부(미도시)에 저장할 수 있다. 그리고, 프로세서(120)는 기설정된 시간을 기준으로 눈의 충혈도의 평균 값을 산출할 수 있다. 예를 들어, 프로세서(120)는 하루 단위로 눈의 충혈도의 평균 값을 산출할 수 있다.
그리고, 프로세서(120)는 산출한 눈의 충혈도의 평균 값을 제공할 수 있다. 예를 들어, 도 16을 참조하면, 프로세서(120)는 하루 단위로 눈의 충혈도의 평균 값을 산출하고, 하루 단위로 눈의 충혈도의 평균 값을 그래프로 제공할 수 있다. 이에 따라, 사용자는 충혈도의 변화 추이를 용이하게 파악할 수 있다.
특히, 프로세서(120)는 사용자 식별 정보에 기초해서, 촬영된 영상에 포함된 눈에 대응되는 사용자를 식별하고, 영상을 통해 판단한 충혈도를 식별한 사용자에 매칭하여 저장부에 저장할 수 있다.
여기에서, 사용자 식별 정보는 사용자 ID 정보, 홍채 정보 등이 될 수 있으나, 이에 제한되는 것은 아니다.
이에 따라, 프로세서(120)는 사용자 별로 눈의 충혈도의 평균 값을 산출할 수 있고, 사용자 별로 눈의 충혈도 그래프를 제공할 수 있다.
도 17은 본 발명의 일 실시 예에 따른 눈의 충혈도를 캘린더(calendar) 어플리케이션의 실행 화면의 각 날짜에 표시하는 실시 예를 설명하기 위한 도면이다.
프로세서(120)는 전술한 바와 같이, 눈의 충혈도의 평균 값을 산출할 수 있다. 예를 들어, 프로세서(120)는 하루 단위로 눈의 충혈도의 평균 값을 산출할 수 있다.
그리고, 프로세서(120)는 하루 단위로 산출한 눈의 충혈도의 평균 값을 캘린더(calendar) 어플리케이션의 실행 화면의 각 날짜에 매칭하여 제공할 수 있다.
예를 들어, 도 17을 참조하면, 프로세서(120)는 기설정된 임계 값에 기초해서, 기설정된 임계 값 보다 높게 충혈도가 산출된 날 및 기설정된 임계 값 보다 낮게 충혈도가 산출된 날의 색상을 달리하여 캘린더(calendar) 어플리케이션의 실행 화면에 표시할 수 있다. 다만, 이는 일 실시 예일 뿐, 프로세서(120)는 산출한 평균 값 수치 자체를 캘린더(calendar) 어플리케이션의 실행 화면의 각 날짜에 표시할 수도 있다.
이에 따라, 사용자는 충혈도의 변화 추이를 용이하게 파악할 수 있을 뿐만 아니라, 충혈도의 평균 값이 높게 산출된 날과 낮게 산출된 날을 시각적으로 용이하게 피드백 받을 수 있다.
도 18은 본 발명의 일 실시 예에 따른 충혈도의 변화를 기설정된 시간 단위별로 제공하는 실시 예를 설명하기 위한 도면이다. 프로세서(120)는 촬영된 영상을 통해 판단한 충혈도를 저장부(미도시)에 저장할 수 있다.
그리고, 프로세서(120)는 저장부에 저장된 충혈도 정보에 기초해서, 충혈도의 변화를 기설정된 시간 단위별로 판단할 수 있다. 예를 들어, 프로세서(120)는 24시간 단위로 충혈도의 변화를 판단할 수 있으나, 반드시 이에 한정되는 것은 아니다. 일 예로, 프로세서(120)는 1분, 10분 또는 1시간 등 다양한 단위로 충혈도의 변화를 판단할 수 있다.
그리고, 프로세서(120)는 도 18의 그래프와 같이, 충혈도의 변화를 기설정된 시간 단위별로 제공할 수 있다.
그리고, 프로세서(120)는 충혈도의 변화가 기설정된 변화량 이상인 경우 충혈도 관리를 위한 가이드 정보를 제공할 수 있다. 예를 들어, 제1 시간에 판단한 충혈도에 비해서 제2 시간에 판단한 충혈도가 기설정된 임계 값 이상으로 높아진 경우, 프로세서(120)는 눈의 휴식을 유도하는 가이드 정보를 제공할 수 있다.
또한, 프로세서(120)는 사용자의 충혈도가 지속적으로 증가하고 있는 것으로 판단되는 경우, 사용자에게 안구 질환의 위험성을 알리는 피드백을 제공할 수 있다. 여기에서, 피드백은 눈의 충혈도가 지속적으로 증가하고 있다는 정보를 시각적으로 표시하는 것이 될 수 있음은 물론, 오디오를 통한 경고음 출력이 될 수도 있다.
또한, 프로세서(120)는 사용자에게 안구 질환의 위험성을 알리는 피드백을 제공한 뒤에도, 계속해서 사용자의 충혈도가 증가하고 있는 것으로 판단되는 경우, 안구 혈압 상승에 의해 뇌졸중 등 뇌혈관 질환이 발생할 수 있다는 피드백을 사용자에게 제공할 수도 있다.
이에 따라, 사용자에게 충혈의 위험성을 알리고, 눈의 건강 관리를 위한 행동을 유도할 수 있다.
도 19는 본 발명의 일 실시 예에 따른 충혈도에 기초해서 피로도와 관련된 정보를 제공하는 실시 예를 설명하기 위한 도면이다.
프로세서(120)는 판단한 충혈도를 기설정된 기준에 따라 분류하여, 사용자의 피로도를 판단할 수도 있다. 구체적으로, 프로세서(120)는 판단한 충혈도가 제1 임계 값 이하인 경우, 사용자의 피로도를 낮음으로 판단할 수 있고, 판단한 충혈도가 제1 임계 값을 초과하고 제2 임계 값 이하인 경우, 사용자의 피로도를 중간으로 판단할 수 있으며, 판단한 충혈도가 제2 임계 값을 초과하는 경우, 사용자의 피로도를 위험으로 판단할 수 있다. 예를 들어, 도 10을 참조하면, 제1 임계 값은 충혈도가 10%인 경우가 될 수 있고, 제2 임계 값은 충혈도가 30%인 경우가 될 수 있다.
그리고, 프로세서(120)는 사용자의 피로도가 중간이라고 판단되는 경우, 휴식을 유도하는 가이드 정보를 디스플레이할 수 있고, 사용자의 피로도가 위험이라고 판단되는 경우 병원 방문을 유도하는 가이드 정보를 디스플레이할 수 있다. 이에 따라, 본 발명은 사용자가 눈의 건강을 관리 할 수 있도록 유도할 수 있다.
도 20은 본 발명의 일 실시 예에 따른 사용자의 충혈도의 순위 정보를 나타내는 실시 예를 설명하기 위한 도면이다.
도 20을 참조하면, 프로세서(120)는 촬영된 영상을 통해 판단한 눈의 충혈도의 순위 정보를 제공할 수 있다.
이를 위해, 프로세서(120)는 서버로부터 복수의 사용자의 충혈도 정보를 수신하고, 복수의 사용자의 충혈도 정보 및 촬영된 영상을 통해 판단한 눈의 충혈도를 비교하여, 촬영된 영상을 통해 판단한 눈의 충혈도의 순위를 판단할 수 있다.
이를 위해, 본 전자 장치(100)는 서버와 통신을 수행하는 통신부(미도시)를 더 포함할 수 있다. 여기에서, 통신부(미도시)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 등을 포함할 수 있다.
특히, 프로세서(120)는 사용자가 속한 집합 내에서, 사용자의 충혈도의 순위를 제공할 수 있다. 이를 위해, 프로세서(120)는 먼저 사용자 식별 정보에 기초해서 눈에 대응되는 사용자를 식별할 수 있다. 여기에서, 사용자 식별 정보는 전술한 바와 같이 사용자의 ID 정보 등이 될 수 있다.
그리고, 프로세서(120)는 서버로부터 복수의 사용자 각각의 나이 및 직업 중 적어도 하나에 대한 정보를 수신하고, 나이 및 직업 중 적어도 하나에 기초해서 상기 복수의 사용자를 복수의 집합으로 구분하며, 복수의 집합 중 식별한 사용자가 속하는 집합을 판단할 수 있다.
그리고, 프로세서(120)는 판단한 집합에 속한 복수의 사용자의 눈의 충혈도 정보 및 촬영된 영상을 통해 판단한 눈의 충혈도를 비교하여, 촬영된 영상을 통해 판단한 눈의 충혈도의 순위를 판단하고, 순위에 대한 정보를 제공할 수 있다.
이에 따라, 사용자는 같은 직업 또는 같은 나이의 복수의 사용자들과 비교하였을 때, 자신의 눈의 충혈도가 높은지 또는 낮은지를 피드백 받을 수 있다.
도 21은, 본 발명의 일 실시 예에 따른 전자 장치가 눈의 충혈도를 판단하는 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 전자 장치는, 카메라를 통해 눈이 촬영되면, 눈을 포함하는 영상을 획득할 수 있다. 그리고, 전자 장치는 눈을 포함하는 영상에서 전안부 영상을 획득할 수 있고, 전안부 영상에서 공막 영상을 획득(S2110)할 수 있다.
그리고, 전자 장치는 공막 영상을 이미지 처리하여, 복수의 혈관들의 교차점을 판단할 수 있다. 구체적으로, 전자 장치는 CLAHE (Contrast Limited Adaptive Histogram Equalization) 알고리즘을 이용하여 공막 영상의 콘트라스트를 조절하고, 콘트라스트가 조절된 공막 영상을 이진화 처리하며, 이진화 처리된 영상으로부터 복수의 혈관들을 획득할 수 있다. 그리고, 전자 장치는 획득한 복수의 혈관들의 두께를 기설정된 단위의 두께로 변환하여 복수의 혈관들의 교차점을 판단할 수 있다.
그리고, 전자 장치는 복수의 혈관들의 교차점에 기초하여 복수의 혈관들을 복수의 마디들로 구분(S2120)할 수 있다. 여기에서, 마디는 복수의 혈관들의 교차점과 교차점을 기준으로 복수의 혈관들 각각의 끝점 사이의 혈관이 될 수 있다.
그리고, 전자 장치는 복수의 마디들의 사이즈를 산출하여 눈의 충혈도를 판단(S2130)할 수 있다. 구체적으로, 전자 장치는 공막 영상에서 기설정된 단위 면적의 공막 영역을 획득하고, 공막 영역에 포함된 복수의 혈관들의 교차점에 기초하여 복수의 마디들의 사이즈를 산출하고, 산출된 복수의 마디들의 사이즈의 합과 기설정된 단위 면적을 비교하여 눈의 충혈도를 판단할 수 있다.
도 22는, 본 발명의 일 실시 예에 따른 전자 장치가 눈의 충혈도를 판단하는 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치는 사용자의 눈을 포함하는 안면 영상을 획득(S2210)할 수 있다. 여기에서, 안면 영상에는 사용자의 눈, 코 및 입 등이 포함될 수 있다. 그리고, 전자 장치는 안면 영상에서 전안부 영상을 획득(S2215)할 수 있다. 예를 들어, 전자 장치는 안면 영상에 포함된 눈, 코 입 등의 위치 정보를 이용하여 전안부 영상을 획득할 수 있다.
그리고, 전자 장치는 전안부 영상에서 공막 영상을 획득(S2220)할 수 있다. 예를 들어, 전자 장치는 전안부 영상의 화소 값 분석 또는 데이터 베이스에 기반한 딥 러닝 기술을 통해 공막 영상을 획득할 수 있다.
그리고, 전자 장치는 공막 영상을 기설정된 단위 면적으로 변환(S2225)할 수 있다. 여기에서, 기설정된 단위 면적은 일반적인 사용자의 공막 크기를 고려하여 결정될 수 있다. 일 예로, 기설정된 단위 면적은 가로 30mm 및 세로 30mm로 이루어진 정사각형의 면적이 될 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 기설정된 단위 면적은 사용자 설정에 따라 변경될 수 있다.
그리고, 전자 장치는 공막 영상에 반사광이 포함되어 있을 경우, 이를 제거(S2230)할 수 있다. 이는, 반사광이 존재하는 위치에 혈관이 존재하는지 여부를 확정할 수 없음을 고려한 것이다.
그리고, 전자 장치는 단위 면적으로 변환된 공막 영상을 이미지 처리할 수 있다. 구체적으로, 전자 장치는 공막 영상을 Gray scale 영상으로 변환(S2235)하고, Gray scale로 변환된 영상에 CLAHE 알고리즘을 적용(S2240)한 뒤, CLAHE 알고리즘을 적용한 영상에 Hessian Matrix를 적용(S2245)할 수 있다. 이는 공막 영상의 콘트라스트를 조절하고 혈관을 부각시키기 위함이다.
그리고, 전자 장치는 이미지 처리한 공막 영상을 이진화 처리(S2250)할 수 있다. 이에 따라, 전자장치는 공막 영상에서 복수의 혈관을 획득할 수 있다. 그리고, 전자 장치는 이진화 처리된 영상에서 획득한 복수의 혈관을 기설정된 두께로 변환(S2255)할 수 있다.
그리고, 전자 장치는 기설정된 두께로 변환된 복수의 혈관에 Prunning을 적용(S2260)할 수 있다. 여기에서, Prunning은 복수의 혈관을 잘라내는 작업을 의미할 수 있다. 구체적으로, 전자 장치는 복수의 혈관들을 잘라내는 Prunning을 통해서 하나의 혈관을 복수의 단위 혈관으로 구분할 수 있다.
그리고, 전자 장치는 Prunning된 복수의 단위 혈관들의 교차점 및 각 단위 혈관들의 끝점을 판단(S2265)할 수 있다. 구체적으로, 전자 장치는 서로 다른 단위 혈관들이 교차하는 지점을 교차점으로 판단할 수 있다.
이후, 전자 장치는 복수의 혈관들의 교차점에 기초해서, 복수의 혈관들을 복수의 마디들로 구분할 수 있다. 여기에서, 마디는 복수의 혈관들이 교차하는 교차점 및 교차점을 기준으로 복수의 혈관들 각각의 끝점 사이의 혈관을 의미할 수 있다.
그리고, 전자 장치는 각 마디의 혈관 사이즈를 산출(S2270)할 수 있다. 일 예로, 전자 장치는 점산법을 통해 각 마디의 혈관 사이즈를 산출할 수 있다. 그리고, 전자 장치는 각 마디의 혈관 사이즈를 합하여 총 혈관 면적을 산출(S2275)할 수 있고, 공막 영상의 면적과 비교하여 최종 충혈도를 산출(S2280)할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어 또는 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.
한편, 본 발명에 따른 충혈도 산출 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
-
-

Claims (15)

  1. 전자 장치에 있어서,
    카메라; 및
    상기 카메라를 통해 촬영된 눈을 포함하는 영상을 획득하고, 상기 영상에 포함된 하나 이상의 혈관을 추출하며, 상기 추출한 하나 이상의 혈관의 사이즈에 기초해서, 상기 눈의 충혈도를 판단하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 영상에 포함된 복수의 혈관들의 교차점에 기초해서, 상기 복수의 혈관들을 복수의 마디들로 구분하고, 상기 복수의 마디들의 사이즈에 기초해서 상기 눈의 충혈도를 판단하고,
    상기 복수의 마디는,
    상기 교차점과 상기 교차점을 기준으로 상기 복수의 혈관들 각각의 끝점 사이의 혈관 및 상기 교차점과 다른 교차점 사이의 혈관 중 적어도 하나인, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 영상의 헤시안 행렬(hessian matrix)을 계산하고, 상기 헤시안 행렬을 상기 영상에 적용하며, 상기 헤시안 행렬이 적용된 영상을 이진화 처리하여 상기 복수의 혈관들을 추출하고, 상기 복수의 혈관들의 두께를 기설정된 단위의 두께로 변환하여 상기 교차점을 판단하며, 상기 이진화 처리된 영상에서 상기 복수의 마디 각각의 사이즈를 산출하는, 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 영상에서 기설정된 단위 면적의 공막 영상을 획득하고, 상기 공막 영상에 포함된 상기 복수의 혈관들의 교차점에 기초하여 상기 복수의 마디들의 사이즈를 산출하고, 상기 산출된 복수의 마디들의 사이즈의 합과 상기 기설정된 단위 면적을 비교하여 상기 눈의 충혈도를 판단하는, 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 영상에서 상기 복수의 마디들의 위치를 판단하고, 상기 복수의 마디들이 존재하는 위치에 기초해서, 상기 눈의 부위별 충혈도를 판단하는, 전자 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    상기 복수의 마디들의 두께를 판단하고, 상기 복수의 마디들 중에서 기설정된 두께 이상의 적어도 하나의 마디를 획득하고, 상기 획득한 적어도 하나의 마디의 사이즈를 산출하여 상기 눈의 충혈도를 판단하거나,
    상기 복수의 마디들 중에서 기설정된 두께 미만의 적어도 하나의 마디를 획득하고, 상기 획득한 적어도 하나의 마디의 사이즈를 산출하여 상기 눈의 충혈도를 판단하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 영상에 반사광이 포함된 경우, 상기 영상의 전체 영역 중에서 상기 반사광이 포함된 영역을 제외한 나머지 영역을 판단하고, 상기 나머지 영역에 포함된 하나 이상의 혈관의 사이즈에 기초해서 상기 눈의 충혈도를 판단하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 영상에서 상기 추출한 하나 이상의 혈관을 제외한 나머지 영역을 판단하고, 상기 나머지 영역의 색상 및 모양 중 적어도 하나를 더 고려하여 상기 충혈도를 판단하는 전자 장치.
  9. 제2항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 영상, 상기 교차점에 기초하여 복수의 마디들로 구분된 복수의 혈관을 포함하는 영상 및 상기 판단한 충혈도에 대한 영상을 순차적으로 제공하는, 전자 장치.
  10. 제1항에 있어서,
    상기 카메라를 통해 촬영된 눈 영상은 사용자의 좌안 및 우안을 포함하고,
    상기 프로세서는,
    상기 좌안 및 우안 사이의 거리가 기설정된 거리 미만인 경우, 상기 사용자가 상기 카메라의 근접 거리에 위치하도록 유도하는 가이드 정보를 제공하고, 상기 눈 영상에 포함된 상기 좌안 및 우안 사이의 거리가 기설정된 거리가 되면, 상기 충혈도를 판단하는, 전자 장치.
  11. 제1항에 있어서,
    조도 센서;를 더 포함하고,
    상기 프로세서는,
    상기 조도 센서를 통해 감지된 조도 값이 기설정된 조도 값 이하인 경우, 상기 조도 값의 조절을 유도하는 가이드 정보를 제공하고, 상기 조도 값이 기설정된 조도 값 이상이 되면, 상기 영상에 포함된 눈의 충혈도를 판단하는 전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 상태 정보 및 사용자 정보 중 적어도 하나와 상기 충혈도에 기초해서, 상기 충혈도가 발생한 원인 및 상기 충혈도를 해소하기 위한 가이드 정보 중 적어도 하나를 제공 하고,
    상기 전자 장치의 상태 정보는, 상기 전자 장치와 사용자의 거리, 상기 전자 장치의 기울기, 상기 전자 장치의 주변 조도 및 상기 전자 장치의 사용 시간 중 적어도 하나이고,
    상기 사용자 정보는 상기 전자 장치에 저장된 사진 어플리케이션 및 스케줄 어플리케이션 중 적어도 하나에 기초하여 생성된 정보인, 전자 장치.
  13. 제1항에 있어서,
    저장부;를 더 포함하고,
    상기 프로세서는,
    상기 저장부에 저장된 충혈도 정보에 기초해서, 상기 충혈도의 변화를 기설정된 시간 단위별로 판단하고, 상기 충혈도의 변화가 기설정된 변화량 이상인 경우 충혈도 관리를 위한 가이드 정보를 제공하는, 전자 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    홍채 인증 어플리케이션이 실행되면, 상기 카메라를 통해 상기 눈을 포함하는 영상을 촬영하고, 상기 촬영된 영상에서 상기 눈의 충혈도를 판단하는, 전자 장치.
  15. 눈의 충혈도를 판단하는 방법에 있어서,
    카메라를 통해 촬영된 눈을 포함하는 영상을 획득하는 단계;
    상기 영상에 포함된 하나 이상의 혈관을 추출하는 단계; 및
    상기 추출한 하나 이상의 혈관의 사이즈에 기초해서, 상기 눈의 충혈도를 판단하는 단계;를 포함하는 충혈도 판단 방법.
PCT/KR2018/012635 2017-10-31 2018-10-24 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 WO2019088555A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880066273.2A CN111212594B (zh) 2017-10-31 2018-10-24 电子设备和利用电子设备确定结膜充血程度的方法
US16/759,463 US11612314B2 (en) 2017-10-31 2018-10-24 Electronic device and method for determining degree of conjunctival hyperemia by using same
EP18874834.7A EP3666177B1 (en) 2017-10-31 2018-10-24 Electronic device for determining degree of conjunctival hyperemia

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0143227 2017-10-31
KR1020170143227A KR102469720B1 (ko) 2017-10-31 2017-10-31 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법

Publications (1)

Publication Number Publication Date
WO2019088555A1 true WO2019088555A1 (ko) 2019-05-09

Family

ID=66332113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/012635 WO2019088555A1 (ko) 2017-10-31 2018-10-24 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법

Country Status (5)

Country Link
US (1) US11612314B2 (ko)
EP (1) EP3666177B1 (ko)
KR (1) KR102469720B1 (ko)
CN (1) CN111212594B (ko)
WO (1) WO2019088555A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071868A1 (en) * 2019-10-10 2021-04-15 Tufts Medical Center, Inc. Systems and methods for determining tissue inflammation levels

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388714B1 (ko) * 2019-10-17 2022-04-19 아주대학교산학협력단 황달 진단 패치, 패치 인증 시스템 및 이를 이용한 황달 진단 방법
WO2022092134A1 (ja) * 2020-10-28 2022-05-05 ライオン株式会社 検査方法、機械学習実行方法、検査装置及び機械学習実行方法
JP7094468B1 (ja) 2020-12-25 2022-07-01 ライオン株式会社 検査方法
US20220265183A1 (en) * 2021-02-19 2022-08-25 Canon Medical Systems Corporation Method and apparatus for displaying medical images
WO2023277589A1 (ko) * 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023175772A1 (ja) * 2022-03-16 2023-09-21 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
CN115868920B (zh) * 2022-08-18 2023-11-21 上海佰翊医疗科技有限公司 一种结膜充血的量化评估方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015061A (ja) * 2004-07-05 2006-01-19 Brother Ind Ltd 眼の画像読取装置
KR20150019311A (ko) * 2013-08-13 2015-02-25 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
JP2015177403A (ja) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20170000027A (ko) * 2015-06-22 2017-01-02 원광대학교산학협력단 중재시술 지원을 위한 복잡한 혈관의 3d 영상 제공 시스템 및 방법
KR20170070470A (ko) * 2015-12-14 2017-06-22 현대자동차주식회사 눈 피로 정도를 측정하여 알림하기 위한 방법, 장치 및 그를 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070225614A1 (en) * 2004-05-26 2007-09-27 Endothelix, Inc. Method and apparatus for determining vascular health conditions
US7862512B2 (en) * 2005-08-29 2011-01-04 Unex Corporation Blood vessel endothelium function evaluating apparatus provided with an electronic control device
US20070118045A1 (en) * 2005-10-21 2007-05-24 Endothelix, Inc. Iontophoresis challenge for monitoring cardiovascular status
WO2009126112A1 (en) 2008-04-08 2009-10-15 National University Of Singapore Retinal image analysis systems and methods
US10278579B2 (en) * 2008-11-17 2019-05-07 Eyes4Lives, Inc. Vision protection method and system thereof
EP2395906A4 (en) * 2009-02-12 2017-06-28 Novartis Ag Method and apparatus for ocular surface imaging
US9241622B2 (en) * 2009-02-12 2016-01-26 Alcon Research, Ltd. Method for ocular surface imaging
US8262221B2 (en) * 2009-04-24 2012-09-11 Filar Paul A Ophthalmological diagnostic system
JP5490477B2 (ja) * 2009-09-30 2014-05-14 株式会社ニデック 充血度算出プログラム及び充血度算出装置
US9931171B1 (en) * 2010-10-13 2018-04-03 Gholam A. Peyman Laser treatment of an eye structure or a body surface from a remote location
CN101984916B (zh) 2010-11-17 2012-10-31 哈尔滨工程大学 基于数字图像处理技术的血管管径测量方法
US9986909B2 (en) * 2011-02-25 2018-06-05 Canon Kabushiki Kaisha Image processing apparatus and image processing system for displaying information about ocular blood flow
JP6025311B2 (ja) * 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
WO2013126568A1 (en) * 2012-02-21 2013-08-29 Massachusetts Eye & Ear Infirmary Calculating conjunctival redness
CN103246883B (zh) * 2013-05-20 2016-02-17 中国矿业大学(北京) 一种煤矿井下热红外图像人脸识别方法
US10302944B2 (en) 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
CN103839054B (zh) * 2014-03-14 2017-05-24 北京中科虹霸科技有限公司 一种支持虹膜识别的多功能移动智能终端传感器
US10353460B2 (en) * 2014-01-29 2019-07-16 Tarek A Shazly Eye and head tracking device
KR101566618B1 (ko) 2014-05-20 2015-11-06 국립암센터 충혈도 산출 방법 및 장치
CN105303024A (zh) * 2014-06-09 2016-02-03 吴立中 视觉保护方法及其系统
JP6469387B2 (ja) * 2014-08-26 2019-02-13 株式会社トプコン 眼底解析装置
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
KR102103286B1 (ko) * 2015-02-10 2020-04-22 삼성전자주식회사 사용자 단말 및 이의 제공 방법
KR20170024361A (ko) 2015-08-25 2017-03-07 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN105208284B (zh) * 2015-10-12 2018-11-20 小米科技有限责任公司 拍摄提醒方法及装置
KR20170048072A (ko) 2015-10-26 2017-05-08 에스케이플래닛 주식회사 웨어러블을 통한 안구상태 검사 및 관련 컨텐츠 제공 서비스
US9962072B2 (en) * 2015-12-31 2018-05-08 Anantha Pradeep System and method for analyzing eye and contact lens condition
CN105590323B (zh) * 2016-02-02 2018-04-03 温州医科大学附属眼视光医院 一种基于眼科裂隙灯照相的滤过泡表面的血管化程度的检测方法
US10376600B2 (en) * 2016-03-03 2019-08-13 Gholam A. Peyman Early disease detection and therapy
CN106333663A (zh) * 2016-10-20 2017-01-18 深圳欧德蒙科技有限公司 一种血压监测方法和装置
CN106934816A (zh) * 2017-03-23 2017-07-07 中南大学 一种基于elm的眼底图像视网膜血管分割方法
US11013405B1 (en) * 2017-07-17 2021-05-25 Ophthalmic Resources LLC Apparatus for diagnosis of ocular surface disease
US11564563B2 (en) * 2018-02-17 2023-01-31 Aizhong Zhang Apparatus and method of a multifunctional ophthalmic instrument
US10952604B2 (en) * 2018-03-06 2021-03-23 Texas Tech University System Diagnostic tool for eye disease detection using smartphone
WO2019212911A1 (en) * 2018-04-30 2019-11-07 Tufts Medical Center, Inc. System for detecting micro-neuromas and methods of use thereof
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
JP7220905B2 (ja) * 2019-03-04 2023-02-13 学校法人帝京大学 眼球運動解析システム、眼球運動解析方法およびプログラム
WO2021028858A1 (en) * 2019-08-14 2021-02-18 Alcon Inc. Eye tracking fixation monitoring systems and methods
US20210085175A1 (en) * 2019-09-24 2021-03-25 Davco, LLC Cloud Based Corneal Surface Difference Mapping System and Method
US20210321876A1 (en) * 2020-04-21 2021-10-21 Ehsan Zare Bidaki System and method for imaging, segmentation, temporal and spatial tracking, and analysis of visible and infrared images of ocular surface and eye adnexa
CN112084961B (zh) * 2020-09-11 2021-05-14 宁波市眼科医院 一种基于眼科机器人的人工智能眼病筛查诊疗系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015061A (ja) * 2004-07-05 2006-01-19 Brother Ind Ltd 眼の画像読取装置
KR20150019311A (ko) * 2013-08-13 2015-02-25 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
JP2015177403A (ja) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20170000027A (ko) * 2015-06-22 2017-01-02 원광대학교산학협력단 중재시술 지원을 위한 복잡한 혈관의 3d 영상 제공 시스템 및 방법
KR20170070470A (ko) * 2015-12-14 2017-06-22 현대자동차주식회사 눈 피로 정도를 측정하여 알림하기 위한 방법, 장치 및 그를 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071868A1 (en) * 2019-10-10 2021-04-15 Tufts Medical Center, Inc. Systems and methods for determining tissue inflammation levels
US11672418B2 (en) 2019-10-10 2023-06-13 Tufts Medical Center, Inc. Systems and methods for determining tissue inflammation levels

Also Published As

Publication number Publication date
EP3666177A4 (en) 2020-12-30
US20200337554A1 (en) 2020-10-29
KR102469720B1 (ko) 2022-11-23
EP3666177B1 (en) 2023-04-19
CN111212594A (zh) 2020-05-29
US11612314B2 (en) 2023-03-28
KR20190048340A (ko) 2019-05-09
EP3666177A1 (en) 2020-06-17
CN111212594B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2019216593A1 (en) Method and apparatus for pose processing
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2018128422A1 (ko) 지문 이미지의 왜곡을 처리하는 방법 및 장치
WO2015102361A1 (ko) 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
EP3740936A1 (en) Method and apparatus for pose processing
WO2019132518A1 (en) Image acquisition device and method of controlling the same
WO2018048054A1 (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
EP3440593A1 (en) Method and apparatus for iris recognition
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2020235852A1 (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
WO2018143696A1 (ko) 복수의 이미지들간의 변화에 기반하여 동영상을 촬영하는 전자 장치 및 그 제어 방법
WO2017099314A1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
EP3921808A1 (en) Apparatus and method for displaying contents on an augmented reality device
WO2020101380A1 (ko) 광학식 피부질환 진단장치
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2019164281A1 (en) Electronic device and control method thereof
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
WO2021025509A1 (en) Apparatus and method for displaying graphic elements according to object
WO2020209624A1 (en) Head mounted display device and operating method thereof
WO2022145999A1 (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
WO2022075738A1 (ko) 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874834

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018874834

Country of ref document: EP

Effective date: 20200310

NENP Non-entry into the national phase

Ref country code: DE