WO2023121163A1 - 무자각 사시 진단 장치 및 그 동작 방법 - Google Patents

무자각 사시 진단 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023121163A1
WO2023121163A1 PCT/KR2022/020673 KR2022020673W WO2023121163A1 WO 2023121163 A1 WO2023121163 A1 WO 2023121163A1 KR 2022020673 W KR2022020673 W KR 2022020673W WO 2023121163 A1 WO2023121163 A1 WO 2023121163A1
Authority
WO
WIPO (PCT)
Prior art keywords
iris
image
strabismus
time
processor
Prior art date
Application number
PCT/KR2022/020673
Other languages
English (en)
French (fr)
Inventor
김윤홍
김세송
양한
전민석
조순익
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023121163A1 publication Critical patent/WO2023121163A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1216—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes for diagnostics of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection

Definitions

  • Various embodiments of the present disclosure relate to an apparatus for diagnosing involuntary strabismus and an operating method thereof.
  • Strabismus is largely divided into strabismus (strabismus symptoms always occur) and intermittent strabismus (usually normal but occasionally strabismus symptoms occur), and the incidence rate of intermittent strabismus is higher than that of strabismus.
  • Conventional methods for diagnosing strabismus require fixing the position and angle between the head of the test subject and the diagnostic device, or the test subject must wear a specific device on the head, and the test subject must follow instructions regarding the gaze direction. Due to these characteristics, conventional methods for diagnosing strabismus can perform tests only for a limited examination time, and thus it is difficult to diagnose intermittent strabismus. In other words, intermittent strabismus cannot be detected if symptoms do not develop within a limited examination time. In addition, it is difficult to diagnose strabismus in infants who cannot fix their heads, wear devices, or follow instructions.
  • An embodiment of the present disclosure provides an apparatus for diagnosing strabismus without awareness and a method for operating the same, so that strabismus can be efficiently diagnosed even when a subject is in an unconscious state.
  • an embodiment of the present disclosure includes a processor and a memory for storing instructions, wherein the processor executes the instructions, so that a plurality of times in which the subject is captured time-sequentially. obtaining time-sequential images, detecting the face of the test subject in each of the plurality of time-sequential images, determining positions of iris pairs on the face of the test subject for each of the plurality of time-sequential images; Provided is an apparatus for diagnosing strabismus without awareness, which acquires an accumulated iris position change data set by accumulating positions of iris pairs, and diagnoses strabismus of the subject based on the accumulated iris position change data set. can do.
  • the plurality of time-sequential images are captured in a state in which the examinee does not receive an instruction regarding a gaze direction, and an apparatus for diagnosing strabismus without awareness may be provided.
  • the processor may provide an involuntary strabismus diagnosis device that diagnoses strabismus of the test subject through analysis of data intrinsic characteristics of the iris position change accumulation data set.
  • the processor may provide an apparatus for diagnosing strabismus of the subject through time-sequential analysis of the iris position change accumulation data set.
  • the processor determines whether the positions of the iris pairs have temporary abnormal values through time-series analysis of the iris position change accumulation data set, and the positions of the iris pairs determine the temporary abnormal values.
  • An apparatus for involuntarily diagnosing strabismus may be provided, which determines that the person to be tested has strabismus based on determining that the subject has strabismus.
  • the processor determines whether the distance between the iris pairs has a temporary abnormal value through time-sequential analysis of the iris position change accumulation data set, and the distance between the iris pairs determines the temporary abnormal value.
  • An apparatus for involuntarily diagnosing strabismus may be provided, which determines that the person to be tested has strabismus based on determining that the subject has strabismus.
  • the processor determines whether an angle of the iris pair has a temporary abnormal value through a time-series analysis of the iris position change accumulation data set, and determines that the angle has a temporary abnormal value.
  • An apparatus for involuntarily diagnosing strabismus may be provided, which determines that the test subject has strabismus based on the determination.
  • the processor may provide an apparatus for diagnosing strabismus of the subject through statistical analysis of the iris position change accumulation data set.
  • the processor determines a movement region of each of the left eye iris and the right eye iris of the iris pair through statistical analysis of the iris position change accumulation data set, and determines the movement region of the left eye iris and the right eye iris. It is possible to provide an apparatus for diagnosing strabismus without awareness of strabismus by comparing movement areas of the test subject.
  • the processor may provide a non-subjective strabismus diagnosis device that determines the position of the iris pair based on the spatial arrangement of the face with respect to each of the plurality of time-sequential images.
  • the processor determines a size of a first iris of the iris pair through statistical analysis of the plurality of time-sequential images, and based on the size of the first iris, the plurality of time-sequential images.
  • An apparatus for diagnosing non-subjective strabismus that determines the position of the first iris with respect to each of the images may be provided.
  • the processor determines the size of each image of the first iris for each of the plurality of time-sequential images, and determines the size of the first iris based on statistical characteristics of the sizes of each image of the first iris. It is possible to provide an involuntary strabismus diagnosis device that determines the size.
  • the processor may provide an apparatus for diagnosing involuntary strabismus that determines the size of the first iris based on at least one of a mode value and a maximum value of sizes of each image of the first iris.
  • the processor may, for a first image of the plurality of time-sequential images, based on the size of the first iris and the spatial arrangement of the face in the first image, in the first image determining an image size of the first iris, generating a hypothesis eye image for each of candidate locations of the first iris based on the image size of the first iris, and
  • An apparatus for diagnosing involuntary strabismus may determine the position of the first iris in the first image by selecting one of the candidate positions based on the estimated eye image.
  • the processor determines that, for each of the candidate positions of the first iris, a pixel value of one of the iris region and the white eye region is 0 and a pixel value of the other region is 0 based on the image size of the first iris.
  • An apparatus for diagnosing blind strabismus generating an estimated eye image having a value of 1 may be provided.
  • the processor provides an apparatus for diagnosing blind strabismus, which selects one of the candidate locations based on statistical characteristics of values obtained by multiplying the estimated eye image by corresponding pixel values of the first image. can do.
  • the processor may provide an apparatus for diagnosing involuntary strabismus that selects one of the candidate locations based on a location of the first iris in an image immediately before the first image.
  • the processor may enable a camera capturing the plurality of time-sequential images to capture an image suitable for diagnosing strabismus of the subject, based on a face detection result for at least one of the plurality of time-sequential images. It is possible to provide an involuntary strabismus diagnosis device that is controlled to move to a position where the user is located.
  • An embodiment of the present disclosure may include an operation of acquiring a plurality of time-sequential images in which the subject is captured in time-series, an operation of detecting the face of the examinee in each of the plurality of time-sequential images, and the plurality of time-sequential images. For each, an operation of determining the positions of the iris pair on the face of the test subject, an operation of accumulating the positions of the iris pairs to obtain an iris position change accumulation data set, and the iris position change accumulation data set based on the iris position change accumulation data set. It is possible to provide an operating method of an involuntary strabismus diagnosis device including an operation of diagnosing strabismus of a subject.
  • An embodiment of the present disclosure includes a program product stored in a computer readable recording medium to execute a method according to an embodiment of the present disclosure in a computer.
  • An embodiment of the present disclosure includes a computer-readable recording medium on which a program for executing a method according to an embodiment of the present disclosure in a computer is recorded.
  • An embodiment of the present disclosure includes a computer-readable recording medium on which a data format of a message used in an embodiment of the present disclosure is recorded.
  • FIG. 1 is a block diagram schematically illustrating a system for diagnosing unsubstantiated strabismus according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart schematically illustrating the flow of a method of operating an apparatus for diagnosing involuntary strabismus according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram showing an angle by an iris pair according to an embodiment of the present disclosure.
  • FIG. 4 is an example illustrating a motion region of an iris of a subject according to an embodiment of the present disclosure.
  • FIG. 5 is a view showing the shape of the iris seen when it is in the center of the eye.
  • FIG. 6 is a diagram showing the shape of the iris seen when it is at the edge of the eye.
  • FIG. 7 is a diagram illustrating a method of determining a position of an iris using an estimated eye image according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a method of determining an iris position using an estimated eye image according to another embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a smart mobile according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a smart mobile according to another embodiment of the present disclosure.
  • FIG. 11 is a flowchart schematically illustrating the flow of a method for operating a smart mobile according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart schematically illustrating the flow of an additional operation method of a smart mobile according to an embodiment of the present disclosure.
  • 'iris' may include not only the iris excluding the pupil, but also the entire black jaundice including the pupil.
  • a pupil may be used instead of an iris without departing from the spirit of the present disclosure, which is equivalent to using the iris. For example, detecting the iris and detecting the pupil are equal, and the position of the iris and the position of the pupil are equal.
  • 'face' may include a part of the face as well as the entire face.
  • the face may be the eye periphery or the eye.
  • the face is a part that moves according to the spatial arrangement of the head, that is, the head pose, but does not move according to the movement of the eyes. Therefore, the iris is excluded from the face.
  • spatial arrangement may include position, distance, direction, angle, pitch, roll, yaw, and the like.
  • the spatial arrangement may be a relative value based on the camera. The distance between the camera and the face may appear as the size of the face in an image captured by the camera.
  • 'direction of gaze' refers to a direction based on the face.
  • the gaze direction may be a relative direction of the iris determined according to the rotation angle of the eyeball with respect to the direction of the face determined according to the head posture.
  • the 'position of the iris' refers to the position of the center of the iris.
  • the position of the iris refers to the position relative to the face.
  • the position of the iris may be a relative position of the center of the iris determined according to the movement of the eyeball with respect to the position of a specific point on the face determined according to the head posture.
  • the 'unaware' state refers to a state in which the examinee does not know that he or she is being diagnosed with strabismus or does not receive instructions for strabismus diagnosis.
  • Instructions for diagnosing the dead may include instructions regarding the gaze direction.
  • the method for diagnosing strabismus according to the present disclosure enables diagnosis even in an unconscious state, but it goes without saying that diagnosis can be made even in an conscious state.
  • the non-subjective strabismus diagnosis system may include a non-subjective strabismus diagnosis apparatus 100 and a camera 130 .
  • the camera 130 may acquire an image by photographing the subject 140 .
  • the camera 130 may acquire a plurality of time-sequential images by sequentially photographing the subject 140 .
  • the camera 130 may acquire a plurality of time-sequential images by photographing the subject 140 continuously, for a long time, and/or at all times.
  • the apparatus 100 for diagnosing involuntary strabismus may include a processor 110 and a memory 120 storing one or more instructions that may be executed by the processor 110 .
  • the processor 110 may be a single processor or a plurality of processors.
  • the memory 120 may be one memory or a plurality of memories.
  • an operation of the apparatus 100 for diagnosing involuntary strabismus performed by the processor 110 executing one or more instructions stored in the memory 120 will be described in detail.
  • the processor 110 obtains a plurality of time-sequential images in which the subject is time-sequentially captured from the camera 130 .
  • the processor 110 detects the face of the subject 140 in each of a plurality of time-sequential images. According to the present disclosure, since the face of the test subject is detected in a plurality of time-sequential images, unlike conventional strabismus diagnosis methods, the subject 140 freely moves without fixing the head posture or wearing the diagnostic device. Even so, it is possible to diagnose strabismus.
  • the processor 110 may detect the face of the subject 140 using an artificial intelligence learning model.
  • the processor 110 may detect the face of the subject 140 by detecting facial landmarks of the subject 140 .
  • the processor 110 may detect the face of the examinee 140 by detecting the face of the examinee 140, eye peripheries, or eye landmarks.
  • the processor 110 determines the positions of the iris pair of the subject 140, ie, the iris of the left eye and the iris of the right eye, in each of the plurality of time-sequential images.
  • the processor 110 may detect an iris pair of the subject 140 from each of a plurality of time-sequential images, and determine positions of the iris pair based on the detected iris pair.
  • the processor 110 may detect an iris pair of the examinee 140 by detecting landmarks for the iris of the examinee 140 in each of a plurality of time-sequential images.
  • the processor 110 may detect a pair of pupils of the subject 140 in each of a plurality of time-sequential images, which is equivalent to detecting a pair of iris of the subject 140 .
  • the position of the iris may be a position relative to the face of the subject 140 .
  • the position of the iris may be a relative position with respect to landmarks on the face of the subject 140 .
  • the spatial arrangement of the face may be taken into account in determining the position of the iris.
  • the position of the iris may be a position normalized to a standard face.
  • the processor 110 may normalize the landmarks of the face and the iris with respect to the standard facial landmarks and use them.
  • the processor 110 acquires an accumulated iris position change data set by accumulating positions of the determined iris pair.
  • the iris position change accumulation data set includes positions of iris pairs that change in time series.
  • the processor 110 may diagnose strabismus of the subject 140 based on the iris position change accumulation data set.
  • the processor 110 may determine whether the subject 140 is strabismic, the degree of strabismus, and/or the squint angle.
  • the processor 110 may output a diagnosis result to a user.
  • the apparatus 100 for diagnosing involuntary strabismus according to the present disclosure continuously photographs the subject 140 living a daily life for a long time without limitations such as fixing the head posture, wearing the diagnostic device, or not receiving direction of gaze.
  • the accumulated data can be used. Accordingly, the apparatus 100 for diagnosing involuntary strabismus according to the present disclosure can very effectively diagnose intermittent strabismus that occasionally occurs.
  • FIG. 2 is a flowchart schematically illustrating the flow of a method of operating an apparatus for diagnosing involuntary strabismus according to an embodiment of the present disclosure.
  • an operation of the apparatus for diagnosing strabismus without awareness may be an operation performed by the processor 110 .
  • the apparatus 100 for diagnosing strabismus acquires a plurality of time-sequential images in which the subject 140 is time-sequentially captured, and in operation S220, the subject ( 140) face is detected, positions of iris pairs on the face of the subject 140 are determined for each of a plurality of time-sequential images in operation S230, and iris position changes are accumulated by accumulating positions of iris pairs in operation S240.
  • a data set is obtained, and strabismus of the subject 140 may be diagnosed based on the iris position change accumulation data set in operation S250.
  • the apparatus 100 for diagnosing strabismus may exclude images unsuitable for diagnosis of strabismus from the plurality of time-sequential images obtained from the camera 130 and then use the images suitable for diagnosing strabismus for diagnosing strabismus.
  • the apparatus 100 for diagnosing involuntary strabismus may exclude images in which the face of the subject 140 is not detected from among a plurality of time-sequential images.
  • the apparatus 100 for diagnosing non-subjective strabismus may exclude images in which the eyes or iris of the subject 140 are not detected from among a plurality of time-sequential images.
  • the apparatus 100 for diagnosing involuntary strabismus may select only images suitable for a specific diagnosis among a plurality of time-sequential images and exclude the rest.
  • the apparatus 100 for diagnosing involuntary strabismus may select only images suitable for a specific diagnosis among a plurality of time-sequential images and exclude the rest based on the result of determining the position of the iris pair.
  • the plurality of time-sequential images may include images captured in a state in which the subject 140 has not received an instruction regarding the gaze direction.
  • Conventional strabismus diagnosis methods instruct the subject to look in a specific direction, and then diagnose the subject's strabismus in consideration of a typical iris position when looking in the corresponding direction. That is, conventional methods for diagnosing strabismus diagnose the subject's strabismus by comparing a reference value for the position of the iris with the actual position of the iris of the subject. However, there is no such reference value for comparison in a state in which the subject is not instructed on the gaze direction.
  • the apparatus 100 for diagnosing involuntary strabismus acquires a data set for accumulating iris position change by accumulating time-sequential changes in the position of the iris even in a state in which the subject 140 does not receive an instruction regarding the gaze direction, Strabismus of the subject 140 may be diagnosed through analysis of data intrinsic characteristics of the accumulated data set. That is, the apparatus 100 for diagnosing strabismus without subjection may diagnose strabismus of the subject 140 based on the relationship between data in the iris position change accumulation data set without comparison with a predefined reference value.
  • the apparatus 100 for diagnosing strabismus without subjection may diagnose strabismus of the subject 140 through time-sequential analysis of the iris position change accumulation data set. For example, the apparatus 100 for diagnosing strabismus without subjection may determine that the subject 140 is strabismic if it is determined that the positions of the iris pairs have temporary abnormal values by analyzing the time-sequential changes of the positions of the iris pairs.
  • the apparatus 100 for diagnosing involuntary strabismus may determine whether the distance between iris pairs has a temporary abnormal value through time-sequential analysis of the iris position change accumulation data set.
  • the apparatus 100 for diagnosing strabismus without subjection may determine that the test subject 140 has strabismus when it is determined that the distance between the iris pairs has a temporary abnormal value.
  • the distance between the iris pairs may be the distance between the centers of the irises.
  • the distance between the iris pairs may be a relative value with respect to the face of the subject 140 .
  • the distance between iris pairs may be a relative value with respect to distances between landmarks on the face of the subject 140 .
  • the distance between iris pairs may be a value normalized to a standard face.
  • the apparatus 100 for diagnosing involuntary strabismus may determine whether an angle by an iris pair has a temporary abnormal value through time-sequential analysis of the iris position change accumulation data set.
  • the apparatus 100 for diagnosing strabismus without subjection may determine that the subject 140 has strabismus when it is determined that the angle by the iris pair has a temporary abnormal value.
  • the angle by the iris pair may be the angle by the centroids of the iris pair.
  • the angle by the iris pair may be an angle by a line, a ray, a line segment, or a vector by the centers of the iris pair.
  • the angle by the iris pair may be a relative value with respect to the face of the subject 140 .
  • the angle by the iris pair may be a relative value with respect to landmarks on the face of the subject 140 .
  • the angle by the iris pair is an angle based on a reference line, half line, line segment, or vector (eg, a vertical line extending vertically from the center of the face, a line segment connecting specific landmarks on the face) on the face of the test subject 140.
  • the angle by the iris pair may be an angle to a specific line on the face determined according to the head posture.
  • the angle by the iris pair is a line 310 passing through the centers 311 and 312 of the iris pair and a line passing through the inner endpoints 321 and 322 of the eye. It may be an angle 330 between (320).
  • the angle by the iris pair may be a value normalized to a standard face.
  • the apparatus 100 for involuntary strabismus diagnosis may determine a typical value range of a specific variable through time-sequential analysis of the iris position change accumulation data set.
  • the apparatus 100 for diagnosing involuntary strabismus may determine a representative value indicating a typical value of a specific variable through time-sequential analysis of the iris position change accumulation data set.
  • the apparatus 100 for diagnosing involuntary strabismus may update a typical value range or representative value of a specific variable through time-sequential analysis of the iris position change accumulation data set.
  • An abnormal value may mean a value out of a range of typical values.
  • An abnormal value may mean a value that greatly deviate from a range of typical values.
  • An abnormal value may mean a value that deviates from a range of normal values by more than a predefined value or more than a predefined ratio.
  • An abnormal value may refer to a value that greatly deviate from a representative value.
  • the abnormal value may refer to a value that deviates from the representative value by more than a predefined value or by more than a predefined ratio.
  • variable When a variable has a temporary abnormal value, it may mean that the variable has an abnormal value for a short period of time. If a variable has a temporary abnormal value, it may mean that the variable has an abnormal value for a shorter time than a predefined time. If a variable has an abnormal value for a very short period of time (eg, 1 to 2 frames), it may be determined as noise or error rather than a temporary abnormal value.
  • the apparatus 100 for diagnosing involuntary strabismus may determine a variable as a temporary abnormal value when it is an abnormal value for a period of more than a first predefined time and less than a predefined second time. When a certain variable has an abnormal value for a time period exceeding a predefined time period, the apparatus 100 for diagnosing involuntary strabismus may update a normal value range or representative value of the corresponding value.
  • the apparatus 100 for diagnosing strabismus without subjection may determine a case where an angle of an iris pair deviates from an average value by more than a predefined value or more than a predefined ratio as an abnormal value.
  • the apparatus 100 for diagnosing strabismus without awareness may diagnose strabismus of the subject 140 through statistical analysis of the iris position change accumulation data set.
  • the apparatus 100 for diagnosing strabismus without subjection may determine the movement region of the iris through statistical analysis of the iris position change accumulation data set, and diagnose strabismus of the subject 140 based on the determination.
  • the motor region of the iris may be a central motor region of the iris.
  • the movement region of the iris may be a region relative to the face of the subject 140 .
  • the movement region of the iris may be a region relative to landmarks on the face of the subject 140 .
  • the motor region of the iris may be a region normalized to a standard face.
  • the non-subjective strabismus diagnosis apparatus 100 may determine the motor region 410 of the iris of the left eye and the motor region 420 of the iris of the right eye through statistical analysis of the iris position change accumulation data set.
  • the non-subjective strabismus diagnosis apparatus 100 may diagnose strabismus of the subject 140 by comparing the motor region 410 of the iris of the left eye with the motor region 420 of the iris of the right eye.
  • the non-subjective strabismus diagnosis apparatus 100 may determine that the subject 140 is strabismic if the motor region 410 of the iris of the left eye and the motor region 420 of the iris of the right eye are significantly different.
  • the involuntary strabismus diagnosis apparatus 100 may diagnose strabismus of the subject 140 based on at least one of the size, width, shape, and location of the iris motor region. For example, the non-subjective strabismus diagnosis apparatus 100 determines that the subject 140 is strabismic if the ratio of the area of the motor region 410 of the iris of the left eye to the area of the motor region 420 of the iris of the right eye is equal to or greater than a predetermined value. can decide
  • the non-subjective strabismus diagnosis apparatus 100 may determine the displacement of the iris between images based on the iris position change accumulation data set, and diagnose strabismus of the subject 140 by using the displacement.
  • the non-subjective strabismus diagnosis apparatus 100 may determine the blinking frequency based on the iris position change accumulation data set, and diagnose strabismus of the test subject 140 using the determined eye blinking frequency.
  • the apparatus 100 for diagnosing blind strabismus may determine the position of the iris pair based on the spatial arrangement of the face with respect to each of the plurality of time-sequential images. Accordingly, the apparatus 100 for diagnosing involuntary strabismus can determine the position of the iris pair even if the spatial arrangement of the face with respect to the camera 103 is not fixed, unlike conventional strabismus diagnosis methods.
  • the apparatus 100 for diagnosing strabismus without subjection may determine the position of the iris pair based on the spatial arrangement of the face using landmarks of the face.
  • the apparatus 100 for diagnosing involuntary strabismus may determine the position of the iris pair in the first image based on the spatial arrangement of the face in the first image among the plurality of time-sequential images.
  • FIGS. 5 and 6 are diagrams illustrating the shape of an iris that looks different depending on the gaze direction.
  • the human eye may see all of the iris or only a part of the iris depending on the gaze direction. That is, when the iris is located in the center of the eye as in FIG. 5, the entire iris is clearly visible, but as in FIG. 6, when the iris moves to the edge of the eye, a part of the iris is hidden by the eyelid and the like, making it invisible.
  • a phenomenon in which a part of the iris is obscured and thus invisible is referred to as iris occlusion, and when iris occlusion occurs, it is difficult to accurately determine the position of the iris.
  • the position of the iris is accurately determined when the iris is in the center of the eye and occlusion rarely occurs. The larger it is, the more inaccurately the position of the iris is determined. Also, when iris occlusion does not occur, the iris size can be accurately determined, but when iris occlusion occurs, the iris size may be determined smaller than the actual size.
  • the non-subjective strabismus diagnosis apparatus 100 can accurately determine the size of the iris through statistical analysis of a plurality of time-sequential images despite occlusion of the iris, and accurately determine the position of the iris in each image using this.
  • the size of the iris may be a relative size with respect to the face of the subject 140 .
  • the size of the iris may be a relative value with respect to a distance between landmarks on the face of the subject 140 .
  • the size of the iris may be a size normalized to a standard face.
  • the non-subjective strabismus diagnosis apparatus 100 determines the size of a first iris among iris pairs through statistical analysis of a plurality of time-sequential images, and for each of the plurality of time-sequential images based on the size of the first iris.
  • the location of the first iris may be determined.
  • the first iris may be a left eye iris or a right eye iris.
  • the non-subjective strabismus diagnosis apparatus 100 may separately determine the size of the iris of the left eye and the size of the iris of the right eye, or may determine only one iris size under the premise that the iris sizes of both eyes are the same.
  • the non-subjective strabismus diagnosis apparatus 100 may determine the size of the iris for each of a plurality of time-sequential images.
  • the size of the iris may be determined differently from the actual one depending on whether and how much the iris is occluded in a specific image. .
  • the size of the iris determined for a specific image is referred to as the size of each image of the iris.
  • the size of the iris for each image may be a size relative to the face of the subject 140 .
  • the size of the iris for each image may be a relative value with respect to a distance between landmarks on the face of the subject 140 .
  • the size of the iris for each image may be a normalized size with respect to a standard face.
  • the size of the iris for each image may be one in which the effect of occlusion is partially or entirely compensated for depending on the used image and the used artificial intelligence model. However, when looking at the plurality of time-sequential images as a whole, the effect of occlusion is incompletely compensated, so that the size of each image of the iris is not constant but has a changing value.
  • the apparatus 100 for diagnosing involuntary strabismus may determine the size of the first iris based on the statistical characteristics of the sizes of each image of the first iris determined for each of a plurality of time-sequential images.
  • the apparatus 100 for diagnosing involuntary strabismus may determine a maximum value among sizes of the first iris for each image as the size of the first iris.
  • the apparatus 100 for diagnosing strabismus without subjection may exclude an outlier among the sizes of the first iris for each image and determine the maximum value among the remaining sizes as the size of the first iris.
  • the apparatus 100 for diagnosing involuntary strabismus may determine a mode of sizes of each image of the first iris as the size of the first iris.
  • the apparatus 100 for diagnosing strabismus without subjection may determine the size of the first iris by using both the mode and maximum values of the sizes of each image of the first iris.
  • the apparatus 100 for involuntary strabismus diagnosis may determine the size of the first iris by using other statistical characteristics of the sizes of the first iris for each image.
  • the size of the iris in each image varies according to the spatial arrangement of the face of the subject 140 in the corresponding image. For example, when the test subject 140 moves away from the camera 130, the size of the iris on the image decreases, and the size of the iris on the image may decrease even when the face of the test subject 140 does not face the camera 130. there is. In this way, the size of the iris on each image, which varies according to the spatial arrangement of the face, is referred to as the image size of the iris.
  • the non-subjective strabismus diagnosis apparatus 100 may determine the image size of the iris in each image using the determined size of the iris, and may accurately determine the position of the iris in each image by using the determined size of the iris.
  • the apparatus 100 for involuntary strabismus diagnosis may determine the image size of the iris in each image based on the size of the iris and the spatial arrangement of the face in each image.
  • the apparatus 100 for diagnosing blind strabismus may determine the image size of the iris in each image based on the size of the iris and the facial landmarks in each image.
  • the non-subjective strabismus diagnosis apparatus 100 determines the location, distance, size, direction, angle, pitch, roll, yaw, etc.
  • the apparatus 100 for diagnosing blind strabismus may determine the location and direction of the face in each image, and based on this, determine the image size of the iris in each image.
  • the apparatus 100 for diagnosing blind strabismus may determine the size and angle of the face in each image, and determine the image size of the iris in each image based on the size and angle of the face in each image.
  • the apparatus for diagnosing strabismus without subjection 100 is an image of a first iris in a first image based on a size of the first iris and a spatial arrangement of a face in the first image with respect to a first image among a plurality of time-sequential images.
  • a size may be determined, and a position of the first iris in the first image may be determined based on the image size of the first iris.
  • the apparatus 100 for diagnosing involuntary strabismus may determine the position of the first iris in the first image by determining candidate positions of the first iris in the first image and selecting one of the candidate positions.
  • Candidate locations may be determined by all pixels in the first image, all pixels in the eye area in the first image, and pixels within a certain range centered on the location of the first iris in the first image determined using the artificial intelligence model. .
  • the apparatus 100 for diagnosing involuntary strabismus generates an hypothesis eye image at each of the candidate positions of the first iris based on the image size of the first iris, and based on the first image and the estimated eye image, The location of the first iris in the first image can be determined by selecting one of the candidate locations. For example, the apparatus 100 for diagnosing blind strabismus may select a candidate position having the highest correlation between the estimated eye image and the eye region of the first image from among candidate positions. The apparatus 100 for diagnosing blind strabismus may use a cost function according to the first image and the estimated eye image, and may select a candidate position having the lowest cost function value among candidate positions. The apparatus 100 for diagnosing blind strabismus may use a plurality of estimated eye images for one candidate position.
  • the apparatus 100 for diagnosing blind strabismus generates a first estimated eye image and a second estimated eye image for each candidate position, and costs according to the first image, the first estimated eye image, and the second estimated eye image.
  • a function can be used to select one of the candidate locations.
  • the candidate location may be coordinates on an image, that is, an absolute location on the image, or a location relative to the face of the subject 140 .
  • the location relative to the face may be a normalized location relative to the standard face.
  • the apparatus 100 for diagnosing the subject 140 of the first iris relative to the face of the subject 140 by converting a position selected from among the candidate positions into a position relative to the face of the subject 140. relative positions can be determined.
  • the apparatus 100 for diagnosing non-subjective strabismus may convert the candidate position into coordinates on an image and then generate an estimated eye image based on the converted candidate position.
  • the position selected from among the candidate positions may be the relative position of the first iris with respect to the face of the subject 140 as it is.
  • the non-subjective strabismus diagnosis apparatus 100 for each of the candidate positions of the first iris, based on the image size of the first iris, a pixel value of one of the iris region and the white eye region is 0 and a pixel value of the other region is An estimated eye image of one person may be generated.
  • the iris region may include the pupil region.
  • the apparatus 100 for diagnosing blind strabismus may select one of the candidate positions based on statistical characteristics of values obtained by multiplying the estimated eye image by corresponding pixel values of the first image.
  • the first image may be a grayscale image.
  • the first image may be an image captured in gray scale or an image captured in color and then converted to gray scale.
  • a pixel value of a part other than the eye area in the estimated eye image may be 0. Pixel values of parts other than the eye area in the first image may be set to 0. Only pixel values corresponding to the estimated eye image and the eye region of the first image may be used.
  • the estimated eye image may be a 2-bit black or white image having a pixel value of 0 or 1.
  • the estimated eye image may be a grayscale image, and even if another constant value is used instead of the pixel value 1, it is equivalent to the case of using the pixel value 1.
  • the estimated eye image is multiplied by the corresponding pixel values of the first grayscale image.
  • a multiplied value of pixels corresponding to the white region of , and a pixel value of the first image are obtained by multiplying pixels corresponding to the iris region of the estimated eye image.
  • the pixel value of the first image corresponding to the iris region of the estimated eye image includes the pixel value of the white eye region.
  • the multiplied values of are close to 255 for bright colors, for example, 8-bit images. As the positions of the irises of both images do not match well, the multiplied values have a value close to 255. Accordingly, the cost function may be defined such that the cost function decreases as the average and/or standard deviation of the product of corresponding pixel values of both images decreases.
  • the pixel values of the first image corresponding to the white area of the estimated eye image are all pixel values of the white of the eye, so a bright color, that is, a value close to 255 will have
  • the pixel value of the first image corresponding to the white region of the estimated eye image includes the pixel value of the iris region, and that part The multiplied values of have a dark color, that is, a value close to zero.
  • the cost function may be defined such that the cost function decreases as the average of the products of corresponding pixel values of both images increases. Even in this case, the cost function may be defined such that the cost function decreases as the standard deviation of the product of corresponding pixel values of both images decreases.
  • the apparatus for diagnosing strabismus without subjection 100 provides a first estimated eye image in which the pixel value of the iris region is 1 and the pixel value of the white eye region is 0, and the pixel value of the iris region is 0 and the pixel value of the white eye region is 0 for each candidate position. may generate a second estimated eye image of 1.
  • the average and standard deviation of the product of the first estimated eye image and the corresponding pixel values of the first image (hereinafter referred to as 'iris region values'), and the second estimated eye image and the corresponding pixel values of the first image
  • the cost function may be defined such that the standard deviation of the product (hereinafter referred to as 'white area values') decreases, the cost function decreases, and the cost function may be defined such that the cost function decreases as the average of the white area values increases.
  • the cost function can be defined as:
  • W max , W mean , and W std are the maximum value, mean, and standard deviation of the white eye region values, respectively
  • P max , P mean , and P std are the maximum value, mean, and standard deviation of the iris region values, respectively.
  • W max - P min in the denominator is for normalization.
  • the apparatus 100 for diagnosing involuntary strabismus may select one of the candidate positions based on the position of the first iris in the image immediately before the first image. Since the position of the iris in the first image is highly likely to be close to the position of the iris in the previous image, the cost function may be defined such that the greater the difference between the candidate position and the position of the iris in the previous image, the larger the cost function. This can be called a kind of tracking.
  • the cost function can be defined as:
  • P center is a candidate position of the first iris in the first image
  • P center_prev is a position of the first iris in an image immediately before the first image
  • dist(P center , P center_prev ) is a distance between the two positions.
  • P radius is the radius of the first iris, and may be half the size of the first iris.
  • denominator is for normalization
  • FIG. 7 is a diagram illustrating a method of determining a position of an iris using an estimated eye image according to an embodiment of the present disclosure.
  • a first image 710 among a plurality of time-sequential images and a first estimated eye image 720 in which the pixel value of the iris region is 1 and the pixel value of the white eye region is 0 with respect to the candidate position An image 740 multiplied by the corresponding pixel values is shown.
  • an image 750 obtained by multiplying the first image 710 and the corresponding pixel values of the second estimated eye image 730 in which the pixel value of the iris region is 0 and the pixel value of the white eye region is 1 with respect to the candidate position is is shown
  • FIG. 8 is a diagram illustrating a method of determining an iris position using an estimated eye image according to another embodiment of the present disclosure.
  • the apparatus 100 for diagnosing strabismus without subjection may control the camera 130 to move to a position capable of capturing an image suitable for diagnosing strabismus of the subject 140 .
  • the camera 103 In the non-aware strabismus diagnosis apparatus 100, the camera 103 generates an image suitable for diagnosing strabismus of the subject 140 based on a face detection result for at least one of a plurality of time-sequential images obtained from the camera 130. You can control it to move to a captureable position.
  • a device capable of moving the position of a camera will be described.
  • a smart mobile 900 may include a mobile head 910, an arm 920, a support 930, and a fixing mechanism 940.
  • the smart mobile 900 may further include one or more toys 950 .
  • the fixing mechanism 940 fixes the mobile to a fixing target such as a floor or a bed railing.
  • the fixing mechanism 940 may rotate the support 930 by including the rotating part 941 .
  • the rotation unit 941 can rotate the entire mobile 360 degrees.
  • the support 930 is connected to the fixing mechanism 940 to support the mobile.
  • the length of the support 930 may be adjustable by including the support length adjusting unit 931 .
  • the support 930 may be rotated by the rotation unit 941 .
  • the support length adjusting unit 931 and the rotation unit 941 can be manually controlled or automatically controlled by the input values using a motor.
  • the mobile head 910 may include a camera 911, a camera driving unit 912, and a toy control unit 913.
  • the camera 911 may photograph the infant.
  • the camera driver 912 may control zoom and various functions of the camera 130, such as an infrared mode, pixels, a frame rate, and a shooting mode.
  • the toy control unit 913 can attach and detach the toy 950 and control movement (eg, rotation and vertical movement) of the toy 950 .
  • the mobile head 910 may include a plurality of cameras 911.
  • the camera 911 may be attached to another part of the smart mobile 900 in addition to the mobile head 910 .
  • the toy control unit 913 may include a pulley 914 capable of adjusting the height of the toy 950 .
  • the motion of the toy includes a circular motion, vertical motion, spiral motion, S-type motion, N-type motion, W-type motion, and the like, and a form in which the vertical motion of the toy is combined is also possible.
  • the movement of the toy may include any type of movement that can be mechanically expressed.
  • An image captured by the camera 911 may be stored in a storage device in the mobile, and the stored image may be transmitted to a server at a predetermined time or when necessary through a communication chip. It is also possible to enable real-time monitoring by transmitting an image being captured to a server in real time.
  • the arm 920 connects the support 930 and the mobile head 910.
  • the length of the arm 920 may be adjustable by including the arm length adjusting unit 921 .
  • Both ends of the arm 920 may be composed of various types of joints 922 to enable free movement.
  • the joint 922 may have any shape capable of performing a desired movement, such as a point contact, a line contact, or a surface contact.
  • the arm 920 can adjust the position of the mobile head 210 together with the support 930, and allows the camera 911 and the toy 950 to be positioned where desired.
  • the toy 950 is detachable from the toy control unit 913 .
  • the toy 950 may receive power and toy control signals through the connection line 951 for detachment.
  • the toy controller 913 may induce a child's attention by moving each of the one or more toys 950 or generating a sound or light.
  • the toy controller 913 may cause each of the one or more toys 950 to perform a specific action at a specific time.
  • a slip ring is attached to a rotating plate capable of rotating a toy and a motor for driving, it is possible to control the up and down driving of each toy mounted on the rotating plate.
  • the smart mobile 900 may include a mobile controller (not shown) that controls the entire operation of the mobile.
  • the mobile controller may control the support 930 and the arm 920 to move the position of the camera and toy based on the position signal applied according to the image analysis result in order to obtain an optimal image.
  • the mobile control unit may control the toy 950 to move in a pattern required for accurate reading of a suspected disease according to the result of image analysis.
  • the mobile control unit includes a microprocessor capable of generating detailed control signals, a storage device such as a memory capable of storing control source codes, and a communication device capable of transmitting control signals to each component or transmitting images or other information to a server.
  • the smart mobile 900 may include a speaker and/or a light emitting device.
  • the mobile head 1010 of the smart mobile 1000 includes a mobile arm 1011 that can move up and down, and can be attached to and detached from the mobile arm 1011.
  • the toy can be moved up and down.
  • the smart mobile 1000 may include all of the configurations of the smart mobile 900 described with reference to FIG. 9 .
  • the smart mobiles 900 and 1000 can perform.
  • the smart mobile enters a basic operation mode.
  • a toy attached to the mobile head makes a basic form of movement (e.g. rotation), and a camera photographs the infant.
  • the smart mobile controls the camera to take the best position and angle to capture the infant through video analysis.
  • the captured image is transmitted to the server, and the server performs pre-designed signal processing and disease determination algorithms to analyze whether various disease phenomena are present. Through this, the server determines whether the target disease to be determined is expressed in the corresponding image.
  • the captured images are stored in order on the server, and the analysis results are accumulated and processed into statistical results after post-processing.
  • the analysis result and the processed result are transmitted to users such as doctors and parents along with stored images to receive a result of determining the occurrence of a disease phenomenon and to determine the presence or progress of the disease.
  • the smart mobile moves the toy in a predetermined pattern for each disease or performs an attention-inducing motion so that specific data on the disease can be obtained.
  • the additionally acquired data is transmitted to the server and undergoes an image analysis procedure, and more accurate judgment results can be provided to the user.
  • the smart mobile may perform all operations described as performed by the server.
  • Inducing attention is to make the infant look at the camera so that the infant's face can be captured better. It induces the infant to direct the face or head toward the camera, but guides the gaze direction based on the face in a specific direction. It is not.
  • the smart mobile may include various attention-inducing devices, and the attention-inducing devices may include means such as light, motion, and sound. These means can be controlled independently and can be applied to a toy mounted on a mobile or to the mobile itself.
  • the movement of the toy may include rotation, vertical and horizontal movement, vibration, and the like, and the toy may control the movement itself, but the mobile may control the movement using a motor or a pulley.
  • a control signal is transmitted to the toy control unit of the mobile or the toy using a wired/wireless communication method, so that the toy moves, lights, It can be made to perform an operation such as generating a sound.
  • the smart mobile can prepare for obtaining the information required for the disease through medical analysis of the captured image, if a disease is suspected or additional information is required.
  • information such as operating conditions or order of the mobile, which is necessary for acquiring additional information of the corresponding disease, may be read from the storage device of the mobile or server.
  • the smart mobile acquires (photographs) the information required for the disease by operating or stopping each attention-inducing device according to a predetermined sequence and pattern. For example, if the infant is suspected of having strabismus, the attention guidance device may be operated only in a specific toy in order to draw the infant's attention to only one toy among the toys installed in the mobile.
  • the smart mobiles 900 and 1000 may operate in a storytelling mode.
  • contents in which the contents of the video and the order of operation of the attention guidance device to be implemented according to the contents of the video are recorded can be used.
  • Such content may be made in the form of a file and stored in a storage unit in a mobile through a communication unit, and a method of reading a medium made in a specific form, such as a paper or plastic card on which the content is recorded, through a reader is also available.
  • a reader device or the like may be additionally configured in the mobile.
  • the mobile When a file recorded with a specific fairy tale is transmitted to the mobile and a mode for telling the fairy tale is set (or when a medium with a specific fairy tale is inserted into the reader), the mobile is ready to read the contents recorded in the content.
  • Toys corresponding to the main characters of the fairy tale may be mounted at designated locations on the toy controller of the mobile.
  • the toys and attention-getting devices may be controlled according to a predetermined pattern, sequence, and combination according to the contents of the storytelling.
  • an attention-seeking device may be operated to focus on a toy matching the corresponding character.
  • the combination and order of the toy and the attention-guiding device are changed, and through this, it is possible to obtain the effect of telling the fairy tale to infants. Through these functions, it is possible to help the infant's emotional development and parenting. By adding a function to record fairy tales in the parent's voice, it can contribute to the child's growth by increasing interaction with the child.
  • Smart mobiles can acquire the condition or movement of the infant looking at the mobile through the camera and facial movement information, and store, process, and analyze them to obtain various data possessed by the child. It can have a function as a medical auxiliary device that helps to detect diseases in advance and receive medical treatment and treatment at an early stage. For example, early identification of various eye diseases including strabismus is possible through the identification of the child's eye movements and eye conditions, and behavior-based diseases such as autism spectrum disorder, attention deficit, and ADHD are observed through the observation of the child's behavior. early detection of them is possible.
  • the smart mobile 900 can observe the child's behavior, and through the analysis of the child's reaction to the toy's motion pattern, etc., it is possible to grasp the infant's developmental status such as object recognition and emotional formation.
  • the smart mobiles 900 and 1000 may control the camera so that the camera takes the best position and angle for capturing the infant through image analysis.
  • various conditions that the captured image must have in order to achieve optimal performance such as the angle of the face, the size occupied by the face in the screen, illumination, brightness of the face, etc., can be defined in advance, and these conditions are suitable for the purpose of use. may be defined differently.
  • the smart mobile receives a shooting start signal input in operation S1110, prepares for shooting in operation S1120, and takes a photo in operation S1130.
  • the smart mobile derives conditions of the currently captured image through image analysis. This includes information for determining the physical position of the face, such as the position of the target face on the screen, the area of the face, the angle of the face, and the distance from the target to the camera. The location of the analyzed face is output as information that can be located, such as 3D coordinates, according to a set criterion.
  • the smart mobile determines whether the facial position or the like satisfies the optimal shooting condition. The smart mobile can determine whether various predefined conditions have an error within a predetermined standard.
  • the smart mobile derives information of a target point where the mobile head equipped with the camera should be positioned in operation S1160 in order to photograph the front of the face.
  • the image analysis and calculation of the degree of target position can be performed by a server connected by a microprocessor or communication chip installed in the mobile.
  • the mobile control unit moves the mobile head to the target point by controlling each joint and/or length adjusting unit of the mobile. If it is difficult to satisfy the optimal conditions for shooting, such as facial area conditions, by only moving the mechanism, it is possible to induce satisfaction of the conditions by using the zoom function of the camera.
  • the control signal of each mechanical unit and the camera may be generated by the control unit itself or may receive a signal generated by the server.
  • the smart mobile may take an additional image in operation S1130, and then repeat the above process until reaching the optimal location.
  • the smart mobile fixes the location of the mobile in operation S1180 when the optimal shooting condition is satisfied. Thereafter, the mobile may wait for a next operation control signal such as start of shooting.
  • the smart mobiles 900 and 1000 may check the shooting conditions and/or the quality of the image after operation S1180 to control the camera to improve the quality of the captured image.
  • the smart mobile takes pictures in operation S1210, and in operation S1220, the color/brightness of the face on the screen, the color/brightness of the environment around the face (clothes, blankets, pillows, etc.), the illumination of the shooting place, the color on the screen, and the captured video It is possible to acquire and analyze information about the environment where the shooting takes place by analyzing the blur phenomenon (e.g., a phenomenon that appears to be smeared by the rapid movement of an object).
  • the blur phenomenon e.g., a phenomenon that appears to be smeared by the rapid movement of an object.
  • the smart mobile compares the pre-determined optimal image acquisition conditions, derives conditions that can satisfy them in operation S1240 if there are insufficient conditions, changes the shooting conditions of the camera according to the conditions in operation S1250, and then in operation S1210 do a reshoot
  • the shooting location is dark or bright (low or high illumination) due to lighting, or if the face identification is not clear, dark or bright due to the color of the clothes the subject is wearing or the blanket lying on
  • the smart mobile can promote optimal facial information acquisition by adjusting the camera's exposure time (integration time), gain (ISO control), whether to use the HDR function, and frame rate.
  • the smart mobile can fix the shooting conditions of the camera in the S1260 if the image satisfies the optimal conditions.
  • the operation of the smart mobile described in relation to FIGS. 11 and / or 12 is continuously made in real time and fed back, executed at regular time intervals, performed only once before video recording, or performed only when the user desires, depending on various scenarios. can be performed
  • Embodiments of the present disclosure can be implemented as code executable by a computer on a computer-readable recording medium.
  • Computer-readable recording media includes all recording media such as magnetic media, optical media, ROM, and RAM.
  • a computer-readable recording medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed by being stored on a computer-readable recording medium, or distributed online through an application store (eg, Play Store TM ) or directly between two user devices (eg, smartphones) (eg, : can be downloaded or uploaded).
  • an application store eg, Play Store TM
  • two user devices eg, smartphones
  • at least part of the computer program product eg, downloadable app
  • a computer-readable recording medium such as the memory of a manufacturer's server, an application store server, or a relay server, can be created temporarily.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

프로세서, 및 인스트럭션들을 저장하는 메모리를 포함하며, 상기 프로세서는 상기 인스트럭션들을 실행함으로써, 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고, 상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하고, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하고, 상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하고, 상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치가 개시된다.

Description

무자각 사시 진단 장치 및 그 동작 방법
본 개시의 다양한 실시예들은 무자각 사시 진단 장치 및 그 동작 방법에 관한 것이다.
사시는 크게 상사시(항상 사시 증상이 발생)와 간헐적 사시(평소에는 정상이다가 가끔 사시 증상이 발생)로 나뉘며, 상사시보다 간헐적 사시의 발생 비율이 높다. 종래의 사시 진단 방법은 피검사자의 머리(head)와 진단 장치 간의 위치와 각도를 고정하거나, 피검사자가 머리에 특정 장치를 착용해야 하며, 피검사자가 시선 방향에 관한 지시를 따라야 한다. 이러한 특성으로 인하여 종래의 사시 진단 방법은 제한된 검사 시간 동안만 검사가 가능하며, 따라서 간헐적 사시의 진단이 어렵다. 즉, 제한된 검사 시간 내에 증상이 발현되지 않으면 간헐적 사시를 발견할 수 없다. 또한, 머리를 고정하거나, 장치를 착용하거나, 지시를 따르지 못하는 영유아의 사시를 진단하기는 어렵다.
본 개시의 일 실시예는, 무자각 사시 진단 장치 및 그 동작 방법을 제공하여 피검사자가 무자각 상태에 있을 때에도 효율적으로 사시 진단을 할 수 있도록 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 프로세서, 및 인스트럭션들을 저장하는 메모리를 포함하며, 상기 프로세서는 상기 인스트럭션들을 실행함으로써, 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고, 상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하고, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하고, 상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트(accumulated iris position change data set)를 획득하고, 상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 복수의 시계열적 이미지들은, 상기 피검사자가 시선 방향에 관한 지시를 받지 않은 상태에서 캡처된, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트의 데이터 고유 특성(data intrinsic characteristics)에 대한 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는지 여부를 결정하고, 상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는지 여부를 결정하고, 상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는지 여부를 결정하고, 상기 각도가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여, 상기 홍채 쌍 중 좌안 홍채 및 우안 홍채 각각의 운동 영역을 결정하고, 상기 좌안 홍채의 운동 영역과 상기 우안 홍채의 운동 영역을 비교하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 안면의 공간적 배치에 기초하여 상기 홍채 쌍의 위치를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 상기 홍채 쌍 중 제1 홍채의 크기를 결정하고, 상기 제1 홍채의 크기에 기초하여, 상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 이미지별 크기를 결정하고, 상기 제1 홍채의 이미지별 크기들의 통계적 특성에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 홍채의 이미지별 크기들의 최빈값 또는 최대값 중 적어도 하나에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들 중 제1 이미지에 대하여, 상기 제1 홍채의 크기 및 상기 제1 이미지에서의 상기 안면의 공간적 배치 에 기초하여 상기 제1 이미지에서의 상기 제1 홍채의 이미지 크기를 결정하고, 상기 제1 홍채의 이미지 크기에 기초하여 상기 제1 홍채의 후보 위치들 각각에 대한 추정 눈 이미지(hypothesis eye image)를 생성하고, 상기 제1 이미지 및 상기 추정 눈 이미지에 기초하여, 상기 후보 위치들 중에서 하나를 선택함으로써 상기 제1 이미지에서의 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 홍채의 후보 위치들 각각에 대하여, 상기 제1 홍채의 이미지 크기에 기초하여, 홍채 영역과 흰자위 영역 중 한 영역의 픽셀 값은 0이고 다른 영역의 픽셀 값은 1인 추정 눈 이미지를 생성하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 추정 눈 이미지와 상기 제1 이미지의 대응되는 픽셀 값들을 곱한 값들의 통계적 특성에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 이미지의 직전 이미지에서의 제1 홍채의 위치에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치를 제공할 수 있다.
일 실시예에서, 상기 프로세서는, 복수의 시계열적 이미지들 중 적어도 하나에 대한 안면 검출 결과에 기초하여, 상기 복수의 시계열적 이미지들을 캡처하는 카메라가 상기 피검사자의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어하는, 무자각 사시 진단 장치를 제공할 수 있다.
본 개시의 일 실시예는, 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하는 동작, 상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하는 동작, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하는 동작, 상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하는 동작, 및 상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는 동작을 포함하는 무자각 사시 진단 장치의 동작 방법을 제공할 수 있다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키도록 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램 제품을 포함한다.
본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 개시의 일 실시예는, 본 개시의 일 실시예에서 사용되는 메시지의 데이터 포맷이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
도 1은 본 개시의 일 실시예에 의한 무자각 사시 진단 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 개시의 일 실시예에 의한 무자각 사시 진단 장치의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 3은 본 개시의 일 실시예에 의한 홍채 쌍에 의한 각도를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 의한 피검사자의 홍채의 운동 영역을 도시한 예이다.
도 5는 눈의 중심부에 있을 때 보이는 홍채의 형태를 도시한 도면이다.
도 6은 눈의 가장자리에 있을 때 보이는 홍채의 형태를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다.
도 8은 본 개시의 다른 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다.
도 9는 본 개시의 일 실시예에 의한 스마트 모빌을 도시한 도면이다.
도 10은 본 개시의 다른 실시예에 의한 스마트 모빌을 도시한 도면이다.
도 11은 본 개시의 일 실시예에 의한 스마트 모빌의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 12는 본 개시의 일 실시예에 의한 스마트 모빌의 추가적인 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.
본 개시의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다. 본 개시의 각 동작은 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적, 또는 개별적으로 수행될 수 있다.
용어의 정의
본 개시에서 '홍채'는, 동공을 제외한 홍채뿐만 아니라, 동공을 포함하는 검은자위 전체를 포함할 수 있다. 본 개시의 기술사상을 벗어나지 않는 범위에서 홍채 대신 동공을 이용할 수 있으며, 이는 홍채를 이용하는 것과 균등하다. 예를 들어, 홍채를 검출하는 것과 동공을 검출하는 것은 균등하며, 홍채의 위치와 동공의 위치는 균등하다.
본 개시에서 '안면'은 안면 전체뿐만 아니라, 안면의 일부를 포함할 수 있다. 예를 들어, 안면은 눈 주변부 또는 눈일 수 있다. 안면은 머리(head)의 공간상의 배치, 즉 머리 자세(head pose)에 따라 움직이되, 안구의 움직임에 따라서는 움직이지 않는 부분을 말한다. 따라서 홍채는 안면에서 제외된다. 여기서 공간상의 배치는 위치, 거리, 방향, 각도, 피치, 롤, 요 등을 포함할 수 있다. 공간상의 배치는 카메라를 기준으로 하는 상대적인 값일 수 있다. 카메라와 안면 사이의 거리는 카메라로 촬영한 이미지상에서 안면의 크기로 나타날 수 있다.
본 개시에서 '시선 방향'은 안면을 기준으로 하는 방향을 말한다. 예를 들어, 시선 방향은, 머리 자세에 따라 결정되는 안면의 방향에 대한, 안구의 회전 각도에 따라 결정되는 홍채의 상대적인 방향일 수 있다.
본 개시에서 '홍채의 위치'는 홍채의 중심의 위치를 말한다. 본 개시에서 홍채의 위치는 안면을 기준으로 하는 위치를 말한다. 예를 들어, 홍채의 위치는 머리 자세에 따라 결정되는 안면 상의 특정 지점의 위치에 대한, 안구의 움직임에 따라 결정되는 홍채의 중심의 상대적인 위치일 수 있다.
본 개시에서 '무자각' 상태는 피검사자가 자신이 사시 진단을 받고 있다는 사실을 알지 못하는 상태, 또는 사시 진단을 위한 지시를 받지 않는 상태를 말한다. 사신 진단을 위한 지시는 시선 방향에 관한 지시를 포함할 수 있다. 본 개시에 의한 사시 진단 방법은 무자각 상태에서도 진단이 가능하도록 하는 것이나, 자각 상태에서도 진단이 가능한 것은 물론이다.
도 1은 본 개시의 일 실시예에 의한 무자각 사시 진단 시스템을 개략적으로 도시한 블록도이다. 도 1을 참조하면, 본 개시의 일 실시예에 의한 무자각 사시 진단 시스템은 무자각 사시 진단 장치(100) 및 카메라(130)를 포함할 수 있다. 카메라(130)는 피검사자(140)를 촬영하여 이미지를 획득할 수 있다. 카메라(130)는 피검사자(140)를 연속적으로(sequentially) 촬영하여 복수의 시계열적 이미지들을 획득할 수 있다. 카메라(130)는 피검사자(140)를 지속적으로, 오랜 시간 동안, 및/또는 상시 촬영하여 복수의 시계열적 이미지들을 획득할 수 있다.
무자각 사시 진단 장치(100)는, 프로세서(110) 및 프로세서(110)에 의해 실행될 수 있는 하나 이상의 인스트럭션들을 저장하는 메모리(120)를 포함할 수 있다. 프로세서(110)는 하나의 프로세서이거나, 복수의 프로세서일 수 있다. 메모리(120)는 하나의 메모리이거나, 복수의 메모리일 수 있다. 이하 프로세서(110)가 메모리(120)에 저장된 하나 이상의 인스트럭션들을 실행함으로써 수행하는 무자각 사시 진단 장치(100)의 동작을 구체적으로 설명한다.
프로세서(110)는 카메라(130)로부터 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득한다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 안면을 검출한다. 본 개시에 의하면 이와 같이 복수의 시계열적 이미지들에서 피검사자의 안면을 검출하므로, 종래의 사시 진단 방법들과 달리 피검사자(140)가 머리 자세를 고정하거나 진단 장치를 착용하지 않고 자유롭게 활동하는 모습을 촬영하더라도 사시 진단을 할 수 있게 된다.
프로세서(110)는 인공지능 학습 모델을 이용하여 피검사자(140)의 안면을 검출할 수 있다. 프로세서(110)는 피검사자(140)의 안면 랜드마크(facial landmark)들을 검출함으로써 피검사자(140)의 안면을 검출할 수 있다. 프로세서(110)는 피검사자(140)의 안면, 눈 주변부, 또는 눈에 대한 랜드마크들을 검출함으로써 피검사자(140)의 안면을 검출할 수 있다.
프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 홍채 쌍, 즉 좌안 홍채 및 우안 홍채의 위치들을 결정한다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 홍채 쌍을 검출하고, 이에 기초하여 홍채 쌍의 위치들을 결정할 수 있다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 홍채에 대한 랜드마크들을 검출함으로써 피검사자(140)의 홍채 쌍을 검출할 수 있다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 동공 쌍을 검출할 수도 있으며, 이는 피검사자(140)의 홍채 쌍을 검출하는 것과 균등하다.
홍채의 위치는 피검사자(140)의 안면에 대한 상대적인 위치일 수 있다. 홍채의 위치는 피검사자(140)의 안면의 랜드마크에 대한 상대적인 위치일 수 있다. 홍채의 위치를 결정하는 데에 안면의 공간상의 배치가 고려될 수 있다. 홍채의 위치는 표준 안면에 대하여 정규화(normalize)된 위치일 수 있다. 프로세서(110)는 안면 및 홍채의 랜드마크들을 표준 안면의 랜드마크들에 대하여 정규화하여 사용할 수 있다.
프로세서(110)는 결정한 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트(accumulated iris position change data set)를 획득한다. 홍채 위치 변화 축적 데이터 세트에는 시계열적으로 변화하는 홍채 쌍의 위치들이 포함되어 있다. 프로세서(110)는 홍채 위치 변화 축적 데이터 세트에 기초하여 피검사자(140)의 사시를 진단할 수 있다. 프로세서(110)는 피검사자(140)의 사시 여부, 사시 정도, 및/또는 사시각(squint angle)을 결정할 수 있다. 프로세서(110)는 진단 결과를 사용자에게 출력할 수 있다.
본 개시에 의한 무자각 사시 진단 장치(100)는, 머리 자세를 고정하거나 진단 장치를 착용하거나 시선 방향을 지시 받지 않는 등의 제한없이, 일상 생활을 하는 피검사자(140)를 오랜 시간 동안 지속적으로 촬영하여 축적된 데이터를 이용할 수 있다. 따라서, 본 개시에 의한 무자각 사시 진단 장치(100)는 가끔씩 발생하는 간헐적 사시를 매우 효과적으로 진단할 수 있다. 또한 본 개시에 의하면 머리를 고정하거나, 장치를 착용하거나, 시선 유도 지시를 따르지 못하는 영유아의 사시를 진단할 수 있다.
도 2는 본 개시의 일 실시예에 의한 무자각 사시 진단 장치의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 이하 무자각 사시 진단 장치의 동작은 프로세서(110)에 의해 수행되는 동작일 수 있다. 도 2를 참조하면, 무자각 사시 진단 장치(100)는 동작 S210에서 피검사자(140)가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고, 동작 S220에서 복수의 시계열적 이미지들 각각에서 피검사자(140)의 안면을 검출하고, 동작 S230에서 복수의 시계열적 이미지들 각각에 대하여 피검사자(140)의 안면에서의 홍채 쌍의 위치들을 결정하고, 동작 S240에서 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하고, 동작 S250에서 홍채 위치 변화 축적 데이터 세트에 기초하여 피검사자(140)의 사시를 진단할 수 있다.
무자각 사시 진단 장치(100)는 카메라(130)로부터 획득한 복수의 시계열적 이미지들에서 사시 진단에 부적합한 이미지들을 제외시킨 후, 사시 진단에 적합한 이미지들을 사시 진단에 이용할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중, 피검사자(140)의 안면이 검출되지 않는 이미지들을 제외시킬 수 있다. 다른 예로, 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중, 피검사자(140)의 눈 또는 홍채가 검출되지 않는 이미지들을 제외시킬 수 있다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중, 특정한 진단에 적합한 이미지들만을 선택하고 나머지를 제외시킬 수 있다. 무자각 사시 진단 장치(100)는 홍채 쌍의 위치 결정 결과에 기초하여, 복수의 시계열적 이미지들 중 특정한 진단에 적합한 이미지들만을 선택하고 나머지를 제외시킬 수 있다.
복수의 시계열적 이미지들은 피검사자(140)가 시선 방향에 관한 지시를 받지 않은 상태에서 캡처된 이미지들을 포함할 수 있다. 종래의 사시 진단 방법들은 피검사자가 특정 방향을 바라보도록 지시한 후, 해당 방향을 바라볼 때의 통상적인 홍채의 위치를 고려하여 피검사자의 사시를 진단한다. 즉 종래의 사시 진단 방법들은 홍채 위치에 대한 기준 값과 피검사자의 실제 홍채의 위치를 비교함으로써 피검사자의 사시를 진단한다. 그러나 피검사자가 시선 방향에 관한 지시를 받지 않은 상태에서는 이러한 비교 대상 기준 값(reference value for comparison)이 없다. 본 개시에 의한 무자각 사시 진단 장치(100)는 피검사자(140)가 시선 방향에 관한 지시를 받지 않은 상태에서도, 홍채의 위치의 시계열적 변화를 축적하여 홍채 위치 변화 축적 데이터 세트를 획득한 후, 축적된 데이터 세트의 데이터 고유 특성(data intrinsic characteristics)에 대한 분석을 통하여 피검사자(140)의 사시를 진단할 수 있다. 즉, 무자각 사시 진단 장치(100)는 미리 정의된 기준 값과의 비교 없이, 홍채 위치 변화 축적 데이터 세트 내부의 데이터 간의 관계에 기초하여 피검사자(140)의 사시를 진단할 수 있다.
무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 피검사자(140)의 사시를 진단할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 홍채 쌍들의 위치들의 시계열적 변화를 분석하여, 홍채 쌍의 위치들이 일시적 비정상 값을 갖는 것으로 결정되면 피검사자(140)가 사시인 것으로 결정할 수 있다.
무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는지 여부를 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는 것으로 결정되면 피검사자(140)가 사시인 것으로 결정할 수 있다. 홍채 쌍 간의 거리는 홍채들의 중심들 간의 거리일 수 있다. 홍채 쌍 간의 거리는 피검사자(140)의 안면에 대한 상대적인 값일 수 있다. 홍채 쌍 간의 거리는 피검사자(140)의 안면의 랜드마크들 간의 거리에 대한 상대적인 값일 수 있다. 홍채 쌍 간의 거리는 표준 안면에 대하여 정규화된 값일 수 있다.
무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는지 여부를 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는 것으로 결정되면 피검사자(140)가 사시인 것으로 결정할 수 있다. 홍채 쌍에 의한 각도는 홍채 쌍의 중심들에 의한 각도일 수 있다. 홍채 쌍에 의한 각도는 홍채 쌍의 중심들에 의한 선, 반직선, 선분, 또는 벡터에 의한 각도일 수 있다. 홍채 쌍에 의한 각도는 피검사자(140)의 안면에 대한 상대적인 값일 수 있다. 홍채 쌍에 의한 각도는 피검사자(140)의 안면의 랜드마크들에 대한 상대적인 값일 수 있다. 홍채 쌍에 의한 각도는 피검사자(140)의 안면 상의 기준 선, 반직선, 선분, 또는 벡터(예: 안면의 중심에서 상하로 연장되는 세로 선, 안면의 특정 랜드마크들을 잇는 선분)를 기준으로 하는 각도일 수 있다. 홍채 쌍에 의한 각도는 머리 자세에 따라 결정되는 안면 상의 특정 선에 대한 각도일 수 있다. 예를 들어, 도 3에 도시된 것과 같이 홍채 쌍에 의한 각도는 홍채 쌍의 중심들(311, 312)을 통과하는 선(310)과, 눈의 안쪽 끝점들(321, 322)을 통과하는 선(320) 간의 각도(330)일 수 있다. 홍채 쌍에 의한 각도는 표준 안면에 대하여 정규화된 값일 수 있다.
무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 특정 변수의 통상적인 값의 범위를 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 특정 변수의 통상적인 값을 나타내는 대표 값을 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 특정 변수의 통상적인 값의 범위 또는 대표 값을 갱신할 수 있다.
비정상 값은 통상적인 값의 범위를 벗어나는 값을 의미할 수 있다. 비정상 값은 통상적인 값의 범위를 크게 벗어나는 값을 의미할 수 있다. 비정상 값은 통상적인 값의 범위에서 미리 정의된 값 이상 또는 미리 정의된 비율 이상 벗어나는 값을 의미할 수 있다. 비정상 값은 대표 값에서 크게 벗어나는 값을 의미할 수 있다. 비정상 값은 대표 값에서 미리 정의된 값 이상 또는 미리 정의된 비율 이상 벗어나는 값을 의미할 수 있다.
어떤 변수가 일시적 비정상 값을 가진다는 것은, 해당 변수가 짧은 시간 동안에 비정상 값이라는 것을 의미할 수 있다. 어떤 변수가 일시적 비정상 값을 가진다는 것은, 해당 변수가 미리 정의된 시간보다 짧은 시간 동안에 비정상 값이라는 것을 의미할 수 있다. 어떤 변수가 지나치게 짧은 시간(예: 1~2 프레임) 동안 비정상 값을 갖는 경우, 이는 일시적 비정상 값이 아니라 노이즈 또는 오류로 판단할 수 있다. 무자각 사시 진단 장치(100)는 어떤 변수가 미리 정의된 제1 시간 이상, 미리 정의된 제2 시간 이하의 시간 동안 비정상 값인 경우 이를 일시적 비정상 값으로 판단할 수 있다. 무자각 사시 진단 장치(100)는 어떤 변수가 미리 정의된 시간을 초과하는 시간 동안 비정상 값을 갖는 경우, 해당 값의 통상적인 값의 범위 또는 대표 값을 갱신할 수 있다.
홍채 쌍에 의한 각도의 경우, 그 값이 항상 일정한 것을 전제로 하여, 일정한 값에서 벗어나는 경우 피검사자(140)가 사시인 것으로 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 쌍에 의한 각도가 평균값에서 미리 정의된 값 이상 또는 미리 정의된 비율 이상 벗어나는 경우를 비정상 값으로 판단할 수 있다.
무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 피검사자(140)의 사시를 진단할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 홍채의 운동 영역을 결정하고, 이에 기초하여 피검사자(140)의 사시를 진단할 수 있다. 홍채의 운동 영역은 홍채의 중심의 운동 영역일 수 있다. 홍채의 운동 영역은 피검사자(140)의 안면에 대한 상대적인 영역일 수 있다. 홍채의 운동 영역은 피검사자(140)의 안면의 랜드마크들에 대한 상대적인 영역일 수 있다. 홍채의 운동 영역은 표준 안면에 대하여 정규화된 영역일 수 있다.
도 4는 본 개시의 일 실시예에 의한 피검사자의 홍채의 운동 영역을 도시한 예이다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 좌안 홍채의 운동 영역(410)과 우안 홍채의 운동 영역(420)을 결정할 수 있다. 무자각 사시 진단 장치(100)는 좌안 홍채의 운동 영역(410)과 우안 홍채의 운동 영역(420)을 비교하여 피검사자(140)의 사시를 진단할 수 있다. 무자각 사시 진단 장치(100)는 좌안 홍채의 운동 영역(410)과 우안 홍채의 운동 영역(420)이 크게 다르면 피검사자(140)가 사시인 것으로 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채의 운동 영역의 크기, 넓이, 형태, 위치 중 적어도 하나에 기초하여 피검사자(140)의 사시를 진단할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 좌안 홍채의 운동 영역(410)의 넓이와 우안 홍채의 운동 영역(420)의 넓이의 비율이 소정의 값 이상이면 피검사자(140)가 사시인 것으로 결정할 수 있다.
무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 기초하여 이미지 간의 홍채의 변위를 결정하고, 이를 이용하여 피검사자(140)의 사시를 진단할 수 있다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 기초하여 눈깜빡임 빈도를 결정하고, 이를 이용하여 피검사자(140)의 사시를 진단할 수 있다.
무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 각각에 대하여, 안면의 공간적 배치에 기초하여 홍채 쌍의 위치를 결정할 수 있다. 이에 따라, 무자각 사시 진단 장치(100)는 종래의 사시 진단 방법들과 달리 카메라(103)에 대한 안면의 공간적 배치가 고정되어 있지 않더라도 홍채 쌍의 위치를 결정할 수 있게 된다. 무자각 사시 진단 장치(100)는 안면의 랜드마크들을 이용하여 안면의 공간적 배치에 기초하여 홍채 쌍의 위치를 결정할 수 있다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중 제1 이미지에서의 안면의 공간적 배치에 기초하여, 제1 이미지에서의 홍채 쌍의 위치를 결정할 수 있다.
도 5 및 도 6은 시선 방향에 따라 다르게 보이는 홍채의 형태를 도시한 도면이다. 도 5 및 도 6을 참조하면, 사람의 눈은 시선 방향에 따라 홍채의 전부가 보이기도 하고, 홍채의 일부만 보이기도 한다. 즉, 도 5와 같이 홍채가 눈의 중심부에 있을 때는 홍채 전체가 잘 보이지만, 도 6과 같이 홍채가 눈의 가장자리로 가면 홍채의 일부가 눈꺼풀 등에 의해 가려져 안 보이게 된다. 이렇게 홍채의 일부가 가려져 안 보이는 현상을 홍채의 폐색(occlusion)이라 하며, 홍채의 폐색이 일어나면 홍채의 위치를 정확히 결정하기 어렵게 된다. 예를 들어 인공지능 학습 모델을 이용하여 홍채의 위치를 결정하는 경우, 홍채가 눈의 중심부에 있어 폐색이 거의 일어나지 않을 때는 홍채의 위치가 정확하게 결정되지만, 홍채가 눈의 가장자리로 가서 홍채의 폐색이 크게 일어날수록 홍채의 위치가 부정확하게 결정되게 된다. 또한, 홍채의 폐색이 일어나지 않을 때는 홍채의 크기를 정확하게 결정할 수 있지만, 홍채의 폐색이 일어나면 홍채의 크기가 실제보다 작게 결정될 수 있다.
무자각 사시 진단 장치(100)는, 홍채의 폐색에도 불구하고 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 홍채의 크기를 정확하게 결정하고, 이를 이용하여 각 이미지에서의 홍채의 위치를 정확하게 결정할 수 있다. 여기서 홍채의 크기는 피검사자(140)의 안면에 대한 상대적인 크기일 수 있다. 홍채의 크기는 피검사자(140)의 안면의 랜드마크들 간의 거리에 대한 상대적인 값일 수 있다. 홍채의 크기는 표준 안면에 대하여 정규화(normalize)된 크기일 수 있다.
무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 홍채 쌍 중 제1 홍채의 크기를 결정하고, 제1 홍채의 크기에 기초하여 복수의 시계열적 이미지들 각각에 대하여 제1 홍채의 위치를 결정할 수 있다. 여기서 제1 홍채는 좌안 홍채 또는 우안 홍채일 수 있다. 무자각 사시 진단 장치(100)는 좌안 홍채의 크기와 우안 홍채의 크기를 따로 결정할 수도 있고, 양안의 홍채 크기가 같다는 전제 하에 하나의 홍채 크기만을 결정할 수도 있다.
무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 각각에 대하여 홍채의 크기를 결정할 수 있는데, 이 경우 특정 이미지에서의 홍채의 폐색 여부 및 정도에 따라 홍채의 크기가 실제와 다르게 결정될 수 있다. 이와 같이 특정 이미지에 대하여 결정된 홍채의 크기를 홍채의 이미지별 크기라 한다. 홍채의 이미지별 크기는 피검사자(140)의 안면에 대한 상대적인 크기일 수 있다. 홍채의 이미지별 크기는 피검사자(140)의 안면의 랜드마크들 간의 거리에 대한 상대적인 값일 수 있다. 홍채의 이미지별 크기는 표준 안면에 대하여 정규화(normalize)된 크기일 수 있다.
홍채의 이미지별 크기는, 사용된 이미지와 사용된 인공지능 모델 등에 따라 폐색의 영향이 일부 또는 전부 보상된 것일 수도 있다. 그러나 복수의 시계열적 이미지들 전체적으로 보면 폐색의 영향이 불완전하게 보상되어, 홍채의 이미지별 크기는 일정하지 않고 변화하는 값을 갖게 된다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 각각에 대하여 결정된 제1 홍채의 이미지별 크기들의 통계적 특성에 기초하여, 제1 홍채의 크기를 결정할 수 있다.
예를 들어, 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들 중 최대값을 제1 홍채의 크기로 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들 중 이상치(outlier)는 제외하고, 나머지 중 최대값을 제1 홍채의 크기로 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들의 최빈값을 제1 홍채의 크기로 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들의 최빈값과 최대값일 모두 이용하여 제1 홍채의 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들의 다른 통계적 특성을 이용하여 제1 홍채의 크기를 결정할 수도 있다.
이렇게 하여 홍채의 크기를 정확하게 결정하였더라도, 각 이미지상의 홍채의 크기는 해당 이미지에서의 피검사자(140)의 안면의 공간적 배치에 따라 달라지게 된다. 예를 들어, 피검사자(140)가 카메라(130)로부터 멀리 떨어지면 이미지상의 홍채의 크기가 작아지게 되며, 피검사자(140)의 안면이 카메라(130)를 향하지 않을 때도 이미지상의 홍채의 크기가 작아질 수 있다. 이와 같이 안면의 공간적 배치에 따라 달라지는 각 이미지상의 홍채의 크기를, 홍채의 이미지 크기라 한다.
무자각 사시 진단 장치(100)는 결정된 홍채의 크기를 이용하여 각 이미지에서의 홍채의 이미지 크기를 결정하고, 이를 이용하여 각 이미지에서의 홍채의 위치를 정확하게 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채의 크기 및 각 이미지에서의 안면의 공간적 배치에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채의 크기 및 각 이미지에서의 안면 랜드마크들에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 각 이미지에서의 안면의 랜드마크들에 기초하여 각 이미지에서의 안면의 위치, 거리, 크기, 방향, 각도, 피치, 롤, 요 등을 결정하고, 이에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 각 이미지에서의 안면의 위치와 방향을 결정하고, 이에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 각 이미지에서의 안면의 크기와 각도를 결정하고, 이에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중 제1 이미지에 대하여, 제1 홍채의 크기 및 제1 이미지에서의 안면의 공간적 배치에 기초하여 제1 이미지에서의 제1 홍채의 이미지 크기를 결정하고, 제1 홍채의 이미지 크기에 기초하여 제1 이미지에서의 제1 홍채의 위치를 결정할 수 있다.
무자각 사시 진단 장치(100)는 제1 이미지에서의 제1 홍채의 후보 위치들을 결정하고, 후보 위치들 중에서 하나를 선택함으로써 제1 이미지에서의 제1 홍채의 위치를 결정할 수 있다. 후보 위치들은 제1 이미지상의 모든 픽셀, 제1 이미지상의 눈 영역의 모든 픽셀, 인공지능 모델을 이용하여 결정한 제1 이미지에서의 제1 홍채의 위치를 중심으로 하는 일정 범위 내의 픽셀 등으로 결정할 수 있다.
무자각 사시 진단 장치(100)는 제1 홍채의 이미지 크기에 기초하여 제1 홍채의 후보 위치들 각각에 한 추정 눈 이미지(hypothesis eye image)를 생성하고, 제1 이미지 및 추정 눈 이미지에 기초하여 후보 위치들 중에서 하나를 선택함으로써 제1 이미지에서의 제1 홍채의 위치를 결정할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 후보 위치들 중에서 추정 눈 이미지와 제1 이미지의 눈 영역과의 상관관계(correlation)가 가장 높은 후보 위치를 선택할 수 있다. 무자각 사시 진단 장치(100)는 제1 이미지 및 추정 눈 이미지에 따른 비용 함수(cost function)를 이용할 수 있으며, 후보 위치들 중 비용 함수 값이 가장 낮은 후보 위치를 선택할 수 있다. 무자각 사시 진단 장치(100)는 후보 위치 하나에 대해 복수의 추정 눈 이미지를 이용할 수도 있다. 예를 들어, 무자각 사시 진단 장치(100)는 후보 위치마다 제1 추정 눈 이미지와 제2 추정 눈 이미지를 생성하고, 제1 이미지, 제1 추정 눈 이미지, 및 제2 추정 눈 이미지에 따른 비용 함수를 이용하여 후보 위치들 중 하나를 선택할 수 있다.
후보 위치는 이미지상의 좌표, 즉 이미지상의 절대 위치일 수도 있으며, 피검사자(140)의 안면에 대한 상대적 위치일 수도 있다. 안면에 대한 상대적 위치는 표준 안면에 대하여 정규화된 위치일 수 있다. 후보 위치가 이미지상의 좌표인 경우, 무자각 사시 진단 장치(100)는 후보 위치들 중에서 선택된 위치를 피검사자(140)의 안면에 대한 상대적 위치로 변환함으로써 제1 홍채의 피검사자(140)의 안면에 대한 상대적 위치를 결정할 수 있다. 후보 위치가 피검사자(140)의 안면에 대한 상대적 위치인 경우, 무자각 사시 진단 장치(100)는 후보 위치를 이미지상의 좌표로 변환한 후 이에 기초하여 추정 눈 이미지를 생성할 수 있다. 이 경우 후보 위치들 중에서 선택된 위치는 그대로 제1 홍채의 피검사자(140)의 안면에 대한 상대적 위치가 될 수 있다.
무자각 사시 진단 장치(100)는 제1 홍채의 후보 위치들 각각에 대하여, 제1 홍채의 이미지 크기에 기초하여, 홍채 영역과 흰자위 영역 중 한 영역의 픽셀 값은 0이고 다른 영역의 픽셀 값은 1인 추정 눈 이미지를 생성할 수 있다. 여기서 홍채 영역은 동공 영역을 포함할 수 있다. 무자각 사시 진단 장치(100)는 추정 눈 이미지와 제1 이미지의 대응되는 픽셀 값들을 곱한 값들의 통계적 특성에 기초하여, 후보 위치들 중에서 하나를 선택할 수 있다. 이때 제1 이미지는 그레이스케일 이미지일 수 있다. 제1 이미지는 그레이스케일로 촬영된 이미지이거나, 컬러로 촬영된 후 그레이스케일로 변환된 이미지일 수 있다. 추정 눈 이미지에서 눈 영역 외의 부분의 픽셀 값은 0일 수 있다. 제1 이미지에서 눈 영역 외의 부분의 픽셀 값을 0으로 설정할 수도 있다. 추정 눈 이미지와 제1 이미지의 눈 영역에 해당하는 픽셀 값들만을 이용할 수도 있다. 추정 눈 이미지는 0 또는 1의 픽셀 값을 갖는 2비트 흑백(black or white) 이미지일 수 있다. 추정 눈 이미지는 그레이스케일 이미지일 수도 있고, 픽셀 값 1 대신 다른 상수 값을 이용하여도 픽셀 값 1을 이용하는 경우와 균등하다.
예를 들어, 홍채 영역의 픽셀 값은 1이고 흰자위 영역의 픽셀 값은 0인 추정 눈 이미지를 생성한 경우, 추정 눈 이미지와 그레이스케일의 제1 이미지의 대응되는 픽셀 값들을 곱하면, 추정 눈 이미지의 흰자위 영역에 해당하는 픽셀들은 곱한 값이 0의 값을 갖게 되고, 추정 눈 이미지의 홍채 영역에 해당하는 픽셀들은 곱한 값이 제1 이미지의 픽셀 값을 갖게 된다. 이때 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 정확하게 맞았다면 추정 눈 이미지의 홍채 영역에 해당하는 제1 이미지의 픽셀 값은 모두 홍채의 픽셀 값이므로 어두운 색, 즉 0에 가까운 값을 갖게 된다. 반면에, 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 잘 맞지 않았다면 추정 눈 이미지의 홍채 영역에 해당하는 제1 이미지의 픽셀 값은 흰자위 영역의 픽셀 값을 포함하게 되며, 그 부분의 곱한 값들은 밝은 색, 예를 들어 8비트 이미지의 경우 255에 가까운 값을 갖게 된다. 양 이미지의 홍채의 위치가 잘 맞지 않을수록 곱한 값들은 255에 가까운 값을 많이 갖게 된다. 따라서 양 이미지의 대응되는 픽셀 값들의 곱의 평균 및/또는 표준편차가 낮을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다.
반대로 홍채 영역의 픽셀 값은 0이고 흰자위 영역의 픽셀 값은 1인 추정 눈 이미지를 생성한 경우, 추정 눈 이미지와 그레이스케일의 제1 이미지의 대응되는 픽셀 값들을 곱하면, 추정 눈 이미지의 홍채 영역에 해당하는 픽셀들은 곱한 값이 0의 값을 갖게 되고, 추정 눈 이미지의 흰자위 영역에 해당하는 픽셀들은 곱한 값이 제1 이미지의 픽셀 값을 갖게 된다. 이때 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 정확하게 맞았다면 추정 눈 이미지의 흰자위 영역에 해당하는 제1 이미지의 픽셀 값은 모두 흰자위의 픽셀 값이므로 밝은 색, 즉 255에 가까운 값을 갖게 된다. 반면에, 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 잘 맞지 않았다면 추정 눈 이미지의 흰자위 영역에 해당하는 제1 이미지의 픽셀 값은 홍채 영역의 픽셀 값을 포함하게 되며, 그 부분의 곱한 값들은 어두운 색, 즉 0에 가까운 값을 갖게 된다. 양 이미지의 홍채의 위치가 잘 맞지 않을수록 곱한 값들은 0에 가까운 값을 많이 갖게 된다. 따라서 양 이미지의 대응되는 픽셀 값들의 곱의 평균이 높을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다. 이 경우에도 양 이미지의 대응되는 픽셀 값들의 곱의 표준편차가 낮을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다.
무자각 사시 진단 장치(100)는 각 후보 위치에 대하여 홍채 영역의 픽셀 값은 1이고 흰자위 영역의 픽셀 값은 0인 제1 추정 눈 이미지와, 홍채 영역의 픽셀 값은 0이고 흰자위 영역의 픽셀 값은 1인 제2 추정 눈 이미지를 생성할 수 있다. 이 경우 제1 추정 눈 이미지와 제1 이미지의 대응되는 픽셀 값들의 곱(이하 '홍채 영역 값들'이라 한다)의 평균 및 표준편차, 그리고 제2 추정 눈 이미지와 제1 이미지의 대응되는 픽셀 값들의 곱(이하 '흰자위 영역 값들'이라 한다)의 표준편차가 낮을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있으며, 흰자위 영역 값들의 평균이 높을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다. 예를 들어 비용함수는 다음과 같이 정의될 수 있다.
Figure PCTKR2022020673-appb-img-000001
여기서 Wmax, Wmean, Wstd는 각각 흰자위 영역 값들의 최대값, 평균, 표준편차이고, Pmax, Pmean, Pstd는 각각 홍채 영역 값들의 최대값, 평균, 표준편차이다. 분모의 Wmax - Pmin 은 정규화를 위한 것이다.
무자각 사시 진단 장치(100)는 제1 이미지의 직전 이미지에서의 제1 홍채의 위치에 기초하여 후보 위치들 중에서 하나를 선택할 수 있다. 제1 이미지에서의 홍채의 위치는 직전 이미지에서의 홍채의 위치와 가까울 가능성이 높으므로, 후보 위치와 직전 이미지에서의 홍채의 위치 간의 차이가 클수록 비용 함수가 커지도록 비용함수를 정의할 수 있다. 이는 일종의 트래킹이라 할 수 있다. 예를 들어 비용함수는 다음과 같이 정의될 수 있다.
Figure PCTKR2022020673-appb-img-000002
여기서 Pcenter는 제1 이미지의 제1 홍채의 후보 위치, Pcenter_prev는 제1 이미지의 직전 이미지에서의 제1 홍채의 위치이고, dist(Pcenter, Pcenter_prev)는 두 위치 간의 거리이다. Pradius는 제1 홍채의 반지름으로서, 제1 홍채의 크기의 반일 수 있다. 분모의
Figure PCTKR2022020673-appb-img-000003
는 정규화를 위한 것이며, c는 트래킹에 가중치를 주기 위해 미리 정의된 상수 값이다. 예를 들어 c=2일 수 있다.
도 7은 본 개시의 일 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다. 도 7을 참조하면, 복수의 시계열적 이미지들 중 제1 이미지(710)와, 후보 위치에 대하여 홍채 영역의 픽셀 값은 1이고 흰자위 영역의 픽셀 값은 0인 제1 추정 눈 이미지(720)의 대응되는 픽셀 값들을 곱한 이미지(740)가 도시되어 있다. 또한, 제1 이미지(710)와, 후보 위치에 대하여 홍채 영역의 픽셀 값은 0이고 흰자위 영역의 픽셀 값은 1인 제2 추정 눈 이미지(730)의 대응되는 픽셀 값들을 곱한 이미지(750)가 도시되어 있다.
도 8은 본 개시의 다른 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다. 도 8을 참조하면, 제1 이미지(810)에서 눈 영역을 제외한 부분을 0으로 설정한 이미지(860)에 제1 추정 눈 이미지(820) 및 제2 추정 눈 이미지(830)를 각각 곱한 결과가 곱 이미지(840) 및 곱 이미지(860)이다.
본 개시에 의한 무자각 사시 진단 시스템에서는 피검사자가 머리 자세를 고정하거나 진단 장치를 착용하지 않고 자유롭게 활동하는 모습을 카메라(130)가 지속적으로 촬영하므로, 피검사자(140)의 안면이 카메라(130) 쪽을 바라보지 않으면 피검사자(140)의 사시를 진단하기에 적합한 이미지를 얻을 수 없다. 따라서 무자각 사시 진단 장치(100)는 카메라(130)가 피검사자(140)의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어할 수 있다. 무자각 사시 진단 장치(100)는 카메라(130)로부터 획득한 복수의 시계열적 이미지들 중 적어도 하나에 대한 안면 검출 결과에 기초하여, 카메라(103)가 피검사자(140)의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어할 수 있다. 이하 카메라의 위치를 이동시킬 수 있는 장치에 관하여 설명한다.
도 9는 본 개시의 일 실시예에 의한 스마트 모빌을 도시한 도면이다. 도 9를 참조하면, 본 개시의 일 실시예에 의한 스마트 모빌(900)은, 모빌 헤드(910), 암(920), 지지대(930), 및 고정기구(940)를 포함할 수 있다. 스마트 모빌(900)은 하나 이상의 장난감(950)을 더 포함할 수 있다.
고정기구(940)는 바닥이나 침대 난간과 같은 고정 대상에 모빌을 고정시켜 준다. 고정기구(940)는 회전부(941)를 포함하여 지지대(930)를 회전시킬 수 있다. 회전부(941)는 모빌 전체를 360도 회전시킬 수 있다.
지지대(930)는 고정기구(940)에 연결되어 모빌을 지지한다. 지지대(930)는 지지대 길이 조절부(931)를 포함하여 길이 조절이 가능할 수 있다. 지지대(930)는 회전부(941)에 의해 회전될 수 있다. 지지대 길이 조절부(931) 및 회전부(941)는 수동으로, 또는 모터를 이용하여 입력된 수치만큼 자동으로 제어할 수 있다.
모빌 헤드(910)는 카메라(911), 카메라 구동부(912), 및 장난감 제어부(913)를 포함할 수 있다. 카메라(911)는 영아를 촬영할 수 있다. 카메라 구동부(912)는 줌, 카메라(130)의 다양한 기능, 예를 들면 적외선 모드, 화소, 프레임율, 촬영 모드 등을 제어할 수 있다. 장난감 제어부(913)는 장난감(950)을 탈착할 수 있고 장난감(950)의 움직임(예: 회전, 상하운동)을 제어할 수 있다. 일 실시 예에서, 모빌 헤드(910)는 복수의 카메라(911)를 포함할 수 있다. 실시예에 따라 카메라(911)는 모빌 헤드(910) 외에 스마트 모빌(900)의 다른 부분에 부착될 수 있다.
장난감 제어부(913)는 장난감(950)의 높이를 조절할 수 있는 도르레(914)를 포함할 수 있다. 장난감의 움직임은 원형, 상하운동, 나선형, S형, N형, W형 등을 포함하며, 여기에 장난감의 상하운동을 결합하는 형태 또한 가능하다. 장난감의 움직임은 기구적으로 표현 가능한 어떤 형태의 움직임도 포함할 수 있다. 카메라(911)를 통해 촬영된 영상은 모빌 내의 저장장치에 저장될 수 있으며, 저장된 영상은 미리 지정된 시간 또는 필요할 때에 통신칩을 통해 서버로 전송될 수 있다. 촬영중인 영상을 실시간으로 서버로 전송하여 실시간 모니터링이 가능하게 할 수도 있다.
암(920)은 지지대(930)와 모빌 헤드(910)를 연결해준다. 암(920)은 암 길이 조절부(921)를 포함하여 길이 조절이 가능할 수 있다. 암(920)은 자유로운 움직임이 가능하도록 양쪽 끝이 다양한 형태의 조인트(922)로 구성될 수 있다. 조인트(922)는 점접촉, 선접촉, 면접촉의 형태 등 원하는 움직임 수행이 가능한 모든 형태가 가능하다. 암(920)은 지지대(930)와 함께 모빌 헤드(210)의 위치를 조절할 수 있으며, 카메라(911) 및 장난감(950)을 원하는 곳에 위치시킬 수 있게 해준다.
장난감(950)은 장난감 제어부(913)에 탈착이 가능하다. 장난감(950)은 탈착을 위한 연결선(951)을 통해 전원 및 장난감 제어 신호를 전달받을 수 있다. 장난감 제어부(913)는 하나 이상의 장난감(950)들 각각을 움직이게 하거나 소리 또는 불빛을 발생시켜 아이의 주의를 유도할 수 있다. 장난감 제어부(913)는 하나 이상의 장난감(950)들 각각이 특정 시간에 특정 동작을 취하도록 할 수 있다. 장난감을 회전시킬 수 있는 회전판 및 구동을 위한 모터에 슬립링을 장착해줄 경우 회전판에 장착된 각 장난감의 상하 구동 제어가 가능해진다.
스마트 모빌(900)은 모빌 전체 동작을 제어하는 모빌 제어부(미도시)를 포함할 수 있다. 모빌 제어부는 최적의 영상을 얻기 위해 영상 분석 결과에 따라 인가된 위치 신호를 바탕으로 카메라 및 장난감의 위치를 옮길 수 있도록 지지대(930) 및 암(920)을 제어할 수 있다. 모빌 제어부는 영상 분석 결과에 따라 의심되는 질병의 정확한 판독을 위해 필요한 패턴으로 장난감(950)이 움직일 수 있도록 제어할 수 있다. 모빌 제어부는 이를 위해 세부 제어 신호를 생성할 수 있는 마이크로프로세서, 제어 소스 코드를 저장할 수 있는 메모리 등의 저장 장치, 각 구성부로 제어 신호를 전송해주거나 서버로 영상 또는 기타 정보를 전송할 수 있는 통신 장치를 포함할 수 있다. 스마트 모빌(900)은 스피커 및/또는 발광 기구를 포함할 수 있다.
도 10은 본 개시의 다른 실시예에 의한 스마트 모빌을 도시한 도면이다. 도 10을 참조하면, 본 개시의 일 실시예에 의한 스마트 모빌(1000)의 모빌 헤드(1010)는 상하로 움직일 수 있는 모빌 암(1011)을 포함하여, 모빌 암(1011)에 탈착할 수 있는 장난감을 상하로 움직일 수 있다. 스마트 모빌(1000)은 도 9를 참조하여 설명한 스마트 모빌(900)의 구성을 모두 포함할 수 있다.
이제 스마트 모빌(900, 1000)이 수행할 수 있는 동작의 예를 설명한다. 전원이 켜지면, 스마트 모빌은 기본 동작 모드에 진입하게 된다. 모빌 헤드에 부착된 장난감은 기본 형태의 움직임(예: 회전)을 하게 되며, 카메라는 영아를 촬영한다. 스마트 모빌은 영상 분석을 통해 카메라가 영아를 가장 잘 촬영할 수 있는 위치, 각도를 취하도록 카메라를 제어한다. 촬영된 영상은 서버에 전송되며, 서버는 각종 질병 현상 발현 여부를 분석하기 위해 미리 설계된 신호 처리 및 질병 판단 알고리즘을 수행한다. 이를 통해 서버는 해당 영상 내에서 판단하고자 하는 목표 질병의 발현 여부를 파악하게 된다. 촬영된 영상은 서버에 순서대로 저장되고 분석 결과는 누적되어 후처리를 거친 후 통계적 결과로 가공된다. 분석 결과 및 가공된 결과는 저장된 영상 등과 함께 의사, 부모 등의 사용자에게 전송되어 질병 현상 발현 판단 결과를 제공받고 질병의 유무 또는 진행 정도 등을 파악하게 된다. 특정 질병에 대해 추가 분석을 위한 데이터가 필요할 경우, 해당 질병에 대한 구체적 데이터 획득이 가능하도록 스마트 모빌은 질병별로 미리 정해진 패턴으로 장난감을 움직이게 하거나 주의유도 동작을 수행한다. 추가로 획득한 데이터는 서버로 전송되어 영상 분석 절차를 거치며, 더 정확한 판단 결과를 사용자에게 제공할 수 있게 된다. 서버가 수행하는 것으로 설명되는 모든 동작을 스마트 모빌이 수행할 수도 있다.
이제 스마트 모빌(900, 1000)이 수행할 수 있는 주의유도 동작의 예를 설명한다. 주의유도는 영아가 카메라를 바라보도록 하여 영아의 안면이 더 잘 촬영되도록 하는 것으로서, 영아가 안면 또는 고개(head)를 카메라 쪽으로 향하도록 유도하는 것이지, 안면을 기준으로 하는 시선 방향을 특정 방향으로 유도하는 것은 아니다.
스마트 모빌은 각종 주의유도 장치를 포함할 수 있으며, 주의유도 장치는 불빛, 움직임, 소리 등의 수단을 포함할 수 있다. 이러한 수단들은 독립적으로 제어될 수 있으며 모빌에 장착되는 장난감이나 모빌 자체에 적용될 수 있다. 장난감의 움직임은, 회전, 상하좌우 운동, 진동 등을 포함할 수 있으며, 장난감에서 자체적으로 해당 움직임을 제어할 수도 있지만, 모터나 도르레 등을 이용하여 모빌에서 해당 움직임을 제어할 수도 있다. 예를 들어, 모빌에 장착된 특정 장난감으로 주의를 유도하고자 할 때에는 유/무선의 통신 방법을 이용하여 제어 신호를 모빌의 장난감 제어부 또는 해당 장난감에 전송하여, 해당 장난감이 의도하는 움직임, 불빛 발생, 소리 발생 등의 동작을 수행하도록 할 수 있다.
스마트 모빌은 촬영된 영상의 의학적 분석을 통하여, 어떤 질병이 의심되거나 추가 정보가 필요할 경우, 해당 질병에서 필요로 하는 정보 획득을 위한 준비를 할 수 있다. 이 과정에는 서버나 모빌의 저장장치로부터 해당 질병의 추가 정보 취득을 위해 필요한 모빌의 동작 조건 혹은 순서 등의 정보를 읽어올 수 있다. 준비가 완료되면, 스마트 모빌은 정해진 순서 및 패턴에 따라 각 주의유도 장치를 동작시키거나 멈추게 하여 해당 질병에서 필요로 하는 정보를 습득(촬영)하게 된다. 예를 들어, 만약 영아의 사시가 의심되는 경우에는 모빌에 장착된 장난감들 중 영아의 주의를 하나의 장난감으로만 유도시키기 위해 특정 장난감에서만 주의유도 장치가 동작하도록 할 수 있다. 이때, 다른 장난감들은 모빌 헤드의 회전 운동에 의해 단순 회전 동작만을 갖는 반면, 주의유도장치가 작동하는 장난감의 경우 회전 동작 외에 상하 운동, 불빛, 및/또는 소리 발생 등의 추가 동작을 병행할 수 있다. 이를 통해 영아는 다른 장난감보다 해당 장난감을 바라보는 시간, 확률이 증가하게 되고, 이때 장난감을 따라 원운동을 그리며 움직이는 영아의 동공 움직임을 촬영해줄 경우 자유 운동을 하던 기존 기본 동작 시와 달리 눈 주변부를 따라 동공이 움직하는 시간이 증가하여 사시를 발견할 확률 및 그 정도를 파악할 가능성이 높아지게 된다. 각 질병마다 요구하는 장난감의 움직임이나 주의유도장치의 조합 및 그 동작 순서는 달라질 수 있다.
일 실시예에서 스마트 모빌(900, 1000)은 동화구연 모드로 동작할 수 있다. 스마트 모빌이 동화구연 모드로 동작할 때에는, 동화의 내용 및 동화의 내용에 맞추어 구현될 주의유도 장치의 동작 순서를 기록해 놓은 컨텐츠를 이용할 수 있다. 이러한 컨텐츠는, 파일 형태로 만들어져 통신부를 통해 모빌 내 저장부에 저장될 수도 있으며, 컨텐츠가 기록되어 있는 종이 또는 플라스틱 카드 등 특정 형태로 만들어진 매개체를 리더기를 통해 읽어들이는 방식도 이용 가능하다. 후자의 경우 리더기 장치 등이 모빌에 추가적으로 구성될 수 있다. 특정 동화 내용이 기록된 파일이 모빌로 전송되고 해당 동화를 구연하는 모드가 설정될 경우(혹은 특정 동화 내용이 기록된 매개체를 리더기에 삽입한 경우), 모빌은 컨텐츠에 기록된 내용을 읽어낼 준비를 할 수 있다. 동화의 주인공에 해당하는 장난감들은 모빌의 장난감 제어부의 각자 지정된 위치에 장착될 수 있다. 동화 구연이 시작되면 해당 동화 내용에 따라 미리 정해진 패턴, 순서, 조합에 따라 장난감들과 주의유도 장치가 제어될 수 있다. 특정 주인공에 해당하는 내용이 나올 때에는 해당 주인공과 일치하는 장난감으로의 집중을 위해 주의유도 장치를 가동시킬 수 있다. 동화의 내용에 따라 가동되는 장난감 및 주의유도 장치의 조합과 순서는 달라지게 되며, 이를 통해 영아들에게 동화를 구연해주는 듯한 효과를 얻을 수 있게 된다. 이러한 기능을 통해 영아의 정서 발달 및 육아에 도움을 줄 수 있게 된다. 동화 내용을 양육자의 목소리로 녹음하게 하는 기능을 추가하여 아이와의 상호작용을 증대시켜 아이의 성장에 기여할 수 있다.
본 발명의 일 실시예에 의한 스마트 모빌(900, 1000)은 카메라를 통해 모빌을 바라보는 영아의 상태나 움직임 및 안면의 운동 정보를 취득할 수 있으며, 이를 저장, 가공, 분석하여 아이가 보유한 다양한 질병을 사전에 알아내 조기에 진료 및 치료를 받을 수 있게 도와주는 의료보조기기로서의 기능을 가질 수 있다. 예를 들어, 아이의 안구 운동 및 안구 상태 파악을 통해 사시를 포함한 각종 안질환의 조기 파악이 가능하며, 아이의 행동 관찰을 통해 자폐 스펙트럼 장애, 주의력 결핍, 및 ADHD 등의 행동 기반으로 발현되는 질병들의 조기 파악이 가능하다. 스마트 모빌(900)은 아이의 행동을 관찰할 수 있으며, 장난감의 동작 패턴에 대한 아이의 반응 분석 등을 통해, 사물 인지, 정서 형성 등의 영유아 발달 상황을 파악할 수 있다.
도 11은 본 개시의 일 실시예에 의한 스마트 모빌의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 스마트 모빌(900, 1000)은 영상 분석을 통해 카메라가 영아를 가장 잘 촬영할 수 있는 위치, 각도를 취하도록 카메라를 제어할 수 있다. 이때 최적의 성능을 내기 위해 촬영 영상이 가져야 할 여러 조건들, 예를 들어 안면 각도, 화면 내에서 안면이 차지하는 크기, 조도, 안면의 밝기 등은 미리 정의될 수 있으며, 이러한 조건들은 그 사용 목적에 따라 다르게 정의될 수 있다.
도 11을 참조하면, 스마트 모빌은 동작 S1110에서 촬영 개시 신호 입력을 받고, 동작 S1120에서 촬영 준비를 하고, 동작 S1130에서 촬영을 한다. 스마트 모빌은 동작 S1140에서 영상 분석을 통해 현재 촬영된 영상의 조건을 도출한다. 여기에는 화면 상의 대상 안면의 위치, 안면의 면적, 안면의 각도, 대상으로부터 카메라까지의 거리 등 물리적인 안면 위치를 파악할 수 있는 정보들이 포함된다. 분석된 안면의 위치는 정해진 기준에 따라 3차원 좌표 등의 위치 파악이 가능한 정보로 출력된다. 스마트 모빌은 동작 S1150에서 안면 위치 등이 촬영 최적 조건을 만족하는지 여부를 판단한다. 스마트 모빌은 미리 정의된 각종 조건들이 미리 정해진 기준 이내의 오차를 갖는지 여부를 판단할 수 있다.
스마트 모빌은 촬영 최적 조건이 만족되지 않는 경우 동작 S1160에서 안면의 정면을 촬영하기 위해서 카메라가 탑재된 모빌 헤드가 위치해야 하는 목표 지점의 정보를 도출해낸다. 영상 분석 및 목표 위치 정도 도출의 연산은, 모빌 내 탑재된 마이크로프로세서 또는 통신 칩에 의해 연결되는 서버에서 수행 가능하다. 스마트 모빌은 동작 S1170에서 도출된 정보를 바탕으로, 모빌 제어부는 모빌의 각 조인트 및/또는 길이 조절부를 제어하여 목표 지점으로 모빌 헤드를 이동시킨다. 만약 기구의 이동만으로 안면 면적 조건 등의 촬영 최적 조건 만족이 어려울 때에는 카메라의 줌 기능 등을 이용하여 해당 조건 만족을 유도할 수 있다. 이 때 각 기구부 및 카메라의 제어 신호는 제어부에서 자체적으로 생성하거나 서버에서 생성된 신호를 전달받을 수 있다.
스마트 모빌은 이동 완료 후 동작 S1130에서 추가 영상 촬영을 한 후, 최적의 위치에 도달할 때까지 앞의 과정을 반복해 수행할 수 있다. 스마트 모빌은 촬영 최적 조건이 만족되는 경우 동작 S1180에서 모빌의 위치를 고정시킨다. 이후 모빌은 촬영 개시 등의 다음 동작 제어 신호를 기다릴 수 있다.
도 12는 본 개시의 일 실시예에 의한 스마트 모빌의 추가적인 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 도 12를 참조하면, 스마트 모빌(900, 1000)은 동작 S1180 이후에 촬영 조건 및/또는 영상의 품질을 확인하여 카메라를 제어해 촬영되는 영상의 품질 향상을 도모하는 방법을 수행할 수 있다. 스마트 모빌은 동작 S1210에서 촬영을 하고, 동작 S1220에서 화면상의 안면의 색/밝기, 안면 주변의 환경(옷, 이불, 배게 등)들의 색/밝기, 촬영 장소의 조도, 화면 상의 색감, 촬영된 영상에서 블러 현상(예: 대상의 빠른 움직임에 의해 번져보이는 현상) 등을 분석하여 촬영이 이루어지는 환경 정보를 습득하고 분석할 수 있다.
스마트 모빌은 동작 S1230에서 미리 정해진 최적의 이미지 획득 조건과 비교하여 부족한 조건들이 있으면 동작 S1240에서 이를 만족시켜줄 수 있는 조건을 도출하고, S1250에서 해당 조건에 따라 카메라의 촬영 조건을 변경한 후, S1210에서 재촬영을 한다. 예를 들어, 조명에 의해 촬영 장소가 어둡거나 밝은(조도가 낮거나 높은) 경우이거나 대상이 입고 있는 옷 또는 누워있는 이불의 색깔에 의해 촬영 안면 식별이 명확하지 못하거나 어둡게 또는 밝게 표현되는 경우, 스마트 모빌은 카메라의 노출 시간(integration time), gain(ISO control), HDR 기능 사용 여부, frame rate 조정 등을 통해 최적의 안면 정보 획득을 도모할 수 있다. 스마트 모빌은 이미지가 최적 조건을 만족하는 경우 S1260에서 카메라의 촬영 조건을 고정시킬 수 있다.
도 11 및/또는 도 12와 관련하여 설명한 스마트 모빌의 동작은 실시간으로 계속 이루어져 피드백되거나, 일정 시간 간격으로 실행되거나, 영상 녹화 전에 한 번만 수행되거나, 또는 사용자가 원할 때만 수행되는 등 다양한 시나리오에 따라 수행될 수 있다.
본 개시의 실시예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터에 의해 실행가능한 코드로서 구현하는 것이 가능하다. 컴퓨터로 읽을 수 있는 기록매체는 자기 매체, 광학 매체, ROM, RAM 등 모든 기록매체를 포함한다. 컴퓨터로 읽을 수 있는 기록매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터로 읽을 수 있는 기록매체에 저장되어 배포되거나, 또는 애플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱)의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 컴퓨터로 읽을 수 있는 기록매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
지금까지 본 개시에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 개시를 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 이러한 실시예들을 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 청구범위와 도면을 포함하여 본 개시의 모든 특징들 및/또는 동작들은, 특징들 및/또는 동작들 중 적어도 일부가 서로 배치되지 않는 이상, 어떠한 조합으로도 결합될 수 있다. 비록 본 개시에 특정한 용어들이 사용되었으나 이는 단지 본 개시의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다.
본 개시의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 청구범위의 기술적 사상에 의해서 정해져야 하며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 개시된 모든 구성요소를 포함하는 것으로 이해되어야 한다.

Claims (15)

  1. 프로세서; 및
    인스트럭션들을 저장하는 메모리를 포함하며,
    상기 프로세서는 상기 인스트럭션들을 실행함으로써,
    피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고,
    상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하고,
    상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하고,
    상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트(accumulated iris position change data set)를 획득하고,
    상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 홍채 위치 변화 축적 데이터 세트의 데이터 고유 특성(data intrinsic characteristics)에 대한 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는지 여부를 결정하고,
    상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는지 여부를 결정하고,
    상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는지 여부를 결정하고,
    상기 각도가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여, 상기 홍채 쌍 중 좌안 홍채 및 우안 홍채 각각의 운동 영역을 결정하고,
    상기 좌안 홍채의 운동 영역과 상기 우안 홍채의 운동 영역을 비교하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 시계열적 이미지들 각각에 대하여, 상기 안면의 공간적 배치에 기초하여 상기 홍채 쌍의 위치를 결정하는, 무자각 사시 진단 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 상기 홍채 쌍 중 제1 홍채의 크기를 결정하고,
    상기 제1 홍채의 크기에 기초하여, 상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 이미지별 크기를 결정하고,
    상기 제1 홍채의 이미지별 크기들의 통계적 특성에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 복수의 시계열적 이미지들 중 제1 이미지에 대하여,
    상기 제1 홍채의 크기 및 상기 제1 이미지에서의 상기 안면의 공간적 배치 에 기초하여 상기 제1 이미지에서의 상기 제1 홍채의 이미지 크기를 결정하고,
    상기 제1 홍채의 이미지 크기에 기초하여 상기 제1 홍채의 후보 위치들 각각에 대한 추정 눈 이미지(hypothesis eye image)를 생성하고,
    상기 제1 이미지 및 상기 추정 눈 이미지에 기초하여, 상기 후보 위치들 중에서 하나를 선택함으로써 상기 제1 이미지에서의 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 제1 홍채의 후보 위치들 각각에 대하여, 상기 제1 홍채의 이미지 크기에 기초하여, 홍채 영역과 흰자위 영역 중 한 영역의 픽셀 값은 0이고 다른 영역의 픽셀 값은 1인 추정 눈 이미지를 생성하는, 무자각 사시 진단 장치.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 추정 눈 이미지와 상기 제1 이미지의 대응되는 픽셀 값들을 곱한 값들의 통계적 특성에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 제1 이미지의 직전 이미지에서의 제1 홍채의 위치에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치.
  14. 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하는 동작;
    상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하는 동작;
    상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하는 동작;
    상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하는 동작; 및
    상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는 동작을 포함하는 무자각 사시 진단 장치의 동작 방법.
  15. 제14항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/020673 2021-12-24 2022-12-19 무자각 사시 진단 장치 및 그 동작 방법 WO2023121163A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0187769 2021-12-24
KR1020210187769A KR20230097865A (ko) 2021-12-24 2021-12-24 무자각 사시 진단 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2023121163A1 true WO2023121163A1 (ko) 2023-06-29

Family

ID=86903350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020673 WO2023121163A1 (ko) 2021-12-24 2022-12-19 무자각 사시 진단 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230097865A (ko)
WO (1) WO2023121163A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416772A (zh) * 2018-03-07 2018-08-17 汕头大学 一种基于级联卷积神经网络的斜眼检测方法
KR102099223B1 (ko) * 2017-11-28 2020-04-09 전남대학교산학협력단 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
CN112989939A (zh) * 2021-02-08 2021-06-18 佛山青藤信息科技有限公司 一种基于视觉的斜视检测系统
KR20210074008A (ko) * 2019-12-11 2021-06-21 고신대학교 산학협력단 이미지 분석을 이용한 사시 진단 시스템 및 방법
CN113349732A (zh) * 2021-04-14 2021-09-07 朱波 基于双目检测的斜视辨别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099223B1 (ko) * 2017-11-28 2020-04-09 전남대학교산학협력단 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
CN108416772A (zh) * 2018-03-07 2018-08-17 汕头大学 一种基于级联卷积神经网络的斜眼检测方法
KR20210074008A (ko) * 2019-12-11 2021-06-21 고신대학교 산학협력단 이미지 분석을 이용한 사시 진단 시스템 및 방법
CN112989939A (zh) * 2021-02-08 2021-06-18 佛山青藤信息科技有限公司 一种基于视觉的斜视检测系统
CN113349732A (zh) * 2021-04-14 2021-09-07 朱波 基于双目检测的斜视辨别系统

Also Published As

Publication number Publication date
KR20230097865A (ko) 2023-07-03

Similar Documents

Publication Publication Date Title
US9918629B2 (en) Fundus imaging system
US6134339A (en) Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
US9149179B2 (en) System and method for identifying eye conditions
EP2467805B1 (en) Method and system for image analysis
KR101998595B1 (ko) 이미지 기반 황달 진단 방법 및 장치
JP2003150942A (ja) 目位置追跡方法
US20060109422A1 (en) Pupilometer
WO2017204406A1 (ko) 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법
JP2020194493A (ja) 介護設備又は病院用の監視システム及び監視方法
JP2004337348A (ja) 眼球運動解析システム
WO2023121163A1 (ko) 무자각 사시 진단 장치 및 그 동작 방법
JP2008252404A (ja) 撮像装置、撮像方法、および撮像プログラム
JP3914090B2 (ja) 眼球運動解析システム及び眼球撮像装置
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
WO2020230908A1 (ko) 사시진단어플리케이션 및 이를 갖는 사시진단장치
CN115311714A (zh) 生理状态的检测方法、装置、设备、系统及存储介质
EP3695775B1 (en) Smartphone-based handheld optical device and method for capturing non-mydriatic retinal images
CN111260635B (zh) 一种全自动眼底照片获取、眼病预警及个性化管理系统
US7333636B2 (en) Funduscopic image processing unit and method
CN111210438A (zh) 镜子
JP6934987B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2022086028A1 (ko) 전자 장치 및 이의 제어 방법
KR102471955B1 (ko) 휴대용 신경질환 진단장치 및 그 진단방법
JP2017131446A (ja) 瞳孔検出装置、および瞳孔検出方法
JP7445239B1 (ja) 試験監視システム、及び、試験監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911796

Country of ref document: EP

Kind code of ref document: A1