KR102227969B1 - Method And System For Providing Strabismus Information Based On Symmetry Of Face Image - Google Patents
Method And System For Providing Strabismus Information Based On Symmetry Of Face Image Download PDFInfo
- Publication number
- KR102227969B1 KR102227969B1 KR1020190081437A KR20190081437A KR102227969B1 KR 102227969 B1 KR102227969 B1 KR 102227969B1 KR 1020190081437 A KR1020190081437 A KR 1020190081437A KR 20190081437 A KR20190081437 A KR 20190081437A KR 102227969 B1 KR102227969 B1 KR 102227969B1
- Authority
- KR
- South Korea
- Prior art keywords
- symmetry
- facial
- face
- strabismus
- patient
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G06K9/00281—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 얼굴이미지의 대칭성을 기반으로 사시환자와 관련된 특성정보를 제공하는 방법 및 시스템으로서, 더욱 상세하게는 얼굴이미지의 특징점을 추출하여 특징점으로부터 얼굴이미지의 대칭성을 판별하여 사시환자인지 여부를 가늠할 수 있는 사시환자와 관련된 특성정보를 제공하는, 얼굴이미지의 대칭성을 기반으로 사시환자와 관련된 특성정보를 제공하는 방법 및 시스템에 관한 것이다.The present invention is a method and system for providing characteristic information related to a strabismus patient based on the symmetry of a face image. More specifically, a feature point of a face image is extracted and the symmetry of the face image is determined from the feature point to determine whether the patient is a strabismus patient. It relates to a method and system for providing characteristic information related to strabismus patients based on the symmetry of a face image, which provides characteristic information related to possible strabismus patients.
Description
본 발명은 얼굴이미지의 대칭성을 기반으로 사시환자와 관련된 특성정보를 제공하는 방법 및 시스템으로서, 더욱 상세하게는 얼굴이미지의 특징점을 추출하여 특징점으로부터 얼굴이미지의 대칭성을 판별하여 사시환자인지 여부를 가늠할 수 있는 사시환자와 관련된 특성정보를 제공하는, 얼굴이미지의 대칭성을 기반으로 사시환자와 관련된 특성정보를 제공하는 방법 및 시스템에 관한 것이다.The present invention is a method and system for providing characteristic information related to a strabismus patient based on the symmetry of a face image. More specifically, a feature point of a face image is extracted and the symmetry of the face image is determined from the feature point to determine whether the patient is a strabismus patient. It relates to a method and system for providing characteristic information related to strabismus patients based on the symmetry of a face image, which provides characteristic information related to possible strabismus patients.
사시(Strabismus)는 두 눈이 같은 방향으로 정렬되지 않고 한쪽 눈은 정면을, 다른 한쪽 눈은 다른 방향으로 향한 상태이다. 사시는 흔하게 접할 수 있는 질환으로 해부학적 요인, 신경학적인 요인, 유전적 요인 등에 의해 시자극 유입의 장애가 발생할 경우에 동반되거나 유발될 수 있다고 알려져 있다. 한편 사시환자에 대한 여부를 판단하는 지표로 얼굴의 좌우 대칭성은 중요한 지표가 될 수 있다.Strabismus is a condition in which two eyes are not aligned in the same direction, one eye facing the front and the other facing the other. Strabismus is a commonly encountered disease, and it is known that it can be accompanied or caused when an impairment of the influx of visual stimulation occurs due to anatomical factors, neurological factors, and genetic factors. On the other hand, as an index to determine whether there is a patient with strabismus, the symmetry of the face can be an important index.
종래에는 얼굴의 좌우 대칭을 판단할 수 있도록 눈금이 매겨진 곡선형 특수자를 판단 대상이 되는 실제 얼굴에 위치시켜 눈썹, 눈, 코, 및 입과 같은 얼굴 주요부위의 위치 및 크기 등을 측정함으로써 얼굴의 좌우 대칭도를 산출할 수 밖에 없었다. 얼굴의 좌우 대칭도를 판단함에 있어서, 특수자의 물리적인 접촉위치와 시각적인 측정오차에 따라 얼굴의 좌우 대칭도가 달라질 수 있기 때문에 산출된 얼굴의 좌우 대칭도에 대한 정확성을 담보할 수 없다는 문제점이 있다. Conventionally, a curved special scaled to determine the symmetry of the face is placed on the actual face to be judged, and the position and size of major parts of the face such as eyebrows, eyes, nose, and mouth are measured. There was no choice but to calculate the left-right symmetry. In determining the degree of symmetry of the face, there is a problem that the accuracy of the calculated degree of symmetry of the face cannot be guaranteed because the degree of symmetry of the face can vary depending on the physical contact position of the special person and the visual measurement error. have.
한편, 진료목적으로서의 필요뿐아니라 최근 미용에 대한 관심이 급증하면서 얼굴의 좌우 대칭도에 대한 관심도 급증하고 있지만, 이와 같은 필요성에 의해 개발된 기존의 프로그램이나 어플리케이션들도 얼굴을 인식하는 것에 주로 초점이 맞추어져 있었을 뿐, 인식된 얼굴을 이용하여 얼굴의 좌우 대칭도를 판단할 수는 없었다.On the other hand, as the interest in beauty has increased rapidly in recent years as well as the need for medical treatment, interest in the symmetry of the face is also increasing rapidly, but the existing programs and applications developed by this necessity also focus mainly on recognizing faces. It was only aligned, but it was not possible to determine the degree of symmetry of the face using the recognized face.
이러한 종래기술의 문제점을 해결하기 위해, 얼굴이미지에서 몇 개의 특징점을 검출하여 얼굴의 좌우 대칭성을 판별하는 기술을 적용하여 사시환자와 관련된 특성정보를 제공할 수 있는 방법이 필요한 실정이다.In order to solve the problems of the prior art, there is a need for a method capable of providing characteristic information related to a strabismus patient by applying a technique for determining the left-right symmetry of the face by detecting several feature points in a face image.
본 발명은 얼굴이미지의 특징점을 추출하여 특징점으로부터 얼굴이미지의 대칭성을 판별하여 사시환자인지 여부를 가늠할 수 있는 사시환자와 관련된 특성정보를 제공하는, 얼굴이미지의 대칭성을 기반으로 사시환자와 관련된 특성정보를 제공하는 방법 및 시스템을 제공하는 것을 목적으로 한다. The present invention provides characteristic information related to a strabismus patient by extracting a feature point of a face image and determining the symmetry of the face image from the feature point, and providing characteristic information related to a strabismus patient, based on the symmetry of the face image, characteristic information related to a strabismus patient It is an object of the present invention to provide a method and system for providing.
상기와 같은 과제를 해결하기 위하여 본 발명은, 1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴이미지의 대칭성을 기반으로 사시환자와 관련된 특성정보를 제공하는 방법으로서, 상기 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출단계; 1 이상의 상기 얼굴특징점에 기초하여 얼굴대칭선을 도출하는, 얼굴대칭선도출단계; 상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 대칭성을 판별할 수 있는 1 이상의 대칭성판별지표에 대한 값을 도출하는 대칭성판별지표도출단계; 및 1 이상의 상기 대칭성판별지표에 기초하여 결과정보를 제공하는 사시환자결과정보제공단계;를 포함하는, 사시환자와 관련된 특성정보를 제공하는 방법을 제공한다.In order to solve the above problems, the present invention provides characteristic information related to a patient with strabismus based on the symmetry of a face image performed in a computing device including at least one processor and at least one memory storing instructions executable by the processor. A method of providing, comprising: a face feature derivation step of deriving one or more face feature points from the face image; A facial symmetry line deriving step of deriving a facial symmetry line based on at least one facial feature point; A symmetry determination index deriving step of deriving a value for at least one symmetry determination index capable of determining the symmetry of the face image based on the facial symmetry line and the facial feature points; And it provides a method for providing characteristic information related to a strabismus patient, including; and providing result information on the basis of the at least one symmetry discrimination indicator.
본 발명의 일 실시예에서는, 상기 대칭성판별지표는, 얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함할 수 있다.In one embodiment of the present invention, the symmetry discrimination indicator is, face tilt, eye-mouth tilt difference, eyebrow tilt, left eye tilt, right eye tilt, two-sided eye tilt difference, nose tilt, mouth tilt, and left face And one or more of the difference in area of the right face.
본 발명의 일 실시예에서는, 상기 얼굴특징점도출단계는, 눈썹, 눈, 코, 입, 및 얼굴윤곽 중 1 이상을 포함하는 얼굴부위에 대한 각각의 상기 얼굴특징점을 도출하고, 도출된 상기 얼굴특징점은 상기 얼굴부위 중 눈썹, 눈, 얼굴윤곽 중 어느 하나에 해당하는 상기 얼굴특징점은 얼굴의 좌측영역 및 우측영역의 1 이상의 상기 얼굴특징점이 짝을 이룰 수 있다.In an embodiment of the present invention, in the step of deriving facial features, each of the facial feature points for a facial region including at least one of eyebrows, eyes, nose, mouth, and facial contours is derived, and the derived facial feature points The facial feature points corresponding to any one of eyebrows, eyes, and facial contours among the facial portions may be paired with one or more of the facial feature points in the left area and the right area of the face.
본 발명의 일 실시예에서는, 상기 얼굴대칭선도출단계는, 각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 양측눈썹의중심점, 양측눈의중심점, 입의중심점, 및 턱의중심점 중 1 이상을 포함하는 안면중심점을 도출하는 단계; 및 상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계;를 포함할 수 있다.In an embodiment of the present invention, in the step of deriving the facial symmetry line, the center point of both eyebrows, the center point of both eyes, the center point of the mouth, and the chin are based on the average coordinate value of two or more specific facial feature points of each face area. Deriving a facial center point including at least one of the center points; And deriving the facial symmetry line by applying a linear search algorithm based on the facial center point.
본 발명의 일 실시예에서는, 상기 대칭성판별지표도출단계는, 상기 얼굴대칭선의 기울기에 기초하여 얼굴기울기를 도출하는 단계; 상기 얼굴이미지의 상기 얼굴대칭선이 수직인 상태로 회전시킨 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출하는 단계; 및 상기 보정된 얼굴특징점에 기초하여 1 이상의 상기 대칭성판별지표에 대한 값을 도출하는 단계;를 포함할 수 있다.In an embodiment of the present invention, the step of deriving the symmetry discrimination indicator may include: deriving a face tilt based on the inclination of the face symmetry line; Deriving corrected facial feature points based on the rotated face image rotated in a state in which the face symmetry line of the face image is vertical; And deriving a value for one or more of the symmetry discrimination indicators based on the corrected facial feature points.
본 발명의 일 실시예에서는, 상기 대칭성판별지표는 얼굴기울기 및 양측눈기울기의 차이를 포함하고, 상기 대칭성판별지표도출단계는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 양측눈기울기의 차이에 대한 값이 기설정된 기준에 부합하는지 판별하는 단계;를 더 포함할 수 있다.In one embodiment of the present invention, the symmetry discrimination indicator includes a difference between a face tilt and both eyes tilt, and the step of deriving the symmetry discrimination indicator includes the difference between the face tilt and the both eye tilt derived from the face image. It may further include a step of determining whether the value for meets a predetermined criterion.
본 발명의 일 실시예에서는, 상기 대칭성판별지표는 얼굴기울기 및 코기울기를 포함하고, 상기 대칭성판별지표도출단계는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 코기울기에 대한 값이 기설정된 기준에 부합하는지 판별하는 단계;를 더 포함할 수 있다.In an embodiment of the present invention, the symmetry discrimination indicator includes face tilt and nose tilt, and the step of deriving the symmetry discrimination index includes values for the face tilt and nose tilt derived from the face image. It may further include a step of determining whether it conforms to.
본 발명의 일 실시예에서는, 상기 사시환자결과정보제공단계가 제공하는 상기 결과정보에 의한 디스플레이화면은, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지가 디스플레이되는 얼굴이미지레이어; 환자의 정보가 디스플레이되는 환자정보레이어; 및 상기 얼굴이미지에 대한 1 이상의 대칭성판별지표에 대한 값을 제공하는 판별지표레이어;를 포함할 수 있다.In an embodiment of the present invention, the display screen based on the result information provided by the strabismus patient result information providing step includes the face image, the face feature point, and the face symmetry line, and the face image is the face symmetry line. A face image layer on which a face rotation image rotated based on is displayed; A patient information layer on which patient information is displayed; And a discrimination index layer that provides a value for at least one symmetry discrimination index with respect to the face image.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 얼굴이미지의 대칭성을 기반으로 사시환자를 분류하는 시스템으로서, 상기 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출부; 1 이상의 상기 얼굴특징점에 기초하여 얼굴대칭선을 도출하는, 얼굴대칭선도출부; 상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 대칭성을 판별할 수 있는 1 이상의 대칭성판별지표에 대한 값을 도출하는 대칭성판별지표도출부; 및 1 이상의 상기 대칭성판별지표에 기초하여 결과정보를 제공하는 사시환자결과정보제공부;를 포함할 수 있다.In order to solve the above problems, an embodiment of the present invention provides a patient with strabismus based on the symmetry of a face image performed in a computing device including at least one processor and at least one memory storing instructions executable by the processor. A system for classifying a face, comprising: a face feature point extraction unit for deriving one or more face feature points from the face image; A face symmetry line guide unit for deriving a face symmetry line based on at least one facial feature point; A symmetry determination index deriving unit for deriving a value for at least one symmetry determination index capable of determining the symmetry of the face image based on the facial symmetry line and the facial feature points; And a strabismus patient result information providing unit that provides result information based on one or more of the symmetry determination indicators.
본 발명의 일 실시예에 따르면, 기존에 육안으로 확인하던 의사의 주관적 판단이 상당부분 개입되는 사시환자의 여부를 판별하는 방법에 비해 보다 객관적인 지표를 의사의 진료에 활용할 수 있는 효과를 발휘할 수 있다.According to an embodiment of the present invention, compared to a method of determining whether a patient with strabismus is involved in a large amount of subjective judgment of a doctor, which was previously checked with the naked eye, a more objective index can be used for the doctor's treatment. .
본 발명의 일 실시예에 따르면, 사시환자와 관련된 특성정보를 한눈에 보기 쉽도록 PDF파일로서 제공함으로써, 의사는 환자정보에 대한 관리에 용이하고, 환자는 자신의 진료결과에 대한 결과물을 제공받을 수 있음으로써 보다 신뢰도를 상승시킬 수 있는 효과를 발휘할 수 있다.According to an embodiment of the present invention, by providing characteristic information related to strabismus patients as PDF files for easy viewing at a glance, doctors can easily manage patient information, and patients receive results of their own treatment results. By being able to do it, it can exert the effect which can raise the reliability more.
본 발명의 일 실시예에 따르면, 성인에 비해 비교적 협조적이지 않은 아이들의 경우에도 신체에 직접적인 터치 혹은 강압성 없이, 얼굴이미지만으로도 사시가능성을 진료받을 수 있는 효과를 발휘할 수 있다.According to an embodiment of the present invention, even in the case of children who are not relatively cooperative compared to adults, the possibility of strabismus can be treated with only a face image without direct touch or coercion on the body.
본 발명의 일 실시예에 따르면, 다양한 환자 또는 일반인의 얼굴이미지를 기반으로, 그에 대한 데이터를 도출함과 동시에 기록함으로써, 사시질환 환자에 대한 데이터를 수집할 수 있고, 기록된 대량의 데이터에 기초하여 사시질환에 대한 연구에 활용할 수 있는 효과를 발휘할 수 있다.According to an embodiment of the present invention, data on patients with strabismus disease can be collected by deriving and recording data on the basis of face images of various patients or ordinary people at the same time, and based on a large amount of recorded data. Thus, it can exert an effect that can be used for research on strabismus disease.
도 1은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 방법의 전체적인 시스템 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 얼굴특징점이 디스플레이 된 이미지를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 얼굴대칭선이 디스플레이 된 이미지를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 대칭성판별지표에 대한 이미지를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 눈썹기울기를 기준으로 사시환자 여부에 대한 가능성을 나타낸 이미지를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 코기울기를 기준으로 사시환자에 여부에 대한 가능성을 나타낸 이미지를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 얼굴기울기, 양측눈기울기의 차이 및 코기울기에 따라 SVM기반 데이터학습에 기초하여 사시환자데이터를 분류한 그래프를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 시스템의 동작을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 시스템이 디스플레이 하는 초기화면을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 시스템이 동작한 후 결과정보를 도출하는 과정의 화면을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보가 표시된 결과정보를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 결과정보가 기록되는 결과로그를 개략적으로 도시한다.
도 13은 본 발명의 일 실시에에 따른 컴퓨팅장치의 내부구성을 개략적으로 도시한다.1 schematically shows an overall system configuration of a method for providing characteristic information related to a strabismus patient according to an embodiment of the present invention.
2 schematically shows an image in which facial features are displayed according to an embodiment of the present invention.
3 schematically shows an image in which facial symmetry lines are displayed according to an embodiment of the present invention.
4 schematically shows an image of a symmetry discrimination index according to an embodiment of the present invention.
5 schematically shows an image showing the possibility of a strabismus patient based on an eyebrow tilt according to an embodiment of the present invention.
6 schematically shows an image showing the possibility of a strabismus patient based on a nose tilt according to an embodiment of the present invention.
FIG. 7 schematically shows a graph for classifying strabismus patient data based on SVM-based data learning according to a face tilt, a difference between two eyes tilt, and a nose tilt according to an embodiment of the present invention.
8 schematically illustrates the operation of a system for providing characteristic information related to a patient with strabismus according to an embodiment of the present invention.
9 schematically shows an initial screen displayed by a system providing characteristic information related to a patient with strabismus according to an embodiment of the present invention.
10 schematically shows a screen of a process of deriving result information after a system providing characteristic information related to a strabismus patient according to an embodiment of the present invention operates.
11 schematically shows result information on which characteristic information related to a strabismus patient is displayed according to an embodiment of the present invention.
12 schematically shows a result log in which result information is recorded according to an embodiment of the present invention.
13 schematically illustrates an internal configuration of a computing device according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.In addition, terms including ordinal numbers such as first and second may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized by using two or more hardware, or two or more units may be realized by one piece of hardware. Meanwhile,'~ unit' is not meant to be limited to software or hardware, and'~ unit' may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Thus, as an example,'~ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Components and functions provided in the'~ units' may be combined into a smaller number of elements and'~ units', or may be further separated into additional elements and'~ units'. In addition, components and'~ units' may be implemented to play one or more CPUs in a device or a security multimedia card.
이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, 스마트 폰(smart phone), 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 ‘PC’라 칭하기로 한다), 이동 전화기, 화상 전화기, 전자책 리더(e-book reader), 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 ‘PMP’라 칭하기로 한다), 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스, 카메라, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 ‘HMD’라 칭하기로 한다), 전자 의류, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 혹은 스마트 워치(smart watch), PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The "user terminal" mentioned below may be implemented as a computer or portable terminal that can access a server or other terminal through a network. Here, the computer includes, for example, a notebook equipped with a web browser, a desktop, a laptop, and the like, and the portable terminal is, for example, a wireless communication device that guarantees portability and mobility. , Smart phone, tablet personal computer (PC, hereinafter referred to as'PC'), mobile phone, video phone, e-book reader, portable multimedia player ( portable multimedia player: PMP, hereinafter referred to as'PMP'), mp3 player, mobile medical device, camera, wearable device (for example, head-mounted device : HMD, for example,'HMD'), electronic clothing, electronic bracelet, electronic necklace, electronic appcessory, electronic tattoo, or smart watch, PCS (Personal Communication System), GSM ( Global System for Mobile communications), Personal Digital Cellular (PDC), Personal Handyphone System (PHS), Personal Digital Assistant (PDA), International Mobile Telecommunication (IMT)-2000, Code Division Multiple Access (CDMA)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminal, etc. may include all kinds of handheld-based wireless communication devices, etc. In addition, the "network" is a local area network (Local Area Network; LAN), wide area communication Wide Area Network; Wired networks such as WAN) or Value Added Network (VAN), mobile radio communication networks, satellite communication networks, etc. may be implemented in all types of wireless networks.
도 1은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 방법의 전체적인 시스템 형태를 개략적으로 도시한다.1 schematically shows an overall system configuration of a method for providing characteristic information related to a strabismus patient according to an embodiment of the present invention.
본 발명의 사시환자와 관련된 특성정보를 제공하는 시스템(1000)은 사용자로부터 얼굴이미지를 수신하고, 이에 대한 얼굴특징점, 대칭성판별지표에 대한 값, 및 기계적 학습에 의한 사시환자판별결과를 도출하여 제공하고, 상기 사용자는 입력한 얼굴이미지에 대해 사시환자와 관련된 특성정보를 제공받을 수 있다.The
도 1의 사시환자와 관련된 특성정보를 제공하는 시스템(1000)은 사용자로부터 입력 수신한 얼굴이미지를 처리하는 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 1 이상의 메모리를 포함한다. 상기 프로세서는 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 대칭성판별지표도출부(1300) 및 사시환자결과정보제공부(1400)를 포함한다.The
상기 사시환자와 관련된 특성정보를 제공하는 시스템(1000)은 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에 의하여 구현될 수 있다.The
이와 같은 컴퓨팅장치는 프로세서, 버스(프로세서, 메모리, 네트워크 인터페이스 사이의 양방향 화살표에 해당), 네트워크 인터페이스 및 메모리를 포함할 수 있다. 메모리에는 운영체제, 프로그램실행코드, 얼굴이미지, 결과정보 등이 저장되어 있다.Such a computing device may include a processor, a bus (corresponding to a double arrow between a processor, a memory, and a network interface), a network interface, and a memory. The operating system, program execution code, face image, and result information are stored in the memory.
프로세서에서는 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 대칭성판별지표도출부(1300) 및 사시환자결과정보제공부(1400)가 실행될 수 있다. 다른 실시예들에서 자동화된 컴퓨팅장치는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.In the processor, a facial feature
메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스를 통해 메모리에 로딩될 수도 있다.The memory is a computer-readable recording medium, and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive. These software components may be loaded from a computer-readable recording medium separate from the memory using a drive mechanism (not shown). Such a separate computer-readable recording medium may include a computer-readable recording medium (not shown) such as a floppy drive, a disk, a tape, a DVD/CD-ROM drive, or a memory card. In another embodiment, software components may be loaded into the memory through a network interface rather than a computer-readable recording medium.
버스는 컴퓨팅장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.The bus may enable communication and data transfer between components of the computing device. The bus may be configured using a high-speed serial bus, a parallel bus, a storage area network (SAN), and/or other suitable communication technology.
네트워크 인터페이스는 컴퓨팅장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스는 자동화된 컴퓨팅장치를 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.The network interface may be a computer hardware component for connecting a computing device to a computer network. The network interface can connect an automated computing device to a computer network through a wireless or wired connection.
프로세서는 기본적인 산술, 로직 및 자동화된 컴퓨팅장치를 구현하는 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 네트워크 인터페이스에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다.The processor may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations that implement an automated computing device. Instructions may be provided to the processor by means of a memory or network interface and via a bus.
프로세서는 상기 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 대칭성판별지표도출부(1300) 및 사시환자결과정보제공부(1400)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.The processor may be configured to execute a program code for the facial feature
상기 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 대칭성판별지표도출부(1300) 및 사시환자결과정보제공부(1400)는 이하에서 설명하게 될 사시환자와 관련된 특성정보를 제공하는 방법을 수행하기 위해 구성될 수 있다. 상기한 프로세서는 사시환자와 관련된 특성정보를 제공하는 시스템(1000)의 실시형태 및 서비스 형태에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.The facial feature
상기 사시환자와 관련된 특성정보를 제공하는 방법은 1 이상의 메모리 및 1 이상의 프로세서로 구현되어, 얼굴특징점을 도출하는 얼굴특징점도출부(1100); 얼굴대칭선을 도출하는 얼굴대칭선도출부(1200); 얼굴이미지의 대칭성을 판별할 수 있는 대칭성판별지표에 대한 값을 도출하는 대칭성판별지표도출부(1300); 및 사시환자와 관련된 결과정보를 제공하는 사시환자결과정보제공부(1400);를 포함한다.The method of providing characteristic information related to a patient with strabismus includes: a facial feature
상기 얼굴특징점도출부(1100)는, 입력 수신한 환자의 얼굴이미지로부터 눈썹, 눈, 코, 입, 및 얼굴윤곽과 같은 1 이상의 얼굴부위를 나타내는 얼굴특징점을 도출한다.The facial
상기 얼굴대칭선도출부(1200)는, 얼굴특징점에 기초하여 안면중심점을 도출하고 안면중심점에 기초하여 얼굴대칭선을 도출한다.The facial symmetry
상기 대칭성판별지표도출부(1300)는, 얼굴특징점 및 얼굴대칭선에 기초하여 입력 수신한 얼굴이미지의 대칭성을 판별하는 기준이 되는 대칭성판별지표에 대한 값을 도출한다. 바람직하게는, 상기 대칭성판별지표는 얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 상기 좌측눈기울기 및 상기 우측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함한다.The symmetry determination
상기 사시환자결과정보제공부(1400)는, 상기 대칭성판별지표에 대한 값 및 환자정보, 의사의 소견을 포함하는 의사정보, 사시환자판별결과 등을 포함하는 결과정보를 제공한다.The strabismus patient result
보다 구체적인 상기 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 대칭성판별지표도출부(1300) 및 사시환자결과정보제공부(1400)의 동작에 대해서는 후술하도록 한다.More specific operations of the facial feature
도 2는 본 발명의 일 실시예에 따른 얼굴특징점을 디스플레이 한 이미지를 개략적으로 도시한다.2 schematically shows an image displaying facial features according to an embodiment of the present invention.
도 2의 (a)는 얼굴특징점도출부(1100)가 도출하는 1 이상의 얼굴특징점을 도시한다. 상기 얼굴특징점도출부(1100)는 얼굴의 눈썹, 눈, 코, 입, 및 얼굴윤곽 중 1 이상을 포함하는 얼굴부위에 대한 얼굴특징점을 도출한다. 구체적으로, 1번부터 17번까지의 얼굴특징점은 얼굴윤곽, 18번부터 27번까지의 얼굴특징점은 눈썹, 28번부터 36번까지의 얼굴특징점은 코, 37번부터 46번까지의 얼굴특징점은 눈, 및 49번부터 68번까지의 얼굴특징점은 입을 나타내는 얼굴특징점을 도출한다.2A shows one or more facial feature points derived by the facial feature
도 2의 (b)는 실제 사람의 얼굴이미지에서 1 이상의 상기 얼굴특징점을 도출한 이미지를 도시한다. 도 2의 (a)에서 도시한 1번부터 68번까지의 얼굴특징점들을 사람얼굴이미지로부터 도출하여 디스플레이 한 이미지이다. 눈썹, 눈, 코, 입, 및 얼굴윤곽에 해당하는 얼굴특징점이 추출되었고, 이러한 1 이상의 얼굴특징점들은 이후 얼굴대칭선 및 대칭성판별지표를 도출하는데 기초가 될 수 있다.2B shows an image obtained by deriving one or more of the facial feature points from an actual human face image. This is an image obtained by deriving and displaying
얼굴부위 중 눈썹, 눈, 얼굴윤곽 중 어느 하나에 해당하는 얼굴특징점은 얼굴의 좌측영역 및 우측영역의 1 이상의 상기 얼굴특징점이 짝을 이룬다. 도 2의 (a)에 도시된 바와 같이 예를 들어, 눈썹점인 18번점과 27번점, 19번점과 26번점, 20번점과 25번점, 21번점과 24번점, 및 22번점과 23번점과 같이 짝을 이룰 수 있다. 얼굴윤곽을 나타내는 얼굴특징점 또한 1번점과 17번점, 2번점과 16번점, 3번점과 15번점 등 이와 같이 얼굴의 좌측영역 및 우측영역의 얼굴특징점이 짝을 이룬다.The facial feature points corresponding to any one of the eyebrows, eyes, and facial contours among the facial regions are paired with one or more of the facial feature points in the left area and the right area of the face. As shown in (a) of FIG. 2, for example, the eyebrow points 18 and 27, 19 and 26, 20 and 25, 21 and 24, and 22 and 23, which are eyebrow points. Can be paired. The facial feature points representing the facial contour are also paired with the facial feature points in the left and right areas of the face, such as
바람직하게는, 상기 눈썹, 눈, 및 얼굴윤곽에만 해당하는 얼굴특징점 뿐만 아니라 코 및 입과 같은 얼굴부위의 얼굴특징점 또한 해당 얼굴부위의 중심에 있는 얼굴특징점을 제외하고, 얼굴의 중심에 있는 점들의 좌측영역 및 우측영역의 얼굴특징점들은 짝을 이룬다.Preferably, not only the facial features corresponding to the eyebrows, eyes, and facial contours, but also the facial features of the facial area such as the nose and mouth, excluding the facial features in the center of the corresponding facial area, the points in the center of the face The facial features of the left and right regions are paired.
도 3은 본 발명의 일 실시예에 따른 얼굴대칭선을 디스플레이 한 이미지를 개략적으로 도시한다.3 schematically shows an image displaying a facial symmetry line according to an embodiment of the present invention.
도 3은 얼굴특징점도출부(1100)가 도출한 1 이상의 얼굴특징점에 기초하여, 얼굴대칭선도출부(1200)가 얼굴대칭선을 도출하고, 실제 얼굴이미지에 도출한 얼굴대칭선을 디스플레이 한 이미지를 도시한다. 상기 얼굴대칭선은 4개의 안면중심점에 기초하여 도출한다.FIG. 3 is an image in which the face symmetry
구체적으로, 상기 얼굴대칭선도출부(1200)는, 각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 양측눈썹의중심점(100), 양측눈의중심점(200), 입의중심점(300), 및 턱의중심점(400) 중 1 이상을 포함하는 안면중심점을 도출하는 단계(S100); 및 상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계(S110);를 수행한다.Specifically, the facial symmetry
구체적으로, S100단계에서는, 1 이상의 얼굴특징점에 기초하여 4개의 안면중심점을 도출한다. 도 3의 (a)는 얼굴대칭선도출부(1200)가 도출하는 1 이상의 안면중심점 및 얼굴대칭선을 도시한다. 상기 안면중심점은 얼굴대칭선을 도출하기 위한 각각 얼굴부위의 눈썹, 눈, 입, 및 턱의 중심점을 의미하고, 각각의 안면중심점을 도출을 위해 설정한 얼굴특징점 범위에 따라, 해당 범위내의 얼굴특징점의 X, Y값의 평균좌표값을 상기 안면중심점 좌표값으로 도출한다. 바람직하게는, 양측 눈썹의중심점은 눈썹점인 17번부터 26번점까지의 평균좌표값, 양측눈의중심점(200)은, 눈점인 36번부터 47번점까지의 평균좌표값, 입의중심점(300)은 입점인 48번부터 59번점까지의 평균좌표값, 및 턱의중심점(400)은 얼굴윤곽점의 일부인 5번부터 11번점까지의 평균좌표값에 기초하여 각각의 안면중심점을 도출할 수 있다.Specifically, in step S100, four facial center points are derived based on one or more facial feature points. 3A illustrates one or more facial center points and facial symmetry lines derived by the facial symmetry
S110단계에서는, S100단계에서 도출한 1 이상의 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출한다. 양측눈썹의중심점(100), 양측눈의중심점(200), 입의중심점(300), 및 턱의중심점(400)이 도출되면, 4개의 안면중심점에 기초하여 직선탐색알고리즘을 적용한다. 얼굴대칭선을 도출함에 있어서, 단순히 직관적으로 4개의 점을 연결하여 선을 도출하게 되면, 얼굴의 대칭성을 판별하는 데 있어 바람직한 직선이 도출되지 않을 확률이 높다. 이에 따라, 상기 얼굴대칭선도출부(1200)는 직선탐색알고리즘을 적용하여 각각의 안면중심점과 최소한의 에러를 가지는 직선을 얼굴대칭선으로 도출함이 바람직하다. In step S110, the facial symmetry line is derived by applying a straight line search algorithm based on at least one facial center point derived in step S100. When the
바람직하게는, 상기 직선탐색알고리즘은, Armijo's rlue, Wolfe's rule, 2분할법, Secant법, 및 Newton법 중 어느 하나에 해당할 수 있다. Preferably, the linear search algorithm may correspond to any one of Armijo's rlue, Wolfe's rule, two division method, Secant method, and Newton method.
도 3의 (b)는 상기 얼굴대칭선도출부(1200)의 S100 및 S110 단계의 수행으로 도출된 상기 안면중심점 및 얼굴대칭선이 디스플레이 된 실제 사람의 얼굴이미지를 도시한다. 이와 같이 얼굴대칭선도출부(1200)가 도출한 안면중심점 및 얼굴대칭선은 얼굴대칭성 판단에 기초가 될 수 있다.FIG. 3B shows a face image of a real person in which the facial center point and facial symmetry line derived from the execution of steps S100 and S110 of the facial symmetry
도 4는 본 발명의 일 실시예에 따른 대칭성판별지표에 대한 이미지를 개략적으로 도시한다.4 schematically shows an image of a symmetry discrimination index according to an embodiment of the present invention.
본 발명에서 얼굴이미지로부터 얼굴대칭성을 판별하기 위해 설정한 대칭성판별지표는, 얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함한다.In the present invention, the symmetry discrimination indicators set to determine facial symmetry from the face image are: face tilt, difference between eye-mouth tilt, eyebrow tilt, left eye tilt, right eye tilt, difference between two-sided eye tilt, nose tilt, mouth It includes at least one of the inclination and the area difference between the left and right faces.
구체적으로, 대칭성판별지표도출부(1300)는 상기와 같은 대칭성판별지표에 대한 값을 도출하기 위해서, 상기 얼굴대칭선의 기울기에 기초하여 얼굴기울기를 도출하는 단계(S200); 상기 얼굴이미지의 상기 얼굴대칭선이 수직인 상태로 회전시킨 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출하는 단계(S210); 및 상기 보정된 얼굴특징점에 기초하여 1 이상의 상기 대칭성판별지표에 대한 값을 도출하는 단계;(S220)를 수행한다.Specifically, in order to derive a value for the symmetry determination index as described above, the symmetry determination
S200단계에서는, 상기 대칭성판별지표도출부(1300)는, 얼굴대칭선도출부(1200)가 도출한 얼굴대칭선에 기초하여 얼굴기울기를 도출한다. 바람직하게는, 얼굴기울기의 각도범위는 -90도 내지 90도 일 수 있다. 상기 얼굴기울기는 수직하는 얼굴대칭선을 0도로 기준하여, 시계 방향의 얼굴대칭선에 대해서 0도 내지 90도, 반시계 방향 얼굴대칭선에 대해서 -90도 내지 0도로 정의할 수 있다.In step S200, the symmetry discrimination
S210단계에서는, 얼굴이미지의 상기 얼굴기울기의 값이 0도인 상태로, 즉 상기 얼굴대칭선이 수직인 상태로, 입력 수신한 얼굴이미지를 회전시켜 얼굴회전이미지를 생성한다. 상기 대칭성판별지표도출부(1300)는 회전된 얼굴회전이미지에 따라, 보정된 얼굴특징점을 도출한다. 사시환자들은 사진을 찍을 때, 환자 자신이 정면을 바라보고 있다고 인식하더라도 사실은 정면을 주시하는 것이 아닌 비대칭적인 형태로 정면을 바라보는 경우가 많다. 따라서 환자의 원본 얼굴이미지의 얼굴대칭선이 수직인 경우가 많지 않기 때문에 보다 정확한 사시환자와 관련된 특성정보를 도출하기 위하여, 수직인 상태의 얼굴대칭선을 축으로 하여 얼굴이미지를 회전시킨 상기 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출할 수 있다.In step S210, a face rotation image is generated by rotating the input received face image in a state in which the value of the face inclination of the face image is 0 degrees, that is, in a state in which the face symmetry line is vertical. The symmetry determination
S220단계에서는, S210단계에서 도출한 상기 보정된 얼굴특징점에 기초하여 1 이상의 대칭성판별지표에 대한 값을 도출한다. 구체적으로, 도 4의 (a)에 도시된 바와 같이 상기 대칭성판별지표를 설정할 수 있다. 바람직하게는, 상기 보정된 얼굴특징점에 기초하여 도출하는 대칭성판별지표는 얼굴기울기 및 좌측얼굴 및 우측얼굴의 면적차이를 제외하고, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 및 입기울기 중 1 이상에 해당한다.In step S220, a value for at least one symmetry discrimination index is derived based on the corrected facial feature points derived in step S210. Specifically, the symmetry discrimination index may be set as shown in FIG. 4A. Preferably, the symmetry discrimination index derived based on the corrected facial feature points is the difference in eye-mouth tilt, eyebrow tilt, left eye tilt, right eye tilt, excluding face tilt and area difference between left and right face. , It corresponds to one or more of the difference between two-sided eye tilt, nose tilt, and mouth tilt.
눈썹기울기는 각각 우측눈썹 및 좌측눈썹의 중심점인 19번점과 24번점을 연결한 직선의 기울기를 의미한다. 우측눈기울기 및 좌측눈기울기는 각각의 눈을 이루는 얼굴특징점들의 양 끝점인 36번점과 39번점을 연결한 직선 및 42번점과 45번점을 연결한 직선의 기울기를 의미한다. 양측눈기울기의 차이는 상기 우측눈기울기 및 좌측눈기울기를 도출하여 양측눈기울기의 차이를 도출하고, 양측눈기울기의 차이 또한 상기 대칭성판별지표에 포함된다. 코기울기는 코의 양 끝점인 31번점과 35번점을 연결한 직선의 기울기를 의미한다. 입기울기는 입을 나타내는 얼굴특징점의 양끝점인 48번점과 64번점을 연결한 직선의 기울기를 의미한다. 눈-입기울기의 차이는 좌측눈의 끝점과 우측눈의 끝점인 36번점과 45번점을 연결한 직선의 기울기와 상술한 바와 같이 도출한 입기울기의 차이를 도출하여 눈-입기울기의 차이를 도출한다. 도 4의 (a)는 이러한 각각의 얼굴부위에 대한 직선을 그려놓은 것을 도시한다.The brow slope refers to the slope of a straight
도 4의 (b)는 좌측얼굴 및 우측얼굴의 면적차이를 실제 사람의 얼굴이미지에 디스플레이 한 것을 도시한다. 상기 대칭성판별지표도출부(1300)는 1 이상의 각각의 얼굴특징점에 기초하여 도 4의 (b)에 도시된 바와 같이 좌측얼굴 및 우측얼굴을 각각 17개의 영역으로 분리한다. 분리된 각각 17개의 영역의 세 점의 좌표에 기초하여 넓이를 도출하고, 상기 넓이에 기초하여 상기 좌측얼굴 및 우측얼굴의 면적을 도출한다. 각 면적은 개별적으로 저장될 수도 있다.FIG. 4B shows that the difference in area between the left and right faces is displayed on an actual human face image. The symmetry determination
바람직하게는, 대칭성판별지표 중 하나인 좌측얼굴 및 우측얼굴의 면적차이를 구하는 식은, 좌측얼굴을 기준으로 할 때, 결과값을 계산한 경우 R(%) = (우측얼굴의 면적/좌측얼굴의 면적)-1 의 식으로 구성할 수 있다. 상기와 같은 식을 사용하여 도출된 값의 범위는 -0.5 내지 0.5(-50% 내지 50%)일 수 있고, 식을 사용하여 도출된 값을 기준으로 판단할 때 R이 0보다 작은 경우(R<0), 좌측얼굴의 면적이 더 넓은 것으로 판단하고, R이 0보다 큰 경우(R>0), 우측얼굴의 면적이 더 넓은 것으로 판단한다.Preferably, the equation for calculating the area difference between the left face and the right face, which is one of the symmetry discrimination indicators, is based on the left face, and when the result value is calculated, R(%) = (area of the right face/ It can be configured by the formula of area)-1. The range of values derived using the above equation may be -0.5 to 0.5 (-50% to 50%), and when R is less than 0 when judged based on the value derived using the equation (R <0), it is judged that the area of the left face is wider, and if R is greater than 0 (R>0), it is judged that the area of the right face is wider.
본 발명의 사시환자와 관련된 특성정보를 제공하는 방법은 도출된 대칭성판별지표에 기초하여, SVM기반 데이터학습에 기초하여 사시환자 여부에 대한 판별기준을 설정할 수 있고, 이에 기초하여 사시환자와 관련된 결과정보를 도출할 수 있다.The method of providing characteristic information related to strabismus patients according to the present invention can set a criterion for determining whether a strabismus patient is based on SVM-based data learning based on the derived symmetry discrimination index, and based on this, the results related to strabismus patients Information can be derived.
바람직하게는 상기 결과정보는, 1 이상의 얼굴이미지, 1 이상의 대칭성판별지표에 대한 값, 환자정보, 의사의 소견, 의사정보, 사시환자판별결과, 및 결과데이터생성시간 중 1 이상을 포함할 수 있다.Preferably, the result information may include one or more of one or more face images, values for one or more symmetry determination indicators, patient information, doctor's opinion, doctor information, strabismus patient determination result, and result data generation time. .
도 5 및 도 6은 본 발명의 일 실시예에 따른 특정 대칭성판별지표를 기준으로 사시환자 여부에 대한 가능성을 나타낸 이미지를 개략적으로 도시한다.5 and 6 schematically show images showing the possibility of a strabismus patient based on a specific symmetry discrimination index according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 눈썹기울기에 기초하여 사시환자 여부에 대한 가능성을 나타낸 이미지를 개략적으로 도시한다.5 schematically shows an image showing the possibility of a strabismus patient based on an eyebrow tilt according to an embodiment of the present invention.
대칭성판별지표를 기준으로 사시환자와 관련된 특성정보를 제공하는 방법에 있어서 그 목적은 의사가 해당 환자의 사시질환 여부에 대한 판단을 함에 있어서 육안 검사보다 객관적으로 활용할 수 있는 정보를 제공하는 것이고, 본 발명에서는 이러한 정보 중 하나로써 1 이상의 대칭성판별지표를 제공할 수 있다.In the method of providing characteristic information related to strabismus patients based on the symmetry judgment index, the purpose is to provide information that can be used more objectively than a visual examination by a doctor in determining whether the patient has strabismus disease. In the present invention, one or more indicators for determining symmetry may be provided as one of such information.
도 5는 상기 대칭성판별지표 중 하나인 눈썹기울기에 기초하여, 입력 수신한 1 이상의 얼굴이미지의 사시환자 여부에 대한 가능성을 나타낸 것을 도시한다. 각각의 사진별 사시환자일 확률이 1%부터 12%까지 다양하게 나타나 있다.5 illustrates the possibility of a strabismus patient of one or more face images received based on eyebrow tilt, which is one of the symmetry discrimination indicators. The probability of a strabismus patient by each picture varies from 1% to 12%.
도 6은 본 발명의 일 실시예에 따른 코기울기에 기초하여 사시환자 여부에 대한 가능성을 나타낸 이미지를 개략적으로 도시한다.6 schematically shows an image showing the possibility of a strabismus patient based on a nose tilt according to an embodiment of the present invention.
도 6은 도 5에 도시된 1 이상의 얼굴이미지가 모두 동일하지만 사시환자 여부에 대한 가능성은 다르게 나타나고 있음이 도시된다. 도 6은 대칭성판별지표 중 하나인 코 기울기에 기초하여 입력 수신한 1 이상의 얼굴이미지의 사시환자 여부에 대한 가능성을 나타낸 것을 도시한다. 이와 같이 동일한 사람, 동일한 이미지 이더라도 어떤 대칭성판별지표에 기초하여 판단하느냐에 따라 다른 값들이 도출될 수 있다. 이와 같이, 대칭성판별지표를 기준으로 사시환자에 대한 여부를 판별하기 위해서는 가장 정확하고 오차범위가 적은 대칭성판별지표의 선별 및 대칭성판별지표에 대한 값의 범위의 설정이 필요할 수 있다. 의사는 대칭성판별지표를 제공받았을 때 이러한 점을 감안하여 환자의 진료에 활용할 수 있고, 본 발명의 사시환자와 관련된 특성정보를 제공하는 방법은, SVM기반 데이터학습에 기초하여 사시환자 여부에 대한 판별지표를 설정하여 사시환자 여부에 대한 판별결과를 상기 대칭성판별지표와 함께 제공할 수도 있다.6 shows that all of the one or more face images shown in FIG. 5 are the same, but the possibility of whether or not a patient with strabismus is different is shown. 6 shows the possibility of whether or not a patient with strabismus has received one or more face images based on a nose tilt, which is one of the symmetry discrimination indicators. In this way, different values can be derived depending on which symmetry judgment index is judged even for the same person and the same image. As described above, in order to determine whether a patient with strabismus is based on the symmetry determination index, it may be necessary to select the symmetry determination index that is the most accurate and has the smallest error range, and to set the range of values for the symmetry determination index. When a doctor is provided with a symmetry discrimination index, it can be used in the treatment of patients in consideration of these points, and the method of providing characteristic information related to a strabismus patient of the present invention is to determine whether a strabismus patient is based on SVM-based data learning. By setting an index, the result of determining whether a patient has strabismus may be provided together with the symmetrical determination index.
도 7은 본 발명의 일 실시예에 따른 얼굴기울기, 양측눈기울기의 차이 및 코기울기에 따라 SVM기반 데이터학습에 기초하여 사시환자데이터를 분류한 그래프를 개략적으로 도시한다.FIG. 7 schematically shows a graph for classifying strabismus patient data based on SVM-based data learning according to a face tilt, a difference between two-sided eye tilt, and a nose tilt according to an embodiment of the present invention.
다양한 지표를 기준으로 데이터를 분류하는 경우, 가장 적합한 방법이나 경계 기준을 정하고 분류하기 위해 사용하는 방법에는 SVM에 기반한 데이터학습을 활용할 수 있다. 데이터학습을 통해 데이터를 분류하여, 새로운 데이터에 대한 분류 기준을 설정할 수 있다.In the case of classifying data based on various indicators, data learning based on SVM can be used as the most suitable method or method used to determine and classify boundary criteria. By classifying data through data learning, it is possible to set classification criteria for new data.
도 7의 그래프들은 사시환자 21명 정상환자 25명의 데이터를 기반으로 이 중 80%의 비율인 37명은 데이터에 대하여 학습하는 목적에 사용하는 트레인데이터세트(train set)로 설정하고, 20%의 비율인 9명은 37명의 데이터에 대하여 학습하여 생성된 모델을 검증하는 테스트데이터세트(test set)로 설정하여 적용하였고, 특정 대칭성판별지표를 선정하여 각각 20회의 테스트를 실시한 그래프를 도시한다.The graphs in FIG. 7 are based on the data of 21 strabismus patients and 25 normal patients, of which 37, 80% of which are set as a train dataset used for the purpose of learning about the data, and a ratio of 20%. Nine persons trained on the data of 37 persons and applied it as a test set that verifies the generated model, and a graph in which a specific symmetry discrimination index was selected and tested each 20 times is shown.
도 7의 (a)는 상기 대칭성판별지표 중 얼굴기울기 및 양측눈기울기의 차이를 기준으로 사시환자데이터분류를 실시한 그래프이다. 그래프의 동그라미는 각각 일반인과 사시환자를 나타내는 트레인데이터세트를 표시하고, x는 테스트데이터세트를 표시한다. 도 7의 (a)에 도시된 바와 같이, 트레인데이터세트를 기준으로 일반인과 사시환자를 나누는 영역을 설정할 수 있다. 이 후 테스트데이터세트의 데이터를 적용하여 테스트데이터세트의 데이터가 각각의 해당 영역에 일치하는 비율이 높을수록, 사시환자에 대한 여부를 판별하는 지표로써, 신뢰성이 높다고 판단할 수 있다. 도 7의 (a)는 일반인을 나타내는 파란색 영역에 테스트데이터세트에 포함되는 5명의 일반인이 모두 들어가있고, 사시환자를 나타내는 파란색 영역을 제외한 부분인 빨간색부분에 4명의 사시환자가 모두 포함되어 있다. 이와 같이 상기 대칭성판별지표 중 얼굴기울기와 양측눈기울기의 차이를 기준으로 같은 방식의 데이터학습을 통한 분류테스트를 20회 진행했을 때, 100%의 일치율을 나타냈다.7(a) is a graph of strabismus patient data classification based on the difference between face tilt and both eye tilt among the symmetry discrimination indicators. The circles in the graph represent train datasets representing the general public and strabismus patients, respectively, and x represents the test dataset. As shown in (a) of FIG. 7, a region for dividing the general person and the strabismus patient based on the train data set may be set. Thereafter, as the ratio of the data of the test data set to each corresponding region by applying the data of the test data set is higher, it is an index for determining whether there is a strabismus patient, and it can be determined that the reliability is high. In (a) of FIG. 7, all 5 people included in the test data set are included in the blue area representing the general person, and all 4 patients with strabismus are included in the red area, excluding the blue area representing strabismus patients. As described above, when the classification test through data learning in the same method was conducted 20 times based on the difference between the facial tilt and the two-sided eye tilt among the above symmetry discrimination indicators, a 100% coincidence rate was shown.
이에 기초하여, 상기 대칭성판별지표도출부(1300)는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 양측눈기울기의 차이에 대한 값이 SVM기반 데이터학습에 기초하여 기설정된 기준에 부합하는지 판별하는 단계;를 더 수행할 수 있다. 상기 기설정된 기준에 부합하는지 여부에 따라 해당 얼굴이미지의 사시질환에 대한 가능성을 판단할 수 있는 사시환자판별결과를 도출할 수 있다.Based on this, the symmetry discrimination
바람직하게는, 얼굴기울기 및 양측눈기울기에 대한 값을 기준으로 사시환자 여부를 판별할 수 있는 제1기준은 얼굴기울기에 대한 값이 2.72를 초과하면서, 양측눈기울기의 차이에 대한 값이 3.51을 초과하는 범위로 설정할 수 있다. 상기와 같은 범위의 대칭성판별지표에 대한 값이 도출된 환자에 대하여 사시환자 여부의 가능성이 높다고 판단할 수 있다.Preferably, the first criterion for determining whether a patient with strabismus based on the values for face tilt and bilateral tilt is a value for face tilt exceeding 2.72, while the value for the difference between bilateral eye tilt is 3.51. It can be set to exceed the range. It can be determined that the likelihood of a strabismus patient is high for a patient whose value for the symmetrical discrimination index in the above range is derived.
도 7의 (b)는 상기 대칭성판별지표 중 얼굴기울기 및 코기울기를 기준으로 사시환자데이터분류를 실시한 그래프이다. 그래프의 동그라미는 각각 일반인과 사시환자를 나타내는 트레인데이터세트를 표시하고, x는 테스트데이터세트를 표시한다. 도 7의 (b)에 도시된 바와 같이, 트레인데이터세트를 기준으로 일반인과 사시환자를 나누는 영역을 설정할 수 있다. 도 7의 (b)는 테스트데이터세트의 4명의 일반인이 일반인영역에 포함되어있고, 테스트데이터세트의 5명의 사시환자 중 4명의 사시환자는 사시환자영역에, 1명의 사시환자는 일반인영역에 포함된 것이 표시되어 있다. 전체 테스트데이터세트 9명 중 8명의 정보는 일치하고 1명의 정보가 일치하지 않고 있고, 이와 같이 상기 대칭성판별지표 중 얼굴기울기 및 코기울기를 기준으로 같은 방식의 데이터학습을 통한 분류테스트를 20회 진행했을 때, 84.45%의 일치율을 나타냈다.7B is a graph of strabismus patient data classification based on facial tilt and nose tilt among the symmetry discrimination indicators. The circles in the graph represent train datasets representing the general public and strabismus patients, respectively, and x represents the test dataset. As shown in (b) of FIG. 7, a region for dividing the general person and the strabismus patient may be set based on the train data set. In (b) of FIG. 7, 4 people in the test data set are included in the public area, 4 out of 5 strabismus patients in the test data set are included in the strabismus patient area, and one strabismus patient is included in the public area. Is marked. The information of 8 out of 9 people in the whole test data set is consistent and the information of 1 does not match. As such, 20 classification tests through data learning in the same manner based on facial tilt and nose tilt among the above symmetry discrimination indicators. When it did, the agreement rate of 84.45% was shown.
이에 기초하여, 상기 대칭성판별지표도출부(1300)는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 코기울기에 대한 값이 SVM기반 데이터학습에 기초하여 기설정된 기준에 부합하는지 판별하는 단계;를 더 수행할 수 있다. 상기 기설정된 기준에 부합하는지 여부에 따라 해당 얼굴이미지의 사시질환에 대한 가능성을 판단할 수 있는 사시환자판별결과를 도출할 수 있다.Based on this, the symmetry determination
바람직하게는, 얼굴기울기 및 코기울기에 대한 값을 기준으로 사시환자 여부를 판별할 수 있는 제2기준은 얼굴기울기에 대한 값이 2.11을 초과하면서, 코기울기에 대한 값이 1.24를 초과하는 범위로 설정할 수 있다. 상기와 같은 범위의 대칭성판별지표에 대한 값이 도출된 환자에 대하여 사시환자 여부의 가능성이 높다고 판단할 수 있다.Preferably, the second criterion for determining whether a patient with strabismus based on the values for facial tilt and nose tilt is a range in which the value for face tilt exceeds 2.11 and the value for nose tilt exceeds 1.24. Can be set. It can be determined that the likelihood of a strabismus patient is high for a patient whose value for the symmetrical discrimination index in the above range is derived.
도 7의 (c)는 상기 대칭성판별지표 중 양측눈기울기의 차이 및 코기울기를 기준으로 사시환자데이터분류를 실시한 그래프이다. 그래프의 동그라미는 각각 일반인과 사시환자를 나타내는 트레인데이터세트를 표시하고, x는 테스트데이터세트를 표시한다. 도 7의 (c)에 도시된 바와 같이, 트레인데이터세트를 기준으로 일반인과 사시환자를 나누는 영역을 설정할 수 있다. 도 7의 (c)는 테스트데이터세트의 7명의 일반인 중 6명이 일반인영역에, 1명의 일반인이 사시환자영역에 포함되어있고, 테스트데이터세트의 2명의 사시환자 중 1명이 사시환자영역에, 다른 1명이 일반인영역에 포함된 것이 표시되어 있다. 전체 테스트데이터세트 9명 중 7명의 정보는 일치하고 2명의 정보가 일치하지 않고 있고, 이와 같이 상기 대칭성판별지표 중 양측눈기울기의 차이 및 코기울기를 기준으로 같은 방식의 데이터학습을 통한 분류테스트를 20회 진행했을 때, 77.78%의 일치율을 나타냈다.7(c) is a graph of strabismus patient data classification based on the difference between the two-sided eye tilt and the nose tilt among the symmetry discrimination indicators. The circles in the graph represent train datasets representing the general public and strabismus patients, respectively, and x represents the test dataset. As shown in (c) of FIG. 7, a region for dividing the general person and the strabismus patient based on the train data set may be set. 7(c) shows that 6 out of 7 ordinary people in the test data set are in the public area, 1 public person is included in the strabismus patient area, and one of the two strabismus patients in the test data set is in the strabismus patient area, and the other It is indicated that one person is included in the public domain. The information of 7 out of 9 people in the whole test dataset is consistent and the information of 2 people is not. As such, classification tests through data learning in the same manner based on the difference between the two-sided eye tilt and nose tilt among the above symmetry discrimination indicators are performed. When it was carried out 20 times, it showed a concordance rate of 77.78%.
이에 기초하여, 상기 대칭성판별지표도출부(1300)는, 상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 코기울기에 대한 값이 SVM기반 데이터학습에 기초하여 기설정된 기준에 부합하는지 판별하는 단계;를 더 수행할 수 있다. 상기 기설정된 기준이 부합하는지 여부에 따라 해당 얼굴이미지의 사시질환에 대한 가능성을 판단할 수 있는 사시환자판별결과를 도출할 수 있다.Based on this, the symmetry determination
바람직하게는, 양측눈기울기의 차이 및 코기울기에 대한 값을 기준으로 사시환자 여부를 판별할 수 있는 제3기준은 양측눈기울기의 차이에 대한 값이 3.51을 초과하면서, 코기울기에 대한 값이 1.24를 초과하는 범위로 설정할 수 있다. 상기와 같은 범위의 대칭성판별지표에 대한 값이 도출된 환자에 대하여 사시환자 여부의 가능성이 높다고 판단할 수 있다.Preferably, the third criterion for determining whether a patient has strabismus based on the difference in bilateral tilt and the value for nose tilt is that the value for the difference in bilateral tilt exceeds 3.51, and the value for the nose tilt is It can be set in a range exceeding 1.24. It can be determined that the likelihood of a strabismus patient is high for a patient whose value for the symmetrical discrimination index in the above range is derived.
이와 같이 도출된 사시환자판별결과는 후술하는 결과정보에 제공될 수 있다.The strabismus patient determination result derived as described above may be provided in result information to be described later.
도 8은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 시스템(1000)의 동작을 개략적으로 도시한다.8 schematically illustrates the operation of the
본 발명의 사시환자와 관련된 특성정보를 제공하는 방법을 수행하는 시스템은, 사시환자와 관련된 특성정보를 도출하고자 하는 이미지를 사용자로부터 입력 수신한다. 도 8에 도시된 바와 같이, 사용자가 입력한 얼굴이미지가 사시환자와 관련된 특성정보를 제공하는 시스템(1000)으로 입력되면, 시스템의 프로세서에 포함되는 얼굴특징점도출부(1100), 얼굴대칭선도출부(1200), 대칭성판별지표도출부(1300) 및 사시환자결과정보제공부(1400)의 동작에 따라, 다음과 같은 정보들을 도출할 수 있다. 상기 얼굴특징점도출부(1100) 및 상기 얼굴대칭선도출부(1200)의 동작에 따라 입력 수신한 얼굴이미지로부터 1 이상의 얼굴특징점 및 얼굴대칭선을 도출하여 상기 얼굴이미지에 상기 1 이상의 얼굴특징점이 디스플레이 되는 프로세싱이미지를 생성한다. 상기 프로세싱이미지는 상기 대칭성판별지표도출부(1300)의 동작에 따라 상기 얼굴대칭선에 기초하여 얼굴기울기를 도출하고, 상기 얼굴기울기의 값이 0인 상태로 상기 얼굴이미지를 회전시킨 얼굴회전이미지를 생성한다. 상기 사시환자결과정보제공부(1400)는 상기 얼굴회전이미지의 1 이상의 얼굴특징점에 기초하여 대칭성판별지표에 대한 값, 및 상기 1 이상의 얼굴이미지, 대칭성판별지표에 기초하여 결과정보를 도출한다. 바람직하게는 상기 결과정보는, 1 이상의 얼굴이미지, 1 이상의 대칭성판별지표에 대한 값, 환자정보, 의사의 소견, 의사정보, 사시환자판별결과, 및 결과데이터생성시간 등을 포함할 수 있다. 또한 상기 사시환자결과정보제공부(1400)는, 상기 대칭성판별지표에 대한 값 및 환자정보, 의사정보, 사시환자에 대한 여부 판별의 결과, 및 시간 중 1 이상을 포함하는 결과로그 또한 생성한다. 상기 결과로그에는 1 이상의 개개인의 얼굴이미지에 대한 결과정보가 생성될 때마다, 해당 결과정보가 계속 쌓이는 형태로 저장될 수 있다.The system for performing a method of providing characteristic information related to a strabismus patient of the present invention receives an image from a user to derive characteristic information related to a strabismus patient. As shown in Fig. 8, when the face image input by the user is input to the
도 9 및 도 10은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보를 제공하는 시스템(1000)이 디스플레이하는 화면을 개략적으로 도시한다.9 and 10 schematically show screens displayed by the
구체적으로, 도 9는 사시환자와 관련된 특성정보를 제공하는 시스템(1000)의 초기화면을 개략적으로 도시한다. 도 9와 같은 화면을 제공받은 사용자는 select an image버튼을 선택하여 결과정보를 제공받고 싶은 얼굴이미지를 선택하여 입력할 수 있다. 이후, 선택한 얼굴이미지에 대하여 결과정보를 도출하고자 사용자가 start버튼을 선택하면, 상기 사시환자와 관련된 특성정보를 제공하는 시스템(1000)은 사용자가 입력한 얼굴이미지를 입력 수신하여 상술한 과정의 동작을 통해 도 10에 도시된 바와 같이 사용자로부터 입력 수신한 상기 얼굴이미지의 결과정보를 디스플레이하는 화면을 제공할 수 있다. 얼굴이미지로부터 얼굴특징점 및 얼굴대칭선이 디스플레이 된 프로세스이미지 및 얼굴기울기에 대한 값이 0이 되도록 회전된 얼굴회전이미지가 디스플레이되고 이에 따라, 1 이상의 대칭성판별지표에 대한 값이 제공된다. 또한, 환자정보, 담당 의사 정보 및 의사의 소견을 직접 입력할 수 있는 인터페이스를 제공하고, 사용자는 해당 얼굴이미지에 대한 환자정보, 담담 의사 정보 및 의사의 소견을 입력할 수 있다.Specifically, FIG. 9 schematically shows an initial screen of the
이후, 사용자가 Make PDF버튼을 선택하면, 도 10의 화면에 디스플레이 된 프로세스이미지, 얼굴회전이미지, 대칭성판별지표에 대한 값 및 사용자가 입력한 환자정보, 의사의 소견 및 사시환자와 관련된 특성정보 중 1 이상을 포함하는 결과정보를 PDF파일의 형태로 제공할 수 있다. 사용자가 제공받는 결과정보는 상기 결과정보는, 1 이상의 얼굴이미지, 1 이상의 대칭성판별지표에 대한 값, 환자정보, 의사의 소견, 의사정보, 사시환자판별결과, 및 결과데이터생성시간 중 1 이상을 포함할 수 있다.Thereafter, when the user selects the Make PDF button, among the values for the process image, face rotation image, and symmetry discrimination indicator displayed on the screen of FIG. 10, patient information entered by the user, opinions of doctors, and characteristic information related to strabismus patients. Result information including 1 or more can be provided in the form of a PDF file. As for the result information provided by the user, the result information includes at least one of one or more face images, values for one or more symmetry discrimination indicators, patient information, doctor's opinion, doctor information, strabismus patient discrimination result, and result data generation time. Can include.
도 11은 본 발명의 일 실시예에 따른 사시환자와 관련된 특성정보가 표시된 결과정보를 개략적으로 도시한다.11 schematically shows result information on which characteristic information related to a strabismus patient is displayed according to an embodiment of the present invention.
도 11은 상기 도 10의 화면을 제공받은 사용자가 Make PDF버튼을 선택한 경우 상기 사시환자결과정보제공부(1400)가 제공하는 사시환자와 관련된 특성정보를 표시하는 결과정보(PDF형태)를 개략적으로 도시한다. 구체적으로, 상기 사시환자결과정보제공단계가 제공하는 상기 결과정보에 의한 디스플레이화면은, 상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지가 디스플레이되는 얼굴이미지레이어(L1); 환자의 정보가 디스플레이되는 환자정보레이어(L2); 상기 얼굴이미지에 대한 1 이상의 대칭성판별지표에 대한 값을 제공하는 판별지표레이어(L3); 및 의사정보, 의사의 소견 및 사시환자판별결과 중 1 이상을 포함하는 결과정보가 디스플레이되는 결과정보레이어(L4);를 포함한다.FIG. 11 schematically shows result information (PDF format) displaying characteristic information related to strabismus patients provided by the strabismus patient result
도 11에 도시된 바와 같이, 얼굴이미지레이어(L1)에는 1 이상의 얼굴이미지가 디스플레이된다. 사용자로부터 입력 수신한 얼굴이미지, 얼굴특징점도출부(1100) 및 얼굴대칭선도출부(1200)가 도출한 얼굴특징점 및 얼굴대칭선이 디스플레이 된 프로세스이미지, 대칭성판별지표도출부(1300)가 도출한 얼굴기울기의 값이 0인 상태로 상기 얼굴이미지를 회전한 얼굴회전이미지가 디스플레이 되고, 사용자는 얼굴이미지레이어(L1)에 디스플레이 되는 얼굴이미지들을 통해 사시환자 여부에 대한 판단을 하는 데에 보다 직관적으로 활용할 수 있다. 상기 환자정보레이어(L2)에는 도 10의 화면에서 사용자로부터 입력 수신한 입력정보 중 환자에 대한 정보가 디스플레이 된다. 예를 들어, 환자의 이름, 성별, 나이, 연락처 등에 대한 정보가 디스플레이 될 수 있다. 상기 판별지표레이어(L3)에는 대칭성판별지표도출부(1300)가 도출한 대칭성판별지표에 대한 값이 디스플레이된다. 1 이상의 대칭성판별지표에 대한 값들이 모두 디스플레이되고, 사용자는 각각의 지표들에 대한 값을 제공받음으로써 그 값에 기반하여 본인의 의사결정을 하는 데에 뒷받침이 될 수 있는 근거로 활용할 수 있다. 상기 결과정보레이어(L4)에는 상기 도 10의 화면에서 사용자로부터 입력 수신한 입력정보 중 의사에 대한 정보가 디스플레이 된다. 예를 들어, 의사정보, 의사의 소견 및 사시환자판별결과 중 1 이상을 포함하는 사시환자 여부에 대한 결과정보가 디스플레이 된다. 도 10의 화면을 제공받은 사용자가 별도의 의사의 소견을 입력한 경우에는 의사의 소견이 상기 결과정보레이어(L4)에 디스플레이 될 수 있고, 별도의 소견을 입력하지 않은 경우에는 SVM기반 데이터학습에 기반한 사시환자판별기준에 기초하여 도출한 사시환자판별결과가 디스플레이 될 수도 있다. 또한 얼굴이미지를 통해 상기와 같은 결과정보가 도출된 결과데이터생성시간도 디스플레이 된다. 도 11의 상기 결과정보레이어(L4)에는 상기 사시환자판별결과를 나타내는 conclusion의 값이 positive로 디스플레이 되고 있다. 바람직하게는, 상기 사시환자판별결과에 대한 값은 SVM기반 데이터학습을 통해 설정한 사시환자판별기준에 기초하여 도출하고, 상기 사시환자판별기준은 비교적 사시환자를 정확하게 분류하는 지표인 얼굴기울기, 양측눈기울기의 차이, 및 코기울기에 기초하여 도출할 수 있다. 하지만, 이는 얼굴이미지만을 사용하여 판별한 기계적 학습에 의한 값으로 100퍼센트 정확한 값으로 활용되기 보다, 도 11과 같은 결과정보를 제공받은 사용자, 예를 들어, 의사가 1 이상의 대칭성판별지표에 대한 값이나, 얼굴이미지를 보정한 프로세스이미지, 및 데이터학습에 의해 도출된 사시환자판별결과에 기초하여 자신의 환자에 대하여 사시환자 여부에 대하여 판단을 내리는데 있어서 도움이 될 수 있는 정보로 활용할 수 있는 효과를 발휘할 수 있다.As shown in FIG. 11, one or more face images are displayed on the face image layer L1. A face image input and received from the user, a process image in which the facial feature points and facial symmetry lines derived by the facial feature
도 12는 본 발명의 일 실시예에 따른 결과정보가 기록되는 결과로그를 개략적으로 도시한다.12 schematically shows a result log in which result information is recorded according to an embodiment of the present invention.
구체적으로, 사시환자결과정보제공부(1400)가 생성하는 결과로그는 상기 대칭성판별지표에 대한 값 및 환자정보, 의사정보, 사시환자에 대한 여부 판별의 결과, 및 시간 중 1 이상을 포함할 수 있다. 상기 결과로그에는 1 이상의 개개인의 얼굴이미지에 대한 결과정보가 생성될 때마다, 해당 결과정보가 계속 쌓이는 형태로 저장될 수 있다. 도 12에 도시된 바와 같이, 하나의 행을 단위로 입력 수신한 얼굴이미지에 대한 결과로그가 기록될 수 있다. 환자정보, 1 이상의 대칭성판별지표에 대한 값, 얼굴이미지에 대한 결과정보가 생성된 날짜와 시간 사시환자 여부에 대한 기계적으로 도출된 판별결과 중 1 이상을 포함하고, 얼굴이미지에 대하여 해당 시스템을 적용할 때마다 모든 얼굴이미지의 정보가 상기 결과로그에 쌓이는 형태로 저장될 수 있다. 이와 같은 결과로그는 아직 임상적으로 사시환자에 대해 수치적, 객관적으로 판단할 수 있는 데이터가 다량 존재하지 않기 때문에 이러한 사시환자에 대한 데이터를 수집하는 목적으로 사용될 수 있으며, 이와 같은 방법으로 수집된 데이터에 기초하여 보다 명확하게 사시환자와 관련된 특성정보를 제공하는 데이터로서 활용할 수 있는 효과를 발휘할 수 있다.Specifically, the result log generated by the strabismus patient result
도 13은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.13 schematically illustrates an internal configuration of a computing device according to an embodiment of the present invention.
상기 도 1에 따른 사시환자와 관련된 특성정보를 제공하는 시스템(1000)은 도 13에서 도시되는 컴퓨팅장치의 1 이상의 모듈을 포함할 수 있다.The
도 13에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 상기 사시환자와 관련된 특성정보를 제공하는 시스템(1000)을 포함하거나, 상기 입/출력 서브시스템(11400)에 의하여 상기 사시환자와 관련된 특성정보를 제공하는 시스템(1000)에 연결될 수 있다.13, the
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.The
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.In this case, access to the
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.The
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem 11400 may couple various input/output peripherals to the
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.The
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the
이러한 도 13의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)은 도 13에 도시된 일부 컴포넌트가 생략되거나, 도 11에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 13에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.The embodiment of FIG. 13 is only an example of the
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in a computer-readable medium. In particular, the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal. An application to which the present invention is applied may be installed in a user terminal through a file provided by the file distribution system. As an example, the file distribution system may include a file transmission unit (not shown) that transmits the file according to the request of the user terminal.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instruction, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computing devices, and may be stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described in connection with specific embodiments, some or all of their components or operations may be implemented using a computer system having a general-purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
Claims (9)
상기 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출단계;
1 이상의 상기 얼굴특징점에 기초하여 얼굴대칭선을 도출하는, 얼굴대칭선도출단계;
상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 대칭성을 판별할 수 있는 1 이상의 대칭성판별지표에 대한 값을 도출하는 대칭성판별지표도출단계; 및
1 이상의 상기 대칭성판별지표에 기초하여 결과정보를 제공하는 사시환자결과정보제공단계;를 포함하고,
상기 얼굴대칭선도출단계는,
각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 양측눈썹의중심점, 양측눈의중심점, 입의중심점, 및 턱의중심점 중 1 이상을 포함하는 안면중심점을 도출하는 단계; 및
상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계;를 포함하는, 사시환자와 관련된 특성정보를 제공하는 방법.
A method of providing characteristic information related to a strabismus patient based on symmetry of a face image performed in a computing device including at least one processor and at least one memory storing instructions executable by the processor,
A face feature derivation step of deriving one or more face feature points from the face image;
A facial symmetry line deriving step of deriving a facial symmetry line based on at least one facial feature point;
A symmetry determination index deriving step of deriving a value for at least one symmetry determination index capable of determining the symmetry of the face image based on the facial symmetry line and the facial feature points; And
Including; strabismus patient result information providing step of providing result information based on at least one of the symmetry discrimination indicators,
The step of deriving the facial symmetry line,
Deriving a facial center point including at least one of a center point of both eyebrows, a center point of both eyes, a center point of a mouth, and a center point of the jaw based on the average coordinate value of two or more specific facial feature points of each face area; And
Deriving the facial symmetry line by applying a linear search algorithm based on the facial center point; Containing, a method for providing characteristic information related to a patient with strabismus.
상기 대칭성판별지표는,
얼굴기울기, 눈-입기울기의 차이, 눈썹기울기, 좌측눈기울기, 우측눈기울기, 양측눈기울기의 차이, 코기울기, 입기울기, 및 좌측얼굴 및 우측얼굴의 면적차이 중 1 이상을 포함하는, 사시환자와 관련된 특성정보를 제공하는 방법.
The method according to claim 1,
The symmetry discrimination indicator,
Strabismus, including at least one of face tilt, eye-to-mouth tilt difference, eyebrow tilt, left eye tilt, right eye tilt, bilateral eye tilt difference, nose tilt, mouth tilt, and area difference between left and right face A method of providing patient-related characteristic information.
상기 얼굴특징점도출단계는,
눈썹, 눈, 코, 입, 및 얼굴윤곽 중 1 이상을 포함하는 얼굴부위에 대한 각각의 상기 얼굴특징점을 도출하고,
도출된 상기 얼굴특징점은 상기 얼굴부위 중 눈썹, 눈, 얼굴윤곽 중 어느 하나에 해당하는 상기 얼굴특징점은 얼굴의 좌측영역 및 우측영역의 1 이상의 상기 얼굴특징점이 짝을 이루는, 사시환자와 관련된 특성정보를 제공하는 방법.
The method according to claim 1,
The step of deriving facial features,
Derive each of the facial features for the facial region including at least one of eyebrows, eyes, nose, mouth, and facial contours,
The derived facial feature point corresponds to any one of eyebrows, eyes, and facial contours among the facial areas, and the facial feature point corresponds to one or more of the facial feature points in the left area and the right area of the face. Characteristic information related to strabismus patients How to provide.
상기 대칭성판별지표도출단계는,
상기 얼굴대칭선의 기울기에 기초하여 얼굴기울기를 도출하는 단계;
상기 얼굴이미지의 상기 얼굴대칭선이 수직인 상태로 회전시킨 얼굴회전이미지에 기초하여 보정된 얼굴특징점을 도출하는 단계; 및
상기 보정된 얼굴특징점에 기초하여 1 이상의 상기 대칭성판별지표에 대한 값을 도출하는 단계;를 포함하는, 사시환자와 관련된 특성정보를 제공하는 방법.
The method according to claim 2,
The step of deriving the symmetry discrimination index,
Deriving facial inclination based on the inclination of the facial symmetry line;
Deriving corrected facial feature points based on the rotated face image rotated in a state in which the face symmetry line of the face image is vertical; And
Deriving a value for one or more of the symmetry discrimination indicators based on the corrected facial feature points; Containing, a method for providing characteristic information related to a strabismus patient.
상기 대칭성판별지표는 얼굴기울기 및 양측눈기울기의 차이를 포함하고,
상기 대칭성판별지표도출단계는,
상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 양측눈기울기의 차이에 대한 값이 기설정된 기준에 부합하는지 판별하는 단계;를 더 포함하는 사시환자와 관련된 특성정보를 제공하는 방법.
The method according to claim 1,
The symmetry discrimination indicator includes the difference between the inclination of the face and the inclination of both eyes,
The step of deriving the symmetry discrimination index,
The method of providing characteristic information related to a strabismus patient further comprising: determining whether a value of the difference between the face tilt and the two-sided eye tilt derived from the face image meets a preset criterion.
상기 대칭성판별지표는 얼굴기울기 및 코기울기를 포함하고,
상기 대칭성판별지표도출단계는,
상기 얼굴이미지로부터 도출한 상기 얼굴기울기 및 상기 코기울기에 대한 값이 기설정된 기준에 부합하는지 판별하는 단계;를 더 포함하는 사시환자와 관련된 특성정보를 제공하는 방법.
The method according to claim 1,
The symmetry discrimination indicator includes face tilt and nose tilt,
The step of deriving the symmetry discrimination index,
The method of providing characteristic information related to a patient with strabismus further comprising: determining whether values for the face tilt and the nose tilt derived from the face image meet a preset criterion.
상기 사시환자결과정보제공단계가 제공하는 상기 결과정보에 의한 디스플레이화면은,
상기 얼굴이미지, 상기 얼굴특징점, 및 상기 얼굴대칭선, 및 상기 얼굴이미지가 상기 얼굴대칭선에 기초하여 회전된 얼굴회전이미지가 디스플레이되는 얼굴이미지레이어;
환자의 정보가 디스플레이되는 환자정보레이어; 및
상기 얼굴이미지에 대한 1 이상의 대칭성판별지표에 대한 값을 제공하는 판별지표레이어; 를 포함하는 사시환자와 관련된 특성정보를 제공하는 방법.
The method according to claim 1,
The display screen based on the result information provided by the strabismus patient result information providing step,
A face image layer displaying the face image, the face feature point, and the face symmetry line, and a face rotation image in which the face image is rotated based on the face symmetry line;
A patient information layer on which patient information is displayed; And
A discrimination index layer providing a value for at least one symmetry discrimination index for the face image; A method of providing characteristic information related to strabismus patients, including.
상기 얼굴이미지에서 1 이상의 얼굴특징점을 도출하는 얼굴특징점도출부;
1 이상의 상기 얼굴특징점에 기초하여 얼굴대칭선을 도출하는, 얼굴대칭선도출부;
상기 얼굴대칭선 및 상기 얼굴특징점에 기초하여 상기 얼굴이미지의 대칭성을 판별할 수 있는 1 이상의 대칭성판별지표에 대한 값을 도출하는 대칭성판별지표도출부; 및
1 이상의 상기 대칭성판별지표에 기초하여 결과정보를 제공하는 사시환자결과정보제공부;를 포함하고,
상기 얼굴대칭선도출부는,
각각의 얼굴부위의 2 이상의 특정 얼굴특징점의 평균좌표값에 기초하여 양측눈썹의중심점, 양측눈의중심점, 입의중심점, 및 턱의중심점 중 1 이상을 포함하는 안면중심점을 도출하는 단계; 및
상기 안면중심점에 기초하여 직선탐색알고리즘을 적용하여 상기 얼굴대칭선을 도출하는 단계;를 수행하는, 사시환자와 관련된 특성정보를 제공하는 시스템.
A system that provides characteristic information related to a patient with strabismus based on symmetry of a face image performed in a computing device including at least one processor and at least one memory storing instructions executable by the processor,
A face feature point extraction unit for deriving one or more face feature points from the face image;
A face symmetry line guide unit for deriving a face symmetry line based on at least one facial feature point;
A symmetry determination index deriving unit for deriving a value for at least one symmetry determination index capable of determining the symmetry of the face image based on the facial symmetry line and the facial feature points; And
Including; a strabismus patient result information providing unit for providing result information based on one or more of the symmetry discrimination indicators,
The facial symmetry line leading part,
Deriving a facial center point including at least one of a center point of both eyebrows, a center point of both eyes, a center point of a mouth, and a center point of the jaw based on the average coordinate value of two or more specific facial feature points of each face area; And
A system for providing characteristic information related to a patient with strabismus performing the step of deriving the facial symmetry line by applying a linear search algorithm based on the facial center point.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190081437A KR102227969B1 (en) | 2019-07-05 | 2019-07-05 | Method And System For Providing Strabismus Information Based On Symmetry Of Face Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190081437A KR102227969B1 (en) | 2019-07-05 | 2019-07-05 | Method And System For Providing Strabismus Information Based On Symmetry Of Face Image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210004665A KR20210004665A (en) | 2021-01-13 |
KR102227969B1 true KR102227969B1 (en) | 2021-03-12 |
Family
ID=74142396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190081437A KR102227969B1 (en) | 2019-07-05 | 2019-07-05 | Method And System For Providing Strabismus Information Based On Symmetry Of Face Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102227969B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230057585A (en) | 2021-10-22 | 2023-05-02 | 신성대학교 산학협력단 | System and method for predicting stroke using biosignals |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102591395B1 (en) * | 2021-07-19 | 2023-10-20 | 서울대학교병원 | System and method for supporting diagnosis of velo cardio facial syndrome(vcfs) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL215883A0 (en) * | 2011-10-24 | 2012-03-01 | Iriss Medical Technologies Ltd | System and method for indentifying eye conditions |
-
2019
- 2019-07-05 KR KR1020190081437A patent/KR102227969B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230057585A (en) | 2021-10-22 | 2023-05-02 | 신성대학교 산학협력단 | System and method for predicting stroke using biosignals |
Also Published As
Publication number | Publication date |
---|---|
KR20210004665A (en) | 2021-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Burlina et al. | Assessment of deep generative models for high-resolution synthetic retinal image generation of age-related macular degeneration | |
Burlina et al. | Automated grading of age-related macular degeneration from color fundus images using deep convolutional neural networks | |
JP7395604B2 (en) | Automatic image-based skin diagnosis using deep learning | |
Guarin et al. | Toward an automatic system for computer-aided assessment in facial palsy | |
US20210057105A1 (en) | Method and apparatus for determining health status | |
Bastawrous et al. | Development and validation of a smartphone-based visual acuity test (peek acuity) for clinical practice and community-based fieldwork | |
Wang et al. | Automated explainable multidimensional deep learning platform of retinal images for retinopathy of prematurity screening | |
KR102260964B1 (en) | Method And System For Deducting Facial Asymmetry Information | |
KR102172192B1 (en) | Facial Wrinkle Recognition Method, System, and Stroke Detection Method through Facial Wrinkle Recognition | |
KR102227969B1 (en) | Method And System For Providing Strabismus Information Based On Symmetry Of Face Image | |
EP3979258A1 (en) | Wound healing analysis and tracking | |
KR102274330B1 (en) | Face Image Analysis Method and System for Diagnosing Stroke | |
Hung et al. | A deep learning approach to identify blepharoptosis by convolutional neural networks | |
KR20180031552A (en) | Appratus, system and method for facial recognition | |
Karlin et al. | Ensemble neural network model for detecting thyroid eye disease using external photographs | |
Hasan et al. | Pain level detection from facial image captured by smartphone | |
Malgina et al. | Development of the mobile application for assessing facial acne severity from photos | |
Cao et al. | Gaze tracking on any surface with your phone | |
Mirabet-Herranz et al. | New insights on weight estimation from face images | |
US11896375B2 (en) | Assessment of facial paralysis and gaze deviation | |
KR102277894B1 (en) | Psychology consultation method capable of tracking psychological changes by providing personalized image | |
KR102216904B1 (en) | Psychology consultation method capable of tracking psychological changes by providing personalized image | |
KR20060096612A (en) | Method for modeling pupil shape | |
US20240206721A1 (en) | Apparatus, method, and program for searching and training preferred retinal locus of patient with visual field damage | |
KR102216905B1 (en) | Psychology consultation method capable of tracking psychological changes by providing personalized image and voice |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |